PyStore - Pandas 时间序列数据的快速数据存储

.. image:: https://img.shields.io/badge/python-2.7,%203.5+-blue.svg?style=flat :target: https://pypi.python.org/pypi/pystore :alt: Python 版本

.. image:: https://img.shields.io/pypi/v/pystore.svg?maxAge=60 :target: https://pypi.python.org/pypi/pystore :alt: PyPi 版本

.. image:: https://img.shields.io/pypi/status/pystore.svg?maxAge=60 :target: https://pypi.python.org/pypi/pystore :alt: PyPi 状态

.. image:: https://img.shields.io/travis/ranaroussi/pystore/master.svg?maxAge=1 :target: https://travis-ci.com/ranaroussi/pystore :alt: Travis-CI 构建状态

.. image:: https://www.codefactor.io/repository/github/ranaroussi/pystore/badge :target: https://www.codefactor.io/repository/github/ranaroussi/pystore :alt: CodeFactor

.. image:: https://img.shields.io/github/stars/ranaroussi/pystore.svg?style=social&label=Star&maxAge=60 :target: https://github.com/ranaroussi/pystore :alt: 为此仓库加星

.. image:: https://img.shields.io/twitter/follow/aroussi.svg?style=social&label=Follow&maxAge=60 :target: https://twitter.com/aroussi :alt: 在 Twitter 上关注我

PyStore <https://github.com/ranaroussi/pystore>_ 是一个简单（但功能强大）的 Pandas 数据框存储系统，尽管它可以存储任何 Pandas 对象，但它是专为存储时间序列数据而设计的。

它基于 Pandas <http://pandas.pydata.org>、Numpy <http://numpy.pydata.org>、Dask <http://dask.pydata.org>_ 和 Parquet <http://parquet.apache.org>（通过 pyarrow <https://github.com/apache/arrow>）构建，为 Python 开发者提供了一个易于使用的数据存储系统，每个客户端每秒可以轻松查询数百万行数据。

==> 查看 这篇博客文章 <https://medium.com/@aroussi/fast-data-store-for-pandas-time-series-data-using-pystore-89d9caeef4e2>_ 了解 PyStore 背后的原理和理念，以及包含代码示例的详细教程。

==> 按照 这个 PyStore 教程 <https://github.com/ranaroussi/pystore/blob/master/examples/pystore-tutorial.ipynb>_ 以 Jupyter 笔记本格式进行学习。

快速入门

安装 PyStore

使用 pip 安装：

.. code:: bash

$ pip install pystore --upgrade --no-cache-dir

使用 conda 安装：

.. code:: bash

$ conda install -c ranaroussi pystore

安装注意事项： 如果您尚未安装 Snappy（压缩/解压缩库），您需要 先安装它 <https://github.com/ranaroussi/pystore#dependencies>_。

使用 PyStore

.. code:: python

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pystore
import quandl

# 设置存储路径（可选）
# 默认为 `~/pystore` 或 `PYSTORE_PATH` 环境变量（如果已设置）
pystore.set_path("~/pystore")

# 列出存储
pystore.list_stores()

# 连接到数据存储（如果不存在则创建）
store = pystore.store('mydatastore')

# 列出现有集合
store.list_collections()

# 访问集合（如果不存在则创建）
collection = store.collection('NASDAQ')

# 列出集合中的项目
collection.list_items()

# 从 Quandl 加载一些数据
aapl = quandl.get("WIKI/AAPL", authtoken="您的令牌")

# 将数据的前 100 行存储在集合中，名为 "AAPL"
collection.write('AAPL', aapl[:100], metadata={'source': 'Quandl'})

# 读取项目的数据
item = collection.item('AAPL')
data = item.data  # <-- Dask 数据框（参见 dask.pydata.org）
metadata = item.metadata
df = item.to_pandas()

# 将剩余的行追加到 "AAPL" 项目
collection.append('AAPL', aapl[100:])

# 读取项目的数据
item = collection.item('AAPL')
data = item.data
metadata = item.metadata
df = item.to_pandas()


# --- 查询功能 ---

# 基于元数据查询可用符号
collection.list_items(some_key='some_value', other_key='other_value')


# --- 快照功能 ---

# 创建集合快照
# （集合中所有当前符号的时间点命名引用）
collection.create_snapshot('snapshot_name')

# 列出可用快照
collection.list_snapshots()

# 获取给定快照名称的符号版本
collection.item('AAPL', snapshot='snapshot_name')

# 删除集合快照
collection.delete_snapshot('snapshot_name')


# ...


# 从当前版本删除项目
collection.delete_item('AAPL')

# 删除集合
store.delete_collection('NASDAQ')

使用 Dask 调度器

PyStore 0.1.18+ 支持使用 Dask 分布式。

要使用本地 Dask 调度器，请在代码中添加以下内容：

.. code:: python

from dask.distributed import LocalCluster
pystore.set_client(LocalCluster())

要使用分布式 Dask 调度器，请在代码中添加以下内容：

.. code:: python

pystore.set_client("tcp://xxx.xxx.xxx.xxx:xxxx")
pystore.set_path("/path/to/shared/volume/all/workers/can/access")

概念

PyStore 提供了命名空间化的数据集合。这些集合允许通过来源、用户或其他指标（例如频率：日终数据、分钟线等）对数据进行分类。每个集合（或命名空间）对应一个目录，其中包含每个项目（例如股票代码）的分区 parquet 文件。

创建集合的一个良好做法可能如下所示：

collection.EOD
collection.ONEMINUTE

要求

Python 2.7 或 Python > 3.5
Pandas
Numpy
Dask
Pyarrow
Snappy <http://google.github.io/snappy/>_（Google 的压缩/解压库）
multitasking

PyStore 已在类 *nix 系统（包括 macOS）上测试通过。

依赖项：

PyStore 使用 Snappy <http://google.github.io/snappy/>_，这是 Google 开发的一个快速高效的压缩/解压库。在安装 PyStore 之前，您需要先在系统上安装 Snappy。

* 更多信息请参见 python-snappy 的 Github 仓库 <https://github.com/andrix/python-snappy#dependencies>_。

*nix 系统：

APT：sudo apt-get install libsnappy-dev
RPM：sudo yum install libsnappy-devel

macOS：

首先，使用 Homebrew <https://brew.sh>_ 安装 Snappy 的 C 库：

.. code::

$ brew install snappy

然后，使用 conda 安装 Python 的 snappy：

.. code::

$ conda install python-snappy -c conda-forge

...或者，使用 pip：

.. code::

$ CPPFLAGS="-I/usr/local/include -L/usr/local/lib" pip install python-snappy

Windows：

Windows 用户可以查看 Snappy for Windows <https://snappy.machinezoo.com>_ 和 这个 Stackoverflow 帖子 <https://stackoverflow.com/a/43756412/1783569>_ 以获取有关安装 Snappy 和 python-snappy 的帮助。

路线图

PyStore 目前支持本地文件系统（包括连接的网络驱动器）。我计划在未来添加对 Amazon S3（通过 s3fs <http://s3fs.readthedocs.io/>）、 Google Cloud Storage（通过 gcsfs <https://github.com/dask/gcsfs/>）和 Hadoop 分布式文件系统（通过 hdfs3 <http://hdfs3.readthedocs.io/>_）的支持。