SCAMP：可扩展矩阵剖面

概述

这是SCAMP算法的GPU/CPU实现。SCAMP接收一个时间序列作为输入，并计算特定窗口大小的矩阵剖面。您可以在矩阵剖面主页了解更多信息。这是对GPU-STOMP的大幅改进，具有以下额外特性：

适用于大规模输入的分块处理
支持fp32、混合fp32/fp64或fp64计算（对大多数数据集建议使用双精度，单精度适用于部分数据集）
fp32版本在GeForce卡上应该能获得良好性能
AB连接（可以从两个不同的时间序列生成矩阵剖面）
可分布式（我们使用GCP，但其他云平台也可以工作），已验证可扩展至数十亿个数据点
更多类型的矩阵剖面！KNN、矩阵摘要、求和和无索引的1NN！请参阅文档！
极其高效的实现
可扩展以添加自定义连接操作的优化版本
CPU支持（仅启用双精度；尚不支持KNN连接）
处理包含NaN的输入值。计算矩阵剖面时会排除任何包含NaN值的子序列
Python模块：通过pyscamp在Python中使用SCAMP
conda-forge集成：使用conda无缝安装pyscamp
广泛的集成测试：SCAMP对每个PR都进行了数千种输入配置的测试
自动基准测试：有助于确保未来更新不会降低性能

为什么使用SCAMP？

它比其他矩阵剖面库更快。例如，它比stumpy快20倍到100倍。
使用conda安装非常简单，依赖项很少。
它能处理真实数据：可处理非常大的输入、缺失值和平坦区域，几乎没有问题。
它可以计算各种其他类型的矩阵剖面，包括高效计算KNN矩阵剖面和矩阵摘要（即mplots）。并且可以扩展以高效计算其他类型的剖面。

文档

SCAMP的文档可在readthedocs上找到。

Python模块

pyscamp可通过conda-forge获得：

# 在Linux和Windows上安装支持CPU/GPU的pyscamp。
conda install -c conda-forge pyscamp-gpu

# 在Windows、Linux或MacOS上安装仅支持CPU的pyscamp。
conda install -c conda-forge pyscamp-cpu

请注意，即使你没有GPU，也可以安装和使用pyscamp-gpu，它会自动退回使用CPU。但是，如果你没有GPU，pyscamp-cpu更为合适，因为它使用更新的编译器构建，并且不需要安装cudatoolkit依赖。

如果使用pyscamp-gpu时遇到GPU问题，请确保你的NVIDIA驱动程序是最新的。这是最常见的问题原因。

从源代码安装

如果你愿意，可以从源代码构建pyscamp，这将提高性能。pypi.org上提供了一个使用pybind11的Python3模块的源代码分发包，安装运行：

# 需要Python 3和C/C++编译器。
# 需要cmake（如果没有，可以通过pip install cmake安装）
pip install pyscamp

安装完成后，你可以在Python中如下使用SCAMP：

import pyscamp as mp

# 允许检查pyscamp是否使用CUDA构建并支持GPU。
has_gpu_support = mp.gpu_supported()

# 自连接
profile, index = mp.selfjoin(a, sublen)

# AB连接，使用4个线程，输出皮尔逊相关系数。
profile, index = mp.abjoin(a, b, sublen, pearson=True, threads=4)

有关pyscamp的更多信息和API文档可在readthedocs上找到。

使用Docker运行

你可以通过nvidia-docker使用dockerhub上预构建的镜像运行SCAMP。

为了暴露主机GPU，必须正确安装nvidia-docker。请按照nvidia-docker github页面上提供的说明进行操作。以下示例使用docker 19.03功能：

docker pull zpzim/scamp:latest
docker run --gpus all \
   --volume /path/to/host/input/data/directory:/data \
   --volume /path/to/host/output/directory:/output \
   zpzim/scamp:latest /SCAMP/build/SCAMP \
   --window=<window_size> --input_a_file_name=/data/<filename> \
   --output_a_file_name=/output/<mp_filename> \
   --output_a_index_file_name=/output/<mp_index_filename>

分布式操作

我们有一个使用grpc构建的客户端/服务器架构。在GKE上进行了测试，但也应该可以在Amazon EKS上运行。

有关如何使用scamp客户端和服务器的更多信息，请查看文档。

引用

如果你在工作中使用SCAMP，请引用以下论文：

Zimmerman, Zachary, et al. "Matrix Profile XIV: Scaling Time Series Motif Discovery with GPUs to Break a Quintillion Pairwise Comparisons a Day and Beyond." Proceedings of the ACM Symposium on Cloud Computing. 2019.