luminaire

<p align="center"> <img width=450 src="https://yellow-cdn.veclightyear.com/0a4dffa0/7bb445de-8bd9-49da-bc6e-8396064ba8f6.svg" alt="Luminaire"></p> <h3 align="center">一个无需人工干预的异常检测库</h3>

什么是Luminaire
快速开始
时间序列异常检测工作流程
高频时间序列的异常检测
示例
贡献
引用
其他有用资源
博客
开发团队

什么是Luminaire

Luminaire是一个用于监控时间序列数据的Python包，提供基于机器学习的解决方案。Luminaire提供了多种异常检测和预测功能，这些功能考虑了数据中的相关性和季节性模式，以及随时间变化的不可控变化。

快速开始

使用pip从PyPI安装Luminaire

pip install luminaire

在Python中导入luminaire模块

import luminaire

查看示例以开始使用。另外，请参阅Luminaire文档以获取方法和用法的详细描述。

时间序列异常检测工作流程

Luminaire流程

Luminaire异常检测工作流程可以分为3个主要组件：

数据预处理和分析组件

在对时间序列进行异常检测模型训练之前，可以调用此组件进行数据准备。这一步应用了多种方法，使异常检测更加准确和可靠，包括缺失数据插补、识别并从训练数据中移除最近的异常值、必要的数学转换，以及基于最近变点的数据截断。它还生成分析信息（历史变点、趋势变化等），这些信息在训练过程中会被考虑。

时间序列数据的分析信息可用于监控数据漂移和不规则的长期波动。

建模组件

此组件根据用户指定的配置或优化配置（参见Luminaire超参数优化）执行时间序列模型训练。Luminaire模型训练集成了不同的结构化时间序列模型以及基于过滤的模型。有关更多信息，请参阅Luminaire异常检测。

Luminaire建模步骤可以在数据预处理和分析步骤之后调用，以在训练之前进行必要的数据准备。

配置优化组件

Luminaire与配置优化的集成实现了一个无需人工干预的异常检测过程，用户只需为监控任何类型的时间序列数据提供最少的配置。这一步可以与预处理和建模相结合，用于任何自动配置的异常检测用例。有关详细说明，请参阅完全自动异常检测。

高频时间序列的异常检测

Luminaire也可以监控一段时间窗口内的一组数据点,而不是跟踪单个数据点。这种方法非常适合流式用例,其中持续的波动比单个波动更令人关注。有关详细信息,请参阅流数据的异常检测。

示例

批量时间序列监控

import pandas as pd
from luminaire.optimization.hyperparameter_optimization import HyperparameterOptimization
from luminaire.exploration.data_exploration import DataExploration

data = pd.read_csv('输入时间序列数据的路径')
# 输入数据应该有一个时间列作为数据框的索引列,以及一个名为'raw'的值列

# 优化
hopt_obj = HyperparameterOptimization(freq='D')
opt_config = hopt_obj.run(data=data)

# 分析
de_obj = DataExploration(freq='D', **opt_config)
training_data, pre_prc = de_obj.profile(data)

# 识别模型
model_class_name = opt_config['LuminaireModel']
module = __import__('luminaire.model', fromlist=[''])
model_class = getattr(module, model_class_name)

# 训练
model_object = model_class(hyper_params=opt_config, freq='D')
success, model_date, trained_model = model_object.train(data=training_data, **pre_prc)

# 评分
trained_model.score(100, '2021-01-01')

流式时间序列监控

import pandas as pd
from luminaire.model.window_density import WindowDensityHyperParams, WindowDensityModel
from luminaire.exploration.data_exploration import DataExploration

data = pd.read_csv('输入时间序列数据的路径')
# 输入数据应该有一个时间列作为数据框的索引列,以及一个名为'raw'的值列

# 配置规范和分析
config = WindowDensityHyperParams().params
de_obj = DataExploration(**config)
data, pre_prc = de_obj.stream_profile(df=data)
config.update(pre_prc)

# 训练
wdm_obj = WindowDensityModel(hyper_params=config)
success, training_end, model = wdm_obj.train(data=data)

# 评分
score, scored_window = model.score(scoring_data)    # scoring_data 是一个时间窗口内的数据,而不是单个数据点

贡献

想要帮助改进 Luminaire 吗？查看我们的贡献文档。

引用

如果将 Luminaire 用于任何研究目的或科学出版物,请引用以下文章:

Chakraborty, S., Shah, S., Soltani, K., Swigart, A., Yang, L., & Buckingham, K. (2020, December). Building an Automated and Self-Aware Anomaly Detection System. In 2020 IEEE International Conference on Big Data (Big Data) (pp. 1465-1475). IEEE. (arxiv 链接)

其他有用资源

Chakraborty, S., Shah, S., Soltani, K., & Swigart, A. (2019, December). Root Cause Detection Among Anomalous Time Series Using Temporal State Alignment. In 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA) (pp. 523-528). IEEE. (arxiv 链接)