EGADS Java 库

EGADS（可扩展通用异常检测系统）是一个开源 Java 包，用于自动检测大规模时间序列数据中的异常。EGADS 旨在成为一个包含多种异常检测技术的库，适用于许多用例，且只依赖于 Java。EGADS 的工作原理是首先构建一个时间序列模型，用于计算时间 t 的预期值。然后通过比较预期值和时间 t 的实际值来计算多个误差 E。EGADS 自动确定 E 的阈值，并输出最可能的异常。EGADS 库可以在各种情况下用于检测具有不同季节性、趋势和噪声组成的时间序列中的异常值和变化点。

如何开始

EGADS 被设计为一个独立的库，包含了适用于广泛用例的时间序列和异常检测模型集合。要将库编译成单个 jar 文件，克隆仓库并输入以下命令：

mvn clean compile assembly:single

你可能需要将 JAVA_HOME 变量设置为适当的 JVM。要做到这一点，运行：

export JAVA_HOME=/usr/lib/jvm/{所需版本的 JVM 目录}

使用方法

要运行一个简单的例子，输入：

java -Dlog4j.configurationFile=src/test/resources/log4j2.xml -cp target/egads-*-jar-with-dependencies.jar com.yahoo.egads.Egads src/test/resources/sample_config.ini src/test/resources/sample_input.csv

这将生成以下图片（注意，你可以通过在 sample_config.ini 中将 OUTPUT 配置键设置为 GUI 来启用此 UI）。

也可以在命令行中指定配置参数。例如，要使用奥林匹克评分作为时间序列模型和基于密度的方法作为异常检测模型进行异常检测，使用以下命令：

java -Dlog4j.configurationFile=src/test/resources/log4j2.xml -cp target/egads-*-jar-with-dependencies.jar com.yahoo.egads.Egads "MAX_ANOMALY_TIME_AGO:999999999;AGGREGATION:1;OP_TYPE:DETECT_ANOMALY;TS_MODEL:OlympicModel;AD_MODEL:ExtremeLowDensityModel;INPUT:CSV;OUTPUT:STD_OUT;BASE_WINDOWS:168;PERIOD:-1;NUM_WEEKS:3;NUM_TO_DROP:0;DYNAMIC_PARAMETERS:0;TIME_SHIFTS:0" src/test/resources/sample_input.csv

要使用无时间序列模型和自动静态阈值进行异常检测，使用以下命令：

java -Dlog4j.configurationFile=src/test/resources/log4j2.xml -cp target/egads-*-jar-with-dependencies.jar com.yahoo.egads.Egads "MAX_ANOMALY_TIME_AGO:999999999;AGGREGATION:1;OP_TYPE:DETECT_ANOMALY;TS_MODEL:NullModel;AD_MODEL:SimpleThresholdModel;SIMPLE_THRESHOLD_TYPE:AdaptiveMaxMinSigmaSensitivity;INPUT:CSV;OUTPUT:STD_OUT;AUTO_SENSITIVITY_ANOMALY_PCNT:0.2;AUTO_SENSITIVITY_SD:2.0" src/test/resources/sample_input.csv

要在应用程序中嵌入 EGADS 库，可以通过添加适当的仓库从 JCenter 拉取编译好的 JAR。例如在 Maven POM 文件中添加：

<repositories>
  <repository>
    <id>jcenter</id>
    <url>https://jcenter.bintray.com/</url>
  </repository>
</repositories>

然后导入依赖，例如：

<dependency>
  <groupId>com.yahoo.egads</groupId>
  <artifactId>egads</artifactId>
  <version>0.4.0</version>
</dependency>

概述

尽管计算硬件和软件取得了迅速进步，导致了强大的应用程序，但在大型集群中仍然会发生数百个软件错误和硬件故障，影响用户体验，进而影响收入。不间断系统有严格的正常运行时间要求，对这些系统的持续监控至关重要。从数据分析的角度来看，这意味着需要不间断地监控大量时间序列数据，以检测潜在的故障或异常。由于问题规模庞大，人工监控这些数据实际上是不可行的，这就导致了自动异常检测的需求。异常或离群值是与其他数据显著不同的数据点。通常，大多数应用程序中的数据是由一个或多个反映系统功能的生成过程创建的。

当底层生成过程表现异常时，就会产生离群值。快速有效地识别这些离群值对许多应用都有用，包括：入侵检测、信用卡欺诈、传感器事件、医疗诊断、执法等。目前的自动异常检测方法存在大量误报，这限制了这些系统在实践中的实用性。特定用例或类别的异常检测模型可能在特定应用中享有较低的误报率，但当时间序列的特征发生变化时，这些技术在没有适当重新训练的情况下表现不佳。

EGADS（可扩展通用异常检测系统）能够准确且可扩展地检测时间序列异常。EGADS 将预测和异常检测分为两个独立的组件，这允许用户将自己的模型添加到任何组件中。

架构

EGADS 框架由两个主要组件组成：时间序列建模模块（TMM）和异常检测模块（ADM）。给定一个时间序列，TMM 组件对时间序列进行建模，产生一个预期值，然后由 ADM 消费这个预期值并计算异常分数。EGADS 被构建为一个框架，可以轻松集成到现有的监控基础设施中。在雅虎，我们的内部雅虎监控服务（YMS）每秒处理数百万个数据点。因此，为 YMS 提供可扩展、准确和自动化的异常检测至关重要。出于这个原因，EGADS 可以被编译成一个单一的轻量级 jar 文件，并可以轻松地大规模部署。

TMM 和 ADM 可以在 main/java/com/yahoo/egads/models 下找到。

TMM 和 ADM 支持的模型示例可以在下面的两个表格中找到。我们预计随着社区的更多贡献，这个模型集合将会不断增长。

当前时间序列模型列表

当前异常检测模型列表

配置

以下是 EGADS 支持的各种配置参数。

# 只显示不超过这个时间的异常。
# 如果设置为 0，则只有在最后一个时间戳上发生异常时才输出。
MAX_ANOMALY_TIME_AGO  99999

# 表示时间序列应该聚合的程度。
# 如果设置为 1 或更小，则忽略此设置。
AGGREGATION	1

# OP_TYPE 指定操作类型。
# 选项：DETECT_ANOMALY,
#       UPDATE_MODEL,
#       TRANSFORM_INPUT
OP_TYPE	DETECT_ANOMALY

# TS_MODEL 指定时间序列模型类型。
# 选项：AutoForecastModel
#       DoubleExponentialSmoothingModel
#       MovingAverageModel
#       MultipleLinearRegressionModel
#       NaiveForecastingModel
#       OlympicModel
#       PolynomialRegressionModel
#       RegressionModel
#       SimpleExponentialSmoothingModel
#       TripleExponentialSmoothingModel
#       WeightedMovingAverageModel
#       SpectralSmoother
#       NullModel
TS_MODEL	OlympicModel

# AD_MODEL 指定异常检测模型类型。
# 选项：ExtremeLowDensityModel
#       AdaptiveKernelDensityChangePointDetector
#       KSigmaModel
#       NaiveModel
#       DBScanModel
#       SimpleThresholdModel
AD_MODEL	ExtremeLowDensityModel

# 简单阈值模型的类型。
# 选项：AdaptiveMaxMinSigmaSensitivity
#       AdaptiveKSigmaSensitivity
# SIMPLE_THRESHOLD_TYPE

# 指定输入源。
# 选项：STDIN
#       CSV
INPUT	CSV

# 指定输出源。
# 选项：STD_OUT,
#       ANOMALY_DB
#       GUI
#       PLOT
OUTPUT  STD_OUT

# THRESHOLD 指定异常检测模型的阈值。
# 注释掉以自动检测所有阈值。
# 选项：mapee,mae,smape,mape,mase.
# THRESHOLD mape#10,mase#15

#####################################
### 奥林匹克预测模型配置 ###
#####################################

# 奥林匹克评分的可能时间偏移。
TIME_SHIFTS 0,1

# 奥林匹克评分的可能基准窗口。
BASE_WINDOWS  24,168

# Period 指定时间序列的周期性
#（例如，连续时间戳之间的差异）。
# 选项：（数字）
#       0 - 自动检测。
#       -1 - 禁用。
PERIOD	-1


# NUM_WEEKS 指定在奥林匹克评分中使用的周数。
NUM_WEEKS 8

# NUM_TO_DROP 指定要删除的最高和最低点的数量。
NUM_TO_DROP 0

如果动态参数设置为1，则

EGADS将动态调整参数(NUM_WEEKS)

以产生最佳拟合。

DYNAMIC_PARAMETERS 0

###################################################

ExtremeLowDensityModel 和 DBScanModel 配置

###################################################

表示数据中预期的异常百分比

AUTO_SENSITIVITY_ANOMALY_PCNT 0.01

指集群标准差

AUTO_SENSITIVITY_SD 3.0

############################

NaiveModel 配置

############################

寻找峰值的窗口大小

WINDOW_SIZE 0.1

#######################################################

AdaptiveKernelDensityChangePointDetector 配置

#######################################################

变点检测参数

PRE_WINDOW_SIZE 48 POST_WINDOW_SIZE 48 CONFIDENCE 0.8

###############################

SpectralSmoother 配置

###############################

WINDOW_SIZE 应大于最长重要季节性的大小。

默认设置为192 = 8 * 24，相当于小时级时间序列的8天（> 1周）。

WINDOW_SIZE 192

FILTERING_METHOD 指定谱平滑的过滤方法

选项： GAP_RATIO (推荐: FILTERING_PARAM = 0.01)

EIGEN_RATIO (推荐: FILTERING_PARAM = 0.1)

EXPLICIT (推荐: FILTERING_PARAM = 10)

K_GAP (推荐: FILTERING_PARAM = 8)

VARIANCE (推荐: FILTERING_PARAM = 0.99)

SMOOTHNESS (推荐: FILTERING_PARAM = 0.97)

FILTERING_METHOD GAP_RATIO

FILTERING_PARAM 0.01

贡献

1. 克隆你的分支
2. 进行修改
3. 如果你添加了新功能，请在README中记录
4. 通过运行mvn package并添加额外的测试来验证你的代码
5. 将分支推送到GitHub
6. 向yahoo/egads项目发送拉取请求

我们欢迎积极贡献。如果你不知道从哪里开始，可以尝试查看问题列表并进行修复。或者，你可以添加一个模型 - 本项目的目标之一是拥有一套强大、轻量级且无依赖的可选模型，可随时部署到生产环境中。

参考文献

<a href="https://s.yimg.com/ge/labs/v2/uploads/kdd2015.pdf">通用和可扩展的自动化时间序列异常检测框架</a>，作者：Nikolay Laptev, Saeed Amizadeh, Ian Flint，KDD 2015（2015年8月10日）

引用

如果你在项目中使用EGADS，请引用： <a href="https://s.yimg.com/ge/labs/v2/uploads/kdd2015.pdf">通用和可扩展的自动化时间序列异常检测框架</a>，作者：Nikolay Laptev, Saeed Amizadeh, Ian Flint，KDD 2015

BibTeX:

@inproceedings{laptev2015generic,
		title={Generic and Scalable Framework for Automated Time-series Anomaly Detection},
		author={Laptev, Nikolay and Amizadeh, Saeed and Flint, Ian},
		booktitle={Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining},
		pages={1939--1947},
		year={2015},
		organization={ACM}
}

许可证

代码基于GPL许可证授权。有关条款请参阅LICENSE文件。