anomalize

anomalize

R语言时间序列异常检测工具

anomalize是一个R语言包,用于时间序列异常检测。它提供时间序列分解、异常检测和重组等功能,可有效分离正常数据和异常数据。该工具支持直观的可视化,并可通过清理异常值提高预测准确性。虽然核心功能已被timetk包替代,但anomalize仍保留原有功能以支持现有代码。

Anomalize时间序列异常检测数据分析R语言Github开源项目

Anomalize 正被 Timetk 取代:

anomalize <img src="https://raw.githubusercontent.com/business-science/anomalize/master/man/figures/anomalize-logo.png" width="147" height="170" align="right" />

<!-- badges: start -->

R-CMD-check 生命周期
状态 覆盖率
状态 CRAN_状态_徽章

<!-- badges: end --> <!-- README.md 由 README.Rmd 生成。请编辑该文件 -->

anomalize 包的功能已被 timetk 取代。 我们建议您开始使用 timetk::anomalize() 以获得增强功能和未来的改进。在此了解更多关于使用 timetk 进行异常检测的信息。

原始 anomalize 包的功能将继续维护,以支持使用旧功能的现有代码库。

为防止新的 timetk 功能与旧的 anomalize 代码冲突,请使用以下代码行:

library(anomalize) anomalize <- anomalize::anomalize plot_anomalies <- anomalize::plot_anomalies
<!-- # anomalize -->

整洁的异常检测

anomalize 为数据异常检测提供了一个整洁的工作流程。主要函数包括 time_decompose()anomalize()time_recompose()。结合使用这些函数,可以轻松地分解时间序列、检测异常并创建将"正常"数据与异常数据分开的区间。

2分钟了解 Anomalize (YouTube)

<a href="https://www.youtube.com/watch?v=Gk_HwjhlQJs" target="_blank"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7c3786b2-f8d0-43e9-8710-4bd031589f43.jpg" alt="Anomalize" width="100%" height="350"/></a>

查看我们在 YouTube 上的完整软件介绍系列

安装

您可以使用 devtools 安装开发版本,或使用 install.packages() 安装最新的 CRAN 版本:

# devtools::install_github("business-science/anomalize") install.packages("anomalize")

工作原理

anomalize 有三个主要函数:

  • time_decompose():将时间序列分解为季节性、趋势和余项组件
  • anomalize():对余项组件应用异常检测方法
  • time_recompose():计算将"正常"数据与异常数据分开的限制范围

入门

加载 anomalize 包。通常,您还会同时加载 tidyverse:

library(anomalize) library(tidyverse) # 注意:timetk 现在内置了异常检测功能, # 这将获得未来的新功能。 # 使用此脚本以防止覆盖旧版 anomalize: anomalize <- anomalize::anomalize plot_anomalies <- anomalize::plot_anomalies

接下来,让我们获取一些数据。anomalize 附带了一个名为 tidyverse_cran_downloads 的数据集,其中包含 15 个"整洁"包从 2017-01-01 到 2018-03-01 的每日 CRAN 下载次数。

假设我们想确定哪些每日下载"次数"是异常的。只需使用三个主要函数(time_decompose()anomalize()time_recompose())以及可视化函数 plot_anomalies() 即可轻松完成。

tidyverse_cran_downloads %>% # 数据操作 / 异常检测 time_decompose(count, method = "stl") %>% anomalize(remainder, method = "iqr") %>% time_recompose() %>% # 异常可视化 plot_anomalies(time_recomposed = TRUE, ncol = 3, alpha_dots = 0.25) + ggplot2::labs(title = "Tidyverse 异常", subtitle = "STL + IQR 方法")
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/23b51e62-f852-4f15-8b57-be7d2b4ae16a.png" width="100%" />

查看 anomalize 快速入门指南

将预测误差降低 32%

是的!Anomalize 有一个新函数 clean_anomalies(),可用于在预测之前修复时间序列。我们有一个全新的指南 - 使用清理后的异常数据降低预测误差(32%)

tidyverse_cran_downloads %>% dplyr::filter(package == "lubridate") %>% dplyr::ungroup() %>% time_decompose(count) %>% anomalize(remainder) %>% # 新函数,用于清理和修复异常! clean_anomalies() %>% dplyr::select(date, anomaly, observed, observed_cleaned) %>% dplyr::filter(anomaly == "Yes") #> # 时间 tibble: 19 × 4 #> # 索引: 日期 #> 日期 异常 观测值 清理后的观测值 #> <date> <chr> <dbl> <dbl> #> 1 2017-01-12 是 -1.14e-13 3522. #> 2 2017-04-19 是 8.55e+ 3 5202. #> 3 2017-09-01 是 3.98e-13 4137. #> 4 2017-09-07 是 9.49e+ 3 4871. #> 5 2017-10-30 是 1.20e+ 4 6413. #> 6 2017-11-13 是 1.03e+ 4 6641. #> 7 2017-11-14 是 1.15e+ 4 7250. #> 8 2017-12-04 是 1.03e+ 4 6519. #> 9 2017-12-05 是 1.06e+ 4 7099. #> 10 2017-12-27 是 3.69e+ 3 7073. #> 11 2018-01-01 是 1.87e+ 3 6418. #> 12 2018-01-05 是 -5.68e-14 6293. #> 13 2018-01-13 是 7.64e+ 3 4141. #> 14 2018-02-07 是 1.19e+ 4 8539. #> 15 2018-02-08 是 1.17e+ 4 8237. #> 16 2018-02-09 是 -5.68e-14 7780. #> 17 2018-02-10 是 0 5478. #> 18 2018-02-23 是 -5.68e-14 8519. #> 19 2018-02-24 是 0 6218.

不仅如此!

还有几个额外的功能:

  • plot_anomaly_decomposition() 用于可视化算法如何在"余项"中检测异常的内部工作原理。
tidyverse_cran_downloads %>% dplyr::filter(package == "lubridate") %>% dplyr::ungroup() %>% time_decompose(count) %>% anomalize(remainder) %>% plot_anomaly_decomposition() + ggplot2::labs(title = "Lubridate下载量异常分解")
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e0f1473a-5fcc-4bef-b564-7e1e3f5e7faa.png" width="100%" />

有关anomalize方法和内部工作原理的更多信息,请参阅"Anomalize方法"文档

参考文献

在开发anomalize使用的异常检测方法时,以下几个包发挥了重要作用:

  • Twitter的AnomalyDetection,它使用中位数跨度实现分解,并使用广义极值学生化偏差(GESD)检验来检测异常。
  • forecast::tsoutliers()函数,它实现了IQR方法。

对学习异常检测感兴趣吗?

Business Science提供两个1小时的异常检测课程:

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

下拉加载更多