anomalize

anomalize

R语言时间序列异常检测工具

anomalize是一个R语言包,用于时间序列异常检测。它提供时间序列分解、异常检测和重组等功能,可有效分离正常数据和异常数据。该工具支持直观的可视化,并可通过清理异常值提高预测准确性。虽然核心功能已被timetk包替代,但anomalize仍保留原有功能以支持现有代码。

Anomalize时间序列异常检测数据分析R语言Github开源项目

Anomalize 正被 Timetk 取代:

anomalize <img src="https://raw.githubusercontent.com/business-science/anomalize/master/man/figures/anomalize-logo.png" width="147" height="170" align="right" />

<!-- badges: start -->

R-CMD-check 生命周期
状态 覆盖率
状态 CRAN_状态_徽章

<!-- badges: end --> <!-- README.md 由 README.Rmd 生成。请编辑该文件 -->

anomalize 包的功能已被 timetk 取代。 我们建议您开始使用 timetk::anomalize() 以获得增强功能和未来的改进。在此了解更多关于使用 timetk 进行异常检测的信息。

原始 anomalize 包的功能将继续维护,以支持使用旧功能的现有代码库。

为防止新的 timetk 功能与旧的 anomalize 代码冲突,请使用以下代码行:

library(anomalize) anomalize <- anomalize::anomalize plot_anomalies <- anomalize::plot_anomalies
<!-- # anomalize -->

整洁的异常检测

anomalize 为数据异常检测提供了一个整洁的工作流程。主要函数包括 time_decompose()anomalize()time_recompose()。结合使用这些函数,可以轻松地分解时间序列、检测异常并创建将"正常"数据与异常数据分开的区间。

2分钟了解 Anomalize (YouTube)

<a href="https://www.youtube.com/watch?v=Gk_HwjhlQJs" target="_blank"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7c3786b2-f8d0-43e9-8710-4bd031589f43.jpg" alt="Anomalize" width="100%" height="350"/></a>

查看我们在 YouTube 上的完整软件介绍系列

安装

您可以使用 devtools 安装开发版本,或使用 install.packages() 安装最新的 CRAN 版本:

# devtools::install_github("business-science/anomalize") install.packages("anomalize")

工作原理

anomalize 有三个主要函数:

  • time_decompose():将时间序列分解为季节性、趋势和余项组件
  • anomalize():对余项组件应用异常检测方法
  • time_recompose():计算将"正常"数据与异常数据分开的限制范围

入门

加载 anomalize 包。通常,您还会同时加载 tidyverse:

library(anomalize) library(tidyverse) # 注意:timetk 现在内置了异常检测功能, # 这将获得未来的新功能。 # 使用此脚本以防止覆盖旧版 anomalize: anomalize <- anomalize::anomalize plot_anomalies <- anomalize::plot_anomalies

接下来,让我们获取一些数据。anomalize 附带了一个名为 tidyverse_cran_downloads 的数据集,其中包含 15 个"整洁"包从 2017-01-01 到 2018-03-01 的每日 CRAN 下载次数。

假设我们想确定哪些每日下载"次数"是异常的。只需使用三个主要函数(time_decompose()anomalize()time_recompose())以及可视化函数 plot_anomalies() 即可轻松完成。

tidyverse_cran_downloads %>% # 数据操作 / 异常检测 time_decompose(count, method = "stl") %>% anomalize(remainder, method = "iqr") %>% time_recompose() %>% # 异常可视化 plot_anomalies(time_recomposed = TRUE, ncol = 3, alpha_dots = 0.25) + ggplot2::labs(title = "Tidyverse 异常", subtitle = "STL + IQR 方法")
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/23b51e62-f852-4f15-8b57-be7d2b4ae16a.png" width="100%" />

查看 anomalize 快速入门指南

将预测误差降低 32%

是的!Anomalize 有一个新函数 clean_anomalies(),可用于在预测之前修复时间序列。我们有一个全新的指南 - 使用清理后的异常数据降低预测误差(32%)

tidyverse_cran_downloads %>% dplyr::filter(package == "lubridate") %>% dplyr::ungroup() %>% time_decompose(count) %>% anomalize(remainder) %>% # 新函数,用于清理和修复异常! clean_anomalies() %>% dplyr::select(date, anomaly, observed, observed_cleaned) %>% dplyr::filter(anomaly == "Yes") #> # 时间 tibble: 19 × 4 #> # 索引: 日期 #> 日期 异常 观测值 清理后的观测值 #> <date> <chr> <dbl> <dbl> #> 1 2017-01-12 是 -1.14e-13 3522. #> 2 2017-04-19 是 8.55e+ 3 5202. #> 3 2017-09-01 是 3.98e-13 4137. #> 4 2017-09-07 是 9.49e+ 3 4871. #> 5 2017-10-30 是 1.20e+ 4 6413. #> 6 2017-11-13 是 1.03e+ 4 6641. #> 7 2017-11-14 是 1.15e+ 4 7250. #> 8 2017-12-04 是 1.03e+ 4 6519. #> 9 2017-12-05 是 1.06e+ 4 7099. #> 10 2017-12-27 是 3.69e+ 3 7073. #> 11 2018-01-01 是 1.87e+ 3 6418. #> 12 2018-01-05 是 -5.68e-14 6293. #> 13 2018-01-13 是 7.64e+ 3 4141. #> 14 2018-02-07 是 1.19e+ 4 8539. #> 15 2018-02-08 是 1.17e+ 4 8237. #> 16 2018-02-09 是 -5.68e-14 7780. #> 17 2018-02-10 是 0 5478. #> 18 2018-02-23 是 -5.68e-14 8519. #> 19 2018-02-24 是 0 6218.

不仅如此!

还有几个额外的功能:

  • plot_anomaly_decomposition() 用于可视化算法如何在"余项"中检测异常的内部工作原理。
tidyverse_cran_downloads %>% dplyr::filter(package == "lubridate") %>% dplyr::ungroup() %>% time_decompose(count) %>% anomalize(remainder) %>% plot_anomaly_decomposition() + ggplot2::labs(title = "Lubridate下载量异常分解")
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e0f1473a-5fcc-4bef-b564-7e1e3f5e7faa.png" width="100%" />

有关anomalize方法和内部工作原理的更多信息,请参阅"Anomalize方法"文档

参考文献

在开发anomalize使用的异常检测方法时,以下几个包发挥了重要作用:

  • Twitter的AnomalyDetection,它使用中位数跨度实现分解,并使用广义极值学生化偏差(GESD)检验来检测异常。
  • forecast::tsoutliers()函数,它实现了IQR方法。

对学习异常检测感兴趣吗?

Business Science提供两个1小时的异常检测课程:

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。

下拉加载更多