anomalize

anomalize

R语言时间序列异常检测工具

anomalize是一个R语言包,用于时间序列异常检测。它提供时间序列分解、异常检测和重组等功能,可有效分离正常数据和异常数据。该工具支持直观的可视化,并可通过清理异常值提高预测准确性。虽然核心功能已被timetk包替代,但anomalize仍保留原有功能以支持现有代码。

Anomalize时间序列异常检测数据分析R语言Github开源项目

Anomalize 正被 Timetk 取代:

anomalize <img src="https://raw.githubusercontent.com/business-science/anomalize/master/man/figures/anomalize-logo.png" width="147" height="170" align="right" />

<!-- badges: start -->

R-CMD-check 生命周期
状态 覆盖率
状态 CRAN_状态_徽章

<!-- badges: end --> <!-- README.md 由 README.Rmd 生成。请编辑该文件 -->

anomalize 包的功能已被 timetk 取代。 我们建议您开始使用 timetk::anomalize() 以获得增强功能和未来的改进。在此了解更多关于使用 timetk 进行异常检测的信息。

原始 anomalize 包的功能将继续维护,以支持使用旧功能的现有代码库。

为防止新的 timetk 功能与旧的 anomalize 代码冲突,请使用以下代码行:

library(anomalize) anomalize <- anomalize::anomalize plot_anomalies <- anomalize::plot_anomalies
<!-- # anomalize -->

整洁的异常检测

anomalize 为数据异常检测提供了一个整洁的工作流程。主要函数包括 time_decompose()anomalize()time_recompose()。结合使用这些函数,可以轻松地分解时间序列、检测异常并创建将"正常"数据与异常数据分开的区间。

2分钟了解 Anomalize (YouTube)

<a href="https://www.youtube.com/watch?v=Gk_HwjhlQJs" target="_blank"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7c3786b2-f8d0-43e9-8710-4bd031589f43.jpg" alt="Anomalize" width="100%" height="350"/></a>

查看我们在 YouTube 上的完整软件介绍系列

安装

您可以使用 devtools 安装开发版本,或使用 install.packages() 安装最新的 CRAN 版本:

# devtools::install_github("business-science/anomalize") install.packages("anomalize")

工作原理

anomalize 有三个主要函数:

  • time_decompose():将时间序列分解为季节性、趋势和余项组件
  • anomalize():对余项组件应用异常检测方法
  • time_recompose():计算将"正常"数据与异常数据分开的限制范围

入门

加载 anomalize 包。通常,您还会同时加载 tidyverse:

library(anomalize) library(tidyverse) # 注意:timetk 现在内置了异常检测功能, # 这将获得未来的新功能。 # 使用此脚本以防止覆盖旧版 anomalize: anomalize <- anomalize::anomalize plot_anomalies <- anomalize::plot_anomalies

接下来,让我们获取一些数据。anomalize 附带了一个名为 tidyverse_cran_downloads 的数据集,其中包含 15 个"整洁"包从 2017-01-01 到 2018-03-01 的每日 CRAN 下载次数。

假设我们想确定哪些每日下载"次数"是异常的。只需使用三个主要函数(time_decompose()anomalize()time_recompose())以及可视化函数 plot_anomalies() 即可轻松完成。

tidyverse_cran_downloads %>% # 数据操作 / 异常检测 time_decompose(count, method = "stl") %>% anomalize(remainder, method = "iqr") %>% time_recompose() %>% # 异常可视化 plot_anomalies(time_recomposed = TRUE, ncol = 3, alpha_dots = 0.25) + ggplot2::labs(title = "Tidyverse 异常", subtitle = "STL + IQR 方法")
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/23b51e62-f852-4f15-8b57-be7d2b4ae16a.png" width="100%" />

查看 anomalize 快速入门指南

将预测误差降低 32%

是的!Anomalize 有一个新函数 clean_anomalies(),可用于在预测之前修复时间序列。我们有一个全新的指南 - 使用清理后的异常数据降低预测误差(32%)

tidyverse_cran_downloads %>% dplyr::filter(package == "lubridate") %>% dplyr::ungroup() %>% time_decompose(count) %>% anomalize(remainder) %>% # 新函数,用于清理和修复异常! clean_anomalies() %>% dplyr::select(date, anomaly, observed, observed_cleaned) %>% dplyr::filter(anomaly == "Yes") #> # 时间 tibble: 19 × 4 #> # 索引: 日期 #> 日期 异常 观测值 清理后的观测值 #> <date> <chr> <dbl> <dbl> #> 1 2017-01-12 是 -1.14e-13 3522. #> 2 2017-04-19 是 8.55e+ 3 5202. #> 3 2017-09-01 是 3.98e-13 4137. #> 4 2017-09-07 是 9.49e+ 3 4871. #> 5 2017-10-30 是 1.20e+ 4 6413. #> 6 2017-11-13 是 1.03e+ 4 6641. #> 7 2017-11-14 是 1.15e+ 4 7250. #> 8 2017-12-04 是 1.03e+ 4 6519. #> 9 2017-12-05 是 1.06e+ 4 7099. #> 10 2017-12-27 是 3.69e+ 3 7073. #> 11 2018-01-01 是 1.87e+ 3 6418. #> 12 2018-01-05 是 -5.68e-14 6293. #> 13 2018-01-13 是 7.64e+ 3 4141. #> 14 2018-02-07 是 1.19e+ 4 8539. #> 15 2018-02-08 是 1.17e+ 4 8237. #> 16 2018-02-09 是 -5.68e-14 7780. #> 17 2018-02-10 是 0 5478. #> 18 2018-02-23 是 -5.68e-14 8519. #> 19 2018-02-24 是 0 6218.

不仅如此!

还有几个额外的功能:

  • plot_anomaly_decomposition() 用于可视化算法如何在"余项"中检测异常的内部工作原理。
tidyverse_cran_downloads %>% dplyr::filter(package == "lubridate") %>% dplyr::ungroup() %>% time_decompose(count) %>% anomalize(remainder) %>% plot_anomaly_decomposition() + ggplot2::labs(title = "Lubridate下载量异常分解")
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e0f1473a-5fcc-4bef-b564-7e1e3f5e7faa.png" width="100%" />

有关anomalize方法和内部工作原理的更多信息,请参阅"Anomalize方法"文档

参考文献

在开发anomalize使用的异常检测方法时,以下几个包发挥了重要作用:

  • Twitter的AnomalyDetection,它使用中位数跨度实现分解,并使用广义极值学生化偏差(GESD)检验来检测异常。
  • forecast::tsoutliers()函数,它实现了IQR方法。

对学习异常检测感兴趣吗?

Business Science提供两个1小时的异常检测课程:

编辑推荐精选

商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon,您的AI智能助手,致力于通过先进的人工智能技术,为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答,小浣熊都能以快速、准确的响应满足您的需求,让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体,能根据人类指令,自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台,广泛适用于电商广告、企业培训与社媒宣传,让全球企业与个人创作者无需拍摄剪辑,就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能,助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手,复杂任务高效处理

AI办公助手,复杂任务高效处理。办公效率低?扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作,覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应,生活工作无缝切换,提升50%效率!

TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
蛙蛙写作

蛙蛙写作

AI小说写作助手,一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI助手AI工具AI写作工具AI辅助写作蛙蛙写作学术助手办公助手营销助手
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

聊天机器人AI助手热门AI工具AI对话
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

热门AI工具AI办公办公工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图
下拉加载更多