whisper

whisper

Graphite项目的高效时间序列数据存储方案

Whisper是Graphite项目的核心组件,专为时间序列数据设计的固定大小数据库。它在RRD基础上进行优化,提供快速可靠的数字数据存储,支持高分辨率的近期数据和低分辨率的长期历史数据。Whisper配备多种实用工具脚本,简化数据库的创建、查询、更新和管理。作为Graphite生态系统的关键部分,Whisper为大规模指标监控和分析提供高效的数据存储解决方案。

Whisper时间序列数据库Graphite项目数据存储脚本工具Github开源项目

Whisper

Codacy 徽章 构建状态 FOSSA 状态 codecov

概述

Whisper 是 Graphite 项目中的三个组件之一:

  1. Graphite-Web,一个基于 Django 的 Web 应用程序,用于渲染图表和仪表板
  2. Carbon 指标处理守护进程
  3. Whisper 时间序列数据库库

Graphite 组件

Whisper 是一个固定大小的数据库,在设计和用途上类似于 RRD(轮询数据库)。它提供了快速、可靠的数字数据随时间存储。Whisper 允许最近数据的高分辨率(每个点的秒数)逐渐降低为长期保留历史数据的低分辨率。

安装、配置和使用

请参阅 readthedocs 上的说明。

Whisper 脚本

rrd2whisper.py

将 rrd 文件转换为 whisper (.wsp) 文件。

用法:rrd2whisper.py rrd_路径

选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
                        在输出文件中使用的 xFilesFactor。默认为输入 RRD 的 xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        从输入获取的合并函数和设置在输出上的聚合方法。可选项:average、
                        last、max、min、avg_zero、absmax、absmin
  --destinationPath=DESTINATIONPATH
                        创建的 whisper 文件的放置路径。默认为 RRD 文件的源路径。

whisper-create.py

创建新的 whisper 数据库文件。

用法:whisper-create.py 路径 每点时间:存储时间 [每点时间:存储时间]*
      whisper-create.py --estimate 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间


选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
  --aggregationMethod=AGGREGATIONMETHOD
                        聚合值时使用的函数(average、sum、last、max、min、avg_zero、absmax、absmin)
  --overwrite
  --estimate            不创建 whisper 文件,仅根据归档定义估算存储需求

whisper-dump.py

将整个 whisper 文件内容导出到标准输出。

用法:whisper-dump.py 路径

选项:
  -h, --help            显示此帮助消息并退出
  --pretty              显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                        与 --pretty 一起使用的时间格式;参见 time.strftime()
  -r, --raw             仅以与 whisper-update 相同的格式导出值(UTC 时间戳)

whisper-fetch.py

将 whisper 文件中存储的所有指标获取到标准输出。

用法:whisper-fetch.py [选项] 路径

选项:
  -h, --help     显示此帮助消息并退出
  --from=_FROM   请求区间开始的 Unix 纪元时间(默认:24小时前)
  --until=UNTIL  请求区间结束的 Unix 纪元时间(默认:现在)
  --json         以 JSON 格式输出结果
  --pretty       显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                 与 --pretty 一起使用的时间格式;参见 time.strftime()
  --drop=DROP    指定 'nulls' 删除所有空值。指定 'zeroes' 删除所有零值。
                 指定 'empty' 删除空值和零值。

whisper-info.py

将 whisper 文件的元数据导出到标准输出。

用法:whisper-info.py [选项] 路径 [字段]
选项:
  -h, --help  显示此帮助信息并退出
  --json      以JSON格式输出结果

whisper-merge.py
----------------
合并两个现有的whisper文件。

用法:whisper-merge.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-fill.py
----------------
将src中的数据复制到dst(如果缺失)。
与whisper-merge不同,不覆盖目标文件中已存在的数据,
而仅添加缺失的数据(例如,目标文件中的空白处)。
由于不覆盖任何值,因此不会丢失数据或精度。
此外,与whisper-merge不同,尝试使用精度最高的存档
提供数据,而不是使用保留时间最长的存档。

用法:whisper-fill.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-resize.py
-----------------
更改现有whisper文件的保留率。

用法:whisper-resize.py 路径 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间

选项:
  -h, --help            显示此帮助信息并退出
  --xFilesFactor=XFILESFACTOR
                        更改xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        更改聚合函数(平均、总和、最后、最大、最小、零均值、绝对最大、绝对最小)
  --force               执行破坏性更改
  --newfile=NEWFILE     创建新的数据库文件而不删除现有文件
  --nobackup            成功执行后删除.bak文件
  --aggregate           尝试聚合值以更好地适应新的存档。请注意,这会使过程变慢并使用更多内存。

whisper-set-aggregation-method.py
---------------------------------
更改现有whisper文件的聚合方法。

用法:whisper-set-aggregation-method.py 路径 <average|sum|last|max|min|avg_zero|absmax|absmin>

选项:
  -h, --help  显示此帮助信息并退出

whisper-update.py
-----------------
用一个或多个值更新whisper文件,必须提供带有值的时间戳。

用法:whisper-update.py [选项] 路径 时间戳:值 [时间戳:值]*

选项:
  -h, --help  显示此帮助信息并退出

whisper-diff.py
---------------
检查whisper文件之间的差异。在合并前使用完整性检查。

用法:whisper-diff.py [选项] 路径_a 路径_b

选项:
  -h, --help      显示此帮助信息并退出
  --summary       显示差异摘要
  --ignore-empty  如果任一值未定义,则跳过比较
  --columns       以简单列形式打印输出
  --no-headers    不打印列标题
  --until=UNTIL   请求间隔结束的Unix纪元时间(默认:现在)
  --json          以JSON格式输出结果

## 许可证

Whisper根据Apache许可证2.0版获得许可。有关详细信息,请参阅LICENSE文件。

编辑推荐精选

堆友

堆友

多风格AI绘画神器

堆友平台由阿里巴巴设计团队创建,作为一款AI驱动的设计工具,专为设计师提供一站式增长服务。功能覆盖海量3D素材、AI绘画、实时渲染以及专业抠图,显著提升设计品质和效率。平台不仅提供工具,还是一个促进创意交流和个人发展的空间,界面友好,适合所有级别的设计师和创意工作者。

图像生成AI工具AI反应堆AI工具箱AI绘画GOAI艺术字堆友相机AI图像热门
码上飞

码上飞

零代码AI应用开发平台

零代码AI应用开发平台,用户只需一句话简单描述需求,AI能自动生成小程序、APP或H5网页应用,无需编写代码。

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

下拉加载更多