whisper

whisper

Graphite项目的高效时间序列数据存储方案

Whisper是Graphite项目的核心组件,专为时间序列数据设计的固定大小数据库。它在RRD基础上进行优化,提供快速可靠的数字数据存储,支持高分辨率的近期数据和低分辨率的长期历史数据。Whisper配备多种实用工具脚本,简化数据库的创建、查询、更新和管理。作为Graphite生态系统的关键部分,Whisper为大规模指标监控和分析提供高效的数据存储解决方案。

Whisper时间序列数据库Graphite项目数据存储脚本工具Github开源项目

Whisper

Codacy 徽章 构建状态 FOSSA 状态 codecov

概述

Whisper 是 Graphite 项目中的三个组件之一:

  1. Graphite-Web,一个基于 Django 的 Web 应用程序,用于渲染图表和仪表板
  2. Carbon 指标处理守护进程
  3. Whisper 时间序列数据库库

Graphite 组件

Whisper 是一个固定大小的数据库,在设计和用途上类似于 RRD(轮询数据库)。它提供了快速、可靠的数字数据随时间存储。Whisper 允许最近数据的高分辨率(每个点的秒数)逐渐降低为长期保留历史数据的低分辨率。

安装、配置和使用

请参阅 readthedocs 上的说明。

Whisper 脚本

rrd2whisper.py

将 rrd 文件转换为 whisper (.wsp) 文件。

用法:rrd2whisper.py rrd_路径

选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
                        在输出文件中使用的 xFilesFactor。默认为输入 RRD 的 xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        从输入获取的合并函数和设置在输出上的聚合方法。可选项:average、
                        last、max、min、avg_zero、absmax、absmin
  --destinationPath=DESTINATIONPATH
                        创建的 whisper 文件的放置路径。默认为 RRD 文件的源路径。

whisper-create.py

创建新的 whisper 数据库文件。

用法:whisper-create.py 路径 每点时间:存储时间 [每点时间:存储时间]*
      whisper-create.py --estimate 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间


选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
  --aggregationMethod=AGGREGATIONMETHOD
                        聚合值时使用的函数(average、sum、last、max、min、avg_zero、absmax、absmin)
  --overwrite
  --estimate            不创建 whisper 文件,仅根据归档定义估算存储需求

whisper-dump.py

将整个 whisper 文件内容导出到标准输出。

用法:whisper-dump.py 路径

选项:
  -h, --help            显示此帮助消息并退出
  --pretty              显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                        与 --pretty 一起使用的时间格式;参见 time.strftime()
  -r, --raw             仅以与 whisper-update 相同的格式导出值(UTC 时间戳)

whisper-fetch.py

将 whisper 文件中存储的所有指标获取到标准输出。

用法:whisper-fetch.py [选项] 路径

选项:
  -h, --help     显示此帮助消息并退出
  --from=_FROM   请求区间开始的 Unix 纪元时间(默认:24小时前)
  --until=UNTIL  请求区间结束的 Unix 纪元时间(默认:现在)
  --json         以 JSON 格式输出结果
  --pretty       显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                 与 --pretty 一起使用的时间格式;参见 time.strftime()
  --drop=DROP    指定 'nulls' 删除所有空值。指定 'zeroes' 删除所有零值。
                 指定 'empty' 删除空值和零值。

whisper-info.py

将 whisper 文件的元数据导出到标准输出。

用法:whisper-info.py [选项] 路径 [字段]
选项:
  -h, --help  显示此帮助信息并退出
  --json      以JSON格式输出结果

whisper-merge.py
----------------
合并两个现有的whisper文件。

用法:whisper-merge.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-fill.py
----------------
将src中的数据复制到dst(如果缺失)。
与whisper-merge不同,不覆盖目标文件中已存在的数据,
而仅添加缺失的数据(例如,目标文件中的空白处)。
由于不覆盖任何值,因此不会丢失数据或精度。
此外,与whisper-merge不同,尝试使用精度最高的存档
提供数据,而不是使用保留时间最长的存档。

用法:whisper-fill.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-resize.py
-----------------
更改现有whisper文件的保留率。

用法:whisper-resize.py 路径 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间

选项:
  -h, --help            显示此帮助信息并退出
  --xFilesFactor=XFILESFACTOR
                        更改xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        更改聚合函数(平均、总和、最后、最大、最小、零均值、绝对最大、绝对最小)
  --force               执行破坏性更改
  --newfile=NEWFILE     创建新的数据库文件而不删除现有文件
  --nobackup            成功执行后删除.bak文件
  --aggregate           尝试聚合值以更好地适应新的存档。请注意,这会使过程变慢并使用更多内存。

whisper-set-aggregation-method.py
---------------------------------
更改现有whisper文件的聚合方法。

用法:whisper-set-aggregation-method.py 路径 <average|sum|last|max|min|avg_zero|absmax|absmin>

选项:
  -h, --help  显示此帮助信息并退出

whisper-update.py
-----------------
用一个或多个值更新whisper文件,必须提供带有值的时间戳。

用法:whisper-update.py [选项] 路径 时间戳:值 [时间戳:值]*

选项:
  -h, --help  显示此帮助信息并退出

whisper-diff.py
---------------
检查whisper文件之间的差异。在合并前使用完整性检查。

用法:whisper-diff.py [选项] 路径_a 路径_b

选项:
  -h, --help      显示此帮助信息并退出
  --summary       显示差异摘要
  --ignore-empty  如果任一值未定义,则跳过比较
  --columns       以简单列形式打印输出
  --no-headers    不打印列标题
  --until=UNTIL   请求间隔结束的Unix纪元时间(默认:现在)
  --json          以JSON格式输出结果

## 许可证

Whisper根据Apache许可证2.0版获得许可。有关详细信息,请参阅LICENSE文件。

编辑推荐精选

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

下拉加载更多