whisper

whisper

Graphite项目的高效时间序列数据存储方案

Whisper是Graphite项目的核心组件,专为时间序列数据设计的固定大小数据库。它在RRD基础上进行优化,提供快速可靠的数字数据存储,支持高分辨率的近期数据和低分辨率的长期历史数据。Whisper配备多种实用工具脚本,简化数据库的创建、查询、更新和管理。作为Graphite生态系统的关键部分,Whisper为大规模指标监控和分析提供高效的数据存储解决方案。

Whisper时间序列数据库Graphite项目数据存储脚本工具Github开源项目

Whisper

Codacy 徽章 构建状态 FOSSA 状态 codecov

概述

Whisper 是 Graphite 项目中的三个组件之一:

  1. Graphite-Web,一个基于 Django 的 Web 应用程序,用于渲染图表和仪表板
  2. Carbon 指标处理守护进程
  3. Whisper 时间序列数据库库

Graphite 组件

Whisper 是一个固定大小的数据库,在设计和用途上类似于 RRD(轮询数据库)。它提供了快速、可靠的数字数据随时间存储。Whisper 允许最近数据的高分辨率(每个点的秒数)逐渐降低为长期保留历史数据的低分辨率。

安装、配置和使用

请参阅 readthedocs 上的说明。

Whisper 脚本

rrd2whisper.py

将 rrd 文件转换为 whisper (.wsp) 文件。

用法:rrd2whisper.py rrd_路径

选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
                        在输出文件中使用的 xFilesFactor。默认为输入 RRD 的 xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        从输入获取的合并函数和设置在输出上的聚合方法。可选项:average、
                        last、max、min、avg_zero、absmax、absmin
  --destinationPath=DESTINATIONPATH
                        创建的 whisper 文件的放置路径。默认为 RRD 文件的源路径。

whisper-create.py

创建新的 whisper 数据库文件。

用法:whisper-create.py 路径 每点时间:存储时间 [每点时间:存储时间]*
      whisper-create.py --estimate 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间


选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
  --aggregationMethod=AGGREGATIONMETHOD
                        聚合值时使用的函数(average、sum、last、max、min、avg_zero、absmax、absmin)
  --overwrite
  --estimate            不创建 whisper 文件,仅根据归档定义估算存储需求

whisper-dump.py

将整个 whisper 文件内容导出到标准输出。

用法:whisper-dump.py 路径

选项:
  -h, --help            显示此帮助消息并退出
  --pretty              显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                        与 --pretty 一起使用的时间格式;参见 time.strftime()
  -r, --raw             仅以与 whisper-update 相同的格式导出值(UTC 时间戳)

whisper-fetch.py

将 whisper 文件中存储的所有指标获取到标准输出。

用法:whisper-fetch.py [选项] 路径

选项:
  -h, --help     显示此帮助消息并退出
  --from=_FROM   请求区间开始的 Unix 纪元时间(默认:24小时前)
  --until=UNTIL  请求区间结束的 Unix 纪元时间(默认:现在)
  --json         以 JSON 格式输出结果
  --pretty       显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                 与 --pretty 一起使用的时间格式;参见 time.strftime()
  --drop=DROP    指定 'nulls' 删除所有空值。指定 'zeroes' 删除所有零值。
                 指定 'empty' 删除空值和零值。

whisper-info.py

将 whisper 文件的元数据导出到标准输出。

用法:whisper-info.py [选项] 路径 [字段]
选项:
  -h, --help  显示此帮助信息并退出
  --json      以JSON格式输出结果

whisper-merge.py
----------------
合并两个现有的whisper文件。

用法:whisper-merge.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-fill.py
----------------
将src中的数据复制到dst(如果缺失)。
与whisper-merge不同,不覆盖目标文件中已存在的数据,
而仅添加缺失的数据(例如,目标文件中的空白处)。
由于不覆盖任何值,因此不会丢失数据或精度。
此外,与whisper-merge不同,尝试使用精度最高的存档
提供数据,而不是使用保留时间最长的存档。

用法:whisper-fill.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-resize.py
-----------------
更改现有whisper文件的保留率。

用法:whisper-resize.py 路径 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间

选项:
  -h, --help            显示此帮助信息并退出
  --xFilesFactor=XFILESFACTOR
                        更改xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        更改聚合函数(平均、总和、最后、最大、最小、零均值、绝对最大、绝对最小)
  --force               执行破坏性更改
  --newfile=NEWFILE     创建新的数据库文件而不删除现有文件
  --nobackup            成功执行后删除.bak文件
  --aggregate           尝试聚合值以更好地适应新的存档。请注意,这会使过程变慢并使用更多内存。

whisper-set-aggregation-method.py
---------------------------------
更改现有whisper文件的聚合方法。

用法:whisper-set-aggregation-method.py 路径 <average|sum|last|max|min|avg_zero|absmax|absmin>

选项:
  -h, --help  显示此帮助信息并退出

whisper-update.py
-----------------
用一个或多个值更新whisper文件,必须提供带有值的时间戳。

用法:whisper-update.py [选项] 路径 时间戳:值 [时间戳:值]*

选项:
  -h, --help  显示此帮助信息并退出

whisper-diff.py
---------------
检查whisper文件之间的差异。在合并前使用完整性检查。

用法:whisper-diff.py [选项] 路径_a 路径_b

选项:
  -h, --help      显示此帮助信息并退出
  --summary       显示差异摘要
  --ignore-empty  如果任一值未定义,则跳过比较
  --columns       以简单列形式打印输出
  --no-headers    不打印列标题
  --until=UNTIL   请求间隔结束的Unix纪元时间(默认:现在)
  --json          以JSON格式输出结果

## 许可证

Whisper根据Apache许可证2.0版获得许可。有关详细信息,请参阅LICENSE文件。

编辑推荐精选

TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon,您的AI智能助手,致力于通过先进的人工智能技术,为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答,小浣熊都能以快速、准确的响应满足您的需求,让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体,能根据人类指令,自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台,广泛适用于电商广告、企业培训与社媒宣传,让全球企业与个人创作者无需拍摄剪辑,就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能,助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手,复杂任务高效处理

AI办公助手,复杂任务高效处理。办公效率低?扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作,覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应,生活工作无缝切换,提升50%效率!

蛙蛙写作

蛙蛙写作

AI小说写作助手,一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
下拉加载更多