whisper

whisper

Graphite项目的高效时间序列数据存储方案

Whisper是Graphite项目的核心组件,专为时间序列数据设计的固定大小数据库。它在RRD基础上进行优化,提供快速可靠的数字数据存储,支持高分辨率的近期数据和低分辨率的长期历史数据。Whisper配备多种实用工具脚本,简化数据库的创建、查询、更新和管理。作为Graphite生态系统的关键部分,Whisper为大规模指标监控和分析提供高效的数据存储解决方案。

Whisper时间序列数据库Graphite项目数据存储脚本工具Github开源项目

Whisper

Codacy 徽章 构建状态 FOSSA 状态 codecov

概述

Whisper 是 Graphite 项目中的三个组件之一:

  1. Graphite-Web,一个基于 Django 的 Web 应用程序,用于渲染图表和仪表板
  2. Carbon 指标处理守护进程
  3. Whisper 时间序列数据库库

Graphite 组件

Whisper 是一个固定大小的数据库,在设计和用途上类似于 RRD(轮询数据库)。它提供了快速、可靠的数字数据随时间存储。Whisper 允许最近数据的高分辨率(每个点的秒数)逐渐降低为长期保留历史数据的低分辨率。

安装、配置和使用

请参阅 readthedocs 上的说明。

Whisper 脚本

rrd2whisper.py

将 rrd 文件转换为 whisper (.wsp) 文件。

用法:rrd2whisper.py rrd_路径

选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
                        在输出文件中使用的 xFilesFactor。默认为输入 RRD 的 xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        从输入获取的合并函数和设置在输出上的聚合方法。可选项:average、
                        last、max、min、avg_zero、absmax、absmin
  --destinationPath=DESTINATIONPATH
                        创建的 whisper 文件的放置路径。默认为 RRD 文件的源路径。

whisper-create.py

创建新的 whisper 数据库文件。

用法:whisper-create.py 路径 每点时间:存储时间 [每点时间:存储时间]*
      whisper-create.py --estimate 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间


选项:
  -h, --help            显示此帮助消息并退出
  --xFilesFactor=XFILESFACTOR
  --aggregationMethod=AGGREGATIONMETHOD
                        聚合值时使用的函数(average、sum、last、max、min、avg_zero、absmax、absmin)
  --overwrite
  --estimate            不创建 whisper 文件,仅根据归档定义估算存储需求

whisper-dump.py

将整个 whisper 文件内容导出到标准输出。

用法:whisper-dump.py 路径

选项:
  -h, --help            显示此帮助消息并退出
  --pretty              显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                        与 --pretty 一起使用的时间格式;参见 time.strftime()
  -r, --raw             仅以与 whisper-update 相同的格式导出值(UTC 时间戳)

whisper-fetch.py

将 whisper 文件中存储的所有指标获取到标准输出。

用法:whisper-fetch.py [选项] 路径

选项:
  -h, --help     显示此帮助消息并退出
  --from=_FROM   请求区间开始的 Unix 纪元时间(默认:24小时前)
  --until=UNTIL  请求区间结束的 Unix 纪元时间(默认:现在)
  --json         以 JSON 格式输出结果
  --pretty       显示人类可读的时间戳而不是 Unix 时间
  -t TIME_FORMAT, --time-format=TIME_FORMAT
                 与 --pretty 一起使用的时间格式;参见 time.strftime()
  --drop=DROP    指定 'nulls' 删除所有空值。指定 'zeroes' 删除所有零值。
                 指定 'empty' 删除空值和零值。

whisper-info.py

将 whisper 文件的元数据导出到标准输出。

用法:whisper-info.py [选项] 路径 [字段]
选项:
  -h, --help  显示此帮助信息并退出
  --json      以JSON格式输出结果

whisper-merge.py
----------------
合并两个现有的whisper文件。

用法:whisper-merge.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-fill.py
----------------
将src中的数据复制到dst(如果缺失)。
与whisper-merge不同,不覆盖目标文件中已存在的数据,
而仅添加缺失的数据(例如,目标文件中的空白处)。
由于不覆盖任何值,因此不会丢失数据或精度。
此外,与whisper-merge不同,尝试使用精度最高的存档
提供数据,而不是使用保留时间最长的存档。

用法:whisper-fill.py [选项] 源路径 目标路径

选项:
  -h, --help  显示此帮助信息并退出

whisper-resize.py
-----------------
更改现有whisper文件的保留率。

用法:whisper-resize.py 路径 每点时间:存储时间 [每点时间:存储时间]*

每点时间和存储时间指定时间长度,例如:

60:1440      每个数据点60秒,1440个数据点 = 1天的保留时间
15m:8        每个数据点15分钟,8个数据点 = 2小时的保留时间
1h:7d        每个数据点1小时,7天的保留时间
12h:2y       每个数据点12小时,2年的保留时间

选项:
  -h, --help            显示此帮助信息并退出
  --xFilesFactor=XFILESFACTOR
                        更改xFilesFactor
  --aggregationMethod=AGGREGATIONMETHOD
                        更改聚合函数(平均、总和、最后、最大、最小、零均值、绝对最大、绝对最小)
  --force               执行破坏性更改
  --newfile=NEWFILE     创建新的数据库文件而不删除现有文件
  --nobackup            成功执行后删除.bak文件
  --aggregate           尝试聚合值以更好地适应新的存档。请注意,这会使过程变慢并使用更多内存。

whisper-set-aggregation-method.py
---------------------------------
更改现有whisper文件的聚合方法。

用法:whisper-set-aggregation-method.py 路径 <average|sum|last|max|min|avg_zero|absmax|absmin>

选项:
  -h, --help  显示此帮助信息并退出

whisper-update.py
-----------------
用一个或多个值更新whisper文件,必须提供带有值的时间戳。

用法:whisper-update.py [选项] 路径 时间戳:值 [时间戳:值]*

选项:
  -h, --help  显示此帮助信息并退出

whisper-diff.py
---------------
检查whisper文件之间的差异。在合并前使用完整性检查。

用法:whisper-diff.py [选项] 路径_a 路径_b

选项:
  -h, --help      显示此帮助信息并退出
  --summary       显示差异摘要
  --ignore-empty  如果任一值未定义,则跳过比较
  --columns       以简单列形式打印输出
  --no-headers    不打印列标题
  --until=UNTIL   请求间隔结束的Unix纪元时间(默认:现在)
  --json          以JSON格式输出结果

## 许可证

Whisper根据Apache许可证2.0版获得许可。有关详细信息,请参阅LICENSE文件。

编辑推荐精选

蛙蛙写作

蛙蛙写作

AI小说写作助手,一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

下拉加载更多