Loghub
<div> <a href="https://github.com/logpai/loghub/stargazers"><img src="http://bytecrank.com/nastyox/reporoster/php/stargazersSVG.php?user=logpai&repo=loghub" width="600"/><a/> </div>Loghub维护着一个系统日志集合，这些日志可以自由访问，用于人工智能驱动的日志分析研究。其中一些日志是从之前的研究中发布的生产数据，而另一些则是从我们实验室环境中的真实系统收集的。在可能的情况下，这些日志未经过清理、匿名化或任何形式的修改。这些日志数据集可以免费用于研究或学术工作。
🤗 我们自豪地宣布，loghub数据集已经被来自工业界和学术界的450多个组织下载，总下载量达到了<a href="https://doi.org/10.5281/zenodo.1144100"><img src="https://img.shields.io/endpoint?&url=https://cdn.jsdelivr.net/gh/logpai/loghub@zenodo/downloads.json&labelColor=1AE&color=DDEEFF&style=flat&label=Downloads"></a>。
目前可用的日志
🔗 通过下载列中的超链接获取原始日志。
| 数据集 | 描述 | 是否标记 | 时间跨度 | 行数 | 原始大小 | 下载 |
|---|---|---|---|---|---|---|
| <tr><th colspan=7 align="center">:open_file_folder: 分布式系统</th></tr> | ||||||
| HDFS_v1 | Hadoop分布式文件系统日志 | :heavy_check_mark: | 38.7小时 | 11,175,629 | 1.47GB | :link: |
| HDFS_v2 | Hadoop分布式文件系统日志 | 不适用 | 71,118,073 | 16.06GB | :link: | |
| HDFS_v3 | 插桩HDFS跟踪日志(TraceBench) | :heavy_check_mark: | 不适用 | 14,778,079 | 2.96GB | :link: |
| Hadoop | Hadoop MapReduce作业日志 | :heavy_check_mark: | 不适用 | 394,308 | 48.61MB | :link: |
| Spark | Spark作业日志 | 不适用 | 33,236,604 | 2.75GB | :link: | |
| Zookeeper | ZooKeeper服务日志 | 26.7天 | 74,380 | 9.95MB | :link: | |
| OpenStack | OpenStack基础设施日志 | :heavy_check_mark: | 不适用 | 207,820 | 58.61MB | :link: |
| <tr><th colspan=7 align="center">:open_file_folder: 超级计算机</th></tr> | ||||||
| BGL | Blue Gene/L超级计算机日志 | :heavy_check_mark: | 214.7天 | 4,747,963 | 708.76MB | :link: |
| HPC | 高性能集群日志 | 不适用 | 433,489 | 32.00MB | :link: | |
| Thunderbird | Thunderbird超级计算机日志 | :heavy_check_mark: | 244天 | 211,212,192 | 29.60GB | :link: |
| <tr><th colspan=7 align="center">:open_file_folder: 操作系统</th></tr> | ||||||
| Windows | Windows事件日志 | 226.7天 | 114,608,388 | 26.09GB | :link: | |
| Linux | Linux系统日志 | 263.9天 | 25,567 | 2.25MB | :link: | |
| Mac | Mac OS日志 | 7.0天 | 117,283 | 16.09MB | :link: | |
| <tr><th colspan=7 align="center">:open_file_folder: 移动系统</th></tr> | ||||||
| Android_v1 | Android框架日志 | 不适用 | 1,555,005 | 183.37MB | :link: | |
| Android_v2 | Android框架日志 | 不适用 | 30,348,042 | 3.38GB | :link: | |
| HealthApp | 健康应用日志 | 10.5天 | 253,395 | 22.44MB | :link: | |
| <tr><th colspan=7 align="center">:open_file_folder: 服务器应用</th></tr> | ||||||
| Apache | Apache网络服务器错误日志 | 263.9天 | 56,481 | 4.90MB | :link: | |
| OpenSSH | OpenSSH服务器日志 | 28.4天 | 655,146 | 70.02MB | :link: | |
| <tr><th colspan=7 align="center">:open_file_folder: 独立软件</th></tr> | ||||||
| Proxifier | Proxifier软件日志 | 不适用 | 21,329 | 2.42MB | :link: |
🔥 引用
如果您在研究中使用了loghub数据集，请引用以下论文：
- Jieming Zhu, Shilin He, Pinjia He, Jinyang Liu, Michael R. Lyu. Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics. IEEE International Symposium on Software Reliability Engineering (ISSRE), 2023.
使用loghub数据集的出版物
| 出版物 | 论文标题 |
|---|---|
| DSN'07 | Adam J. Oliner, Jon Stearley. 超级计算机的话语：五个系统日志的研究. IEEE/IFIP 可靠系统与网络国际会议 (DSN), 2007. |
| SOSP'09 | Wei Xu, Ling Huang, Armando Fox, David A. Patterson, Michael I. Jordan. 通过挖掘控制台日志检测大规模系统问题. ACM 操作系统原理研讨会 (SOSP), 2009. |
| KDD'09 | Adetokunbo Makanju, A. Nur Zincir-Heywood, Evangelos E. Milios. 使用迭代分区聚类事件日志. ACM SIGKDD 知识发现与数据挖掘国际会议 (KDD), 2009. |
| ISSRE'16 | Shilin He, Jieming Zhu, Pinjia He, Michael R. Lyu. 经验报告：用于异常检测的系统日志分析. IEEE 软件可靠性工程国际研讨会 (ISSRE), 2016. |
| DSN'16 | Pinjia He, Jieming Zhu, Shilin He, Jian Li, Michael R. Lyu. 日志解析及其在日志挖掘中应用的评估研究. IEEE/IFIP 可靠系统与网络国际会议 (DSN), 2016. |
| ICSE'16 | Qingwei Lin, Hongyu Zhang, Jian-Guang Lou, Yu Zhang, Xuewei Chen. 基于日志聚类的在线服务系统问题识别. 国际软件工程会议 (ICSE), 2016. |
| ICWS'17 | Pinjia He, Jieming Zhu, Zibin Zheng, Michael R. Lyu. Drain：一种基于固定深度树的在线日志解析方法. IEEE 国际网络服务会议 (ICWS), 2017. |
| CCS'17 | Min Du, Feifei Li, Guineng Zheng, Vivek Srikumar. DeepLog：通过深度学习进行系统日志异常检测和诊断. ACM 计算机与通信安全会议 (CCS), 2017. |
| TDSC'18 | Pinjia He, Jieming Zhu, Shilin He, Jian Li, Michael R. Lyu. 面向大规模日志数据分析的自动化日志解析. IEEE 可靠和安全计算交易 (TDSC), 2018. |
| TKDE'18 | Min Du, Feifei Li. Spell：大型非结构化系统日志的在线流式解析. IEEE 知识与数据工程交易 (TKDE), 2018. |
| ASE'19 | Jinyang Liu, Jieming Zhu, Shilin He, Pinjia He, Zibin Zheng, Michael R. Lyu. Logzip：通过迭代聚类提取隐藏结构进行日志压缩. IEEE/ACM 自动化软件工程国际会议 (ASE), 2019. |
| ICSE'19 | Jieming Zhu, Shilin He, Jinyang Liu, Pinjia He, Qi Xie, Zibin Zheng, Michael R. Lyu. 自动化日志解析的工具和基准. 国际软件工程会议 (ICSE), 2019. |
| ICSE'22 | Zanis Ali Khan, Donghwan Shin, Domenico Bianculli, Lionel Briand. 评估日志消息模板识别技术准确性的指南. 国际软件工程会议 (ICSE), 2023. |
| ICSE'23 | Van-Hoang Le, Hongyu Zhang. 基于提示的少样本学习的日志解析. 国际软件工程会议 (ICSE), 2023. |
| ICSE'23 | Zhenhao Li, Chuan Luo, Tse-Hsun Chen, Weiyi Shang, Shilin He, Qingwei Lin, Dongmei Zhang. 我们是否遗漏了重要内容？研究和探索变量感知的日志抽象. 国际软件工程会议 (ICSE), 2023. |
| ICSE'23 | Yintong Huo, Yuxin Su, Cheryl Lee, Michael R. Lyu. SemParser：用于日志分析的语义解析器. 国际软件工程会议 (ICSE), 2023. |
| WWW'23 | Liming Wang, Hong Xie, Ye Li, Jian Tan, John C.S. Lui. 通过轻量级用户反馈进行交互式日志解析. ACM 网络会议, 2023. |
| TSC'23 | Siyu Yu, Pinjia He, Ningjiang Chen, Yifan Wu. Brain：具有双向并行树的日志解析. IEEE 服务计算交易, 2023. |
💡 如果您在论文中使用了loghub数 据集，欢迎提交PR将您的论文添加到此表格中。
讨论
欢迎加入我们的微信群进行任何问题讨论。或者，您可以在此处开启讨论。
🌈 许可
这些数据集可免费用于研究或学术工作。对于数据集的任何使用或分发，请参考loghub存储库URL https://github.com/logpai/loghub 并在适用情况下引用loghub论文。
编辑推荐精选
讯飞智文
一键生成PPT和Word，让学习生活更轻松
讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。
讯飞星火
深度推理能力全新升级，全面对标OpenAI o1
科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。
Spark-TTS
一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型
Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。
Trae
字节跳动发布的AI编程神器IDE
Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。
咔片PPT
AI助力，做PPT更简单！
咔片是一款轻量化在线演示设计工具，借助 AI 技术，实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT，提供海量模板、智能美化、素材替换等功能，适用于销售、教师、学生等各类人群，能高效制作出高品质 PPT，满足不同场景演示需求。
讯飞绘文
选题、配图、成文，一站式创作，让内容运营更高效
讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。
材料星
专业的AI公文写作平台，公文写作神器
AI 材料星，专业的 AI 公文写作辅助平台，为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能，支持 30 + 文稿类型生成，助力快速完成领导讲话、工作总结、述职报告等材料，提升办公效率，是体制打工人的得力写作神器。
openai-agents-python
OpenAI Agents SDK，助力开发者便捷使用 OpenAI 相关功能。
openai-agents-python 是 OpenAI 推出的一款强大 Python SDK，它为开发者提供了与 OpenAI 模型交互的高效工具，支持工具调用、结果处理、追踪等功能，涵盖多种应用场景，如研究助手、财务研究等，能显著提升开发效率，让开发者更轻松地利用 OpenAI 的技术优势。
Hunyuan3D-2
高分辨率纹理 3D 资产生成
Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具，支持从文本描述、单张图片或多视角图片生成 3D 模型，具备快速形状生成能力，可生成带纹理的高质量 3D 模型，适用于多个领域，为 3D 创作提供了高效 解决方案。
3FS
一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。
3FS 是一个功能强大的分布式文件系统项目，涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作，如创建文件和目录、设置布局等，同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景，能够提高系统的性能和可靠性，是分布式存储领域的优质解决方案。
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号