Loghub

Loghub维护着一个系统日志集合，这些日志可以自由访问，用于人工智能驱动的日志分析研究。其中一些日志是从之前的研究中发布的生产数据，而另一些则是从我们实验室环境中的真实系统收集的。在可能的情况下，这些日志未经过清理、匿名化或任何形式的修改。这些日志数据集可以免费用于研究或学术工作。

🤗 我们自豪地宣布，loghub数据集已经被来自工业界和学术界的450多个组织下载，总下载量达到了<a href="https://doi.org/10.5281/zenodo.1144100"><img src="https://img.shields.io/endpoint?&url=https://cdn.jsdelivr.net/gh/logpai/loghub@zenodo/downloads.json&labelColor=1AE&color=DDEEFF&style=flat&label=Downloads"></a>。

目前可用的日志

🔗 通过下载列中的超链接获取原始日志。

数据集	描述	是否标记	时间跨度	行数	原始大小	下载
<tr><th colspan=7 align="center">:open_file_folder: 分布式系统</th></tr>
HDFS_v1	Hadoop分布式文件系统日志	:heavy_check_mark:	38.7小时	11,175,629	1.47GB	:link:
HDFS_v2	Hadoop分布式文件系统日志		不适用	71,118,073	16.06GB	:link:
HDFS_v3	插桩HDFS跟踪日志(TraceBench)	:heavy_check_mark:	不适用	14,778,079	2.96GB	:link:
Hadoop	Hadoop MapReduce作业日志	:heavy_check_mark:	不适用	394,308	48.61MB	:link:
Spark	Spark作业日志		不适用	33,236,604	2.75GB	:link:
Zookeeper	ZooKeeper服务日志		26.7天	74,380	9.95MB	:link:
OpenStack	OpenStack基础设施日志	:heavy_check_mark:	不适用	207,820	58.61MB	:link:
<tr><th colspan=7 align="center">:open_file_folder: 超级计算机</th></tr>
BGL	Blue Gene/L超级计算机日志	:heavy_check_mark:	214.7天	4,747,963	708.76MB	:link:
HPC	高性能集群日志		不适用	433,489	32.00MB	:link:
Thunderbird	Thunderbird超级计算机日志	:heavy_check_mark:	244天	211,212,192	29.60GB	:link:
<tr><th colspan=7 align="center">:open_file_folder: 操作系统</th></tr>
Windows	Windows事件日志		226.7天	114,608,388	26.09GB	:link:
Linux	Linux系统日志		263.9天	25,567	2.25MB	:link:
Mac	Mac OS日志		7.0天	117,283	16.09MB	:link:
<tr><th colspan=7 align="center">:open_file_folder: 移动系统</th></tr>
Android_v1	Android框架日志		不适用	1,555,005	183.37MB	:link:
Android_v2	Android框架日志		不适用	30,348,042	3.38GB	:link:
HealthApp	健康应用日志		10.5天	253,395	22.44MB	:link:
<tr><th colspan=7 align="center">:open_file_folder: 服务器应用</th></tr>
Apache	Apache网络服务器错误日志		263.9天	56,481	4.90MB	:link:
OpenSSH	OpenSSH服务器日志		28.4天	655,146	70.02MB	:link:
<tr><th colspan=7 align="center">:open_file_folder: 独立软件</th></tr>
Proxifier	Proxifier软件日志		不适用	21,329	2.42MB	:link:

🔥 引用

如果您在研究中使用了loghub数据集，请引用以下论文：

Jieming Zhu, Shilin He, Pinjia He, Jinyang Liu, Michael R. Lyu. Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics. IEEE International Symposium on Software Reliability Engineering (ISSRE), 2023.

使用loghub数据集的出版物

出版物	论文标题
DSN'07	Adam J. Oliner, Jon Stearley. 超级计算机的话语：五个系统日志的研究. IEEE/IFIP 可靠系统与网络国际会议 (DSN), 2007.
SOSP'09	Wei Xu, Ling Huang, Armando Fox, David A. Patterson, Michael I. Jordan. 通过挖掘控制台日志检测大规模系统问题. ACM 操作系统原理研讨会 (SOSP), 2009.
KDD'09	Adetokunbo Makanju, A. Nur Zincir-Heywood, Evangelos E. Milios. 使用迭代分区聚类事件日志. ACM SIGKDD 知识发现与数据挖掘国际会议 (KDD), 2009.
ISSRE'16	Shilin He, Jieming Zhu, Pinjia He, Michael R. Lyu. 经验报告：用于异常检测的系统日志分析. IEEE 软件可靠性工程国际研讨会 (ISSRE), 2016.
DSN'16	Pinjia He, Jieming Zhu, Shilin He, Jian Li, Michael R. Lyu. 日志解析及其在日志挖掘中应用的评估研究. IEEE/IFIP 可靠系统与网络国际会议 (DSN), 2016.
ICSE'16	Qingwei Lin, Hongyu Zhang, Jian-Guang Lou, Yu Zhang, Xuewei Chen. 基于日志聚类的在线服务系统问题识别. 国际软件工程会议 (ICSE), 2016.
ICWS'17	Pinjia He, Jieming Zhu, Zibin Zheng, Michael R. Lyu. Drain：一种基于固定深度树的在线日志解析方法. IEEE 国际网络服务会议 (ICWS), 2017.
CCS'17	Min Du, Feifei Li, Guineng Zheng, Vivek Srikumar. DeepLog：通过深度学习进行系统日志异常检测和诊断. ACM 计算机与通信安全会议 (CCS), 2017.
TDSC'18	Pinjia He, Jieming Zhu, Shilin He, Jian Li, Michael R. Lyu. 面向大规模日志数据分析的自动化日志解析. IEEE 可靠和安全计算交易 (TDSC), 2018.
TKDE'18	Min Du, Feifei Li. Spell：大型非结构化系统日志的在线流式解析. IEEE 知识与数据工程交易 (TKDE), 2018.
ASE'19	Jinyang Liu, Jieming Zhu, Shilin He, Pinjia He, Zibin Zheng, Michael R. Lyu. Logzip：通过迭代聚类提取隐藏结构进行日志压缩. IEEE/ACM 自动化软件工程国际会议 (ASE), 2019.
ICSE'19	Jieming Zhu, Shilin He, Jinyang Liu, Pinjia He, Qi Xie, Zibin Zheng, Michael R. Lyu. 自动化日志解析的工具和基准. 国际软件工程会议 (ICSE), 2019.
ICSE'22	Zanis Ali Khan, Donghwan Shin, Domenico Bianculli, Lionel Briand. 评估日志消息模板识别技术准确性的指南. 国际软件工程会议 (ICSE), 2023.
ICSE'23	Van-Hoang Le, Hongyu Zhang. 基于提示的少样本学习的日志解析. 国际软件工程会议 (ICSE), 2023.
ICSE'23	Zhenhao Li, Chuan Luo, Tse-Hsun Chen, Weiyi Shang, Shilin He, Qingwei Lin, Dongmei Zhang. 我们是否遗漏了重要内容？研究和探索变量感知的日志抽象. 国际软件工程会议 (ICSE), 2023.
ICSE'23	Yintong Huo, Yuxin Su, Cheryl Lee, Michael R. Lyu. SemParser：用于日志分析的语义解析器. 国际软件工程会议 (ICSE), 2023.
WWW'23	Liming Wang, Hong Xie, Ye Li, Jian Tan, John C.S. Lui. 通过轻量级用户反馈进行交互式日志解析. ACM 网络会议, 2023.
TSC'23	Siyu Yu, Pinjia He, Ningjiang Chen, Yifan Wu. Brain：具有双向并行树的日志解析. IEEE 服务计算交易, 2023.