RecSysDatasets: 推荐系统数据集大全

RecSysDatasets: 推荐系统研究的数据宝库

在推荐系统领域,高质量的数据集对于算法的开发和评估至关重要。RecSysDatasets项目为研究人员提供了一个全面的推荐系统公开数据源库,涵盖了电商、广告、电影、音乐等多个领域的数据集。本文将详细介绍该项目的主要内容和特点,为推荐系统研究者提供数据资源指南。

项目概述

RecSysDatasets是由中国人民大学AI Box团队开源的一个推荐系统数据集仓库。该项目的目标是收集和整理各类公开可用的推荐系统数据集,并提供统一的数据格式和使用方法,方便研究人员进行算法开发和性能评估。

项目的主要特点包括:

1. 数据集种类丰富,覆盖电商、广告、电影、音乐等多个领域
2. 提供数据集的详细描述,包括数据规模、特征、来源等信息
3. 支持将原始数据转换为RecBole库定义的统一格式
4. 持续更新,及时收录新发布的数据集

通过使用RecSysDatasets,研究人员可以方便地获取各类推荐系统数据集,并利用RecBole库进行快速的算法实验。这大大降低了数据获取和处理的成本,有助于推动推荐系统研究的发展。

数据集分类与介绍

RecSysDatasets收录的数据集涵盖了推荐系统的多个应用场景,主要可以分为以下几类:

电商购物类

电商是推荐系统最重要的应用领域之一。RecSysDatasets收录了多个知名的电商数据集:

1. Amazon系列数据集

   • Amazon Review Data: 包含亚马逊产品评论和元数据,有2014、2018和2023三个版本
   • Amazon_M2: 来自6个不同语言地区的匿名用户会话数据

2. Alibaba-iFashion: 阿里巴巴提供的时尚穿搭数据集

3. Epinions: 从Epinions.com网站收集的用户评论数据

4. Yelp: 包含商家、评论和用户数据,有多个版本

5. Tmall: 天猫提供的用于IJCAI16比赛的数据集

6. DIGINETICA: 从电商搜索引擎日志中提取的用户会话数据

7. YOOCHOOSE: 用于RecSys Challenge 2015的数据集

8. Retailrocket: 来自真实电商网站的原始数据

9. Ta Feng: 中国台湾杂货店的交易数据

这些数据集涵盖了用户评分、浏览历史、购买行为等多种交互类型,为研究不同场景下的推荐算法提供了丰富的数据资源。

广告点击类

在线广告是推荐系统的另一个重要应用。RecSysDatasets收录了以下广告相关数据集:

1. Criteo: 来自Criteo公司的广告展示和点击数据

2. Avazu: 用于Avazu CTR预测竞赛的数据集

3. iPinYou: 包含iPinYou全球RTB竞价算法大赛的训练和测试数据集

4. AliEC: 阿里巴巴提供的淘宝展示广告点击率预测数据集

这些数据集主要用于研究广告点击率(CTR)预测问题,包含丰富的用户和广告特征信息。

签到类

基于位置的社交网络(LBSN)是推荐系统的一个新兴应用领域。RecSysDatasets收录了两个经典的签到数据集:

1. Foursquare: 包含纽约和东京约10个月的用户签到数据

2. Gowalla: 来自基于位置的社交网站Gowalla的用户签到数据

这些数据集可用于研究基于位置的推荐算法。

电影类

电影推荐是推荐系统研究的经典问题。RecSysDatasets收录了多个电影相关数据集:

1. MovieLens: GroupLens Research发布的电影评分数据集,有多个版本

2. Netflix: Netflix Prize竞赛使用的官方数据集

3. Douban: 豆瓣电影网站的短评数据集

4. Twitch: 用户在Twitch平台上观看直播内容的数据集

这些数据集包含用户对电影的评分、评论等信息,可用于研究协同过滤等经典推荐算法。

音乐类

音乐推荐是另一个重要的应用场景。RecSysDatasets收录了以下音乐相关数据集:

1. Last.FM: 包含Last.fm用户的社交网络、标签和音乐收听信息

2. LFM-1b: 包含超过10亿条Last.FM用户的音乐收听记录

3. Yahoo Music: Yahoo!音乐社区用户对艺术家的偏好数据

4. KGRec: 基于知识图谱的音乐和声音推荐数据集

5. Music4All-Onion: 包含109,269首音乐的多模态特征数据集

这些数据集涵盖了用户的音乐收听行为、社交关系、音乐元数据等多方面信息,为音乐推荐研究提供了丰富的数据资源。

图书类

RecSysDatasets还收录了两个经典的图书推荐数据集:

1. Book-Crossing: 来自Book-Crossing社区的用户对图书的评分数据

2. GoodReads: 来自Goodreads图书评论网站的用户评分和评论数据

这些数据集可用于研究图书推荐系统。

其他类别

除了上述主要类别,RecSysDatasets还收录了游戏、动漫、图片、笑话、运动、新闻、食品、饮料、服装等多个领域的特色数据集,为各种垂直领域的推荐系统研究提供了数据支持。

数据集使用指南

为了方便研究人员使用这些数据集,RecSysDatasets项目提供了详细的使用说明:

1. 数据格式转换 RecSysDatasets支持将原始数据集转换为RecBole库定义的统一格式(atomic files)。用户可以通过以下两种方式获取转换后的数据:

   • 下载原始数据集,使用项目提供的转换工具进行处理
   • 直接下载项目预处理好的atomic files格式数据

2. 数据集信息统计
   项目提供了各数据集的详细统计信息,包括用户数、物品数、交互数、稀疏度等,方便研究人员选择合适的数据集。

3. 与RecBole库集成 转换为atomic files格式后,用户可以直接使用RecBole库加载数据集,快速进行各种推荐算法的实验。

4. 持续更新 项目会持续关注和收录新发布的推荐系统数据集,用户可以通过GitHub随时获取最新的数据资源。

结语

RecSysDatasets为推荐系统研究提供了一个全面、便捷的数据资源平台。通过统一的数据格式和使用方法,大大降低了研究人员获取和处理数据的成本。该项目的持续更新和维护,将为推荐系统领域的发展提供长期的数据支持。

对于推荐系统研究者来说,RecSysDatasets无疑是一个宝贵的资源库。无论是研究经典的协同过滤算法,还是探索新兴的跨域推荐、知识图谱推荐等方向,都可以在这里找到合适的数据集。我们期待看到更多基于这些数据集的创新研究成果,推动推荐系统技术的不断进步。

参考链接

• RecSysDatasets GitHub仓库: https://github.com/RUCAIBox/RecSysDatasets
• RecBole推荐系统库: https://github.com/RUCAIBox/RecBole

希望本文对您了解和使用RecSysDatasets项目有所帮助。如果您对推荐系统数据集有任何问题或建议,欢迎在评论区留言讨论。让我们一起为推荐系统的发展贡献力量！