RePlay

RePlay

全周期推荐系统开发与评估框架

RePlay是一个覆盖推荐系统全生命周期的开发评估框架。它集成了数据预处理、模型构建、参数优化、性能评估和模型集成等功能。该框架支持CPU、GPU等多种硬件,并可与PySpark结合实现分布式计算。RePlay能帮助开发者顺利将推荐系统从离线实验转到在线生产环境,提升系统的可扩展性和适应性。

RePlay推荐系统数据预处理模型评估超参数优化Github开源项目
<img src="https://yellow-cdn.veclightyear.com/ab5030c0/da8ebeeb-712c-4286-9c27-04198c40187e.svg" height="50"/> <br>

GitHub 许可证 PyPI - 版本 PyPI - 下载量 <br> GitHub 工作流状态(带事件) 加入 GitHub 讨论社区

RePlay 是一个先进的框架,旨在促进推荐系统的开发和评估。它提供了一套强大的工具,涵盖了推荐系统管道的整个生命周期:

🚀 特性:

  • 数据预处理和拆分: 简化推荐系统的数据准备过程,确保数据结构和格式最优,以便高效处理。
  • 广泛的推荐模型: 支持从最先进到常用基线的推荐模型的构建,并评估它们的性能和质量。
  • 超参数优化: 提供工具来微调模型参数,以实现最佳性能,降低优化过程的复杂性。
  • 全面的评估指标: 包含广泛的评估指标,用于评估推荐模型的准确性和有效性。
  • 模型集成和混合: 支持结合多个模型的预测并创建两级(集成)模型,以提高推荐质量。
  • 无缝模式转换: 方便从离线实验到在线生产环境的轻松过渡,确保可扩展性和灵活性。

💻 硬件和环境兼容性:

  1. 多样化硬件支持: 兼容各种硬件配置,包括 CPU、GPU、多 GPU。
  2. 集群计算集成: 与 PySpark 集成以实现分布式计算,为大规模推荐系统提供可扩展性。

📖 文档可在此处获取。

<a name="toc"></a>

目录

<a name="installation"></a>

🔧 安装

默认推荐通过 pip 包管理器进行安装:

pip install replay-rec

这种情况下,将安装不包含 PySparkPyTorch 依赖的 core 包。 同时 experimental 子模块也不会被安装。

要安装 experimental 子模块,请指定带有 rc0 后缀的版本。 例如:

pip install replay-rec==XX.YY.ZZrc0

附加功能

除了核心包之外,还提供了几个附加功能,包括:

  • [spark]:安装 PySpark 功能
  • [torch]:安装 PyTorch 和 Lightning 功能
  • [all][spark] [torch]

示例:

# 安装带有 PySpark 依赖的核心包 pip install replay-rec[spark] # 安装带有实验子模块和 PySpark 依赖的包 pip install replay-rec[spark]==XX.YY.ZZrc0

要从源代码构建 RePlay,请使用此说明

如果在安装 RePlay 过程中遇到错误,请查看故障排除指南。

<a name="quickstart"></a>

📈 快速入门(基于 PySpark)

from rs_datasets import MovieLens from replay.data import Dataset, FeatureHint, FeatureInfo, FeatureSchema, FeatureType from replay.data.dataset_utils import DatasetLabelEncoder from replay.metrics import HitRate, NDCG, Experiment from replay.models import ItemKNN from replay.utils.spark_utils import convert2spark from replay.utils.session_handler import State from replay.splitters import RatioSplitter spark = State().session ml_1m = MovieLens("1m") K=10 # 数据预处理 interactions = convert2spark(ml_1m.ratings) # 数据拆分 splitter = RatioSplitter( test_size=0.3, divide_column="user_id", query_column="user_id", item_column="item_id", timestamp_column="timestamp", drop_cold_items=True, drop_cold_users=True, ) train, test = splitter.split(interactions) # 数据集创建 feature_schema = FeatureSchema( [ FeatureInfo( column="user_id", feature_type=FeatureType.CATEGORICAL, feature_hint=FeatureHint.QUERY_ID, ), FeatureInfo( column="item_id", feature_type=FeatureType.CATEGORICAL, feature_hint=FeatureHint.ITEM_ID, ), FeatureInfo( column="rating", feature_type=FeatureType.NUMERICAL, feature_hint=FeatureHint.RATING, ), FeatureInfo( column="timestamp", feature_type=FeatureType.NUMERICAL, feature_hint=FeatureHint.TIMESTAMP, ), ] ) train_dataset = Dataset( feature_schema=feature_schema, interactions=train, ) test_dataset = Dataset( feature_schema=feature_schema, interactions=test, ) # 数据编码 encoder = DatasetLabelEncoder() train_dataset = encoder.fit_transform(train_dataset) test_dataset = encoder.transform(test_dataset) # 模型训练 model = ItemKNN() model.fit(train_dataset) # 模型推理 encoded_recs = model.predict( dataset=train_dataset, k=K, queries=test_dataset.query_ids, filter_seen_items=True, ) recs = encoder.query_and_item_id_encoder.inverse_transform(encoded_recs) # 模型评估 metrics = Experiment( [NDCG(K), HitRate(K)], test, query_column="user_id", item_column="item_id", rating_column="rating", ) metrics.add_result("ItemKNN", recs) print(metrics.results)

<a name="examples"></a>

📑 资源

使用示例

  1. 01_replay_basics.ipynb - RePlay 入门。
  2. 02_models_comparison.ipynb - 在 MovieLens-1M 数据集 上可重现的模型比较。
  3. 03_features_preprocessing_and_lightFM.ipynb - 使用 pyspark 进行特征预处理的 LightFM 示例。
  4. 04_splitters.ipynb - RePlay 数据分割器的使用示例。
  5. 05_feature_generators.ipynb - 使用 RePlay 进行特征生成。
  6. 06_item2item_recommendations.ipynb - 物品到物品推荐示例。
  7. 07_filters.ipynb - 过滤器的使用示例。
  8. 08_recommending_for_categories.ipynb - 产品类别推荐示例。
  9. 09_sasrec_example.ipynb - 使用变换器生成推荐的示例。

视频和论文

<a name="contributing"></a>

💡 为 RePlay 做贡献

我们欢迎社区贡献。详情请查看我们的贡献指南

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

下拉加载更多