LibRecommender: 一个多功能的端到端推荐系统库

LibRecommender 是一个易用的推荐系统库,专注于端到端的推荐流程。它包含了训练(libreco)和服务(libserving)两个模块,让用户可以快速训练和部署各种推荐模型。

主要特点

LibRecommender 具有以下主要特点:

• 实现了多种流行的推荐算法,如 FM、DIN、LightGCN 等。完整的算法列表可以在项目主页查看。

• 支持混合推荐系统,用户可以使用协同过滤或基于内容的特征。可以动态添加新特征。

• 内存占用低,自动将分类特征和多值分类特征转换为稀疏表示。

• 支持显式和隐式数据集的训练,以及对隐式数据进行负采样。

• 提供端到端的工作流,包括数据处理/预处理 -> 模型训练 -> 评估 -> 保存/加载 -> 服务。

• 支持冷启动预测和推荐。

• 支持动态特征和序列推荐。

• 为所有算法提供统一友好的 API。

• 易于使用新数据中的新用户/物品重新训练模型。

快速开始

下面通过两个示例演示了模型的训练、评估、预测、推荐和冷启动过程:

1. 纯协同过滤示例,使用 LightGCN 模型

import numpy as np
import pandas as pd
from libreco.data import random_split, DatasetPure
from libreco.algorithms import LightGCN
from libreco.evaluation import evaluate

# 加载数据
data = pd.read_csv("sample_movielens_rating.dat", sep="::", 
                   names=["user", "item", "label", "time"])

# 划分训练集、验证集和测试集
train_data, eval_data, test_data = random_split(data, multi_ratios=[0.8, 0.1, 0.1])

# 构建数据集
train_data, data_info = DatasetPure.build_trainset(train_data)
eval_data = DatasetPure.build_evalset(eval_data)
test_data = DatasetPure.build_testset(test_data)
print(data_info)  # 打印数据信息

# 创建并训练模型
lightgcn = LightGCN(task="ranking", data_info=data_info, embed_size=16, n_epochs=3)
lightgcn.fit(train_data, neg_sampling=True, verbose=2, eval_data=eval_data,
             metrics=["loss", "roc_auc", "precision", "recall", "ndcg"])

# 在测试集上进行最终评估  
evaluate(model=lightgcn, data=test_data, neg_sampling=True,
         metrics=["loss", "roc_auc", "precision", "recall", "ndcg"])

# 预测用户对物品的偏好
lightgcn.predict(user=2211, item=110)

# 为用户推荐物品
lightgcn.recommend_user(user=2211, n_rec=7)

# 冷启动预测和推荐
lightgcn.predict(user="ccc", item="not item", cold_start="average")
lightgcn.recommend_user(user="are we good?", n_rec=7, cold_start="popular")

2. 使用特征的示例,使用 YouTubeRanking 模型

import numpy as np
import pandas as pd
from libreco.data import split_by_ratio_chrono, DatasetFeat
from libreco.algorithms import YouTubeRanking

# 加载数据
data = pd.read_csv("sample_movielens_merged.csv", sep=",", header=0)

# 按时间顺序划分训练集和测试集
train_data, test_data = split_by_ratio_chrono(data, test_size=0.2)

# 指定特征列
sparse_col = ["sex", "occupation", "genre1", "genre2", "genre3"]
dense_col = ["age"]
user_col = ["sex", "age", "occupation"]
item_col = ["genre1", "genre2", "genre3"]

# 构建数据集
train_data, data_info = DatasetFeat.build_trainset(
    train_data, user_col, item_col, sparse_col, dense_col
)
test_data = DatasetFeat.build_testset(test_data)
print(data_info)

# 创建并训练模型
yt_ranking = YouTubeRanking(
    task="ranking", data_info=data_info, embed_size=16, 
    n_epochs=3, lr=1e-4, batch_size=512,
    use_bn=True, hidden_units=(128, 64, 32),
)
yt_ranking.fit(
    train_data, neg_sampling=True, verbose=2, shuffle=True,
    eval_data=test_data,
    metrics=["loss", "roc_auc", "precision", "recall", "map", "ndcg"],
)

# 预测和推荐
yt_ranking.predict(user=2211, item=110)
yt_ranking.recommend_user(user=2211, n_rec=7)

# 冷启动预测和推荐
yt_ranking.predict(user="ccc", item="not item", cold_start="average")
yt_ranking.recommend_user(user="are we good?", n_rec=7, cold_start="popular")

安装

可以通过 pip 安装 LibRecommender:

pip install -U LibRecommender

或者从源代码构建:

git clone https://github.com/massquantity/LibRecommender.git
cd LibRecommender
pip install .

文档

完整的教程和 API 文档可以在 librecommender.readthedocs.io 查看。

示例脚本位于 examples/ 文件夹下。

支持

如果您有任何问题或建议,可以在 GitHub Issues 页面提出。对于使用问题,也可以在 Stack Overflow 上提问。

许可证

LibRecommender 使用 MIT 许可证。

通过 LibRecommender,您可以快速构建和部署推荐系统,享受端到端的推荐体验。无论是协同过滤还是基于特征的模型,它都能满足您的需求。开始使用 LibRecommender,让您的推荐更智能、更高效!