米兰理工大学推荐系统课程

这是米兰理工大学推荐系统课程的官方代码仓库。

由米兰理工大学助理教授<a href="https://mauriziofd.github.io/" target="_blank">Maurizio Ferrari Dacrema</a>开发。 访问我们的推荐系统小组和量子计算小组网站，了解更多关于我们团队、论文和研究活动的信息。 课程介绍幻灯片可在此处获取。 安装说明请参见以下安装部分。

本仓库包含以下算法的Cython实现：

• SLIM BPR: 优化BPR的物品-物品相似度矩阵机器学习算法。 使用基于Cython树的稀疏矩阵，适用于物品数量过大无法将密集相似度矩阵存入内存的数据集。 同时也支持密集相似度矩阵。
• MF BPR: 优化BPR的矩阵分解
• FunkSVD: 优化RMSE的矩阵分解
• AsymmetricSVD

本仓库包含以下算法的Python实现：

• 基于物品的KNN协同过滤
• 基于物品的KNN内容过滤
• 基于用户的KNN
• PureSVD: 使用简单SVD分解URM的矩阵分解
• WRMF或IALS: 为隐式交互开发的矩阵分解（论文：<a href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.306.4684&rep=rep1&type=pdf" target="_blank">WRMF</a>，<a href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.167.5120&rep=rep1&type=pdf" target="_blank">IALS</a>）
• P3alpha, RP3beta: 基于图的算法，模拟随机游走并将物品-物品相似度表示为转移概率（论文：<a href="https://dl.acm.org/doi/abs/10.1145/2567948.2579244" target="_blank">P3alpha</a>，<a href="https://dl.acm.org/doi/10.1145/2955101" target="_blank">RP3beta</a>）
• SLIM ElasticNet: 优化预测误差（MSE）的物品-物品相似度矩阵机器学习算法

贝叶斯参数调优：

scikit-optimize的简单封装，允许简单快速地进行参数调优。 BayesianSkoptSearch对象将保存以下文件：

• AlgorithmName_BayesianSkoptSearch.txt文件，包含所有探索的情况和推荐质量
• _best_model文件，包含训练好的模型，可以通过recommender.load_model(path_to_best_model_file)加载
• _metadata文件，包含一个字典，其中包含所有探索的情况，对于每种情况，包括拟合参数、验证结果，如果该配置是新的最佳配置，还包括测试结果。对于所有配置，还包含训练、验证和测试时间（以秒为单位）。

本仓库包含以下可运行脚本

• run_all_algorithms.py: 依次运行所有可用算法并将结果保存在result_all_algorithms.txt中的脚本
• run_parameter_search.py: 对所有可用算法执行参数调优的脚本。其中列出了所有参数及一些常用值。

本仓库还提供以下内容的实现：

• 相似度：余弦相似度、调整余弦相似度、皮尔逊相关系数、Jaccard相关系数、Tanimoto系数、Dice系数、Tversky系数、非对称余弦相似度和欧几里得相似度：在Python和Cython中使用相同的接口实现。Base.compute_similarity根据数据密度和您的架构及操作系统上是否有编译好的cython版本来选择使用哪一种。
• 评估指标：MAP、召回率（分母为用户测试物品数量）、precision_recall_min_den（分母为用户测试物品数量和推荐列表长度的最小值）、精确率、ROC-AUC、MRR、RR、NDCG、命中率、ARHR、新颖性、覆盖率、Shannon熵、Gini多样性、Herfindahl多样性、平均列表间多样性、基于特征的多样性
• 数据集：Movielens10MReader，下载并读取Movielens 10M评分文件，将其分割为训练、测试和验证三个URM，并保存以供后续使用。

Cython代码已经为Linux和Windows x86（常见个人电脑架构）以及ppc64（IBM Power PC）预编译。要重新编译代码，只需按照安装部分所述运行cython编译脚本即可。 该代码适用于Linux和Windows系统。

安装

请注意，本仓库需要Python 3.8

首先，我们建议您使用conda为此项目创建一个环境

首先检出该仓库，然后进入仓库文件夹并运行以下命令来创建和激活新环境：

conda create -n RecSysFramework python=3.8 anaconda
conda activate RecSysFramework

然后使用以下命令安装所有要求和依赖项。

pip install -r requirements.txt

此时，您必须编译所有Cython算法。 要进行编译，您必须首先安装：gcc_和_python3 dev。在Linux下，可以使用以下命令安装：

sudo apt install gcc 
sudo apt-get install python3-dev

如果您使用Windows操作系统，安装过程会稍微复杂一些。您可以参考这个指南。

现在您可以通过运行以下命令来编译所有Cython算法。该脚本将在当前活动环境中进行编译。该代码适用于Linux和Windows平台。在编译过程中，您可能会看到一些警告。

python run_compile_all_cython.py

如果您在Kaggle笔记本上导入此仓库，请尝试如下编译：

!git clone https://github.com/MaurizioFD/RecSys_Course_AT_PoliMi
cd RecSys_Course_AT_PoliMi
!python run_compile_all_cython.py

此外，请记住，包含空格的文件夹和文件名通常会导致问题，例如Google Drive中Colab的默认文件夹名称是"Colab Notebooks"，其中包含一个空格，很可能导致Cython文件编译失败。如果发生这种情况，请将空格替换为其他字符，例如"Colab_Notebooks"

项目结构

Base

包含一些基本模块和不同推荐器类型的基类。

Base.Evaluation

Evaluator 类用于评估推荐器对象。它计算各种指标：

• 准确性指标：ROC_AUC、PRECISION、RECALL、MAP、MRR、NDCG、F1、HIT_RATE、ARHR
• 超越准确性的指标：NOVELTY、DIVERSITY、COVERAGE

评估器接收要测试推荐器的 URM 作为输入，然后是一系列截断值（例如 5、20），如有必要，还需要一个用于计算多样性的对象。 evaluateRecommender 函数只需要您想要评估的推荐器对象作为输入，并返回一个字典形式的 {截断值: 结果}，其中结果是 {指标: 值}，以及一个格式良好的可打印字符串。

    from Base.Evaluation.Evaluator import EvaluatorHoldout

    evaluator_test = EvaluatorHoldout(URM_test, [5, 20])

    results_run_dict, results_run_string = evaluator_test.evaluateRecommender(recommender_instance)

    print(results_run_string)

Base.Similarity

相似度模块允许计算物品-物品或用户-用户相似度。 通过调用 Compute_Similarity 类并传递所需的相似度和您希望使用的稀疏矩阵来使用它。

它能够计算以下相似度：余弦、调整余弦、Jaccard、Tanimoto、Pearson 和欧几里得（线性和指数）

    similarity = Compute_Similarity(URM_train, shrink=shrink, topK=topK, normalize=normalize, similarity = "cosine")

    W_sparse = similarity.compute_similarity()

推荐器

所有推荐器都继承自 BaseRecommender，因此具有相同的接口。 在实例化推荐器时必须提供数据，然后调用 fit 函数来构建相应的模型。

每个推荐器都有一个 _compute_item_score 函数，给定一个 user_id 数组，计算所有物品的预测或 得分。 BaseRecommender 的 recommend 函数执行进一步的操作，如移除已见物品和计算所需长度的推荐列表。

示例如下：

    user_id = 158
    
    recommender_instance = ItemKNNCFRecommender(URM_train)
    recommender_instance.fit(topK=150)
    recommended_items = recommender_instance.recommend(user_id, cutoff = 20, remove_seen_flag=True)
    
    recommender_instance = SLIM_ElasticNet(URM_train)
    recommender_instance.fit(topK=150, l1_ratio=0.1, alpha = 1.0)
    recommended_items = recommender_instance.recommend(user_id, cutoff = 20, remove_seen_flag=True)
    

数据读取器和分割器

DataReader 对象从原始文件读取数据集并将其保存为稀疏矩阵。

DataSplitter 对象以 DataReader 为输入，并以选定的方式分割相应的数据集。 在每个步骤中，数据会自动保存在一个文件夹中，但可以通过在调用 load_data 时设置 save_folder_path = False 来阻止这种行为。 如果调用已处理过的数据集的 DataReader 或 DataSplitter，则会加载已保存的数据。

DataPostprocessing 也可以应用于 dataReader 和 dataSplitter 之间，并且可以相互嵌套。

当您构建了所需的数据集/预处理/分割组合后，调用 load_data 获取数据。

dataset = Movielens1MReader()

dataset = DataPostprocessing_K_Cores(dataset, k_cores_value=25)
dataset = DataPostprocessing_User_sample(dataset, user_quota=0.3)
dataset = DataPostprocessing_Implicit_URM(dataset)

dataSplitter = DataSplitter_leave_k_out(dataset)

dataSplitter.load_data()

URM_train, URM_validation, URM_test = dataSplitter.get_holdout_split()