mlimpl

机器学习实现

简介

本仓库收集了一些封装机器学习领域常用算法的代码。大多数基于Numpy、Pandas或Torch实现。您可以通过参考本仓库来加深对相关模型和算法的理解，或者修改它以获得属于自己的定制代码。我很高兴它能给您一些启发。

为什么选择我的仓库？

详细的文档和注释。
算法难点指导：在实现过程中遇到的一些难点，我会在代码注释中写下指导。

如何使用？

本仓库中大多数算法的实现都被封装成一个类，其结构与sklearn相同，包含三个方法：fit、predict和score。以下是一个示例：

from Multiple_linear_regression import LinearRegression
from sklearn.datasets import load_boston

X, y = load_boston(return_X_y=True)

reg = LinearRegression()
reg.fit(X, y)
y_pred = reg.predict(X)
score = reg.score(X, y)

如您所见，这与sklearn的使用方式相同。

1. Gan
- 生成对抗网络（Gan）。我使用tensorflow 1实现了它，并将其应用于生成mnist数据集。
2. Cnn
- 使用tensorflow 1实现的卷积神经网络，用于识别数字验证码。
3. ann_by_matlab
- 使用matlab实现的人工神经网络的一个小例子，应用于mnist分类问题。
- 值得一提的是，将mnist数据集读入内存的程序来自互联网。
4. 对于无法识别图像的高置信度预测
- 关于对抗样本的简单演示。更准确地说，使用遗传算法生成一些对抗样本。
- 参考文献：Anh Nguyen, Jason Yosinski and Jeff Clune. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 427-436.
不使用torch的自动求导
- 一个无需torch即可自动计算梯度的简单系统。你可以使用这个项目来理解torch中的自动求导机制。每个张量在计算图中表示为一个节点。通过前向传播建立的边决定了求导的路径，求导的方向是从上到下。如果你想构建专属的自动求导系统，可以重写更多的运算和基本函数。
lstm
- lstm是一种常见的神经网络，用于处理序列化数据。与RNN相比，它通过保留长期记忆来解决梯度消失问题。
- 参考资料：
  1. https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html?highlight=lstm#torch.nn.LSTM
  2. 2022年华中数学中心暑期短期课程：深度学习的数学理论与应用，杨海钊教授（马里兰大学帕克分校），课程视频：http://tmcc.whu.edu.cn/info/1262/2052.htm 中的课程（2）回放
  3. https://www.bilibili.com/video/BV1zq4y1m7aH?spm_id_from=333.337.search-card.all.click
VAE
- VAE是变分自编码器的缩写，它结合了变分推断和自编码器，创造了一种出色的表示学习方法。我实现了原始论文中提到的演示。
- 参考文献：Diederik P Kingma and Max Welling. Auto-encoding variational bayes, 2022.
resnet50
- 在我的项目中，由于武汉大学超算中心对文件数量的限制，我需要将Imagenet1K转换为1000个HDF5文件。这些文件根据各自的类别命名。之后，我必须自定义一个用于训练的数据加载器，如train_reader.py中所示。此外，我遇到了CPU瓶颈问题。但我通过分配更多的CPU核心并将num_works和prefetch_factor设置为更大的值成功解决了这个问题。另外，在构建数据加载器时，我将pin_memory设置为true，这使得Volatile GPU-Util更加繁忙。一个需要注意的潜在陷阱是，Imagenet1K训练数据集包含少量灰度图像和四通道图像。在自定义数据加载器时，这是一个重要的考虑因素。
- 模型的代码受到Kaiming He编写的原始ResNet代码的启发。但可能由于优化策略的原因，我在训练64个epoch后只达到了68.1%的验证准确率，远低于论文中提到的78%。使用我的代码训练模型并保存时，别忘了创建一个名为res的文件夹。
- 参考文献：
  - Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. CoRR, abs/1512.03385, 2015. URL http://arxiv.org/abs/1512.03385.
迁移学习
- 在这个实现中，我使用迁移学习技术来解决Kaggle上APTOS 2019失明检测竞赛的挑战，该竞赛旨在及早检测糖尿病视网膜病变以预防失明。迁移学习允许你利用较小的数据集并减少训练时间，同时实现与从头开始训练相当甚至更优的性能。
- 竞赛详情可在*https://www.kaggle.com/competitions/aptos2019-blindness-detection/overview*找到。
- 我的解决方案的主干是ResNet50架构。可以通过https://download.pytorch.org/models/resnet50-0676ba61.pth获取。你也可以使用自己预训练的权重。 2. 强化学习
1. 环境
- 一些基本的强化学习环境。
2. ε贪心
- ε贪心是最简单的强化学习方法的实现类，适用于单一状态和有限动作（在此表示为k）。它是贪心方法的修订版本。其创建是为了避免局部最大化问题。这里有一个最简单的演示，将该算法应用于多臂赌博机问题。
- 参考资料：
  1. 2022年中国中部天元数学中心暑期短期课程：深度学习的数学理论与应用杨海钊教授（马里兰大学帕克分校）课程视频：http://tmcc.whu.edu.cn/info/1262/2052.htm 中的课程(3)回放
  2. https://hrl.boyuai.com/chapter/1/%E5%A4%9A%E8%87%82%E8%80%81%E8%99%8E%E6%9C%BA#24-%CF%B5-%E8%B4%AA%E5%BF%83%E7%AE%97%E6%B3%95
3. UCB
- 在多臂赌博机问题中，赌博机的不确定性越大，探索的价值就越高，因为探索后可能发现其期望奖励非常大。UCB使用霍夫丁不等式来表述赌博机的不确定性，并使用价值函数的上界来确定策略。
- 参考资料：https://hrl.boyuai.com/chapter/1/%E5%A4%9A%E8%87%82%E8%80%81%E8%99%8E%E6%9C%BA#24-%CF%B5-%E8%B4%AA%E5%BF%83%E7%AE%97%E6%B3%95
4. 马尔可夫决策过程
- MRP：马尔可夫奖励过程是马尔可夫决策过程的简化版本，每一步不需要根据π(a|s)做出行动。智能体只需要根据给定的状态转移矩阵（在以下代码中声明为state_trans_matrix）在每个空间中改变其状态并获得确定的奖励期望E(r|s)。
  - 参考资料：https://hrl.boyuai.com/chapter/1/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E5%86%B3%E7%AD%96%E8%BF%87%E7%A8%8B
- MDP：马尔可夫决策过程是强化学习中最通用的框架。它是MRP的更复杂版本，考虑了如何在每一步选择行动。我在这段代码中实现了基于模型的强化学习和蒙特卡洛方法，后者是与离线数据集相关的无模型强化学习。
  - 参考资料：https://hrl.boyuai.com/chapter/1/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E5%86%B3%E7%AD%96%E8%BF%87%E7%A8%8B
5. 策略梯度
- 策略梯度是另一种方法，其思想与价值函数方法不同。它优化动作分布以最大化E_{A~π}[E(R|A)]。我们使用softmax函数来简化这个约束优化问题。
- 参考资料：2022年中国中部天元数学中心暑期短期课程：深度学习的数学理论与应用杨海钊教授（马里兰大学帕克分校）课程视频：http://tmcc.whu.edu.cn/info/1262/2052.htm 中的课程(3)回放
6. 策略迭代
- 这个类是策略迭代的实现，用于解决基于模型的强化学习问题，因此你需要传入MDP的转移矩阵，其形式与gym的相同。该程序将依靠以下过程来找到你需要的优秀策略。策略评估 -> 策略改进 -> 策略评估 -> 策略改进 -> .... （直到收敛）
- 参考资料：
  1. 2022年中国中部天元数学中心暑期短期课程：深度学习的数学理论与应用杨海钊教授（马里兰大学帕克分校）课程视频：http://tmcc.whu.edu.cn/info/1262/2052.htm 中的课程(3)回放
  2. 参考资料：https://hrl.boyuai.com/chapter/1/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%92%E7%AE%97%E6%B3%95#433-%E7%AD%96%E7%95%A5%E8%BF%AD%E4%BB%A3%E7%AE%97%E6%B3%95
7. 时序差分
- 你可以将时序差分看作是一种用在线数据修正Q(s,a)估计的方法。Sarsa使用时序差分评估动作价值函数，并在策略改进中将贪心策略重置为ε-贪心。
- 参考资料：https://hrl.boyuai.com/chapter/1/%E6%97%B6%E5%BA%8F%E5%B7%AE%E5%88%86%E7%AE%97%E6%B3%95#53-sarsa-%E7%AE%97%E6%B3%95
8. DQN
上述强化学习算法无法处理状态空间基数为无穷大的情况，这导致动作集无法以表格形式记录。一个常见的解决方案是使用神经网络来近似动作值函数。更准确地说，我们想要训练一个神经网络，其输入是状态s，输出是包含(Q(s,a1), Q(s,a2), ..., Q(s, an))的向量。自然而然会产生一个问题：如何解决状态空间和动作空间的基数都是无穷大的问题。有两种方法来回答这个问题，一是使用离散动作空间来使DQN适应这种情况，另一种是改变神经网络的结构。在我们的代码中，我们将在Double DQN部分的Pendulum环境下说明第一种方法。
- 参考：
  - https://www.bilibili.com/video/BV1mB4y1g77R/?spm_id_from=333.999.0.0&vd_source=8c6dbad02305a4d2c6919e458c8c03b5
  - https://hrl.boyuai.com/chapter/2/dqn%E7%AE%97%E6%B3%95
9. DoubleDQN
- Double DQN是基于DQN的改进方法，旨在解决DQN训练过程不稳定的问题。它引入目标网络以实现更好的性能。
- 参考：
  - https://www.youtube.com/watch?v=X2-56QN79zc&list=PLvOO0btloRntS5U8rQWT9mHFcUdYOUmIC&index=2&ab_channel=ShusenWang
  - https://hrl.boyuai.com/chapter/2/dqn%E6%94%B9%E8%BF%9B%E7%AE%97%E6%B3%95
10. DualingDQN
- Dualing DQN修改了TD目标中的一个细节，以实现比DQN和Double DQN更好的性能。
- 参考：
  - https://www.youtube.com/watch?v=DBux6cA0EoM&list=PLvOO0btloRntS5U8rQWT9mHFcUdYOUmIC&index=3&ab_channel=ShusenWang
  - https://hrl.boyuai.com/chapter/2/dqn%E6%94%B9%E8%BF%9B%E7%AE%97%E6%B3%95#84-dueling-dqn
11. 策略梯度
- 策略梯度是强化学习中的一种基于策略的算法，它使用神经网络直接编码策略。我在代码中实现了REINFORCE算法。
- 参考：
  - Richard S Sutton, David McAllester, Satinder Singh, and Yishay Mansour. Policy gradient methods for reinforcement learning with function approximation. In S. Solla, T. Leen, and K. Müller, editors, Advances in Neural Information Processing Systems, volume 12. MIT Press, 1999. URL https://proceedings.neurips.cc/paper_files/paper/1999/file/464d828b85b0bed98e80ade0a5c43b0f-Paper.pdf.
  - https://www.youtube.com/watch?v=qI0vyfR2_Rc&list=PLvOO0btloRnsiqM72G4Uid0UWljikENlU&index=3&ab_channel=ShusenWang
  - https://hrl.boyuai.com/chapter/2/%E7%AD%96%E7%95%A5%E6%A2%AF%E5%BA%A6%E7%AE%97%E6%B3%95
12. Actor-Critic
- Actor-Critic同时学习价值网络和策略网络。价值网络充当裁判，用于判断演员的表现质量。演员则扮演运动员的角色，迎合裁判的偏好。
- 参考：
  - https://www.youtube.com/watch?v=yNEqbptitZs&list=PLvOO0btloRnujjKTwoC5fOJxC7nmiQ4c4&ab_channel=ShusenWang
  - https://hrl.boyuai.com/chapter/2/actor-critic%E7%AE%97%E6%B3%95 3. 统计学习

这部分记录了经典的统计学习方法，大多数是我在本科期间实现的。

1. 线性模型
- 线性回归
  - 我实现了一个线性回归模型，这是最简单的机器学习算法，使用了包括解析公式、梯度下降和Adam优化器在内的各种算法。
  - 参考：Sebastian Ruder. 梯度下降优化算法概述. CoRR, abs/1609.04747,2016.
- 岭回归
  - 使用与上述相同的方法完成岭回归的实现。
- Lasso回归
  - 这里使用坐标下降和迭代岭回归来求解Lasso模型。
  - 迭代岭回归
    - 使用以下论文中提到的L1范数近似方法，将Lasso的优化问题转化为迭代岭回归问题。
    - 参考：Mark Schmidt. 具有l1范数正则化的最小二乘优化. CS542B项目报告,504:195–221, 2005.
2. 决策树
- 我实现了ID3算法，它使用信息增益作为构建决策树模型的标准；C4.5算法，通过将标准改为信息增益率来提高ID3的性能。
  - 注意，上述两种实现仅支持离散特征/标签。
- Cart
  - Cart回归器旨在使用树模型解决回归问题。此实现可以处理连续和离散特征。
  - 更多详细信息，请参阅统计学习方法—李航。
- 在ipynb文件中存在一些决策树实现，尚未封装为类。
3. 朴素贝叶斯
- 多项式朴素贝叶斯
  - 用于解决先验服从多项式分布的离散标签问题的朴素贝叶斯。
  - 您需要确保输入的特征是离散的，以使此实现有效。
  - 更多详细信息参考统计学习方法—李航。
- 高斯朴素贝叶斯
  - 与上述方法类似，但假设先验和似然服从高斯分布。因此，此实现可以处理连续特征/标签。
  - 更多详细信息参考机器学习—周志华。
4. SVM
- 使用序列最小优化算法求解的支持向量机，用于分类任务。
- 参考：
  - [1] John Platt. 序列最小优化：一种快速训练支持向量机的算法. 技术报告MSR-TR-98-14, 微软, 1998年4月.
  - [2] 统计学习方法—李航.
5. KMeans++
- 从kmeans改进的常见无监督聚类算法。
- 更多详细信息请参考sklearn中的KMeans文档。
6. 拒绝采样
- 拒绝采样方法。一种从复杂分布中采样的有效方法。
7. l1/2
- l1/2算法是Lasso的一种改进变体算法。
  - 与求解Lasso的方法类似，即迭代岭回归。解决这个非凸正则化框架的方法是将其转化为迭代Lasso或岭回归。
  - 参考：Xu, Z., Chang, X., Xu, F., & Zhang, H. (2012). L1/2正则化：一种阈值表示理论和快速求解器. IEEE神经网络和学习系统交易, 23(7), 1013–1027. https://doi.org/10.1109/TNNLS.2012.2197412
- 名为energy_predict.py的文件是在数控机床能耗领域的分布式应用。这里使用的分布式平台是Spark。
8. xgboost
- eXtreme Gradient Boosting(xgboost)是一个实现了由陈天奇提出的可扩展树提升系统的类。
  - 我实现了精确贪婪和近似算法用于分割查找。
  - 参考：Tianqi Chen and Carlos Guestrin. Xgboost：一个可扩展的树提升系统. CoRR,abs/1603.02754, 2016.
9. 随机森林
- 随机森林分类器。随机森林是一种元估计器，它在数据集的各个子样本上拟合多个决策树分类器，并使用平均来提高预测准确性和控制过拟合。
10. GMM
- 通过EM求解的高斯混合模型（单维）。
- 参考：期望最大化-徐亦达
11. MCMC
- 马尔可夫链蒙特卡罗。
  - Metropolis–Hastings算法
  - 吉布斯采样（待完成）。
- 参考：马尔可夫链蒙特卡罗-徐亦达
12. 谱聚类
- 谱聚类是一种源于图论的技术，该方法用于根据连接节点的边来识别图中的节点社区。该方法灵活，允许我们对非图数据进行聚类。谱聚类使用从图或数据集构建的特殊矩阵的特征值（谱）信息。
- 参考：https://www.cnblogs.com/pinard/p/6221564.html