ILearnDeepLearning.py

<h1 align="center">ILearnDeepLearning.py</h1> <img width="200" src="https://yellow-cdn.veclightyear.com/35dd4d3f/3f09a6e4-258f-48df-9cb1-b0c36b5e209a.gif" alt="NumPy NN animation">

描述

人们常说，只有亲身实践才能让你真正学到东西。这个库包含了一些与深度学习和数据科学相关的小项目。主题与我在Medium上发表的文章密切相关，旨在补充这些博客文章。对我来说，这是记录我学习过程的一种方式，也希望能帮助其他人理解神经网络相关的问题。我希望这个库的内容是有趣的，最重要的是有用的。我鼓励你们阅读我的文章，并检查代码在实际中的运行效果。

快速上手

# 克隆库
git clone https://github.com/SkalskiP/ILearnDeepLearning.py.git

# 进入主目录
cd ILearnDeepLearning.py

# 设置并激活python环境
apt-get install python3-venv
python3 -m venv .env
source .env/bin/activate

# 安装所有必需的包
pip install -r requirements.txt

深入探讨深度网络背后的数学原理

Medium文章 - 源代码

这个项目主要聚焦于可视化与梯度下降、激活函数和分类边界可视化相关的复杂问题，同时也在教授模型的过程中进行演示。这段代码补充了文章中更详细描述的问题。下图展示了一些已创建的可视化内容。

<img height="250" src="https://yellow-cdn.veclightyear.com/35dd4d3f/3fd57a00-46fa-4b75-8947-d2d970cfc14e.png" alt="Keras model frames"> <img height="250" src="https://yellow-cdn.veclightyear.com/35dd4d3f/53c467c2-5bfc-45c9-b76c-cbc3f9819582.gif" alt="Keras class boundries"> 图1. 在每次迭代Keras模型时创建的分类边界图。 最后，帧被合并以创建动画。 <img width="400" src="https://yellow-cdn.veclightyear.com/35dd4d3f/b6d7cb51-6df7-466b-a712-6430e28ab2b9.gif" alt="Gradient descent"> 图2. 梯度下降的可视化。

用纯NumPy编写神经网络

Medium文章 - 源代码

在理论介绍之后，现在该进行使用NumPy实现神经网络的实践了。在这个笔记本中，你将找到完整的源代码，并能比较基础实现与使用Keras创建的模型的性能。可以在相关的文章中找到更广泛的评论，以了解执行函数的顺序和意义。

<img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/3285e5ca-7d19-457e-b145-c1188e8c93e3.gif" alt="NumPy NN animation"> 图3. 简单的NumPy模型实现的分类边界可视化

防止深度神经网络过拟合

Medium文章 - 源代码

这次我重点分析了过拟合的原因及防止方法。我为不同的lambda系数制作了神经网络调节的模拟，分析了权重矩阵中值的变化。请看看在此过程中创建的可视化内容。

<img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/9a18c030-3099-4add-abbe-9863976dbc42.gif" alt="Change of accuracy"> 图4. 分类边界由：右上角 - 线性回归； 左下角 - 神经网络；右下角 - 有正则化的神经网络创建 <img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/6bcf68d0-3d0a-4958-aeeb-4b6f2ddf564d.gif" alt="Change of accuracy"> 图5. 神经网络学习过程中在各个时期准确性值的变化。

如何用优化器更快地训练神经网络？

Medium文章 - 源代码

在完成上一篇文章时，我有机会仅使用NumPy创建自己的神经网络。这是一个非常具有挑战性的任务，但同时它显著扩展了我对神经网络内部过程的理解。其中，这次经验让我真正意识到有多少因素影响着神经网络的性能。选择的架构、适当的超参数值，甚至正确的参数初始化，这些只是其中的一部分... 但是这次，我们将重点关注对学习过程速度以及预测准确性有重大影响的决策-优化策略的选择。

<img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/da540cce-c5d3-49a5-8a99-a0e23ecd44e1.gif" alt="Change of accuracy"> 图6. 一些对于优化算法来说是问题的点的例子。 <img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/c514ba99-88ae-4343-a8d3-5340a5c52548.gif" alt="Change of accuracy"> 图7. 优化器对比。

创建动画图表的简单方法

Medium文章 - 源代码

在我的文章和项目中，我都会尝试创建有趣的可视化，它们非常有助于更有效地传达我的想法。我决定创建一个简短的教程，展示如何使用Matplotlib轻松创建动画可视化。我也鼓励你阅读我的帖子，其中详细描述了如何创建神经网络学习过程的可视化。

<img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/34a5a9d3-d6e6-416f-816d-59973993c7fa.gif" alt="Change of accuracy"> 图 8. 使用 Matplotlib 动画 API 创建的洛伦兹吸引子。

温和深入卷积神经网络背后的数学原理

Medium 文章 - 源代码

在这篇 Medium 文章中，我重点讨论了与卷积神经网络（CNN）相关的理论问题。这是一项即将进行的小型项目的准备工作，目标是创建我自己的简单实现这种类型神经网络的版本。因此，该仓库的这一部分相对狭窄，主要包括选定滤波器卷积效果的简单可视化。

<img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/ffe8e815-f687-4c90-b556-50d9ce8487da.gif" alt="Convolution"> 图 9. 选定滤波器的卷积效果。

国际象棋，掷骰子还是篮球？让我们创建自定义的对象检测模型

Medium 文章 - 源代码

我在 Medium 上的帖子通常非常理论化——我倾向于分析和描述定义神经网络工作原理的算法。然而这次，我决定打破这一趋势，向读者展示训练自己的 YOLO 模型有多么容易，该模型能够检测我们选择的任何对象。为了实现这个目标，我们需要一个非常有用且易于使用的 YOLO 实现提供帮助。简而言之，代码不多，但效果巨大。

<img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/9d334fbe-f8f6-49b8-a52c-c92e15cd41c4.gif" alt="Convolution"> 图 10. 基于 <a href="https://research.google.com/youtube8m/">YouTube-8M</a> 数据集检测篮球场上移动的球员。

知道是什么和为什么？——解释图像分类器的预测

Medium 文章 - 源代码

随着我们实施高度负责的计算机视觉系统，越来越清楚的是，我们不仅必须提供预测，还必须解释其决策的原因。在这篇文章中，我比较和评估了图像分类领域中最常用的解释模型预测的库——Eli5、LIME 和 SHAP。我研究了它们利用的算法，并比较了所提供解释的效率和质量。

<img width="500" src="https://yellow-cdn.veclightyear.com/35dd4d3f/e99ca575-eab0-4931-b001-8b96e29a99c5.gif" alt="Explaining predictions"> 图 11. 比较 ELI5、LIME 和 SHAP 提供的解释。