机器学习
- 文档列表
  - 深度学习
  - 模型部署
  - 运筹学
  - 强化学习
  - 广告
  - 搜索
  - 时间序列
  - 项目
  - AB测试
  - 模型选择
  - 降维
  - 推荐系统
  - 决策树
  - 聚类
  - Keras
  - 文本分类
  - 正则化
  - NetworkX
  - 关联规则
  - 大数据
  - 数据科学是软件
  - 遗传算法
  - 非平衡数据
  - 旧聚类
  - 线性回归
- Python编程

机器学习

Python 3.10 Python 3.9 Python 3.8

这是一个不断更新的仓库，记录了个人在学习数据科学、机器学习相关主题方面的旅程。

目标： 以Jupyter Notebook格式介绍机器学习内容。内容旨在在数学符号、从头开始使用Python科学库（包括numpy，numba，scipy，pandas，matplotlib，pyspark等）的教育实现与开源库的使用（如scikit-learn，fasttext，huggingface，onnx，xgboost，lightgbm，pytorch，keras，tensorflow，gensim，h2o，ortools，ray tune等）之间取得良好平衡。

文档列表

深度学习

精选深度学习笔记。

从零开始的Softmax回归。[nbviewer][html]
Softmax回归 - Tensorflow入门案例。[nbviewer][html]
多层神经网络 - Tensorflow。[nbviewer][html]
卷积神经网络 (CNN) - Tensorflow。[nbviewer][html]
循环神经网络 (RNN)。
- 基本RNN - Tensorflow。[nbviewer][html]
- 长短期记忆网络 (LSTM) - Tensorflow。[nbviewer][html]
- RNN, LSTM - PyTorch入门案例。[nbviewer][html]
使用Gensim的Word2vec（skipgram + 负采样）。[nbviewer][html]
序列到序列神经网络 (Seq2Seq)。
- Seq2Seq用于德语到英语机器翻译 - PyTorch。包含torchtext的快速介绍。[nbviewer][html]
- 带注意力机制的Seq2Seq用于德语到英语的机器翻译 - PyTorch。[nbviewer][html]
子词分词。
- 从零开始的Byte Pair Encoding (BPE) 以及sentencepiece的快速演练。[nbviewer][html]
Fasttext。
- 使用Fasttext和Huggingface Tokenizers的多标签文本分类。[nbviewer][html]
- 用于模型压缩的产品量化。[nbviewer][html]
- 使用Navigable Small World的近似最近邻搜索。[nbviewer][html]
图神经网络 (GNN)。
- 图神经网络节点分类任务的快速介绍 (DGL, GraphSAGE)。[nbviewer][html]
Transformer。
- Transformer，注意力机制是你所需要的一切 - PyTorch, Huggingface Datasets。[nbviewer][html]
- 使用Huggingface Transformers mT5进行机器翻译。[nbviewer][html]
- 在问答任务中微调预训练编码器。[nbviewer][html]
- 通过对比学习笔记训练双编码器模型。[nbviewer][html]
- 句子Transformer：通过对比损失训练双编码器。[nbviewer][html]
- CLIP（对比语言-图像预训练）、LiT、ViT简介。[nbviewer][html]
- 自监督 (SIMCLR) 与有监督对比学习。[nbviewer][html]
- 使用LLM和PEFT LoRA（PyTorch Lightning）进行多语言句子嵌入。[nbviewer][html]
表格数据
- 表格数据的深度学习 - PyTorch。[nbviewer][html]
- 深度学习 - 排名学习101（RankNet, ListNet）。[nbviewer][html]
- BERT CTR。[nbviewer][html]

模型部署

FastAPI与Azure Kubernetes集群。训练模型并将其作为服务托管的端到端示例。[folder]
梯度提升树推断快速介绍。[nbviewer][html]
加速Transformers推断。[folder]
使用AWS（亚马逊网络服务）。[folder]

运筹学

运筹学通过Ortools快速介绍。[nbviewer][html]

强化学习

多臂赌博机简介。[nbviewer][html]

搜索

信息检索，部分示例使用ElasticSearch进行演示。

BM25（最佳匹配）简介。[nbviewer][html]

时间序列

用于基于时间序列数据的预测方法。

入门时间序列分析与指数平滑 (Holt-Winters)。[nbviewer][html]
将时间序列问题框架化为监督学习。[nbviewer][html]
首次涉足离散/快速傅里叶变换。[nbviewer][html]

项目

端到端项目包括数据预处理，模型构建。

Kaggle: Rossman 商店销售预测每日商店销售。也介绍了用于表格数据的深度学习。[文件夹]
Kaggle: Quora 不真诚问题分类预测不真诚问题。[文件夹]

A/B 测试

A/B 测试，即实验设计。包括：必要统计概念的快速回顾。进行测试的方法和流程/思维过程以及需注意的陷阱。

频率派A/B测试(包含P值、置信区间等概念的快速回顾)。[nbviewer][html]
分位数回归及其在A/B测试中的应用。
- 分位数回归的快速介绍。nbviewer][html]
- 分位数回归在A/B测试中的应用。[nbviewer][html]
因果推断
- 倾向评分匹配法。[nbviewer][html]
- 反倾向性加权法。[nbviewer][html]
- 差异差异法快速介绍。[nbviewer][html]

模型选择

选择、改进、评估模型/算法的方法。

K 折交叉验证，网格/随机搜索从头开始。[nbviewer][html]
从头构建AUC（ROC 曲线下的面积和精准/召回率曲线），包括构建自定义 scikit-learn 变换器的过程。[nbviewer][html]
不平衡数据集的评估指标。[nbviewer][html]
检测特征之间的共线性（数值特征的方差膨胀因子和类别特征的克莱默 V 统计量），还介绍了最大似然角度的线性回归和R平方评估指标。[nbviewer][html]
技术和软技能的精心整理的提示和技巧。[nbviewer][html]
偏依赖图（PDP），方向特征影响的模型不可知论方法。[nbviewer][html]
库尔贝克-莱布勒（KL）散度。[nbviewer][html]
基于 Platt Scaling、直方图分箱、保序回归的分类模型概率校准。[nbviewer][html]
使用温度缩放进行深度学习分类模型的概率校准。[nbviewer][html]
使用 Ray Tune 和 Hyperband 进行超参数调优。[nbviewer][html]

维度减少

降维方法。

从头开始的主成分分析 (PCA)。[nbviewer][html]
奇异值分解 (SVD) 介绍，即潜在语义分析/索引 (LSA/LSI)。[nbviewer][html]

树模型

树模型，用于回归和分类任务。

从零开始的决策树。[nbviewer][html]
从零开始的随机森林和额外树。[nbviewer][html]
从零开始的梯度提升机（GBM）。[nbviewer][html]
Xgboost API 漫步（包括通过 scikit-learn 类 API 调整超参数）。[nbviewer][html]
LightGBM API 漫步以及关于基于树的模型中分类特征的讨论。[nbviewer][html]
使用提升树的单调约束。[nbviewer][html]

聚类

TF-IDF 和主题建模是专门用于文本分析的技术。

从零开始的 TF-IDF（文本频率 - 逆文档频率）。[nbviewer][html]
从零开始的 K 均值、K 均值++；选择 K 的曲肘法。[nbviewer][html]
从零开始的高斯混合模型；使用 AIC 和 BIC 选择高斯数量。[nbviewer][html]
使用 gensim 的潜在狄利克雷分配（LDA）进行主题建模。[nbviewer][html]

keras

对那些感兴趣的人也有一个 keras 速查表可能会派上用场。

多层神经网络（keras 基础）。[nbviewer][html]
通过 scikit-learn 类的 API 调整多层神经网络的超参数。[nbviewer][html]
卷积神经网络（CNN）
- 图像分类基础。[nbviewer][html]
- 残差网络（ResNets）和类激活图（CAM）简介。[nbviewer][html]
循环神经网络（RNN） - 语言建模基础。[nbviewer][html]
文本分类
- 用于文本分类的 Word2vec。[nbviewer][html]
- 利用预训练词嵌入进行文本分类。[nbviewer][html]
- 用于文本分类的 Sentencepiece 子词分词。[nbviewer][html]

文本分类

文本分类的深度学习技术被分类在自己的一节中。

使用 scikit-learn 进行垃圾邮件分类的直观建设（scikit-learn hello world）。[nbviewer][html]
从零开始的伯努利和多项式朴素贝叶斯。[nbviewer][html]
从零开始的逻辑回归（随机梯度下降）。[nbviewer][html]
从零开始的卡方特征选择。[nbviewer][html]

正则化

使用 scikit-learn 构建对岭回归和套索回归的直观理解。

查看 [nbviewer][html]

networkx

也讨论了除了 networkx 之外的图库。

PyCon 2016：简单实用的网络分析。快速入门 networkx 的 API。包括一些基本的图形绘制和算法。[nbviewer][html]
PageRank 的简短漫步。[nbviewer][html]
从零开始的影响最大化。包括对独立级联（IC）、次可加优化算法，包括贪婪和惰性贪婪（又称成本效益惰性前进（CELF））的讨论。[nbviewer][html]

关联规则

也称为市场篮分析。

从零开始的 Apriori。[nbviewer][html]
使用 R 的 arules 包（apriori）处理表格数据。[Rmarkdown]

大数据

探索大数据工具，如 Spark 和 H2O.ai。对于那些感兴趣的人，还有一个 pyspark rdd 速查表和 pyspark dataframe 速查表可能会派上用场。

在 Mac 上安装本地 Hadoop 集群。[markdown]
在 Mac 上安装 PySpark。[markdown]
使用 PySpark MLlib 处理数据（犯罪数据）并构建随机森林模型的示例。[nbviewer][html]
使用 PySpark MLlib 进行主成分分析（PCA）。[nbviewer][html]
调整 Spark 分区。[nbviewer][html]
H2O API 漫步（以 GBM 为例）。[nbviewer][html]
Spark MLlib 二元分类（以 GBM 为例）。[raw zeppelin notebook][Zepl]

数据科学是软件

在 Python 中进行数据科学的最佳实践。

查看 [nbviewer][html]

遗传算法

遗传算法。从零开始的无数学解释和代码。

从一个简单的优化问题开始扩展到旅行商问题（TSP）。
查看 [nbviewer][html]

不平衡

在您的数据集中包含不平衡的二元类时，使用成本敏感错误（意味着两类之间的误分类成本可能不同）为逻辑回归选择最佳截断值。例如，数据集中大多数数据点具有正面结果，而很少有负面结果，或者相反。这种概念可以扩展到任何其他可以预测类概率的分类算法，此文档仅使用逻辑回归进行说明。

使用ggplot2可视化标准的2x2混淆矩阵和带有成本的ROC曲线。
查看 [Rmarkdown]

聚类旧

一系列散落的R中的旧聚类文档。

LDA算法（Gibbs采样）和topicmodels库的玩具样本代码。[Rmarkdown]
解决查找文本相似文档问题的k-shingle, Minhash和局部敏感散列。[Rmarkdown]
介绍tf-idf（词频-逆文档频率），一种文本挖掘技术。并通过层次聚类来执行文本聚类。[Rmarkdown]
在使用层次聚类和K-means聚类（这里使用了K-means++）时的一些有用评估。包括Calinski-Harabasz指数，用于确定聚类的正确K（聚类数）以及聚类结果稳定性的自举评估。[Rmarkdown]