BeautifulAlgorithms.jl

用Julia编写的简洁算法，使用Carbon进行格式化。

包含机器学习、优化、强化学习、在线规划、不确定性下的决策和排序算法。所有实现都是可运行且独立的；请参考测试用例。

注意，这些主要用于学术目的，不适合实际应用。还有许多其他Julia包实现了这些算法的更可靠版本。

] add http://github.com/mossr/BeautifulAlgorithms.jl

• 梯度下降
• 随机梯度下降
• 两层神经网络
  • 两层神经网络（单行版）
• 多层神经网络
• 损失函数
• 距离函数
• 最近邻
• K近邻
• K均值聚类
• EM算法
• 线性回归
  • 线性回归（单行版）
• 岭回归
• 基函数回归
• 径向基函数回归
• 逻辑回归
• 交叉熵方法
• 有限差分方法
• 模拟退火
• 微调
• 牛顿法
• 高斯过程
  • 高斯过程核函数
• 汤普森采样
• 粒子滤波
• 值迭代
• 分支定界法
• 蒙特卡罗树搜索
• 霍夫曼编码
• 冰雹序列（考拉兹猜想）
• 冒泡排序
• 归并排序
• 插入排序
• 猴子排序
  • 猴子排序（单行版）
• 自产生程序

注：算法已从原始来源进行了修改。

梯度下降

Percy Liang和Dorsa Sadigh，《人工智能：原理与技术》，斯坦福大学，2019年。

<p align="center"><a href="./src/gradient_descent.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/92a8737f-5f3c-41b1-a072-a2dff696cbb3.png"></a></p>

随机梯度下降

Percy Liang和Dorsa Sadigh，《人工智能：原理与技术》，斯坦福大学，2019年。

<p align="center"><a href="./src/stochastic_gradient_descent.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/9fe54334-4791-4bb3-b446-50c11147c7f5.png"></a></p>

两层神经网络

<p align="center"><a href="./src/neural_network.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/38b07343-df46-44bb-954d-6b1f128e5940.png"></a></p>

两层神经网络（单行版）

<p align="center"><a href="./src/neural_network_one_liner.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ce40d4fb-e8ba-4534-aa60-e4e7e55b1b62.png"></a></p>

多层神经网络

<p align="center"><a href="./src/multi_layer_neural_network.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/730f4523-fb23-44bc-8480-46e3ab914a87.png"></a></p> ## 损失函数 <p align="center"><a href="./src/loss_functions.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f0decf36-cb1a-4750-853a-3822940504f8.png"></a></p>

距离函数

<p align="center"><a href="./src/distance_functions.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/e7c24ae0-6a04-46ad-a602-83bc763bff98.png"></a></p>

最近邻

<p align="center"><a href="./src/nearest_neighbor.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/167a42ff-4ead-4b37-a629-01a88370c7de.png"></a></p>

K-最近邻

<p align="center"><a href="./src/k_nearest_neighbors.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/07a7baab-fdad-41d2-9fdf-82dcc05b0436.png"></a></p>

K-均值聚类

Percy Liang 和 Dorsa Sadigh，《人工智能：原理与技术》，斯坦福大学，2019年。

<p align="center"><a href="./src/k_means_clustering.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f799e57a-177d-4af1-a970-4a31d40498cc.png"></a></p>

EM算法

Andrew Ng，《高斯混合模型和EM算法》，斯坦福大学，2020年。^{<a href="http://cs229.stanford.edu/notes2020spring/cs229-notes7b.pdf">1</a>}

<p align="center"><a href="./src/em_algorithm.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/2d98a9fe-8640-40a9-8342-68735177f07c.png"></a></p>

线性回归

Mykel J. Kochenderfer 和 Tim A. Wheeler，《优化算法》，麻省理工学院出版社，2019年。（感谢 @HenriDeh 使用 ones）

<p align="center"><a href="./src/linear_regression.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/6586a4ac-400a-45b7-95fd-f5de1b4fbc5f.png"></a></p>

线性回归（一行代码版）

<p align="center"><a href="./src/linear_regression_one_liner.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f1b3fb2f-eac7-4163-b562-d671fb38713e.png"></a></p>

岭回归

<p align="center"><a href="./src/ridge_regression.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/562d225f-4940-4ede-a6de-13ba3833ca6f.png"></a></p>

基函数回归

Mykel J. Kochenderfer 和 Tim A. Wheeler，《优化算法》，麻省理工学院出版社，2019年。

<p align="center"><a href="./src/basis_regression.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/55e025ba-397d-4ccf-b0a3-1b2bea63b137.png"></a></p>

径向基函数回归

Mykel J. Kochenderfer 和 Tim A. Wheeler，《优化算法》，麻省理工学院出版社，2019年。

<p align="center"><a href="./src/radial_basis_regression.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/48f0c43c-102b-464b-bc91-6e91232761fc.png"></a></p>

逻辑回归

<p align="center"><a href="./src/logistic_regression.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/27e6530e-03bc-433f-9545-7a62e24aee44.png"></a></p>

交叉熵方法

Mykel J. Kochenderfer 和 Tim A. Wheeler，《优化算法》，麻省理工学院出版社，2019年。

<p align="center"><a href="./src/cross_entropy_method.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/263ec898-9b19-4a27-b0ca-81f632834240.png"></a></p> ## 有限差分法 Mykel J. Kochenderfer 和 Tim A. Wheeler，《优化算法》，麻省理工学院出版社，2019年。 <p align="center"><a href="./src/finite_difference_methods.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/8f10035b-9d1a-4fda-a4a7-451102b26785.png"></a></p>

模拟退火

Mykel J. Kochenderfer 和 Tim A. Wheeler，《优化算法》，麻省理工学院出版社，2019年。

<p align="center"><a href="./src/simulated_annealing.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/8763818b-8f6c-4428-9f52-fd63225e0631.png"></a></p>

Twiddle算法

Sebastian Thrun，《机器人人工智能》，Udacity，2012年。

<p align="center"><a href="./src/twiddle.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/24bf29cb-c250-4d9b-a70b-baf866f93184.png"></a></p>

牛顿法

John Wallis，《代数历史与实践论文》，1685年。

<p align="center"><a href="./src/newtons_method.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/fa935e3c-318c-4a7f-b740-a04e08c85c39.png"></a></p>

高斯过程

Mykel J. Kochenderfer 和 Tim A. Wheeler，《优化算法》，麻省理工学院出版社，2019年。

<p align="center"><a href="./src/gaussian_process.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/4b0c49fd-e625-4f3d-b8f2-581c0067452f.png"></a></p>

高斯过程核函数

<p align="center"><a href="./src/gaussian_process_kernels.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/2ab47b92-4c7c-4c7e-b4e0-6ee8fa4dfdaa.png"></a></p>

汤普森采样

Daniel J. Russo、Benjamin Van Roy、Abbas Kazerouni、Ian Osband 和 Zheng Wen，《汤普森采样教程》，arXiv:1707.02038，2020年。

<p align="center"><a href="./src/thompson_sampling.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/1d101988-6ffc-4644-b6e7-fa469a0d3cc8.png"></a></p>

粒子滤波

Mykel J. Kochenderfer、Tim A. Wheeler 和 Kyle H. Wray，《决策算法》，预印本。

<p align="center"><a href="./src/particle_filter.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/4dcd9e90-f3bc-4a2b-9b60-e881dba5fae7.png"></a></p>

价值迭代

Mykel J. Kochenderfer、Tim A. Wheeler 和 Kyle H. Wray，《决策算法》，预印本。

<p align="center"><a href="./src/value_iteration.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f2bb4a34-335b-46e3-bad3-8b4aefb98182.png"></a></p>

分支定界法

Mykel J. Kochenderfer、Tim A. Wheeler 和 Kyle H. Wray，《决策算法》，预印本。

<p align="center"><a href="./src/branch_and_bound.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d07b20eb-f2c0-42a4-88b8-02a8e6b7b3b8.png"></a></p>

蒙特卡罗树搜索

Mykel J. Kochenderfer、Tim A. Wheeler 和 Kyle H. Wray，《决策算法》，预印本。

<p align="center"><a href="./src/monte_carlo_tree_search.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/6fe28f20-d3c9-491a-80e9-4f7bb12c4124.png"></a></p>

霍夫曼编码

David A. Huffman，《构建最小冗余编码的方法》，IEEE，1952年。

<p align="center"><a href="./src/huffman_coding.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/1d6666c5-645c-4f3b-853c-cc82375bfa49.png"></a></p> ## 冰雹序列（考拉兹猜想） <p align="center"><a href="./src/hailstone.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f50da184-f345-4a78-8937-710f04abc523.png"></a></p>

冒泡排序

Karey Shi，《算法设计与分析》，斯坦福大学，2020年。

<p align="center"><a href="./src/bubble_sort!.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/bd755d81-8f54-4012-b02e-f7e93c03770e.png"></a></p>

归并排序

Karey Shi，《算法设计与分析》，斯坦福大学，2020年。

<p align="center"><a href="./src/merge_sort.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7509513b-c4e3-4ee0-ad9b-9216cc4ddc5b.png"></a></p>

插入排序

Karey Shi，《算法设计与分析》，斯坦福大学，2020年。

<p align="center"><a href="./src/insertion_sort!.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/6487919b-6794-4a34-bdac-9f030b7a9e26.png"></a></p>

猴子排序

<p align="center"><a href="./src/bogo_sort!.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ec945bb2-7397-4ed7-978b-07ead548bae7.png"></a></p>

猴子排序（单行代码）

<p align="center"><a href="./src/bogo_sort!_one_liner.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/38a22105-5f4b-4c41-929a-707a8c99f499.png"></a></p>

自产生程序

Nathan Daly，《Julia Discord》，2019年。^{<a href="https://discourse.julialang.org/t/quines-and-loons-self-replicating-programs/12607/7" target="_blank">2</a>}

<p align="center"><a href="./src/quine.jl"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/b9e40eac-a3e3-4ea9-9b78-4ecf5bbbca8e.png"></a></p>

---

作者：Robert Moss。