neural-engine

Neural Engine 项目介绍

项目背景

Neural Engine 是一个专用于加速机器学习模型的处理器，广泛应用于现代的iPhone和iPad中。然而，关于这个处理器如何工作的公开信息并不多。在Apple设备中，该引擎通常被称作Apple Neural Engine（ANE），它是一种神经处理单元（NPU），类似于推动图形性能的图形处理单元（GPU），但NPU专注于加快神经网络的操作，比如卷积计算和矩阵乘法。

虽然苹果的Neural Engine是最知名的NPU之一，但市场上还有其他公司的产品，例如谷歌的TPU（张量处理单元）。这些NPU都是人工智能加速芯片，目的在于提升AI处理的速度和效率。

为什么要了解Neural Engine？

对于一些iOS机器学习项目的开发者而言，他们常常困惑于自己的模型为何没有在Neural Engine上运行，或者为何速度无法达到ANE相比于GPU的预期表现。实际上，并不是所有的Core ML模型都能很好地发挥ANE的功能，这背后的原因有些复杂，因此本文档试图解答这一常见问题。

虽然优化后的模型在ANE上的表现会远远优于CPU和GPU，但ANE本身也有其局限性。令人遗憾的是，苹果并没有向第三方开发者提供如何优化模型以利用ANE的指导，这意味着开发者必须通过反复试验来摸索有效的策略。

文档内容简介

为了帮助开发者更好地理解和运用ANE，该文档涵盖了一系列相关主题，旨在成为社区资源，供所有有兴趣的人士一起参与完善。以下是内容提要：

• 哪些设备拥有ANE
• ANE的重要性
• 如何使模型在ANE上运行
• 如何避免模型在ANE上运行
• 如何确认我的模型是否在使用ANE
• 是否可以直接编程ANE
• ANE和GPU的区别
• ANE是否为16位处理
• 哪些Core ML层不被ANE支持
• 使用os_log查看警告/错误信息
• 替换不支持的层的方法
• ANE的内部工作原理
• 其他问题和奇怪现象
• Neural Engine的逆向工程

这个文档起初计划作为博客文章发布，但后续决定将其置于GitHub上，以便于社区协作与贡献。如果读者有新的发现或指教，可以通过提交问题或拉取请求参与改进。

结语

Neural Engine是一个强大的工具，在iOS设备上加速机器学习的应用程序。但由于缺乏官方的详细指导，开发者们需要共同努力探索优化方法。希望本文档能够为感兴趣的开发者提供有用的资讯，并鼓励更多的人参与进来，共同推进技术的进步。