Core ML 示例项目：在iOS上实现机器学习的实践指南

coreml-examples

Core ML 示例项目：在iOS上实现机器学习的实践指南

在移动设备上运行复杂的机器学习模型曾经是一个巨大的挑战，但随着 Apple 的 Core ML 框架的出现，这个过程变得更加简单和高效。Hugging Face 团队推出的 Core ML 示例项目为开发者提供了一系列实用的演示应用，展示了如何在 iOS 设备上优化并部署先进的机器学习模型。本文将深入探讨这个项目，为您揭示 Core ML 的强大功能和实际应用。

Core ML 简介

Core ML 是 Apple 专为 iOS、macOS、watchOS 和 tvOS 设计的机器学习框架。它允许开发者将训练好的机器学习模型集成到应用程序中，充分利用设备的处理能力，包括 CPU、GPU 和神经网络处理器（Neural Engine）。通过 Core ML，开发者可以在保护用户隐私的同时，提供快速、高效的机器学习功能。

Hugging Face Core ML 示例项目概览

Hugging Face 的 Core ML 示例项目（coreml-examples）是一个包含多个演示应用的代码仓库，每个应用都展示了如何在 iOS 设备上实现特定的机器学习任务。这些示例不仅提供了详细的实现代码，还包括了为 Apple Neural Engine 优化的模型。

Core ML 示例项目概览

主要示例应用

FastViT 图像分类

FastViT 是一种高效的视觉transformer模型，专为移动设备设计。在这个示例中，开发者可以学习如何使用 FastViT 进行实时图像分类。

示例代码路径：FastViTSample

核心技术：模型优化

Hugging Face 团队利用 coremltools 来测试和实现这些优化。coremltools 是 Apple 提供的一个 Python 包，用于将各种机器学习模型转换为 Core ML 格式，并进行优化。

一个重要的优化技术是量化（Quantization）。量化可以将模型的权重和激活值从浮点数转换为整数，从而显著减小模型大小并提高推理速度，同时尽可能保持模型的准确性。

另一个关键优化是针对 Apple Neural Engine 的特定优化。Apple Neural Engine 是苹果设备中专门用于加速机器学习任务的硬件。通过针对这一硬件进行优化，可以大大提高模型的运行效率。

实际应用示例

让我们深入了解一下 FastViT 图像分类示例的实现过程：

模型准备：首先，需要下载预训练的 FastViT 模型并将其转换为 Core ML 格式。这可以通过 coremltools 完成：

import coremltools as ct

model = load_pretrained_fastvit_model()
mlmodel = ct.convert(model, inputs=[ct.ImageType(shape=(1, 3, 224, 224))])
mlmodel.save("FastViT.mlmodel")

集成到 iOS 应用：将生成的 .mlmodel 文件添加到 Xcode 项目中。Xcode 会自动生成相应的 Swift 接口。

图像预处理：在将图像输入模型之前，需要进行预处理，如调整大小和归一化：

func preprocess(image: CVPixelBuffer) -> MLFeatureProvider {
    let scaler = VisionFeaturePrintScaler()
    let scaledPixelBuffer = try! scaler.resize(pixelBuffer: image, to: CGSize(width: 224, height: 224))
    return try! MLFeatureProvider(dictionary: ["input_1": MLFeatureValue(pixelBuffer: scaledPixelBuffer)])
}

模型推理：使用 Core ML 框架进行模型推理：

let model = try! FastViT(configuration: MLModelConfiguration())
let output = try! model.prediction(input: preprocess(image: pixelBuffer))

后处理：解析模型输出，获取分类结果：

let classifications = output.classLabelProbs.sorted { $0.value > $1.value }
let topResult = classifications.first!
print("Top classification: \(topResult.key) with confidence \(topResult.value)")