snorkel

Snorkel项目介绍

Snorkel是一个开源的机器学习项目，旨在通过程序化方式构建和管理训练数据。该项目始于2015年斯坦福大学，其核心理念是在机器学习项目中，训练数据的质量和数量往往比模型、算法或基础设施更为关键。基于这一前提，Snorkel团队探索了一种激进的想法:为通常完全手动的训练数据创建和管理过程引入数学和系统结构，使用户能够以编程方式标记、构建和管理训练数据。

项目发展

Snorkel项目取得了超出预期的成功。作为一个研究项目,Snorkel不仅实现了提供最小可行框架来测试和验证假设的基本目标,还与谷歌、英特尔、斯坦福医学院等世界领先机构合作开发和部署了早期版本。此外,项目团队在弱监督建模、数据增强、多任务学习等领域发表了60多篇同行评审论文,被顶尖大学纳入课程,并支持了许多生产系统的部署。

Snorkel Flow

随着项目的发展,Snorkel团队意识到原始项目只是第一步。Snorkel背后的理念不仅改变了标记训练数据的方式,还影响了构建、部署和管理机器学习的整个生命周期和流程。为此,团队开发了Snorkel Flow平台,这是一个端到端的机器学习平台,用于开发和部署AI应用。Snorkel Flow整合了Snorkel项目的许多概念,以及一系列新技术,包括弱监督建模、数据增强、多任务学习、数据切片和结构化、监控和分析等。