懂AI
lilac

lilac

开源解决方案促进AI数据探索与质量管理

Lilac是一个开源的AI数据处理工具，专注于数据集的探索、管理和质量控制。它提供交互式数据探索、LLM驱动的搜索、聚类和标注功能，支持本地运行和云端处理。Lilac能够优化数据集，降低AI训练成本，并支持语义搜索和概念搜索等高级特性。该工具已被Cohere和Databricks等公司采用，用于改善预训练和微调数据的质量。

Lilac数据集处理AI训练数据探索数据质量控制Github开源项目
访问官网GitHub文档
<h1 align="center">丁香</h1> <h3 align="center" style="font-size: 20px; margin-bottom: 4px">更好的数据，更好的人工智能</h3> <p align="center"> <a style="padding: 4px;" href="https://lilacai-lilac.hf.space/"> <span style="margin-right: 4px; font-size: 12px">🔗</span> <span style="font-size: 14px">试用丁香网页演示！</span> </a> <br/><br/> <a href="https://lilacml.com/"> <img alt="网站" src="https://img.shields.io/badge/网站-lilacml.com-ed2dd0?link=https%3A%2F%2Flilacml.com"/> </a> <a href="https://discord.gg/jNzw9mC8pp"> <img alt="Discord" src="https://img.shields.io/discord/1135996772280451153?label=加入Discord" /> </a> <a href="https://github.com/lilacai/lilac/blob/main/LICENSE"> <img alt="许可证 Apache 2.0" src="https://yellow-cdn.veclightyear.com/835a84d5/6102f32b-bd06-4f13-9e41-944603652519.svg?style=flat&color=ed2dd0" height="20" width="auto"> </a> <br/> <a href="https://github.com/lilacai/lilac"> <img src="https://img.shields.io/github/stars/lilacai/lilac?style=social" /> </a> <a href="https://twitter.com/lilac_ai"> <img src="https://img.shields.io/twitter/follow/lilac_ai" alt="在Twitter上关注" /> </a> </p>

丁香是一个用于探索、整理和质量控制大语言模型训练、微调和监控数据集的工具。

丁香被Cohere和Databricks等公司用来可视化、量化和提高预训练和微调数据的质量。

丁香使用开源大语言模型在设备上运行，提供用户界面和Python API。

🆒 新功能

  • 丁香花园是我们的托管平台，用于快速进行数据集级计算。注册参与试用。
  • 利用大语言模型的能力对数百万文档进行聚类和标题生成。探索和搜索OpenOrca中430万文档的36,000多个聚类

为什么使用丁香？

  • 使用大语言模型驱动的搜索、过滤、聚类和注释功能交互式探索数据。
  • 整理人工智能数据，应用最佳实践如去除重复、个人身份信息和晦涩内容，以减小数据集大小并降低训练成本和时间。
  • 与团队在一个集中的数据集上进行检查和协作，提高数据质量。
  • 了解数据随时间的变化。

丁香可以将昂贵的计算任务卸载到丁香花园，这是我们用于快速进行数据集级计算的托管平台。

<img alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/636682bd-8b0e-46b1-8491-8f2f36a8123f.png">

观看我们的3分钟演示视频

🔥 入门

💻 安装

pip install lilac[all]

如果你不想本地安装，可以通过按照此处的文档复制我们的Spaces演示。

更详细的说明，请参阅我们的安装指南。

🌐 启动网络服务器

使用我们的lilac CLI启动丁香网络服务器：

lilac start ~/my_project

或者从Python启动丁香网络服务器：

import lilac as ll

ll.start_server(project_dir='~/my_project')

这将在http://localhost:5432/启动一个网络服务器，你现在可以加载数据集并进行探索。

丁香花园

丁香花园是我们用于运行数据集级计算的托管平台。我们利用强大的GPU来加速昂贵的信号处理，如聚类、嵌入和个人身份信息识别。注册参与试用。

  • 在20分钟内对一百万个数据点进行聚类和标题生成
  • 以每分钟5亿个令牌的速度嵌入你的数据集
  • 运行你自己的信号处理

📊 加载数据

数据集可以直接从HuggingFace、Parquet、CSV、JSON、LangChain的LangSmith、SQLite、LLamaHub、Pandas、Parquet等加载。更多文档在此。

import lilac as ll

ll.set_project_dir('~/my_project')
dataset = ll.from_huggingface('imdb')

如果你愿意，可以直接从用户界面加载数据集，无需编写任何Python代码：

<img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/d5d385ce-f11c-47e6-9c00-ea29983e24f0">

🔎 探索

<!-- prettier-ignore -->

[!注意] 🔗 在安装之前探索OpenOrca和其聚类！

一旦我们加载了数据集，就可以从用户界面探索它，了解数据中的内容。更多文档在此。

<img alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/65385dcc-8526-4353-b0e3-87281b29bcd0.png">

✨ 聚类

对任何文本列进行聚类，获取自动化的数据集洞察：

dataset = ll.get_dataset('local', 'imdb')
dataset.cluster('text') # 添加 `use_garden=True` 以卸载到丁香花园

[!提示] 在设备上进行聚类可能会很慢或不切实际，特别是在没有强大GPU或大内存的机器上。将计算任务转移到我们的托管数据处理平台Lilac Garden上，可以将聚类速度提高100多倍。

<img alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/636682bd-8b0e-46b1-8491-8f2f36a8123f.png">

⚡ 使用信号进行注释（PII、文本统计、语言检测、近似重复等）

使用信号注释数据将在您的数据中产生另一个列。

dataset = ll.get_dataset('local', 'imdb')
dataset.compute_signal(ll.LangDetectionSignal(), 'text') # 检测每个文档的语言。

# [PII] 查找电子邮件、电话号码、IP地址和机密信息。
dataset.compute_signal(ll.PIISignal(), 'text')

# [文本统计] 计算可读性评分、字符数、TTR、非ASCII字符等。
dataset.compute_signal(ll.PIISignal(), 'text')

# [近似重复] 基于minhash LSH计算聚类。
dataset.compute_signal(ll.NearDuplicateSignal(), 'text')

# 打印结果清单，包含新添加的字段。
print(dataset.manifest())

我们也可以从用户界面计算信号：

<img width="400" alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/34df877e-6264-49d3-9c89-9ae2ef09492a.png">

🔎 搜索

语义和概念搜索首先需要计算嵌入：

dataset.compute_embedding('gte-small', path='text')

语义搜索

在用户界面中，我们可以通过语义相似度或经典关键词搜索来查找与查询相似的文档片段：

<img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/4adb603e-8dca-43a3-a492-fd862e194a5a"> <img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/fdee2127-250b-4e06-9ff9-b1023c03b72f">

我们可以在Python中运行相同的搜索：

rows = dataset.select_rows(
  columns=['text', 'label'],
  searches=[
    ll.SemanticSearch(
      path='text',
      embedding='gte-small')
  ],
  limit=1)

print(list(rows))

概念搜索

概念搜索是语义搜索的一个更可控和强大的版本，其中可以通过提供概念的正面和负面示例来教会Lilac"概念"。

Lilac提供了一系列内置概念，但您可以为非常具体的目的创建自己的概念

<img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/9941024b-7c24-4d87-ae46-925f8da435e1">

我们可以在Python中用几个例子创建一个概念，并通过它进行搜索：

concept_db = ll.DiskConceptDB()
db.create(namespace='local', name='spam')
# 添加垃圾邮件和非垃圾邮件的例子。
db.edit('local', 'spam', ll.concepts.ConceptUpdate(
  insert=[
    ll.concepts.ExampleIn(label=False, text='这是正常文本。'),
    ll.concepts.ExampleIn(label=True, text='asdgasdgkasd;lkgajsdl'),
    ll.concepts.ExampleIn(label=True, text='11757578jfdjja')
  ]
))

# 通过垃圾邮件概念搜索。
rows = dataset.select_rows(
  columns=['text', 'label'],
  searches=[
    ll.ConceptSearch(
      path='text',
      concept_namespace='lilac',
      concept_name='spam',
      embedding='gte-small')
  ],
  limit=1)

print(list(rows))

🏷️ 标记

Lilac允许您标记单个数据点或数据切片： <img width="600" alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/26066ee6-c5e0-477b-83c5-53075a2310a5.png">

我们还可以根据过滤器标记所有数据。在这种情况下，为所有字符数较少的文本添加"short"标签。这个字段是由自动的text_statistics信号产生的。

<img width="600" alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/45347f55-5a56-46df-a9cd-cd4cd1585b40.png">

我们可以在Python中做同样的事情：

dataset.add_labels(
  'short',
  filters=[
    (('text', 'text_statistics', 'num_characters'), 'less', 1000)
  ]
)

标签可以导出用于下游任务。详细文档请参阅这里。

💬 联系方式

对于错误和功能请求，请在GitHub上提交问题。

对于一般问题，请访问我们的Discord。

编辑推荐精选

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能，助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手，复杂任务高效处理

AI办公助手，复杂任务高效处理。办公效率低？扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作，覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应，生活工作无缝切换，提升50%效率！

TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
蛙蛙写作

蛙蛙写作

AI小说写作助手，一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台，涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能，助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
问小白

问小白

全能AI智能助手，随时解答生活与工作的多样问题

问小白，由元石科技研发的AI智能助手，快速准确地解答各种生活和工作问题，包括但不限于搜索、规划和社交互动，帮助用户在日常生活中提高效率，轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

下拉加载更多