lilac

<h1 align="center">丁香</h1> <h3 align="center" style="font-size: 20px; margin-bottom: 4px">更好的数据，更好的人工智能</h3> <p align="center"> <a style="padding: 4px;" href="https://lilacai-lilac.hf.space/"> <span style="margin-right: 4px; font-size: 12px">🔗</span> <span style="font-size: 14px">试用丁香网页演示！</span> </a> <br/><br/> <a href="https://lilacml.com/"> <img alt="网站" src="https://img.shields.io/badge/网站-lilacml.com-ed2dd0?link=https%3A%2F%2Flilacml.com"/> </a> <a href="https://discord.gg/jNzw9mC8pp"> <img alt="Discord" src="https://img.shields.io/discord/1135996772280451153?label=加入Discord" /> </a> <a href="https://github.com/lilacai/lilac/blob/main/LICENSE"> <img alt="许可证 Apache 2.0" src="https://yellow-cdn.veclightyear.com/835a84d5/6102f32b-bd06-4f13-9e41-944603652519.svg?style=flat&color=ed2dd0" height="20" width="auto"> </a> <br/> <a href="https://github.com/lilacai/lilac"> <img src="https://img.shields.io/github/stars/lilacai/lilac?style=social" /> </a> <a href="https://twitter.com/lilac_ai"> <img src="https://img.shields.io/twitter/follow/lilac_ai" alt="在Twitter上关注" /> </a> </p>

丁香是一个用于探索、整理和质量控制大语言模型训练、微调和监控数据集的工具。

丁香被Cohere和Databricks等公司用来可视化、量化和提高预训练和微调数据的质量。

丁香使用开源大语言模型在设备上运行，提供用户界面和Python API。

🆒 新功能

• 丁香花园是我们的托管平台，用于快速进行数据集级计算。注册参与试用。
• 利用大语言模型的能力对数百万文档进行聚类和标题生成。探索和搜索OpenOrca中430万文档的36,000多个聚类

为什么使用丁香？

• 使用大语言模型驱动的搜索、过滤、聚类和注释功能交互式探索数据。
• 整理人工智能数据，应用最佳实践如去除重复、个人身份信息和晦涩内容，以减小数据集大小并降低训练成本和时间。
• 与团队在一个集中的数据集上进行检查和协作，提高数据质量。
• 了解数据随时间的变化。

丁香可以将昂贵的计算任务卸载到丁香花园，这是我们用于快速进行数据集级计算的托管平台。

<img alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/636682bd-8b0e-46b1-8491-8f2f36a8123f.png">

观看我们的3分钟演示视频

🔥 入门

💻 安装

pip install lilac[all]

如果你不想本地安装，可以通过按照此处的文档复制我们的Spaces演示。

更详细的说明，请参阅我们的安装指南。

🌐 启动网络服务器

使用我们的lilac CLI启动丁香网络服务器：

lilac start ~/my_project

或者从Python启动丁香网络服务器：

import lilac as ll

ll.start_server(project_dir='~/my_project')

这将在http://localhost:5432/启动一个网络服务器，你现在可以加载数据集并进行探索。

丁香花园

丁香花园是我们用于运行数据集级计算的托管平台。我们利用强大的GPU来加速昂贵的信号处理，如聚类、嵌入和个人身份信息识别。注册参与试用。

• 在20分钟内对一百万个数据点进行聚类和标题生成
• 以每分钟5亿个令牌的速度嵌入你的数据集
• 运行你自己的信号处理

📊 加载数据

数据集可以直接从HuggingFace、Parquet、CSV、JSON、LangChain的LangSmith、SQLite、LLamaHub、Pandas、Parquet等加载。更多文档在此。

import lilac as ll

ll.set_project_dir('~/my_project')
dataset = ll.from_huggingface('imdb')

如果你愿意，可以直接从用户界面加载数据集，无需编写任何Python代码：

<img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/d5d385ce-f11c-47e6-9c00-ea29983e24f0">

🔎 探索

<!-- prettier-ignore -->

[!注意] 🔗 在安装之前探索OpenOrca和其聚类！

一旦我们加载了数据集，就可以从用户界面探索它，了解数据中的内容。更多文档在此。

<img alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/65385dcc-8526-4353-b0e3-87281b29bcd0.png">

✨ 聚类

对任何文本列进行聚类，获取自动化的数据集洞察：

dataset = ll.get_dataset('local', 'imdb')
dataset.cluster('text') # 添加 `use_garden=True` 以卸载到丁香花园

[!提示] 在设备上进行聚类可能会很慢或不切实际，特别是在没有强大GPU或大内存的机器上。将计算任务转移到我们的托管数据处理平台Lilac Garden上，可以将聚类速度提高100多倍。

<img alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/636682bd-8b0e-46b1-8491-8f2f36a8123f.png">

⚡ 使用信号进行注释（PII、文本统计、语言检测、近似重复等）

使用信号注释数据将在您的数据中产生另一个列。

dataset = ll.get_dataset('local', 'imdb')
dataset.compute_signal(ll.LangDetectionSignal(), 'text') # 检测每个文档的语言。

# [PII] 查找电子邮件、电话号码、IP地址和机密信息。
dataset.compute_signal(ll.PIISignal(), 'text')

# [文本统计] 计算可读性评分、字符数、TTR、非ASCII字符等。
dataset.compute_signal(ll.PIISignal(), 'text')

# [近似重复] 基于minhash LSH计算聚类。
dataset.compute_signal(ll.NearDuplicateSignal(), 'text')

# 打印结果清单，包含新添加的字段。
print(dataset.manifest())

我们也可以从用户界面计算信号：

<img width="400" alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/34df877e-6264-49d3-9c89-9ae2ef09492a.png">

🔎 搜索

语义和概念搜索首先需要计算嵌入：

dataset.compute_embedding('gte-small', path='text')

语义搜索

在用户界面中，我们可以通过语义相似度或经典关键词搜索来查找与查询相似的文档片段：

<img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/4adb603e-8dca-43a3-a492-fd862e194a5a"> <img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/fdee2127-250b-4e06-9ff9-b1023c03b72f">

我们可以在Python中运行相同的搜索：

rows = dataset.select_rows(
  columns=['text', 'label'],
  searches=[
    ll.SemanticSearch(
      path='text',
      embedding='gte-small')
  ],
  limit=1)

print(list(rows))

概念搜索

概念搜索是语义搜索的一个更可控和强大的版本，其中可以通过提供概念的正面和负面示例来教会Lilac"概念"。

Lilac提供了一系列内置概念，但您可以为非常具体的目的创建自己的概念

<img width="600" alt="图片" src="https://github.com/lilacai/lilac/assets/1100749/9941024b-7c24-4d87-ae46-925f8da435e1">

我们可以在Python中用几个例子创建一个概念，并通过它进行搜索：

concept_db = ll.DiskConceptDB()
db.create(namespace='local', name='spam')
# 添加垃圾邮件和非垃圾邮件的例子。
db.edit('local', 'spam', ll.concepts.ConceptUpdate(
  insert=[
    ll.concepts.ExampleIn(label=False, text='这是正常文本。'),
    ll.concepts.ExampleIn(label=True, text='asdgasdgkasd;lkgajsdl'),
    ll.concepts.ExampleIn(label=True, text='11757578jfdjja')
  ]
))

# 通过垃圾邮件概念搜索。
rows = dataset.select_rows(
  columns=['text', 'label'],
  searches=[
    ll.ConceptSearch(
      path='text',
      concept_namespace='lilac',
      concept_name='spam',
      embedding='gte-small')
  ],
  limit=1)

print(list(rows))

🏷️ 标记

Lilac允许您标记单个数据点或数据切片： <img width="600" alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/26066ee6-c5e0-477b-83c5-53075a2310a5.png">

我们还可以根据过滤器标记所有数据。在这种情况下，为所有字符数较少的文本添加"short"标签。这个字段是由自动的text_statistics信号产生的。

<img width="600" alt="图片" src="https://yellow-cdn.veclightyear.com/835a84d5/45347f55-5a56-46df-a9cd-cd4cd1585b40.png">

我们可以在Python中做同样的事情：

dataset.add_labels(
  'short',
  filters=[
    (('text', 'text_statistics', 'num_characters'), 'less', 1000)
  ]
)

标签可以导出用于下游任务。详细文档请参阅这里。

💬 联系方式

对于错误和功能请求，请在GitHub上提交问题。

对于一般问题，请访问我们的Discord。