DALM 入门指南 - 领域自适应语言模型工具包

DALM 简介

DALM (Domain Adapted Language Modeling) 是由 Arcee AI 开源的领域自适应语言模型工具包。它旨在打通通用大语言模型与特定领域知识库之间的鸿沟,让 AI 系统能够更好地结合通用能力和专业知识。

DALM 的核心是一个端到端的检索增强生成 (RAG-end2end) 架构,包含以下主要组件:

• 检索器:用于从知识库中检索相关信息
• 生成器:基于检索到的信息生成响应
• 可微分的端到端训练流程

通过这种架构,DALM 能够将预训练语言模型与特定领域的知识融合在一起,实现更精准、可控的 AI 应用。

主要特性

• 端到端可微分的 RAG 架构
• 支持仅检索器训练和联合训练两种模式
• 兼容主流预训练语言模型,如 Llama、Falcon 等
• 内置高效的 in-batch 负采样
• 提供完整的数据处理、训练和评估流程

快速上手

安装

pip install indomain

或者从源码安装:

git clone https://github.com/arcee-ai/DALM.git
cd DALM
pip install -e .

数据准备

DALM 需要包含 Passage、Query、Answer 三列的 CSV 文件作为训练数据。可以使用内置脚本生成:

dalm qa-gen <your-dataset.csv>

训练

训练仅检索器:

dalm train-retriever-only BAAI/bge-large-en dataset.csv \
  --output-dir checkpoints

训练端到端 RAG 模型:

dalm train-rag-e2e dataset.csv \
  BAAI/bge-large-en \
  meta-llama/Llama-2-7b-hf \
  --output-dir checkpoints

评估

评估检索器:

dalm eval-retriever test.csv \
  --retriever-name-or-path BAAI/bge-large-en \
  --retriever-peft-model-path checkpoints/retriever

评估端到端模型:

dalm eval-rag test.csv \
  --retriever-name-or-path BAAI/bge-large-en \
  --generator-name-or-path meta-llama/Llama-2-7b-hf \
  --retriever-peft-model-path checkpoints/retriever \
  --generator-peft-model-path checkpoints/generator

示例应用

Arcee AI 基于 DALM 构建了多个领域自适应模型的 Demo:

• DALM-Patent: 专利领域模型
• DALM-PubMed: 生物医学领域模型
• DALM-SEC: 金融证券领域模型

结语

DALM 为构建领域特定的 AI 应用提供了强大而灵活的工具。无论是学术研究还是产品开发,都可以基于 DALM 快速构建出结合通用能力与专业知识的智能系统。欢迎访问 DALM GitHub 仓库了解更多详情,并参与到这个开源项目中来!