LangChain Text Splitter: 高效分割文本的强大工具

LangChain Text Splitter简介

LangChain Text Splitter是一个强大的文本分割工具,专门用于将长文本分割成更小的语义块,以适应大型语言模型的有限上下文窗口。它提供了灵活的分割策略和多种配置选项,可以根据具体需求进行自定义。

Text Splitter的主要功能是将长文本分割成较小的块,同时尽可能保留语义完整性。它支持按字符数或token数进行分割,并提供重叠机制以保持上下文连贯性。Text Splitter还可以处理多种文档格式,包括纯文本、Markdown和代码文件。

Text Splitter示意图

核心特性

1. 灵活的分割策略

Text Splitter提供了多种分割策略:

按字符数分割:最简单的方法,可以指定每个块的最大字符数。
按token数分割:使用tokenizer将文本分割成指定数量的token。支持多种tokenizer,如Hugging Face tokenizers和tiktoken。
使用范围分割:可以指定块大小的范围,更灵活地控制分割结果。

2. 语义分割

Text Splitter采用递归的方式进行分割,尽量在语义边界处进行切分:

对于普通文本,会在句子、段落等自然边界处分割。
对于Markdown文本,会考虑标题、列表等结构。
对于代码,会尊重函数、类等语法结构。

这种方法可以最大程度地保留每个块的语义完整性。

3. 重叠机制

Text Splitter支持在块之间添加重叠,以保持上下文连贯性:

splitter = TextSplitter(chunk_size=1000, chunk_overlap=200)

这样可以确保相邻块之间有一定的重叠内容,有助于保持语义连贯。

4. 多种文档格式支持

除了处理纯文本,Text Splitter还支持以下格式:

Markdown:通过MarkdownSplitter类处理Markdown文档,遵循CommonMark规范。
代码:通过CodeSplitter类处理各种编程语言的源代码,基于tree-sitter解析器。

5. 多种tokenizer支持

Text Splitter可以集成多种tokenizer:

Hugging Face tokenizers
OpenAI的tiktoken
其他兼容的tokenizer实现

这使得它可以适应不同的语言模型和应用场景。

使用方法

基本用法

最简单的用法是使用默认的字符计数方式:

from langchain_text_splitters import CharacterTextSplitter

splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = splitter.split_text("your long document text here")

使用tokenizer

如果要按token数分割,可以使用支持的tokenizer:

from langchain_text_splitters import TokenTextSplitter
from tokenizers import Tokenizer

tokenizer = Tokenizer.from_pretrained("bert-base-cased")
splitter = TokenTextSplitter(chunk_size=500, tokenizer=tokenizer)
chunks = splitter.split_text("your document text")

处理Markdown

对于Markdown文档,可以使用专门的MarkdownSplitter:

from langchain_text_splitters import MarkdownSplitter

splitter = MarkdownSplitter(chunk_size=1000)
chunks = splitter.split_text("# Your Markdown Document\n\nContent here...")

处理代码

处理代码文件时,可以使用CodeSplitter:

from langchain_text_splitters import CodeSplitter
import tree_sitter_languages

language = tree_sitter_languages.get_language('python')
splitter = CodeSplitter(language=language, chunk_size=1000)
chunks = splitter.split_text("def your_python_function():\n    ...")

工作原理

Text Splitter的工作原理是递归地将文本分割成更小的块,同时尊重语义边界:

首先按最高级别的语义单位(如段落)分割文本。
如果得到的块仍然太大,则继续按次一级的语义单位(如句子)分割。
这个过程一直持续到达到指定的块大小或无法进一步分割。

对于不同类型的文本,语义级别的定义也不同:

纯文本:字符 < 单词 < 句子 < 段落
Markdown:字符 < 单词 < 句子 < 行内元素 < 块级元素 < 标题
代码:字符 < 单词 < 语句 < 函数/类 < 模块

这种方法可以在保持语义完整性的同时,实现灵活的文本分割。

应用场景

LangChain Text Splitter在多个领域都有广泛应用:

文档问答系统:将长文档分割成小块,以便检索和回答问题。
文本摘要:将长文本分割后进行逐块摘要,再合并得到整体摘要。
语义搜索:将文档分割成小块进行索引,提高搜索精度。
文本分类:对大型文档进行分块分类,然后汇总结果。
信息提取:从长文本中提取特定信息时,可以先分割再处理。

结语

LangChain Text Splitter是一个功能强大且灵活的文本分割工具,可以有效地将长文本分割成语义连贯的小块。无论是处理普通文本、Markdown还是代码,它都能提供高质量的分割结果。通过合理使用Text Splitter,我们可以更好地利用大型语言模型处理长文本,提高各种NLP任务的效果。在处理大规模文本数据时,Text Splitter无疑是一个不可或缺的工具。