languagemodels

languagemodels 项目介绍

languagemodels 是一个设计用于在内存极少的情况下探索大型语言模型的 Python 工具包，即使在仅有 512MB 内存的设备上也能运行。这个项目的目标是简化大型语言模型的使用过程，并且默认情况下所有推理操作都在本地执行，以确保数据隐私。

安装和使用入门

用户可以通过以下命令安装该包：

pip install languagemodels

安装完成后，可以通过 Python 代码与该包进行交互，例如：

>>> import languagemodels as lm
>>> lm.do("What color is the sky?")
'The color of the sky is blue.'

第一次运行会下载大约 250MB 的数据，下载后模型会被缓存以供后续调用，因此后续的调用速度会更快。

用法示例

以下是一些在 Python REPL 环境中的使用示例，这些示例同样适用于笔记本或者脚本和应用程序：

指令执行

>>> lm.do("Translate to English: Hola, mundo!")
'Hello, world!'

>>> lm.do("What is the capital of France?")
'Paris.'

用户还可以限制输出结果，如选择提供给用户的问题答案是 "Yes" 或 "No"：

>>> lm.do("Is Mars larger than Saturn?", choices=["Yes", "No"])
'No'

调整模型性能

基本模型在拥有 512MB 内存的系统上可以快速运行，而用户可以通过增加内存限制选择更强大的模型，以提高计算性能。例如：

>>> lm.do("If I have 7 apples then eat 5, how many apples do I have?")
'You have 8 apples.'
>>> lm.config["max_ram"] = "4gb"
>>> lm.do("If I have 7 apples then eat 5, how many apples do I have?")
'I have 2 apples left.'

GPU 加速

在具有 CUDA 加速功能的 NVIDIA GPU 上，用户可以选择启用 GPU 以加速推理过程：

>>> lm.config["device"] = "auto"

文本补全

>>> lm.complete("She hid in her room until")
'she was sure she was safe'

聊天功能

>>> lm.chat('''
...      System: Respond as a helpful assistant.
...
...      User: What time is it?
...
...      Assistant:
...      ''')

代码完成

languagemodels 包含一个针对 Python 代码优化的模型，用户可以使用它完成代码片段：

>>> lm.code("""
... a = 2
... b = 5
...
... # Swap a and b
... """)
'a, b = b, a'

外部信息检索

可以使用帮助函数从外部源获取文本以增强提示内容。例如，获取维基百科内容、天气情况或当前日期：

>>> lm.get_wiki('Chemistry')

语义搜索

languagemodels 支持从文档存储中检索可能提供有用上下文的文档。例如：

>>> lm.store_doc(lm.get_wiki("Python"), "Python")
>>> lm.get_doc_context("What does it mean for batteries to be included in a language?")

速度表现

languagemodels 在 CPU 推理方面的性能优于 Hugging Face 的 transformers，得益于 int8 量化和 CTranslate2 后端，使用同一模型在 20 个问题测试集上的比较如下：

后端	推理时间	内存使用量
Hugging Face transformers	22s	1.77GB
languagemodels	11s	0.34GB

模型

languagemodels 提供了一些默认的基础模型，这些模型相对较小，但在学习和实验方面非常有用。以下是根据 max_ram 值提供的默认模型：

max_ram	模型名称	参数 (B)
0.5	LaMini-Flan-T5-248M	0.248
1.0	LaMini-Flan-T5-783M	0.783
4.0	flan-alpaca-gpt4-xl	3.0
8.0	openchat-3.5-0106	7.0

商业使用

languagemodels 包本身可以用于商业用途，但使用的模型可能不完全兼容商业用途。因此用户可以使用 require_model_license 功能来通过模型许可证类型筛选模型：

>>> lm.require_model_license("apache|bsd|mit")

项目灵感

该包的目标之一是成为学习者和教育者探索大型语言模型与现代软件开发交汇点的简便工具，用户可以根据需要利用它处理多种学习项目，例如：

• 命令行交互机器人
• 具备信息检索功能的聊天机器人
• 提取式问答
• 文档问题解答

项目中还包含了一些示例程序和笔记本，以帮助用户更好地使用该工具包探索语言模型的应用。