PaperQA

这是一个用于从 PDF 或文本文件（可以是原始 HTML）进行问答的最小化包。它通过基于文本内引用来提供非常好的答案，没有幻觉。

默认情况下，它使用 OpenAI Embeddings 和一个简单的 numpy 向量数据库来嵌入和搜索文档。然而，通过 langchain，你可以使用开源模型或嵌入（详情见下文）。

paper-qa 使用如下过程：

将文档嵌入向量
将查询嵌入向量
在文档中搜索前 k 个段落
创建与查询相关的每个段落的摘要
使用 LLM 重新评分并选择相关摘要
将摘要放入提示中
使用提示生成答案

请参阅我们的论文以获取更多详细信息：

@article{lala2023paperqa,
  title={PaperQA: Retrieval-Augmented Generative Agent for Scientific Research},
  author={L{\'a}la, Jakub and O'Donoghue, Odhran and Shtedritski, Aleksandar and Cox, Sam and Rodriques, Samuel G and White, Andrew D},
  journal={arXiv preprint arXiv:2312.07559},
  year={2023}
}

输出示例

问题：如何大规模制造碳纳米管？

碳纳米管可以通过电弧技术（Journet6644）大规模制造。这项技术涉及在氦气氛中，在反应器中两个电极之间产生电弧，并在阳极中使用金属催化剂和石墨粉的混合物。可以获得 80% 的缠结碳纤维，这些纤维由较小的对齐 SWNT 组成，自组织成束状晶体（Journet6644）。此外，还可以使用 DNA 介导的自组装、纳米颗粒辅助排列、化学自组装和电控功能化等方法合成和自组装碳纳米管（Tulevski2007）。这些方法已被用于制造大面积纳米结构阵列、高密度集成和独立网络（Tulevski2007）。还可以使用 98% 的半导体 CNT 网络溶液，并通过密度梯度超速离心法从金属纳米管中分离出来（Chen2014）。将基板在溶液中孵育，然后用去离子水冲洗并用 N2 气枪干燥，留下均匀的碳网络（Chen2014）。

参考文献

Journet6644: Journet, Catherine, et al. "Large-scale production of single-walled carbon nanotubes by the electric-arc technique." nature 388.6644 (1997): 756-758.

Tulevski2007: Tulevski, George S., et al. "Chemically assisted directed assembly of carbon nanotubes for the fabrication of large-scale device arrays." Journal of the American Chemical Society 129.39 (2007): 11964-11968.

Chen2014: Chen, Haitian, et al. "Large-scale complementary macroelectronics using hybrid integration of carbon nanotubes and IGZO thin-film transistors." Nature communications 5.1 (2014): 4097.

更新内容？

版本 4 移除了包中的 langchain，因为它不再支持 pickling。这也简化了包——尤其是提示。Langchain 仍然可以使用，但不是必需的。你可以使用来自 langchain 的任何 LLMs，但需要使用 LangchainLLMModel 类来包装模型。

安装

通过 pip 安装：

pip install paper-qa

你需要有一个 LLM 才能使用 paper-qa。你可以使用 OpenAI、llama.cpp（通过服务器），或者来自 langchain 的任何 LLMs。OpenAI 只要你设置了 OpenAI API 密钥（export OPENAI_API_KEY=sk-...）就可以正常工作。有关其他 LLMs 的说明请参见下文。

使用方法

要使用 paper-qa，你需要有一组路径/文件/网址（有效扩展名包括：.pdf, .txt）。然后你可以使用 Docs 类来添加文档并查询它们。Docs 将尝试从文件内容中猜测引用格式，但你也可以自行提供。

from paperqa import Docs

my_docs = ...  # 获取路径列表

docs = Docs()
for d in my_docs:
    docs.add(d)

answer = docs.query(
    "双特异性抗体独特的制造挑战是什么？"
)
print(answer.formatted_answer)

答案对象具有以下属性：formatted_answer，answer（仅答案），question 和 context（找到的答案段落的摘要）。

异步

paper-qa 被设计为异步使用。同步 API 只是一个异步包装器。以下是方法及其异步等价物：

同步	异步
`Docs.add`	`Docs.aadd`
`Docs.add_file`	`Docs.aadd_file`
`Docs.add_url`	`Docs.aadd_url`
`Docs.get_evidence`	`Docs.aget_evidence`
`Docs.query`	`Docs.aquery`

同步版本只是循环调用异步版本。大多数现代 python 环境原生支持异步（包括 Jupyter 笔记本！）。所以你可以在 Jupyter 笔记本中这样做：

from paperqa import Docs

my_docs = ...  # 获取路径列表

docs = Docs()
for d in my_docs:
    await docs.aadd(d)

answer = await docs.aquery(
    "双特异性抗体独特的制造挑战是什么？"
)

添加文档

add 将从路径添加。你还可以使用 add_file（需要文件对象）或 add_url 以处理其他来源。

选择模型

默认情况下，它使用 OpenAI 模型，混合使用 gpt-4o-mini（用于重新排名和摘要步骤，summary_llm 参数）和 gpt-4-turbo（用于回答步骤，llm 参数）。你可以调整此设置：

docs = Docs(llm="gpt-4o-mini", summary_llm="gpt-4o")

你可以通过指定 Anthropic 客户端来使用 Anthropic 模型：

from paperqa import Docs
from anthropic import AsyncAnthropic

docs = Docs(
    llm="claude-3-5-sonnet-20240620",
    summary_llm="claude-3-5-sonnet-20240620",
    client=AsyncAnthropic(),
)

或者你可以使用 langchain 中的任何其他模型：

from paperqa import Docs
from langchain_community.chat_models import ChatAnthropic

docs = Docs(llm="langchain", client=ChatAnthropic())

请注意，我们将模型拆分为包装器和 client，这里是 ChatAnthropic。这是因为 client 存储了不可 pickle 的部分，并且 langchain LLMs 仅有时是可序列化/可 pickle 的。paper-qa Docs 必须始终是可序列化的。因此，我们将模型拆分为两部分。

import pickle

docs = Docs(llm="langchain", client=ChatAnthropic())
model_str = pickle.dumps(docs)
docs = pickle.loads(model_str)
# 但加载后你必须设置 client
docs.set_client(ChatAnthropic())

我们还支持使用 Anyscale 来利用托管的开源模型。要使用它，只需设置你的 ANYSCALE_API_KEY 和 ANYSCALE_BASE_URL 环境变量，或使用带有 api_key 和 base_url 参数的 OpenAI 客户端初始化的环境变量。

本地托管

你可以使用如果您想使用外部向量存储，您也可以直接通过langchain来实现。例如，要使用langchain中的FAISS向量存储：

from paperqa import LangchainVectorStore, Docs
from langchain_community.vector_store import FAISS
from langchain_openai import OpenAIEmbeddings

docs = Docs(
    texts_index=LangchainVectorStore(cls=FAISS, embedding_model=OpenAIEmbeddings()),
    docs_index=LangchainVectorStore(cls=FAISS, embedding_model=OpenAIEmbeddings()),
)

我可以从哪里获取论文？

这是个好问题！最好的方法可能是下载您认为能够帮助解答问题的论文PDF，并从那里开始。

Zotero

如果您使用Zotero来组织您的个人书目，您可以使用paperqa.contrib.ZoteroDB从您的图书馆查询论文，该功能依赖于pyzotero。

安装pyzotero以使用此功能：

pip install pyzotero

首先，请注意paperqa会解析论文的PDF并将其存储在数据库中，因此所有相关的论文应当在您的数据库中存有PDF。您可以通过高亮您想要获取的参考文献，右键点击，然后选择_"查找可用的PDF"_，让Zotero自动完成此操作。您也可以手动将PDF拖放到每个参考文献上。

要下载论文，您需要为您的帐户获取一个API密钥。

获取您的图书馆ID，并将其设置为环境变量ZOTERO_USER_ID。
- 对于个人图书馆，该ID在此处的部分_"您的用户ID，用于API调用是XXXXXX"_提供。
- 对于组图书馆，请转到您的组页面https://www.zotero.org/groups/groupname，并将鼠标悬停在设置链接上。ID是/groups/之后的整数。(致敬pyzotero！)
在此处创建一个新的API密钥，并将其设置为环境变量ZOTERO_API_KEY。
- 该密钥需要对图书馆的读取访问权限。

通过此操作，我们可以从图书馆下载论文并将其添加到paperqa中：

from paperqa.contrib import ZoteroDB

docs = paperqa.Docs()
zotero = ZoteroDB(library_type="user")  # 如果是组图书馆则为"group"

for item in zotero.iterate(limit=20):
    if item.num_pages > 30:
        continue  # 跳过较长的论文
    docs.add(item.pdf, docname=item.key)

这将下载您Zotero数据库中的前20篇论文，并将它们添加到Docs对象中。

我们还可以对Zotero图书馆进行特定的查询并迭代结果：

for item in zotero.iterate(
    q="大型语言模型",
    qmode="everything",
    sort="date",
    direction="desc",
    limit=100,
):
    print("添加", item.title)
    docs.add(item.pdf, docname=item.key)

您可以通过在IPython中输入zotero.iterate?来阅读有关搜索语法的更多信息。

Paper Scraper

如果您想在自己的收藏之外搜索论文，我发现了一个名为paper-scraper的无关项目，看起来可能会有所帮助。但请注意，这个项目似乎使用了一些可能侵犯出版商权利或处于法律灰色地带的抓取工具。

keyword_search = "双特异性抗体生产"
papers = paperscraper.search_papers(keyword_search)
docs = paperqa.Docs()
for path, data in papers.items():
    try:
        docs.add(path)
    except ValueError as e:
        # 有时如果PDF未下载或不可读会发生这种情况
        print("无法读取", path, e)
answer = docs.query(
    "双特异性抗体生产中有哪些独特的挑战？"
)
print(answer)

PDF阅读选项

默认情况下，PyPDF被使用，因为它是纯Python的并且易于安装。为了更快地读取PDF，paper-qa会检测并使用PymuPDF (fitz)：

pip install pymupdf

回调函数工厂

要在每个LLM完成的块上执行函数，您需要提供一个函数，该函数在以步骤名称调用时生成一个函数列表以在每个块上执行。例如，要获取完成块的打字机视图，您可以这样做：

def make_typewriter(step_name):
    def typewriter(chunk):
        print(chunk, end="")

    return [typewriter]  # 注意这是一个函数列表


...
docs.query(
    "双特异性抗体生产中有哪些独特的挑战？",
    get_callbacks=make_typewriter,
)

缓存嵌入

通常，当您将Docs序列化时，无论使用什么向量存储，嵌入都会被缓存。有关更明确的管理方式，请参见上文。

自定义提示

您可以使用PromptCollection类自定义任何提示。例如，如果您想更改问题的提示，您可以这样做：

from paperqa import Docs, Answer, PromptCollection

my_qaprompt = (
    "回答问题'{question}' "
    "如果有帮助，可以使用以下上下文。 "
    "您可以使用键来引用上下文 "
    "如(Example2012)。 "
    "如果上下文不足，请写一首关于无法回答的诗。\n\n"
    "上下文: {context}\n\n"
)
prompts = PromptCollection(qa=my_qaprompt)
docs = Docs(prompts=prompts)

前置和后置提示

遵循上述语法，您还可以包括在查询之后和查询之前执行的提示。例如，您可以使用它来评论答案。

常见问题

这与LlamaIndex有什么不同？

区别不大！这类似于LlamaIndex中的树响应方法。我只是包含了一些我觉得有用的提示，能够提供页码/行号的阅读器，并且专注于一个任务——通过引用来源回答技术问题。

这与LangChain有什么不同？

在LangChain中retrievers有一些非常出色的工作，您可以说这是一个具有LLM基础的再排序和上下文摘要的retriever示例。

我可以保存或加载吗？

Docs类可以被序列化和反序列化。如果您想保存文档的嵌入并稍后加载，这很有用。

import pickle

# 保存
with open("my_docs.pkl", "wb") as f:
    pickle.dump(docs, f)

# 加载
with open("my_docs.pkl", "rb") as f:
    docs = pickle.load(f)

docs.set_client()  # 默认为OpenAI