reader

Reader 项目介绍

Reader 是一个由 Jina AI 开发的强大工具，旨在为大型语言模型（LLMs）提供更优质的输入。该项目主要提供两个核心功能：阅读和搜索。

阅读功能

Reader 的阅读功能可以将任何 URL 转换为 LLM 友好的输入格式。用户只需在原始 URL 前添加 https://r.jina.ai/，就能获得经过优化的内容。这个功能可以显著提升代理系统和 RAG（检索增强生成）系统的输出质量，而且完全免费。

搜索功能

搜索功能允许 LLMs 访问最新的网络知识。用户可以通过 https://s.jina.ai/ 加上搜索查询来使用这项功能。系统会搜索网络，获取前 5 个结果，并将每个结果转换为 LLM 友好的格式。

主要特性

1. 适应性爬虫：可以递归爬取网站并提取最相关的页面。
2. PDF 阅读：支持从任何 URL 读取 PDF 文件。
3. 图像说明：可以为网页中的图片生成说明文字。
4. 流式模式：提供更完整的结果，特别适用于动态加载内容的网站。
5. JSON 模式：支持 JSON 格式输出。
6. 网站内搜索：可以限制搜索结果到特定域名或网站。

使用方法

Reader 提供了简单直观的使用方式。对于阅读功能，用户只需在目标 URL 前加上 https://r.jina.ai/。对于搜索功能，则在查询前加上 https://s.jina.ai/。

此外，Reader 还支持通过请求头来控制 API 的行为，如启用图像说明、转发 cookie 设置、绕过可读性过滤等。

技术亮点

Reader 使用了 Puppeteer 和无头 Chrome 浏览器来支持单页应用（SPA）的抓取。它还提供了多种方法来处理动态加载内容，如设置超时和等待特定选择器。

开源和社区

Reader 是一个开源项目，欢迎社区贡献。如果用户在使用某些网站时遇到问题，可以在 GitHub 上提出问题，开发团队会积极响应和解决。

结语

Reader 项目为 LLMs 提供了一个强大的工具，使它们能够更有效地处理网络内容。无论是进行网络搜索还是分析特定网页，Reader 都能提供高质量的输入，从而提升 LLMs 的整体表现。随着持续的更新和改进，Reader 正在成为 AI 开发中不可或缺的助手。