LLM-Scraper：利用大语言模型将网页转化为结构化数据的强大工具

llm-scraper

LLM-Scraper：网页数据提取的革命性工具

在当今数字时代，网络上的信息量呈指数级增长，如何高效地从浩如烟海的网页中提取有价值的结构化数据成为了一个巨大的挑战。传统的网页爬虫技术往往需要针对特定网站进行定制化开发，耗时耗力且难以适应网页结构的变化。而今，一个名为LLM-Scraper的创新工具应运而生，它巧妙地结合了大语言模型(LLMs)的强大能力，为网页数据提取领域带来了一场革命。

LLM-Scraper的核心优势

LLM-Scraper是一个基于TypeScript开发的开源库，它的核心优势在于能够利用大语言模型的理解能力，从任何网页中提取结构化数据。这种方法相比传统的爬虫技术有着显著的优势：

通用性强：无需为每个网站编写特定的爬虫代码，LLM-Scraper可以适应各种不同结构的网页。
灵活性高：用户可以通过简单的schema定义来指定需要提取的数据结构，大语言模型会智能地理解并执行提取任务。
适应性好：即使网页结构发生变化，LLM-Scraper也能够在一定程度上自适应，减少了维护成本。
功能丰富：支持多种LLM提供商，包括本地模型（如Ollama、GGUF）和云端服务（如OpenAI、Vercel AI SDK）。
类型安全：基于TypeScript开发，提供了完整的类型支持，减少了开发过程中的错误。

LLM-Scraper的主要特性

LLM-Scraper Screenshot

LLM-Scraper提供了一系列强大的功能，使其成为网页数据提取领域的佼佼者：

多种LLM提供商支持：用户可以选择使用本地模型（如Ollama、GGUF）或云端服务（如OpenAI、Vercel AI SDK），灵活满足不同场景的需求。
基于Zod的Schema定义：使用Zod库来定义数据提取的schema，提供了强大的类型检查和验证能力。
基于Playwright框架：底层使用Playwright进行网页操作，确保了跨浏览器的兼容性和稳定性。
流式对象支持：支持数据的流式处理，适用于大规模数据提取场景。
代码生成功能：能够生成可重用的Playwright脚本，方便用户进行二次开发和定制。
多种格式支持：提供了html、markdown、text和image四种格式模式，满足不同的数据提取需求。

使用LLM-Scraper的实际案例

为了更好地理解LLM-Scraper的强大功能，让我们来看一个实际的使用案例。假设我们想要从Hacker News网站提取前5条热门新闻的信息，包括标题、得分、作者和评论链接。使用LLM-Scraper，我们可以轻松实现这一目标：

import { chromium } from 'playwright'
import { z } from 'zod'
import { openai } from '@ai-sdk/openai'
import LLMScraper from 'llm-scraper'

// 启动浏览器实例
const browser = await chromium.launch()

// 初始化LLM提供商
const llm = openai.chat('gpt-4o')

// 创建LLMScraper实例
const scraper = new LLMScraper(llm)

// 打开新页面
const page = await browser.newPage()
await page.goto('https://news.ycombinator.com')

// 定义提取数据的schema
const schema = z.object({
  top: z
    .array(
      z.object({
        title: z.string(),
        points: z.number(),
        by: z.string(),
        commentsURL: z.string(),
      })
    )
    .length(5)
    .describe('Top 5 stories on Hacker News'),
})

// 运行scraper
const { data } = await scraper.run(page, schema, {
  format: 'html',
})

// 输出结果
console.log(data.top)

await page.close()
await browser.close()

在这个例子中，我们首先定义了一个schema，描述了我们想要提取的数据结构。然后，我们使用LLMScraper的run方法来执行数据提取。LLM-Scraper会智能地理解网页结构，并按照我们定义的schema提取相应的信息。

LLM-Scraper的高级功能

除了基本的数据提取功能，LLM-Scraper还提供了一些高级特性，进一步增强了其实用性：

流式处理：对于大规模数据提取任务，LLM-Scraper提供了流式处理的能力。通过使用stream方法替代run方法，用户可以获得部分对象流，实现实时数据处理：
```
const { stream } = await scraper.stream(page, schema)

for await (const data of stream) {
  console.log(data.top)
}
```
代码生成： LLM-Scraper的一个独特功能是能够生成可重用的Playwright脚本。这对于需要频繁执行相同提取任务的场景特别有用：
```
const { code } = await scraper.generate(page, schema)
const result = await page.evaluate(code)
const data = schema.parse(result)

console.log(data.news)
```
生成的代码可以直接在Playwright环境中执行，无需每次都依赖LLM服务，提高了效率并降低了成本。