Scrapeghost: 使用GPT进行网页抓取的实验性库

Scrapeghost简介

Scrapeghost是一个由James Turk开发的实验性Python库,旨在利用OpenAI的GPT模型来实现网页抓取。该库的核心理念是通过定义所需数据的结构,让AI模型自动从HTML中提取相应的信息,从而避免为每个网页编写特定的抓取代码。

Scrapeghost logo

主要特性

基于Python的模式定义: 用户可以使用Python对象来定义想要提取的数据结构,灵活度高。
预处理功能:
- HTML清理: 移除不必要的HTML元素,减少API请求的大小和成本。
- CSS和XPath选择器: 通过单个选择器预过滤HTML。
- 自动分割: 可选择将HTML分割成多个调用,以处理较大的页面。
后处理功能:
- JSON验证: 确保响应是有效的JSON。
- 模式验证: 使用pydantic模式进一步验证响应。
- 幻觉检查: 验证响应中的数据是否真实存在于页面中。
成本控制:
- 跟踪已发送和接收的令牌数量,以监控成本。
- 支持自动回退(例如,默认使用成本较低的GPT-3.5-Turbo,必要时回退到GPT-4)。
- 允许设置预算,超出预算时停止抓取。

安装和设置

要使用Scrapeghost,首先需要安装该库并获取OpenAI API密钥:

安装Scrapeghost:
```
pip install scrapeghost
```
获取OpenAI API密钥:
- 创建OpenAI账户: https://platform.openai.com/signup
- 创建API密钥: https://platform.openai.com/account/api-keys

设置API密钥:

方法一: 设置环境变量
```
export OPENAI_API_KEY=sk-...
```

方法二: 在Python中直接设置

import openai
openai.api_key = "sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

注意: 请务必设置API使用限制,以避免意外产生大额费用。可以在https://platform.openai.com/account/billing/limits设置使用限制。

使用示例

让我们通过一个实际的例子来展示Scrapeghost的使用方法。假设我们要从Comedy Bang Bang播客的网页中提取每集的信息:

from scrapeghost import SchemaScraper, CSS
from pprint import pprint

url = "https://comedybangbang.fandom.com/wiki/Operation_Golden_Orb"
schema = {
    "title": "str",
    "episode_number": "int",
    "release_date": "YYYY-MM-DD",
    "guests": [{"name": "str"}],
}

episode_scraper = SchemaScraper(
    schema,
    extra_preprocessors=[CSS("div.page-content")],
)

response = episode_scraper(url)
pprint(response.data)
print(f"Total Cost: ${response.total_cost:.3f}")

这段代码定义了一个模式来提取每集的标题、集数、发布日期和嘉宾列表。通过使用CSS选择器,我们可以将抓取范围限制在页面的特定部分,从而提高效率和准确性。

注意事项

成本考虑: 使用Scrapeghost可能会产生相当高的API调用成本。例如,对一个中等大小的页面进行GPT-4调用可能需要$0.36。请谨慎使用并密切关注成本。
令牌限制: 不同的GPT模型有不同的令牌限制。例如,GPT-3.5-Turbo的限制是4,096个令牌,而GPT-4的限制是8,192个令牌。请注意这些限制,并在必要时使用预处理器来减少输入大小。
实验性质: Scrapeghost仍处于实验阶段,API可能会发生变化,结果的准确性也不能完全保证。
许可证: Scrapeghost使用Hippocratic License 3.0许可证。在使用前请确保了解并遵守相关条款。