x-crawl学习资料汇总 - 灵活的Node.js AI辅助爬虫库

x-crawl简介

x-crawl是一个灵活的Node.js AI辅助爬虫库。它具有灵活的使用方式和强大的AI辅助功能,使爬虫工作更加高效、智能和便捷。

x-crawl主要由两部分组成:

1. 爬虫: 包含爬虫API和各种功能,即使不依赖AI也可以正常工作。
2. AI: 目前基于OpenAI提供的大型AI模型,AI简化了许多繁琐的操作。

主要特性

• 🤖 AI辅助 - 强大的AI辅助功能使爬虫工作更高效、智能和便捷。
• 🖋️ 灵活编写 - 单一的爬取API适用于多种配置,每种配置方法都有其优势。
• ⚙️ 多种用途 - 支持爬取动态页面、静态页面、接口数据和文件数据。
• ⚒️ 控制页面 - 爬取动态页面支持自动化操作、键盘输入、事件操作等。
• 👀 设备指纹 - 零配置或自定义配置,避免指纹识别以防止从不同位置识别和跟踪我们。
• 🔥 异步同步 - 无需切换爬取API即可实现异步或同步爬取模式。
• ⏱️ 间隔爬取 - 无间隔、固定间隔和随机间隔,决定是否高并发爬取。
• 🔄 失败重试 - 自定义重试次数,避免因临时问题导致爬取失败。
• ➡️ 轮换代理 - 失败重试时自动轮换代理,可自定义错误次数和HTTP状态码。
• 🚀 优先队列 - 基于单个爬取目标的优先级,可以先于其他目标爬取。
• 🧾 爬取信息 - 可控的爬取信息,会在终端输出彩色字符串信息。
• 🦾 TypeScript - 自带类型定义,通过泛型实现完整的类型。

学习资源

1. 官方文档

   • 英文文档
   • 中文文档

2. GitHub仓库

   • x-crawl GitHub

3. 示例代码
   x-crawl提供了详细的示例代码,展示了如何结合爬虫和AI进行高效爬取:

import { createCrawl, createCrawlOpenAI } from 'x-crawl'

// 创建爬虫应用
const crawlApp = createCrawl({
  maxRetry: 3,
  intervalTime: { max: 2000, min: 1000 }
})

// 创建AI应用
const crawlOpenAIApp = createCrawlOpenAI({
  clientOptions: { apiKey: process.env['OPENAI_API_KEY'] },
  defaultModel: { chatModel: 'gpt-4-turbo-preview' }
})

// crawlPage用于爬取页面
crawlApp.crawlPage('https://www.airbnb.cn/s/select_homes').then(async (res) => {
  const { page, browser } = res.data

  // 等待元素出现在页面上并获取HTML
  const targetSelector = '[data-tracking-id="TOP_REVIEWED_LISTINGS"]'
  await page.waitForSelector(targetSelector)
  const highlyHTML = await page.$eval(targetSelector, (el) => el.innerHTML)

  // 让AI获取图片链接并去重
  const srcResult = await crawlOpenAIApp.parseElements(
    highlyHTML,
    `Get the image link, don't source it inside, and de-duplicate it`
  )

  browser.close()

  // crawlFile用于爬取文件资源
  crawlApp.crawlFile({
    targets: srcResult.elements.map((item) => item.src),
    storeDirs: './upload'
  })
})

为什么选择x-crawl?

随着网络技术的快速发展,网站更新变得越来越频繁,类名或结构的变化常常给依赖这些元素的爬虫带来相当大的挑战。在这种背景下,结合AI技术的爬虫成为了应对这一挑战的有力武器。

x-crawl结合了传统爬虫的灵活性和AI的智能性,即使在网站更新后类名或结构发生变化,也能正常爬取数据。这是因为我们不再依赖固定的类名或结构来定位和提取所需信息,而是让AI理解和解析网页的语义信息,从而更高效、智能和便捷地提取所需数据。

结语

x-crawl为开发者提供了一个强大而灵活的AI辅助爬虫解决方案。无论您是初学者还是经验丰富的开发者,x-crawl都能帮助您更轻松地完成爬虫任务。欢迎访问x-crawl GitHub仓库了解更多信息,如果您觉得x-crawl有帮助,别忘了给项目一个star哦! 🌟