crawlee

<h1 align="center"> <a href="https://crawlee.dev"> <picture> <source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/apify/crawlee/master/website/static/img/crawlee-dark.svg?sanitize=true"> <img alt="Crawlee" src="https://yellow-cdn.veclightyear.com/2b54e442/6a96ded1-2ca0-43c5-8d1a-9961845b8ee4.svg?sanitize=true" width="500"> </picture> </a> <br> <small>一个网络爬虫和浏览器自动化库</small> </h1> <p align=center> <a href="https://www.npmjs.com/package/@crawlee/core" rel="nofollow"><img src="https://yellow-cdn.veclightyear.com/2b54e442/9105cf11-2048-4a8f-9bd3-b2233812027e.svg" alt="NPM最新版本" data-canonical-src="https://img.shields.io/npm/v/@crawlee/core/next.svg" style="max-width: 100%;"></a> <a href="https://www.npmjs.com/package/@crawlee/core" rel="nofollow"><img src="https://yellow-cdn.veclightyear.com/2b54e442/d96c7c80-fd51-47f7-a6c3-11044ebcb287.svg" alt="下载量" data-canonical-src="https://yellow-cdn.veclightyear.com/2b54e442/d96c7c80-fd51-47f7-a6c3-11044ebcb287.svg" style="max-width: 100%;"></a> <a href="https://discord.gg/jyEM2PRvMU" rel="nofollow"><img src="https://img.shields.io/discord/801163717915574323?label=discord" alt="在Discord上聊天" data-canonical-src="https://img.shields.io/discord/801163717915574323?label=discord" style="max-width: 100%;"></a> <a href="https://github.com/apify/crawlee/actions/workflows/test-ci.yml"><img src="https://yellow-cdn.veclightyear.com/2b54e442/dc7f7467-bf84-427e-8be0-d1e6b152ba84.svg?branch=master" alt="构建状态" style="max-width: 100%;"></a> </p>

Crawlee涵盖了您的爬虫和抓取的全过程，帮助您快速构建可靠的爬虫。

即使使用默认配置，您的爬虫也会表现得像人类一样，能够避开现代机器人保护机制的检测。Crawlee为您提供了爬取网页链接、抓取数据并将其存储到磁盘或云端的工具，同时保持可配置性以满足您项目的需求。

Crawlee作为crawlee NPM包提供。

👉 在Crawlee项目网站查看完整文档、指南和示例 👈

Python版Crawlee现已开放早期使用。🐍 👉 查看源代码 👈

安装

我们建议访问Crawlee文档中的介绍教程以获取更多信息。

Crawlee需要Node.js 16或更高版本。

使用Crawlee CLI

尝试Crawlee的最快方法是使用Crawlee CLI并选择入门示例。CLI将为您安装所有必要的依赖项并添加样板代码供您使用。

npx crawlee create my-crawler

cd my-crawler
npm start

手动安装

如果您更喜欢将Crawlee添加到您自己的项目中，请尝试以下示例。因为它使用了PlaywrightCrawler，我们还需要安装Playwright。为了减小安装包大小，Crawlee并未捆绑Playwright。

npm install crawlee playwright

import { PlaywrightCrawler, Dataset } from 'crawlee';

// PlaywrightCrawler使用Playwright库控制的无头浏览器爬取网页。
const crawler = new PlaywrightCrawler({
    // 使用requestHandler处理每个爬取的页面。
    async requestHandler({ request, page, enqueueLinks, log }) {
        const title = await page.title();
        log.info(`${request.loadedUrl}的标题是'${title}'`);

        // 将结果以JSON格式保存到 ./storage/datasets/default
        await Dataset.pushData({ title, url: request.loadedUrl });

        // 从当前页面提取链接
        // 并将它们添加到爬取队列中。
        await enqueueLinks();
    },
    // 取消注释此选项以查看浏览器窗口。
    // headless: false,
});

// 将第一个URL添加到队列并开始爬取。
await crawler.run(['https://crawlee.dev']);