clipper.js

Clipper.js 项目介绍

项目概述

Clipper.js 是一个基于 Node.js 的命令行工具，允许用户轻松地从网页中截取内容并将其转换为 Markdown 格式。它在底层使用了 Mozilla 的 Readability 库和 Turndown 库来解析网页内容并进行 Markdown 转换。这个工具提供了一种快速简单的方式来保存网页上的内容片段，适用于个人归档或记笔记，类似于 Evernote Web Clipper 或 Notion Web Clipper，但不同的是，Clipper 完全在终端运行，因此无需安装任何浏览器扩展或注册账户。

安装步骤

用户可以通过以下命令进行安装：

npm install -g @philschmid/clipper

注意：要进行网页抓取操作，用户还需要安装 playwright 及其浏览器依赖。

使用方法

Clip 功能

用户可以使用 Clipper 提供的多种选项来获取内容，具体如下：

-i, --input <file> | <directory> - 指定需要截取内容的输入文件（HTML）或目录。如果提供的是目录，将对目录中的所有文件进行截取。
-u, --url <url> - 指定需要截取内容的网页 URL。
-f, --format <format> - 输出格式，可选 markdown 或 json（默认为 markdown）。
-o, --output <file> - 截取内容的输出文件（默认为 output.md）。

使用示例：

从 URL 截取内容：

clipper clip -u <url>

从文件截取内容：

clipper clip -i <file>

从目录截取内容，并将 HTML 文件目录转换为 JSONL 文件：

clipper clip -i <directory> -f json -o dataset.jsonl

Crawl 功能

警告：只有在清楚操作可能影响网站的资源情况下才使用此功能，爬取网站可能会给网站带来负担，这种行为需谨慎进行。

-u, --url <url> - 指定需要爬取的网页 URL。
-g, --glob <glob> - 使用 Glob 模式匹配的 URL。
-o, --output <file> - 爬取内容的输出文件（默认为 dataset.jsonl）。

使用示例：

爬取一个网站并截取所有页面：

clipper crawl -u <url>

结果将保存在当前目录下的 dataset.jsonl 文件中。

其他用途

将 PDF 转换为 Markdown

若用户需要将 PDF 转换为 Markdown，可以先使用 poppler 工具将 PDF 转换为 HTML，然后使用 Clipper 将 HTML 转换为 Markdown：

pdftohtml -c -s -noframes test.pdf test.html
clipper clip -i test.html

本地开发

用户可以按照以下步骤进行本地开发和测试：

克隆项目代码库。
运行 npm install 安装依赖。
运行命令 npm run test -- clip -u https://huggingface.co/docs/transformers/index 测试命令行工具。
使用目录输入测试命令行工具，命令：npm run test -- clip -i examples/。
运行爬取命令测试，命令：npm run test -- crawl -u https://awsdocs-neuron.readthedocs-hosted.com/en/v2.14.1/index.html -g https://awsdocs-neuron.readthedocs-hosted.com/en/v2.14.1/\*\*/\*。
运行 npm run build 进行生产环境打包。
使用 npm install -g . 将命令行工具链接用于本地测试。
使用命令 clipper clip -u https://huggingface.co/docs/transformers/index 进行开发版本构建。
使用 npm r clipper -g 移除链接。