clipper.js

Clipper.js 项目介绍

项目概述

Clipper.js 是一个基于 Node.js 的命令行工具，允许用户轻松地从网页中截取内容并将其转换为 Markdown 格式。它在底层使用了 Mozilla 的 Readability 库和 Turndown 库来解析网页内容并进行 Markdown 转换。这个工具提供了一种快速简单的方式来保存网页上的内容片段，适用于个人归档或记笔记，类似于 Evernote Web Clipper 或 Notion Web Clipper，但不同的是，Clipper 完全在终端运行，因此无需安装任何浏览器扩展或注册账户。

安装步骤

用户可以通过以下命令进行安装：

npm install -g @philschmid/clipper

注意：要进行网页抓取操作，用户还需要安装 playwright 及其浏览器依赖。

使用方法

Clip 功能

用户可以使用 Clipper 提供的多种选项来获取内容，具体如下：

• -i, --input <file> | <directory> - 指定需要截取内容的输入文件（HTML）或目录。如果提供的是目录，将对目录中的所有文件进行截取。
• -u, --url <url> - 指定需要截取内容的网页 URL。
• -f, --format <format> - 输出格式，可选 markdown 或 json（默认为 markdown）。
• -o, --output <file> - 截取内容的输出文件（默认为 output.md）。

使用示例：

1. 从 URL 截取内容：

clipper clip -u <url>

2. 从文件截取内容：

clipper clip -i <file>

3. 从目录截取内容，并将 HTML 文件目录转换为 JSONL 文件：

clipper clip -i <directory> -f json -o dataset.jsonl

Crawl 功能

警告：只有在清楚操作可能影响网站的资源情况下才使用此功能，爬取网站可能会给网站带来负担，这种行为需谨慎进行。

• -u, --url <url> - 指定需要爬取的网页 URL。
• -g, --glob <glob> - 使用 Glob 模式匹配的 URL。
• -o, --output <file> - 爬取内容的输出文件（默认为 dataset.jsonl）。

使用示例：

爬取一个网站并截取所有页面：

clipper crawl -u <url>

结果将保存在当前目录下的 dataset.jsonl 文件中。

其他用途

将 PDF 转换为 Markdown

若用户需要将 PDF 转换为 Markdown，可以先使用 poppler 工具将 PDF 转换为 HTML，然后使用 Clipper 将 HTML 转换为 Markdown：

pdftohtml -c -s -noframes test.pdf test.html
clipper clip -i test.html

本地开发

用户可以按照以下步骤进行本地开发和测试：

• 克隆项目代码库。
• 运行 npm install 安装依赖。
• 运行命令 npm run test -- clip -u https://huggingface.co/docs/transformers/index 测试命令行工具。
• 使用目录输入测试命令行工具，命令：npm run test -- clip -i examples/。
• 运行爬取命令测试，命令：npm run test -- crawl -u https://awsdocs-neuron.readthedocs-hosted.com/en/v2.14.1/index.html -g https://awsdocs-neuron.readthedocs-hosted.com/en/v2.14.1/\*\*/\*。
• 运行 npm run build 进行生产环境打包。
• 使用 npm install -g . 将命令行工具链接用于本地测试。
• 使用命令 clipper clip -u https://huggingface.co/docs/transformers/index 进行开发版本构建。
• 使用 npm r clipper -g 移除链接。

贡献说明

Clipper 项目使用了一些开源库，具体如下：

• Mozilla Readability - 用于解析文章内容。
• Turndown - 用于将 HTML 转换为 Markdown。
• Crawlee - 用于网站爬取。

许可证

Clipper 项目使用 Apache 2.0 许可证。

发布流程

发布到 npm 需要以下步骤：

1. 使用 rm -rf dist 移除旧的构建文件。
2. 如果是次要或重大版本更新，更新 package.json 文件中的版本号。
3. 运行 npm run build 构建项目。
4. 运行 npm publish --access public 发布项目。
5. 在 GitHub 上创建新版本。
6. 更新 package.json 文件中的版本号为下一个补丁版本。