markdown-crawler入门学习资料汇总 - 多线程网站爬虫与Markdown生成工具

markdown-crawler项目简介

markdown-crawler是由Paul Pierre开发的一个多线程网站爬虫工具,能够递归爬取网站内容并为每个页面创建Markdown文件。该项目主要用于大型语言模型的文档解析,可以简化大型文档的分块和处理过程,特别适用于RAG(检索增强生成)等场景。

项目概览

主要特性

markdown-crawler具有以下主要特性:

🧵 多线程支持,爬取速度更快
⏯️ 支持从中断处继续爬取
⏬ 可设置爬取深度
📄 支持表格、图片等元素
✅ 验证URL、HTML和文件路径
⚙️ 可配置有效的基础路径或域名
🍲 使用BeautifulSoup解析HTML
🪵 详细的日志选项
👩‍💻 便捷的命令行界面

安装与使用

通过pip安装:

pip install markdown-crawler

使用命令行运行:

markdown-crawler -t 5 -d 3 -b ./markdown https://en.wikipedia.org/wiki/Morty_Smith

在代码中使用:

from markdown_crawler import md_crawl
url = 'https://en.wikipedia.org/wiki/Morty_Smith'
md_crawl(url, max_depth=3, num_threads=5, base_path='markdown')

应用场景

RAG(检索增强生成):用于规范化大型文档,按标题、段落或句子进行分块。
LLM微调:创建大型Markdown文件语料库,用于提取Q&A对。
智能体知识:结合autogen等工具,重建视频游戏或电影的知识库。
智能体/LLM工具:用于在线RAG学习,让聊天机器人持续学习。

学习资源

运行效果展示

爬取过程:

爬取过程

生成的Markdown文件:

Markdown文件

总结

markdown-crawler是一个功能强大、易于使用的网站爬虫工具,特别适合用于大语言模型相关的文档处理任务。通过本文的介绍,读者可以快速了解该工具的主要特性和使用方法,并利用提供的学习资源进一步探索和应用这一工具。无论是用于个人学习还是专业项目,markdown-crawler都是一个值得尝试的选择。