免责声明：

请以学习为目的使用本仓库，爬虫违法违规案例：https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China <br>

本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

点击查看更为详细的免责声明。点击跳转

仓库描述

小红书爬虫，抖音爬虫，快手爬虫，B站爬虫，微博爬虫，百度贴吧...。 目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。

原理：利用playwright搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数。 通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低。

MediaCrawlerPro版本经过2个周的通宵，已经迭代出来了，相较于现在有一些优势：

• 多账号+IP代理支持（重点！）
• 去除Playwright依赖，使用更加简单
• 支持linux部署（Docker docker-compose）
• 代码重构优化，更加易读易维护

功能列表

平台	关键词搜索	指定帖子ID爬取	二级评论	指定创作者主页	登录态缓存	IP代理池	生成评论词云图
小红书	✅	✅	✅	✅	✅	✅	✅
抖音	✅	✅	✅	✅	✅	✅	✅
快手	✅	✅	✅	✅	✅	✅	✅
B 站	✅	✅	✅	✅	✅	✅	✅
微博	✅	✅	✅	❌	✅	✅	✅
贴吧	✅	✅	✅	❌	✅	✅	✅

使用方法

创建并激活 python 虚拟环境

# 进入项目根目录
cd MediaCrawler

# 创建虚拟环境
# 注意python 版本需要3.7 - 3.9 高于该版本可能会出现一些依赖包兼容问题
python -m venv venv

# macos & linux 激活虚拟环境
source venv/bin/activate

# windows 激活虚拟环境
venv\Scripts\activate

安装依赖库

pip install -r requirements.txt

安装 playwright浏览器驱动

playwright install

运行爬虫程序

### 项目默认是没有开启评论爬取模式，如需评论请在config/base_config.py中的 ENABLE_GET_COMMENTS 变量修改
### 一些其他支持项，也可以在config/base_config.py查看功能，写的有中文注释

# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
python main.py --platform xhs --lt qrcode --type search

# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
python main.py --platform xhs --lt qrcode --type detail

# 打开对应APP扫二维码登录
  
# 其他平台爬虫使用示例，执行下面的命令查看
python main.py --help    

数据保存

• 支持保存到关系型数据库（Mysql、PgSQL等）
  • 执行 python db.py 初始化数据库数据库表结构（只在首次执行）
• 支持保存到csv中（data/目录下）
• 支持保存到json中（data/目录下）

加入MediaCrawler爬虫项目交流群。点击跳转加入

开发者服务

• MediaCrawler视频课程：

  课程介绍飞书文档链接：https://relakkes.feishu.cn/wiki/JUgBwdhIeiSbAwkFCLkciHdAnhh 如果你想很快入门这个项目，或者想了解具体实现原理，我推荐你看看这个视频课程，从设计出发一步步带你如何使用，门槛大大降低

  同时也是对我开源的支持，如果你能支持我的课程，我将会非常开心～<br>

• 知识星球：沉淀高质量常见问题、最佳实践文档、多年编程+爬虫经验分享，提供付费知识星球服务，主动提问，作者会定期回答问题（每天1块钱订阅我的知识服务）

  <p> <img alt="xingqiu" src="https://yellow-cdn.veclightyear.com/835a84d5/389afb1c-76a7-44bc-bb37-71099855ce57.webp" style="width: auto;height: 400px" > </p>

  星球精选文章：

  • 【独创】使用Playwright获取某音a_bogus参数流程（包含加密参数分析）
  • 【独创】使用Playwright低成本获取某书X-s参数流程分析（当年的回忆录）
  • MediaCrawler-基于抽象类设计重构项目缓存
  • 手把手带你撸一个自己的IP代理池

Thanks to the following Sponsors for supporting this repository

• <a href="https://www.kuaidaili.com/?ref=ldwkjqipvz6c">【Fast Proxy】Enterprise-level proxy IP service, fast and stable, safe and reliable. The best choice for crawler engineers.</a> <a href="https://www.kuaidaili.com/?ref=ldwkjqipvz6c" target="_blank"><img src="https://yellow-cdn.veclightyear.com/835a84d5/03be7c84-9006-43a0-8e29-5ee492cb15b4.png" alt="【Fast Proxy】Enterprise-level proxy IP service, fast and stable, safe and reliable. The best choice for crawler engineers."></a><br>

• <a href="https://sider.ai/ad-land-redirect?source=github&p1=mi&p2=kk">Sider, the most popular ChatGPT plugin on the internet. I've been using it for free for almost a year, and the experience is excellent.</a>

Become a sponsor and showcase your product here to gain daily exposure. Contact the author on WeChat: yzglan

Donations

If you find this project helpful, you can make a donation. Your support is my greatest motivation!

When making a donation, you can leave a note with your name, and I will add you to the donation list.

<p> <img alt="Donation-WeChat" src="https://yellow-cdn.veclightyear.com/835a84d5/84204761-afd6-40d9-8d39-856987c827fd.jpeg" style="width: 200px;margin-right: 140px;" /> <img alt="Donation-Alipay" src="https://yellow-cdn.veclightyear.com/835a84d5/3f55e6f7-e497-445c-bc76-d913f893162a.png" style="width: 200px" /> </p>

View donation list Click to jump

MediaCrawler Crawler Project Discussion Group:

<div id="join_wechat_group">

Scan my personal WeChat QR code below and note "github" to be added to the MediaCrawler project discussion group (please make sure to note "github", a WeChat assistant will automatically add you to the group)

If the image doesn't display, you can directly add my WeChat ID: yzglan

<div style="max-width: 200px"> <p><img alt="relakkes_wechat" src="https://yellow-cdn.veclightyear.com/835a84d5/6f6f23d2-95d1-4872-be4c-0801bfb76921.JPG" style="width: 200px;height: 100%" ></p> </div> </div>

Common Q&A for Runtime Errors

Try to search and solve problems on your own first. AI is very popular now, and ChatGPT can solve most of your problems in many cases Free ChatGPT

➡️➡️➡️ Common Issues

Douyin and Xiaohongshu now use Playwright for login, which will have slider verification + SMS verification. Please manually complete this process.

Project Code Structure

➡️➡️➡️ Project Code Structure Description

Proxy IP Usage Instructions

➡️➡️➡️ Proxy Usage Instructions

Word Cloud Related Operation Instructions

➡️➡️➡️ Word Cloud Related Instructions

Mobile Number Login Instructions

➡️➡️➡️ Mobile Number Login Instructions

Crawler Beginner Course

I've started a new crawler tutorial Github repository CrawlerTutorial. Interested friends can follow it. It's continuously updated and completely free.

项目贡献者

感谢你们的贡献，让项目变得更好！（贡献比较多的可以加我微信，免费拉你进我的知识星球，后期还有一些其他福利。）

<!-- readme: contributors -start --> <table> <tbody> <tr> <td align="center"> <a href="https://github.com/NanmiCoder"> <img src="https://avatars.githubusercontent.com/u/47178017?v=4" width="100;" alt="NanmiCoder"/> <br /> _{<b>程序员阿江-Relakkes</b>} </a> </td> <td align="center"> <a href="https://github.com/leantli"> <img src="https://avatars.githubusercontent.com/u/117699758?v=4" width="100;" alt="leantli"/> <br /> _{<b>leantli</b>} </a> </td> <td align="center"> <a href="https://github.com/Rosyrain"> <img src="https://avatars.githubusercontent.com/u/116946548?v=4" width="100;" alt="Rosyrain"/> <br /> _{<b>Rosyrain</b>} </a> </td> <td align="center"> <a href="https://github.com/BaoZhuhan"> <img src="https://avatars.githubusercontent.com/u/140676370?v=4" width="100;" alt="BaoZhuhan"/> <br /> _{<b>包诸涵</b>} </a> </td> <td align="center"> <a href="https://github.com/nelzomal"> <img src="https://avatars.githubusercontent.com/u/8512926?v=4" width="100;" alt="nelzomal"/> <br /> _{<b>周楠</b>} </a> </td> <td align="center"> <a href="https://github.com/helloteemo"> <img src="https://avatars.githubusercontent.com/u/46838719?v=4" width="100;" alt="helloteemo"/> <br /> _{<b>helloteemo</b>} </a> </td> </tr> <tr> <td align="center"> <a href="https://github.com/Ermeng98"> <img src="https://avatars.githubusercontent.com/u/55784769?v=4" width="100;" alt="Ermeng98"/> <br /> _{<b>二梦</b>} </a> </td> <td align="center"> <a href="https://github.com/PeanutSplash"> <img src="https://avatars.githubusercontent.com/u/98582625?v=4" width="100;" alt="PeanutSplash"/> <br /> _{<b>花生溅射</b>} </a> </td> <td align="center"> <a href="https://github.com/Hiro-Lin"> <img src="https://avatars.githubusercontent.com/u/40111864?v=4" width="100;" alt="Hiro-Lin"/> <br /> _<b>HIRO</b> </a> </td> <td align="center"> <a href="https://github.com/henryhyn"> <img src="https://avatars.githubusercontent.com/u/5162443?v=4" width="100;" alt="henryhyn"/> <br /> _{<b>亨利 何</b>} </a> </td> <td align="center"> <a href="https://github.com/Akiqqqqqqq"> <img src="https://avatars.githubusercontent.com/u/51102894?v=4" width="100;" alt="Akiqqqqqqq"/> <br /> _{<b>leonardoqiuyu</b>} </a> </td> <td align="center"> <a href="https://github.com/jayeeliu"> <img src="https://avatars.githubusercontent.com/u/77389?v=4" width="100;" alt="jayeeliu"/> <br /> _{<b>jayeeliu</b>} </a> </td> </tr> <tr> <td align="center"> <a href="https://github.com/fruitswordman"> <img src="https://avatars.githubusercontent.com/u/103844614?v=4" width="100;" alt="fruitswordman"/> <br /> _{<b>吕文博</b>} </a> </td> <td align="center"> <a href="https://github.com/ZhouXsh"> <img src="https://avatars.githubusercontent.com/u/131248181?v=4" width="100;" alt="ZhouXsh"/> <br /> _{<b>ZhouXsh</b>} </a> </td> <td align="center"> <a href="https://github.com/ZuWard"> <img src="https://avatars.githubusercontent.com/u/38209256?v=4" width="100;" alt="ZuWard"/> <br /> _{<b>ZuWard</b>} </a> </td> <td align="center"> <a href="https://github.com/Zzendrix"> <img src="https://avatars.githubusercontent.com/u/154900254?v=4" width="100;" alt="Zzendrix"/> <br /> _{<b>Zendrix</b>} </a> </td> <td align="center"> <a href="https://github.com/chunpat"> <img src="https://avatars.githubusercontent.com/u/19848304?v=4" width="100;" alt="chunpat"/> <br /> _{<b>张振鹏</b>} </a> </td> <td align="center"> <a href="https://github.com/tanpenggood"> <img src="https://avatars.githubusercontent.com/u/37927946?v=4" width="100;" alt="tanpenggood"/> <br /> _{<b>谭鹏</b>} </a> </td> </tr> <tr> <td align="center"> <a href="https://github.com/xbsheng"> <img src="https://avatars.githubusercontent.com/u/56357338?v=4" width="100;" alt="xbsheng"/> <br /> _{<b>xbsheng</b>} </a> </td> <td align="center"> <a href="https://github.com/yangrq1018"> <img src="https://avatars.githubusercontent.com/u/25074163?v=4" width="100;" alt="yangrq1018"/> <br /> _{<b>马丁</b>} </a> </td> <td align="center"> <a href="https://github.com/zhihuiio"> <img src="https://avatars.githubusercontent.com/u/165655688?v=4" width="100;" alt="zhihuiio"/> <br /> _{<b>zhihuiio</b>} </a> </td> <td align="center"> <a href="https://github.com/renaissancezyc"> <img src="https://avatars.githubusercontent.com/u/118403818?v=4" width="100;" alt="renaissancezyc"/> <br /> _<b>任</b> </a> </td> <td align="center"> <a href="https://github.com/Tianci-King"> <img src="https://avatars.githubusercontent.com/u/109196852?v=4" width="100;" alt="Tianci-King"/> <br /> _{<b>王天赐</b>} </a> </td> <td align="center"> <a href="https://github.com/Styunlen"> <img src="https://avatars.githubusercontent.com/u/30810222?v=4" width="100;" alt="Styunlen"/> <br /> _{<b>Styunlen</b>} </a> </td> </tr> <tr> <td align="center"> <a href="https://github.com/Schofi"> <img src="https://avatars.githubusercontent.com/u/33537727?v=4" width="100;" alt="Schofi"/> <br /> _{<b>Schofi</b>} </a> </td> <td align="center"> <a href="https://github.com/Klu5ure"> <img src="https://avatars.githubusercontent.com/u/166240879?v=4" width="100;" alt="Klu5ure"/> <br /> _{<b>Klu5ure</b>} </a> </td> <td align="center"> <a href="https://github.com/keeper-jie"> <img src="https://avatars.githubusercontent.com/u/33612777?v=4" width="100;" alt="keeper-jie"/> <br /> _{<b>科米特</b>} </a> </td> <td align="center"> <a href="https://github.com/kexinoh"> <img src="https://avatars.githubusercontent.com/u/91727108?v=4" width="100;" alt="kexinoh"/> <br /> _<b>KEXNA</b> </a> </td> <td align="center"> <a href="https://github.com/aa65535"> <img src="https://avatars.githubusercontent.com/u/5417786?v=4" width="100;" alt="aa65535"/> <br /> _{<b>张健</b>} </a> </td> <td align="center"> <a href="https://github.com/Jasonyang2014"> <img src="https://avatars.githubusercontent.com/u/8269290?v=4" width="100;" alt="Jasonyang2014"/> <br /> _{<b>欧阳</b>} </a> </td> </tr> <tr> <td align="center"> <a href="https://github.com/522109452"> <img src="https://avatars.githubusercontent.com/u/16929874?v=4" width="100;" alt="522109452"/> <br /> _{<b>天青</b>} </a> </td> <td align="center"> <a href="https://github.com/3DRX"> <img src="https://avatars.githubusercontent.com/u/67278980?v=4" width="100;" alt="3DRX"/> <br /> _{<b>康景阳</b>} </a> </td> </tr> </tbody> </table> ## star 趋势图 - 如果该项目对你有帮助，请给个 star ❤️❤️❤️

参考

• 小红书客户端 ReaJason 的 xhs 仓库
• 短信转发 参考仓库
• 内网穿透工具 ngrok

捐赠信息

<div id="donate">

注：打赏时请备注捐赠者姓名，如有遗漏请联系我添加（有时消息较多可能会遗漏，十分抱歉）

捐赠者	捐赠金额	捐赠日期
*皓	50 元	2024-03-18
*刚	50 元	2024-03-18
*乐	20 元	2024-03-17
*木	20 元	2024-03-17
*诚	20 元	2024-03-17
Strem Gamer	20 元	2024-03-16
*鑫	20 元	2024-03-14
Yuzu	20 元	2024-03-07
**宁	100 元	2024-03-03
**媛	20 元	2024-03-03
Scarlett	20 元	2024-02-16
Asun	20 元	2024-01-30
何*	100 元	2024-01-21
allen	20 元	2024-01-10
llllll	20 元	2024-01-07
邝*元	20 元	2023-12-29
50chen	50 元	2023-12-22
xiongot	20 元	2023-12-17
atom.hu	20 元	2023-12-16
一呆	20 元	2023-12-01
坠落	50 元	2023-11-08

</div>

免责声明

<div id="disclaimer">

1. 项目目的与性质

本项目（以下简称"本项目"）是作为一个技术研究与学习工具而创建的，旨在探索和学习网络数据采集技术。本项目专注于自媒体平台的数据爬取技术研究，旨在提供给学习者和研究者作为技术交流之用。

2. 法律合规性声明

本项目开发者（以下简称"开发者"）郑重提醒用户在下载、安装和使用本项目时，严格遵守中华人民共和国相关法律法规，包括但不限于《中华人民共和国网络安全法》、《中华人民共和国反间谍法》等所有适用的国家法律和政策。用户应自行承担一切因使用本项目而可能引起的法律责任。

3. 使用目的限制

本项目严禁用于任何非法目的或非学习、非研究的商业行为。本项目不得用于任何形式的非法侵入他人计算机系统，不得用于任何侵犯他人知识产权或其他合法权益的行为。用户应保证其使用本项目的目的纯属个人学习和技术研究，不得用于任何形式的非法活动。

4. 免责声明

开发者已尽最大努力确保本项目的正当性及安全性，但不对用户使用本项目可能引起的任何形式的直接或间接损失承担责任。包括但不限于由于使用本项目而导致的任何数据丢失、设备损坏、法律诉讼等。

5. 知识产权声明

本项目的知识产权归开发者所有。本项目受到著作权法和国际著作权条约以及其他知识产权法律和条约的保护。用户在遵守本声明及相关法律法规的前提下，可以下载和使用本项目。

6. 最终解释权

关于本项目的最终解释权归开发者所有。开发者保留随时更改或更新本免责声明的权利，恕不另行通知。

</div>

感谢JetBrains提供的免费开源许可证支持

<a href="https://www.jetbrains.com/?from=MediaCrawler"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/b718b52d-3fbb-4f63-b614-932d69395d78.png" width="100" alt="JetBrains" /> </a>