curl-impersonate

curl-impersonate

精确模拟主流浏览器网络行为的curl增强版

curl-impersonate是curl的增强版本,能精确模仿Chrome、Edge、Safari和Firefox的TLS及HTTP握手过程。它既可作为命令行工具使用,也可作为库集成到其他项目中。通过修改TLS配置和HTTP/2设置,curl-impersonate使网络请求与真实浏览器表现一致,有效避开基于TLS和HTTP/2指纹的检测。该工具为开发者提供了一种绕过网站反爬虫机制的有效方法。

curl-impersonate浏览器模拟TLS指纹HTTP/2指纹libcurlGithub开源项目

curl-impersonate Chrome Edge Firefox Safari

构建和测试 Docker镜像

这是curl的一个特殊版本,能够模仿四大主流浏览器:Chrome、Edge、Safari和Firefox。curl-impersonate能够执行与真实浏览器完全相同的TLS和HTTP握手。

curl-impersonate可以作为命令行工具使用,类似于常规的curl,也可以作为一个库集成使用,替代常规的libcurl。详见下方使用方法

为什么要这样做?

当你使用HTTP客户端访问TLS网站时,它首先会进行TLS握手。该握手的第一条消息称为Client Hello。大多数HTTP客户端和库产生的Client Hello消息与真实浏览器的差异很大。

如果服务器使用HTTP/2,除了TLS握手外,还会进行HTTP/2握手,交换各种设置。大多数HTTP客户端和库使用的设置也与任何真实浏览器的设置不同。

因此,一些网络服务使用TLS和HTTP握手来识别访问它们的客户端,然后为不同的客户端呈现不同的内容。这些方法分别被称为TLS指纹识别HTTP/2指纹识别。它们的广泛使用导致网络变得不那么开放、不那么私密,对特定的网络客户端也变得更加限制。

使用本仓库中修改后的curl,TLS和HTTP握手看起来完全像真实浏览器。

如何实现?

为了实现这一目标,对curl进行了大量修改以模仿浏览器。具体来说,需要进行以下修改:

  • 使用Firefox使用的TLS库nss编译curl,而不是OpenSSL。对于Chrome版本,则使用Google的TLS库BoringSSL进行编译。
  • 修改curl配置各种TLS扩展和SSL选项的方式。
  • 添加对新TLS扩展的支持。
  • 更改curl用于HTTP/2连接的设置。
  • 使用一些非默认标志运行curl,例如--ciphers--curves和一些-H头。

从网络角度来看,修改后的curl与真实浏览器完全相同。

完整的技术描述请参阅博客文章:第一部分第二部分

支持的浏览器

以下浏览器可以被模拟:

浏览器版本构建操作系统目标名称包装脚本
Chrome9999.0.4844.51Windows 10chrome99curl_chrome99
Chrome100100.0.4896.75Windows 10chrome100curl_chrome100
Chrome101101.0.4951.67Windows 10chrome101curl_chrome101
Chrome104104.0.5112.81Windows 10chrome104curl_chrome104
Chrome107107.0.5304.107Windows 10chrome107curl_chrome107
Chrome110110.0.5481.177Windows 10chrome110curl_chrome110
Chrome116116.0.5845.180Windows 10chrome116curl_chrome116
Chrome9999.0.4844.73Android 12chrome99_androidcurl_chrome99_android
Edge9999.0.1150.30Windows 10edge99curl_edge99
Edge101101.0.1210.47Windows 10edge101curl_edge101
Firefox91 ESR91.6.0esrWindows 10ff91esrcurl_ff91esr
Firefox9595.0.2Windows 10ff95curl_ff95
Firefox9898.0Windows 10ff98curl_ff98
Firefox100100.0Windows 10ff100curl_ff100
Firefox102102.0Windows 10ff102curl_ff102
Firefox109109.0Windows 10ff109curl_ff109
Firefox117117.0.1Windows 10ff117curl_ff117
Safari15.316612.4.9.1.8MacOS Big Sursafari15_3curl_safari15_3
Safari15.517613.2.7.1.8MacOS Montereysafari15_5curl_safari15_5

此列表也可在browsers.json文件中找到。

基本用法

对于每个支持的浏览器,都有一个包装脚本,可以使用所有必需的头部和标志来启动 curl-impersonate。例如:

curl_chrome116 https://www.wikipedia.org

您可以添加命令行标志,它们会被传递给 curl。但是,某些标志会改变 curl 的 TLS 签名,可能导致被检测到。

请注意,包装脚本使用默认的 HTTP 头部集。如果您想更改这些头部,可能需要修改包装脚本以适应您自己的目的。

有关更多选项,请参阅高级用法,包括将 libcurl-impersonate 作为库使用。

文档

更多文档可在 docs/ 目录中找到。

安装

由于技术原因,curl-impersonate 有两个版本。chrome 版本用于模仿 Chrome、Edge 和 Safari。firefox 版本用于模仿 Firefox。

预编译二进制文件

Linux 和 macOS(Intel)的预编译二进制文件可在 GitHub 发布页面 获取。 在使用它们之前,您需要安装 nss(Firefox 的 TLS 库)和 CA 证书:

  • Ubuntu - sudo apt install libnss3 nss-plugin-pem ca-certificates
  • Red Hat/Fedora/CentOS - yum install nss nss-pem ca-certificates
  • Archlinux - pacman -S nss ca-certificates
  • macOS - brew install nss ca-certificates

还要确保您的系统上安装了 zlib。 zlib 几乎总是存在的,但在一些最小化系统上可能会缺失。

预编译的二进制文件包含 libcurl-impersonate 和静态编译的 curl-impersonate,便于使用。

预编译的 Linux 二进制文件是为 Ubuntu 系统构建的。在其他发行版上,如果证书验证出现错误,您可能需要告诉 curl 在哪里找到 CA 证书。例如:

curl_chrome116 https://www.wikipedia.org --cacert /etc/ssl/certs/ca-bundle.crt

另外,请务必阅读依赖项说明

从源代码构建

请参阅 INSTALL.md

Docker 镜像

基于 Alpine Linux 和 Debian 的 Docker 镜像,已编译好 curl-impersonate 并可直接使用,可在 Docker Hub 上获取。这些镜像包含二进制文件和所有包装脚本。使用方法如下:

# Firefox 版本,Alpine Linux docker pull lwthiker/curl-impersonate:0.6-ff docker run --rm lwthiker/curl-impersonate:0.6-ff curl_ff109 https://www.wikipedia.org # Chrome 版本,Alpine Linux docker pull lwthiker/curl-impersonate:0.6-chrome docker run --rm lwthiker/curl-impersonate:0.6-chrome curl_chrome110 https://www.wikipedia.org

发行版包

Archlinux 用户可以使用 AUR 包:

Mac 的非官方 Homebrew 配方(仅限 Chrome)可在这里获取:

brew tap shakacode/brew
brew install curl-impersonate

高级用法

libcurl-impersonate

libcurl-impersonate.so 是使用与命令行 curl-impersonate 相同的更改编译的 libcurl。 它有一个额外的 API 函数:

CURLcode curl_easy_impersonate(struct Curl_easy *data, const char *target, int default_headers);

您可以使用目标名称调用它,例如 chrome116,它会在内部设置所有选项和头部,这些选项和头部通常由包装脚本设置。 如果 default_headers 设置为 0,则不会设置内置的 HTTP 头部列表,而是期望用户使用常规的 CURLOPT_HTTPHEADER libcurl 选项提供它们。

调用上述函数会设置以下 libcurl 选项:

  • CURLOPT_HTTP_VERSION
  • CURLOPT_SSLVERSIONCURLOPT_SSL_CIPHER_LISTCURLOPT_SSL_EC_CURVESCURLOPT_SSL_ENABLE_NPNCURLOPT_SSL_ENABLE_ALPN
  • 如果 default_headers 非零,则设置 CURLOPT_HTTPBASEHEADER(这是为本项目创建的非标准 HTTP 选项)。
  • CURLOPT_HTTP2_PSEUDO_HEADERS_ORDERCURLOPT_HTTP2_NO_SERVER_PUSH(为本项目创建的非标准 HTTP/2 选项)。
  • CURLOPT_SSL_ENABLE_ALPSCURLOPT_SSL_SIG_HASH_ALGSCURLOPT_SSL_CERT_COMPRESSIONCURLOPT_SSL_ENABLE_TICKET(为本项目创建的非标准 TLS 选项)。
  • CURLOPT_SSL_PERMUTE_EXTENSIONS(为本项目创建的非标准 TLS 选项)。 请注意,如果您之后使用 curl_easy_setopt() 设置上述选项之一,它将覆盖 curl_easy_impersonate() 设置的选项。

使用 CURL_IMPERSONATE 环境变量

如果您的应用程序已经使用 libcurl,您可以使用 LD_PRELOAD(仅限 Linux)在运行时替换现有库。然后,您可以设置 CURL_IMPERSONATE 环境变量。例如:

LD_PRELOAD=/path/to/libcurl-impersonate.so CURL_IMPERSONATE=chrome116 my_app

CURL_IMPERSONATE 环境变量有两个作用:

  • 对于由 curl_easy_init() 创建的任何新 curl 句柄,自动调用 curl_easy_impersonate()
  • 在任何 curl_easy_reset() 调用之后自动调用 curl_easy_impersonate()

这意味着所有用于模仿的必要选项将自动为任何 curl 句柄设置。

如果您需要精确控制 HTTP 头部,请设置 CURL_IMPERSONATE_HEADERS=no 以禁用内置的 HTTP 头部列表,然后使用 curl_easy_setopt() 自行设置它们。例如:

LD_PRELOAD=/path/to/libcurl-impersonate.so CURL_IMPERSONATE=chrome116 CURL_IMPERSONATE_HEADERS=no my_app

请注意,LD_PRELOAD 方法不适用于 curl 本身,因为 curl 工具会覆盖 TLS 设置。请改用包装脚本。

依赖项说明

如果您打算将自编译的工件复制到另一个系统,或使用项目提供的预编译二进制文件,请确保目标系统上也满足所有额外的依赖项。 特别是,请参阅关于 Firefox 版本的说明

内容

此仓库包含两个主要文件夹:

  • chrome - 用于构建 curl-impersonate Chrome 版本的脚本和补丁。
  • firefox - 用于构建 curl-impersonate Firefox 版本的脚本和补丁。

两者的布局相似。例如,Firefox 目录包含:

  • Dockerfile - 用于构建包含所有依赖项的 curl-impersonate
  • curl_ff91esrcurl_ff95curl_ff98 - 使用正确标志启动 curl-impersonate 的包装脚本。
  • curl-impersonate.patch - 主要补丁,使 curl 使用与 Firefox 相同的 TLS 扩展。还使 curl 与 libnghttp2 和 libnss 静态编译。

其他值得关注的文件:

贡献

如果你想提供帮助,请查看未解决的问题。你可以提交一个包含你的更改的拉取请求。

这个仓库包含 curl-impersonate 的构建过程。对 curl 的实际补丁维护在一个单独的仓库中,该仓库从上游 curl 分叉而来。这些更改维护在 impersonate-firefoximpersonate-chrome 分支中。

赞助商

赞助商帮助保持这个项目开放和维护。如果你想成为赞助商,请直接联系我:lwt at lwthiker dot com。

<a href="https://serpapi.com/"> <img src="https://i.imgur.com/CBOSxrm.png" alt="Logo" width="165px" height="65px"> </a>

编辑推荐精选

蛙蛙写作

蛙蛙写作

AI小说写作助手,一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

下拉加载更多