browserforge

<h1 align="center"> BrowserForge </h1> <p align="center"> <a href="https://github.com/daijro/browserforge/blob/main/LICENSE"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/4aa93ff7-5a33-4233-bc2d-73327a0e7904.svg?color=yellow"> </a> <a href="https://python.org/"> <img src="https://img.shields.io/badge/python-3.8‐3.12-blue"> </a> <a href="https://pypi.org/project/browserforge/"> <img alt="PyPI" src="https://yellow-cdn.veclightyear.com/ab5030c0/cf235f03-a544-4c09-bfe2-6a583d84550e.svg?color=orange"> </a> <a href="https://pepy.tech/project/browserforge"> <img alt="PyPI" src="https://static.pepy.tech/badge/browserforge"> </a> <a href="https://github.com/ambv/black"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/a3793e07-5781-494f-9028-aec58d703717.svg"> </a> <a href="https://github.com/PyCQA/isort"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/48122dbb-2852-4b10-9f80-e8f2c4de454f.svg"> </a> <a href="http://mypy-lang.org"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/b795c4f8-9d23-48b6-a561-33106040e4ed.svg"> </a> </p> <h4 align="center"> 🎭 智能浏览器头部和指纹生成器 </h4>

这是什么？

BrowserForge是一个浏览器头部和指纹生成器，能模仿现实世界中不同浏览器、操作系统和设备的使用频率。

它是用Python重新实现的Apify's fingerprint-suite。

特性

使用贝叶斯生成网络来模仿实际的网络流量
极快的运行时间（0.1-0.2毫秒）
简单易用
对浏览器、操作系统、设备、语言环境和HTTP版本提供广泛的自定义选项
采用类型安全的编写方式

安装

pip install browserforge[all]
python -m browserforge update

[all]额外选项将包含可选库，如orjson。

使用python -m browserforge update来获取必要的模型文件。如果不运行此命令，文件将在首次导入时下载。

使用方法

生成头部

简单使用

>>> from browserforge.headers import HeaderGenerator
>>> headers = HeaderGenerator()
>>> headers.generate()
{'sec-ch-ua': '"Chromium";v="122", "Not(A:Brand";v="24", "Google Chrome";v="122"', 'Sec-Ch-Ua-Mobile': '?0', 'Sec-Ch-Ua-Platform': '"Windows"', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', 'Sec-Fetch-Site': '?1', 'Sec-Fetch-Mode': 'same-site', 'Sec-Fetch-User': 'document', 'Sec-Fetch-Dest': 'navigate', 'Accept-Encoding': 'gzip, deflate, br, zstd', 'Accept-Language': 'en-US;q=1.0'}

与requests一起使用

可以通过将头部分配给headers属性，将其添加到requests（或类似库）的会话中：

import requests
session = requests.Session()
# 设置会话头部
session.headers = headers.generate()

<details> <summary>HeaderGenerator的参数</summary>

参数：
    browser (Union[ListOrString, Iterable[Browser]], 可选)：浏览器或浏览器对象。
    os (ListOrString, 可选)：要为其生成头部的操作系统。
    device (ListOrString, 可选)：要为其生成头部的设备。
    locale (ListOrString, 可选)：Accept-Language头部的最多10种语言列表。默认为'en-US'。
    http_version (Literal[1, 2], 可选)：用于生成头部的HTTP版本。默认为2。
    strict (bool, 可选)：如果无法根据输入生成头部，则抛出错误。默认为False。

</details> <details> <summary>HeaderGenerator.generate的参数</summary>

使用默认选项及其可能的覆盖生成头部。

参数：
    browser (Optional[Iterable[Union[str, Browser]]], 可选)：要为其生成头部的浏览器。
    os (Optional[ListOrString], 可选)：要为其生成头部的操作系统。
    device (Optional[ListOrString], 可选)：要为其生成头部的设备。
    locale (Optional[ListOrString], 可选)：要包含在Accept-Language头部中的语言。
    http_version (Optional[Literal[1, 2]], 可选)：用于生成头部的HTTP版本。
    user_agent (Optional[ListOrString], 可选)：要使用的User-Agent。
    request_dependent_headers (Optional[Dict[str, str]], 可选)：请求相关头部的已知值。
    strict (Optional[bool], 可选)：如果为true，则在无法根据输入生成头部时抛出错误。

</details>

约束头部

单一约束

通过传递以下可选字符串来为浏览器设置约束：

headers = HeaderGenerator(
    browser='chrome',
    os='windows',
    device='desktop',
    locale='en-US',
    http_version=2
)

多重约束

设置多个约束以供选择。选项基于它们在现实世界中的实际频率进行选择：

headers = HeaderGenerator(
    browser=('chrome', 'firefox', 'safari', 'edge'),
    os=('windows', 'macos', 'linux', 'android', 'ios'),
    device=('desktop', 'mobile'),
    locale=('en-US', 'en', 'de'),
    http_version=2
)

浏览器规格

为浏览器设置规格，包括版本范围和HTTP版本：

from browserforge.headers import Browser

browsers = [
    Browser(name='chrome', min_version=100, max_version=110),
    Browser(name='firefox', max_version=80, http_version=1),
    Browser(name='edge', min_version=95),
]
headers = HeaderGenerator(browser=browsers)

注意，所有传入HeaderGenerator构造函数的约束都可以通过将它们传入generate方法来覆盖。

给定User-Agent生成头部

可以根据现有的用户代理生成头部：

>>> headers.generate(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36')

根据多个User-Agent在现实世界中的频率进行选择：

>>> headers.generate(user_agent=(
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0'
))

生成指纹

简单用法

初始化FingerprintGenerator:

from browserforge.fingerprints import FingerprintGenerator
fingerprints = FingerprintGenerator()
fingerprints.generate()

<details> <summary>FingerprintGenerator的参数</summary>

参数:
    screen (Screen, 可选): 生成指纹的屏幕约束。
    strict (bool, 可选): 约束过于严格时是否抛出异常。默认为False。
    mock_webrtc (bool, 可选): 注入指纹时是否模拟WebRTC。默认为False。
    slim (bool, 可选): 注入指纹时禁用性能密集型规避。默认为False。
    **header_kwargs: HeaderGenerator的头部生成选项

</details> <details> <summary>FingerprintGenerator.generate的参数</summary>

生成指纹和匹配的有序头部集，使用构造函数中指定的默认选项和此处提供的可能覆盖的组合。

参数:
    screen (Screen, 可选): 生成指纹的屏幕约束。
    strict (bool, 可选): 约束过于严格时是否抛出异常。
    mock_webrtc (bool, 可选): 注入指纹时是否模拟WebRTC。默认为False。
    slim (bool, 可选): 注入指纹时禁用性能密集型规避。默认为False。
    **header_kwargs: HeaderGenerator.generate的附加头部生成选项。

</details> <details> <summary>示例响应</summary> ``` 指纹(屏幕=屏幕指纹(可用高度=784, 可用宽度=1440, 可用顶部=25, 可用左侧=0, 颜色深度=30, 高度=900, 像素深度=30, 宽度=1440, 设备像素比=2, 页面X偏移=0, 页面Y偏移=0, 内部高度=0, 外部高度=718, 外部宽度=1440, 内部宽度=0, 屏幕X=0, 客户端宽度=0, 客户端高度=19, 支持HDR=True), 浏览器=浏览器指纹(用户代理='Mozilla/5.0 (Macintosh; ' 'Intel Mac OS X 10_15_7) ' 'AppleWebKit/537.36 ' '(KHTML, like Gecko) ' 'Chrome/121.0.0.0 ' 'Safari/537.36', 用户代理数据={'架构': 'arm', '位数': '64', '品牌': [{'品牌': 'Not ' 'A(Brand', '版本': '99'}, {'品牌': 'Google ' 'Chrome', '版本': '121'}, {'品牌': 'Chromium', '版本': '121'}], '完整版本列表': [{'品牌': 'Not ' 'A(Brand', '版本': '99.0.0.0'}, {'品牌': 'Google ' 'Chrome', '版本': '121.0.6167.160'}, {'品牌': 'Chromium', '版本': '121.0.6167.160'}], '移动设备': False, '型号': '', '平台': 'macOS', '平台版本': '13.6.1', 'UA完整版本': '121.0.6167.160'}, 不跟踪=None, 应用代码名='Mozilla', 应用名称='Netscape', 应用版本='5.0 (Macintosh; Intel ' 'Mac OS X 10_15_7) ' 'AppleWebKit/537.36 ' '(KHTML, like Gecko) ' 'Chrome/121.0.0.0 ' 'Safari/537.36', 操作系统CPU=None, webdriver=False, 语言='en-US', 语言列表=['en-US'], 平台='MacIntel', 设备内存=8, 硬件并发数=10, 产品='Gecko', 产品子版本='20030107', 厂商='Google Inc.', 厂商子版本=None, 最大触点数=0, 额外属性={'全局隐私控制': None, '已安装应用': [], '支持蓝牙': False, 'PDF查看器启用': True, '厂商特性': ['chrome']}), 头部信息={'接受': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', '接受编码': 'gzip, deflate, br', '接受语言': 'en-US;q=1.0', 'Sec-Fetch-Dest': 'navigate', 'Sec-Fetch-Mode': 'same-site', 'Sec-Fetch-Site': '?1', 'Sec-Fetch-User': 'document', '升级不安全请求': '1', '用户代理': 'Mozilla/5.0 (Macintosh; Intel Mac OS X ' '10_15_7) AppleWebKit/537.36 (KHTML, like ' 'Gecko) Chrome/121.0.0.0 Safari/537.36', 'sec-ch-ua': '"Not A(Brand";v="99", "Google ' 'Chrome";v="121", "Chromium";v="121"', 'sec-ch-ua-mobile': '?0', 'sec-ch-ua-platform': '"macOS"'}, 视频编解码器={'h264': 'probably', 'ogg': '', 'webm': 'probably'}, 音频编解码器={'aac': 'probably', 'm4a': 'maybe', 'mp3': 'probably', 'ogg': 'probably', 'wav': 'probably'}, 插件数据={'MIME类型': ['便携式文档 ' '格式~~application/pdf~~pdf', '便携式文档 ' '格式~~text/pdf~~pdf'], '插件': [{'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chrome ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chrome ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Chrome PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chromium ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Chromium ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Chromium PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Microsoft ' 'Edge ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'Microsoft ' 'Edge ' 'PDF ' '查看器', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'Microsoft Edge PDF查看器'}, {'描述': '便携式文档格式', '文件名': 'internal-pdf-viewer', 'MIME类型': [{'描述': '便携式 ' '文档 ' '格式', '启用插件': 'WebKit ' '内置 ' 'PDF', '后缀': 'pdf', '类型': 'application/pdf'}, {'描述': '便携式 ' '文档 ' '格式', '启用插件': 'WebKit ' '内置 ' 'PDF', '后缀': 'pdf', '类型': 'text/pdf'}], '名称': 'WebKit内置PDF'}]}, 电池={'充电': False, '充电时间': None, '放电时间': 29940, '电量': 0.98}, 显卡=显卡(渲染器='ANGLE (Apple, ANGLE Metal Renderer: ' 'Apple M2 Pro, 未指定版本)', 厂商='Google Inc. (Apple)'), 多媒体设备={'麦克风': [{'设备ID': '', '组ID': '', '类型': '音频输入', '标签': ''}], '扬声器': [{'设备ID': '', '组ID': '', '类型': '音频输出', '标签': ''}], '网络摄像头': [{'设备ID': '', '组ID': '', '类型': '视频输入', '标签': ''}]}, 字体=['Arial Unicode MS', 'Gill Sans', 'Helvetica Neue', 'Menlo'] 模拟WebRTC: False, 精简版: False) ``` ### 约束指纹

屏幕宽度/高度

约束最小/最大屏幕宽度和高度：

from browserforge.fingerprints import Screen

screen = Screen(
    min_width=100
    max_width=1280
    min_height=400
    max_height=720
)

fingerprints = FingerprintGenerator(screen=screen)

注意：并非所有边界都需要定义。

浏览器规格

FingerprintGenerator 和 FingerprintGenerator.generate 继承了与 HeaderGenerator 相同的参数。

因此，用户代理、浏览器规格、设备类型和操作系统约束也可以传递给 FingerprintGenerator.generate。

以下是一个使用示例：

fingerprint.generate(browser='chrome', os='windows')

注入指纹

BrowserForge 与您现有的 Playwright 和 Pyppeteer 代码完全兼容。您只需更改上下文/页面初始化。

Playwright

异步 API：

# 导入 AsyncNewContext 注入器
from browserforge.injectors.playwright import AsyncNewContext

async def main():
    async with async_playwright() as playwright:
        browser = await playwright.chromium.launch()
        # 创建一个带有注入指纹的新异步上下文
        context = await AsyncNewContext(browser, fingerprint=fingerprint)
        page = await context.new_page()
        ...

在您现有的 Playwright 代码中，将 await browser.new_context 替换为 await AsyncNewContext。

<details> <summary>AsyncNewContext 的参数</summary>

使用指纹注入异步 API Playwright 上下文。

参数：
    browser (Browser)：用于创建上下文的浏览器
    fingerprint (Optional[Fingerprint])：要注入的指纹。如果为 None，将生成一个
    fingerprint_options (Optional[Dict])：如果未传递 `fingerprint`，则为指纹生成器的选项
    **new_context_options：新上下文的其他选项

</details>

同步 API：

# 导入 NewContext 注入器
from browserforge.injectors.playwright import NewContext

def main():
    with sync_playwright() as playwright:
        browser = playwright.chromium.launch()
        # 创建一个带有注入指纹的新上下文
        context = NewContext(browser, fingerprint=fingerprint)
        page = context.new_page()
        ...

在您现有的 Playwright 代码中，将 browser.new_context 替换为 NewContext。

<details> <summary>NewContext 的参数</summary>

使用指纹注入同步 API Playwright 上下文。

参数：
    browser (Browser)：用于创建上下文的浏览器
    fingerprint (Optional[Fingerprint])：要注入的指纹。如果为 None，将生成一个
    fingerprint_options (Optional[Dict])：如果未传递 `fingerprint`，则为指纹生成器的选项
    **new_context_options：新上下文的其他选项

</details>

Undetected-Playwright

Undetected-Playwright 也在 browserforge.injectors.undetected_playwright 包中得到支持。使用方法与 Playwright 注入器相同。

Pyppeteer

# 导入 NewPage 注入器
from browserforge.injectors.pyppeteer import NewPage
from pyppeteer import launch

async def test():
    browser = await launch()
    # 创建一个带有注入指纹的新页面
    page = await NewPage(browser, fingerprint=fingerprint)
    ...

在您现有的 Pyppeteer 代码中，将 browser.newPage 替换为 NewPage。

<details> <summary>NewPage 的参数</summary>

使用指纹注入 Pyppeteer 浏览器对象。

参数：
    browser (Browser)：用于创建上下文的浏览器
    fingerprint (Optional[Fingerprint])：要注入的指纹。如果为 None，将生成一个
    fingerprint_options (Optional[Dict])：如果未传递 `fingerprint`，则为指纹生成器的选项

</details> <hr width=50>

卸载

要完全移除所有文件，请运行以下命令：

python -m browserforge remove
pip uninstall browserforge

这是什么？

特性

安装

使用方法

生成头部

简单使用

与requests一起使用

约束头部

单一约束

多重约束

浏览器规格

给定User-Agent生成头部

生成指纹

简单用法

屏幕宽度/高度

浏览器规格

注入指纹

Playwright

异步 API：

同步 API：

Undetected-Playwright

Pyppeteer

卸载

编辑推荐精选

TRAE编程

蛙蛙写作

问小白

Transly

讯飞智文

讯飞星火

Spark-TTS

咔片PPT

讯飞绘文

材料星

探索AI的无限可能

推荐工具精选

TRAE编程

豆包

讯飞文书

讯飞绘文

讯飞绘镜

阿里绘蛙

咔片PPT

AI云服务特惠

火山引擎

阿里云

腾讯云

华为云

百度智能云

AWS

关注微信公众号