changedetection.io

网站变更检测、库存监控和通知

检测网站内容变化并执行有意义的操作 - 通过Discord、电子邮件、Slack、Telegram、API调用等多种方式触发通知。

主动掌控您的数据生活。

使用可视化选择器工具定位网页的特定部分。

轻松查看变更内容,可按单词、行或单个字符进行检查。

执行交互式浏览器步骤

填写文本框、点击按钮等,设置您的变更检测场景。

使用浏览器步骤配置,在执行变更检测之前添加基本步骤,如登录网站、将产品添加到购物车、接受cookie登录、输入日期和优化搜索。

在运行浏览器步骤后,访问可视化选择器标签页以精确定位您感兴趣的内容。需要启用Playwright。

出色的补货和价格变化通知

启用"单个产品页面的补货和价格检测"选项,激活监控产品价格的最佳方式,这将提取HTML页面中的任何元数据,为您提供多种选项来跟踪产品价格。

从仪表板轻松组织和监控产品价格,当产品价格变化或重新有货时获得警报和通知!

设置价格变化通知参数,包括上限和下限价格、价格变化百分比等。随时了解在售产品的价格下降情况。

示例用例

产品和服务价格变化
缺货通知 和 重新有货通知
监控和跟踪PDF文件变更,了解PDF文件何时发生文本变化
政府部门更新(变更通常只在其网站上)
新软件发布、安全公告(当您不在他们的邮件列表中时)
节日变更
Discogs补货警报和监控
房地产列表变化
在其他人之前知道您最喜欢的威士忌何时打折,或其他特别优惠公告
政府网站上与COVID相关的新闻
大学/组织网站上的新闻
检测和监控JSON API响应的变化
JSON API监控和警报
法律和其他文件的变更
当网站上出现文本时通过通知触发API调用
使用JSON过滤器和JSON通知连接API
根据网页内容变化创建RSS源
监控HTML源代码是否有意外变化,加强您的PCI合规性
您有一个非常敏感的URL列表需要监控,并且您_不_想使用付费替代方案。(记住,_您_就是产品)
当Twitter搜索结果中出现某些关键词时获得通知
主动搜索工作,当公司更新其职位页面时获得通知,在求职门户网站上搜索关键词
当Bamboo HR和其他求职平台上有新职位空缺时获得警报
网站篡改监控
宝可梦卡片补货跟踪器 / 宝可梦TCG跟踪器
RegTech - 及时了解监管变化,保持监管合规

需要实际的Chrome运行器支持JavaScript吗?我们支持通过WebDriver和Playwright进行获取!</a>

主要特性

大量触发过滤器,如"文本触发"、"通过选择器删除文本"、"忽略文本"、"提取文本",也可使用正则表达式!
使用XPath(1.0)和CSS选择器定位元素,轻松使用JSONPath或jq监控复杂的JSON
在快速非JS和基于Chrome的JS "获取器"之间切换
跟踪PDF文件的变化(监控PDF中文本的变化,还可监控PDF文件大小和校验和)
轻松指定检查网站的频率
在提取文本之前执行JS(适用于登录,请参阅UI中的示例!)
覆盖请求头,指定POST或GET等方法
使用"可视化选择器"帮助定位特定元素
可配置每个监控的代理
在检测到网页变化时随通知发送截图

我们推荐并使用Bright Data全球代理服务,使用我们的注册链接,Bright Data将匹配任何高达100美元的首次存款。

Oxylabs也是一个优秀的代理提供商,值得使用,他们提供住宅、ISP、轮换等多种类型的代理,以适应您的项目。

请给这个项目:star:加星:star:并帮助它成长! https://github.com/dgtlmoon/changedetection.io/

我们有Chrome扩展程序!

轻松将当前网页添加到您的changedetection.io工具中,只需安装扩展程序并点击"同步"即可将其连接到您现有的changedetection.io安装。

前往Chrome网上应用店下载扩展程序。

安装

Docker

使用Docker Compose,只需克隆此存储库并..

$ docker compose up -d

Docker独立版

$ docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io

:latest标签是我们最新的稳定版本,:dev标签是我们最新的master分支。

ghcr上的替代Docker存储库 - ghcr.io/dgtlmoon/changedetection.io

Windows

请查看wiki上的安装说明 https://github.com/dgtlmoon/changedetection.io/wiki/Microsoft-Windows

Python Pip

查看我们的pypi页面 https://pypi.org/project/changedetection.io/

$ pip3 install changedetection.io
$ changedetection.io -d /path/to/empty/data/dir -p 5000

然后访问 http://127.0.0.1:5000 ,您现在应该能够访问UI了。

现在支持每个站点可配置使用内置的快速HTTP获取器或使用基于Chrome的获取器来监控JavaScript网站!

更新changedetection.io

Docker

docker pull dgtlmoon/changedetection.io
docker kill $(docker ps -a -f name=changedetection.io -q)
docker rm $(docker ps -a -f name=changedetection.io -q)
docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io

docker compose

docker compose pull && docker compose up -d

更多信息请参阅wiki https://github.com/dgtlmoon/changedetection.io/wiki

过滤器

内置支持XPath(1.0)、JSONPath、jq和CSS!您可以根据需要具体指定,使用从各种XPath元素查询创建工具导出的XPath。 (我们支持LXML re:test、re:match和re:replace。)

通知

得益于<a href="https://github.com/caronc/apprise">apprise</a>库,当检测到网页变化时,ChangeDetection.io支持大量通知(包括电子邮件、office365、自定义API等)。只需在该监控的_[编辑]_标签中设置一个或多个通知URL。

以下只是一些示例

discord://webhook_id/webhook_token
flock://app_token/g:channel_id
gitter://token/room
gchat://workspace/key/token
msteams://TokenA/TokenB/TokenC/
o365://TenantID:AccountEmail/ClientID/ClientSecret/TargetEmail
rocket://user:password@hostname/#Channel
mailto://user:pass@example.com?to=receivingAddress@example.com
json://someserver.com/custom-api
syslog://

<a href="https://github.com/caronc/apprise#popular-notification-services">以及此列表中的所有其他选项!</a> 现在您还可以自定义通知内容,并为标题和正文使用 <a target="_new" href="https://jinja.palletsprojects.com/en/3.0.x/templates/">Jinja2 模板</a>!

JSON API 监控

通过使用 JSONPath 或 jq 来过滤、解析和重构 JSON,以检测 JSON API 中的变化并监控数据。

这将重新解析 JSON 并对文本进行格式化,使监控和检测 JSON API 结果中的变化变得非常简单

JSONPath 还是 jq?

对于更复杂的 JSON 数据解析、过滤和修改,推荐使用 jq,因为它内置了运算符和函数。有关 jq 的更多具体信息,请参阅文档。

jq 的一个巨大优势是,您可以在 JSON 过滤器中使用逻辑,例如仅显示值大于/小于等的过滤器。

更多信息和示例请参见 wiki https://github.com/dgtlmoon/changedetection.io/wiki/JSON-Selector-Filter-help

解析嵌入 HTML 中的 JSON!

当您启用 json: 或 jq: 过滤器时,甚至可以自动提取和解析嵌入 HTML 页面中的 JSON! 这对于基于 JSON 构建内容的网站非常方便,比如许多电子商务网站。

<html>
...
<script type="application/ld+json">

{
   "@context":"http://schema.org/",
   "@type":"Product",
   "offers":{
      "@type":"Offer",
      "availability":"http://schema.org/InStock",
      "price":"3949.99",
      "priceCurrency":"USD",
      "url":"https://www.newegg.com/p/3D5-000D-001T1"
   },
   "description":"Cobratype King Cobra Hero Desktop Gaming PC",
   "name":"Cobratype King Cobra Hero Desktop Gaming PC",
   "sku":"3D5-000D-001T1",
   "itemCondition":"NewCondition"
}
</script>

json:$..price 或 jq:..price 将得到 3949.99,或者您可以提取整个结构(使用 JSONpath 测试网站进行验证)

该应用程序还支持自动通知您可以跟踪此信息