Repology

Repology 是一项监控大量软件包仓库和其他来源的服务，它汇总软件包版本数据，报告新版本发布和打包问题。

该仓库包含 Repology 更新器代码，这是一个更新仓库信息的后端服务。另请参阅Web应用程序代码。

依赖项

• Python 3.11+
• Python 模块 Jinja2
• Python 模块 libversion（还需要 libversion C 库）
• Python 模块 psycopg2
• Python 模块 pyyaml
• Python 模块 xxhash
• Python 模块 pydantic
• PostgreSQL 16.0+
• PostgreSQL 扩展 libversion

获取/解析仓库数据所需：

• Python 模块 jsonslicer
• Python 模块 lxml
• Python 模块 protobuf
• Python 模块 pyparsing
• Python 模块 requests
• Python 模块 rpm（随 RPM 包管理器一起提供）
• Python 模块 rubymarshal
• Python 模块 sqlite3（Python 的一部分，有时单独打包）
• Python 模块 tomli
• Python 模块 yarl
• Python 模块 zstandard
• git
• rsync
• subversion

开发依赖项

可选，用于运行测试时进行 HTML 验证：

• Python 模块 pytidylib 和 tidy-html5 库

可选，用于检查配置文件的模式：

• Python 模块 voluptuous

可选，用于 Python 代码检查：

• Python 模块 flake8
• Python 模块 flake8-builtins
• Python 模块 flake8-import-order
• Python 模块 flake8-quotes
• Python 模块 mypy

运行

准备

由于 Repology 规则存在于单独的仓库中，你首先需要克隆它。位置可以是任意的，但默认配置文件指向 rules.d 子目录，因此使用它是最简单的方法。

git clone https://github.com/repology/repology-rules.git rules.d

配置

首先，您可能需要调整所有repology实用程序共享的设置，例如存储下载的存储库状态的目录或DSN（指定如何连接到PostgreSQL数据库的字符串）。查看repology.conf.default以了解默认值，在同一目录下创建repology.conf来覆盖它们（不要编辑repology.conf.default！），或通过REPOLOGY_SETTINGS环境变量指定替代配置的路径，或通过命令行覆盖设置。

默认情况下，repology使用./_state目录来存储原始和解析后的存储库数据，并在localhost上使用repology/repology/repology作为数据库/用户/密码。

创建数据库

对于以下步骤，您需要设置数据库。确保PostgreSQL服务器已启动并运行，然后执行以下命令为repology创建数据库：

psql --username postgres -c "CREATE DATABASE repology"
psql --username postgres -c "CREATE USER repology WITH PASSWORD 'repology'"
psql --username postgres -c "GRANT ALL ON DATABASE repology TO repology"
psql --username postgres --dbname repology -c "GRANT CREATE ON SCHEMA public TO PUBLIC"
psql --username postgres --dbname repology -c "CREATE EXTENSION pg_trgm"
psql --username postgres --dbname repology -c "CREATE EXTENSION libversion"

如果您想更改凭据，别忘了在repology.conf中添加实际的凭据。

填充数据库

请注意，Repology PostgreSQL数据库需要超过11GiB的磁盘空间，如果您决定运行完整的更新过程，还需要额外超过11GiB的空间用于存储原始和解析后的存储库数据。

选项1：使用转储

填充数据库最快和最简单的方法是使用主Repology实例的数据库转储：

curl -s https://dumps.repology.org/repology-database-dump-latest.sql.zst | unzstd | psql -U repology

选项2：完整更新

另一个选项是进行完整的更新过程，包括从头开始获取和解析所有存储库数据，并将其推送到数据库。

首先，初始化数据库架构：

./repology-update.py --initdb

请注意，此命令会删除Repology数据库中所有现有数据（如果有的话）。您只需运行此命令一次。

接下来，运行更新过程：

./repology-update.py --fetch --fetch --parse --database --postupdate

第一次运行可能需要几个小时，后续更新会更快。您可以使用相同的命令进行更新。以下是使用的选项的简要说明：

• --fetch告诉实用程序将原始存储库数据（下载文件、抓取网站、克隆git仓库）获取到状态目录中。注意需要指定两次以允许更新。
• --parse启用将下载的数据解析为内部格式，该格式也保存在状态目录中。
• --database将处理后的包数据推送到数据库。
• --postupdate运行可选的清理任务。

文档

• 如何扩展或修复包匹配的规则
• repology如何比较版本

作者

• Dmitry Marakasov amdmi3@amdmi3.ru

许可证

GPLv3或更高版本，请参阅COPYING。