cover-agent

Cover-Agent: 自动化测试生成的革新工具

Cover-Agent 是一个由 CodiumAI 开发的创新项目，旨在通过生成式人工智能技术来自动化和增强测试生成过程，特别是单元测试。这个工具的主要目标是提高代码覆盖率，同时简化开发人员的工作流程。Cover-Agent 不仅可以通过终端运行，未来还计划集成到流行的 CI 平台中，为开发团队提供更加便捷的测试解决方案。

核心功能

Cover-Agent 由几个关键组件构成，共同协作以实现高效的测试生成：

1. 测试运行器：负责执行命令或脚本来运行测试套件并生成代码覆盖率报告。
2. 覆盖率解析器：验证随着测试的添加，代码覆盖率是否有所提高，确保新增测试对整体测试效果有实质性贡献。
3. 提示构建器：从代码库中收集必要数据，构建传递给大型语言模型(LLM)的提示。
4. AI 调用器：与 LLM 交互，根据提供的提示生成测试。

安装与使用

要使用 Cover-Agent，用户需要满足以下前提条件：

• 设置 OPENAI_API_KEY 环境变量，用于调用 OpenAI API。
• 安装代码覆盖率工具，生成 Cobertura XML 格式的代码覆盖率报告。

Cover-Agent 提供了多种安装和运行方式：

1. 通过 pip 安装 Python 包：

   pip install git+https://github.com/Codium-ai/cover-agent.git
   

2. 下载独立可执行文件：从项目的 release 页面下载适合您系统的二进制文件。

3. 从源代码运行：克隆仓库后，使用 Poetry 安装依赖：

   poetry install
   

使用 Cover-Agent 生成和验证单元测试的基本命令如下：

cover-agent \
  --source-file-path "<源文件路径>" \
  --test-file-path "<测试文件路径>" \
  --code-coverage-report-path "<覆盖率报告路径>" \
  --test-command "<测试命令>" \
  --test-command-dir "<运行测试命令的目录>" \
  --coverage-type "<覆盖率报告类型>" \
  --desired-coverage <期望的覆盖率（0-100之间）> \
  --max-iterations <最大LLM迭代次数> \
  --included-files "<可选的包含文件列表>"

输出和日志

Cover-Agent 会生成以下输出文件：

• run.log：包含输出到 stdout 的日志副本。
• test_results.html：结果表格，包含每个生成测试的状态、失败原因（如果适用）、退出代码、stderr、stdout 和生成的测试内容。

此外，如果设置了 WANDB_API_KEY 环境变量，还可以将提示、响应和其他信息记录到 Weights and Biases 平台。

支持多种 LLM

Cover-Agent 使用 LiteLLM 与 OpenAI 和其他托管的 LLM 通信，支持超过 100 种 LLM。用户可以通过设置相应的环境变量并使用 --model 选项来指定不同的模型。

开发和贡献

Cover-Agent 是一个开源项目，欢迎社区成员参与开发和贡献。开发者可以通过运行测试、构建二进制文件等方式参与项目。项目的路线图包括增强测试生成能力、支持更多测试场景、改进可用性等方面。

结语

Cover-Agent 代表了自动化测试生成领域的一个重要进展。通过利用先进的 AI 技术，它为开发团队提供了一个强大的工具，帮助他们更高效地生成高质量的测试用例，从而提高软件的整体质量和可靠性。随着项目的不断发展和社区的贡献，Cover-Agent 有望成为软件开发流程中不可或缺的一部分。