can-ai-code 入门学习资料 - AI编码能力自评测项目

can-ai-code 入门学习资料 - AI编码能力自评测项目

can-ai-code 是一个用于评估 AI 模型编码能力的自评测项目。它通过让 AI 模型接受人类编写的编程面试题,来测试 AI 的实际编码水平。如果你对 AI 编码能力感兴趣,can-ai-code 是一个值得关注的开源项目。本文将介绍该项目的核心内容和相关学习资源,帮助读者快速上手这个有趣的 AI 编码评测工具。

项目简介

can-ai-code 主要包含以下几个核心内容:

1. 由人类编写的编程面试题目
2. 用于各种 API 和 CUDA 量化运行时的推理脚本
3. 基于 Docker 的沙箱环境,用于验证 Python 和 NodeJS 代码
4. 评估提示技术和采样参数对 LLM 编码性能的影响
5. 评估量化对 LLM 编码性能的影响

项目地址: https://github.com/the-crypt-keeper/can-ai-code

测试套件

can-ai-code 目前包含两个主要的测试套件:

1. junior-v2: 包含 12 个多语言(Python, JavaScript)测试,用于评估小型 LLM 的编码性能。

2. humaneval: 包含 164 个仅 Python 的测试,由 OpenAI 创建。can-ai-code 提供了准备和执行 humaneval 面试的模板脚本。

项目结构

can-ai-code 的仓库结构如下:

• junior-v2/*.yaml: 初级程序员面试题(稳定版)
• senior/*.yaml: 高级程序员面试题(开发中)
• prompts/*.txt: 各种模型的 LLM 提示模板
• prepare.py: 将模板应用于问题,生成适合面试的特定语言和模型的提示
• params/*.json: 采样超参数集(所有面试脚本都使用)
• interview-*.py: 面试脚本
• evaluate.py: 在沙箱中运行生成的代码并对每个答案进行评分
• app.py: 用于探索结果的 Streamlit webapp
• compare.py: 执行评估之间的比较,可选择调用 LLM 进行分析
• compare-app.py: 用于探索比较的 Streamlit webapp

如何使用

1. 克隆项目仓库:

   git clone https://github.com/the-crypt-keeper/can-ai-code.git
   

2. 安装依赖:

   pip install -r requirements.txt
   

3. 准备面试问题:

   python prepare.py
   

4. 运行面试:

   python interview-<runtime>.py
   

5. 评估结果:

   python evaluate.py
   

6. 查看结果:

   streamlit run app.py
   

相关资源

1. 项目 GitHub 仓库: https://github.com/the-crypt-keeper/can-ai-code

2. 排行榜: https://huggingface.co/spaces/mike-ravkine/can-ai-code-results

3. 比较结果: https://huggingface.co/spaces/mike-ravkine/can-ai-code-compare

4. HumanEval 基准测试结果: https://github.com/my-other-github-account/llm-humaneval-benchmarks

通过 can-ai-code 项目,我们可以深入了解 AI 模型的编码能力,探索不同提示技术和参数设置对 AI 编码性能的影响。无论你是 AI 研究者还是对 AI 编码感兴趣的开发者,can-ai-code 都是一个值得尝试和学习的优秀开源项目。

希望这份入门指南能帮助你快速上手 can-ai-code 项目。如果你在使用过程中遇到任何问题,欢迎查阅项目文档或在 GitHub 仓库中提出 issue。祝你探索 AI 编码的旅程愉快! 🚀💻🤖