AI-Scientist

<h1 align="center"> <a href="https://github.com/SakanaAI/AI-Scientist/blob/main/docs/logo_2.png"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/00f71ba3-3dac-42be-bb94-8d3a729c18d9.png" width="215" /></a> AI科学家：迈向全自动 开放式科学发现 🧑‍🔬 </h1> 📚 <a href="https://arxiv.org/abs/2408.06292">[论文]</a> | 📝 <a href="https://sakana.ai/ai-scientist/">[博客文章]</a> | 📂 <a href="https://drive.google.com/drive/folders/1G7A0wTqfXVa-cpexjk0oaXakaSJwffEt">[云端文件夹]</a>

人工智能的一个重大挑战是开发能够独立进行科学研究和发现新知识的智能体。虽然前沿模型已经被用来辅助人类科学家，例如进行头脑风暴或编写代码，但它们仍然需要大量的人工监督或严格限制在特定任务中。

我们很高兴推出AI科学家，这是第一个用于全自动科学发现的综合系统，使基础模型（如大型语言模型LLMs）能够独立进行研究。

我们在这里提供了论文中所有的实验运行和数据，我们对每个模板使用每个基础模型运行了约50个想法。我们强烈建议阅读一些Claude论文（尤其是扩散模型相关的），以了解其优势和劣势。以下是AI科学家生成的一些示例论文 📝：

注意：请谨慎！此代码库将执行LLM编写的代码。这种自主性伴随着各种风险和挑战。这包括使用潜在危险的软件包、网络访问和可能启动的进程等。请自行酌情使用。请确保适当地进行容器化和限制网络访问。

要求

安装

conda create -n ai_scientist python=3.11
conda activate ai_scientist

# LLM APIs
pip install anthropic[bedrock] aider-chat backoff openai
# 可视化
pip install matplotlib pypdf pymupdf4llm
# 安装pdflatex
sudo apt-get install texlive-full

# 通用要求
pip install torch numpy transformers datasets tiktoken wandb tqdm

API密钥

OpenAI API (GPT-4)

默认使用OPENAI_API_KEY环境变量。

Anthropic API (Claude Sonnet 3.5)

默认使用ANTHROPIC_API_KEY环境变量。

对于Amazon Bedrock提供的Claude模型，请指定一组有效的AWS凭证和目标AWS区域：

（必需）AWS_ACCESS_KEY_ID，AWS_SECRET_ACCESS_KEY，（可选）AWS_SESSION_TOKEN，AWS_DEFAULT_REGION

DeepSeek API (DeepSeek-Coder-V2)

默认使用DEEPSEEK_API_KEY环境变量。

OpenRouter API (Llama3.1)

默认使用OPENROUTER_API_KEY环境变量。

Semantic Scholar API (文献搜索)

我们的代码还可以选择使用Semantic Scholar API密钥（S2_API_KEY）以获得更高的吞吐量如果您有的话，虽然原则上不使用它也应该能正常工作。

确保为您的运行提供所使用模型的密钥，例如：

export OPENAI_API_KEY="您的密钥"
export S2_API_KEY="您的密钥"

设置NanoGPT

# 准备NanoGPT数据
python data/enwik8/prepare.py
python data/shakespeare_char/prepare.py
python data/text8/prepare.py

创建基准运行（取决于机器）

# 设置NanoGPT基准运行
# 注意：您必须先运行上面的准备脚本！
cd templates/nanoGPT && python experiment.py --out_dir run_0 && python plot.py

创建NanoGPT_lite基准运行。我们用它来进行健全性检查

# 注意：您必须先运行上面的准备脚本！
cd templates/nanoGPT_lite && python experiment.py --out_dir run_0 && python plot.py

设置2D扩散

# 设置2D扩散
git clone https://github.com/gregversteeg/NPEET.git
cd NPEET
pip install .
pip install scikit-learn

# 设置2D扩散基准运行
cd templates/2d_diffusion && python experiment.py --out_dir run_0 && python plot.py

设置顿悟

# 设置顿悟
pip install einops

# 设置顿悟基准运行
cd templates/grokking && python experiment.py --out_dir run_0 && python plot.py

运行AI科学家论文生成实验

**注意：**请确保完成上述设置步骤。

conda activate ai_scientist
# 运行论文生成。
python launch_scientist.py --model "gpt-4o-2024-05-13" --experiment nanoGPT_lite --num-ideas 2
python launch_scientist.py --model "claude-3-5-sonnet-20240620" --experiment nanoGPT_lite --num-ideas 2

获取LLM生成的论文评审

import openai
from ai_scientist.perform_review import load_paper, perform_review
client = openai.OpenAI()
model = "gpt-4o-2024-05-13"

# 从PDF文件加载论文（原始文本）
paper_txt = load_paper("report.pdf")
# 获取审核字典
review = perform_review(
    paper_txt,
    model,
    client,
    num_reflections=5,
    num_fs_examples=1,
    num_reviews_ensemble=5,
    temperature=0.1,
)

# 检查审核结果
review["Overall"]  # 总体评分1-10
review["Decision"]  # ['接受', '拒绝']
review["Weaknesses"]  # 缺点列表（字符串）

运行批量分析：

cd review_iclr_bench
python iclr_analysis.py --num_reviews 500  --batch_size 100 --num_fs_examples 1 --num_reflections 5 --temperature 0.1 --num_reviews_ensemble 5

创建自己的模板

如果你想让AI科学家探索某个研究领域，创建自己的模板应该很容易。通常，请遵循现有模板的结构，包括：

experiment.py -- 这是一个包含主要内容的单一文件。它接受一个out_dir参数，用于创建文件夹并保存运行的相关信息。
plot.py -- 这应该从run文件夹中获取信息并创建图表。代码应该清晰易编辑。
prompt.json -- 在此处放置有关模板的信息。
seed_ideas.json -- 在此处放置示例想法。你也可以尝试在没有任何示例的情况下生成想法，然后选择最好的一两个放在这里。
latex/template.tex -- 我们建议使用我们的latex文件夹，但请确保将预加载的引用替换为你预期更相关的引用。

模板资源

我们提供了3个模板，这些模板大量使用了其他仓库的代码，我们在下面对此表示感谢。（通常，我们会在文件本身中做这个，但不清楚这会如何影响AI科学家，因为它会是可见的）。

NanoGPT模板使用了NanoGPT和这个PR的代码。

2D扩散模板使用了tiny-diffusion、ema-pytorch和Datasaur的代码。

Grokking模板使用了Sea-Snell/grokking和danielmamay/grokking的代码。

我们要感谢这些开源模型和包的开发者们的贡献，以及他们公开分享自己的工作。

引用AI科学家

如果你在研究中使用了AI科学家，请按以下方式引用：

@article{lu2024aiscientist,
  title={The {AI} {S}cientist: Towards Fully Automated Open-Ended Scientific Discovery},
  author={Lu, Chris and Lu, Cong and Lange, Robert Tjarko and Foerster, Jakob and Clune, Jeff and Ha, David},
  journal={arXiv preprint arXiv:2408.06292},
  year={2024}
}