Darwin

Darwin 项目介绍

Darwin是一个专门为科学领域打造的开源项目，旨在通过预训练和微调LLaMA模型，在科学文献和数据集上发挥更大效用。该项目特别关注材料科学、化学和物理学领域，通过整合结构化和非结构化的科学知识，提升语言模型在科学研究中的有效性。

背景与机构

Darwin项目由新南威尔士大学AI4Science与GreenDynamics AI合作开展。为了更好地推动科学发现，Darwin利用大型语言模型（LLMs），作为科学领域探索的一个重要组成部分。该项目当前只授权用于研究目的，并遵循CC BY NC 4.0非商业用途许可协议。

最新进展

• **2024年2月15日：**Darwin在MatBench上的材料项目任务中取得了SOTA（最新技术）成绩，超过了微调的GPT3.5和专用的机器学习模型。
• **2023年9月15日：**Google Colab版本发布，用户可以通过提供的inference.ipynb链接体验Darwin。

模型概况

Darwin基于7B参数的LLaMA模型，训练数据量超过100,000个指令序列，这些数据由Darwin科学指令生成器（SIG）生成，来源于多种科学FAIR数据集和文献语料库。初步的人类评估指出，Darwin 7B在科学问答和化学问题解决方面优于GPT-4和微调的GPT-3。

使用方法

Darwin模型安装简单，只需通过下载和设置相应的权重文件以及必要的环境即可开始测试。值得注意的是，运行Darwin 7B模型至少需要10GB的GPU内存。

微调指南

为了对Darwin-7B进行进一步的微调，用户可基于不同的数据集进行训练。官方提供了示例命令，可以在配备4个A100 80G的GPU机器上运行。

数据集信息

Darwin的数据主要来源于两个部分：

• 包含600万篇关于材料科学、化学和物理学的文献，出版商包括ACS、RSC、Springer Nature、Wiley和Elsevier。
• 16个FAIR数据集。

此外，开发团队还通过Darwin-SIG生成科学指令，并生成基于科学文献关键词的问答数据。

项目作者与贡献者

Darwin是多位学者和研究机构合作的成果，包括来自UNSW和GreenDynamics的研究人员。项目还受到UNSW工程学院专家的指导与建议。

致谢与参与邀请

项目参考了多个开源项目，包括Meta LLaMA、Stanford Alpaca和gptchem，还感谢NCI Australia提供的高性能计算支持。Darwin项目团队也在不断扩大，鼓励更多人加入这一有趣的科技研究旅程。实验室还开放博士及博士后职位应聘。

有关职位或者合作机会的详细信息，请访问GreenDynamics官网或者直接联系相关人员。