BioLinkBERT-base

BioLinkBERT-base项目介绍

BioLinkBERT-base 是一个语言模型，主要用于生物医学领域的自然语言处理任务。该模型在权威生物医学文献库 PubMed 的摘要上进行了预训练，并结合了文献之间的引用链接信息。这个项目首次被介绍在论文LinkBERT: Pretraining Language Models with Document Links (ACL 2022)中，同时在 GitHub 仓库 提供了相关代码和数据。

模型描述

BioLinkBERT 是一种改进型的 BERT 模型，即 LinkBERT，通过结合文档的链接（例如超链接和引用链接）进行训练。这样能够帮助模型在多个文档之间捕捉跨文档的知识。简单来说，该模型不仅仅处理单个文档，还能通过链接将多个相关文档的内容结合起来进行训练。

LinkBERT 可以直接替换为 BERT 模型，特别是在某些知识密集型任务（如问答系统）和跨文档任务（如阅读理解、文档检索）中表现出色，同时也提高了一般语言理解任务（如文本分类）的性能。

用途及限制

BioLinkBERT 模型可以应用于多种任务，包括问答系统、序列分类和标记分类等。用户可以通过微调模型来适应不同的下游任务，或者利用该模型直接进行特征提取。

使用方法

若要在 PyTorch 中使用 BioLinkBERT 来获取文本特征，可以参考以下代码示例：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-base')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-base')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

要进行模型微调，可以使用该项目的GitHub 代码库或其他任何 BERT 微调的代码库。

评估结果

在微调后，LinkBERT 在多个生物医学基准测试中取得了优异成绩。例如，在 BLURB、MedQA-USMLE 和 MMLU 等测试中，BioLinkBERT-base 和 BioLinkBERT-large 都达到了当前的最新水平（state-of-the-art），其中 BioLinkBERT-large 在 MMLU-professional medicine 测试中尤为突出。

引用

如果在您的项目中使用了 LinkBERT，请引用以下文献：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}