BioLORD-2023-M

BioLORD-2023-M项目简介

BioLORD-2023-M是一个现代生物医学模型，它通过一种名为BioLORD的全新预训练策略开发而成，旨在为临床句子和生物医学概念提供有意义的表示形式。此模型的诞生是为了克服现有技术在处理生物医学名称时可能产生非语义表示的问题。

项目背景

现有的方法通常通过最大化相同概念名字的相似性来实现，同时通过对比学习来避免表示的塌陷。然而，这些生物医学名称并非总是自明的，这可能导致一些非语义的表述形式的产生。为解决此问题，BioLORD通过使用定义和从生物医学本体多关系知识图谱中提取的简短描述来为其概念表示奠定基础。得益于这些基础，模型可以生成更加语义化的概念表示，能够更好地符合本体的层级结构。

BioLORD-2023-M的优势

BioLORD-2023-M设立了临床句子（MedSTS）和生物医学概念（EHR-Rel-B）文本相似性的新标杆。该模型基于sentence-transformers/all-mpnet-base-v2，并经过进一步的微调，使用了BioLORD-Dataset和自动生成的临床术语定义集AGCT-Dataset。此模型正式支持7种欧洲语言（英语、西班牙语、法语、德语、荷兰语、丹麦语和瑞典语），非正式地支持多种其他语言。

兄弟模型

除了BioLORD-2023-M，此系列还包括其他相关模型：

BioLORD-2023：最优单语英语模型。
BioLORD-2023-S：单语英语模型，无模型平均。
BioLORD-2023-C：仅进行对比训练的单语英语模型。

训练策略

BioLORD-2023-M的训练策略可以分为三个阶段。首先是对比阶段，使用对比学习方法强化句子和概念的语义表示。随后是自蒸馏阶段，进一步调整模型以更好地适应多语言环境。在训练过程中，模型通过细致的优化与迭代，不断提高其在语义分析上的表现。

使用方法

BioLORD-2023-M通过sentence-transformers库，使得用户可以轻松将句子或段落映射到768维的密集向量空间，便于执行聚类或语义搜索任务。它特别适合处理医疗文档如电子病历或临床笔记。用户可以通过安装sentence-transformers，简单调用模型进行嵌入处理。此外，该模型还可以通过transformers库进行使用。