bluebert_pubmed_mimic_uncased_L-12_H-768_A-12

项目介绍：BlueBert-Base, Uncased, PubMed 和 MIMIC-III

BlueBert是一个基于BERT模型，专门针对生物医学领域进行预训练的模型。它主要使用了来自PubMed的摘要和MIMIC-III的临床笔记进行训练，这两个数据源提供了丰富的生物医学文本数据，使得BlueBert能够更好地在医学相关的自然语言处理中表现。

模型描述

BlueBert是一款专门为处理生物医学文本而优化的BERT模型。与传统BERT不同的是，它使用了大量的医学文献和临床记录进行训练，从而在医学文本任务中展现出优异的性能。这些预训练的数据主要来自PubMed的摘要和MIMIC-III的临床笔记。

预期用途及限制

BlueBert主要用于处理生物医学的文本数据，如在医学文献中进行信息抽取、疾病分类等任务。通过访问其GitHub页面，用户可以获取详细的使用说明和工具支持：BlueBert GitHub 页面。

训练数据

BlueBert使用了经过预处理的PubMed文本和MIMIC-III数据进行训练。特别是PubMed数据集包含了约4000万个单词，都是从ASCII编码版的PubMed中提取出来的。通过这样的训练数据，BlueBert能够在医学文本处理任务中提供准确和高效的服务。

训练过程

训练数据在处理过程中进行了以下步骤：

将文本转为小写
去除特殊字符（范围为\x00-\x7F）
使用NLTK的Treebank分词器进行文本分词

下面是一个简单的代码示例，展示如何进行数据处理：

value = value.lower()
value = re.sub(r'[\r\n]+', ' ', value)
value = re.sub(r'[^\x00-\x7F]+', ' ', value)

tokenized = TreebankWordTokenizer().tokenize(value)
sentence = ' '.join(tokenized)
sentence = re.sub(r"\s's\b", "'s", sentence)

引用信息

如果需要引用这个项目的研究，可以参考以下的BibTeX条目：

@InProceedings{peng2019transfer,
  author    = {Yifan Peng and Shankai Yan and Zhiyong Lu},
  title     = {Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets},
  booktitle = {Proceedings of the 2019 Workshop on Biomedical Natural Language Processing (BioNLP 2019)},
  year      = {2019},
  pages     = {58--65},
}