gelectra-large-germanquad

gelectra-large-germanquad 项目介绍

项目概述

语言模型: gelectra-large-germanquad
语言: 德语
训练数据: GermanQuAD 训练集 (约12MB)
评估数据: GermanQuAD 测试集 (约5MB)
代码示例: 可参见使用 Haystack 构建的抽取式问答管道示例。
使用基础设施: 1台 V100 GPU
发布时间: 2021年4月21日

项目详情

gelectra-large-germanquad 模型是一个为德语问答系统设计的模型。它使用 GermanQuAD 数据集，该数据集是一个全新且经过人工标注的德语数据集，可在线获取。

训练数据集仅单向标注，包含 11518 个问题和 11518 个答案。
测试数据集则进行了三路标注，包含 2204 个问题和 6536 个答案（去除 76 个错误答案后）。

更多详情及数据集下载可访问 here。

模型超参数

batch_size = 24
n_epochs = 2
max_seq_len = 384
learning_rate = 3e-5
lr_schedule = LinearWarmup
embeds_dropout_prob = 0.1

使用方法

在 Haystack 中

Haystack 是一个用于构建可定制生产级大语言模型应用程序的AI框架。用户可以在 Haystack 中使用 gelectra-large-germanquad 模型进行文档的抽取式问答。

from haystack import Document
from haystack.components.readers import ExtractiveReader

docs = [
    Document(content="Python is a popular programming language"),
    Document(content="python ist eine beliebte Programmiersprache"),
]

reader = ExtractiveReader(model="deepset/gelectra-large-germanquad")
reader.warm_up()

question = "What is a popular programming language?"
result = reader.run(query=question, documents=docs)

完整的抽取式问答管道示例请参考 Haystack 教程。

在 Transformers 中

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "deepset/gelectra-large-germanquad"

# 获取预测
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
    'question': 'Why is model conversion important?',
    'context': 'The option to convert models between FARM and transformers gives freedom to the user and let people easily switch between frameworks.'
}
res = nlp(QA_input)

# 加载模型和分词器
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)