albert-large-v2

ALBERT预训练模型采用英语，具有层权重共享特性，减少内存占用同时提升效率。其自监督语言学习通过掩码语言建模和句子顺序预测实现，适合用于序列和标记分类等任务。第二版模型采用更多训练数据和优化，性能优于初版。模型包含24层、128维嵌入、1024隐藏层及16个注意力头，适合掩码语言建模或句子预测，并需通过微调匹配特定任务需求。