最佳自然语言处理工具集合 - 实用AI工具推荐

自然语言处理

LaBSE

LaBSE

语义嵌入Huggingface

多语言共享向量空间映射的强大工具

ms-marco-MiniLM-L-2-v2

ms-marco-MiniLM-L-2-v2

Cross-EncoderHuggingface

基于MS Marco训练的跨编码器模型实现高效文本排序

faster-whisper-tiny

faster-whisper-tiny

faster-whisperWhisper

CTranslate2格式Whisper小型模型实现多语言语音识别

trocr-large-printed

trocr-large-printed

光学字符识别模型

基于Transformer的大规模印刷文本OCR模型

xlm-r-bert-base-nli-stsb-mean-tokens

xlm-r-bert-base-nli-stsb-mean-tokens

模型句子嵌入

XLM-RoBERTa句子嵌入模型支持多语言语义相似度和文本聚类

falcon-40b-instruct

falcon-40b-instruct

语言模型Huggingface

40B参数规模的开源指令型语言模型

DialoGPT-large

DialoGPT-large

模型DialoGPT

突破性的多轮对话AI模型

dpr-question_encoder-multiset-base

dpr-question_encoder-multiset-base

DPRHuggingface

多数据集训练的DPR问题编码器助力开放域问答

pegasus-xsum

pegasus-xsum

ROUGE评分Huggingface

高效文本摘要生成模型

msmarco-distilbert-cos-v5

msmarco-distilbert-cos-v5

模型模型训练

用于语义搜索的句子向量化模型

gpt-neo-2.7B

gpt-neo-2.7B

模型Github

EleutherAI开发的27亿参数GPT-Neo语言模型展现多任务处理能力

InternVL2-2B

InternVL2-2B

模型多模态大语言模型

多模态大语言模型支持多语言及多媒体理解

msmarco-MiniLM-L6-cos-v5

msmarco-MiniLM-L6-cos-v5

模型语义搜索

针对语义搜索的384维句子嵌入模型

wav2vec2-large-xlsr-53-th

wav2vec2-large-xlsr-53-th

模型Common Voice

基于Common Voice数据集微调的泰语语音识别模型

gemma-2-9b

gemma-2-9b

模型人工智能

Google推出的轻量级开源大语言模型适用于资源有限环境

t5-11b

t5-11b

模型Github

统一框架下的多语言文本转换模型

Qwen2-1.5B-Instruct

Qwen2-1.5B-Instruct

模型Github

性能卓越的开源指令调优语言模型

MiniLM-evidence-types

MiniLM-evidence-types

模型模型训练

MiniLM模型在证据类型分类任务上的应用与性能

vram-80

vram-80

transformersHuggingface

优化大型语言模型微调的开源工具

ClinicalBERT

ClinicalBERT

预训练语言模型模型

医疗领域专用BERT模型助力临床文本分析