最佳自然语言处理工具集合 - 实用AI工具推荐

自然语言处理

msmarco-MiniLM-L12-en-de-v1

msmarco-MiniLM-L12-en-de-v1

Github模型

基于MS MARCO的英德双语文本重排序模型

mdeberta-v3-base-kor-further

mdeberta-v3-base-kor-further

开源项目模型

基于韩语数据强化的多语言DeBERTa模型提升NLP任务性能

msmarco-MiniLM-L-6-v3

msmarco-MiniLM-L-6-v3

嵌入模型Github

基于BERT的句子编码模型实现文本语义向量化和相似度计算

cocodr-base-msmarco

cocodr-base-msmarco

向量相似度开源项目

零样本文本检索与分布鲁棒学习模型

ELYZA-japanese-Llama-2-7b-instruct

ELYZA-japanese-Llama-2-7b-instruct

日本语模型Github

Llama-2架构的日语大语言模型 支持双语对话和指令微调

roberta-base-CoLA

roberta-base-CoLA

分类任务TextAttack

RoBERTa模型在CoLA任务上的微调和性能分析

bigbird-roberta-base

bigbird-roberta-base

BigBird开源项目

高性能长序列文本处理的稀疏注意力Transformer模型

mformer-care

mformer-care

开源项目transformers

基于Transformers的多模态深度学习模型

sentence-camembert-large

sentence-camembert-large

文本相似度CamemBERT

基于CamemBERT的法语句子语义嵌入模型

Qwen2.5-72B-Instruct-AWQ

Qwen2.5-72B-Instruct-AWQ

transformers大语言模型

高性能量化开源大模型 支持多语言及长文本处理的人工智能助手

sentence-bert-base-italian-uncased

sentence-bert-base-italian-uncased

文本相似度Github

意大利语句向量模型 支持文本特征提取和语义相似度计算

roberta-base-squad2-distilled

roberta-base-squad2-distilled

roberta-base-squad2-distilledGithub

蒸馏版RoBERTa模型在SQuAD 2.0达到84% F1分数

gliner_multi-v2.1

gliner_multi-v2.1

多语言模型Huggingface

多语言命名实体识别模型兼顾灵活性与资源效率

AraBert-Arabic-Sentiment-Analysis

AraBert-Arabic-Sentiment-Analysis

机器学习Github

基于AraBERT的阿拉伯语情感分析模型实现80%分类准确率

Qwen1.5-7B-Chat

Qwen1.5-7B-Chat

语言模型开源项目

基于Transformer架构的多语言语言模型 支持32K上下文

rubert-tiny

rubert-tiny

模型压缩句向量

小型化俄英双语BERT模型支持多种自然语言处理任务

sup-simcse-ja-large

sup-simcse-ja-large

JSNLI日本语文本相似度

基于BERT的日语句向量模型与文本相似度分析工具

starcoder2-7b

starcoder2-7b

编程语言开源项目

支持17种编程语言的开源代码生成模型

bert-fa-base-uncased-sentiment-snappfood

bert-fa-base-uncased-sentiment-snappfood

ParsBERT自然语言处理

ParsBERT波斯语评论情感分析模型

bertweet-base-emotion-analysis

bertweet-base-emotion-analysis

机器学习Github

BerTweet英文情感分析模型集成EmoEvent语料库