最佳自然语言处理工具集合 - 实用AI工具推荐

自然语言处理

mistral-common

mistral-common

Mistral Commontokenization

Mistral模型工具集,高级分词器和API验证解决方案

ColBERT

ColBERT

ColBERT信息检索

基于BERT的快速大规模文本检索模型

fairseq2

fairseq2

fairseq2序列建模

先进序列建模工具包 支持多任务自定义模型训练

semchunk

semchunk

semchunk文本分块

快速准确的文本语义分块Python库

byt5

byt5

ByT5语言模型

字节级预训练语言模型开启无词元化时代

mteb

mteb

MTEB文本嵌入

多任务文本嵌入模型评估基准

starcoder2

starcoder2

StarCoder 2代码生成模型

先进的多语言代码生成模型家族

LLM-Workshop

LLM-Workshop

LLM人工智能

大语言模型实践与应用工作坊

Awesome-Foundation-Models

Awesome-Foundation-Models

基础模型多模态

视觉语言基础模型精选资源库

LLM-Reading-List

LLM-Reading-List

LLMTransformer

大语言模型技术与优化方法的综合阅读列表

OpenChatKit

OpenChatKit

OpenChatKitAI模型

强大的开源对话模型开发工具包

nxtp

nxtp

Object RecognitionAI视觉

基于下一标记预测的创新物体识别技术

AutoAct

AutoAct

AutoAct自然语言处理

自主规划驱动的智能体学习框架

Eurus

Eurus

EurusLLM

专注推理能力的开源大语言模型套件

ParlAI

ParlAI

ParlAI对话研究

全面的开源对话研究与开发平台

InstructUIE

InstructUIE

InstructUIE信息提取

基于Flan T5的统一信息抽取指令微调框架

WebCPM

WebCPM

WebCPM自然语言处理

交互式网络搜索的中文长答案生成系统

m2

m2

Monarch MixerM2-BERT

子二次GEMM架构Monarch Mixer实现高效语言模型

RedPajama-Data

RedPajama-Data

RedPajama-Data-v2大语言模型

开放大规模多语言数据集助力大型语言模型训练

Awesome-Text-to-Image

Awesome-Text-to-Image

文生图AI绘画

全面收录文本到图像生成与编辑技术资源