知识蒸馏工具合集:提升模型效率与性能的关键工具与资源

jina-reranker-v1-tiny-en

jina-reranker-v1-tiny-en

reranker模型

快速文本重排序解决方案,支持最长8192个token处理

bert_uncased_L-12_H-512_A-8

bert_uncased_L-12_H-512_A-8

紧凑模型开源项目

小型BERT模型适用于有限计算资源的高效预训练

chinese-roberta-wwm-ext-large

chinese-roberta-wwm-ext-large

BERT开源项目

中文自然语言处理的全词掩码预训练模型

bert_uncased_L-12_H-768_A-12

bert_uncased_L-12_H-768_A-12

紧凑模型BERT

BERT迷你模型优化低资源环境下的应用

bert_uncased_L-8_H-256_A-4

bert_uncased_L-8_H-256_A-4

计算资源预训练

24种BERT小模型为计算资源有限的研究环境提供支持

jina-reranker-v1-turbo-en

jina-reranker-v1-turbo-en

Github模型

高速文本重排序方案,专为长文本和搜索优化设计

sentence-bert-swedish-cased

sentence-bert-swedish-cased

Githubsentence-transformers

瑞典句子变换模型,多语言句子嵌入优化

tct_colbert-v2-hnp-msmarco

tct_colbert-v2-hnp-msmarco

知识蒸馏密集检索

TCT-ColBERT-V2 模型的变体再现与知识蒸馏整合

bert_uncased_L-2_H-512_A-8

bert_uncased_L-2_H-512_A-8

计算资源模型训练

小型BERT模型在资源受限环境中的表现及应用策略

distilbert-dot-tas_b-b256-msmarco

distilbert-dot-tas_b-b256-msmarco

知识蒸馏文本检索

基于平衡主题感知采样的高效密集检索方案

distilrubert-small-cased-conversational

distilrubert-small-cased-conversational

模型压缩知识蒸馏

小型化俄语对话模型提升推理速度

bert_uncased_L-4_H-512_A-8

bert_uncased_L-4_H-512_A-8

模型BERT

BERT小型模型为资源受限环境提供高效自然语言处理解决方案

bert_uncased_L-4_H-256_A-4

bert_uncased_L-4_H-256_A-4

模型BERT

精简BERT模型系列适用于计算资源受限场景

bert-medium

bert-medium

模型BERT

BERT中型变体模型用于高效下游任务训练

SSD-1B

SSD-1B

模型开源项目

轻量高效的Stable Diffusion文图生成模型

InternViT-300M-448px

InternViT-300M-448px

知识蒸馏Huggingface

动态分辨率视觉模型提供高效特征提取和OCR功能

distilrubert-base-cased-conversational

distilrubert-base-cased-conversational

模型压缩知识蒸馏

经过蒸馏的俄语对话模型 提升速度减少参数

SuperNova-Medius-GGUF

SuperNova-Medius-GGUF

语言模型模型

跨架构蒸馏技术打造的14B参数高性能语言模型

distilbert-onnx

distilbert-onnx

模型DistilBERT

DistilBERT模型在SQuAD问答任务上的ONNX转换优化

distilbert-base-cased-distilled-squad

distilbert-base-cased-distilled-squad

模型Github

DistilBERT问答模型 轻量快速接近BERT性能