最佳Github AI工具与开源项目集锦

embetter

embetter

embetter嵌入

提供简洁易用的文本和图像嵌入模型集成工具

minisora

minisora

MiniSora开源社区

致力探索AI视频生成技术的开源社区

data_management_LLM

data_management_LLM

大语言模型训练数据管理

大型语言模型训练数据管理资源汇总

Pandora

Pandora

Pandora世界模型

自然语言控制的视频生成世界模型

Megatron-DeepSpeed

Megatron-DeepSpeed

Megatron-DeepSpeed分布式训练

分布式训练框架助力大规模语言模型预训练

biomedical

biomedical

BigBIO生物医学数据集

生物医学数据集库促进机器学习研究

textgen

textgen

文本生成模型训练

文本生成库实现多种模型,支持大模型微调和推理

BioGPT

BioGPT

BioGPT自然语言处理

预训练Transformer模型为生物医学文本提供强大工具

chatgpt-web

chatgpt-web

ChatGPTAPI

开源ChatGPT网页应用 支持双模型和多功能

rank_bm25

rank_bm25

BM25搜索引擎

Python实现的BM25文本检索算法库

text_blind_watermark

text_blind_watermark

文本盲水印隐写技术

文本盲水印嵌入与提取工具

schedule_free

schedule_free

Schedule-Free Learning优化器

自适应训练优化器,无需预设停止时间

C-Tran

C-Tran

图像分类Transformers

Transformer在多标签图像分类中的应用

editor

editor

textlint浏览器

隐私优先的浏览器文本校对工具

memory_profiler

memory_profiler

内存分析Python

Python内存剖析与优化利器

MatmulTutorial

MatmulTutorial

MatMulCUDA

CUDA矩阵乘法内核设计与性能优化实例

pytorch_memlab

pytorch_memlab

pytorch_memlabCUDA

PyTorch CUDA内存分析与优化工具

pybind11-stubgen

pybind11-stubgen

pybind11-stubgenPython扩展

自动生成Python扩展模块类型存根文件的开源工具

zero-bubble-pipeline-parallelism

zero-bubble-pipeline-parallelism

Zero BubblePipeline Parallelism

流水线并行算法创新 实现零气泡和内存优化

NeMo-Aligner

NeMo-Aligner

NVIDIANeMo-Aligner

NVIDIA开发的大规模语言模型对齐工具包