顶级数据处理AI工具集合 | 提升效率与精确度

数据处理

menpo

menpo

MenpoPython

图像与网格数据的导入、操作和可视化工具

redun

redun

redunPython

以高效表达和增量计算为核心的多功能工作流引擎

pytorch_scatter

pytorch_scatter

PyTorch数据处理

优化分散操作的 PyTorch 扩展库

fondant

fondant

Fondant数据处理

旨在协同构建和共享数据集的开源数据框架

docta

docta

Docta数据健康

数据诊断与优化平台

examples

examples

Towhee数据处理

高效分析非结构化数据的开源示例

ChatGLM-LoRA-RLHF-PyTorch

ChatGLM-LoRA-RLHF-PyTorch

ChatGLM-LoRA-RLHF-PyTorch模型微调

使用LoRA和RLHF在消费者硬件上微调ChatGLM的详细指南

SmallLanguageModel-project

SmallLanguageModel-project

SmallLanguageModel数据处理

自主构建完整的语言模型,从数据采集到训练一步到位

dim

dim

dim开源数据管理

开源数据安装管理器,简化项目数据处理

voxelgpt

voxelgpt

VoxelGPTAI查询

自然语言驱动的计算机视觉数据查询插件

datachain

datachain

DataChainAI

帮助机器学习和AI工程师进行数据分析的数据框架库

neptune-client

neptune-client

neptune.ai实验跟踪

可伸缩的实验跟踪工具,简化团队基础模型训练

unstructured

unstructured

unstructured预处理工具

简化非结构化数据处理的开源工具

data-juicer

data-juicer

Data-Juicer多模态数据处理

大语言模型数据处理系统,提供多模态数据支持

awesome-mlops

awesome-mlops

MLOps自动化机器学习

多种自动化机器学习、数据处理、模型部署工具集合

pytorch_geometric

pytorch_geometric

PyTorch Geometric图神经网络

图形神经网络开发库

python-machine-learning-book-3rd-edition

python-machine-learning-book-3rd-edition

Python Machine Learningscikit-learn

Python与机器学习代码实例——从基础到高级应用

SheetGod

SheetGod

AI办公办公工具

AI智能转换,英语直接生成Excel公式与Google Appscript代码