顶级数据处理AI工具集合 | 提升效率与精确度

数据处理

CyberChef

CyberChef

CyberChef数据处理

多功能网络数据处理与分析工具

remeda

remeda

RemedaTypeScript

TypeScript 专用的数据优先实用工具库

bigflow

bigflow

BigFlow数据处理

简化GCP数据流水线开发的高效Python框架

datatrove

datatrove

DataTrove数据处理

用于大规模文本数据处理和去重的开源Python库

okio

okio

OkioJava库

高效简化Java I/O操作的开源数据处理库

cookbook

cookbook

MistralAI模型

大型语言模型应用开发与优化实用指南

awesome-pipeline

awesome-pipeline

工作流管道

数据流水线工具集合 简化复杂工作流程

litdata

litdata

LitData数据处理

优化数据处理和流式传输工具 提升AI模型训练效率

ta

ta

技术分析Python

Python实现43种金融技术分析指标

pandas-ta

pandas-ta

Pandas TA技术分析

Python金融技术分析库 提供130多种指标和实用工具

tensordict

tensordict

TensorDictPyTorch

PyTorch张量集合操作的高效字典类工具

nushell

nushell

Nushell命令行工具

新一代跨平台结构化数据处理shell

pandarallel

pandarallel

Pandarallel并行计算

简化Pandas操作并行化的Python库

datafusion

datafusion

Apache DataFusion查询引擎

基于Apache Arrow的快速查询引擎 支持SQL和DataFrame API

polars

polars

Polars数据处理

多语言支持的高性能数据分析引擎

spring-batch

spring-batch

Spring Batch批处理框架

企业级批处理应用开发框架

llm-app-stack

llm-app-stack

LLM应用程序架构

全面的大语言模型应用开发资源集合

parquet-go

parquet-go

parquet-goGo语言库

Go语言高性能Parquet文件处理库

bacalhau

bacalhau

Bacalhau分布式计算

高效的分布式计算框架

pyntcloud

pyntcloud

pyntcloud3D点云

Python 3D点云处理库