Kotlin DataFrame: 面向 JVM 的类型安全内存结构化数据处理

Kotlin DataFrame 旨在通过利用 Kotlin 语言的全部功能和 Jupyter 笔记本以及 REPL 中间代码执行带来的机遇,来调和 Kotlin 的静态类型与数据的动态性质。

分层 - 表示层次结构数据,如 JSON 或 JVM 对象树。
函数式 - 数据处理管道组织为 DataFrame 转换操作的链。每个操作都会返回一个新的 DataFrame 实例,尽可能重用底层存储。
可读 - 数据转换操作以接近自然语言的 DSL 定义。
实用 - 提供常见问题的简单解决方案,并具备执行复杂任务的能力。
极简 - 简单而强大的三种列类型的数据模型。
可互操作 - 可与 Kotlin 数据类和集合互转。
通用 - 可存储任意类型的对象,不仅限于数字或字符串。
类型安全 - 即时生成扩展属性,用于使用 Kotlin 风格的空安全进行类型安全数据访问。
多态 - 类型兼容性源自列模式兼容性。您可以定义一个函数,要求数据帧具有特定的列子集,而不关心其他列。

与 Kotlin kernel for Jupyter 集成。受 krangl、Kotlin Collections 和 pandas 启发。

文档

探索文档了解更多细节。

您可以在那里找到以下文章:

安装

implementation("org.jetbrains.kotlinx:dataframe:0.13.1")

可选的 Gradle 插件,用于增强的类型安全和模式生成 https://kotlin.github.io/dataframe/schemasgradle.html

id("org.jetbrains.kotlinx.dataframe") version "0.13.1"

如果您不需要某些格式作为依赖项,请查看自定义设置页面,了解 Groovy 和特定于 Android 项目的配置。

入门

import org.jetbrains.kotlinx.dataframe.*
import org.jetbrains.kotlinx.dataframe.api.*
import org.jetbrains.kotlinx.dataframe.io.*

val df = DataFrame.read("https://raw.githubusercontent.com/Kotlin/dataframe/master/data/jetbrains_repositories.csv")
df["full_name"][0] // 索引 https://kotlin.github.io/dataframe/access.html

df.filter { "stargazers_count"<Int>() > 50 }.print()

使用数据模式入门

需要 Gradle 插件支持

id("org.jetbrains.kotlinx.dataframe") version "0.13.1"

插件会为提供的数据样本生成扩展属性 API。列名和类型在补全中可见。

// 确保将文件注解放在包指令之上
@file:ImportDataSchema(
    "Repository",
    "https://raw.githubusercontent.com/Kotlin/dataframe/master/data/jetbrains_repositories.csv",
)

package example

import org.jetbrains.kotlinx.dataframe.annotations.ImportDataSchema
import org.jetbrains.kotlinx.dataframe.api.*

fun main() {
    // 执行 `assemble` 以生成扩展属性 API
    val df = Repository.readCSV()
    df.fullName[0]
    
    df.filter { stargazersCount > 50 }
}

在 Jupyter Notebook / Kotlin Notebook 中入门

安装 Kotlin kernel for Jupyter

将稳定版 dataframe 导入笔记本:

%use dataframe

或特定版本:

%use dataframe(<version>)

val df = DataFrame.read("https://raw.githubusercontent.com/Kotlin/dataframe/master/data/jetbrains_repositories.csv")
df // 单元格中的最后一个表达式将被显示

当执行一个包含变量声明的单元格时,在下一个单元格中,DataFrame 将根据其数据提供扩展属性

df.filter { stargazers_count > 50 }

数据模型

DataFrame 是一个具有等长度和不同名称的列表。
DataColumn 是一个命名的值列表。可以是三种类型之一:
- ValueColumn - 包含数据
- ColumnGroup - 包含列
- FrameColumn - 包含数据帧

语法示例

让我们展示一下使用 DataFrame 进行数据清理和聚合管道的方式。

// 创建列
val fromTo by columnOf("伦敦_巴黎", "马德里_米兰", "伦敦_斯德哥尔摩", "布达佩斯_巴黎", "布鲁塞尔_伦敦")
val flightNumber by columnOf(10045.0, Double.NaN, 10065.0, Double.NaN, 10085.0)
val recentDelays by columnOf("23,47", null, "24, 43, 87", "13", "67, 32")
val airline by columnOf("荷兰皇家航空(!)", "{法国航空} (12)", "(英国航空.)", "12. 法国航空", "'瑞士航空'")

// 创建数据框
val df = dataFrameOf(fromTo, flightNumber, recentDelays, airline)

// 打印数据框
df.print()

// 对列进行类型访问
// 在数据框转换过程中会出现
val origin by column<String>()
val destination by column<String>()

val clean = df
    // 填充缺失的航班号
    .fillNA { flightNumber }.with { prev()!!.flightNumber + 10 }

    // 将航班号转换为整数
    .convert { flightNumber }.toInt()

    // 清理'airline'列
    .update { airline }.with { "([a-zA-Z\\s]+)".toRegex().find(it)?.value ?: "" }

    // 将'fromTo'列拆分为'origin'和'destination'
    .split { fromTo }.by("_").into(origin, destination)

    // 清理'origin'和'destination'列
    .update { origin and destination }.with { it.lowercase().replaceFirstChar(Char::uppercase) }

    // 将'recentDelays'列中的延误列表拆分为单独的列
    // 'delay1', 'delay2'...并嵌套在原始列'recentDelays'中
    .split { recentDelays }.inward { "delay$it" }

    // 将'delay1', 'delay2'中的字符串值转换为整数
    .parse { recentDelays }

clean
    // 按航班起点分组,重命名为"从"
    .groupBy { origin named "从" }.aggregate {
        // 我们在单个数据组的上下文中

        // 从起点出发的航班总数
        count() into "数量"

        // 航班号列表
        flightNumber into "航班号"

        // 各航空公司的航班数
        airline.valueCounts() into "航空公司"

        // 'delay1'和'delay2'中的最大延误
        recentDelays.maxOrNull { delay1 and delay2 } into "重大延误"

        // 'delay1', 'delay2'和'delay3'的延误列表
        recentDelays.implode(dropNA = true) into "最近延误"

        // 到各目的地的总延误
        pivot { destination }.sum { recentDelays.colsOf<Int?>() } into "到目的地的总延误"
    }

在Datalore上查看,可以获得更好的视觉效果,了解层次化数据框的结构。

查看更多示例。

Kotlin、Kotlin Jupyter、OpenAPI、Arrow和JDK版本

此表显示了主要库组件版本与最低支持的Java版本之间的映射。

Kotlin DataFrame版本	最低Java版本	Kotlin版本	Kotlin Jupyter版本	OpenAPI版本	Apache Arrow版本
0.10.0	8	1.8.20	0.11.0-358	3.0.0	11.0.0
0.10.1	8	1.8.20	0.11.0-358	3.0.0	11.0.0
0.11.0	8	1.8.20	0.11.0-358	3.0.0	11.0.0
0.11.1	8	1.8.20	0.11.0-358	3.0.0	11.0.0
0.12.0	8	1.9.0	0.11.0-358	3.0.0	11.0.0
0.12.1	8	1.9.0	0.11.0-358	3.0.0	11.0.0
0.13.1	8	1.9.22	0.12.0-139	3.0.0	15.0.0