Kotlin DataFrame 旨在通过利用 Kotlin 语言的全部功能和 Jupyter 笔记本以及 REPL 中间代码执行带来的机遇,来调和 Kotlin 的静态类型与数据的动态性质。
DataFrame
转换操作的链。每个操作都会返回一个新的 DataFrame
实例,尽可能重用底层存储。与 Kotlin kernel for Jupyter 集成。受 krangl、Kotlin Collections 和 pandas 启发。
探索文档了解更多细节。
您可以在那里找到以下文章:
在这个笔记本中查看下一个版本的新功能。
DataFrame 编译器插件已达到公共预览状态! 这里有一个演示项目可在 IntelliJ IDEA 2024.2 上运行。
implementation("org.jetbrains.kotlinx:dataframe:0.13.1")
可选的 Gradle 插 件,用于增强的类型安全和模式生成 https://kotlin.github.io/dataframe/schemasgradle.html
id("org.jetbrains.kotlinx.dataframe") version "0.13.1"
如果您不需要某些格式作为依赖项,请查看自定义设置页面,了解 Groovy 和特定于 Android 项目的配置。
import org.jetbrains.kotlinx.dataframe.* import org.jetbrains.kotlinx.dataframe.api.* import org.jetbrains.kotlinx.dataframe.io.*
val df = DataFrame.read("https://raw.githubusercontent.com/Kotlin/dataframe/master/data/jetbrains_repositories.csv") df["full_name"][0] // 索引 https://kotlin.github.io/dataframe/access.html df.filter { "stargazers_count"<Int>() > 50 }.print()
需要 Gradle 插件支持
id("org.jetbrains.kotlinx.dataframe") version "0.13.1"
插件会为提供的数据样本生成扩展属性 API。列名和类型在补全中可见。
// 确保将文件注解放在包指令之上 @file:ImportDataSchema( "Repository", "https://raw.githubusercontent.com/Kotlin/dataframe/master/data/jetbrains_repositories.csv", ) package example import org.jetbrains.kotlinx.dataframe.annotations.ImportDataSchema import org.jetbrains.kotlinx.dataframe.api.* fun main() { // 执行 `assemble` 以生成扩展属性 API val df = Repository.readCSV() df.fullName[0] df.filter { stargazersCount > 50 } }
安装 Kotlin kernel for Jupyter
将稳定版 dataframe
导入笔记本:
%use dataframe
或特定版本:
%use dataframe(<version>)
val df = DataFrame.read("https://raw.githubusercontent.com/Kotlin/dataframe/master/data/jetbrains_repositories.csv") df // 单元格中的最后一个表达式将被显示
当执行一个包含变量声明的单元格时,在下一个单元格中,DataFrame 将根据其数据提供扩展属性
df.filter { stargazers_count > 50 }
DataFrame
是一个具有等长度和不同名称的列表。DataColumn
是一个命名的值列表。可以是三种类型之一:
ValueColumn
- 包含数据ColumnGroup
- 包含列FrameColumn
- 包含数据帧让我们展示一下使用 DataFrame 进行数据清理和聚合管道的方式。
// 创建列 val fromTo by columnOf("伦敦_巴黎", "马德里_米兰", "伦敦_斯德哥尔摩", "布达佩斯_巴黎", "布鲁塞尔_伦敦") val flightNumber by columnOf(10045.0, Double.NaN, 10065.0, Double.NaN, 10085.0) val recentDelays by columnOf("23,47", null, "24, 43, 87", "13", "67, 32") val airline by columnOf("荷兰皇家航空(!)", "{法国航空} (12)", "(英国航空.)", "12. 法国航空", "'瑞士航空'") // 创建数据框 val df = dataFrameOf(fromTo, flightNumber, recentDelays, airline) // 打印数据框 df.print()
// 对列进行类型访问 // 在数据框转换过程中会出现 val origin by column<String>() val destination by column<String>() val clean = df // 填充缺失的航班号 .fillNA { flightNumber }.with { prev()!!.flightNumber + 10 } // 将航班号转换为整数 .convert { flightNumber }.toInt() // 清理'airline'列 .update { airline }.with { "([a-zA-Z\\s]+)".toRegex().find(it)?.value ?: "" } // 将'fromTo'列拆分为'origin'和'destination' .split { fromTo }.by("_").into(origin, destination) // 清理'origin'和'destination'列 .update { origin and destination }.with { it.lowercase().replaceFirstChar(Char::uppercase) } // 将'recentDelays'列中的延误列表拆分为单独的列 // 'delay1', 'delay2'...并嵌套在原始列'recentDelays'中 .split { recentDelays }.inward { "delay$it" } // 将'delay1', 'delay2'中的字符串值转换为整数 .parse { recentDelays }
clean // 按航班起点分组,重命名为"从" .groupBy { origin named "从" }.aggregate { // 我们在单个数据组的上下文中 // 从起点出发的航班总数 count() into "数量" // 航班号列表 flightNumber into "航班号" // 各航空公司的航班数 airline.valueCounts() into "航空公司" // 'delay1'和'delay2'中的最大延误 recentDelays.maxOrNull { delay1 and delay2 } into "重大延误" // 'delay1', 'delay2'和'delay3'的延误列表 recentDelays.implode(dropNA = true) into "最近延误" // 到各目的地的总延误 pivot { destination }.sum { recentDelays.colsOf<Int?>() } into "到目的地的总延误" }
在Datalore上查看,可以获得更好的视觉效果,了解层次化数据框的结构。
查看更多示例。
此表显示了主要库组件版本与最低支持的Java版本之间的映射。
Kotlin DataFrame版本 | 最低Java版本 | Kotlin版本 | Kotlin Jupyter版本 | OpenAPI版本 | Apache Arrow版本 |
---|---|---|---|---|---|
0.10.0 | 8 | 1.8.20 | 0.11.0-358 | 3.0.0 | 11.0.0 |
0.10.1 | 8 | 1.8.20 | 0.11.0-358 | 3.0.0 | 11.0.0 |
0.11.0 | 8 | 1.8.20 | 0.11.0-358 | 3.0.0 | 11.0.0 |
0.11.1 | 8 | 1.8.20 | 0.11.0-358 | 3.0.0 | 11.0.0 |
0.12.0 | 8 | 1.9.0 | 0.11.0-358 | 3.0.0 | 11.0.0 |
0.12.1 | 8 | 1.9.0 | 0.11.0-358 | 3.0.0 | 11.0.0 |
0.13.1 | 8 | 1.9.22 | 0.12.0-139 | 3.0.0 | 15.0.0 |
该项目及其相应社区受JetBrains开源和社区行为准则的约束。请务必阅读。
Kotlin DataFrame在Apache 2.0许可证下获得许可。