文件系统

• 1.本地文件系统

  • 1.1 内核文件系统

  • 1.2 用户空间文件系统

  • 1.3 崩溃一致性

    • 1.3.1 文件系统检查器

    • 1.3.2 其他

  • 1.4 碎片化

  • 1.5 多核/众核可扩展性

• 2.分布式文件系统

  • 2.1 通用文件系统

  • 2.2 大数据

  • 2.3 高性能计算

    • 2.3.2 并行文件系统

    • 2.3.1 突发缓冲文件系统

  • 2.4 云计算

  • 2.5 人工智能

    • 2.5.1 存储领域的人工智能应用

  • 2.6 数据分布

  • 2.7 元数据管理

  • 2.8 容错

    • 2.8.1 复制

    • 2.8.2 纠删码

  • 2.9 硬件优化

• 3.其他主题

  • 3.1 数据减少

    • 3.1.1 数据去重

  • 3.2 安全性

• 4.综述

• 5.分析

• 6.对象存储

• 7.新型硬件

本地文件系统

内核文件系统

Linux文件系统，https://www.kernel.org/doc/html/latest/filesystems

[1974 CACM] 旧UNIX文件系统：UNIX时间共享系统。[PDF]

[1984 TOCS] FFS：UNIX的快速文件系统。[PDF]

[1986 USENIX Summer] Vnodes：Sun UNIX中多文件系统类型的架构。[PDF]

[1991 USENIX Winter] UNIX文件系统的类Extent性能。[PDF]

[1991 SOSP] LFS：日志结构文件系统的设计与实现。[PDF]

[1993 USENIX Winter] UNIX日志结构文件系统的实现。[PDF]

[1995] 第二扩展文件系统的设计与实现。[PDF]

[1996 ATC] XFS文件系统的可扩展性。[PDF]

[1998 LinuxExpo] ext3：Linux ext2文件系统的日志功能。[PDF]

[2001 Ottawa linux symposium] JFFS：日志闪存文件系统。[PDF]

[2003 FAST] ZFS：ZB级文件系统。[PDF]

[2006 SIGOPS Operating Systems Review] NILFS：Linux日志结构文件系统的实现。[PDF]

[2007] 新的ext4文件系统：当前状态和未来计划。[PDF]

[2013 TOS] BTRFS：Linux B树文件系统。[PDF]

[2015 FAST] F2FS：面向闪存存储的新型文件系统。[PDF] [幻灯片]

[2019 ATC] EROFS：面向资源受限设备的压缩友好只读文件系统。[PDF] [幻灯片]

[2020 VAULT] zonefs：将POSIX文件系统接口映射到原始分区块设备访问。[幻灯片]

用户空间文件系统

FUSE：用户空间文件系统，https://github.com/libfuse/libfuse

[2004 ATC] Wayback：Linux的用户级版本控制文件系统。[PDF]

[2010 SAC] 用户空间文件系统的性能和扩展。[PDF]

[2010 MSST] LTFS：线性磁带文件系统。[PDF] [代码]

[2011 EuroSys] 使用Re-FUSE拒绝崩溃。[PDF]

[2013 ATC] TABLEFS：提高本地文件系统中元数据的效率。[PDF]

[2015 HotStorage] 未知领域：用户空间文件系统的实用性。[PDF] [幻灯片]

[2016 FAST] 组合文件文件系统：解耦文件与元数据的一对一映射以提高性能。[PDF] [幻灯片] [2017 FAST] 使用还是不使用FUSE：用户空间文件系统的性能。[PDF] [幻灯片]

[2018 ROSS] Direct-FUSE：移除中间层以实现高性能FUSE文件系统支持。[PDF] [代码]

[2019 TOS] FUSE用户空间文件系统的性能和资源利用。[PDF]

[2019 ATC] ExtFUSE: 用户空间文件系统的扩展框架。[PDF] [幻灯片]

[2021 ATC] XFUSE：在用户空间运行文件系统服务的基础设施。[PDF] [幻灯片]

[2022 TOS] DEFUSE：快速且正确的用户空间文件系统访问接口。[PDF]

[2024 FAST] RFUSE：通过可扩展的内核-用户空间通信现代化用户空间文件系统框架。[PDF] [幻灯片]

崩溃一致性

文件系统检查器

[1983] Fsck − UNIX文件系统检查程序。[PDF]

[2008 OSDI] SQCK：声明式文件系统检查器。[PDF]

[2013 FAST] ffsck：快速文件系统检查器。[PDF]

[2018 TOS] 构建健壮的文件系统检查器。[PDF]

[2021 FAST] pFSCK：加速现代存储的文件系统检查和修复。[PDF]

其他

[2012 FAST] 无序一致性。[PDF] [幻灯片] [代码]

[2013 SOSP] 乐观崩溃一致性。[PDF] [幻灯片] [代码]

[2017 TOS] CCFS的应用崩溃一致性和性能。[PDF]

碎片化

[2016 HotStorage] 移动存储系统中文件系统碎片化的实证研究。[PDF] [幻灯片]

[2017 FAST] 文件系统注定会衰老？科学说不是！ [PDF] [幻灯片]

[2017 ATC] 使用解耦碎片整理器提高移动存储系统的文件系统性能。[PDF] [幻灯片]

[2024 FAST] 我们不怕任何文件碎片：现代闪存固态硬盘性能影响的原因及预防。[PDF] [幻灯片]

多核/众核可扩展性

[2016 ATC] 理解文件系统的众核可扩展性。[PDF] [幻灯片]

[2017 SOSP] ScaleFS: 使用操作日志将文件系统扩展到多个核心。[PDF]

[2022 FAST] ScaleXFS：重获XFS的可扩展性。[PDF]

分布式文件系统

通用文件系统

[1985] Sun网络文件系统的设计与实现。[PDF]

[1987 SOSP & 1988 TOCS] AFS: 分布式文件系统中的规模和性能。[PDF]

[1993 SOSP & 1995 TOCS] Zebra条纹网络文件系统。[PDF] [博士论文]

[2003 MSST] zFS - 使用对象磁盘的可扩展分布式文件系统。[PDF] [幻灯片]

[2006 OSDI] Ceph：一个可扩展、高性能的分布式文件系统。[PDF]

[2007 SC] RADOS：面向PB级存储集群的可扩展、可靠的存储服务。[PDF]

[2007 博士论文@UCSC] Ceph：可靠、可扩展和高性能的分布式存储。[PDF]

[2011 ATC] TidyFS：一个简单小巧的分布式文件系统。[PDF] [幻灯片] [2019 SOSP] 文件系统不适合作为分布式存储后端：Ceph演进10年的经验教训。[PDF] [幻灯片]

大数据

[2003 SOSP] GFS: Google文件系统。[PDF]

[2010 MSST] HDFS: Hadoop分布式文件系统。[PDF] [幻灯片]

[2013 VLDB] QFS: Quantcast文件系统。[PDF] [代码]

[2021 FAST] Facebook的Tectonic文件系统：从Exascale获得效率。[PDF]

[2023 FAST] 不仅仅是容量：阿里巴巴盘古系统的性能导向演进。[PDF] [视频]

高性能计算（HPC）

并行文件系统

[2000] PVFS：Linux集群的并行文件系统。[PDF]

[2002 FAST] GPFS：大型计算集群的共享磁盘文件系统。[PDF]

[2003] Lustre：构建1000节点集群的文件系统。[PDF]

[2008 FAST] Panasas并行文件系统的可扩展性能。[PDF]

突发缓冲文件系统

[2009 SC] PLFS：并行应用程序的检查点文件系统。[PDF] [代码]

[2016 SC] BurstFS: 科学应用的临时突发缓冲文件系统。[PDF]

[2018 CLUSTER & 2020 JCST] GekkoFS – HPC应用的临时分布式文件系统。[CLUSTER PDF] [JCST PDF] [代码]

[2020 JCST] Gfarm/BB — 用于节点本地突发缓冲的Gfarm文件系统。[PDF] [代码]

[2022 HPCAsia] CHFS：用于节点本地持久性内存的并行一致性哈希文件系统。[PDF] [代码]

[2023 FAST] HadaFS：为Exascale超级计算机桥接本地和共享突发缓冲的文件系统。[PDF] [视频]

[2023 IPDPS] UnifyFS：用于统一访问分布式本地存储的用户级共享文件系统。[PDF] [代码] [相关幻灯片]

云计算

[2018 VLDB] PolarFS：共享存储云数据库的超低延迟和故障弹性分布式文件系统。[PDF]

[2019 SIGMOD] CFS：大规模容器平台的分布式文件系统。[PDF]

人工智能

用于存储的AI

[2021 FAST] 使用CACHEUS学习缓存替换。[PDF] [幻灯片]

[2023 FAST] GL-Cache：高效高性能缓存的组级学习。[PDF] [幻灯片] [代码]

[2024 FAST] Baleen：闪存缓存的机器学习准入和预取。[PDF] [幻灯片] [代码] [数据集]

数据分布

[1997 STOC] 一致性哈希和随机树：缓解万维网热点的分布式缓存协议。[PDF]

[2006 SC] CRUSH：复制数据的可控、可扩展、分散化放置。[PDF]

[2020 FAST] MAPX：分散化对象存储系统扩展中的受控数据迁移。[PDF]

元数据管理

[2003 MSST] 大型分布式存储系统中的高效元数据管理。[PDF] [幻灯片]

[2004 SC] PB级文件系统的动态元数据管理。[PDF]

[2011 FAST] GIGA+的规模和并发性：包含数百万文件的文件系统目录。[PDF]

[2014 SC] IndexFS：通过无状态缓存和批量插入扩展文件系统元数据性能。[PDF] [幻灯片]

[2015 FAST] CalvinFS：分布式文件系统的一致WAN复制和可扩展元数据管理。[PDF] [2015 SoCC] ShardFS 与 IndexFS：云存储系统中分布式元数据管理的复制与缓存策略对比。[PDF]

[2015 PDSW] DeltaFS：无需专用服务器实现更好的超大规模文件系统扩展性。[PDF]

[2017 FAST] HopsFS：使用NewSQL数据库扩展层次文件系统元数据。[PDF] [幻灯片]

[2017 SC] LocoFS：分布式文件系统的松耦合元数据服务。[PDF]

[2018 TPDS] 分布式文件系统的扁平化元数据服务。[PDF]

[2022 FAST] InfiniFS：大规模分布式文件系统的高效元数据服务。[PDF] [幻灯片]

[2023 ATC] SingularFS：使用单一元数据服务器的十亿级分布式文件系统。[PDF] [幻灯片]

• 负载均衡

[2015 SC] Mantle：Ceph文件系统的可编程元数据负载均衡器。[PDF]

[2021 SC] Lunule：CephFS的灵活且明智的元数据负载均衡器。[PDF]

容错

复制

• 主备复制

[1976 ICSE] 分布式资源弹性共享的原则。[PDF]

• 链式复制

[2004 OSDI] 链式复制：支持高吞吐量和可用性。[PDF]

• 基于共识的复制

[1998 TOCS] Paxos：兼职议会。[PDF]

[2001 ACM SIGACT News] Paxos Made Simple。[PDF]

[2014 ATC] Raft：寻找易于理解的共识算法。[PDF]

纠删码

[2012 ATC] Windows Azure Storage中的纠删码。[PDF] [幻灯片]

[2015 FAST] HDFS中两种纠删码的故事。[PDF] [幻灯片]

[2018 FAST] Clay码：将MDS码塑造成MSR码。[PDF] [幻灯片]

硬件优化

[2017 ATC] Octopus：支持RDMA的分布式持久内存文件系统。[PDF] [幻灯片]

[2020 OSDI] Assise：通过客户端本地NVM提高分布式文件系统的性能和可用性。[PDF] [幻灯片]

[2021 SOSP] LineFS：通过流水线并行高效卸载分布式文件系统到智能网卡。[PDF]

[2022 TPDS] Hydra：适用于持久内存和RDMA网络的去中心化文件系统。[PDF]

其他主题

数据减少

数据去重

[2001 SOSP] LBFS：低带宽网络文件系统。[PDF]

[2008 FAST] 避免Data Domain去重文件系统中的磁盘瓶颈。[PDF]

[2009 FAST] 稀疏索引：使用采样和局部性的大规模内联去重。[PDF] [幻灯片]

[2009 ATC] SAN集群文件系统中的去中心化去重。[PDF] [幻灯片]

[2010 FAST] I/O去重：利用内容相似性提高I/O性能。[PDF] [幻灯片]

[2011 ATC] 构建高性能去重系统。[PDF]

安全

[1993 CCS] CFS：Unix加密文件系统。[PDF]

[1999 SOSP] SFS：将密钥管理与文件系统安全分离。[PDF]

[2000 OSDI] 快速且安全的分布式只读文件系统。[PDF]

[2008 StorageSS] Tahoe – 最小权限文件系统。[PDF] [代码]

综述

[1989] 分布式文件系统综述。[PDF]

[1990] 分布式文件系统：概念与示例。[PDF] [2005 ATC] 日志文件系统的分析与演变。[PDF]

[2008 NCM] 分布式文件系统的分类与综述。[PDF]

[2015] 六种分布式文件系统的分析。[PDF]

[2016 ICCCA] 云存储中分布式文件系统的演变与分析：分析性综述。[PDF]

[2016 PIEEE] 数据重复删除的过去、现在和未来的全面研究。[PDF]

[2018 CSUR] 超大规模分布式存储系统的可扩展元数据管理技术 - 系统性综述。[PDF]

[2020 JCST] 高性能计算的临时文件系统。[PDF]

[2022 TOS] 分布式文件系统设计选择调查。[PDF]

[2022 CCF-THPC] AI存储技术综述。[PDF]

[2022 TPDS] 大规模分布式文件系统中元数据管理的最新技术 - 可扩展性、性能和可用性。[PDF]

[2022 TPDS] RDMA时代存储系统调查。[PDF]

[2024 JCRD] 从BERT到ChatGPT：大模型训练存储系统的挑战与技术发展。[PDF]

分析

[2000 ATC] 文件系统工作负载比较。[PDF]

[2007 FAST] 文件系统元数据五年研究。[PDF]

[2008 TOS] 文件系统和存储基准测试的九年研究。[PDF]

[2011 HotOS] 文件系统基准测试的基准测试：这就是火箭科学。[PDF]

[2011 FAST] 实用去重技术研究。[PDF] [幻灯片]

[2012 SC] 高性能计算存储系统中数据去重研究。[PDF]

[2013 FAST] Linux文件系统演变研究。[PDF] [幻灯片]

对象存储

[2003 MSST] 走向对象存储。[PDF] [幻灯片]

[2004 MSST] OBFS：面向对象存储设备的文件系统。[PDF] [幻灯片]

[2010 OSDI] 在干草堆中寻针：Facebook的照片存储。[PDF] [幻灯片]

[2020 SCFA] DAOS：面向存储级内存的可扩展高性能存储栈。[PDF]

新硬件

[2017 FAST] LightNVM：Linux开放通道SSD子系统。[PDF] [幻灯片]

[2021 ATC] ZNS：避免基于闪存SSD的块接口开销。[PDF] [幻灯片]

[2021 OSDI] ZNS+：支持存储内区域压缩的高级分区命名空间接口。[PDF] [幻灯片]