lunaix-os

lunaix-os

从零开始构建POSIX兼容操作系统

LunaixOS是一个POSIX兼容的操作系统项目,由Lunaix内核驱动。该系统支持多种架构,实现了虚拟内存、进程管理、文件系统等核心功能。项目完全原创,不参考现有OS教程或源码,致力于从零探索操作系统开发。开发过程以视频教程形式呈现,并提供详细文档和调试工具,为操作系统爱好者提供学习和研究资源。

LunaixOS操作系统内核开发POSIX兼容自制系统Github开源项目
<p align="center"> <img width="auto" src="https://yellow-cdn.veclightyear.com/835a84d5/1a4a0e09-1836-4c5a-9b7b-e0073b9f31f4.png"> </p> <p align="center"> <a href="#lunaixos-project">简体中文</a> | <a href="docs/README_en.md">English</a> </p>

LunaixOS 项目

LunaixOS - 一个简单的、详细的、POSIX兼容的(希望如此!)、带有浓重个人风格的操作系统,由 Lunaix 内核驱动。开发过程以视频教程形式在Bilibili呈现:《从零开始自制操作系统系列》

1. 一些实用资源

如果您有兴趣研究 Lunaix 内核代码及其设计,或想开始自己的操作系统开发之路,以下资料可能会有所帮助。

2. 当前进度和支持的功能

Lunaix内核具有支持多种不同指令集架构的能力,目前支持如下:

  • x86_32
  • x86_64

Lunaix全部特性一览:

  • 使用Multiboot进行引导启动
    • Multiboot 1
    • Multiboot 2(进行中)
  • APIC/IOAPIC作为中断管理器和计时器
  • ACPI
  • 虚拟内存
    • 架构中性设计
    • 按需分页
    • 写时复制
  • 内存管理
  • 进程模型
  • 61个常见的Linux/POSIX系统调用(附录1
  • 用户/内核态隔离
  • 信号机制
  • PCI 3.0
  • PCIe 1.1(进行中)
  • 块设备IO与驱动
    • 块IO通用缓存池
    • Serial ATA AHCI
      • ATA设备
      • ATAPI封装的SCSI协议
  • 文件系统(POSIX.1-2008,第5和10节)
    • 虚拟文件系统
    • 内核态文件系统(twifs,Lunaix自己的sysfs)
    • 设备文件系统(devfs,Lunaix自己的udev)
    • 进程文件系统(procfs)
    • ISO9660
      • ECMA-119
      • IEEE P1282(Rock Ridge扩展)
    • ext2
      • 修订版0
      • 修订版1(额外特性不支持)
  • 远程GDB串口调试(COM1@9600Bd)
  • 用户程序加载与执行
  • 通用设备抽象层
    • 架构中性的设备支持位于:lunaix-os/hal
      • 16550 UART
      • ACPI(不完全实现)
    • 架构相关的设备支持位于:lunaix-os/arch/<ARCH>/hal
      • x86
        • APIC/IOAPIC 组合
        • MC146818 RTC
        • i8042 PS/2
        • RNG(使用rdrand
  • 通用图形设备抽象层(草案)
    • 参考:lunaix-os/hal/gfxa
  • 虚拟终端设备接口(POSIX.1-2008,第11节)
    • 参考:lunaix-os/hal/term
  • 线程模型
    • 用户线程支持(pthread系列)
    • 内核线程支持
  • 抢占式内核设计
    • 内核态上下文切换
    • 内核态异常挂起/死锁自动检测机制

3. 目录结构

lunaix-osLunaixOS源代码
slides视频中所用的幻灯片和补充材料
reference-material标准、技术文档和参考文献

4. 编译与构建

!如果想要立即构建并运行,请参考4.6!

构建该项目需要满足以下条件:

  • gcc 工具链
  • make
  • xorriso
  • grub-mkrescue

4.1 使用 GNU CC 工具链

与大多数内核一样,Lunaix 是一个混合了 C 和汇编的产物。这意味着你需要使用标准的C编译器来构建Lunaix。在这里,我推荐使用 GNU CC 工具链进行构建。因为Lunaix 在编写时使用了大量的GNU CC 相关编译器属性修饰 (__attribute__)。如果使用其他工具链,如LLVM,我就不能做出任何保证了。

如果你使用的是基于 x86 指令集的Linux系统,不论是64位还是32位,其本机自带的gcc就足以编译Lunaix。当然,如果你的平台是其他非x86的,你也可以指定使用某个针对x86_32的gcc套件进行交叉编译——在make时通过CX_PREFIX变量来指定gcc套件的前缀。如下例所示,我们可以在任意平台上,如risc-v,单独使用一个面向x86_32的gcc进行交叉编译:

make CX_PREFIX=i686-linux-gnu- all

4.2 Docker镜像

对于开发环境,本项目也提供了Docker镜像封装。开箱即用,无需配置,非常适合懒人或惜时者。详细使用方法请转到:Lunaix OSDK项目

4.3 构建选项

假若条件满足,那么可以直接执行make all进行构建,完成后可在生成的build目录下找到可引导的iso。

本项目支持的make命令:

命令用途
make all等价于 make image
make image构建ISO镜像,可直接启动,使用ISO9660文件系统
make kernel构建内核ELF镜像,无法直接启动,需要引导程序
make clean删除构建缓存,用于重新构建
make config配置Lunaix

与make命令配套的环境变量,Lunaix的makefile会自动检测这些环境变量,以更改构建行为

  • MODE={debug|release} 使用debug模式构建(-Og)或者release模式(-O2)
  • ARCH=<isa> 为指定的指令集架构编译Lunaix。所使用的配置选项均为选定架构默认,该环境变量 存在的目的就是方便用户进行快速编译,而无需钻研Lunaix的种种配置项。

4.4 Lunaix的功能配置

Lunaix是一个可配置的内核,允许用户在编译前选择应当包含或移除的功能。

使用make config来进行基于命令行的交互配置。呈现方式采用Shell的形式,所有的配置项按照类似于文件树的形式组织,如单个配置项为一个"文件",多个配置项组成的配置组为一个目录,呈现形式为方括号[]包裹起来的项目。在提示符中输入usage并回车可以查看具体的使用方法。

一个最常用的配置可能就是architecture_support/arch了,也就是配置Lunaix所面向的指令集。比如,编译一个在x86_64平台上运行的Lunaix,在提示符中输入(注意等号两侧的空格,这是不能省略的):

/architecture_support/arch = x86_64

之后输入exit保存并退出。然后正常编译。

4.5 设置内核启动参数

在 make 时通过CMDLINE变量可以设置内核启动参数列表。该列表可以包含多个参数,通过一个或多个空格来分割。每个参数可以为键值对 <key>=<val> 或者是开关标志位 <flag>。目前 Lunaix 支持以下参数:

  • console=<dev> 设置系统终端的输入输出设备(tty设备)。其中 <dev> 是设备文件路径 (注意,这里的设备文件路径是针对Lunaix,而非Linux)。关于LunaixOS设备文件系统的介绍可参考 Lunaix Wiki(进行中)

如果CMDLINE未指定,则将会载入默认参数:

console=/dev/ttyFB0

其中,/dev/ttyFB0 指向基于VGA文本模式的tty设备,也就是平时启动QEMU时看到的黑色窗口。

当然,读者也可以使用 /dev/ttyS0 作为默认tty设备,以验证 Lunaix 的灵活性与兼容性。该路径指向第一个串口设备。可以通过telnet协议在12345端口上进行访问——端口号可以通过修改QEMU启动参数(位于:makeinc/qemu.mkinc)来更改。

注意: 根据操作系统和键盘布局的不同,telnet客户端对一些关键键位的映射(如退格,回车)可能有所差别(如某些版本的Linux会将退格键映射为0x7f,即ASCII的<DEL>字符,而非通常的0x08)。如果读者想要通过串口方式使用Lunaix,请修改usr/init/init.c中的终端初始化代码,将VERASE设置为正确的映射(修改方式可参考 POSIX termios 的使用方法。由于Lunaix的终端接口实现完全兼容POSIX,读者可以直接查阅Linux自带的帮助man termios,无需作任何转换)

4.6 测试与体验 Lunaix

用户可以使用脚本live_debug.sh来快速运行Lunaix。该脚本会自动按照默认选项构建Lunaix,然后调用 scripts/qemu.py 根据配置文件生成QEMU启动参数(配置文件位于scripts/qemus/

由于该脚本的主要用途是方便作者进行调试,所以在QEMU窗口打开后还需要进行以下操作:

  1. 使用telnet连接到localhost:12345,这里是Lunaix进行标准输入输出所使用的UART映射(QEMU为guest提供UART实现,并将其通过telnet协议重定向到宿主机)
  2. 在GDB窗口中输入c然后回车,此时Lunaix开始运行。这样做的目的是允许在QEMU进行模拟前,事先设置感兴趣的断点。

该脚本的运行需要设置 ARCH=<isa> 环境变量,其值需要与编译时指定的值一致。

例如:

ARCH=x86_64 ./live_debug.sh

5. 运行,分支以及 Issue

5.1 代码稳定性

主分支通常是稳定的。因为在大多数情况下,我都会尽量确保本机运行无误后,才push到该分支。所有正在开发的功能请参考当前活跃的Pull Request。

如果主分支的运行出现了问题,欢迎提issue。请参考附录3:Issue的提交

6. 调试 Lunaix 内核

除了附录4:串口GDB远程调试描述的一种用于实机调试的方式外,LunaixOS还提供了LunaDBG调试套件。这是一个GDB客户端插件,包含了对GDB原生命令集的一些扩展,主要用于改善和简化内核调试过程。目前包含以下几个命令:

  • vmrs [pid] 列举进程<pid>的内存区域图(Memory Regions),如果未指定<pid>,则默认为正在运行的进程(smp=1)。
  • proc [pid] 打印进程<pid>的进程控制块状态,如果未指定<pid>,则默认为正在运行的进程(smp=1)。
  • sched <threads | procs> [-l] 查看调度器信息,接受两个参数:
    • threads 打印所有在调度器中注册的线程
    • procs 打印所有在调度器中注册的进程
    • 可选开关 -l 决定是否以长列表形式打印(更详细的信息)

该插件可以通过运行以下命令来安装:

./scripts/gdb/install_lunadbg

7. 参考教程

没有!!

本教程以及该操作系统的所有架构设计与实现均为原创

对此,作者可以保证,该项目做到了三个 "没有":

  • 没有 参考任何现有的操作系统开发教程或书籍。
  • 没有 参考任何开源内核的源代码(包括Linux)。
  • 没有 基于任何开源内核进行二次开发。

为了开发LunaixOS,作者花费了大量时间和精力研究技术文档、手册、理论书籍以及现行工业标准,从而尽可能保证了知识的一手性。(这样一来,读者和听众们也算是获得了二手知识,而不是三手、四手甚至n手的知识)。

大部分的文档和标准可以在上述的reference-material中找到。

当然,您也可以参考以下列表来了解当前阶段的LunaixOS使用了哪些资料(本列表会随开发进度更新):

手册,标准,技术文档

  • Intel 64 and IA-32 Architecture Software Developer's Manual (Full Volume Bundle)
  • ACPI Specification (version 6.4)
  • IBM PC/AT Technical Reference
  • IBM VGA/XGA Technical Reference
  • 82093AA I/O Advanced Programmable Controller (IOAPIC) (Datasheet)
  • MC146818A (Datasheet)
  • Intel 500 Series Chipset Family Platform Controller Hub (Datasheet - Volume 2)
  • PCI Local Bus Specification, Revision 3.0
  • PCI Express Base Specification, Revision 1.1
  • PCI Firmware Specification, Revision 3.0
  • Serial ATA - Advanced Host Controller Interface (AHCI), Revision 1.3.1
  • Serial ATA: High Speed Serialized AT Attachment, Revision 3.2
  • SCSI Command Reference Manual
  • ATA/ATAPI Command Set - 3 (ACS-3)
  • ECMA-119 (ISO9660)
  • Rock Ridge Interchange Protocol (RRIP: IEEE P1282)
  • System Use Sharing Protocol (SUSP: IEEE P1281)
  • Tool Interface Standard (TIS) Portable Formats Specification (Version 1.1)

免责声明:PCI相关标准的最终解释权归PCI-SIG所有。此处提供的副本仅供个人学习使用。任何商业用途须向PCI-SIG购买。

理论书籍

  • Computer System - A Programmer's Perspective Third Edition (CS:APP) (Bryant, R & O'Hallaron, D)
  • Modern Operating System (Tanenbaum, A)

网站

  • OSDev - 适合快速入门和一些文档手册的总结。
  • FreeVGA - 98年的资源!关于VGA编程技术的宝藏网站。
  • GNU CC 和 GNU LD 的官方文档。
  • PCI Lookup - PCI设备编号查询

其他

  • Linux Manual - 用于查询*nix API的一些具体行为。

附录1:实现的 POSIX 系统接口 <a id="appendix1"></a>

LunaixOS 提供了以下POSIX系统接口的实现。内核定义的系统调用号可以参考 LunaixOS系统调用表

  1. sleep(3)
  2. wait(2)
  3. waitpid(2)
  4. fork(2)
  5. getpid(2)
  6. getppid(2)
  7. getpgid(2)
  8. setpgid(2)
  9. brk(2)
  10. sbrk(2)
  11. _exit(2)
  12. sigreturn(2)
  13. sigprocmask(2)
  14. sigaction(2)
  15. kill(2)
  16. sigpending(2)
  17. sigsuspend(2)
  18. read(2)
  19. write(2)
  20. open(2)
  21. close(2)
  22. mkdir(2)
  23. lseek(2)
  24. readdir(2)
  25. readlink(2)
  26. readlinkat(2)
  27. rmdir(2)
  28. unlink(2)
  29. unlinkat(2)
  30. link(2)
  31. fsync(2)
  32. dup(2)
  33. dup2(2)
  34. symlink(2)
  35. chdir(2)
  36. fchdir(2)
  37. getcwd(2)
  38. rename(2)
  39. mount(2)
  40. unmount(又名umount(2))※
  41. getxattr(2)
  42. setxattr(2)
  43. fgetxattr(2)
  44. fsetxattr(2)
  45. ioctl(2)
  46. getpgid(2)
  47. setpgid(2)
  48. mmap(2)
  49. munmap(2)
  50. execve(2)
  51. poll(2)(通过pollctl
  52. epoll_create(2)(通过pollctl
  53. epoll_ctl(2)(通过pollctl
  54. epoll_wait(2)(通过pollctl
  55. pthread_create
  56. pthread_self
  57. pthread_exit
  58. pthread_join
  59. pthread_kill
  60. pthread_detach
  61. pthread_sigmask

:该系统调用暂未经过测试)

附录2:Issue的提交

如果Lunaix运行出现任何问题,请按照以下描述在Issue中提供详细信息。

  • 可用于复现问题的描述和指引(如Lunaix运行平台的软硬件配置)
  • 错误症状描述
  • LunaixOS在panic时打印的调试信息(如无法复制,可以截图)

附录3:串口GDB远程调试

(该功能正在重构,目前不可用)

LunaixOS内核集成了最基本的GDB远程调试服务器。可通过串口COM1在9600波特率上与之建立连接。但是,在将GDB与内核连接之前,还需要让内核处于调试模式。

要进入调试模式,需要往串口(波特率如上)写入字节串 0x40 0x63 0x6D 0x63。此时,如果屏幕底部出现一条品红色背景的DEBUG 字样,那么就说明LunaixOS已处于调试模式。

注意,此时LunaixOS会开始在COM1上监听GDB协议信息,并暂停所有活动(如调度,以及对外部中断的一切响应)。用户此时需要将GDB与其挂载,并使用GDB的工作流来指示内核下一步的动作。

目前,为了防止代码过于臃肿,LunaixOS实现的是GDB远程协议要求的最小服务端命令子集:g, G, p, P, Q, S, k, ?, m, M, X。这足以满足大部分的调试需求。

当结束调试时,请使用GDB的kill指令断开连接。注意,这个指令会使LunaixOS恢复所有暂停的活动,进入正常的运行序列,但不会退出调试模式。GDB的挂载请求在LunaixOS中仍享有最高优先权。如需退出调试模式,需要往串口写入字节串:0x40 0x79 0x61 0x79

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。

下拉加载更多