Data-Engineering-Roadmap

免责声明

本路线图的目的是让您了解整体情况。当您对下一步学习内容感到困惑时，路线图会为您提供指导，而不是鼓励您选择当下流行和热门的内容。您应该对为什么某些工具在某些情况下比其他工具更合适有一定的了解，并记住流行和热门并不总是意味着最适合该工作。

给个星星！:star:

如果您喜欢或正在使用这个项目来学习或开始您的解决方案，请给它一个星星。谢谢！

路线图

编程语言

学习 Linux

Linux 学习主要分为两个部分：系统管理和 Shell 脚本编程。您可以根据自己的偏好安排学习深度

数据结构和算法 / 系统设计

SQL

有许多免费的在线SQL入门资源可供使用。也有一些付费资源我推荐给初学者，它们非常有效，我认为值得花钱购买。

几点说明：

我并没有使用过所有这些资源，但它们在网上或我自己/同事中都有很好的推荐。
你绝对不需要使用每一个资源。找到几个适合你的，然后好好利用。
如果你有问题随时可以联系我。当人们刚开始问非常技术性的问题时,我总是把这个贴出来 - 这并不是要刻薄 - 而是gentle地指导如何组织你的问题并收集必要的资源,以便最好地给技术人员提供所需信息来获得快速/有效的回答: http://www.mikeash.com/getting_answers.html

基于视频/课程/微课程:

斯坦福大学自学进度的"数据库"课程
- 原来的Coursera课程已被转换成一系列自学进度的微课程,内容全面。
Portnov计算机学校"SQL初学者教程" 这是一个微课程(总共约4小时),据说非常不错。链接:
- 视频1: https://www.youtube.com/watch?v=xaRrTBmMp30
- 视频2: https://www.youtube.com/watch?v=1sMR2ApQVvw
- 视频3: https://www.youtube.com/watch?v=deegPjmasq8
- 视频4: https://www.youtube.com/watch?v=vHE-EeLaYsI

书籍/教程格式(部分互动):

SQL问题与解决方案 - 互动书籍 "...学生可以提问并得到答案,即使这些答案在教科书中找不到。在某种程度上,互动教科书旨在替代教师/顾问,这在我们看来是在远程学习系统中使用此类教材的必要条件。"
艰难地学习SQL "本书将教你80%你可能需要有效使用的SQL知识,同时还会介绍数据建模的概念。如果你因为不懂SQL而在构建网络、桌面或移动应用时遇到困难,那么这本书就是为你准备的。它是为没有数据库、编程或SQL知识的人编写的,但至少了解一门编程语言会有帮助。"
GalaXQL "GalaXQL是一个有趣的SQL教程,其中数据库是一个以3D方式呈现的星系。观察星系如何随着你的SQL命令创建、修改和销毁天体而变化。还有什么比这更有趣的呢?"
PostgreSQL教程 "我们开发PostgreSQL教程是为了展示PostgreSQL独特的功能,这些功能使它成为世界上最先进的开源数据库管理系统。此外,我们还将向你展示如何利用这些功能使你的应用更快、更安全。"
深入浅出SQL 这是一个我多年前学习过的优秀初学者资源。如果你真的想从最基础开始学习,我强烈建议你购买一本。这是一本大书,但字体很大,有练习和图片等。大约需要1-2天就能看完,分散开来可能需要一周左右。 "你的数据是否让你感到沮丧?你的表格是否一团糟?好吧,我们有工具来教你如何驯服你的数据库。《深入浅出SQL》运用神经生物学、认知科学和学习理论的最新研究,创造了一种多感官的SQL学习体验,采用视觉丰富的格式,专为你的大脑工作方式而设计,而不是让你昏昏欲睡的文本密集型方法。也许你已经写过一些简单的SQL查询来与数据库交互。但现在你想要更多,你想真正深入挖掘这些数据库并处理你的数据。《深入浅出SQL》将向你展示SQL的基础知识,以及如何真正利用它。我们将带你踏上一段语言之旅,从基本的INSERT语句和SELECT查询,到hardcore的数据库操作,如索引、连接和事务。我们都知道"数据就是力量" - 但我们会向你展示如何"掌控你的数据"。当你读完本书时,你可以期待有趣的学习经历,期待学到知识,也期待像专业人士一样查询、规范化和连接你的数据!"

练习资源:

SchemaVerse "SchemaVerse是一个完全在PostgreSQL数据库中实现的基于太空的策略游戏。使用原始SQL命令与其他玩家竞争来指挥你的舰队。或者,如果你的PL/pgSQL功力够强,可以用它来编写AI,让你的舰队自己指挥。"
SqlEx sql-tutorial.ru书籍的扩展,提供练习题。
SQLZoo 一些教程和练习题
PostgreSQL练习 "这个网站诞生于我注意到有大量材料帮助人们学习SQL,但没有太多资源让人们通过实践来轻松学习。PGExercises提供了一系列基于单一简单数据集的问题和解释。它旨在作为优秀书籍或Postgres出色文档的配套使用。本网站的练习从简单的select和where子句,到连接和case语句,再到聚合、窗口函数和递归查询。大多数还不是专业人士的人都应该能找到一些可以测试自己的内容。"

测试

CI/CD和虚拟化

数据库基础

SQL
规范化
ACID事务
CAP定理
OLTP vs OLAP
水平扩展 vs 垂直扩展
维度建模

关系型数据库

非关系型数据库

数据处理

消息队列

集群计算基础

对象存储

数据仓库

数据管道监控

数据可视化

机器学习和深度学习工具

数学
统计学和概率论
Pandas
NumPy
Tensorflow
Keras
Pytorch
Scikit-learn
- 数据科学资源
- :books: DPhi-数据科学课程
- :books: 数据科学方法论
- :bulb: 数据科学速查表
- :bulb: 数据科学路线图
- :books: IBM 数据科学 Coursera 课程
- :video_camera: R语言数据科学入门
- :bulb: 从零开始实现机器学习算法
- :books: Python 数据科学基础
- :books: Python 数据科学进阶
- 机器学习资源
- :books: Google 机器学习速成课程
- :books: 吴恩达机器学习 Coursera 课程
- :books: 机器学习入门
- :books: 中级机器学习
- :books: 理解机器学习：从理论到算法
- :books: 概率论与统计学
- :books: freecodecamp 的机器学习课程
- :bulb: 机器学习相关线性代数概念快速回顾
- :books: 微积分
- :books: 机器学习的统计概念
- :bulb: AWS 机器学习工具
- :green_book: 入门指南
- :bulb: 机器学习路线图
- :bulb: 机器学习路线图：逐步指南
- :books: 微型机器学习课程
- :books: Python 机器学习入门
- :speaker: 机器学习指南播客
深度学习资源
- :books: Andrew Ng的深度学习专项课程
- :green_book: 卷积网络CS231n
- :books: 深度学习基础
- :bulb: 深度学习速查表
- :books: 自然语言处理CS224n
- :books: IBM深度学习课程（含证书）

MLOPS工具

云服务

总结

如果你认为这份路线图可以改进，请随时提交PR进行更新或提出问题。我也会继续完善它，所以你可能想给这个仓库加星标以便重新访问。灵感来源：Python开发者路线图

贡献

该路线图使用Draw.io构建。项目文件可以在DataEngRoadmap.xml文件中找到。要修改它，请打开draw.io，点击打开现有图表并选择项目的xml文件。它将为你打开路线图。更新它，上传并更新readme中的图片，然后创建PR（以400%缩放导出为png，并使用Compressor.io进行压缩）。