Spark 入门：从 Hadoop 到分布式执行 | Spark Fundamentals

架构与任务调度、Shuffle 执行过程、Catalyst 与 AQE、小文件与数据倾斜治理 —— Hadoop 学习系列收尾篇。

📅 Spark Shuffle Catalyst AQE
GitHub 源码仓库
学习目标

理解 Spark 在大数据栈中的位置、Driver/Executor 架构与 Application→Job→Stage→Task 层级、Shuffle 的执行过程与 MapReduce 的差异，以及小文件与数据倾斜的治理思路。

预计阅读

约 12 分钟

前置知识

Hadoop 文件格式与优化 | Parquet, ORC & File Optimization

正在加载内容…

本页内容与仓库 Markdown 同源维护：更新对应 content/ 目录下的 Markdown 即可更新本页。