核心抽象

【中等】RDD、DataFrame 和 Dataset 有什么区别？⭐⭐⭐⭐

🎯 目标等级：L2-L3 ｜ ⏱ 建议用时：10 min ｜ 🏷 标签：Spark / 核心抽象

💎 关键结论

RDD 是最底层的分布式数据抽象（类型安全但无优化）；DataFrame 引入了 Schema 信息使 Catalyst 优化器可做列裁剪、谓词下推等优化（非类型安全）；Dataset 兼顾两者（类型安全 + Catalyst 优化），但仅支持 Scala/Java。生产中最常用 DataFrame（配合 Spark SQL）。