简介

【简单】简介一下大数据技术生态？⭐

🎯 目标等级：L2 ｜ ⏱ 建议用时：5 min ｜ 🏷 标签：Hadoop / 大数据生态

💎 关键结论

大数据技术生态围绕数据的「采、存、算、查、管」展开：采集用 Flume/Sqoop，存储用 HDFS 与各类 NoSQL，计算用 MapReduce/Spark/Flink，查询分析用 Hive/Spark SQL/Flink SQL，资源管理用 YARN，协调用 ZooKeeper，调度用 Azkaban/Oozie，部署运维用 Ambari/Cloudera Manager。

概述

Apache YARN（Yet Another Resource Negotiator） 是 Hadoop 2.0 引入的集群资源管理系统，于 2012 年正式发布。

在 Hadoop 1.x 时代，JobTracker 同时承担资源管理和作业调度两大职责，这导致了严重的单点瓶颈和扩展性问题——一个集群最多只能支撑约 4000 个节点和 40000 个并发任务。

YARN 的核心设计思想是将资源管理与作业调度彻底分离：