《极客时间教程 - 从 0 开始学大数据》笔记

钝悟2023/3/13大约 15 分钟

《极客时间教程 - 从 0 开始学大数据》笔记

预习模块

01 丨预习 01 丨大数据技术发展史：大数据的前世今生

大数据技术起源于 Google 在 2004 年前后发表的三篇论文：

Doug Cutting 根据 Google 论文开发了 Hadoop。

大数据处理的主要应用场景：

数据分析：Hive、Spark SQL 等 SQL 引擎
数据挖掘与机器学习：TensorFlow、Mahout、MLlib 等框架

大数据平台需整合：分布式文件系统（HDFS）存储数据、MapReduce/Spark 作业调度执行、结果写入应用数据库。

02 丨预习 02 丨大数据应用发展史：从搜索引擎到人工智能

搜索引擎：GFS 和 MapReduce 开启超大规模分布式存储与计算
数据仓库：Hive 以更低成本获得更多数据存储与计算能力
数据挖掘：基于海量数据关联分析，应用于关联推荐、用户画像、关系图谱
机器学习：收集全量历史数据统计规律，预测正在发生的事情

03 丨预习 03 丨大数据应用领域：数据驱动一切

医疗健康：医学影像智能识别、病历大数据智能诊疗
教育：AI 外语老师、智能解题
社交媒体：舆情监控与分析
金融：大数据风控
新零售：全链路管理
交通：实时采集监控数据、道路拥堵判断、无人驾驶

模块一、Hadoop 大数据原理与架构

04 | 移动计算比移动数据更划算

传统计算模型（输入→计算→输出）面对 TB/PB 级数据无法应对。移动计算将程序分发到数据所在处执行，比移动数据更划算。

移动计算步骤：

数据存储在集群服务器上（HDFS），文件分成多个 Block
引擎在每台服务器启动分布式任务执行进程
使用编程模型编写程序（MapReduce/Spark），打包为 JAR 包（JVM 环境运行）
启动执行，根据输入数据量分成若干 Split，每个分配给一个任务进程
任务进程下载程序包并反射加载 → 移动计算完成
读取数据并输入给应用程序处理

05 | 从 RAID 看垂直伸缩到水平伸缩的演化

海量数据存储三大核心问题：

存储容量：PB 级数据 vs 单机 1~2TB 磁盘
读写速度：磁盘连续读写仅几十 MB/s
数据可靠性：磁盘寿命约一年，损坏后数据丢失

RAID 解决方案：

容量：N 块磁盘构成存储阵列（如 RAID 5 可用 N-1 块）
速度：数据分片并发读写多块磁盘（但受机械寻址延迟限制，无法提高 N 倍）
可靠性：RAID 10/5/6 通过冗余存储或校验信息实现数据恢复

两种扩展思路：

垂直伸缩（scaling up）：硬件升级（RAID 即此方式）
水平伸缩（scaling out）：分布式系统

06 | 新技术层出不穷，HDFS 依然是存储的王者

HDFS 两大核心组件：

DataNode：负责文件数据存储和读写。文件分割为若干 Block，分布存储在各 DataNode 上，客户端可并行访问，极大提高访问速度
NameNode：负责文件系统元数据（MetaData）管理（文件路径、数据块 ID、存储位置等），类似文件分配表（FAT）

为保证高可用，数据块默认复制 3 份，存储在不同服务器甚至不同机架上。

HDFS 故障容错：

数据存储故障：计算并存储 CheckSum，读取时校验，异常则从其他 DataNode 读取备份
磁盘故障：DataNode 检测到磁盘损坏，报告 NameNode，从备份复制恢复
DataNode 故障：通过心跳与 NameNode 通信，超时未发送心跳则视为宕机，复制其数据块到其他节点
NameNode 故障：基于 ZooKeeper 实现主从备份，争夺 znode 锁

07 | 为什么说 MapReduce 既是编程模型又是计算框架？

MapReduce 既是编程模型，又是计算框架。包含两个阶段：

Map：输入 <Key, Value> → 输出 <Key, Value>
Reduce：相同 Key 合并为 <Key, Value 集合> → 输入 reduce → 输出零个或多个 <Key, Value> 对

08 | MapReduce 如何让数据完成一次旅行？

MapReduce 作业启动和运行机制

大数据应用进程：用户启动的主入口，指定 Map/Reduce 类、输入输出路径，提交作业给 JobTracker
JobTracker 进程：集群全局唯一，根据数据量命令 TaskTracker 启动 Map/Reduce 任务，管理作业生命周期调度与监控
TaskTracker 进程：启动和管理 Map/Reduce 进程，通常与 DataNode 部署在同一服务器

MapReduce 数据合并与连接机制

Map 输出与 Reduce 输入之间的数据合并与连接操作称为 Shuffle。分布式计算需将不同服务器上的相关数据合并到一起进行下一步计算。

09 | 为什么我们管 Yarn 叫作资源调度框架？

原有架构将资源调度与 MapReduce 执行耦合，无法统一支持 Spark、Storm 等其他计算框架。Yarn 解耦了资源管理与计算执行。

Yarn 两大组件：

ResourceManager：负责整个集群资源调度管理，通常部署在独立服务器
NodeManager：负责具体服务器资源和任务管理，每台服务器部署，通常与 DataNode 共存

Yarn 工作流程：

提交应用程序（含 ApplicationMaster、程序和启动命令）
ResourceManager 分配第一个容器，启动 ApplicationMaster
ApplicationMaster 注册并向 ResourceManager 申请容器资源
获得容器后，将用户程序分发到 NodeManager 服务器运行（Map/Reduce 任务）
任务运行期汇报状态，结束后注销并释放资源

10 | 模块答疑：我们能从 Hadoop 学到什么？

Hadoop 主要产品均采用一主多从架构：

HDFS：一个 NameNode + 多个 DataNode
MapReduce：一个 JobTracker + 多个 TaskTracker
Yarn：一个 ResourceManager + 多个 NodeManager
Storm：一个 Nimbus + 多个 Supervisor
Spark：一个 Master + 多个 Slave

核心思想：集中管理，分布存储与计算。

模块二、大数据生态体系主要产品原理与架构

11 | Hive 是如何让 MapReduce 实现 SQL 操作的？

Hive 处理输入的 SQL 语句（语法与标准 SQL 略有不同），调用 MapReduce 完成数据分析。

DDL（数据定义）：Driver 将表信息记录到 Metastore 元数据组件（通常用关系数据库实现，存储表名、字段、类型、HDFS 路径等）
DQL（数据查询）：Driver → Compiler（语法分析/解析/优化）→ 生成 MapReduce 执行计划 → 提交 Hadoop 执行

12 | 我们并没有觉得 MapReduce 速度慢，直到 Spark 出现

RDD（Resilient Distributed Datasets，弹性数据集）是 Spark 的核心，既是编程模型又是架构核心元素。

Spark 编写 WordCount 仅需三行核心代码：

val textFile = sc.textFile("hdfs://...")
val counts = textFile.flatMap(line => line.split(" "))
.map(word => (word, 1))
.reduceByKey(_ + _)
counts.saveAsTextFile("hdfs://...")