Hive 简介

【简单】什么是 Hive？⭐⭐

🎯 目标等级：L2 ｜ ⏱ 建议用时：10 min ｜ 🏷 标签：Hive / 概述

💎 关键结论

Hive 是构建在 Hadoop 之上的分布式数据仓库，把结构化数据文件映射成表，用类 SQL（HQL）做大规模离线分析，SQL 会被翻译成 MapReduce 作业提交到 Hadoop 运行。它上手门槛低、支持 UDF 扩展、元数据统一可被多引擎共享，但执行延迟高，只适合离线批处理，不适合实时场景。

⚡记忆卡片

00 丨开篇词丨从这里开始，带你走上硅谷一线系统架构师之路

01 丨为什么 MapReduce 会被硅谷一线公司淘汰？

• 高昂的维护成本
• 时间性能“达不到”用户期待
• 模型抽象层次低，只提供 Map 和 Reduce 两个操作
• 每一步计算结果都存储在 HDFS，磁盘读写大幅增加延迟
• 只支持批处理

02 | MapReduce 后谁主沉浮：怎样设计下一代数据处理技术？

03 | 大规模数据处理初体验：怎样实现大型电商热销榜？

预习模块

01 丨预习 01 丨大数据技术发展史：大数据的前世今生

大数据技术起源于 Google 在 2004 年前后发表的三篇论文：

• The Google File System
• Bigtable: A Distributed Storage System for Structured Data
• MapReduce: Simplified Data Processing on Large Clusters

📖 内容

• 大数据简介
• 大数据学习

Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查询 API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子。Flink SQL 是基于 Apache Calcite 来实现的标准 SQL。无论输入是连续的（流式）还是有界的（批处理），在两个接口中指定的查询都具有相同的语义，并指定相同的结果。

docker 安装 flink

（1）使用 docker 命令拉取镜像

docker pull Flink

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

📖 内容

• Flink 入门
• Flink 简介
• Flink ETL
• Flink 事件驱动
• Flink API
• Flink 架构
• Flink 运维
• Flink Table API & SQL

Flink API 的分层

Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象。

Apache Flink 的一种常见应用场景是 ETL（抽取、转换、加载）管道任务。从一个或多个数据源获取数据，进行一些转换操作和信息补充，将结果存储起来。在这个教程中，我们将介绍如何使用 Flink 的 DataStream API 实现这类应用。

这里注意，Flink 的 Table 和 SQL API 完全可以满足很多 ETL 使用场景。但无论你最终是否直接使用 DataStream API，对这里介绍的基本知识有扎实的理解都是有价值的。