概述

HDFS（Hadoop Distributed File System） 是 Apache Hadoop 项目的核心子项目，是一个运行在普通廉价硬件上的分布式文件系统。其设计思想源自 Google 2003 年发表的 GFS（Google File System）论文。

HDFS 的设计目标是：将大量数据可靠地存储在普通机器集群上，并以流式方式高效访问。它对外呈现为一个统一的文件系统视图，内部将数据以 Block（数据块）为单位分散存储在集群各节点上，每个 Block 保存多份副本（默认 3 份），以实现容错。

简介

【初级】简介一下大数据技术生态？⭐

要点

• 数据采集：Flume、Sqoop、Logstash、Filebeat
• 分布式文件存储：Hadoop HDFS
• NoSql
  • 文档数据库：Mongodb
  • 列式数据库：HBase
  • 搜索引擎：Solr、Elasticsearch
• 分布式计算
  • 批处理：Hadoop MapReduce
  • 流处理：Storm、Kafka
  • 混合处理：Spark、Flink
• 查询分析：Hive、Spark SQL、Flink SQL、Pig、Phoenix
• 集群资源管理：Hadoop YARN
• 分布式协调：Zookeeper
• 任务调度：Azkaban、Oozie
• 集群部署和监控：Ambari、Cloudera Manager