HDFS 应用

HDFS 是 Hadoop Distributed File System 的缩写，即 Hadoop 的分布式文件系统。

HDFS 是一种用于存储具有流数据访问模式的超大文件的文件系统，它运行在廉价的机器集群上。

HDFS 的设计目标是管理数以千计的服务器、数以万计的磁盘，将这么大规模的服务器计算资源当作一个单一的存储系统进行管理，对应用程序提供 PB 级的存储容量，让应用程序像使用普通文件系统一样存储大规模的文件数据。

Hadoop 面试

简介

【初级】简介一下大数据技术生态？

要点

• 数据采集：Flume、Sqoop、Logstash、Filebeat
• 分布式文件存储：Hadoop HDFS
• NoSql
  • 文档数据库：Mongodb
  • 列式数据库：HBase
  • 搜索引擎：Solr、Elasticsearch
• 分布式计算
  • 批处理：Hadoop MapReduce
  • 流处理：Storm、Kafka
  • 混合处理：Spark、Flink
• 查询分析：Hive、Spark SQL、Flink SQL、Pig、Phoenix
• 集群资源管理：Hadoop YARN
• 分布式协调：Zookeeper
• 任务调度：Azkaban、Oozie
• 集群部署和监控：Ambari、Cloudera Manager