Hadoop 面试

简介

【初级】简介一下大数据技术生态？

要点

• 数据采集：Flume、Sqoop、Logstash、Filebeat
• 分布式文件存储：Hadoop HDFS
• NoSql
  • 文档数据库：Mongodb
  • 列式数据库：HBase
  • 搜索引擎：Solr、Elasticsearch
• 分布式计算
  • 批处理：Hadoop MapReduce
  • 流处理：Storm、Kafka
  • 混合处理：Spark、Flink
• 查询分析：Hive、Spark SQL、Flink SQL、Pig、Phoenix
• 集群资源管理：Hadoop YARN
• 分布式协调：Zookeeper
• 任务调度：Azkaban、Oozie
• 集群部署和监控：Ambari、Cloudera Manager

YARN

YARN 简介

Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。