Flume

Sqoop 是一个主要在 Hadoop 和关系数据库之间进行批量数据迁移的工具。

Flume 简介

什么是 Flume ？

Flume 是一个分布式海量数据采集、聚合和传输系统。

特点

• 基于事件的海量数据采集
• 数据流模型：Source -> Channel -> Sink
• 事务机制：支持重读重写，保证消息传递的可靠性
• 内置丰富插件：轻松与各种外部系统集成
• 高可用：Agent 主备切换
• Java 实现：开源，优秀的系统设计