Flume
Sqoop 是一个主要在 Hadoop 和关系数据库之间进行批量数据迁移的工具。
Flume 简介
什么是 Flume ？
Flume 是一个分布式海量数据采集、聚合和传输系统。
特点
- 基于事件的海量数据采集
- 数据流模型：Source -> Channel -> Sink
- 事务机制：支持重读重写，保证消息传递的可靠性
- 内置丰富插件：轻松与各种外部系统集成
- 高可用：Agent 主备切换
- Java 实现：开源，优秀的系统设计
...大约 2 分钟
- Java212
- 编程8
- DevOps7
- 数据结构和算法4
- 哈希表1
- 跳表2
- 图1
- 数据库99
- 网络20
- 分布式65
- 大数据45
- 软件工程3
- 管理1
- 工作2
- 笔记1
- JavaCore53
- JavaEE1
- 工具12
- 框架68
- 中间件19
- 设计57
- 编程范式2
- 编程语言3
- python1
- shell1
- scala1
- Python6
- 架构39
- 设计模式27
- 重构7
- 代码的坏味道5
- DDD2
- UML4
- 监控8
- APM2
- 链路追踪2
- 数据结构14
- 算法6
- 线性表4
- 数组2
- 链表2
- 栈1
- 队列1
- 查找1
- 排序1
- 树6
- 二叉树4
- 完全二叉树1
- 堆1
- B+ 树1
- LSM 树1
- 字典树1
- 红黑树1
- 综合6
- Nosql1
- 索引5
- 版本管理1
- 关系型数据库21
- 文档数据库15
- KV数据库16
- Memcached1
- 列式数据库4
- Cassandra1
- 搜索引擎数据库26
- 面试20
- 网络分层5
- 网络协议6
- HTTP1
- DNS1
- TCP1
- UDP1
- ICMP1
- 网络技术3
- WebSocket1
- CDN1
- VPN1
- 操作系统13
- Windows1
- Mac1
- 一致性1
- ACID3
- CAP2
- BASE1
- Gossip2
- 共识5
- Paxos1
- 理论4
- Raft3
- ZAB1
- 指标2
- 挑战1
- 超时检测1
- NTP2
- 逻辑时钟2
- 向量时钟1
- 版本向量时钟1
- 全序1
- 偏序1
- 分布式协同8
- 服务治理6
- 调度7
- 服务注册2
- 服务发现2
- 负载均衡1
- 流量控制3
- 限流2
- 熔断2
- 降级2
- 路由2
- 网关1
- 分布式ID1
- UUID1
- Snowflake1
- Leaf1
- 分布式调度1
- 分布式通信8
- 数据调度3
- 缓存7
- 读写分离1
- 分库分表3
- 学习1
- Hadoop7
- YARN1
- MapReduce1
- Hive8
- 运维7
- Spark1
- Flink9
- ETL1
- Flume1
- Sqoop1
- 并发19
- JVM11
- Spring62
- SpringBoot30
- SpringCloud1
- 微服务14
- 高并发1
- Elasticsearch18
- MongoDB15
- Mysql11
- MySQL1
- 人工智能1
- 机器学习1
- 职场1
- 工具类1
- 字符串1
- 反射2
- 动态代理1
- 数据类型3
- 异常1
- 控制语句1
- 方法1
- 枚举1
- 泛型2
- 注解1
- 面向对象1
- JDK81
- JavaAgent1
- SPI1
- Dubbo6
- Spring Boot1
- common-logging1
- JDBC2
- 国际化1
- 正则2
- 编码1
- 加密2
- 容器11
- List1
- ArrayList1
- LinkedList1
- Set1
- HashSet1
- TreeSet1
- LinkedHashSet1
- Iterable1
- Iterator1
- Comparable1
- Comparator1
- Cloneable1
- fail-fast1
- IO10
- BIO1
- InputStream1
- OutputStream1
- Reader1
- Writer1
- NIO1
- Channel1
- Buffer1
- Selector1
- 多路复用1
- 序列化4
- Serializable1
- Externalizable1
- transient1
- AQS2
- 独占锁1
- 共享锁1
- JMM1
- Happens-Before1
- 内存屏障1
- volatile1
- synchronized2
- final1
- 指令重排序1
- FutureTask2
- CompletableFuture1
- CompletionStage1
- CompletionService1
- ForkJoinPool1
- CountDownLatch1
- CyclicBarrier1
- Semaphore1
- CAS1
- 原子类1
- ThreadLocal1
- Immutability1
- Copy-on-Write1
- 线程2
- Thread1
- Runnable1
- Callable1
- Future1
- 线程生命周期1
- 线程池1
- 锁3
- Lock1
- Condition1
- ReentrantLock1
- ReentrantReadWriteLock1
- StampedLock1
- 安全性1
- 活跃性1
- 性能3
- 死锁1
- 活锁1
- GC1
- 字节码1
- 命令行1
- 故障诊断1
- JavaSE11
- JavaWeb14
- Servlet2
- JSP1
- Filter2
- Listener1
- Cookie1
- Session1
- 服务器8
- Jetty2
- 构建9
- Ant1
- IDE4
- Intellij1
- CAT1
- Zipkin1
- SkyWalking1
- 诊断2
- Arthas1
- JSON2
- 二进制1
- JavaBean2
- Lombok1
- Dozer1
- 模板引擎4
- Freemark1
- Thymeleaf1
- Velocity1
- 测试6
- JUnit2
- Mockito1
- JMeter1
- 日志2
- 工具包1
- Reflections1
- 邮件2
- Html1
- Jsoup1
- 图形处理1
- Thumbnailator1
- 条形码1
- ZXing1
- ORM3
- Mybatis2
- 安全10
- Shiro1
- SpringSecurity1
- Netty1
- Ehcache1
- Http1
- Hystrix1
- Sentinel2
- 数据库连接池1
- 高可用4
- 伸缩性1
- 扩展性1
- 注册中心1
- RPC8
- 认证2
- 授权2
- 漏洞1
- 消息摘要1
- 数字签名1
- 对称加密1
- 非对称加密1
- MD51
- SHA1
- HMAC1
- AES1
- DES1
- RSA1
- 解决方案8
- Git3
- SQL1
- 事务5
- 优化1
- 存储引擎1
- InnoDB1
- binlog1
- WAL1
- 读写锁1
- 悲观锁1
- 乐观锁1
- PostgreSQL1
- H21
- SQLite1
- 分片2
- 复制3
- 建模1
- BSON1
- 聚合2
- Redis18
- LRU1
- LFU1
- 选主2
- 故障转移2
- 持久化1
- CoW1
- KV 数据库3
- 字典1
- Pipeline1
- Lua1
- 订阅1
- 观察者模式1
- 集群2
- 分区2
- HBase12
- API6
- 分词1
- 存储2
- 搜索1
- 查询1
- DSL1
- 管道1
- Elastic8
- Filebeat2
- Kibana2
- Logstash2
- Linux11
- 命令1
- Samba1
- 防火墙2
- cron1
- Vim1
- Zsh1
- 协同5
- 主从1
- 多主1
- 无主1
- 分区再均衡1
- 广播1
- epoch1
- quorum1
- 互斥1
- 2PC1
- 3PC1
- TCC1
- 本地消息表1
- 消息事务1
- SAGA1
- XA1
- 会话1
- 分布式应用7
- MQ20
- HDFS4
- 效率提升4
- 方法论1
- 5W2H1
- 沟通1
- 话术1
- 规范3
- Markdown1
- 原理2
- RocketMQ4
- Kafka10
- 分布式存储3
- HBASE2
- Tomcat6
- Maven7
- Bean4
- BeanDefinition1
- IOC4
- 依赖查找1
- 依赖注入2
- AOP1
- Resource1
- 数据绑定1
- DataSource1
- JdbcTemplate1
- JPA1
- MyBatis1
- PageHelper1
- Mapper1
- Web8
- Controller1
- DispatcherServlet1
- CORS1
- View1
- 异步1
- 集成4
- 调度器1
- ActiveMQ1