Flume
Flume 简介
Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前） 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。
Flume 架构
...大约 7 分钟
- Java212
- 编程8
- DevOps7
- 数据结构15
- 树6
- 二叉树4
- B+ 树1
- LSM 树1
- 数据结构和算法4
- 算法7
- 哈希表1
- 图1
- 堆1
- 字典树1
- 线性表4
- 数组2
- 链表2
- 栈1
- 队列1
- 完全二叉树1
- 红黑树1
- 排序1
- 查找1
- 跳表2
- 数据库117
- 网络20
- 分布式65
- 大数据45
- Flume1
- Spark1
- Sqoop1
- 软件工程3
- 管理1
- 工作2
- 笔记1
- JavaCore53
- JavaEE1
- 工具12
- 框架68
- 中间件18
- 设计58
- 编程范式2
- 编程语言3
- python1
- shell1
- scala1
- Python6
- 架构40
- 设计模式27
- 重构7
- 代码的坏味道5
- DDD2
- UML4
- 监控8
- APM2
- 链路追踪2
- 综合6
- nosql1
- 索引5
- 版本管理1
- flyway1
- 分库分表2
- shardingsphere1
- 关系型数据库24
- h21
- postgresql1
- sql1
- sqlite1
- 文档数据库16
- KV数据库16
- memcached1
- 列式数据库15
- cassandra1
- 搜索引擎数据库25
- 面试33
- 网络分层5
- 网络协议6
- HTTP1
- DNS1
- TCP1
- UDP1
- ICMP1
- 网络技术3
- WebSocket1
- CDN1
- VPN1
- 操作系统13
- Windows1
- Mac1
- 一致性1
- ACID3
- CAP1
- BASE1
- Gossip1
- 共识5
- Paxos1
- Raft2
- ZAB1
- 指标3
- 挑战2
- 超时检测2
- NTP3
- 逻辑时钟3
- 物理时钟1
- 向量时钟1
- 全序1
- 偏序1
- 分布式协同2
- 分布式调度1
- 协同17
- 服务治理5
- 调度5
- 服务注册1
- 服务发现1
- 流量控制3
- 限流2
- 熔断2
- 降级2
- 路由2
- 网关1
- 负载均衡1
- 分布式通信7
- 分布式存储8
- 缓存7
- 读写分离2
- Flink9
- ETL1
- 运维7
- hadoop5
- hdfs2
- yarn2
- mapreduce2
- hive8
- Hive1
- 学习1
- 并发19
- JVM11
- Spring62
- SpringBoot30
- SpringCloud1
- 微服务11
- 秒杀系统1
- 超卖1
- 高并发1
- elasticsearch20
- mongodb16
- mysql19
- MySQL1
- 人工智能1
- 机器学习1
- 职场1
- 工具类1
- 字符串1
- 反射2
- 动态代理1
- 数据类型5
- 异常1
- 控制语句1
- 方法1
- 枚举1
- 泛型2
- 注解1
- 面向对象1
- JDK81
- JavaAgent1
- SPI1
- Dubbo4
- Spring Boot1
- common-logging1
- JDBC2
- 国际化1
- 正则2
- 编码1
- 加密2
- 容器11
- List1
- ArrayList1
- LinkedList1
- Set1
- HashSet1
- TreeSet1
- LinkedHashSet1
- Iterable1
- Iterator1
- Comparable1
- Comparator1
- Cloneable1
- fail-fast1
- IO10
- BIO1
- InputStream1
- OutputStream1
- Reader1
- Writer1
- NIO1
- Channel1
- Buffer1
- Selector1
- 多路复用1
- 序列化4
- Serializable1
- Externalizable1
- transient1
- AQS2
- 独占锁1
- 共享锁1
- JMM1
- Happens-Before1
- 内存屏障1
- volatile1
- synchronized2
- final1
- 指令重排序1
- FutureTask2
- CompletableFuture1
- CompletionStage1
- CompletionService1
- ForkJoinPool1
- CountDownLatch1
- CyclicBarrier1
- Semaphore1
- CAS1
- 原子类1
- ThreadLocal1
- Immutability1
- Copy-on-Write1
- 线程2
- Thread1
- Runnable1
- Callable1
- Future1
- 线程生命周期1
- 线程池1
- 锁3
- Lock1
- Condition1
- ReentrantLock1
- ReentrantReadWriteLock1
- StampedLock1
- 安全性1
- 活跃性1
- 性能3
- 死锁1
- 活锁1
- GC1
- 字节码1
- 命令行1
- 故障诊断1
- JavaSE11
- JavaWeb14
- Servlet2
- JSP1
- Filter2
- Listener1
- Cookie2
- Session2
- 服务器8
- Jetty2
- 构建9
- Ant1
- IDE4
- Intellij1
- CAT1
- Zipkin1
- SkyWalking1
- 诊断2
- Arthas1
- JSON2
- 二进制1
- JavaBean2
- Lombok1
- Dozer1
- 模板引擎4
- Freemark1
- Thymeleaf1
- Velocity1
- 测试6
- JUnit2
- Mockito1
- JMeter1
- 日志2
- 工具包1
- Reflections1
- 邮件2
- Html1
- Jsoup1
- 图形处理1
- Thumbnailator1
- 条形码1
- ZXing1
- ORM3
- Mybatis2
- 安全10
- Shiro1
- SpringSecurity1
- Netty1
- Ehcache1
- Http1
- Hystrix1
- Sentinel2
- 数据库连接池1
- 高可用3
- 伸缩性1
- 扩展性1
- 注册中心1
- RPC6
- 认证2
- 授权2
- 漏洞1
- 消息摘要1
- 数字签名1
- 对称加密1
- 非对称加密1
- MD51
- SHA1
- HMAC1
- AES1
- DES1
- RSA1
- 解决方案8
- Git3
- crud2
- 事务5
- 优化1
- 复制4
- 存储引擎1
- InnoDB1
- binlog1
- WAL1
- 读写锁1
- 悲观锁1
- 乐观锁1
- 分区3
- 建模1
- bson1
- 聚合2
- redis19
- LRU1
- LFU1
- 选主2
- 故障转移2
- 持久化1
- CoW1
- KV 数据库5
- 字典1
- Pipeline1
- lua1
- 订阅1
- 观察者模式1
- 集群2
- raft1
- gossip1
- hbase13
- API6
- elastic5
- filebeat1
- kibana1
- logstash1
- mapping1
- 分词1
- 存储2
- 搜索1
- 查询1
- DSL1
- 管道1
- 分片1
- Linux11
- 命令1
- Samba1
- 防火墙2
- cron1
- Vim1
- Zsh1
- 分布式 ID1
- UUID1
- Snowflake1
- Leaf1
- 互斥1
- 2PC1
- 3PC1
- TCC1
- 本地消息表1
- 消息事务1
- SAGA1
- XA1
- 广播1
- epoch1
- quorum1
- 分区再均衡1
- 主从1
- 多主1
- 无主1
- zookeeper7
- 通信3
- MQ11
- 效率提升4
- 方法论1
- 5W2H1
- 沟通1
- 话术1
- 规范3
- Markdown1
- 原理2
- 理论3
- RocketMQ4
- Kafka2
- HBASE2
- Tomcat6
- Maven7
- Bean4
- BeanDefinition1
- IOC4
- 依赖查找1
- 依赖注入2
- AOP1
- Resource1
- 数据绑定1
- DataSource1
- JdbcTemplate1
- JPA1
- MyBatis1
- PageHelper1
- Mapper1
- Redis1
- Web8
- Controller1
- DispatcherServlet1
- CORS1
- View1
- 异步1
- 集成4
- 调度器1
- mq10
- kafka10
- ActiveMQ1