2023/3/16大约 2 分钟
HBase Java API 高级特性之协处理器
简述
在使用 HBase 时，如果你的数据量达到了数十亿行或数百万列，此时能否在查询中返回大量数据将受制于网络的带宽，即便网络状况允许，但是客户端的计算处理也未必能够满足要求。在这种情况下，协处理器（Coprocessors）应运而生。它允许你将业务计算代码放入在 RegionServer 的协处理器中，将处理好的数据再返回给客户端，这可以极大地降低需要传输的数据量，从而获得性能上的提升。同时协处理器也允许用户扩展实现 HBase 目前所不具备的功能，如权限校验、二级索引、完整性约束等。
应用场景
- 二级索引实现：通过 Observer 协处理器在主表写入时同步写入索引表，支持非 Rowkey 查询。
- 权限控制：实现自定义权限校验逻辑，控制用户/组的读写权限。
- 数据聚合计算：使用 Endpoint 协处理器在 RegionServer 端执行聚合计算，减少网络传输。
- 数据审计与日志：记录数据变更日志，实现数据审计和变更追踪。
最佳实践
- 协处理器逻辑保持简单：协处理器在 RegionServer 端执行，复杂逻辑会影响性能。
- 避免死循环：Observer 协处理器中避免触发自身，如 Put 操作触发 Put 协处理器。
- 充分测试：协处理器部署前充分测试，避免引入 bug 导致 RegionServer 崩溃。
- 监控协处理器性能：监控协处理器执行时间，及时发现性能瓶颈。
常见问题
协处理器和触发器的区别？
协处理器类似数据库触发器，但更灵活。Observer 协处理器类似触发器，在数据操作前后执行；Endpoint 协处理器类似存储过程，在客户端调用执行。
协处理器部署失败怎么办？
检查 jar 包是否正确上传，类名是否正确，RegionServer 日志是否有报错。可以通过 HBase Shell 的 disable/enable 重新加载协处理器。