分布式协同面试

复制

【基础】什么是复制？复制有什么作用？

分布式共识

什么是分布式共识

分布式系统最重要的抽象之一就是共识（consensus）：所有的节点就某一项提议达成一致。

共识问题通常形式化如下：一个或多个节点可以提议（propose） 某些值，而集群中的所有有效节点根据共识算法进行协商，最终决议（decides） 采纳某个节点的提议。

而共识算法必须满足以下性质：

1. 达成一致（Uniform agreement） - 没有两个节点的决定不同。
2. 完整性（Integrity） - 每个节点最多决议一次。
3. 有效性（Validity） - 如果一个节点决定了值 v ，则 v 由某个节点所提议。
4. 终止（Termination） - 由所有未崩溃的节点来最终决议。

分布式分区

什么是分区

分区通常是这样定义的，即每一条数据（或者每条记录，每行或每个文档）只属于某个特定分区。实际上，每个分区都可以视为一个完整的小型数据库，虽然数据库可能存在一些跨分区的操作。

在不同系统中，分区有着不同的称呼，例如它对应于 MongoDB, Elasticsearch 和 SolrCloud 中的 shard, HBase 的 region, Bigtable 中的 tablet, Cassandra 和 Riak 中的 vnode ，以及 Couch base 中的 vBucket。总体而言，分区是最普遍的术语。

分布式协同

📖 内容

• 分布式协同综合
  • 分布式复制 - 关键词：主从、多主、无主
  • 分布式分区 - 关键词：分区再均衡、路由
  • 分布式共识 - 关键词：共识、广播、epoch、quorum
  • 分布式事务 - 关键词：2PC、3PC、TCC、本地消息表、消息事务、SAGA
  • 分布式锁 - 关键词：互斥、可重入、死锁、容错、自旋尝试、公平性
  • 分布式协同面试 💯
• ZooKeeper
  • ZooKeeper 原理
  • ZooKeeper Java Api
  • ZooKeeper 命令
  • ZooKeeper 运维
  • ZooKeeper Acl

分布式协同

📖 内容

• 分布式复制 - 关键词：主从、多主、无主
• 分布式分区 - 关键词：分区再均衡、路由
• 分布式共识 - 关键词：共识、广播、epoch、quorum
• 分布式事务 - 关键词：2PC、3PC、TCC、本地消息表、消息事务、SAGA
• 分布式锁 - 关键词：互斥、可重入、死锁、容错、自旋尝试、公平性
• 分布式 ID - 关键词：UUID、自增序列、雪花算法、Leaf
• 分布式会话 - 关键词：UUID、自增序列、雪花算法、Leaf
• 分布式协同面试 💯

分布式复制

复制主要指通过网络在多台机器上保存相同数据的副本。

复制数据，可能出于各种各样的原因：

• 提高可用性 - 当部分组件出现位障，系统依然可以继续工作，系统依然可以继续工作。
• 降低访问延迟 - 使数据在地理位置上更接近用户。
• 提高读吞吐量 - 扩展至多台机器以同时提供数据访问服务。

复制的模式有以下几种：

• 主从复制 - 所有的写入操作都发送到主节点，由主节点负责将数据更改事件发送到从节点。每个从节点都可以接收读请求，但内容可能是过期值。
• 多主复制 - 系统存在多个主节点，每个都可以接收写请求，客户端将写请求发送到其中的一个主节点上，由该主节点负责将数据更改事件同步到其他主节点和自己的从节点。
• 无主复制 - 系统中不存在主节点，每一个节点都能接受客户端的写请求。接受写请求的副本不会将数据变更同步到其他的副本。此外，读取时从多个节点上并行读取，以此检测和纠正某些过期数据。

服务容错

故障分类

从故障影响范围维度来看，分布式系统的故障可以分为三类：

• 集群故障：根据业务量大小而定，集群规模从几台到甚至上万台都有可能。一旦某些代码出现 bug，可能整个集群都会发生故障，不能提供对外提供服务。
• 机房故障：现在大多数互联网公司为了保证业务的高可用性，往往业务部署在不止一个机房。然而现实中，某机房的光缆因为道路施工被挖断，导致整个机房脱网的事情，也是时有发生的。并且这种事情往往容易上热搜。
• 单机故障：集群中的个别机器出现故障，这种情况往往对全局没有太大影响，但会导致调用到故障机器上的请求都失败，影响整个系统的成功率。

ZooKeeper Java Api

ZooKeeper 是 Apache 的顶级项目。ZooKeeper 为分布式应用提供了高效且可靠的分布式协调服务，提供了诸如统一命名服务、配置管理和分布式锁等分布式的基础服务。在解决分布式数据一致性方面，ZooKeeper 并没有直接采用 Paxos 算法，而是采用了名为 ZAB 的一致性协议。

ZooKeeper 主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储。但是 ZooKeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控存储数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。

很多大名鼎鼎的框架都基于 ZooKeeper 来实现分布式高可用，如：Dubbo、Kafka 等。

ZooKeeper 官方支持 Java 和 C 的 Client API。ZooKeeper 社区为大多数语言（.NET，python 等）提供非官方 API。

ZooKeeper 命令

ZooKeeper 命令用于在 ZooKeeper 服务上执行操作。

启动服务和启动命令行

# 启动服务
bin/zkServer.sh start

# 启动命令行，不指定服务地址则默认连接到localhost:2181
bin/zkCli.sh -server hadoop001:2181

ZooKeeper ACL

为了避免存储在 Zookeeper 上的数据被其他程序或者人为误修改，Zookeeper 提供了 ACL(Access Control Lists) 进行权限控制。

ACL 权限可以针对节点设置相关读写等权限，保障数据安全性。

ZooKeeper ACL 提供了以下几种命令行：

• getAcl 命令：获取某个节点的 acl 权限信息。
• setAcl 命令：设置某个节点的 acl 权限信息。
• addauth 命令：输入认证授权信息，注册时输入明文密码，加密形式保存。