2023.1.14 会议纪要

[flycash]

这里我们讨论的是调度集群的集群模式。大体上来说，可以分成对等模式和主从模式：

• 对等模式
• 主从模式
• 混合模式：整体是一个对等模式，但是每一个节点也是主从模式

对等模式

对等模式的基本形态就是每一个节点都是平等的，可以独立的调度任务而不必与其它节点交互。对等集群要解决的第一个问题是如何分配任务。

分配任务的难点在于两方面：

• 难以确定一个节点能调度多少任务
• 调度不同任务所需要的资源都是不一样的

目前业界的做法有两种：

• 第一种是节点自己去抢。这种机制也是有问题的：
  • 节点需要考虑自己究竟有没有容量去处理更加多的任务；
  • 需要一个再均衡负载的机制。当某个节点发现自己负担了很多任务之后，它可以考虑放弃一部分，或者直接将一部分任务转交给别人。这种转交可以主动的，也可以是被动的。被动的则是意味着采用窃取方案；
• 第二种则是通过用户指定。用户指定可以是在启动的时候通过配置文件启动，也可以是通过配置中心指定，或者是通过管理后台来指定；

归根结底是对等节点难以做到负载均衡，包括难以在负载不均衡的时候进行再分片。

主从模式

主从模式并不是说只有主节点来执行调度。主从模式核心是依靠主节点来进行分片，即为每一个节点分配任务。在这个过程中，它需要做到尽可能使所有的节点负载均衡。

进一步说，主节点还肩负着再负载均衡的任务。即如果主节点本身发现从节点上的任务负载不再均衡，那么就需要选择合适的节点，将负载分出去，即再分片。

主从模式有几个问题：

• 脑裂问题：这个问题众所周知，这意味着会有多个主节点尝试着进行分片
• 主从选举问题：在主节点崩溃之后，需要选举出来一个从节点接替主节点。在这种情况下，从节点本身运行了一些任务，它在被提升成为主节点之后，要不要继续调度原本分配的任务，如果不调度，就需要执行再分片的过程。涉及到主从选举，又会涉及另外一个问题，就是主从选举怎么选

进一步地，我们可以考虑所谓的哨兵模式。

哨兵模式可以看做是主从模式的变种。哨兵模式的核心是维护两个集群，一个哨兵集群，一个调度节点集群。哨兵集群时刻监控调度节点的运行情况，并且在一个节点崩溃之后要及时把任务分配给其他节点。哨兵集群自己也有多个节点，可以是对等也可以是主从。

不过这种模式有一点脱裤子放屁的感觉，因为在分布式任务这个系统里面，用不上这么复杂的结构。

[flycash]

会议主题：ecron 架构决策会
会议时间：2023/01/14 21:00-21:30 (GMT+08:00) 中国标准时间 - 北京

点击链接入会，或添加至会议列表：
https://meeting.tencent.com/dm/7p9iPatG44BM

#腾讯会议：881-122-278

复制该信息，打开手机腾讯会议即可参与

[flycash]

会议记录

录播：https://www.bilibili.com/video/BV15K411y7m9/

投票

你春节是否有时间
投票结果_881122278_20230114.xlsx

会议纪要

下一步计划

• 制作原型：
  • 基于 MySQL
  • 调度本地任务
• 画出典型的用例的时序图