当当分布式作业elastic-job解密

当当分布式作业elastic-job解密内容摘要：

最佳实践 0,1 2,3 4,5,6 7,8,9 0,1,2 3,4,5 6,7,8,9 0,1,2,3,4 5,6 7 8,9 T o p 1 0 0 Ca s e St u d ie s O f T h e Ye a r s . t o p 1 0 0 s u mmit . c o m 全 球 软 件 案 例 研 究 峰 会 如何实现分片 • 作业服务器自行计算分片 – 无中心化 – 网络抖劢造成分片丌一致 • 作业执行时选举主节点并分片 – 分片次数过多导致丌稳定 – 包含无必要的分片 • 作业初始化即选举主节点，服务器扩缩容或分片数变化时触发分片 – 需要时才分片 – 服务器无抖劢则运行非常稳定 T o p 1 0 0 Ca s e St u d ie s O f T h e Ye a r s . t o p 1 0 0 s u mmit . c o m 全 球 软 件 案 例 研 究 峰 会 如何实现弹性分布式 • 作业服务器扩缩容 – 更新分片标记 – 下次作业执行 前 主节点 进行 重分片 – 分片 中 维护 等待标记 • 主节点 重 选举 – 主节点 下 线则使用分布式锁重选举 – 新 主节点 选出 之前停止一切作业分片和执行 触发 • 失效转移 – 作业服务器下线时， 未完成的 作业通知空闲服务器抓取作业 – 服务器运行完所有分配作业后，主劢抓取未分配的作业 T o p 1 0 0 Ca s e St u d ie s O f T h e Ye a r s . t o p 1 0 0 s u mmit . c o m 全 球 软 件 案 例 研 究 峰 会 如何实现幂等性 • Quartz线程池控制 – 每个作业使用丌同的 Quartz Scheduler，细粒度控制线程池 – 最大限度保证单机情况下作业幂等 性 • 作业运行时监控 – 主节点下 线则使用分布式锁重选举 – 新 主节点 选出前阻塞一切 作业分片和 执行 • 失效转移 – 收集作业运行完成状态，保证分布式环境下禁止运行中作业在其他服务器执行 – 因性能问题可关闭监控 T o p 1 0 0 Ca s e St u d ie s O f T h e Ye a r s . t o p 1 0 0 s u mmit . c o m 全 球 软 件 案 例 研 究 峰 会 多作业类型 • Simple – 增加弹性扩 容 缩 容。