TECHNICAL WORK·DISTRIBUTED COMPUTING

Parallel Framework

基于 ZooKeeper 主从架构的分布式并行计算框架。

JavaZooKeeperRedisMaster-Worker
01 / HOW IT WORKS

一个任务,如何拆开再合并?

从主从选举、任务分片到结果归并的完整执行路径。

场景:多节点分布式并行处理计算分片STEP 01 / 04

接收与提交任务

调用端调度器接收任务参数,将初始任务上下文写入共享存储。

对应源码 ↗
02 / SYSTEM ARCHITECTURE

系统架构

ZooKeeper 协调节点主从选举与在线状态,Redis 统一存储任务、分片和中间结果,Master 负责拆分调度与归并,Worker 节点并行消费分片。

ZooKeeper 协调节点角色,Redis 保存任务、分片和结果。主节点负责调度和归并,工作节点执行分片。 主节点到ZooKeeper:参与选举。工作节点到ZooKeeper:注册节点。主节点与Redis:调度与归并。工作节点与Redis:领分片 / 存结果。调用端调度器与Redis:提交 / 查询。Java 计算节点参与选举注册节点调度与归并领分片 / 存结果提交 / 查询调用端调度器提交任务 · 查询结果主节点任务分片 · 分发与归并工作节点领取与执行任务分片ZooKeeper主节点选举 · 节点协调Redis任务 · 分片 · 结果
请求与数据流 协调 / 核心控制 状态与事件索引
03 / CORE DESIGN

值得展开的设计。

01 / DESIGN

协调与执行分离

ZooKeeper 专注节点协调与主从容灾,数据面完全走 Redis 队列解耦。

02 / DESIGN

可插拔任务模型

通过统一分片与归并接口支持自定义并行任务与多节点横向扩展。