TECHNICAL WORK·DISTRIBUTED COMPUTING
Parallel Framework
基于 ZooKeeper 主从架构的分布式并行计算框架。
01 / HOW IT WORKS
一个任务,如何拆开再合并?
从主从选举、任务分片到结果归并的完整执行路径。
场景:多节点分布式并行处理计算分片STEP 01 / 04
接收与提交任务
调用端调度器接收任务参数,将初始任务上下文写入共享存储。
02 / SYSTEM ARCHITECTURE
系统架构
ZooKeeper 协调节点主从选举与在线状态,Redis 统一存储任务、分片和中间结果,Master 负责拆分调度与归并,Worker 节点并行消费分片。
03 / CORE DESIGN
值得展开的设计。
01 / DESIGN
协调与执行分离
ZooKeeper 专注节点协调与主从容灾,数据面完全走 Redis 队列解耦。
02 / DESIGN
可插拔任务模型
通过统一分片与归并接口支持自定义并行任务与多节点横向扩展。
04 / ENGINEERING EVIDENCE