出口网关架构图

Harmony

推送

一致性Hash

二方系统

web

任务存储(Redis)

延迟时间是否<=30分钟

任务新增

%10

收集

MySql

监听

启动/下线

分布式锁

省金融联合会

1

定时任务

1.2配置保存

外部三方

2.2:发起请求

LB(Nginx)

Work1

5:PreGreys预组装greys命令

Queue

任务

2.5:请求三方

Y

存放

业务

ZK 集群

Palamidi-Console

Master分配计算槽位/worker的关系

Cache

...

Hash(Code)

主动结束

ZK_0

Octopus

响应

开放平台(API网关)

DB

路由计算hash(code)%15

1：自定义代码模板public void doCallback(CallbackContext callbackContext){ // 自定义代码}，callbackContext，以http协议格式(header/body)为入参。2：Biz二方需要先注册的开放平台(通过开放平台-入口网关-应用管理(二方系统注册流程))。3：启动时，根据appCode/artifcactId获取自定义配置，进行本地加载编译4：当自定义代码变化时，通过Kafka通知Ocean.amoeba.callback.jar，进行代码编译/重新加载备注1：Biz启动时(Ocean.amoeba.callback.jar随着启动，加载相关配置，配置包括：kafka、dubbo，这些配置尽量写在(Ocean.amoeba.callback.jar内部)，业务方仅传递appCode/artifcactId自定义数据结构1：自定义代码数据结构(场景编号bizID，自定义代码内容callback_code) ，内部二方和业务场景对应关系=1：N 业务场景和自定义代码对应关系=1：1

存取

2:参数解析for html

执行机N

延迟任务

1.2：编写自定义代码

Worker_N

注册/通知

ZKn

ZK

1.4配置更新

1.1:配置秘钥

任务注册(Web/接口)

TimingWheel任务扫描(worker上运行)

获取(调度函数)

挖财Fisherman

3.2

应用层(任务机)

备注1：manager启动后，向zk注册16个 永久顺序节点(/prophet/work_slot/ws_0...15)2：下次启动时，检查节点是否存在，如果不存在，则再次创建；

快贷

Manager

ZK选举

槽位1

浙江省互金协会

1.1配置三方应用以及API

workN

新任务进入

2.3:转发

订阅

Dubbo

注册通知任务槽位(16个)

存储

Worker_1

Ocean.amoeba.callback.jar

获取

被动终止

备注：1：流程，Work上线时，触发master选举(新的master/worker 进行槽位和worker关系计算)-->计算完毕，更新到zk集群-->其他的worker订阅监听-->触发槽位/worker关系节点调整(新建和删除)；2：任务不迁移 可能会某个任务存在2个甚至多个worker上的st，通过分布式锁控制 不出现2个worker甚至多个和客户端通知执行；3：计算机器，槽位和Worker的关系计算，由 zk选举后master对应的worker上执行；执行后把关系更新到zk server，其他worker订阅

4:参数解析for web socket

Web portal

Redis

压缩(zip)sftp

执行机1

2.5:remote cache miss

通知

执行通知

获取任务(=30分钟)

Amoeba

slab1

ZK_9

注册

6:处理greys命令

http

请求

Controller server

挖财BI

文件/对象

浙江互联网金融联合会

丰马

处理过程(简述)：1:不设置soTimeout; reponse及时输出2:发送终止命令，发送 reset/quit3:支持并发(暂定:20 thread处理此类型命令)，

拉取

任务扫描(worker上运行)

拉取全量配置

1.0:应用以及Api配置

N

2

1.6：FTP配置

Queue(Kafka)

Kafka

应用层

Octopos-中台服务

worker通知/获取任务

Netty-Handler

数仓

1:健康检查

Worker集合

Greys

1.5：回调配置

路由规则函数

3.1

1.4：流控配置

槽位15

存放到Redis

span style=\"font-size: inherit;\

ZK1

业务(...)

组件指令

挖财Data-X

挖财dev

访问

slabN

1..3配置变更推送

Obelisk3

2.1.全量拉取

1.3：Token获取配置

3:业务处理for http

分配计算槽位/worker的关系

2.4:local cache miss

订阅监听

chaosAgent

Tidb

存放到槽位

Worker上线

路由函数规则：span style=\"font-size: inherit;\

10个task_slot

Server

理财

槽位0

Biz(业务)

OSS

http?

work1

挖财开放平台

Worker下线

Workn

slab2

zk节点(含类型)：1：manager启动后，向zk注册16个 永久顺序节点(/prophet/delay_task/work_slot/ws_0...15)/prophet\t/delay_task\t\t/work_slot\t\t\t/work_slot_0\t\t\t\ttask_code_001\t\t\t\ttask_code_002\t\t\t/work_slot_1\t\t\t\ttask_code_003\t\t\t\ttask_code_004\t\t\t...\t\t\t/work_slot_15\t\t\t\ttask_code_...span class=\"Apple-tab-span\" style=\"white-space:pre\

备注：1：运行机器，任务扫描job程序部署到所有的worker机器上;2：状体更改，把任务放到任务槽位时，需要更新下db中，此任务的状态；3：任务重新获取，任务扫描job从redis获取任务，一旦redis异常，则从db获取(根据相同的key);

执行机2

槽位/执行worker关系