算法平台上下游设计
2024-10-14 17:28:39 0 举报
为你推荐
查看更多
算法平台上下游设计
作者其他创作
大纲/内容
vin-n
任务入库
vin-1vin-2vin-3...vin-49
子任务回传内容处理
任务执行回传内容处理
node1
子任务开放接口
t_algorithm_task（任务表）车型A任务20240622，任务执行参数，任务进度，状态车型A任务20240621，任务执行参数，任务进度，状态
vin1 vin2 vin3....
t_algorithm_task_type（任务类型表）车企A，车型A，任务执行参数车企A，车型B，任务执行参数
业务系统
若任务状态更改则回传任务信息到业务系统
消费节点从上游获取到任务之后，根据车辆计算结果表中最近一次车辆计算的数据起始时间与结束时间判断车辆是否需要计算及结果是否需要保存
业务系统数据库
子任务入库
车型A任务20240623
保存子任务执行情况与任务执行情况
t_algorithm_result_history（车辆计算历史记录表）vin1-算法运行结果分拆字段vin2-算法运行结果分拆字段...
任务拆分，子任务保存
t_algorithm_cal_task（车辆计算结果表）vin1 算法运行结果json 数据起始结束时间vin2 算法运行结果json 数据起始结束时间...
从计算任务表查询待计算的任务中间可涉及优先级，顺序排序等功能
调度系统设置定时任务，每一小时取近一小时完成的任务，将完成任务下子任务的执行情况转储到hdfs或者任务字段中(需要配合前端相关接口取值更改)
子任务执行结果回传风险列表
车型A任务20240624（vin1 vin2 vin3....）车型A任务20240623（vin1 vin2 vin3....）
t_algorithm_risk（风险记录表）vin1-算法运行结果分拆字段vin2-算法运行结果分拆字段
算法平台数据库
获取当前时间需要执行的任务类型(定时触发)，获取车辆信息
子任务计算之后拆解的算法结果字段
任务执行情况保存
风险记录保存
车型A
调度系统
kafka队列
http调用/kafka发送(消息长度限制)
下游消费节点有空闲线程时在调度平台申请任务(后续如需扩展可使用redis，zookeeper等实现分布式锁)
t_algorithm_log（任务日志表）车型A任务20240622，任务执行参数，任务进度，状态车型A任务20240621，任务执行参数，任务进度，状态
使用定时任务或者保存时校验保证每辆车最多10条历史数据
node3
vin-1vin-2vin-3...vin-19
任务接收，任务保存
node2
t_algorithm_cal_task（计算任务表）taskId，vin1，运行参数，运行日志记录(执行状态等)taskId，vin2，运行参数，运行日志记录(执行状态等)...
0 条评论
回复 删除
下一页
