数据流平台数据治理的相关思考
2019-11-25 15:49:55 17 举报
登录查看完整内容
java
作者其他创作
大纲/内容
是否有效before_resume_update_time <algo_resume_update_time
数据流平台
调用失败或超时（funcitons 记录当前失败算法，下次重试时间）
call
简历打标签服务
写入索引
7 请求合并
N 走主库
1、算法的处理，逻辑是通过启动注册进来的，返回值是动态列所需存储的；2、每个服务熔断降级策略，通过统一完成（参考框架hystrix等）；3、每个算法的响应时间，流量，统一记录；4、某份简历，如果多次超时，标记badcase （类似职能识别，偶尔会死循环）
3push如果首次写入队列，function:所有已注册的算法
7 call
入索引服务1、可以检测数据延迟情况
8 入库，动态列修改（执行sql之前，记录时间）before_resume_update_time
算法表
Y
算法2处理逻辑
算法...处理逻辑
降级队列&重试队列
算法n处理逻辑
算法服务2
数据接口
push
简历表
1
队列管理
考虑通用性的话，非业务部分，提供一个jar的模式，类型场景直接使用即可（业务部分：调用算法，写库）
6
等待打标签的简历队列
功能描述
算法处理入口上添加注解，注册算法处理逻辑（spring 自动扫描完成）
队列中的数据{\"resume_id\
获取简历
获取简历&算法标签
4 pull 的最大值就是算法，最大承载量
算法服务n
算法1处理逻辑
算法服务
失败
拿到简历和需要标签处理的算法，根据算法分发处理
2
算法服务....
调用成功处理逻辑
5
算法服务1
tob数据
收藏
0 条评论
回复 删除
下一页
