数据处理时序图
2019-01-30 15:44:37 0 举报数据处理时间序列
作者其他创作
大纲/内容
5分钟频次最大3分钟平均2分钟
半小时频次每个小时50点和20点
原始日志Topic
否
半小时频次每个小时55点和25点
耗时1分钟内
普通客户
VIP客户
标准Topic
涉及N返回一N个结果，预计处理时间2*N分钟
半小时频次每个小时0点和30点
发布普通
最大耗时7分钟内，平均5分钟
同天任务
无客户信息
日志格式客户ID频道ID
耗时20分钟左右
小时任务
M个小时M个结果，预计每小时2分钟内，处理时间2M分钟
半小时频次每个小时25点和55点
跨天任务
同步首鸣
发布VIP
耗时20分钟内
返回一个批次结果，预计处理时间2分钟
监控文件生成后即同步
标准Parquet
指定频道
是
日志发布
定制发布
完整批次
异常Topic
同步OSS备份
格式异常
根据提交任务，每分钟检测一次是否有等待执行任务
0 条评论
下一页
