算法执行逻辑
2024-10-14 17:29:36 0 举报
算法执行逻辑
作者其他创作
大纲/内容
hbase 基础车辆(电池)上报数据
输入
数据清除阶段：删除服务器磁盘上算法运行依赖的数据
...
车辆A中间文件记录
输出车A的中间文件记录
算法1输出表
车辆A结果输出文件夹
算法1
车辆A最近一次算法输出记录
车辆B中间文件记录
mysql 存储算法输出结果(业务系统需要)
车辆A最近一次算法结果
车辆C上报数据
车辆A上报数据
算法2
车辆B上报数据
从hdfs读取基础数据到服务器磁盘
车辆B最近一次算法输出记录
算法调用阶段：将车辆信息，车辆上报信息文件夹，上次计算产生的中间结果文件夹传入算法，算法执行后覆写中间文件，输出算法结果
hdfs 存储算法依赖中间文件
车辆A上报数据文件夹
输出车A算法结果
结果保存阶段：将服务器磁盘上新生成的中间文件上传到hdfs将算法结果保存到mysql
从hdfs读取中间文件到服务器磁盘
中间结果写入hdfs
车辆A中间文件文件夹
算法2输出表
算法结果入库
服务器磁盘
数据准备阶段：从hbase读取基础数据到服务器磁盘从hdfs读取中间文件到服务器磁盘
0 条评论
回复 删除
下一页
