执行流程
2017-03-24 09:18:22 0 举报
登录查看完整内容
执行流程是指按照既定的计划和步骤,逐步完成某项任务的过程。在执行流程中,需要明确目标、制定计划、分配资源、协调合作、监控进度和评估结果等环节。首先,明确目标是为了确保团队对任务的理解一致,并能够将目标转化为可量化的指标。其次,制定计划是为了将任务分解为具体的步骤和时间节点,以便团队成员能够有条不紊地完成任务。然后,分配资源是为了确保每个环节都有足够的人力、物力和财力支持。接下来,协调合作是为了促进团队成员之间的沟通和协作,以便高效地完成任务。最后,监控进度和评估结果是为了保证任务按时完成,并对任务的执行情况进行总结和反馈,以便不断改进和提高执行效率。
作者其他创作
大纲/内容
判断接收数据类型
获取没有依赖的Node
推送到Controller队列
判断所有Flow运行完成
Debug
是
未完成
获取训练数据、模型对应参数进行训练
从Controller队列中取出Controller
Socket接收数据
处理接收信息
按照正常处理模式执行
保存挖掘模型
等待Flow、DataMining线程执行结果
End
判断结果
替换所有Node、数据源别名
处理Node
判断Request指令
从队列中取出Request信息进行相应处理
Controller
异常信息推送到Controller等待完成队列
处理Flow
结束Controller运行
阶段
判断所有Node执行完成
完成信息推送到Controller等待完成队列
将没有依赖的Node扔到线程池中执行
发送信息
运行模式
接收后台信息
否
完成信息推送到Flow等待完成队列
完成
处理DataMining
正常
Next
开始
将没有依赖的Flow、DataMining扔到线程池中运行
启动推送日志线程启动处理Request线程
存储Node将Node中数据存储到JDBC、HBASE、HDFS
执行完成
Request
Finish跳过从Debug队列中取Request直至运行结束
获取Node需要执行语句执行并向Spark注册
异常
注册Flow需要的Spark UDF
从队列中取出信息发送到对应的Socket
获取下一个断点之前的所有Node
注册所有数据源
启动Spark启动socket监听
推送确认信息
处理Controller
等待Node执行结果
根据挖掘模型注册数据源
从Debug队列中获取Request处理
查看Node将信息推送给后台
推送到Request队列
获取准备各种变量
将Flow下的多棵树根据运行模式、断点、存储、查看、数据出口进行分组,拼接SQL,处理Node之间执行依赖关系
引擎处理流程
获取所有没有依赖的Flow、DataMining
手动终止Controller运行
正常、Test
异常信息推送到Flow等待完成队列
0 条评论
回复 删除
下一页