模型运行原理
2021-05-12 13:57:37 3 举报
模型运行原理
作者其他创作
大纲/内容
数据库导出算子
各种选择算子
resolveJobParams将参数封装成自定义JobRunParams类包含作业信息、List类型运行节点、节点间的连接信息等
engineConfig(引擎配置类引擎类型executor使用内存核心数等)
validate验证参数完整性
.....
模型运行原理
xml(前端封装成String类型的XML 后端直接接受)
start
Jobrun(作业启动时间停止时间调度规则配置的自定义参数等)
1.本地生产文件夹临时存储算子文件2.通过新建算子时在mysql中保存的算子所在hdfs路径,循环遍历3.把远程存储算子脚本以及依赖脚本拉取到本地服务器指定目录类4.通过pyCmdSubmitExecutor执行相应脚本5.打印日志到kafka6.前端通过sendMessageTofront方法订阅kafka消息,对应topic--sandlookProcessTopicRunning
找到引擎类型(py)执行run方法
日志输出
相似性原理建模算子
设备数字镜像取数算子(训练)
success返回运行成功
规则筛选算子
前端将画布中算子组装成xml
jobRunController中startJobDebug方法
合并算子
0 条评论
下一页