newX
2018-06-29 17:51:22 0 举报算法流程
作者其他创作
大纲/内容
继承
Waterdrop类
统一数据服务
数据模型
run启动
runtime
job
PROPERTIES
数据同步服务
MLSQLPlatformLifecycle before
restful
StreamingApp
执行mlsql
spark-Execution
mlsql主流程
other...
开始训练
结束
mysql
DDLDMLDCL
模型评估
超时等待/其它异常捕获
其它模式
分布式内存计算框架
lifeCycleCallback（array-buffer）
PythonApp
数据采样加权采样随机采样数据合并/拆分缺失填充归一化处理标准化类型转换等
rest-server
公共数据
数据源服务
mongo
配置文件支持的枚举类型
saprk-submit
hive
大数据存储系统
waterdrop
RestServer
oracle
服务网关统一认证统一元数据
SparkStreamingRuntime
SparkRuntime
完成构建sparkSession
MLSQLPlatformLifecycle
HikariDataSource
数据计算服务
MLSQLAutoSuggestApp
判断执行模式
worker
数据预处理
定时线程清理spark-session
数据质量
查询任务
StrategyDispatcher
JobManager.run执行任务
数据管理/审计/脱敏
DSLSQLListener
DslAdaptorloadAdaptorselectAdaptorsaveAdaptorconnectAdaptor.......
TiDB
其它....
拆分训练数据集
可视化服务
Jdbc
JSON
机器学习算法分类模型存储
ScriptSQLExecListener
离线数仓建模
数据治理
Execution
开始
PlatformManagerListener
模型查看模型评估曲线
分析语句展开
transform
jobs
SparkStructuredStreamingRuntime
分析任务
训练成功
source
实时通道
特征工程
app
模型训练
模型存储/展示
组册
msql交互
启动
MLSQLWatcher
JobManager
数据挖掘平台服务
PlatformManager
连接参数
N
算法模型
更加传递参数来获取不同的sparksession1.sessionPerUser（根据用户获取）2.sessionPerRequest（clone）3.defaultSession
ConfigBuilder构建（S、T、S）
解析mlsql
sink
MLSQLPlatformLifecycle after
entryPoint入口
获取sparkSession
严重错误
接受前端模型和模型参数
Connector
Y
一般错误码
CONF
Hbase
flink-Execution
特征选择特征处理特征分析等
负责执行前初始化一些插件和日志钩子，执行完成后负责清理工作
Executors.newFixedThreadPool(100)
组册到zk（如果配置）
main->run
多维分析服务
mlsql-console
thrift-server（如果配置true）
配置对象
参数校验
注册
异步线程池
离线通道
同步
ProfilerApp
训练失败
业务数据
0 条评论
下一页
为你推荐
查看更多
抱歉，暂无相关内容