datax执行流程
2021-08-25 16:44:20 15 举报datax执行流程
作者其他创作
大纲/内容
postJobWriter加载写插件执行其post方法
Engine.start
参数解析Job参数Merge核心参数Merge插件参数确定运行模式和jobid对配置文件做整体检查
TaskGroupContainerRunner
TaskExecutor.doStart
JobContainer.start
startAllTaskGroup
writerThread.start(WriterRunner)|中间桥梁为(ArrayBlockingQueue)|readerThread.start(ReaderRunner)
postJobReader加载读插件执行其post方法
postHandle
initJobReader加载读插件传入Config执行其init方法
mergeReaderAndWriterTaskConfigs
isDryRun
prepare
initJobWriter加载写插件传入Config执行其init方法
adjustChannelNumPerTaskGroup
JobAssignUtil.assignFairly
init
adjustChannelNumber
preHandle
doReaderSplit(jobReader.split)
这里先执行writer再执行reader
split(任务切分)
1.建议执行是的channel数2.输入是reader和writer的parameter list，输出是content下面元素的list
预演流程
scheduler.schedule
initStandaloneScheduler
prepareJobReader加载读插件执行其prepare方法
TaskGroupContainer.start
绑定column转换信息创建JobContainer
Engine.entry
开始
post
doAssign
invokeHooks
schedule(任务调度)
获取transformer
doWriterSplit(jobWriter.split)
parseAndGetResourceMarkAndTaskIdMap
prepareJobWriter加载写插件执行其prepare方法
0 条评论
下一页
