文件拆分与合并

业务应用

dbsp-file-batch-plugin

步骤说明1、调度客户端定时任务定期查询数据库看是否有文件拆分/合并任务2、检测到有文件拆分/合并任务将构建方法参数调用文件拆分/合并方法；文件拆分/合并方法由dbsp-file-batch-plugin实现3、调用文件下载方法将文件从远程下载到本地4、按模板解析得到路由要素信息5、根据路由要素信息外调路由获取单元信息，将文件行按单元归类6、调用文件上传方法将拆分后的文件上传至远程服务器

基础1、依赖com.bocsoft.dbsp:dbsp-file-batch-plugin2、按照批量开发框架的plugin处理方式提供BatchDataTransfer扩展点实现文件上传下载功能，不提供默认支持ftp上传下载功能

从input参数中取出handlerFileUrl值将远程文件下载至本地

定时扫描DB，调用DcnPartitionAndMerge#dcnPartition方法拉起文件拆分功能并传入参数文件地址、文件模板id、路由key

结合路由key、路由值依赖路由sdk查询单元号

2

schedule-client

调度引擎SDK

routing-client

结合路由key解析得到路由值

将本地缓存文件上传至文件服务器

将远程文件地址塞入jobParams参数中，其中key为handlerFileUrl

routing-server

获取路由值

1

将上传后的文件地址返回给调度引擎SDK

业务处理

提交job任务

BatchDataTransferImpl

单元化文件拆分与合并插件

远程文件地址返回

文件上传

5

文件行解析

单元号查询

3、6

根据文件地址进行文件下载

按单元号对文件行进行归类写到本地文件

本地文件缓存

结束

按照文件模板id解析文件

提交job并将将远程文件地址handlerFileUrl的值塞入Input参数的handlerFileUrl 中

DB

上传下载

4