可视化ETL工具

解析引擎

EXCEL

文件系统

1、可视化配置多数据库连接2、可配置表字段的映射关系3、可配置选择新增、更新操作4、支持MQ、定时任务等方式5、保存配置到数据库

CSV

数据库

解析引擎：①EXCEL：POI ②JSON：FASTJSON ③CSV：OPENCSV ④PDF：ITEXT ⑤XML：DOM4J解析文件成功后，将数据放入消息队列，等待处理引擎处理消费。处理引擎：①MYSQL ②ORACLE接收到解析引擎的消息后，根据配置的数据源信息，以及配置的字段映射关系，进行入库操作流程说明：一组解析引擎和处理引擎的配置，称为一条“作业”，记录到数据库。可以是定时任务的方式，也可以是MQ的方式。下面以MQ方式为例，描述流程：1、首先配置好解析引擎和处理引擎。解析引擎主要包含，文件类型，文件模板（格式）。处理引擎包含，具体的数据库连接配置，字段映射配置，这个地方需要与解析引擎的文件模板相关联。2、配置完成后，正式开始流程。首先由客户端爬取到文件后，上传腾讯云，上传成功后，发送MQ给到解析引擎，并告知引擎是哪一个“作业”（对应第一步的配置）的消息，通知引擎去下载文件。3、解析引擎下载完成文件后，根据事先“作业”的配置，判断下载的文件类型、格式等是否符合要求，如不符合，则中断流程，并通知对应责任人。4、如果文件格式等没有问题，则会调用对应的解析工具，根据事先配置好的文件模板，进行解析。解析完成后，将数据通过MQ发送给处理引擎。5、处理引擎接受到数据消息后，根据配置的字段映射关系，存入对应的数据库表中。 

1、可配置多文件格式2、上传模板文件，规定格式3、支持文件格式校验4、支持MQ、定时任务等方式5、保存配置到数据库

XML

处理引擎

JSON