SeaTunnel 架构图
2022-08-29 13:51:17 63 举报
SeaTunnel是一个基于Apache Spark的海量数据实时同步工具,它支持海量数据的数据源接入、实时数据同步和数据流式处理。SeaTunnel架构图主要包括以下几个部分: 1. 数据源接入层:支持多种数据源接入,包括Kafka、MySQL、HDFS等。 2. 数据处理层:采用Spark Streaming技术进行实时数据流式处理。 3. 数据存储层:支持多种数据存储方式,包括HDFS、HBase、Elasticsearch等。 4. 任务调度层:采用DAG(有向无环图)的方式进行任务调度和优化。 5. 监控告警层:提供实时监控和告警功能,保证系统稳定运行。
作者其他创作
大纲/内容
JobDesigner
Flink Engine
数据源
目标端
IotDB
CDC
LocalFile
...
HDFS
Transform
Translation
Kafka
Mysql
Spark Engine
Flink Source
ClickHouse
Spark Source
Hive
Source
Spark Sink
Socket
Metrics&Alert
Oracle
Scheduler
Web
Sink
SeaTunnel Engine
Flink Sink
Flink Transform
Spark Transform
JobIDE
收藏
收藏
0 条评论
下一页