大数据应用总体技术架构

ETL输出

数据整合平台（ELK）

广告推广平台

社交平台

Spark

信用评定平台

数据库实时同步(OGG)

调度监控

公链

ETL输入

数据采集层

公益平台

日志收集代理（Flume，Logstash）

众筹平台

数据库

新金融平台

数据交换平台(Kafka)

日志

知识图谱分析

应用层

绿色交易所

逻辑层

离线计算（SAS）

数据实验室(Spark，Presto)

联盟链

外部数据采集服务

质量管理

外部数据

存储层

数据订阅

语义分析

               区                                                                      大               块                                                                      数               链                                                                      据

规则引擎（SAS/Drools）

Flink

支付结算平台

工具平台

服务平台

           平           台

用户数据模型

流计算（Spark/Flink）

挖掘分析平台

安全管理

批量数据抽取（Spark）