XS系统架构2.0

RestAPI / 数据集成

✔  OTC 法 律 咨 询 服 务✔  银 行 账 户 冻 结 申 诉✔  两 卡、惩 戒、总 对 总 误 伤 申 诉✔  无 司 法 冻 结 大 额 资 金 限 制 解 冻✔  数 字 资 产 遗 失 找 回✔  法 务 自 媒 体 培 训 孵 化

向专业要答案

Logstash connector

Flink CDC

DWD层

数据分类分级

关系型数据库

Mysql

Restful请求

Doris

OLAP 

网赌提现一级涉案要承担什么后果

Elasticsearch

Kafka

Iceberg

HDFS

有事付费咨询没事多看文章

DataX

数据存储层

Rest API

LogstashConnector

实时应用

数据服务

服 务 体 系

OLAP 

服务注册

OLAP : Doris

ADS 层

……

Redis缓存集群

离线分析

EasyRules

DWS层

Spark

Flink

支持基于标准分层+Flink+Iceberg构建实时数据湖，满足分钟级、复杂实时计算场景

数据源

负载均衡

客户端

Nginx

规则引擎

Flink  CDC

ODS层

Flink/Spark

Nacos Server注册/配置集群

文件服务

2. 支持基于标准分层+流计算+数据湖构建实时数仓，满足分钟级、复杂实时计算场景

1. 支持基于全场景MPP数据库一站式实现实时数仓，满足秒级/亚秒级实时计算场景

获取服务获取配置信息

SpringCloudGateway

页面请求

MinIO 文件服务

PC端

微服务集群

达梦数据库集群

获取服务列表

交互式查询

缓存服务

Kafka Connector

基于K8S管理的云原生大数据底座 

实时计算

文件/数据接口

mysql/hdfs/hive/doris

数据共享交换

数据超市

统一运维与集群管理系统 Prometheus & Alert Manager

数衍主数据系统、天塔、大模型能力

实时数仓

自定义采集SDK

                                                       基于开源的若依框架   ->  基于CSF开发脚手架

内存队列

Nacos

Nginx集群

Feign

1、在编程上将流计算和批计算统一到同一个SQL引擎上，基于同一个Flink SQL既可以进行流计算，也可以进行批计算。2、将流计算和批计算的存储进行了统一，也就是统一到Iceberg/HDFS上，这样数据的血缘关系的和数据质量体系的建立也变得简单了。3、由于存储层统一，数据的Schema也自然统一起来了，这样相对流批单独两条计算逻辑来说，处理逻辑和元数据管理的逻辑都得到了统一。4、数据中间的各层（ODS、DWD、DWS、ADS）数据，都支持OLAP的实时查询。

计算/分析层

数据采集层

如何预防和排除你自己的涉案嫌疑

RestAPI / 功能集成

业务服务集群

进阶版本是什么

3. 支持基于标准分层+流计算+批处理构建实时数仓，满足复杂实时计算需求，适配行业主流实时计算路线

API网关集群

达梦

Ribbon负载均衡Sentiel熔断限流

接口调用/FlinkClientGateway等

应用中心

SpringBootAdmin 服务监控