superset数据架构图

Superset 缓存原理流程图

Redis存储结果

Celery任务执行单元

发送任务请求

Superset服务

查询引擎

Redis 数据库

存储

Web 服务器: 基于 Flask 或其衍生框架，运行在 WSGI 服务器（如 Gunicorn 或 uWSGI）上。查询引擎: 通过 SQLAlchemy 进行数据源的查询，支持多种查询引擎（如 SQLAlchemy Core 或 ORM）。Celery: 处理异步任务，执行后台的长时间运行操作，例如复杂的查询任务和数据处理。认证与授权: 提供用户认证、权限管理等安全服务，确保数据的安全性和访问控制。数据缓存: 支持缓存策略，以减少对数据库的直接查询，配合Redis使用。

结束

Superset 接收到用户的查询请求后，将查询的 SQL 语句以及相关参数（如过滤条件、时间范围等）进行哈希处理，生成一个唯一的缓存 Key。这个 Key 用来标识该查询，并用于后续的缓存操作。

可视化展示

API数据源

执行任务存储结果

图表

数据缓存

看板

查询数据库

数据库数据集

获取数据源配置信息

监听任务队列

Celery异步任务

将结果与生成的缓存 Key 一起存储到Redis中。如果配置了缓存策略，如 TTL（生存时间）或其他缓存失效策略，这些策略会决定缓存的生命周期。

当用户请求数据时，系统首先检查 Redis 缓存，如果缓存命中则直接返回数据；如果缓存未命中，系统会查询相应的数据源（如 MySQL 或其他数据库），将查询结果存储到 Redis 缓存中，并返回数据给用户；如果启用了 Celery，未命中的查询任务会由 Celery 异步处理，Celery 从数据源获取数据并更新 Redis 缓存，然后通知用户获取结果。

Celery定时任务

从任务生产者创建需要异步执行的任务并将其发送到 Celery 中间件的任务队列开始，Celery Worker监听队列并执行任务逻辑，将结果存储在Redis中，最终任务消费者通过查询获取任务执行状态和结果，实现了完整的异步任务处理流程。

存储结果到Redis

API数据集

数据源

Web 服务器

数据探查器

Excel/CSV/JSON数据集

数据透视表

查询请求(查询SQL)

Celery 与 Redis 之间的工作流程图

Redis任务队列

SQL 查询

返回数据

SQL数据

确定数据库引擎

关联数据集

检查 Redis 缓存中是否存在该 Key

系统数据库

SQL 查询： Superset 提供了强大的 SQL 查询功能，用户可以编写和执行 SQL 查询来从数据源中提取数据。通过 SQL 查询，可以对数据进行筛选、聚合、排序等操作，实现数据转换的需求。数据探查器（Explore）：在 Superset 的数据探查器中，用户可以通过图形化界面探索数据集，构建图表和可视化结果。数据探查器提供了多种图表类型和聚合函数，可以帮助用户快速分析数据并进行转换。图表构建器：Superset 的图表构建器功能允许用户创建各种类型的图表，如柱状图、折线图、散点图等。通过选择不同的字段、应用聚合函数和设置图表属性，可以对数据进行转换和可视化。数据切片和切块（Slicing and Dicing）：Superset 支持数据切片和切块的功能，用户可以根据需要对数据进行切片和切块，以便更好地理解数据、发现模式和趋势。数据透视表（Pivot Table）：Superset 提供了数据透视表功能，可以将数据按照不同的维度和度量进行透视，以便进行交叉分析和数据转换。

缓存命中

缓存未命中

生成查询key

Celery异步处理任务

返回缓存数据

数据转换

数据集

查询与处理

从 Redis 中获取缓存数据

...

Superset数据架构图

数据库

Superset 使用 SQLAlchemy 或其他数据库连接方式，向数据库发起查询请求

图表构建器

确定数据源

Celery

数据文件

数据切片和切块

SQL数据集