数据导入模块逻辑架构
2025-04-02 17:01:09 11 举报数据导入模块逻辑架构
作者其他创作
大纲/内容
Read Cache
抽取写入
Hbase
数据集成
选择写入Hbase
数据抽取
模型数据
社群划分
HDFS
Caching PrimaryKey
Hbase模型
读取
StartGraph转换成GraphSON字符串
是否写入hbase
是
2.1 转换
共同邻居
Comsume Job Infos
Datax
GraphX
3 调用
图数据模型
数据集
Web
4 读取
点边对象元数据
Channel
建模
格式化的数据
图数据模型定义
Hbase数据对象
Graph Analysis
......
异步，批量，去重
MeteData Registry
Jobs
格式化数据
DataBases
Full Text Search
Task Center
2.2 存储
Writer
图计算请求
Kafka Cluster
内部接口层（数据组织，事务等）
Redis
ElasticSearch
存储与索引接口层
Storage Backend
Reader
ES数据模型
注册
WEB
Graph model
JanusGraph
Es
Easynous
转换
Graph Explore & Analiysis
Es文档对象
全量读取
持久化
Hdfs
数据管理
Es文档模型
JanusGraph Server
Create Jobs
5 返回结果
自研元数据管理
Data Extract
随机游走
Hbase数据模型
Mixed Storage
骨干分析
1 查询
自研数据管理
. . .
External Index Backends
Produce Job Infos
元数据管理
GraphSON文件
Full text Search
JanusGraphServer
0 条评论
下一页
