架构图(二)技术架构(1)数据核心
2017-09-29 11:05:29 48 举报
数据处理核心技术架构图
作者其他创作
大纲/内容
文件型NoSql存储MongoDb
Hadoop
Data Processor
请求记录器
HBase
共享文件存储
局域网内部某应用
轮询读取业务请求数据
采集数据直接入库
无法连接Hive时直接记录日志文件
FrameworkCore核心基础类库
A处理程序
生成会话ID,并队列请求数据
数据存储
外部
归档
统一根据会话ID,队列响应数据
Flume入库
响应记录器
过滤器A
轮询获取返回
SqlServer
数据处理
Hive
集成
KylinData Cube预处理型大数据分析引擎
数据采集工具(电力能效前置机等)
将结果返回
请求某数据报告的详细数据
返回Json结果
记录响应
返回Json格式响应
在架构设计上,数据核心负担着所有关键业务数据的写操作。数据核心是基于HTTP协议的一组微服务。数据核心只接受来自内网的请求。数据核心基于日志的形式提供Redo/Rollback的可能性即“事务完整性”。数据核心的响应基于内存请求队列机制。数据核心使用摘要式数字签名保证请求和响应无法被篡改。FrameworkCore(核心基础类库)是HttpApi(核心请求收发)和DataProcessor(核心数据处理)两个组件的共有基础组件。核心可以使用配置文件简单的达成负载均衡、分布式部署等功能。
结果接收器
内存型NoSql存储Redis
HttpApi
记录请求
关系型数据存储
POST 请求某 Uri在Body中用Json格式传数据
记录往来
B处理程序
过滤器B
收藏
收藏
0 条评论
下一页