架构
2021-02-22 11:07:49 8 举报111
作者其他创作
大纲/内容
数据产品
原始数据
实时计算（框架：spark/flink）
hbase（kv数据库）
数据计算
离线计算（框架：mapreduce）
使用spark或者flink编写业务代码
ETL
数据服务
mangodb（kv数据库）
客户端（后台操作记录日志等.log文件）
离线数仓（hive）
报表展示（echarts/帆软）
暂存区（hdfs）
1.flume直连，抓取log文件后保存在服务器上2.后端暴露接口，编写java代码直接抓取数据后保存在服务器上3.保存在服务器硬盘上
其他（图像、影音等非结构化文件）
直接存在服务器硬盘上
实时大屏展示（帆软）
redis（缓存数据库）
内部数据（Excel、csv、mysql等文件）
数据存储
API调用（后端代码）
外部系统（爬虫/企业购买的结构化例Excel、csv等文件）
前端埋点（用户行为日志等.log文件）
流处理（sparkstreaming/strom）
数据采集方法
web界面展示（echarts/js）
mysql（关系型数据库）
1.使用sqoop将mysql数据直接导入到hdfs上2.使用hdfs-put命令将出mysql以外的数据直接导入到hdfs上3.flink直连数据目录开始计算
0 条评论
下一页
为你推荐
查看更多
