大数据系统架构
2016-12-20 11:00:29 0 举报
登录查看完整内容
大数据系统架构通常包括数据采集、数据存储、数据处理和数据分析四个模块。其中,数据采集模块负责从各种来源收集数据;数据存储模块负责将收集到的数据存储在数据库或文件系统中;数据处理模块负责对存储的数据进行清洗、转换和整合;数据分析模块则负责对处理后的数据进行分析和挖掘,以发现其中的规律和趋势。此外,大数据系统还需要具备高可用性、可扩展性和安全性等特点,以保证数据的可靠性和保密性。
作者其他创作
大纲/内容
云服务
数据产品多维BI分析/用户画像
用户轨迹查询服务
实时推荐引擎
实时计算ARC
数据仓库 用户特征仓库
产品业务
数据采集ADBank
分布式调度平台ADS
数据服务
数据传输系统
用户接入XAL
分布式存储
数据流向
业务应用数据
数据审计系统
个性化PUSH
广告投放系统
离线计算ADW
离线存储计算平台
业务\\接口实时监控系统
APUS XAL-大数据平台
数据总线
客户端日志
关系型存储
CDH集群管理系统
绿色:已完成黄色:进行中白色:计划中
任务作业调度系统
SOA大数据服务集群
计算中心-IDC
机器学习系统
神策系统
系统组件日志
流式计算系统
HDFS 分布式存储系统
产品服务平台
多源数据采集系统
广告点击率预估模型
实时采集计算平台
实时监控
大数据核心模块
日志检索系统
接口服务
精准推荐APR
后端业务
BI分析系统
YARN SPARK 分布式计算系统
服务端各业务线
用户画像服务
0 条评论
回复 删除
下一页