数据流统一

2016-09-08 15:39:14   0  举报





仅支持查看

数据流统一是指将来自不同来源、格式和结构的数据整合到一个统一的平台或系统中，以便于数据的存储、管理和分析。通过数据流统一，可以实现数据的高效利用，提高企业的决策效率和竞争力。数据流统一的过程包括数据采集、清洗、转换、加载等环节，需要借助于大数据技术、云计算平台和人工智能算法等工具来实现。数据流统一不仅可以帮助企业降低成本、提高效率，还可以为企业带来更多的商业机会和价值。

作者其他创作

大纲/内容

报表

数据抽取器(ETL)（多组，分布式部署）

...

HDFS

rsync

西瓜服务端

数据分析

游戏客户端

游戏服务端

文件仓库(HDFS)

HTTP

1. 游戏客户端、服务端及西瓜服务端上报的数据统一存放在文件仓库中2. 文件仓库的目录结构按照\"游戏/日期/文件类型\"的方式分目录存放3. 实时性要求高的数据，可以通过socket长连接直接推送给数据分析模块（可选）4. ETL负责完成数据入库前的检查、校验、转换及分拣功能样例：/readme/game1/20160908/client/login/xxx/game1/20160908/server/runtime/xxx

游戏角色库(每日dump)

日志检索

数据网关（多组）