大数据技术
2021-04-08 15:40:26 4 举报增加
作者其他创作
大纲/内容
N尝试三次
Beam
N
采集完成
从数据库读取TS文件链接
Sqoop
Drill
公司产生的数据（如财务，行政）从外界购买，交换，爬虫来的数据
大数据各个环节主要技术
结束
数据应用主要技术
数据采集传输主要技术
KafkaRabbitMQActiveMQZeroMQ
采集节目
数据上传到MCI服务器
开始
数据相关的工具、产品、技术
采集成功
数据管理
数据采集
Spark
Y
采集文件
数据平台
采集当天电台节目数据
TensorFlow
HBase
整体采集流程
数据处理主要技术
电台直播采集流程（TS文件）
Storm
从数据库读取账号
采集当前节目ts文件链接
保存数据到数据库
数据存储主要技术
Flink
HDFS
上传成功
电台直播采集流程（TS文件链接）
保存本地数据库
数资产
数据采集流程
Hive
MapReduce
数据仓库，数据建模，数据质量，数据规范，数据安全及元数据管理
Flume
访问MCI服务获取账号
R语言
获取成功
从本地数据库读取昨天账号
0 条评论
下一页
