大数据项目的基本架构
2016-09-22 11:18:14 0 举报
为你推荐
查看更多
大数据项目的基本架构主要由数据源、数据存储、数据处理和数据分析四个部分构成。数据源是大数据的输入,可以包括各种类型的数据,如结构化数据、半结构化数据和非结构化数据。数据存储是将采集到的数据进行持久化存储,常见的存储方式有分布式文件系统和数据库。数据处理是对原始数据进行处理和清洗,以满足后续分析的需要。数据分析是利用各种算法和模型对处理后的数据进行分析和挖掘,以获取有价值的信息和知识。整个架构通常采用分布式计算框架来实现,以提高数据处理和分析的效率。
作者其他创作
大纲/内容
spark或者hadoop做离线处理
存储结果数据
源数据预处理
spark集群处理数据
数据结果封装
存储源数据
数据源
kafka
收藏
收藏
0 条评论
回复 删除
下一页