大数据前世今生-Hadoop
2021-03-28 23:58:32 19 举报AI智能生成
描述大数据的前世今生。
作者其他创作
大纲/内容
2002
Apache Lucene
Apache Nutch
2003
10月
分支主题
GFS
2004
10月
分支主题
MapReduce
2006
1月
Doug Cutting 加盟
2月
分支主题
3月
第一个Hadoop集群
5月
Hadoop集群500节点
2006
11月
分支主题
BigTable
2007
开始使用Hadoop做离线处理
2008
开始投入研究基于Hadoop的系统云梯
分支主题
2008
商用公司
2009
Doug Cutting 加盟Cloudera
CDH
2010
5月
Apache HBase
NoSQL
HBase是Google Bigtable的开源实现
6月
Apache Pig
分支主题
Yahoo一些人觉得Map-Reduce大数据编程太过麻烦，便开发了 Pig。Pig 是一种脚本语言，使用类 SQL 的语法，开发者可以用 Pig 脚本描述要对大数据集上进行的操作，Pig 经过编译后会生成 MapReduce 程序，然后在 Hadoop 上运行。
2011
Apache Hive
编写 Pig 脚本虽然比直接 MapReduce 编程容易，但是依然需要学习新的脚本语法。于是 Facebook 又发布了 Hive。Hive 支持使用 SQL 语法来进行大数据计算，比如说你可以写个 Select 语句进行数据查询，然后 Hive 会把 SQL 语句转化成 MapReduce 的计算程序。
Apache Cassandra
NoSQL
开源分布式NoSQL数据库系统
Apache Flume
分支主题
分布式的海量日志采集
Apache Sqoop
Hadoop和关系型数据库中的数据相互转移的工具
分支主题
Apache Oozie
MapReduce 工作流调度引擎
Apache ZooKeeper
分布式应用程序协调服务
2011
商用公司
Ambari HDP HDF
web管理工具
分支主题
2012
Yarn
资源调度系统
Apache Storm
分支主题
流计算框架
Apache Kafka
分支主题
2012
Apache Spark
流计算框架
Apache Spark Streaming
流计算框架
2015
Apache Flink
流计算框架
德国柏林工业大学
2018
两家公司合并
CLOUDERA DATA PLATFORM
主题
Doug Cutting
“Hadoop80%源码贡献者”
收藏
收藏
0 条评论
下一页
