hadoop2.9.2升级至3.3.1,对iserver的影响
2022-03-15 17:09:16 0 举报
AI智能生成
hadoop2.9.2升级至3.3.1,对iserver的影响
作者其他创作
大纲/内容
本身hadoop能力的变化
https://hadoop.apache.org/docs/r3.0.0/index.html
https://hadoop.apache.org/docs/r3.0.0/index.html
Java 7 to Java 8
HDFS:更加节省空间开销,由3倍减少至1.4倍
MapReduce:shuffle 密集型作业,性能提高30%
YARN:改善时间轴服务的可伸缩性和可靠性
支持两个以上的namenode
重写shell脚本,解决部分老bug
支持阿里OSS
iserver端(client)
是否引入新的依赖冲突,是否可解决
引入了jersey-servlet-1.19.4(与当前iserver使用jersey 2.x冲突)
采用屏蔽jersey-servlet-1.19.4处理,使用最小测试集验证通过。结论是可以解决。
采用屏蔽jersey-servlet-1.19.4处理,使用最小测试集验证通过。结论是可以解决。
引入zookeeper-3.5.6(与当前hbase相关jar期望版本为3.4.6冲突。如达到3.5.6,hbase应从1.4.1升级至2.3.0)
由于geotrellis-hbase-spark_2.11:jar:3.3.0-sm和geomesa-hbase-datastore_2.11:jar:2.2.0-sm内部都引入了1.x版本的hbase,升级影响可能较大,所以了解hadoop升级zookeeper原因及能否保持3.4.6。经过查找相关资料,个人认为可以保持3.4.6的zookeeper版本。
采用继续使用原来的3.4.6版本的zookeeper处理,使用最小测试集验证通过,结论是可以解决。
由于geotrellis-hbase-spark_2.11:jar:3.3.0-sm和geomesa-hbase-datastore_2.11:jar:2.2.0-sm内部都引入了1.x版本的hbase,升级影响可能较大,所以了解hadoop升级zookeeper原因及能否保持3.4.6。经过查找相关资料,个人认为可以保持3.4.6的zookeeper版本。
采用继续使用原来的3.4.6版本的zookeeper处理,使用最小测试集验证通过,结论是可以解决。
是否新增标记为"弃用"的类的引入
无
是否存在类或方法变更引起的iserver编译或运行时异常
无
环境端(server)
环境搭建方式,配置文件,等是否变化
jdk最低1.8,部分端口变化,配置文件有变化
产品文档是否需要改动
如要支持3.x版本的Hadoop 集群搭建,则需要改动
用户升级环境,如何支持?
官方文档:https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html#Upgrade_with_Downtime
个人文档:https://www.cnblogs.com/luengmingbiao/p/11324801.html
个人文档:https://www.cnblogs.com/luengmingbiao/p/11324801.html
iserver端与环境端不同版本适配
官方只保证中版本的客户端和服务端互相兼容,如:2.3.0client 兼容 2.5.0server
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/Compatibility.html#Hardware.2FSoftware_Requirements
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/Compatibility.html#Hardware.2FSoftware_Requirements
升级后iserver 3.x client 是否 兼容2.x server环境
最小测试集使用3.3.1的client,2.x版本的server,测试通过
部分非官方资料也显示可以兼容
https://blog.cloudera.com/upgrading-clusters-workloads-hadoop-2-hadoop-3/
https://blog.csdn.net/breakout_alex/article/details/95060378
https://blog.cloudera.com/upgrading-clusters-workloads-hadoop-2-hadoop-3/
https://blog.csdn.net/breakout_alex/article/details/95060378
注:橙色字体为iserver升级hadoop重点关注内容
Free Topic
0 条评论
下一页
为你推荐
查看更多