hadoop启动脚本流程
2016-12-22 10:24:10 0 举报
Hadoop启动脚本流程主要包括以下几个步骤: 1. 检查环境变量,如JAVA_HOME、HADOOP_HOME等是否设置正确。 2. 初始化HDFS和YARN的配置参数,如副本数、数据目录等。 3. 启动HDFS的NameNode和DataNode进程。 4. 启动YARN的ResourceManager和NodeManager进程。 5. 检查各个组件的状态,确保它们正常运行。 6. 将Hadoop集群设置为活动状态,以便客户端可以访问。 整个启动过程涉及到多个配置文件和命令,需要对Hadoop的架构和组件有一定了解才能顺利完成。
作者其他创作
大纲/内容
启动namenode
2核4G-----需提到4核4G以上
转发机(防御)
主从同步
包含
gameFunds
读取./conf/slaves下所有hostname
执行
N
start-dfs.sh
1、确认JAVA_HOME2、确认CLASSPATH3、读取conf/hadoop-env.sh4、HADOOP_SSH_OPTS 指定ssh端口配置
分别在slave机器上执行:./sbin/hadoop-daemon.sh \\--config ./conf \\--script ./sbin/hdfs start datanode
gameMidLayer
php-proxy(对外)gameMain。。。
协议转发
启动datanode
exec ./sbin/slaves.sh + 参数
bin/hdfs getconf -namenodes取得namenode的机器hostname
bin/hdfs getconf -secondarynamenodes取得SecondaryNameNode的机器hostname
game-server101.132.140.128
详细
DB访问
start-all.sh -- 使用hadoop-daemon.sh启动进程stop-all.sh -- pkill pid
Y
在master执行[datanode|secondarynamenode]:hadoop-daemons.sh \\ --config \"$HADOOP_CONF_DIR\" \\--hostnames \"$NAMENODES\" \\ --script \"$bin/hdfs\" start namenode $nameStartOpt
成功
api-serverdb_slave120.27.217.235
4核8G----看情况需要提升
1核1G按流量计算经典网络
8核16G
php-proxy(对外)gameMain101.132.124.206
完成
gamePlayer
启动secondarynamenode
循环++
用户
在master执行:./sbin/hadoop-daemon.sh \\--config ./conf \\--script ./sbin/hdfs start namenode
ssh 到这台机器
执行ssh -e \"远程操作命令\"
在机器上执行:./sbin/hadoop-daemon.sh \\--config ./conf \\--script ./sbin/hdfs start secondarynamenode
db_masterredis_cluster116.62.155.24
0 条评论
回复 删除
下一页