hadoop启动脚本流程

2016-12-22 10:24:10   0  举报





仅支持查看

Hadoop启动脚本流程主要包括以下几个步骤： 1. 检查环境变量，如JAVA_HOME、HADOOP_HOME等是否设置正确。 2. 初始化HDFS和YARN的配置参数，如副本数、数据目录等。 3. 启动HDFS的NameNode和DataNode进程。 4. 启动YARN的ResourceManager和NodeManager进程。 5. 检查各个组件的状态，确保它们正常运行。 6. 将Hadoop集群设置为活动状态，以便客户端可以访问。整个启动过程涉及到多个配置文件和命令，需要对Hadoop的架构和组件有一定了解才能顺利完成。

作者其他创作

大纲/内容

启动namenode

2核4G-----需提到4核4G以上

转发机（防御）

主从同步

包含

gameFunds

读取./conf/slaves下所有hostname

执行

start-dfs.sh

1、确认JAVA_HOME2、确认CLASSPATH3、读取conf/hadoop-env.sh4、HADOOP_SSH_OPTS 指定ssh端口配置

分别在slave机器上执行：./sbin/hadoop-daemon.sh \\--config ./conf \\--script ./sbin/hdfs start datanode

gameMidLayer

php-proxy(对外)gameMain。。。

协议转发

启动datanode

exec ./sbin/slaves.sh + 参数

bin/hdfs getconf -namenodes取得namenode的机器hostname

bin/hdfs getconf -secondarynamenodes取得SecondaryNameNode的机器hostname

game-server101.132.140.128

详细

DB访问

start-all.sh -- 使用hadoop-daemon.sh启动进程stop-all.sh -- pkill pid

在master执行[datanode|secondarynamenode]：hadoop-daemons.sh \\ --config \"$HADOOP_CONF_DIR\" \\--hostnames \"$NAMENODES\" \\ --script \"$bin/hdfs\" start namenode $nameStartOpt

成功

api-serverdb_slave120.27.217.235

4核8G----看情况需要提升

1核1G按流量计算经典网络

8核16G

php-proxy(对外)gameMain101.132.124.206

完成

gamePlayer

启动secondarynamenode

循环++

用户

在master执行：./sbin/hadoop-daemon.sh \\--config ./conf \\--script ./sbin/hdfs start namenode