Hadoop 2.2HA配置问题说明-mysql教程-PHP中文网

Hadoop 2.2HA配置问题说明

php中文网

发布： 2016-06-07 15:07:12

原创

1652人浏览过

1、启动服务顺序 ##在每个节点上把zookeeper服务启动zkServer.sh start##在某一namenode节点上执行如下命令，创建命名空间hdfs zkfc -formatZK##在每个节点用如下命令启日志程序hadoop-daemon.sh start journalnode##在主namenode节点格式化namenode和journa

1、启动服务顺序

##在每个节点上把zookeeper服务启动
zkServer.sh start
##在某一namenode节点上执行如下命令，创建命名空间
hdfs zkfc -formatZK
##在每个节点用如下命令启日志程序
hadoop-daemon.sh start journalnode
##在主namenode节点格式化namenode和journalnode目录
hadoop namenode -format mycluster
##在主namenode节点启动namenode进程
hadoop-daemon.sh start namenode
##如下命令是把备namenode节点的目录格式化并把元数据从主namenode节点拷贝过来
hdfs namenode -bootstrapStandby
##启动备节点的namenode
hadoop-daemon.sh start namenode
##在两个namenode节点都启动zkfc服务
hadoop-daemon.sh start zkfc
##在所有的datanode节点上启动datanode
hadoop-daemon.sh start datanode

登录后复制

2、当把两个Namenode都处于standby时需要将一个namenode激活

hdfs haadmin -transitionToActive namenode1

3、yarn的UI端口默认为8088

4、当用stop-all.sh不能关掉Hadoop相关进程时，可以到系统根目录(/tmp)找对应的pid文件，然后打开如下文件，看里面的内容与在命令行运行的jps出来的内容是否一致，如果不一直把对应的pid文件里的进程号改成正在运行的进程号，然后再stop-all.sh就可以正常关闭了。

18726 HMaster
29320 JournalNode
18927 QuorumPeerMain
21288 DataNode
21051 NameNode
22221 ResourceManager
23618 Jps
22368 NodeManager
29651 DFSZKFailoverController
23961 GStartKeeper
24283 Bootstrap

登录后复制

hadoop-root-datanode.pid hadoop-root-journalnode.pid hadoop-root-namenode.pid ...

[root@S1SF001 tmp]# cat hadoop-root-namenode.pid
21051

登录后复制

错误汇总

eclipse maven工程配置说明中文WORD版

本文档主要讲述的是eclipse maven工程配置说明；编写本文的目的解决因环境问题带来的一系别问题，比如类没找到异常，JAR新旧并成，导致有些方法不可用，支持热拔插式的修改，当调试程序时，修改后不用重启tomcat等问题；感兴趣的朋友可以过来看看

查看详情

1、java.io.IOException: Cannot start an HA namenode with name dirs that need recovery. Dir: Storage Directory /app/hadoop/hdfs/name state: NOT_FORMATTED

当在standby节点启动namenode时报以上错误，解决办法：

（1）执行：hadoop namenode -bootstrapStandby

（2）再次启动standby节点上的Namenode：hadoop-daemon.sh start namenode