Hadoop之完全分布式集群

发布时间：2019-09-28 02:36:34 所属栏目：建站来源：kocdaniel

导读：副标题#e# 首先准备三台客户机(hadoop102，hadoop103，hadoop104)，关闭防火墙，修改为静态ip和ip地址映射配置集群编写集群分发脚本创建一个远程同步的脚本xsync，并放到当前用户下新建的bin目录下，配置到PATH中，使得此脚本在任何目录下都可以执行脚

2.在hadoop102上启动namenode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode 
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
3461 NameNode

3.在hadoop102、hadoop103以及hadoop104上分别启动DataNode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
3461 NameNode 
3608 Jps 
3561 DataNode 
[kocdaniel@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
[kocdaniel@hadoop103 hadoop-2.7.2]$ jps 
3190 DataNode 
3279 Jps 
[kocdaniel@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
[kocdaniel@hadoop104 hadoop-2.7.2]$ jps 
3237 Jps 
3163 DataNode

4.访问hadoop102:50070查看结果

但是以上单点启动有一个问题：

每次都一个一个节点启动，如果节点数增加到1000个怎么办?

配置ssh免密登录

1.配置ssh

ssh 另一个节点的ip 就可以切换到另一台机器，但是得输入密码

2.免密ssh配置

免密登录原理

Hadoop之完全分布式集群

在配置namenode的主机hadoop102上生成私钥和公钥

切换目录到/home/用户名/.ssh/

[kocdaniel@hadoop102 .ssh]$ ssh-keygen -t rsa

- 然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 
 - 将公钥拷贝到要免密登录的目标机器上 
 
 ```shell 
 [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop103 
 [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop104 
 # 注意：ssh访问自己也需要输入密码，所以我们需要将公钥也拷贝给102 
 [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop102 
  
 ```

同样，在配置resourcemanager的主机hadoop103上执行同样的操作，然后就可以群起集群了

群起集群

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

4/5

首页

尾页