Hadoop之完全分布式集群

配置yarn-env.sh

[kocdaniel@hadoop102 hadoop]$ vim yarn-env.sh 
export JAVA_HOME=/opt/module/jdk1.8.0_144 

配置yarn-site.xml

[kocdaniel@hadoop102 hadoop]$ vi yarn-site.xml 
# 增加如下配置 
<!-- Reducer获取数据的方式 --> 
<property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
</property> 
 
<!-- 指定YARN的ResourceManager的地址 --> 
<property> 
        <name>yarn.resourcemanager.hostname</name> 
        <value>hadoop103</value> 
</property> 

• MapReduce配置文件

配置mapred-env.sh

[kocdaniel@hadoop102 hadoop]$ vim mapred-env.sh 
export JAVA_HOME=/opt/module/jdk1.8.0_144 

配置mapred-site.xml

# 如果是第一次配置的话，需要先将mapred-site.xml.template重命名为mapred-site.xml 
[kocdaniel@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml 
[kocdaniel@hadoop102 hadoop]$ vim mapred-site.xml 
# 在文件中增加如下配置 
<!-- 指定MR运行在Yarn上 --> 
<property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
</property> 

3.将配置好的文件利用集群分发脚本同步到hadoop103和hadoop104节点

[kocdaniel@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/ 

• 最好在同步完成之后检查一下同步结果，避免错误

单点启动

1.如果是第一次启动，需要格式化namenode，否则跳过此步

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop namenode -format 

• 格式化需要注意的问题：

1. 只有第一次启动需要格式化，以后不要总是格式化，否则会出现namenode和datanode的集群id不一致的情况，导致datanode启动失败
2. 正确的格式化姿势：

• 在执行第一次格式化时会在hadoop安装目录下产生data文件夹，里面会生成namenode的信息
• 在启动namenode和datanode后，还会在同样的目录下产生logs的日志文件夹
• 所以在格式化之前需要先将这两个文件夹删除，然后再格式化，最后启动namenode和datanode

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!