Windows10下搭建Hadoop（解决resourcemanager无法启动问题）

一、相关版本

1、java version “1.8.0_221” Java链接：https://pan.baidu.com/s/1R1SIFPnmM-92I7vgbPxGHg 提取码：ykg7
2、Hadoop version “2.7.1” Hadoop链接：https://pan.baidu.com/s/126gY8F-99BA7HkFQrxbFRQ 提取码：ebuz
3、Windows10

二、Hadoop环境搭建

Windows下运行Hadoop需要下载winutils,需要对应的版本.下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin目录下
winutils链接：https://pan.baidu.com/s/1udOIDBnAn_W1IiAsg_BUXw
提取码：wucg

配置Hadoop
1、配置环境变量
这个不用多说,在path中添加路径${hadoopHome}\bin,例如:”D:\hadoop\bin”,不要忘了加”;”与前面的隔开
2、配置hadoop配置文件
所有的配置文件都在D:\hadoop\etc\hadoop的目录下,使用Notepad++/记事本打开.

文件1:D:\hadoop\etc\hadoop\hadoop-env.cmd jdk路径不要有空格

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_221 

*注：PROGRA~1可以代替Program Files

文件2:D:\hadoop\etc\hadoop\core-site.xml

<configuration>
    <property>  
　　　　<name>fs.default.name</name>  
　　　　<value>hdfs://localhost:9000</value>  
　　 </property>     
  </configuration>

文件3:D:\hadoop\etc\hadoop\hdfs-site.xml

<configuration>
<property>  
　　<name>dfs.replication</name>  
　　<value>1</value>  
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/data/dfs/datanode</value>
</property> 
</configuration>

文件4:D:\hadoop\etc\hadoop\mapred-site.xml mapred-site.xml是复制mapred-site.xml.template,去掉template

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

文件5:D:\hadoop\etc\hadoop\yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

启动Hadoop
使用管理员运行cmd，进入到hadoop–>bin目录下

hadoop namenode -format //格式化hdfs
cd xx/xx/sbin //进入到sbin目录下
start-dfs.cmd   //先启动dfs  
start-yarn.cmd  //再启动yarn  
//或者
//start-all.cmd //相当于以上的两条命令

启动结果
在地址栏输入http://localhost:8088 无法访问
在地址栏输入http://localhost:50070 可以访问

查看运行程序，发现resourcemanager未能启动

解决方法
进入bin目录***意，不是sbin目录），使用notepad++打开yarn.cmd，选择 编辑–>文档格式转换–>转为Windows格式，保存，重新启动Hadoop，访问成功


Hadoop搭建完成！

参考：https://blog.csdn.net/xrui_java7/article/details/70231221
https://blog.csdn.net/zyntj1992/article/details/107752070