欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hadoop集群环境的搭建

程序员文章站 2022-06-13 21:51:11
...

hadoop集群环境的搭建

 

此处所用hadoop版本为2.5.2 可以从官网上下载 然后解压

 

我是解压在了/usr/hadoop 下  (目录随自己习惯)

 

设备

 

192.168.159.31  NameNode

 

192.168.159.32  DataNode

 

192.168.159.33  DataNode

 

================================================================

 

第一步: 在hdfs-env.sh中 添加 JAVA_HOME

 

第二步:在yarn-env.sh中 添加 JAVA_HOME

 

第三步:vim core-site.xml   在<configuration></configuration>中添加 

 

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.159.31:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

 

 

第四步:vim hdfs-site.xml    在<configuration></configuration>中添加 

 

<property>

<name>dfs.nameservices</name>

<value>hadoop-cluster1</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>192.168.159.31:50090</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///usr/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///usr/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

 

 

第五步:vim marped-site.xml   在<configuration></configuration>中添加

 

 

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>192.168.159.31:50030</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>192.168.159.31:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>192.168.159.31:19888</value>

</property>

 

 

第六步:vim yarn-site.xml   在<configuration></configuration>中添加

 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>192.168.159.31:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>192.168.159.31:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>192.168.159.31:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>192.168.159.31:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>192.168.159.31:8088</value>

</property>

 

 

第七步:vim slaves

192.168.159.32

192.168.159.33

 

 第八步:(此步骤需要在各个虚拟机上执行)

 

在每个虚拟机上  vim /etc/hosts    这样设置的后可以防止hdfs找不到主机

 

IP  主机名

 

比如在:  192.168.159.31虚拟机上:

 

192.168.159.31 node1

=====================================

注意:在启动之前,先设置好NameNode到 DataNode  ssh免密码 (很简单 网上都是答案,我不在介绍);防火墙关闭

 

第九步:

      把配置好的hadoop  scp到DataNode上即可

 

 

最后:在NameNode上

 

hadoop namenode -format (这个只是格式化下namenode的环境)

 

 

 

启动: sbin目录下 sh start-all.sh 

 

检验:

在NameNode上jps 可以得到类似于这样

 

3542 Jps

3291 ResourceManager

3063 NameNode

 

在DataNode上jps得到类似于

 

2134 NodeManager

2041 DataNode

2247 Jps

 

 

最后可以在页面上输入网址:http://192.168.159.31:50070

 

                                             http://192.168.159.31:8088

 

结束.