hadoop搭建步骤（spark和hadoop的区别）

1.虚拟机环境准备

1） 克隆虚拟机

2） 修改克隆虚拟机的静态ip

3） 修改主机名

4） 关闭防火墙

5） 创建atguigu用户

6） 配置atguigu用户具有root权限

以上6条内容详见《尚硅谷大数据技术之linux》文档。

7）在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹

[atguigu@hadoop101 opt]$ sudo mkdir module

[atguigu@hadoop101 opt]$ sudo mkdir software

（2）修改module、software文件夹的所有者

[atguigu@hadoop101 opt]$ sudo chown atguigu:atguigu module/ software/

[atguigu@hadoop101 opt]$ ll

总用量 8

drwxr-xr-x. 2 atguigu atguigu 4096 1月 17 14:37 module

drwxr-xr-x. 2 atguigu atguigu 4096 1月 17 14:38 software

2.安装jdk

1）卸载现有jdk

（1）查询是否安装java软件：

[atguigu@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该jdk：

[atguigu@hadoop101 opt]$ sudo rpm -e 软件包

2）用securecrt工具将jdk导入到opt目录下面的software文件夹下面

“alt+p”进入sftp模式

选择jdk1.8拖入

3）在linux系统下的opt目录中查看软件包是否导入成功。

[atguigu@hadoop101 opt]$ cd software/

[atguigu@hadoop101 software]$ ls

hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz

4）解压jdk到/opt/module目录下

[atguigu@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -c /opt/module/

5）配置jdk环境变量

（1）先获取jdk路径：

[atgui@hadoop101 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

（2）打开/etc/profile文件：

[atguigu@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加jdk路径：

#java_home

export java_home=/opt/module/jdk1.8.0_144

export path=$path:$java_home/bin

（3）保存后退出：

:wq

（4）让修改后的文件生效：

[atguigu@hadoop101 jdk1.8.0_144]$ source /etc/profile

6）测试jdk是否安装成功：

[atguigu@hadoop101 jdk1.8.0_144]# java -version

java version “1.8.0_144”

注意：重启（如果java -version可以用就不用重启）

[atguigu@hadoop101 jdk1.8.0_144]$ sync

[atguigu@hadoop101 jdk1.8.0_144]$ sudo reboot

3.安装hadoop

0）hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

• 用securecrt工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

切换到sftp连接页面，选择linux下编译的hadoop jar包拖入

2）进入到hadoop安装包路径下：

[atguigu@hadoop101 ~]$ cd /opt/software/

3）解压安装文件到/opt/module下面

[atguigu@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -c /opt/module/

4）查看是否解压成功

[atguigu@hadoop101 software]$ ls /opt/module/

hadoop-2.7.2

5）将hadoop添加到环境变量

（1）获取hadoop安装路径：

[atguigu@ hadoop101 hadoop-2.7.2]$ pwd

/opt/module/hadoop-2.7.2

（2）打开/etc/profile文件：

[atguigu@ hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profie文件末尾添加jdk路径：（shitf+g）

##hadoop_home

export hadoop_home=/opt/module/hadoop-2.7.2

export path=$path:$hadoop_home/bin

export path=$path:$hadoop_home/sbin

（3）保存后退出：

:wq

（4）让修改后的文件生效：

[atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile

6）测试是否安装成功

[atguigu@hadoop102 ~]$ hadoop version

hadoop 2.7.2

7）重启(如果hadoop命令不能用再重启)：

[atguigu@ hadoop101 hadoop-2.7.2]$ sync

[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot

关注我有更多的大数据相关知识分享！