【Hadoop环境搭建】三.Hadoop单例模式搭建

准备工作：

1.Mobaxterm工具下载 便携版本即可
https://mobaxterm.mobatek.net/download-home-edition.html
2.jdk下载，从官网下载即可，我下载的是 jdk-8u161-linux-x64.tar.gz
https://www.oracle.com/java/technologies/javase-jdk8-downloads.html#/
3.Hadoop cdh版下载地址：
https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.6.tar.gz

1.安装jdk

（1）下载解压
1）在主目录（root）下新建一个文件夹来放之后要装的所有文件比如叫做app

mkdir app

2）检查系统是否存在openjdk

rpm -qa | grep java

若有java相关的软件显示，则表示存在，进行卸载：

rpm -e --nodeps 软件名称

3）打开 Mobaxterm。点击 sessions -> New sessions -> SFTP，注意要使用root登录。然后打开相应目录直接把jdk本地文件拖拽到app文件夹下那一块空白处即可。

4）把刚刚的压缩包解压到app目录下 tar -zxvf jdk-8u161-linux-x64.tar.gz -C ~/app/（后面那个参数 -C 是指把它解压到指定文件夹/app下）

5）进入 app/jdk1.8.0_161/bin 目录下，使用 ./java -version 命令看是否成功安装

（2）配置环境变量PATH
1）输入vi /etc/profile，在最末尾处添加两行

export JAVA_HOME=/root/app/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

（JAVA_HOME变量的值可能因人而异，查看方式jdk文件夹下输入pwd，然后选中这串东西贴过来）

2）配置好了之后想要使它立刻生效，输入 source /etc/profile，然后输入 java -version看到能够使用，这样就已经配置好了。

为了更好的测试也可以使用javac命令

也可以使用一个简单的Java程序验证。首先用mkdir workspace新建一个文件夹，然后执行下面的操作，即可验证成功

2.安装Hadoop

下载Hadoop-2.5.0-cdh5.3.6压缩包。
打开 Mobaxterm 刚刚那个SFTP，老样子拖拽上传解压到/app。

tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C ~/app/

进入解压目录 cd /app/hadoop-2.5.0-cdh5.3.6/etc/hadoop

（1）配置环境变量PATH
输入vi /etc/profile
在末尾添加两行

export HADOOP_HOME=/root/app/hadoop-2.5.0-cdh5.3.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（HADOOP_HOME的值可以进入hadoop压缩文件夹后，使用pwd命令查看）

接下来source /etc/profile
现在就可以在任意地方使用hadoop指令了。

（2）配置 hadoop-env.sh
vi hadoop-env.sh，修改 JAVA_HOME 为之前那个参数

(3)测试
现在单例模式就搭建好了，可以通过一个简单的单词统计（Hadoop自带的jar包，默认以空格隔开）来测试一下。

进入workspace目录，统计一下我们之前写的HelloWorld中的单词，可见这个文件是以空格隔开的。



此时就说明hadoop单例模式已经搭建好了。
我们来看一下输出文件。