Hadoop单机环境搭建

1. 安装linux系统(以centos 6.5为例)
2. 关闭防火墙

关闭命令：  service iptables stop 
永久关闭防火墙：chkconfig iptables off
查看防火墙关闭状态： chkconfig iptables --list

3. 修改IP配置文件

vim /etc/udev/rules.d/70-persistent-net.rules 

拿到address: 00:手动马赛克:6b

vim /etc/sysconfig/network-scripts/ifcfg-eth0 
修改这个BOOTPROTO=static #static，静态ip，而不是dhcp，自动获取ip地址。

替换HWADDR地址，然后加入

IPADDR=192.168.25.101
GATEWAY=192.168.25.2
DNS1=192.168.25.2

修改计算机名称

vim /etc/sysconfig/network
HOSTNAME=hadoop101

修改hosts

vim /etc/hosts

192.168.25.100 hadoop100
192.168.25.101 hadoop101
192.168.25.102 hadoop102
192.168.25.103 hadoop103
192.168.25.104 hadoop104
192.168.25.105 hadoop105
192.168.25.106 hadoop106

修改windows下的名称映射
C:\Windows\System32\drivers\etc
编辑hosts文件加入上面的那些

ping不通什么的问题:
https://blog.csdn.net/psl1234554321/article/details/75269150
https://blog.csdn.net/shaonaozu/article/details/12869185
其他参考修改静态ip问题:
https://blog.csdn.net/u012453843/article/details/52839105

4. 修改登录用户的权限

vim /etc/sudoers
joker    ALL=(ALL)       ALL

5. 上传jdk1.8与hadoop2.7.2到Linux环境

6. 安装jdk
https://blog.csdn.net/qq_35641192/article/details/77856609

7. 安装hadoop
解压到对应文件夹下:

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

配置环境变量:

vim /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile
hadoop version #配置成功输入显示版本号

配置分布式环境，去下面的目录/opt/module/hadoop-2.7.2/etc/hadoop

echo $JAVA_HOME
/opt/module/jdk1.8.0_151 #拿到javahome路径
vim hadoop-env.sh 
#修改export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/module/jdk1.8.0_151

官方demo演示1：

/opt/module/hadoop-2.7.2
mkdir input
cp etc/hadoop/*.xml ./input/
#hadoop以jar的方式运行hadoop-mapreduce-examples-2.7.2.jar里的grep这个demo，输入里面的文件以正则匹配后放入输出文件夹(输出文件夹如果事先存在会报错)
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+'

[root@hadoop101 hadoop-2.7.2]# ls output/
part-r-00000  _SUCCESS
[root@hadoop101 hadoop-2.7.2]# cat output/part-r-00000 
1       dfsadmin

官方demo演示2：

[root@hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
mkdir wcinput
vim wcinput/wc.input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput

[root@hadoop101 hadoop-2.7.2]# ll wcoutput/
-rw-r--r--. 1 root root 63 5月   4 07:09 part-r-00000
-rw-r--r--. 1 root root  0 5月   4 07:09 _SUCCESS
[root@hadoop101 hadoop-2.7.2]# cat wcoutput/part-r-00000 
hadoop  2
hbase   1
hive    1
jokerda 2
kalfka  1
spark   1
zookeeper       1