欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

配置hadoop环境变量的参数(linux配置hadoop环境变量)

程序员文章站 2023-11-20 23:17:22
单节点集群模式(a single node cluster)又称伪分布模式,只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。1、环境变量配置为了方便...

单节点集群模式(a single node cluster)又称伪分布模式,只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。

1、环境变量配置

为了方便的执行hadoop程序,需要配置很多系统环境变量。主要有以下几个变量

设置hadoop_home为hadoop的安装路径

export hadoop_home=/home/hduser/hadoop

设置将hadoop添加到path,上文中已经介绍过hadoop的运行文件在bin和sbin目录下,通过设置path后,我们可以在任何位置执行hadoop命令。

export path=$hadoop_home/bin:$hadoop_home/sbin

设置hadoop其他环境变量

export hadoop_mapred_home=$hadoop_home

export hadoop_common_home=$hadoop_home

export hadoop_hdfs_home=$hadoop_home

export yarn_home=$hadoop_home

链接库的相关设置

export hadoop_common_lib_native_dir=$hadoop_home

export hadoop_opts=”-djava.library.path=$hadoop_home/lib”

export java_library_path=$hadoop_home/lib/native:$java_library_path

与配置jdk的系统环境变量方法一致,我们只需将需要配置的系统变量添加到用户主目录下的.bashrc文件中即可。打开ubuntu虚拟机,然后打开xshell连接登陆到虚拟机,在用户主目录下执行命令 vim .bashrc

配置hadoop环境变量的参数(linux配置hadoop环境变量)

在新的框体中输入i进入编辑模式,然后在文件末尾输入下述内容

配置hadoop环境变量的参数(linux配置hadoop环境变量)

按esc退出编辑模式,输入:wq保存并退出

配置hadoop环境变量的参数(linux配置hadoop环境变量)

命令行中输入 source .bashrc命令更新一下系统环境变量

配置hadoop环境变量的参数(linux配置hadoop环境变量)

更新完成后我们可以通过echo $hadoop_home测试系统变量是否添加成功,如下图所示表明已经成功。

配置hadoop环境变量的参数(linux配置hadoop环境变量)

hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 java 进程,方便进行调试。在此我们可以在本地模式下运行部分hadoop自带mapreduce例子来验证hadoop能够正常运行,同时体验hadoop中mapreduce运行命令格式。在命令行中输入

cd hadoop/ #进入hadoop安装文件目录

mkdir ./input #在hadoop文件夹下创建输入文件

cp ./etc/hadoop/*.xml ./input #将配置文件作为输入文件

./bin/hadoop jar
./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output ‘dfs[a-z.]+’ #运行mapreduce中grep例子,筛选符合正则表达式dfs[a-z]+的单词并统计其出现的次数,并将结果放入output文件夹中,关于正则表达式更多内容,参见附录三:正则表达式速查表格

cat ./output/* #查看运行结果

删除创建的文件使用以下命令

rm -r ./output

rm -r ./input

hadoop 还可以在单节点上以伪分布式的方式运行,此时hadoop 进程以分离的 java 进程来运行,节点既作为namenode 也作为 datanode,同时读取的是 hdfs 中的文件。这种模式需要修改相应的配置文件,我们将会在下文中进行详细讲解。