CDH5安装 博客分类： hadoop cdhinstall

CDH安装有很多方式：

• tar包安装，从官网上下载tar包，此种方式类似apache版本hadoop，配置和部署相对来说麻烦。
• cloudera manager parcels安装，此种方式最方便、最省事，但如果是国内网的话，期间下载包会非常慢，而且每个节点分别下载。建议直接在官网下载rpm包，手动分发到各个节点yum localinstall安装好后，再使用cloudera manager安装管理。当然，如果使用国外网络，例如亚马逊云主机就不用这么麻烦，下载数据超级快。
• 其他就不多说了，用的少

.
注意：第二种方式，期间可能会遇到很多问题，大部分情况是网络和域名配置不洽淡导致。另外cloudera版本更新很快，内网下载rpm包安装时，还没安装好可能下一个版本就出来了，导致又要重新下载新的rpm...蛋疼

针对上边提到的网络和域名问题，我给出个建议:
官网中提到：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_networknames_configure.html，配置好了可能还是有问题，cloudera manager安装各种包时运行失败。建议host配置格式（以centos为例）：
/etc/hosts---:ip   xxxnode.yyy.com  xxxnode
hosname------:xxxnode
或者：
/etc/hosts---:ip   xxxnode.yyy.com
hostname------:xxxnode.yyy.com
域名不要有大写和下横杠字符。
绝对不会有问题，有问题找我。。。


下边给出之前写的cdh（国内）安装步骤：
官方文档参见http://www.cloudera.com/content/support/en/documentation.html，主要查看官方文档含有cloudera manager、cdh4.× 、cdh5.×、imapla文档。
下载
官方推荐使用CM包 parcel界面形式下载安装方式，国内下载太慢，所以只能手工下载rpm包，手动安装。（建议使用：wget -np -nH -r --span-hosts ）
以CDH5.0.0版本为例（注意如下提供的url可能不准确，cloudera随时可能会有更新，但可通过http://www.cloudera.com/content/support/en/documentation.html找到相关链接）：
a.CDH包下载
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH-Version-and-Packaging-Information/cdhvd_cdh_download.html
选择合适的location下载rpm http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.0.0/RPMS/，noarch和X86_64目录下的都下载。
内部包含了所有hadoop包，依赖包，基于hadoop上的其他产品包，例如hbase hive impala oozie hue sqoop 等等。
b.cloudera manager相关包下载
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html
选择合适的location下载rpm，内部包含jdk、cloudera manager agent daemons server相关包。
c.下载cloudera manger
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_A.html?scroll=cmig_topic_6_5_1_unique_1
下载cloudera-manager-installer.bin
集群规划
选择节点 ：namenode节点，cm节点，datanode节点，mysql安装节点，impala常驻进程节点（statestored和catalogd 服务应当运行在同一节点上）、hbase节点等等。
建议cm节点不与hadoop节点混合在一起。
安装数据库
CDH内置了数据库，但建议安装自己的数据库，以mysql为例安装步骤：
CDH5.0.0http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Installation-Guide/cm5ig_mysql.html?scroll=cmig_topic_5_5
CDH4.×http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_mysql.html
创建DB
Role Database User Password
Activity Monitor amon amon amon_password
Reports Manager rman rman rman_password
Cloudera Navigator Audit Server nav nav nav_password
Hive Metastore metastore hive hive_password
说明：
1.举例创建数据库
create database metastore DEFAULT CHARACTER SET utf8;
GRANT all ON metastore.* TO hive@ip identified by "xxx";其中ip为需要访问该库的ip
2.如上的db可能根据不同cdh版本而不同，有些可能不需要使用。
3.若使用hue，在使用多个用户针对同一个库的一个表进行查询操作会失败或者等待状态，建议使用mysql作为hue的管理库，官方文档中有相关章节。

机器准备（所有机器）
a.修改机器host vim /etc/sysconfig/network  vim /etc/hosts
b.设置 vim /etc/selinux/config selinux=disabled
c.关闭防火墙/etc/init.d/iptables stop      chkconfig iptables off永远关闭
d.无密码登录namenode ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys次步骤可以省略
e.所有节点用户密码一致
f.重启
拷贝rpm至所有节点
安装CM
CM节点：yum localinstall --nogpgcheck *.rpm yum安装1.b下载的所有rpm然后运行cloudera-manager-installer.bin完成安装。
其他节点：yum localinstall --nogpgcheck *.rpm yum安装1.b下载的CM agent daemons jdk等rpm，不需要安装server。
jdk环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_45-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:/usr/local/mysql_percona5.5.25/bin/
source /etc/profile
安装CDH
非CM的所有节点运行 yum localinstall --nogpgcheck *.rpm yum安装1.a下载的所有rpm。
注意此安装会将所有CDH相关的产品都会安装，若不想安装部分产品将rpm相关包删除即可。
取消所有产品的自动启动
chkconfig --del hadoop-0.20-jobtracker
chkconfig --del hadoop-0.20-tasktracker
chkconfig --del hadoop-0.20-datanode
chkconfig --del  hadoop-0.20-namenode
chkconfig --del  hadoop-0.20-secondarynamenode
chkconfig --del zookeeper-server
chkconfig --del hive-metastore
chkconfig --del webhcat-server
chkconfig --del hbase-thrift
chkconfig --del hbase-rest
chkconfig --del hbase-solr-indexer
chkconfig --del hbase-regionserver
chkconfig --del impala-server
chkconfig --del solr-server
chkconfig --del sqoop2-server
chkconfig --del hive-server2
chkconfig --del hbase-master
chkconfig --del hadoop-0.20-mapreduce-jobtracker       
chkconfig --del hadoop-0.20-mapreduce-tasktracker      
chkconfig --del hadoop-hdfs-datanode   
chkconfig --del hadoop-hdfs-journalnode
chkconfig --del hadoop-hdfs-namenode   
chkconfig --del hadoop-hdfs-secondarynamenode  
chkconfig --del hadoop-hdfs-zkfc       
chkconfig --del hadoop-httpfs  
chkconfig --del hadoop-mapreduce-historyserver 
chkconfig --del hadoop-yarn-nodemanager
chkconfig --del hadoop-yarn-proxyserver
chkconfig --del hadoop-yarn-resourcemanager   
chkconfig --del hadoop-hdfs-nfs3
chkconfig --del hive-hcatalog-server
chkconfig --del hive-server
chkconfig --del hive-webhcat-server
chkconfig --del sqoop-metastore
chkconfig --del llama
chkconfig --del spark-master
chkconfig --del spark-worker
chkconfig --del flume-ng-agent
chkconfig --del impala-catalog
chkconfig --del impala-state-store
chkconfig --del hue
chkconfig --del oozie
chkconfig --del hadoop-0.20-mapreduce-jobtrackerha
chkconfig --del hadoop-0.20-mapreduce-tasktracker
chkconfig --del hadoop-0.20-mapreduce-zkfc
chkconfig --del hadoop-hdfs-datanode
chkconfig --del hadoop-hdfs-journalnode
chkconfig --del hadoop-hdfs-namenode
chkconfig --del hadoop-hdfs-nfs3
chkconfig --del hadoop-hdfs-secondarynamenode
chkconfig --del hadoop-hdfs-zkfc
chkconfig --del hadoop-httpfs 
chkconfig --del hadoop-mapreduce-historyserver
chkconfig --del hadoop-yarn-nodemanager
chkconfig --del hadoop-yarn-proxyserver
chkconfig --del hadoop-yarn-resourcemanager
此处例举的可能不全，可通过chkconfig --list查看自动启动项，选择hadoop相关的进行去除。
登录CM界面
http://ip:7180 界面安装CDH
大概步骤如下：
选择节点（非CM的所有节点），选择服务（提供各种套餐，也可以自定义选择服务） ，安装服务（大部分已经RPM安装，此步骤很快），选择服务所处节点（如上已经规划过），认证用户和密码，选择服务数据库（自定义的mysql，如上已经安装好的），主机检测，启动服务。
CM4.*与CM5.*版本此步骤可能略有不同，但操作的内容大致相同。