欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

运维 -- CDH5.16.1集群企业真正离线部署

程序员文章站 2022-07-14 08:26:33
...

1. 准备安装包

CM
cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
Parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1
manifest.json
JDK
https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
下载jdk-8u202-linux-x64.tar.gz

MySQL
https://dev.mysql.com/downloads/mysql/5.7.html#downloads
下载mysql-5.7.26-el7-x86_64.tar.gz

MySQL jdbc jar
mysql-connector-java-5.1.47.jar
下载完成后要重命名去掉版本号,不去掉,如果不去掉 启动CDH时报mysql连接不到错误
mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar


2. 集群节点初始化

1.阿里云上海区购买3台,按量付费虚拟机,并修改主机名

在阿里云上购买机器

在阿里云上购买和选择服务器

修改主机名hostname

阿里云新机器的机器名是一个实例的名字,对于用户来说这个名字是很不友好的,需要根据用途重新定义机器名
在hadoop001机器上执行 hostnamectl set-hostname hadoop001
在hadoop002机器上执行 hostnamectl set-hostname hadoop002
在hadoop003机器上执行 hostnamectl set-hostname hadoop003

2.当前笔记本或台式机配置hosts文件
Window: C:\windows\system32\drivers\etc\hosts
公网地址: 
106.15.234.222 hadoop001  
106.15.235.200 hadoop002  
106.15.234.239 hadoop003
3.设置所有节点的hosts文件

三台服务器内网地址:

echo "172.19.7.96 hadoop001">> /etc/hosts
echo "172.19.7.98 hadoop002">> /etc/hosts
echo "172.19.7.97 hadoop003">> /etc/hosts
4.关闭所有节点的防火墙及清空规则
systemctl stop firewalld 
systemctl disable firewalld
iptables -F
5.关闭所有节点的selinux

vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
设置后需要重启才能生效

6.设置所有节点的时区一致及时钟同步,这一步,因为是阿里云服务器,时间同步不用做
7.部署集群的JDK
mkdir /usr/java
tar -xzvf jdk-8u45-linux-x64.gz -C /usr/java/
#切记必须修正所属用户及用户组
chown -R root:root /usr/java/jdk1.8.0_45

echo "export JAVA_HOME=/usr/java/jdk1.8.0_45" >> /etc/profile

#echo "export PATH=${JAVA_HOME}/bin:${PATH}" >> /etc/profile 这样写 找不到${JAVA_HOME},最后找不到jdk

echo "export PATH=/usr/java/jdk1.8.0_45/bin:${PATH}" >> /etc/profile
source /etc/profile
which java
8.hadoop001节点离线部署MySQL5.7

可以参考centos7 yum 安装 maysql

9.创建CDH的元数据库和用户、amon服务的数据库及用户
create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
flush privileges;
10.hadoop001节点部署mysql jdbc jar
mkdir -p /usr/share/java/
cp mysql-connector-java.jar /usr/share/java/

3.CDH部署

1.离线部署cm server及agent

1.1.所有节点创建目录及解压
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/
1.2.所有节点修改agent的配置,指向server的节点hadoop001
sed -i "s/server_host=localhost/server_host=hadoop001/g" /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini
1.3.主节点修改server的配置:
vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-server/db.properties 
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hadoop001
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=123456
com.cloudera.cmf.db.setupType=EXTERNAL
1.4.所有节点创建用户
useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
1.5.目录修改用户及用户组
chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

2.hadoop001节点部署离线parcel源

2.1.部署离线parcel源
$ mkdir -p /opt/cloudera/parcel-repo
$ ll
total 3081664
-rw-r--r-- 1 root root 2127506677 May  9 18:04 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
-rw-r--r-- 1 root root         41 May  9 18:03 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1
-rw-r--r-- 1 root root  841524318 May  9 18:03 cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
-rw-r--r-- 1 root root  185515842 Aug 10  2017 jdk-8u144-linux-x64.tar.gz
-rw-r--r-- 1 root root      66538 May  9 18:03 manifest.json
-rw-r--r-- 1 root root     989495 May 25  2017 mysql-connector-java.jar
$ cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/

#切记cp时,重命名去掉1,不然在部署过程CM认为如上文件下载未完整,会持续下载
$ cp CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha

$ cp manifest.json /opt/cloudera/parcel-repo/
2.2.目录修改用户及用户组
$ chown -R cloudera-scm:cloudera-scm /opt/cloudera/

3.所有节点创建软件安装目录、用户及用户组权限

mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/

4.hadoop001节点启动Server

4.1.启动server
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start
4.2.阿里云web界面,设置该hadoop001节点防火墙放开7180端口,如果设置固定ip登录不成功,可以试试 0.0.0.0/0,开放所有Ip
4.3.等待1min,打开 http://hadoop001:7180 账号密码:admin/admin
4.4.假如打不开,去看server的log,根据错误仔细排查错误

5.所有节点启动Agent

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start

6.接下来,全部Web界面操作

http://hadoop001:7180/
账号密码:admin/admin

3. 在 UI 界面安装集群

特别注意一点,在选择安装源后,一定要仔细检查hadoop001这台机器上 /opt/cloudera/parcel-repo 这个路径下的安装包是否少了,名字是否有细微差别
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha
manifest.json,这些文件一个都不能差,差了第二张图就卡在从外网下载文件中,我安装时遇到CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel这个文件,文件上传时没传完,文件名为CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.part,安装时一直卡在下载文件。最后反复比对文件发现这个CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel是损坏的文件。重新上传,重新启动cm,安装就顺利完成了。

运维 -- CDH5.16.1集群企业真正离线部署
运维 -- CDH5.16.1集群企业真正离线部署

相关标签: CDH离线安装