基于百度云主机的USDP 2.x 安装详细教程

基于百度云主机的USDP 2.x 安装详细教程

1. USDP 简介

​ UCloud Smart Data Platform（简称 USDP），是 UCloud 推出的云上智能化、轻量级的大数据基础服务平台，能够快速构

建起大 数据的分析处理能力. 应用场景包括 实时数仓，离线数仓，机器学习，以及信息检索等。 目前最新的免费版本2.0.0.0.

官网 https://docs.ucloud.cn/usdp_community/2.0.x/release_notes

大数据生态服务	服务版本	描述
HDFS	3.1.1	分布式存储服务
YARN	3.1.1	分布式资源调度服务
ZOOKEEPER	3.4.13	分布式注册中心服务
SPARK	3.0.1	分布式计算引擎
HBASE	2.1.10	分布式非关系型数据库
TEZ	0.10.0	优化 MapReduce 任务的 DAG
HIVE	3.1.2	常用的 HQL 数仓工具
PHOENIX	5.1.1	HBase SQL 化查询分析工具
KAFKA	2.12-2.6.1	超高吞吐的分布式消息队列
KAFKAEAGLE	2.0.0	Kafka 可视化管理服务
SQOOP	1.4.7	数据采集与转储服务
FLINK	1.12.1	分布式计算引擎
HUE	4.8.0	可视化管理服务
ZEPPELIN	0.9.0	可视化管理服务
ELASTICSEARCH	7.8.0	分布式全文检索数据库
KIBANA	7.8.0	为 ElasticSearch 提供 Web 页面分析入口
RANGER	2.1.0	授权服务
DOLPHINSCHEDULER	1.3.6	可视化DAG工作流任务调度系统
ALERTMANAGER	0.21.0	发送监控告警信息
GRAFANA	6.5.1	展示监控数据
INFLUXDB	1.8.0	存储监控数据
NODEEXPORTER	1.0.0	读取节点资源监控指标
PROMETHEUS	2.18.1	拉取监控数据

目前社区免费版支持100个节点的部署，符合公司目前的业务需求。

环境说明

​

USDP 智能大数据平台所支持的最小部署模式为 3 个节点。以百度云为例

• 本文以3台机器为例，bigdata01-03，其中 bigdata01 是主节点，其他是从节点

2. USDP 环境配置

2.1 修改主机名

# 百度的三台主机分别设置主机名 bigdata01 bigdata02 bigdata03

  vi /etc/hostname 的HostName   # 通过vi 编辑器 修改主机名字

# 分别查看3台主机的 hosts文件 确认无误 

  cat /etc/hosts
  
# 通过reboot 命令重启三台主机，查看主机名是否已经修改成功  

​ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-piJcLD7O-1630058627575)(USDP安装详细教程.assets/image-20210716135031652.png)]

2.2 主节点安装 vsftpd 服务

  2.2.1 选择一个节点作为主节点,本教程选择bigdata01作为主节点,安装vsftpd 服务
  
        yum install -y  vsftpd 
  
  2.2.2 修改 vsftpd 服务配置文件 开放root用户，允许远程上传文件权限
  
        cd /etc/vsftpd/  # 进入vsftpd服务配置目录
        
        vi ftpusers      通过 vi 编辑 ftpusers 文件  并且注释 root 用户
        
        vi user_list     通过 vi 编辑 user_list 文件 并且注释 root 用户

操作結果如下图所示:

​ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9zcAkeWA-1630058627577)(USDP安装详细教程.assets/image-20210716134209589.png)]

2.3 下载资源与USDP系统环境准备

我们使用usdp最新的以hadoop3.0为基础的2.0版本安装包 

百度网盘下载地址:

链接：https://pan.baidu.com/s/1mlic-9ZbK4are52zh1mKfw 提取码:spp9

2.3.1资源说明

USDP 的下载内容主要分为如下 3 种类型：

类型序号	安装包名称	安装包说明	放置目录
1	usdp-01-master-privatization-free-2.0.0.0.tar.gz	USDP 主程序与大数据服务资源包	/opt/usdp-srv/
2	httpd-rpms.tar.gz 、mirror.tgz	USDP 离线 yum 基础源资源包	/data
3	epel.tgz	USDP 离线 yum 扩展源资源包	/data

注意：

** 1.1 以上的安装包都要下载并且在上传到主节点bigdata01上,然后建立对应的放置目录 放置对应的安装包 **

2.3.2 环境初始化

1. 进入bigdata01 主节点的 repair 环境初始化模块目录

    cd  /opt/usdp-srv/usdp/repair

2. repair 环境初始化模块目录说明
	
	bin			单个修复模块脚本所在目录，无需手动管理；
	
	config		一键修复脚本所需配置文件目录，需要用户手动修改；
	
	packages	修复过程中安装 USDP 所需依赖压缩包存放目录；
	
	sbin		一键修复主脚本所在目录，无需手动管理；

3. 修改config 目录下的配置文件
    
    repair.properties	主要配置私有化 yum 源安装节点信息、namp 安装节点信息、mysql 数据库安装节点信息、修复机器总数，以及修
    
    复模块日志存放位置。用户根据需要自行修改相关配置项；
    
    repair-host-info.properties	节点全量修复，需要配置此文件，具体配置所有节点内网 Ip、密码、端口号以及主机名；
    
    repair-host-info-add.properties	集群新增节点时，需要配置此文件，具体配置新增节点内网 Ip、密码、端口号以及主机名；

首次全量修复

•repair.properties

yum.repo.host.ip=192.168.64.5

#The Host information for installing the NMAP service
namp.server.ip=192.168.64.5
namp.server.port=22
[email protected]

# The Host information for installing the NTP service(Master)
ntp.master.ip=192.168.64.5

# Install MySQL machine node information
mysql.ip=192.168.64.5
mysql.host.ssh.port=22
mysql.host.ssh.password=123456

# Set the MYSQL database login password
mysql.password=123456

# The total number of machines needed to be repaired.
repair.host.num=3

# The total number of added machines needed to be repaired.
#repair.add.host.num=m(The total number of added machines needed to be repaired)

# Common Settings.
repair.log.dir=./logs

上述代码解释如下：

具体配置项	说明
yum.repo.host.ip	填写未来即将部署 私有化yum 源 的节点的内网 IP（即执行 repair 脚本的节点 ip ）；
namp.server.ip	填写未来即将部署 USDP 管理端 的节点的内网 IP；
namp.server.port	填写未来即将部署 USDP 管理端 的节点 SSH 端口号，默认22；
namp.server.password	填写未来即将部署 USDP 管理端 的节点的密码；
ntp.master.ip	选择某个节点作为 NTP 时间同步master 服务器，填写内网 IP；
mysql.ip	选择某个节点作为 MySQL 服务器，填写内网 IP；
mysql.host.ssh.port	设置 MySQL 所在节点的 SSH 端口号，默认 22；
mysql.host.ssh.password	设置 MySQL 的 所在节点的密码；
mysql.password	设置数据库登录密码；
repair.host.num	设置修复机器数量；
repair.add.host.num	新增节点时需要配置此项，全量修复时无需修改；
repair.log.dir	设置环境初始化日志存放位置；

•repair-host-info.properties

# 1.Please provide the information of hosts needed to be repaired in the format specified below
# 2.usdp.ip.i(eg:i=1,2,3.....):
# 3.usdp.password.i:
# 4.usdp.ssh.port.i:
# 5.usdp.ssh.port.hostname.i:
usdp.ip.1=192.168.64.5
[email protected]
usdp.ssh.port.1=22
usdp.ssh.port.hostname.1=bigdata01

usdp.ip.2=192.168.64.6
[email protected]
usdp.ssh.port.2=22
usdp.ssh.port.hostname.2=bigdata02


usdp.ip.3=192.168.64.7
[email protected]
usdp.ssh.port.3=22
usdp.ssh.port.hostname.3=bigdata03

上述代码解释如下：

具体配置项	说明
usdp.ip.i	USDP 集群安装节点内网 Ip；（i 表示1-n 的取值，n 为集群机器总数）；
usdp.password.i	USDP 集群安装节点密码；
usdp.ssh.port.i	USDP 集群安装节点端口号，默认 22；
usdp.ssh.port.hostname.i	USDP 集群安装节点主机名；

执行初始化脚本

完成上述步骤后，执行如下命令即可开始一键初始化任务。

cd /opt/usdp-srv/usdp/repair/sbin

bash repair.sh initAll

source /etc/profile 

初始化过程为完全离线的方式，等待一段时间后，即可将所有对应节点的环境准备完毕。

注意 source /etc/profile 这个操作在各个节点上同步操作一下 不然会导致找不到 相关服务命令  

为 USDP 配置 MySQL 数据库

 /opt/usdp-srv/usdp/config/application-server.yml  修改 datasource 节点的mysql 配置
 
 datasource:
    type: com.zaxxer.hikari.HikariDataSource
    #    driver-class-name: org.gjt.mm.mysql.Driver
    driver-class-name: com.p6spy.engine.spy.P6SpyDriver
    url: jdbc:p6spy:mysql://192.168.64.5:3306/db_udp?useUnicode=true&characterEncoding=utf-8&useSSL=false
    username: root
    password: 123456

2.3.3 启动 USDP web服务端程序

节点修复完成后，进入 USDP 管理端所在节点后，并进入 USDP 安装根目录，通过 root 用户执行如下命令，以启动 USDP 管理端服务：

cd  /opt/usdp-srv/usdp/

bin/start-udp-server.sh 

ps -ef | grep udp-server-1.0.0.jar 查看进程是不是存在

2.4 访问 USDP Web 页面

通过浏览器访问如下地址即可打开 USDP Web 页面：

http://主节点ip:80

2.5 设置初始化密码

​ 第一次访问 USDP Web 页面需要设置管理员密码，设置完毕后，即可进行下一步操作。

​ 这里设置的账户: admin 密码: admin123456

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZgFnMIgo-1630058627579)(USDP安装详细教程.assets/image-20210716161207172.png)]

   注意 :  登录 USDP 页面之后记录一下 硬件识别码  后面申请证书的时候要用到

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b53Q09Sl-1630058627581)(USDP安装详细教程.assets/image-20210716161542712.png)]

2