欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

Hadoop集群动态添加datanode五大步骤

程序员文章站 2022-05-13 16:08:10
总结一下在Hadoop集群动态添加datanode节点相关步骤。 1.在新节点安装好hadoop,并把namenode的有关配置文件复制到该节点。 2.修改namenode节点的maste...

总结一下在Hadoop集群动态添加datanode节点相关步骤。

1.在新节点安装好hadoop,并把namenode的有关配置文件复制到该节点。

2.修改namenode节点的masters和slaves文件,增加该节点。

3.设置各节点ssh免密码进出该节点,设置IP映射。

4.单独启动该节点上的Datanode和Nodemanager;

hadoop-daemon.sh start datanode;

yarn-daemon.sh start nodemanager。

5.运行start-balancer.sh进行数据负载均衡,作用:当节点出现故障,或新增加节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上数据块的分布。