[HDFS Manual] CH3 HDFS Commands Guide

程序员文章站 2022-05-23 18:04:37

HDFS Commands Guide HDFS Commands Guide. 1 3.1概述... 1 3.2 用户命令... 1 3.2.1 classpath. 1 3.2.2 dfs. 1 3.2.3 envvars. 1 3.2.4 fetchdt. 1 3.2.5 fsck. 1 3. ......

HDFS Commands Guide

HDFS Commands Guide. 1

3.2.9 lsSnapshottableDir. 1

3.2.14 snapshotDiff. 1

3.3.6 diskbalancer. 1

3.3.14 secondarynamenode. 1

3.3.15 storagepolicies. 1

3.4.3 recoverLesse. 1

3.1概述

所有HDFS命令都是用hdfs调用。运行hdfs可以输出所有的命令。

语法：hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]

Hadoop 有一些通用的选项：

COMMAND_OPTIONS	Description
SHELL_OPTIONS	Shell命令选项集合. 命令文档 Commands Manual
GENERIC_OPTIONS	支持多个命令的选项，haddoop命令文档 Commands Manual
COMMAND COMMAND_OPTIONS	这种命令及他们的选项，包括了 User Commands 和 Administration Commands

3.2 用户命令

用于用户hadoop cluster

3.2.1 classpath

语法：hdfs classpath [--glob |--jar <path> |-h |--help]

COMMAND_OPTION	Description
--glob	expand wildcards
--jar path	Classpath指向一个jar包
-h, --help	print help

打印classpath需要获取hadoop的jar包并且需要的lib。如果调用不带参数，会输出命令脚本setup的classpath，classpath包含了通配符。其他的选项打印classpath通配符扩展后的classpath，或者把classpath写入到jar包的manifest。

3.2.2 dfs

语法：hdfs dfs [COMMAND [COMMAND_OPTIONS]]

在hadoop支持的文件系统上，运行文件系统命令。各种COMMAND_OPTIONS可以在 File System Shell Guide 查看。

3.2.3 envvars

语法：hdfs envvars

输出hadoop环境变量

3.2.4 fetchdt

语法hdfs fetchdt <opts> <token_file_path>

COMMAND_OPTION	Description
--webservice NN_Url	连接到nn的url(starts with http or https)
--renewer name	刷新nameoftoken
--cancel	取消token
--renew	刷新token，token必须已经通过fetched–renewername获取
--print	打印token
token_file_path	保存token的路径

从namenode 获取token，具体查看：fetchdt

3.2.5 fsck

hdfs fsck <path>

[-list-corruptfileblocks |

[-move | -delete | -openforwrite]

[-files [-blocks [-locations | -racks | -replicaDetails | -upgradedomains]]]

[-includeSnapshots] [-showprogress]

[-storagepolicies] [-maintenance]

[-blockId <blk_Id>]

COMMAND_OPTION	Description
path	开始检查这个路径
-delete	删除损坏的文件
-files	打印已经被检查的文件
-files -blocks	打印blockreport
-files -blocks -locations	打印每个block的位置
-files -blocks -racks	打印datanode位置的拓扑
-files -blocks -replicaDetails	打印每个副本的细节
-files -blocks -upgradedomains	打印每个block的upgradedomain
-includeSnapshots	如果path或者子目录表明了快照表目录，快照表目录包含了快照数据
-list-corruptfileblocks	打印丢失的块或者文件
-move	移动损坏的文件到/lost+found
-openforwrite	以写入方式打开的文件
-showprogress	Print out dots for progress in output. Default is OFF (no progress).
-storagepolicies	输出块的存储策略
-maintenance	输出维护的node状态细节
-blockId	输出块的信息

运行HDFS文件系统检查工具，具体查看： fsck

3.2.6 getconf

hdfs getconf -namenodes

hdfs getconf -secondaryNameNodes

hdfs getconf -backupNodes

hdfs getconf -includeFile

hdfs getconf -excludeFile

hdfs getconf -nnRpcAddresses

hdfs getconf -confKey [key]

COMMAND_OPTION	Description
-namenodes	获取集群的namenodes
-secondaryNameNodes	获取集群的secondarynamenodes
-backupNodes	获取集群的backupnodes
-includeFile	允许Datanode join到集群的文件列表
-excludeFile	不允许datanodejoin到集群的文件列表
-nnRpcAddresses	namenode rpc 地址
-confKey [key]	从配置文件中获取指定的key

3.2.7 groups

hdfs groups [username ...]

返回给定用户或多个用户的group信息。

3.2.8 httpfs

hdfs httpfs

启动httpfs服务，HDFS HTTP网关

3.2.9 lsSnapshottableDir

hdfs lsSnapshottableDir [-help]

获取snapshottable目录。当以super user用户运行，会返回所有的snapshottable目录。否则范围属于该用户所有的目录。

3.2.10 jmxget

hdfs jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]

COMMAND_OPTION	Description
-help	print help
-localVM ConnectorURL	connect to the VM on the same machine
-port mbean server port	specify mbean server port, if missing it will try to connect to MBean Server in the same VM
-server	specify mbean server (localhost by default)
-service NameNode\|DataNode	specify jmx service. NameNode by default.

Dump 服务的jmx信息

3.2.11 oev

hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE

输入：

COMMAND_OPTION	Description
-i,--inputFile arg	edits file to process, xml 后缀表示xml文件,任何其他文件名表示bianry文件
-o,--outputFile arg	输出的文件名. 如果文件已经存在，那么就会被覆盖，文件的格式由-p决定。

选项：

COMMAND_OPTION

Description

-f,--fix-txids

重新编号事务id，修复gap或者不可用的事务id

-h,--help

显示使用的信息并且退出

-r,

打赏

微信扫一扫

windows 运行hadoop的WordCount报nativeio.NativeIO$Windows.createDirectoryWithMode0(Lj

window eclipse连接hadoop集群，本地运行wordcount,报以下错误，尝试网络上的方法无果，如：换64JDK，添加hadoop_... [阅读全文]
FastAdmin如何添加首字母大写功能？

在Fast.js里面，添加这个函数。 ucfirst:function(s){ //首字母大写 var s... [阅读全文]
CentOS 7安装MariaDB 10详解以及相关配置

第一步：添加 MariaDB yum 仓库首先在CentOS操作系统中/etc/yum.repos.d/目录下添加 MariaDB 的YUM配置文... [阅读全文]
Babel的快速入门教程

babel有什么用 ES6标准从ES2015制定开始已经有几个年头了，虽然各大浏览器最新版都在极力地实现标准，但并不是所有人都会用最新版本... [阅读全文]
SqlServer存储过程示例

/* 步骤1 删除本地及海关单证待分派表、报关单表中的数据 delete from W_DOCUMENTS; delete from W_DOCUM... [阅读全文]