hadoop 命令手册

shawnmei

　　hadoop集群用户的常用命令。
archive
　　创建一个hadoop档案文件。参考 Hadoop Archives.
　　用法：hadoop archive -archiveName NAME *
命令选项描述-archiveName NAME要创建的档案的名字。src文件系统的路径名，和通常含正则表达的一样。dest保存档案文件的目标目录。distcp
　　递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
　　用法：hadoop distcp  
命令选项描述srcurl源Urldesturl目标Urlfs
　　用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
　　运行一个常规的文件系统客户端。
　　各种命令选项可以参考HDFS Shell指南。
fsck
　　运行HDFS文件系统检查工具。参考Fsck了解更多。
　　用法：hadoop fsck [GENERIC_OPTIONS]  [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
命令选项描述检查的起始目录。-move移动受损文件到/lost+found-delete删除受损文件。-openforwrite打印出写打开的文件。-files打印出正被检查的文件。-blocks打印出块信息报告。-locations打印出每个块的位置信息。-racks打印出data-node的网络拓扑结构。jar
　　运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。
　　用法：hadoop jar  [mainClass] args...
　　streaming作业是通过这个命令执行的。参考Streaming examples中的例子。
　　Word count例子也是通过jar命令运行的。参考Wordcount example。
job
　　用于和Map Reduce作业交互和命令。
　　用法：hadoop job [GENERIC_OPTIONS] [-submit ] | [-status ] | [-counter   ] | [-kill ] | [-events   ] | [-history [all] ] | [-list [all]] | [-kill-task ] | [-fail-task ]
命令选项描述-submit 提交作业-status 打印map和reduce完成百分比和所有计数器。-counter   打印计数器的值。-kill 杀死指定作业。-events   打印给定范围内jobtracker接收到的事件细节。-history [all] -history  打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。-list [all]-list all显示所有作业。-list只显示将要完成的作业。-kill-task 杀死任务。被杀死的任务不会不利于失败尝试。-fail-task 使任务失败。被失败的任务会对失败尝试不利。pipes
　　运行pipes作业。
　　用法：hadoop pipes [-conf ] [-jobconf , , ...] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]
命令选项描述-conf 作业的配置-jobconf , , ...增加/覆盖作业的配置项-input 输入目录-output 输出目录-jar Jar文件名-inputformat InputFormat类-map Java Map类-partitioner Java Partitioner-reduce Java Reduce类-writer Java RecordWriter-program 可执行程序的URI-reduces reduce个数version
　　打印版本信息。
　　用法：hadoop version
CLASSNAME
　　hadoop脚本可用于调调用任何类。

　　用法：hadoop>　　运行名字为CLASSNAME的类。