Hadoop学习笔记(2)

2341232

上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。

OK，我们先来看一下当时在命令行里输入的内容：

• $mkdir input
  
• $cd input
  
• $echo "hello world">test1.txt
  
• $echo "hello hadoop">test2.txt
  
• $cd ..
  
• $bin/hadoop dfs -put input in
  
• $bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out
  
• $bin/hadoop dfs -cat out/*
  
  
  

第1行，容易理解，我们在hadoop文件夹下建了一个input子文件夹；

第2行，进入input文件夹；

第3行，echo是指回显示，可以理解为print， 大于符（>）为重定向，正常echo是显示在屏幕上，而用了重定向后，即内容显示在了text1.txt文件里。那这句话意思是，创建一个test1.txt文件，其内容是"hello world"。 第4行类同；

第5行，回上一级目录

第6行，这里运行了一个hadoop命令， 参数为 dfs –put input in 意思是将input文件夹上传到hadoop文件系统中，并存于目录in中。

第7行，同样是hadoop命令，参数 jar XXX.jar wordcount in out 是指运行jar程序中wordcount类的程序，并传入参数 in out。 in 为输入目录 out 为输出结果目录，两个目录皆为hadoop文件系统中的目录，而并不是当前操作系统目录了。在第7行后，会看到屏幕在刷，是在计算。

第8行，cat是linux常用的命令，是将指定文件中的文本内容输出。 所以这里 cat out/* 是指把out文件夹下所有文件的文本内容输出，同时注意这里是dfs即是在hadoop文件系统中,且这个out正是第7步程序中输出的目录。所以输入该命令后，我们看到了下面的结果：

这个简单的程序目的是什么，其实比较容易看出来了，就是统计每个文件中的单词出现的数量，并将结果合并后显示出来。

可能有人就想，有什么啊，这程序我们C#、java几行代码也就实现了，有什么特别的？的确，初看过程就是。但我们深入来看一下。Hadoop的框架最核心的设计就是：HDFS和MapReduce。

HDFS就是分布式数据存储，这就不一样了，也就是说我的这里需要统计的文件很多的话，可能就不存在一台机器上了，而且存在不同机器上，不需要我们人为控制，而是交给Hadoop自动完成，而我们，只需要统一的接口(bin/Hadoop dfs)来访问:

MapReduce当然就是负责计算咯，回头一想，的确这程序不简单，统计一个文件单词出现的频率容易，但时如果这些文件是分布在不同机器上，然后又需要将结果能很方便的合并起来，那就不是简单几行代码就能搞定的了。所以MapReduce就是来负责这一块的。

看到这里，我们就理解了上面的hello world,但是马上会想，这个hadoop有哪些应用场景呢？或为什么它这现在这么牛，这么流行？

现在是一个大数据时代，首先是一个存储问题，hadoop提供了一个很好的分布式文件系统，方便我们存大量数据，同时提供了统一接口。

其次，拥有了大数据，不代表能产生价值，在产生价值，就必须利用这些数据进行计算（查询、分析等），但时传统的计算就是在一台或多台机器上部署程序，然后把数据获通过接口抓取到程序里进行分析，这称之为移动数据。而hadoop不是，而是把程序自动分发到各hadoop结点上进行计算，然后通过一定机制把结果进行汇总最后返回出来,这称之为移动计算。显然，移动计算要比移动数据成本要低得多。

应用场景之一：就是搜索引擎，现在互联网数据海量，如何存储并搜索成为难点，那hadoop的两大核心框架就正符合这用处，用网络爬虫取来的海量网页数据存于分布式库，然后当去搜索时，通过各子结点并发搜索，将数据返回合并后展示。 而hadoop的产生，也就是在google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文，即google的三驾马车。Hadoop的HDFS对就google的GFS，MapReduce对就google的MapReduce，Hadoop的HBase对应google的BigTable。 （注：HBase是其于hadoop开发的类似数据操作的软件）。

应用场景之二：生物医疗，大量DNA数据存储，同时要进行比对工作，用Hadoop再合式不过了。

当然还有N多其他应用场景……

到现在hadoop的核心价值总算摸清了，一是分布式存储，二是移动计算。

为了支撑这些功能，肯定会用到不少的进程，现在我们就来了解下这些进程以及相应的命令。

我们知道，运行$bin/start-all.sh来启动整个hadoop。然后运行$bin/jps可以看到所有运行的进程：

这些进程现在是安装在同一台机器上的，而实际分布式部署时，如下图：

NameNode：是HDFS的守护进程,负责记录文件是如何分割成数据块以及分配存储到哪个DataNode节点上，对内存及I/O进行集中管理。一个系统中只会有一个NameNode。

DataNode：数据结点，负责将数据包读写到硬盘上。当客户端需要数据通讯时，先问NameNode获取存放到哪个DataNode,然后，客户端直接与DataNode进行通讯。

SecondaryNameNode：用来监控HDFS状态的辅助进程。与NameNode不同的时，它不接收或记录任何实时的数据变化，只与NameNode进行通信，以便定期地保存HDFS元数据的快照。由于NameNode是单点的，通过SecondaryNameNode的快照功能，可以将NameNode的宕机时间和数据损失降低到最小。同时NameNode发生问题时，Secondary NameNode可以及时地作为备用NameNode使用。

JobTracker：应用程序与Hadooop之间的纽带，代码提交到集群上，JobTracker将会确定执行计划，包括决定处理哪些文件，为不同的任务分配节点以及监察所有任务的运行，如果任务失败，JobTracker将会自动重启，但分配的节点可能会不同。

TaskTracker：负责执行由JobTracker分配的单项任务，虽然单个结点上只有一个TaskTracker，但可以利用多个JVM(Java虚拟机)并行处理多个Map或reduce任务。

了解了进程后，我们再来了解下有哪些文件操作命令，

bin/hadoop是一个批处理sh文件（与bat类似），运行时需要输入子命令。子命令列表如下：

这里比较清楚了，各个子命令的描述，但这里有下fs，是我们常用的，同里里面会还有N多子命令，比如bin/hadoop fs -ls 列出文件内容。

其它fs参数清单如下：

命令	说明
[-ls <path>]	列出文件夹下的内容
[-lsr <path>]	递归列出文件夹下的内容
[-du <path>]	显示文件点用空间
[-mv <src> <dst>]	移动文件
[-cp <src> <dst>]	复制文件
[-rm [-skipTrash] <path>]	删除文件
[-rmr [-skipTrash] <path>]	删除文件夹
[-put <localsrc> ... <dst>]	将本地文件上传到服务器上
[-copyFromLocal <localsrc> ... <dst>]	将服务器文件下载到本地
[-moveFromLocal <localsrc> ... <dst>]	将服务器文件移至到本地
[-get [-ignoreCrc] [-crc] <src> <localdst>]	将服务器文件下载到本地
[-getmerge <src> <localdst> [addnl]]	将服务器文件夹内文件合并后下载到本地
[-cat <src>]	显示文件的文本内容
[-text <src>]	显示文件文本内容
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]	复制文件(夹)到本地
[-moveToLocal [-crc] <src> <localdst>]	移动文件(夹)到本地
[-mkdir <path>]	创建文件夹
[-setrep [-R] [-w] <rep> <path/file>]	设置文件的复制数量
[-touchz <path>]	写一个时间戳放在文件同级目录
[-test -[ezd] <path>]	测试文件是否存在
[-stat [format] <path>]	返回文件状态
[-tail [-f] <file>]	显示文件最后1KB的内容
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]	修改文件（夹）属性
[-chown [-R] [OWNER][:[GROUP]] PATH...]	修改文件owner属性
[-chgrp [-R] GROUP PATH...]	修改文件（夹）属性
[-help [cmd]]	显示帮助