Hadoop1.0.0学习笔记

qinling072

　　一．  安装JDK,配置环境JAVA环境变量
　　exportJAVA_HOME=/home/tmp/jdk1.6.0_26
　　exportJRE_HOME=/home/tmp/jdk1.6.0_26/jre
　　exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
　　二．  安装Hadoop-1.0.0

• 　　1.     下载hadoop文件，地址为：http://hadoop.apache.org/coases.html，下载完成后解压hadoop-1.0.0.tar.gz
  

　　sudotar xzf hadoop-1.0.0.tar.gz

• 　　2.  配置Hadoop环境变量
  

　　exportHADOOP_INSTALL=/home/tmp/hadoop-1.0.0
　　exportPATH=$PATH:$HADOOP_INSTALL/bin

• 　　3.  查看hadoop版本
  

　　输入 hadoop version命令后输入下图，则安装hadoop成功

• 　　4.  修改配置文件
  
• 　　a)    解压hadoop-1.0.0/hadoop-core-1.0.0.jar
  
• 　　b)    去解压后的hadoop-core-1.0.0文件夹下,复制文件core-default.xml，hdfs-default.xml，mapred-default.xml三个文件到hadoop-1.0.0/conf/下,删除hadoop-1.0.0/conf/文件夹下的core-site.xml，hdfs-site.xml，mapred-site.xml，将复制过来的三个文件的文件名中的default修改为site
  
• 　　c)    在hadoop-1.0.0文件夹同级创建文件夹hadoop，打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点，修改为/home/${user.name}/hadoop/hadoop-${user.name}这样hadoop生成的文件会放入这个文件夹下.修改name节点为fs.default.name对应的value节点，修改为hdfs://localhost/
  

　　三．  安装ssh

• 　　1.  执行命令安装ssh：sudo apt-get install ssh
  
• 　　2.  基于空口令创建一个新SSH密钥，以启用无密码登陆
  
• 　　a)    ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa
  

　　执行结果：

• 　　b)    cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  
• 　　3.  测试
  

　　sshlocalhost
　　测试结果：

　　输入yes

　　再次输入ssh localhost：

　　成功之后，就不需要密钥
　　四．  格式化HDFS文件系统
　　输入指令:
　　hadoopnamenode –format

　　五．  启动和终止守护进程
　　启动和终止HDFS和MapReduce守护进程，键入如下指令
　　启动start-all.sh(start-dfs.sh,start-mapred.sh)

　　出错了，JAVA_HOME is not set
　　需要修改文件，打开hadoop-1.0.0/conf/hadoop-env.sh

　　将红线以内部分注释解开,修改为本机JAVA_HOME
　　export JAVA_HOME=/home/tmp/jdk1.7
　　再次执行启动命令start-all.sh

　　停止stop-all.sh(stop-dfs.sh,stop-mapred.sh)
　　到此，hadoop就已经安装完成了
　　六．  Hadoop文件系统

• 　　1.  查看hadoop所有块文件
  

　　执行命令:
　　hadoopfsck / -files –blocks
　　执行结果:

　　此结果显示，hadoop文件系统中，还没有文件可以显示

• 　　2.  将文件复制到hadoop文件系统中
  
• 　　a)    在hadoop文件系统中创建文件夹,执行命令：
  

　　hadoopfs –mkdir docs

• 　　b)    复制本地文件到hadoop文件系统中执行命令：
  

　　hadoopfs -copyFromLocal docs/test.txt \
　　hdfs://localhost/user/tmp/docs/test.txt

• 　　c)    复制hadoop文件系统中的文件回本地,并检查是否一致
  

　　复制:hadoop fs -copyToLocal docs/test.txt docs/test.txt.bat
　　检查:md5 docs/test.txt docs/text.txt.bat
　　检查结果若显示两个md5加密值相同，则文件内容相同。

• 　　d)    查看HDFS文件列表
  

　　执行命令:
　　hadoopfs –ls
　　执行结果：

• 　　e)    再次查看文件系统文件块
  

　　执行命令：
　　hadoopfsck / -files –blocks
　　执行结果如图:

　　此处为文件备份数量，可以调整，打开hadoop-1.0.0/conf/hdfs-site.xml文件,

　　此处修改文件备份数量