Hadoop学习--伪分布式部署--day01

opiuytr1

                      1.伪分布式安装准备工作
   上传hadoop-2.7.3.tar.gz  /soft
   虚拟机Java安装完毕
        卸载原有的openjdk的版本
        # java -version如果看到有openjdk的字样就是说明是系统带的openjdk版本
        # rpm -qa|grep jdk
        用类似如下的方法删除上面的rpm包
           #rpm -e --nodeps   java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
        检查是否还有jdk1.5的版本，有就删除
        #rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
        #解压新下载的jdk的安装包
        配置环境变量
2.解压hadoop
   $tar -xzvf hadoop-2.7.3.tar.gz
3.配置环境变量
   编辑/etc/profile，添加如下内容
   export JAVA_HOME=/soft/jdk1.8.0_111
   export HADOOP_HOME=/soft/hadoop-2.7.3
   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
   并且把以上的内容写到/home/hadoop/.bashrc中
4.配置SSH免密码登陆
   $ssh-keygen -t rsa （四个回车）
   执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
   将公钥拷贝到要免登陆的机器上
   $cd /home/hadoop/.ssh
   $cat id_rsa.pub >> ~/.ssh/authorized_keys
   $chmod 600 authorized_keys  

   mkdir ./ssh
   chmod 700 ~/.ssh cd ~/.ssh
   ssh-keygen -t rsa
   cd ~/.ssh
   cat /root/.ssh/id_rsa.pub > authorized_keys
   chmod 600 ~/.ssh/authorized_keys
   scp authorized_keys userB:/root/.ssh/
   注：A 为管理主机，B为被管理主机。
5.修改core-site.xml
   添加如下信息
<configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
6.修改hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>  
7.修改mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
8.修改yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
9.格式化namenode（是对namenode进行初始化
  $hdfs namenode -format (hadoop namenode -format)
10.启动hadoop
  先启动HDFS
  $start-dfs.sh
  $start-yarn.sh
  关闭的顺序最好相反
11.目录操作
  $hadoop fs -mkdir -p /user/hadoop
  $hadoop fs -ls /
  $hadoop fs -ls -R /
  $hadoop fs -lsr /
  上传
  $hadoop fs -put <linux上文件>  <hdfs上的路径>
  $hadoop fs -put local.txt /user/hadoop/xx.txt   //将本地文件put到hdfs文件系统
  查看文件内容
  $hadoop fs -cat <hdfs上的路径>
  下载文件
  $hadoop fs -get <hdfs上的路径> <linux上的文件>
12.查看帮助
  $hadoop fs  //直接回车
  $hadoop fs -help put //查看put的具体信息
13.查看namenode和datanode在本地
  $cd /tmp/hadoop-hadoop/dfs/name/...   //第一个hadoop是hadoop用户登陆启动创建的
  $cd /tmp/hadoop-hadoop/dfs/data/...
14.查看log文件
  $ $HADOOP_HOME/logs
15.通过webui查看日志或者集群情况
  http://localhost:500070/    //namenode web server port
  http://localhost:8088/      //resourceManager,只有在本机访问才可以。hadoop集群信息
  http://localhost:19888/     //historyServer
16.通过netstat查看网络端口占用情况
  $netstat  -lnpt  //l:listener  u:udp  p:program  name