Hadoop学习--完全分布式部署(pdsh/include&exclude/安全模式/均衡...

opiuytr1

                        Hadoop学习--完全分布式部署(pdsh/include&exclude/安全模式/均衡器/快照/回收站)--day02
                      

• 安装准备工作
  准备5台服务器，hadoop01部署namenode resourcemanager,hadoop02-hadoop03是datanode，hadoop04部署secondarynamenode
  
  

   上传hadoop-2.7.3.tar.gz  /soft
   虚拟机Java安装完毕
        卸载原有的openjdk的版本
        # java -version如果看到有openjdk的字样就是说明是系统带的openjdk版本
        # rpm -qa|grep jdk
        用类似如下的方法删除上面的rpm包
           #rpm -e --nodeps   java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
        检查是否还有jdk1.5的版本，有就删除
        #rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
        #解压新下载的jdk的安装包
        配置环境变量
2.解压hadoop
   $tar -xzvf hadoop-2.7.3.tar.gz
3.配置环境变量
   编辑/etc/profile，添加如下内容
   export JAVA_HOME=/soft/jdk1.8.0_111
   export HADOOP_HOME=/soft/hadoop-2.7.3
   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
   并且把以上的内容写到/home/hadoop/.bashrc中
4.配置SSH免密码登陆
   $ssh-keygen -t rsa （四个回车）
   执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
   将公钥拷贝到要免登陆的机器上
   $cd /home/hadoop/.ssh
   $cat id_rsa.pub >> ~/.ssh/authorized_keys
   $chmod 600 authorized_keys  

   mkdir ./ssh
   chmod 700 ~/.ssh cd ~/.ssh
   ssh-keygen -t rsa
   cd ~/.ssh
   cat /root/.ssh/id_rsa.pub > authorized_keys
   chmod 600 ~/.ssh/authorized_keys
   scp authorized_keys userB:/root/.ssh/
   注：A 为管理主机，B为被管理主机。
5.安装pdsh工具
  #tar -jxvf pdsh-2.29.tar.bz2
  #cd pdsh-2.29
  #./configure --with-ssh --with-rsh --with-mrsh --with-mqshell \
--with-qshell  --with-dshgroups --with-machines=/etc/pdsh/machines
  #make
  #make install
  查看pdsh的版本号已经可使用的模块信息
  $pdsh -v
  查看pdsh显示当前所有加载的模块信息
  $pdsh -L
  命令查看user001,user002,user003主机上的时间，通过SSH
  $pdsh -w ssh:user00[1-3] "date"
  -g参数制定主机组，此参数用来指定一组远程主机，在编译pdsh时可以通过
  “--with-dshgroups”参数来激活此选项，默认可以将一组主机列表写入一个
  文件中并放到本地主机的~/.dsh/group或/etc/dsh/group目录下，这样就可
  以通过“-g”参数调用了。
  $pdsh -R ssh -g userhosts "date"
  其中“userhosts”是一个主机列表文件，可以将此文件放在~/.dsh/group或
  /etc/dsh/group目录下
  $pdcp -R ssh -w vm[2-5] -r ~/mpi  ~/
  $pdcp -R ssh -g hostname -r ~/mpi  ~/
6.本地eclipse环境设置
  (1).首先解压hadoop-2.7.3.tar.gz ，创建_libs/_source/_test-source/_test-libs这四个文件夹
  (2).进入hadoop-2.7.3目录中，搜索jar包文件，先把搜索到的jar包文件全部复制到_libs文件夹下
  (3).进入_libs文件夹下，搜索带source文件名的包，搜索到后剪切全部放入_source文件夹下
  (4).从_sources文件夹中搜索test-source的jar包，搜索到后剪切全部放入_test-source文件夹下
  (5).注意上述四个文件夹要放在同一级的目录下
  (6).最后在_libs文件夹中搜索test的jar包，剪切后放入到新建的_test-libs包下
  (7).打开eclipse，新建一个项目，配置buildpath目录
  (8).添加外部的jar包，找到_libs文件夹中所有的jar包，添加
  (9).对于的源码信息要关联时，点击Attach Source到_source文件夹中对应的包
7.注意配置文件的内容对于jar包的位置
  (1).core-default.xml
      ...\_libs\hadoop-common-2.7.2.jar
  (2).hdfs-default.xml
      ...\_libs\hadoop-hdfs.2.7.2.jar
  (3).mapred-default.xml
      ...\_libs\hadoop-yarn-common-2.7.2.jar
  (4).yarn-default.xml
      ...\_libs\hadoop-yarn-common-2.7.2.jar
  (5).注意copy上面所有的内容到_conf文件夹中新建对于的同名的文件中
      以便查找配置项进行配置
8.配置辅助名称节点
   从_conf文件中查找.xml文件结尾的内容中secondary字样，找到配置辅助名称节点的内容项
   在_conf\hdfs-default.xml中，发现有dfs.namenode.secondary.http-address这个key字样
   修改hdfs-site.xml文件内容，增加如下内容
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop05:50090</value>
   <description>
   The secondary namenode http server address and port.
   </description>     
9.配置hadoop临时目录的参数
   从_conf文件中查找.xml文件结尾的内容中local和hadoop.tmp.dir字样，找到配置项内容的位置
   在_conf\core-default.xml中，发现有<name>hadoop.tmp.dir</name>的字段
   修改core-site.xml，添加如下的内容(具体目录可以自己定义，这里暂时没有改变)
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/tmp/hadoop-${user.name}</value>
   <description>A base for other temporary directories.</description>
   </property>
10.配置namenode的数据存放目录
   同理在_conf\hdfs-default.xml中找到dfs.namenode.name.dir
   修改hdfs-site.xml文件内容，增加如下内容
   <property>
   <name>dfs.namenode.name.dir</name>
   <value>file://${hadoop.tmp.dir}/dfs/name</value>
   <description>Determines where on the local filesystem the DFS name node
      should store the name table(fsimage).  If this is a comma-delimited list
      of directories then the name table is replicated in all of the
      directories, for redundancy. </description>
   </property>
11.同理配置datanode的数据存放目录
   修改hdfs-site.xml文件内容，增加如下内容
   <property>
   <name>dfs.datanode.data.dir</name>
   <value>file://${hadoop.tmp.dir}/dfs/data</value>
   </property>
12.同理配置secondarynamenode的数据目录
   修改hdfs-site.xml文件内容，增加如下内容
   <property>
   <name>dfs.namenode.checkpoint.dir</name>
   <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
   </property>   
13.修改默认块大小
   修改hdfs-site.xml文件内容，增加如下内容
   <property>
   <name>dfs.blocksize</name>
   <value>134217728</value>
   </property>
14.修改core-site.xml，添加如下信息
   <configuration>
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop01/</value>
   </property>
   </configuration>
15.修改hdfs-site.xml
   <property>
   <name>dfs.replication</name>
   <value>3</value>
   </property>  
16.修改mapred-site.xml
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>
17.修改yarn-site.xml
   <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop01</value>
   </property>
   <!-- reducer获取数据的方式 -->
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   </property>
18.修改slaves
    hadoop02
    hadoop03
    hadoop04
19.命令手动启动namenode和datanode,其实hadoop-daemons.sh脚本是用到了hadoop-daemon.sh的脚本
   该命令只能在namenode的机器上执行
   $hadoop-daemon.sh start namenode  //启动namenode进程
   $hadoop-daemon.sh stop  namenode  //关闭namenode进程

   $hadoop-daemon.sh start datanode  //在datanode节点上启动该节点上的datanode进程
   $hadoop-daemon.sh stop datanode
   $hadoop-daemons.sh start datanode  //可以在任何namenode/datanode/secondarynamenode上执行
   $hadoop-daemons.sh stop datanode
   $hadoop-daemon.sh start secondarynamenode  //只能在secondarynamenode上执行启动进程

   和该命令类似的有yarn-daemons.sh 和yarn-daemon.sh
20.查看节点信息位置
   $hdfs getconf -namenodes  //查看集群中namenode是哪台机器
   $hdfs getconf -secondarynamenodes //查看集群中secondarynamenode是哪台机器

21.端口信息
   HDFS中配置的namenode
      rpc              //8020
      webui            //50070
   datanode
      rpc              //8032
      webui            //50075
   secondarynamenode   
      webui            //50090
   historyServer
      webui            //19888
   resourcemanager
      webui            //8088
   nodemanager
      webui            //8042
   linux系统中可用netstat -tuanlp这个命令来查看所有的内部端口、外部端口连接、
      TCP/UDP的所有信息
22.修改日志存放路径
   默认是在tar包目录下面的log文件夹
   修改tar包etc配置文件下的hadoop-env.sh文件夹
   添加：
        export HADOOP_LOG_DIR=/var/log/hadoop
   查看分析日志首先看的是.log文件, .out文件默认保留5个,会自动滚动覆盖
23.四大模块对于的配置文件
   (1).common
        hadoop-common-xxx.jar
        core-site.xml
        core-default.xml
   (2).hdfs
        hdfs-site.xml
        hdfs-default.xml
   (3).mapreduce
        mapred-site.xml
        mapred-default.xml
   (4).yarn      
        yarn-site.xml
        yarn-default.xml
24.Namenode和Datanode数据存放位置的说明
   (1).Namenode的数据存放位置配置
      在hdfs-default.xml中有如下参数可以修改，可以制定多个目录，这样就会在本机存在
        多个目录存放的一样的namenode的镜像文件数据，一定程度上保证了数据的安全性，并行写
      <property>
      <name>dfs.namenode.name.dir</name>
      <value>file://${hadoop.tmp.dir}/dfs/name</value>
      <description>Determines where on the local filesystem the DFS name node
      should store the name table(fsimage).  If this is a comma-delimited list
      of directories then the name table is replicated in all of the
      directories, for redundancy. </description>
      </property>
      名称配置多个目录在于更可靠;
      每个目录存放的内容都是相同的.
   (2).Datanode的数据存放位置配置
       数据节点配置多个目录，不是副本;
       每个目录存放的内容不同,用","号分割
       在hdfs-default.xml中有如下参数可以修改
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>file://${hadoop.tmp.dir}/dfs/data</value>
       <description>Determines where on the local filesystem an DFS data node
       should store its blocks.  If this is a comma-delimited
       list of directories, then data will be stored in all named
       directories, typically on different devices. The directories should be tagged
       with corresponding storage types ([SSD]/[DISK]/[ARCHIVE]/[RAM_DISK]) for HDFS
       storage policies. The default storage type will be DISK if the directory does
       not have a storage type tagged explicitly. Directories that do not exist will
       be created if local filesystem permission allows.
       </description>
       </property>
   (3).secondarynamenode数据存放位置
      可以存放多个目录,存放的效果和存放namenode数据的多个目录都是一样的
      <property>
      <name>dfs.namenode.checkpoint.dir</name>
      <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
      <description>Determines where on the local filesystem the DFS secondary
          name node should store the temporary images to merge.
          If this is a comma-delimited list of directories then the image is
          replicated in all of the directories for redundancy.
      </description>
      </property>
25.Commission|Decommission服役和退役节点的配置以及节点refreshNodes
   三个配置文件的关系：
       salves文件规定的主机是启动的时候允许启动相应的datanode进行，但是不能保证是否
       能够连接到namenode上。
       真正保证能够连接到namenode上的配置文件是在hdfs-defaults.xml中的dfs.hosts这个参数值决定的，
       这个值指向的是一个文件，文件中记录了哪些主机允许连接到namenode上，如果为空，所有的机器都是
       被允许的。
       在hdfs-defaults.xml中有个dfs.hosts.exclude参数，这个参数上配置的文件决定了排除哪些机器连接到
       namenode的，也就是不允许连接到namenode上面的机器列表。
       当include文件和exclude文件同时存在的时候：
       include   exclude    描述
       no        no         数据节点无法连接到名称节点
       no        yes        数据节点无法连接到名称节点
       yes       no         数据节点可以连接到名称节点
       yes       yes        数据节点可以连接到名称节点，但会退役

   测试：
   编辑配置文件
      [hdfs-site.xml]
      dfs.hosts=/soft/hadoop/etc/dfs-hosts-include.conf
      dfs.hosts.exclude=/soft/hadoop/etc/dfs-hosts-exclude.conf
   分发hdfs-site.xml文件到所有的节点
   刷新节点,在namenode上面执行
      $hdfs  dfsadmin  -refreshNodes   
26.查看VERSION数据
   clusterID=xxx (namenode==datanode)
   storageID=xxx (datanode)
   cTime:集群创建时间
   acl:访问控制列表
   layoutVersion:是一个负整数，描述HDFS的永久性的数据结构(布局)版本
   namespaceID:是文件系统的唯一的标识符，是文件系统首次格式化时设置的，任何datanode在注册到namenode之前
               都不知道namepaceID值，因此namenode可以使用该属性鉴别新建的datanode
27.安全模式
   (1).namenode启动时,合并image和edit成新的image,并产生新的edit log
   (2).整个过程出于safe模式下，客户端只能读取
   (3).namenode安全模式操作
       $hdfs dfsadmin -safemode get //查看是什么状态
       $hdfs dfsadmin -safemode enter //进入
       $hdfs dfsadmin -safemode leave //离开
       $hdfs dfsadmin -safemode wait  //等待
   (4).执行saveNamespace命令使得image文件和edit立即进行合并,生成新的image文件和edit日志，但是2nn还是老的
28.手动保存镜像文件
   $hdfs dfsadmin -fetchImage ~/  //保存镜像至当前home目录下
   可以在任何节点机器上执行，不要在安全模式下，相当于拷贝最新的image镜像,就是namenode上最新的image文件
29.手动保存元数据
   $hdfs dfsadmin -metasave  xxx.meta
   可以在任何节点上面执行上面的命令,但是数据保存在namenode的log文件下
   默认存放在{HADOOP_HOME}/logs/
30.文件系统健康检查
   $hdfs fsck /
   查找HDFS某个文件的大小，块的信息，所在节点的信息
   $hdfs fsck /user/hadoop/xxxx.files   -files  -blocks -racks
   webui查看数据节点上块的信息：http://hadoop02:50075/blockScannerReport
31.启动均衡器
   $start-balancer.sh
   启动均衡器,让集群在数据存储上更加平均,提高整个集群的性能  
32.HDFS命令
   从本地上传文件并删除本地的文件
   $hadoop fs -moveFromLocal  hello.txt /usr/ubuntu/data/   
   删除HDFS上面的文件
   $hadoop fs -rm -R /usr/ubuntu/data/had*
   查看hdfs上面文件的内容
   $hadoop fs -cat /user/ubuntu/data/had*
   查看目录的统计信息,统计目录数量/文件数/字节数
   $hadoop fs -count /x/x/x/
   追加HDFS上面的文件内容
   $hadoop fs -appendToFile name.txt /user/ubuntu/data/hello.txt
33.快照
   首先开启快照
   $hdfs dfsadmin -allowSnapshot /user/ubuntu/data
   针对目录进行snapshot,存放的快照文件在做快照目录下面的.隐藏文件
   $hadoop fs -createSnapshot /user/ubuntu/data snapshot-1
   关闭快照属性
   $hdfs dfsadmin -disallowSnapshot /usr/ubuntu/data
34.回收站
  (1).默认是0秒,意味着禁用回收站
  (2).设置文件在回收站的驻留时间
    [core-site.xml]
    fs.trash.interval=1  //分钟数计算
  (3).通过shell命令删除的文件，会进入trash
  (4).每个用户都有自己的回收站(目录)
    $/usr/ubuntu/.Trash
  (5).编程方式删除不进入回收站,立即删除,可以调用
     moveToTrash()方法,返回false,说明禁用回收站或者已经在站中
  (6).恢复文件
     将.Trash目录的文件移动出来即可
     hadoop fs -mv /user/ubuntu/.Trash/xx/xx/xx  data/
  (7).清空回收站
     hadoop fs -expunge
  (8).测试删除回收站
     hadoop fs -rm -R /user/ubuntu/.Trash
35.目录配合和磁盘空间配额
   $hdfs dfsadmin -setQuota 2 /user/ubuntu/data/day   //指该目录下可以存在的文件数或目录的数量
   $hdfs dfsadmin -setSpaceQuota 20 /user/ubuntu/data/day  //配置目录的磁盘空间配额为20字节