hadoop第二天

zyk198500

　　脚本里面单独的 \ 是把一行换成多行，换行符
　　通配0.0.0.0表示任意一个ip都可以访问、电脑有网卡，本地连接其他的
　　2NN配置独立的主机----------现在是005的18分38秒
　　--------------------
　　
　　dfs.namenode.secondary.http-address
　　0.0.0.0:50090                                -----------在这里，上面的s500:50090 从jar包提取所有的配置项-小红本里面搜secondary里面搜的以及DFSUtil里面看源码找到的配置，
　　
　　The secondary namenode http server address and port.
　　
　　
　　改辅助名称的节点  /etc/hadoop_cluster/hdfs-site.xml在这个文件里面  【增加】 下面的内容 -----为什么说是这个，因为上面搜出来的是hdfs-default里面的内容
　　
　　dfs.namenode.secondary.http-address
　　s500:50090
　　
　　配置好后把这个文件发给所有节点
　　hdfs --config /soft/hadoop/etc/hadoop_cluster getconf -secondarynamenodes
　　取出来是s500
　　配置好新的集群，重新格式化一下
　　修改默认的hadoop临时目录-------------想修改的话可以到这里修改，搜配置的话，小红本里面搜local，在搜hadoop.tmp.dir
　　------------这些内容是追加的，追加后要发送到其他的主机----我是ubuntu用户，就放在自己家了，没有的话创建一下目录，每个机器上都创建一下---------
　　[core-site.xml]
　　hadoop.tmp.dir=/home/ubuntu/hadoop/
　　============================================
　　克隆之前最好把soft/hadoop/logs里面的日志删除
　　配置完全分布式的xxx-site.xml
　　s100 namenode名称节点
　　s200 datanode数据节点
　　s300 datanode数据节点
　　s400 datanode数据节点
　　s500 secondarynamenode 辅助名称节点在003的时候17分44秒左右提到了slaves不好用，让看源代码
　　slave配
　　s200
　　s300
　　s400
　　etc/haoop_cluster发送到其他主机
　　hdfs --config /soft/hadoop/etc/hadoop_cluster namenode -format格式化的时候也有提到相关的配置
　　格式化后可以到/tmp/hadoop-ubuntu/dfs/里面看
　　start-dfs.sh --config /soft/hadoop/etc/hadoop_cluster
　　start-yarn.sh --config /soft/hadoop/etc/hadoop_cluster
　　也是完全分布式相关操作
　　hadoop端口
　　----------------
　　1.namenode 50070
　　http://namenode:50070/
　　2.resourcemanager:8088
　　http://localhost:8088/
　　3.historyServer
　　http://hs:19888/
　　4.name rpc(remote procedure call,远程过程调用)---第一个
　　hdfs://namenode:8020/   主机名称：端口号
　　ssh指令结合操作命令
　　---------------------
　　$>ssh s300 rm -rf /xx/x/x  强制删除目录，递归干掉
　　ssh s300 rm -rf a b 删除a目录，b目录
　　通过scp远程复制
　　--------------------
　　$>scp -r /xxx/x ubuntu@s200:/path  目录递归拷贝
　　scp -r hadoop_cluster ubuntu@s200:/soft/hadoop/etc/
　　编写脚本，实现文件或者文件夹的在所有节点远程复制。
　　xcopy.sh   -记得修改一下所有人都能执行的权限-------------一般放到/usr/local/sbin下path【/usr/local/sbin:/usr/local/bin】里面有这个目录，而且我们不用陪了
　　--------------------
　　1.
　　2.
　　3.
　　4.
　　scp -r path ubuntu@s200:/path
　　删除
　　------
　　xrm.sh a.txt
　　ssh s200 rm -rf path
　　----------------------删除脚本---003开始----我们经常要删除的是/soft/hadoop/logs目录 和 /tmp目录，没有格式化就不会产生这个tmp目录----
　　#!/bin/bash
　　if [ $# -lt 1 ] ;then
　　echo no args
　　exit;
　　fi
　　#get first argument
　　arg1=$1;
　　cuser=`whoami`
　　fname=`basename $arg1`
　　dir=`dirname $arg1`
　　if [ "$dir" = "." ]; then
　　dir=`pwd`
　　fi
　　for (( i=100;i 8m,通过webui查看块大小
　　hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put /mnt/hgfs/downloads/bigdata/hadoop-2.7.2.tar.gz /usr/ubuntu/data/
　　其他s200,s300等主机也可以放文件
　　hadoop --config /soft/hadoop/etc/hadoop_cluster fs -chmod 改权限
　　检查文件block的状态  hadoop fsck  / -blocks
　　老师打的是 hdfs --config /soft/hadoop/etc/hadoop_cluster fsck /user/ubuntu/data/hello.txt  查看文件的健康状况
　　到临时目录里面去cat一下那个meta和块看看，每个节点都有同样的内容
　　到webui里面看多少块超过128的文件
　　[ip]  hosts里面的映射配置，看自己主机ip情况而定
　　s100 --> 132
　　s200 --> 130
　　s300 --> 131
　　s400 --> 128
　　s500 --> 133
　　127.0.0.1localhost
　　192.168.238.132 s100
　　192.168.238.130 s200
　　192.168.238.131 s300
　　192.168.238.128 s400
　　192.168.238.133 s500