【DAY2】hadoop 完全分布式模式配置的学习笔记

theoforce

　　hadoop端口
　　----------------
　　1.namenode 50070
　　http://namenode:50070/
　　2.resourcemanager:8088
　　http://localhost:8088/
　　3.historyServer
　　http://hs:19888/
　　4.name rpc(remote procedure call,远程过程调用)
　　hdfs://namenode:8020/
　　ssh指令结合操作命令
　　---------------------
　　$>ssh s300 rm -rf /xx/x/x
　　通过scp远程复制
　　--------------------
　　$>scp -r /xxx/x ubuntu@s200:/path
　　编写脚本，实现文件或者文件夹的在所有节点远程复制。
　　xcopy.sh
　　--------------------
　　scp -r path ubuntu@s200:/path
　　删除
　　------
　　xrm.sh a.txt
　　ssh s200 rm -rf path
　　远程复制文件
[/usr/local/sbin/xcp.sh]　　
#!/bin/bash
　　
if [ $# -lt 1 ] ;then
　　
  echo no args
　　
  exit;
　　
fi
　　
#get first argument
　　
arg1=$1;
　　
cuser=`whoami`
　　
fname=`basename $arg1`
　　
dir=`dirname $arg1`
　　
if [ "$dir" = "." ]; then
　　
  dir=`pwd`
　　
fi
　　
for (( i=200;iSLAVE_NAMES
　　4.for SLAVE_NAMES --> ssh @hostname ...
　　"$bin/hadoop-daemon.sh"
　　-----------------------------
　　1.{hadoop}\libexec\hadoop-config.sh
　　HADOOP_CONF_DIR=...//--config参数
　　2.namenode|datanode|2namenode|..
　　bin/hdfs/xxxx
　　2NN配置独立的主机
　　--------------------
　　
　　dfs.namenode.secondary.http-address
　　0.0.0.0:50090
　　
　　The secondary namenode http server address and port.
　　
　　
　　修改默认的hadoop临时目录
　　-------------------------
　　[core-site.xml]
　　hadoop.tmp.dir=/home/ubuntu/hadoop/
　　修改blocksize大小,默认是128m
　　-----------------------------
　　[hdfs-site.xml]
　　dfs.blocksize=8m
　　1.测试方式
　　put 文件 > 8m,通过webui查看块大小