Hadoop学习--伪分布式部署--day01

lsdwyl

　　1.伪分布式安装准备工作
　　上传hadoop-2.7.3.tar.gz  /soft
　　虚拟机Java安装完毕
　　卸载原有的openjdk的版本
　　# java -version如果看到有openjdk的字样就是说明是系统带的openjdk版本
　　# rpm -qa|grep jdk
　　用类似如下的方法删除上面的rpm包
　　#rpm -e --nodeps   java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
　　检查是否还有jdk1.5的版本，有就删除
　　#rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
　　#解压新下载的jdk的安装包
　　配置环境变量
　　2.解压hadoop
　　$tar -xzvf hadoop-2.7.3.tar.gz
　　3.配置环境变量
　　编辑/etc/profile，添加如下内容
　　export JAVA_HOME=/soft/jdk1.8.0_111
　　export HADOOP_HOME=/soft/hadoop-2.7.3
　　export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
　　并且把以上的内容写到/home/hadoop/.bashrc中
　　4.配置SSH免密码登陆
　　$ssh-keygen -t rsa （四个回车）
　　执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
　　将公钥拷贝到要免登陆的机器上
　　$cd /home/hadoop/.ssh

　　$cat>　　$chmod 600 authorized_keys
　　mkdir ./ssh
　　chmod 700 ~/.ssh cd ~/.ssh
　　ssh-keygen -t rsa
　　cd ~/.ssh
　　cat /root/.ssh/id_rsa.pub > authorized_keys
　　chmod 600 ~/.ssh/authorized_keys
　　scp authorized_keys userB:/root/.ssh/
　　注：A 为管理主机，B为被管理主机。
　　5.修改core-site.xml
　　添加如下信息
　　
　　
　　
　　fs.defaultFS
　　hdfs://localhost/
　　
　　
　　6.修改hdfs-site.xml
　　
　　
　　dfs.replication
　　1
　　
　　7.修改mapred-site.xml
　　
　　
　　mapreduce.framework.name
　　yarn
　　
　　8.修改yarn-site.xml
　　
　　
　　yarn.resourcemanager.hostname
　　localhost
　　
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　9.格式化namenode（是对namenode进行初始化
　　$hdfs namenode -format (hadoop namenode -format)
　　10.启动hadoop
　　先启动HDFS
　　$start-dfs.sh
　　$start-yarn.sh
　　关闭的顺序最好相反
　　11.目录操作
　　$hadoop fs -mkdir -p /user/hadoop
　　$hadoop fs -ls /
　　$hadoop fs -ls -R /
　　$hadoop fs -lsr /
　　上传
　　$hadoop fs -put   
　　$hadoop fs -put local.txt /user/hadoop/xx.txt   //将本地文件put到hdfs文件系统
　　查看文件内容
　　$hadoop fs -cat
　　下载文件
　　$hadoop fs -get  
　　12.查看帮助
　　$hadoop fs  //直接回车
　　$hadoop fs -help put //查看put的具体信息
　　13.查看namenode和datanode在本地
　　$cd /tmp/hadoop-hadoop/dfs/name/...   //第一个hadoop是hadoop用户登陆启动创建的
　　$cd /tmp/hadoop-hadoop/dfs/data/...
　　14.查看log文件
　　$ $HADOOP_HOME/logs
　　15.通过webui查看日志或者集群情况
　　http://localhost:500070/    //namenode web server port
　　http://localhost:8088/      //resourceManager,只有在本机访问才可以。hadoop集群信息
　　http://localhost:19888/     //historyServer
　　16.通过netstat查看网络端口占用情况
　　$netstat  -lnpt  //l:listener  u:udp  p:program  name