Hadoop伪分布模式配置

luoxuepiao

本作品由Man_华创作，采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
基于http://www.iyunv.com/manhua/上的作品创作。　　
　　请先按照上一篇文章Hadoop单机模式配置安装好java和hadoop后再进行伪分布模式的配置。
　　Hadoop伪分布模式:一台机器，每个Hadoop守护进程都是一个独立的JVM进程

安装ssh服务



sudo apt-get install openssh-server
　　(如果没有安装ssh服务，将会出现如下情况：
　　manhua@manhua-Aspire-4741 ~/.ssh $ ssh localhost
ssh: connect to host localhost port 22: Connection refused
)
　　如果中途因为时间过长您中断了更新（Ctrl+z），当您再次更新时，会更新不了，报错为：“Ubuntu无法锁定管理目录（/var/lib/dpkg/），是否有其他进程占用它？“需要如下操作
sudo rm /var/lib/dpkg/lock
sudo rm /var/cache/apt/archives/lock
　　建立ssh无密码登录本机



ssh-keygen -t rsa -P ""
~/.ssh/id_rsa
　　或用这个命令



ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
　　回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的
　　
　　继续，进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的



cd ~/.ssh/
cat id_rsa.pub>>authorized_keys
　　登录localhost



ssh localhost
　　首次连接需要输入yes确认
退出ssh输入exit 即可
　　

配置hadoop
　　创建Hadoop的数据存储目录，并修改属主权限为使用hadoop的用户：



cd ~/hadoopmkdir tmp
mkdir dfs

　　进入Hadoop配置文件目录



cd ~/hadoop/hadoop/etc/hadoop
　　core-site.xml



sudo gedit core-site.xml



hadoop.tmp.dir
/home/kevin/hadoop
temporary directories.


fs.defaultFS
hdfs://localhost:9000

　　hdfs-site.xml



sudo gedit hdfs-site.xml



dfs.replication
1

　　yarn-site.xml



sudo gedit yarn-site.xml



yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce_shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
127.0.0.1:8032


yarn.resourcemanager.scheduler.address
127.0.0.1:8030


yarn.resourcemanager.resource-tracker.address
127.0.0.1:8031

　　mapred-site.xml  （默认不存在此文件，需要创建）



sudo cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml



mapreduce.framework.name
yarn

　　创建slaves文件，填入



localhost
　　

测试
　　格式化NameNode



hdfs namenode -format
　　看到倒数10行内有common.Storage: Storage directory /opt/hadoop/hadoop_tmp/dfs/name has been successfully formatted.即成功
　　启动



start-all.sh
　　查看所有JAVA进程



jps
　　此时可以看到如下：
jps
ResourceManager
NodeManager
DataNode
NameNode
SecondaryNameNode
　　并且可以访问以下站点
　　http://localhost:8088/cluster
http://localhost:50070/dfshealth.jsp
　　在用户文件夹建立test文件夹，新建几个文本文档，输入一些文字



hdfs dfs -copyFromLocal ~/setupEnv/Test1-WordCount/in /in
hdfs dfs -ls /in
hadoop jar ~/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /in /out
　　上传时指定block大小： hadoop fs -D fs.local.block.size=134217728 -put local_name remote_location
　　
　　查看结果



hadoop fs -cat /out/part-r-00000
或

　　hdfs dfs -cat /out/part-r-00000
　　停止



stop-all.sh
　　
　　=====================
　　Extra 测试二 compile &jar



cd ~/setupEnv/Test2-Dedup
javac -cp /opt/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar:/opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar:/opt/hadoop-2.2.0/share/hadoop/common/lib/* Dedup.java
jar -cvf Dedup.jar ./*.class
　　再次执行前要删除输出文件夹



hadoop fs -rm -r /out
hadoop dfs -copyFromLocal ~/setupEnv/Test2-Dedup/in2 /in
hadoop fs -ls /in
hadoop jar ~/setupEnv/Test2-Dedup/Dedup.jar Dedup /in /out
　　

　　异常处理
　　如果发生任何启动异常，关闭进程后，需要清空数据：



rm -rf ~/hadoop/tmp

　　然后重新执行格式化：



hdfs namenode -format