hadoop的伪分布式安装（详细）

erw23312

安装环境
  vmvare 11
  centos 6.5

安装开始：
一   安装jdk
  将下载的  .bin格式的JDK传输到Linux  家目录下的  Hadoop 文件夹，将hadoop安装包也放到这个文件夹



进入JDK安装目录建立一个软连接
[iyunv@CentOS-6 java]# ln -s jdk1.6.0_27 java




[iyunv@CentOS-6 java]# cd

进入家目录
编辑  .bashrc



将hadoop目录解压到/usr/目录
让环境变量生效


二  设置ssh等效性
配置ssh等效性

免密码ssh设置 --不然每启动一次就需要输入一次密码
现在确认能否不输入口令就用ssh登录localhost:
# ssh localhost
如果不输入口令就无法用ssh登陆localhost，执行下面的命令：

[iyunv@CentOS-6 ~]# ssh-keygen -t rsa


[iyunv@CentOS-6 ~]# cd .ssh/
[iyunv@CentOS-6 .ssh]# ls
id_rsa  id_rsa.pub  known_hosts


[iyunv@CentOS-6 .ssh]# cat id_rsa.pub >authorized_keys
[iyunv@CentOS-6 .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[iyunv@CentOS-6 .ssh]#

三 安装hadoop软件
将hadoop压缩包解压到 /usr/目录下

建立一个软连接



编辑hadoop配置文件
进入


编辑三个文件core-site.xml 、hdfs-site.xml和mapred-site.xml
1)编辑 core-site.xml 在 之间增加
  
fs.default.name
hdfs://localhost:9000
  
  
hadoop.tmp.dir
/tmp/hadoop/hadoop-${user.name}
  
2)编辑hdfs-site.xml 在 之间增加
  
dfs.replication
1
  
3)编辑mapred-site.xml 在 之间增加
  
mapred.job.tracker
localhost:9001





进入hadoop安装目录


格式化分布式文件系统
格式化名称节点：建立一系列结构，存放HDFS元数据


[iyunv@CentOS-6 bin]#  ./hadoop namenode -format

启动hadoop
[iyunv@CentOS-6 bin]# ./start-all.sh



检测守护进程启动情况

[iyunv@CentOS-6 bin]# jps
3884 NameNode
4180 JobTracker
4111 SecondaryNameNode
4441 Jps
[iyunv@CentOS-6 bin]#



启动过程出现错误 DataNode 没有启动成功
查看日志


从日志中可以看出 java.net.UnknownHostException 异常
java.net.UnknownHostException: CentOS-6.5: CentOS-6.5
        at java.net.InetAddress.getLocalHost(InetAddress.java:1360)
        at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.getHostname(MetricsSystemImpl.java:481)
        at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.configureSystem(MetricsSystemImpl.java:412)
        at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.configure(MetricsSystemImpl.java:408)
        at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.start(MetricsSystemImpl.java:152)
        at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.init(MetricsSystemImpl.java:133)
        at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.init(DefaultMetricsSystem.java:40)
        at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.initialize(DefaultMetricsSystem.java:50)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1650)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1669)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812)
Hadoop在格式化HDFS的时候，通过hostname命令获取到的主机名是CentOS-6.5
，然后在/etc/hosts文件中进行映射的时候，没有找到

查看一下/etc/sysconfig/network文件： 保存的是hostname 也就是主机名 。

看看主机名是什么，然后修改 /etc/hosts文件，修改成主机名。

修改后的hosts文件

重启网络

[iyunv@CentOS-6 ~]# /etc/rc.d/init.d/network restart  
重新格式化HDFS


启动集群



开启成功

进入虚拟机，打开浏览器，输入
http://192.168.141.2:50070
会看到节点存储信息




到此安装结束








简单测试
[iyunv@CentOS-6 ~]# hadoop fs -ls
ls: Cannot access .: No such file or directory.
[iyunv@CentOS-6 ~]# ls
anaconda-ks.cfg  hbase-0.94.16-security  install.log.syslog  模板  文档  桌面
Hadoop           installer               workspace           视频  下载
Hbase            install.log             公共的              图片  音乐
[iyunv@CentOS-6 ~]# mkdir input
[iyunv@CentOS-6 ~]# cd input/
[iyunv@CentOS-6 input]# ls
[iyunv@CentOS-6 input]# echo "hello world">test2.txt
[iyunv@CentOS-6 input]# echo "hello hadoop">test1.txt
[iyunv@CentOS-6 input]# ls
test1.txt  test2.txt
[iyunv@CentOS-6 input]# hadoop fs -mkdir  input
[iyunv@CentOS-6 input]# hadoop fs -ls
Found 1 items
drwxr-xr-x   - root supergroup          0 2015-04-19 17:15 /user/root/input
[iyunv@CentOS-6 input]# hadoop fs -put test1.txt input
[iyunv@CentOS-6 input]# hadoop fs -put test2.txt input
[iyunv@CentOS-6 input]# hadoop fs -ls
Found 1 items
drwxr-xr-x   - root supergroup          0 2015-04-19 17:16 /user/root/input
[iyunv@CentOS-6 input]#


测试mapreduce
[iyunv@CentOS-6 ~]# cd /usr/hadoop

[iyunv@CentOS-6 hadoop]# hadoop jar hadoop-examples-1.2.1.jar wordcount input output
15/04/19 17:22:19 INFO input.FileInputFormat: Total input paths to process : 2
15/04/19 17:22:19 INFO util.NativeCodeLoader: Loaded the native-hadoop library
15/04/19 17:22:19 WARN snappy.LoadSnappy: Snappy native library not loaded
15/04/19 17:22:20 INFO mapred.JobClient: Running job: job_201504191711_0001
15/04/19 17:22:21 INFO mapred.JobClient:  map 0% reduce 0%
15/04/19 17:22:57 INFO mapred.JobClient:  map 50% reduce 0%
15/04/19 17:22:58 INFO mapred.JobClient:  map 100% reduce 0%
15/04/19 17:23:09 INFO mapred.JobClient:  map 100% reduce 100%
15/04/19 17:23:10 INFO mapred.JobClient: Job complete: job_201504191711_0001
15/04/19 17:23:10 INFO mapred.JobClient: Counters: 29
15/04/19 17:23:10 INFO mapred.JobClient:   Job Counters
15/04/19 17:23:10 INFO mapred.JobClient:     Launched reduce tasks=1
15/04/19 17:23:10 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=63538
15/04/19 17:23:10 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
15/04/19 17:23:10 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
15/04/19 17:23:10 INFO mapred.JobClient:     Launched map tasks=2
15/04/19 17:23:10 INFO mapred.JobClient:     Data-local map tasks=2
15/04/19 17:23:10 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=11731
15/04/19 17:23:10 INFO mapred.JobClient:   File Output Format Counters
15/04/19 17:23:10 INFO mapred.JobClient:     Bytes Written=25
15/04/19 17:23:10 INFO mapred.JobClient:   FileSystemCounters
15/04/19 17:23:10 INFO mapred.JobClient:     FILE_BYTES_READ=55
15/04/19 17:23:10 INFO mapred.JobClient:     HDFS_BYTES_READ=249
15/04/19 17:23:10 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=169962
15/04/19 17:23:10 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25
15/04/19 17:23:10 INFO mapred.JobClient:   File Input Format Counters
15/04/19 17:23:10 INFO mapred.JobClient:     Bytes Read=25
15/04/19 17:23:10 INFO mapred.JobClient:   Map-Reduce Framework
15/04/19 17:23:10 INFO mapred.JobClient:     Map output materialized bytes=61
15/04/19 17:23:10 INFO mapred.JobClient:     Map input records=2
15/04/19 17:23:10 INFO mapred.JobClient:     Reduce shuffle bytes=61
15/04/19 17:23:10 INFO mapred.JobClient:     Spilled Records=8
15/04/19 17:23:10 INFO mapred.JobClient:     Map output bytes=41
15/04/19 17:23:10 INFO mapred.JobClient:     CPU time spent (ms)=48340
15/04/19 17:23:10 INFO mapred.JobClient:     Total committed heap usage (bytes)=292167680
15/04/19 17:23:10 INFO mapred.JobClient:     Combine input records=4
15/04/19 17:23:10 INFO mapred.JobClient:     SPLIT_RAW_BYTES=224
15/04/19 17:23:10 INFO mapred.JobClient:     Reduce input records=4
15/04/19 17:23:10 INFO mapred.JobClient:     Reduce input groups=3
15/04/19 17:23:10 INFO mapred.JobClient:     Combine output records=4
15/04/19 17:23:10 INFO mapred.JobClient:     Physical memory (bytes) snapshot=324190208
15/04/19 17:23:10 INFO mapred.JobClient:     Reduce output records=3
15/04/19 17:23:10 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1133568000
15/04/19 17:23:10 INFO mapred.JobClient:     Map output records=4
[iyunv@CentOS-6 hadoop]#

[iyunv@CentOS-6 hadoop]# hadoop fs -ls
Found 2 items
drwxr-xr-x   - root supergroup          0 2015-04-19 17:16 /user/root/input
drwxr-xr-x   - root supergroup          0 2015-04-19 17:23 /user/root/output

[iyunv@CentOS-6 hadoop]# hadoop fs -ls output
Found 3 items
-rw-r--r--   1 root supergroup          0 2015-04-19 17:23 /user/root/output/_SUCCESS
drwxr-xr-x   - root supergroup          0 2015-04-19 17:22 /user/root/output/_logs
-rw-r--r--   1 root supergroup         25 2015-04-19 17:23 /user/root/output/part-r-00000

[iyunv@CentOS-6 hadoop]# hadoop fs -cat output/part-r-00000
hadoop