hyzqb 发表于 2015-11-11 15:00:30

Virtualbox安装Ubuntu13.04并搭建Hadoop环境(单机模式+伪分布模式)



一、virtualbox安装Ubuntu
  这个网上教程太多了,略去

二、搭建Hadoop环境

2.1安装jdk
  第一步:
  到oracle官网上下载jdk-7u21-linux-i586.tar.gz
  


  第二步:
  将jdk-7u21-linux-i586.tar.gz拷贝到/usr/lib/jvm/目录下面,这里如果没有jvm文件夹,则创建该文件夹,命令:
  
  sudo mkdir /usr/lib/jvm//创建文件夹jvm
  
  sudo cp –r /home/damao/jdk-7u21-linux-i586.tar.gz/usr/lib/jvm          //把下载的文件拷贝到新创建的目录下面
  
  sudo tar -zxvg jdk-7u21-linux-i586.tar.gz    //解压缩文件
  
  第三步:
  设置环境变量,用gedit打开/etc/profile文件
  
  sudo gedit /etc/profile
  
  在最后面添加:
  PATH=$PATH:$HOME/bin
  export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_21
  export PATH=$PATH:$JAVA_HOME/bin:
  export CLASSPATH=$JAVA_HOME/lib:.
  
  保存退出,输入以下命令使之立即生效。
  source ~/.bashrc
  
  第四步:
  配置默认JDK 版本
  由于ubuntu 中可能会有默认的JDK,如 openjdk,所以,为了将我们安装的 JDK 设置为默认 JDK 版本,还要进行如下工作。
  
  执行代码:
  sudo update-alternatives --install /usr/bin/java java/usr/lib/jvm/jdk1.7.0_21/bin/java 300
  sudo update-alternatives --install /usr/bin/javac javac/usr/lib/jvm/jdk1.7.0_21/bin/javac 300
  
  执行代码:
  sudo update-alternatives --config java
  系统会列出各种JDK 版本,如下所示:(也有可能不出现)
  
  有3 个候选项可用于替换 java (提供/usr/bin/java)。
  ------------------------------------------------------------
  * 0 /usr/lib/jvm/java-6-openjdk/jre/bin /java 1061 自动模 式
  1 /usr/lib/jvm/java-7-sun/jre/bin /java 63手动模式
  2 /usr /lib/jvm/ jdk1.7.0_21/bin /java 300手动模式
  
  要维持当前值
[*]请按回车键,或者键入选择的编号:2
  update- alternatives:使用 /usr/lib/jvm/ jdk1.7.0_21/bin/java 来提供/usr/bin/java (java),于 手动模式 中。
  
  第五步:测试
  $ java -version
  java version"1.7.0_21"
  Java(TM) SERuntime Environment (build 1.7.0_21-b11)
  Java HotSpot(TM)Server VM (build 21.0-b11, mixed mode)
  

2.2 配置 SSH
  第一步:先添加hadoop用户到系统用户
  $ sudo addgroup hadoop
  $ sudo adduser --ingroup hadoop hadoop
  
  现在只是添加了一个用户hadoop,它并不具备管理员权限,我们给hadoop用户添加权限,打开/etc/sudoers文件
  $ sudo gedit /etc/sudoers
  在rootALL=(ALL:ALL)ALL下添加hadoopALL=(ALL:ALL) ALL
  
  第二步:安装ssh
  1)   由于Hadoop用ssh通信,先安装ssh.注意,我先从damao用户转到了hadoop.
  $ su hadoop
  密码:
  然后运行
  sudo apt-get install openssh-server
  
  2) 假设ssh安装完成,先启动服务。启动后,可以通过命令查看服务是否正确启动:
  
  $ sudo /etc/init.d/ssh start
  $ ps -e |grep ssh
  3) 作为一个安全通信协议(ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式),使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥:
  $ ssh-keygen -t rsa -P ""
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  
  现在可以登入ssh确认以后登录时不用输入密码:
  
  $ ssh localhost
  
  1.Welcome to Ubuntu 13.04 LTS (GNU/Linux 3.2.0-27-generic-pae i686)
  3. * Documentation:https://help.ubuntu.com/
  5.512 packages can be updated.
  6.151 updates are security updates.
  8.Last login: Mon Mar 11 15:56:15 2014from localhost
  
  登出:$exit

2.3 安装Hadoop
  第一步:
  $ sudo tar xzf hadoop-1.1.2.tar.gz (注意,我已将hadoop-1.1.2.tar.gz拷贝到usr/local/hadoop,然后转到hadoop用户上)
  
  $ sudo mv hadoop-1.1.2/usr/local/hadoop
  
  要确保所有的操作都是在用户hadoop下完成的,所以将该hadoop文件夹的属主用户设为hadoop
  
  $ sudo chown -R hadoop:hadoop hadoop
  
  第二步:
  配置hadoop-env.sh(Java安装路径)
  
  1、先在/usr/local下创建hadoop目录
  $ mkdir/usr/local/hadoop
  
  2、将下载好的hadoop压缩包移到刚刚创建的目录下
  $ sudocp /home/damao/hadoop-1.2.1.tar.gz /usr/local/hadoop
  
  3、解压
  $ cd/usr/local/hadoop
  $ sudotar -zxfhadoop-1.2.1.tar.gz
  默认情况下,会解压至hadoop\hadoop-1.2.1目录
  
  4、首先是配置 /usr/local/hadoop/hadoop-1.2.1/conf/hadoop-env.sh
  
  $ cdhadoop-1.2.1
  $ sudo gedit conf/hadoop-env.sh
  
  找到#exportJAVA_HOME这一行,去掉注释,变设置成正确的路径,即:
  # Thejava implementation to use. Required.
  exportJAVA_HOME=/usr/lib/jvm/jdk1.7.0_21
  
  5、验证hadoop是否正常运行
  $ bin/hadoopversion
  正常情况下,会显示hadoop的版本号之类
  至此hadoop的单机模式已经安装成功
  
  6、运行wordcount 示例程序
  $ mkdirinput (先创建input目录)






  $ cpconf/* input (将conf下的所有文件,复制到input目录下)






  $ bin/hadoopjar hadoop-examples-1.2.1.jar wordcount input output (运行wordcount程序,并将结果写入output目录下)

注:文件夹里必须有hadoop-examples-1.2.1.jar
  $ catoutput/* (查看输出结果)
  

第三步:伪分布模式的一些配置
  
  这里需要设定3个文件:core-site.xml  hdfs-site.xml  mapred-site.xml,都在/usr/local/hadoop/hadoop-1.2.1/conf目录下



core-site.xml:Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等。



hdfs-site.xml:Hadoop 守护进程的配置项,包括namenode,辅助namenode和datanode等。



mapred-site.xml:MapReduce 守护进程的配置项,包括jobtracker和tasktracker。

1、配置 conf/core-site.xml
  $ sudogedit conf/core-site.xml
  在 <configuration>
和 </configuration>
之间添加
  


<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop_1.2.1/tmp</value>
</property>   



  解释:上面的含义
  
  
  注意:由于第一次没有添加
  <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/hadoop/hadoop_1.2.1/tmp</value>
  </property>
  到后面出现了运行命令jps 没有Task Tracker
  

2、配置 conf/mapred-site.xml
  $ sudogeditconf/mapred-site.xml


<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>


3、配置 conf/hdfs-site.xml
  $ sudogeditconfhdfs-site.xml
  


<property>
<name>dfs.replication</name>
<value>1</value>
</property>
  



4、运行hadoop

首先是进行namenode的初始化工作:
  $bin/hadoop namenode -format
  

之后是运行hadoop:
  $bin/start-all.sh
  $ jps
  注意只有下面的六个进程均运行才表示运行成功
  4490 DataNode
  4858 TaskTracker
  4345 NameNode
  4634 SecondaryNameNode
  4923 Jps
  4716 JobTracker
  
  安装时注意事项:
  1、确保后面Hadoop在Hadoop用户下进行配置
  2、配置core-site.xml时
  如果没有添加
  <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/hadoop/hadoop_1.2.1/tmp</value>
  </property>
  到后面运行命令jps 没有Task Tracker
  3、配置core-site.xml、hdfs-site.xml和mapred-site.xml时仔细一些
  由于粗细配置mapred-site.xml时忘了加<property> </property>,导致运行jps后没有Job
Tracker
  4、若运行命令jps没有namenode,则重新格式化namenode试试
  bin/hadoop namenode –format
  5、若运行jps报:程序 'jps' 已包含在下列软件包中:
  * openjdk-6-jdk
  * openjdk-7-jdk
  请尝试:sudo apt-get install <选定的软件包>
  则先尝试用:sudo apt-get install openjdk-7-jdk安装
  然后再重新执行一遍安装jdk这一步骤
  


  


参考文章:
http://blog.iyunv.com/zhaoyl03/article/details/8657104
http://www.cnblogs.com/yjmyzz/p/ubuntu-13_04-hadoop-1_2_1-standalone-setup.html
http://blog.iyunv.com/michael_kong_nju/article/details/23294795
  




版权声明:本文为博主原创文章,未经博主允许不得转载。
页: [1]
查看完整版本: Virtualbox安装Ubuntu13.04并搭建Hadoop环境(单机模式+伪分布模式)