Linux积累-安装与配置Hadoop

pennate

• tar -xvzf jdk-7u3-linux-i586.tar.gz
  

　　复制文件到/usr/lib/jvm/ 文件夹下 jvm文件夹需要自己创建 更名复制的文件夹为jdk1.7
　　设置环境变量

• sudo vi /etc/environment
  
• 
  
• JAVAHOME=/usr/lib/jvm/jdk1.7 PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:%JAVAHOME%/bin"
  
• CLASSPATH=.:%JAVAHOME%/lib
  

　　

　　然后设置默认的jdk
　　

• sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7/bin/java 300
  
• sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.76/bin/javac 300
  

　　

　　最后同过java -version查看到安装的jdk1.7的版本信息， 即安装成功。
　　
2.安装SSH免密码登录
　　

• //确认联网并安装ssh
  
• sudo apt-get install ssh
  
• //生产密钥
  
• ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  
• //把id_dsa.pub追加到授权的key里面去
  
• cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  
• //验证是否安装成功
  
• ssh -version
  
• ssh localhost //出现选项输入yes即可登录本地 则成功。
  

　　

　　3.安装Hadoop
　　下载Hdoop-1.0.2.tar.gz(http://hadoop.apache.org/common/releases.html#Download)
　　解压 方式如jdk 一般解压到用户的目录下 /home/[用户名]/。
　　单节点方式配置：
　　无需配置，Hadoop被认为是一个单独的Java进程，这种方式适合用来调试。
　　伪分布式配置：
　　

• //进入conf文件夹进行配置
  
• //修改Hadoop-env.sh配置文件 指定JDK的安装位置
  
• export JAVA_HOME="你的JDK安装地址"
  
• //修改Hadoop核心的配置文件core-site.xml
  
• 
  
•      
  
•          fs.default.name
  
•          hdfs://localhost:9000//HDFS的地址和端口
  
•      
  
• 
  
• //下面是HDFS的配置，在hdfs-site.xml中
  
• 
  
•      
  
•          dfs.replication
  
•          1//单机伪分布下改为1
  
•      
  
• 
  
• //修改MapReduce的配置文件
  
• 
  
•      
  
•          mapred.job.tracker
  
•          localhost:9001 JobTracker的地址和端口
  
•      
  
• 
  

　　在启动Hadoop前，需格式化Hadoop的文件系统HDFS：
　　bin/Hadoop namenode -format
　　启动Hadoop：
　　bin/start-all.sh
　　最后进行验证：
　　http://localhost:50030
　　http://localhost:50070
　　
参考：
　　
http://hadoop.apache.org/common/docs/stable/single_node_setup.html