wind-cold 发表于 2018-10-31 07:23:10

1.Hadoop的安装

  一台笔记本上,虚拟机安装三个
  192.168.80.11作为namenode
  192.168.80.12
  192.168.80.13两个字节点
  软件:hadoop1.1.2、jdk1.6.0_24、vmware10
  (安装记录,一次成功)
  1.首先修改每台机器的名字
  /etc/sysconfig/network
  进行修改
  hostname进行验证
  2.修改每台机器的IP,直接通过系统菜单设置
  重启网卡:
  service netwokr stop;
  service netwokr start;
  ifconfig进行验证
  3.配置hosts文件(必须的)
  位置:/etc/hosts
  格式:
  192.168.80.11 master
  192.168.80.12 slave1
  192.168.80.13 slave12
  4.SSH无密码验证
  在需要ssh连接的机器上以root权限修改/etc/ssh/sshd_config下的三行,去掉#注释
  RSAAuthentication yes
  PubkeyAuthentication yes
  AuthorizedKeysFile .ssh/authorized_keys
  在每台机器下执行命令:ssh-keygen -t rsa生成密钥在~/.ssh下
  要求树状结构:master节点能够找到每个slave节点,每个slave节点能够找到master
  使用

  scp>
  scp>  然后在master的.ssh下:

  cp>  cat s1>>authorized_keys
  cat s2>>authorized_keys
  将authorized_keys发给每个slave一份
  最后:
  给.ssh文件夹授权:
  chmod 700 .ssh
  给authorized_keys文件授权(必须的):
  chmod 600 authorized_keys
  使用ssh IP测试是否成功
  5.安装JDK
  先给jdk的安装文件授权:chmod u+x jdk……
  安装命令:./jdk……
  然后配置环境变量:~/.bash_profile
  export JAVA_HOME=~/jdk1.6.0_24
  export HADOOP_HOME=~/hadoop

  export>  export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/lib:$HADOOP_HOME/bin
  执行source .bash_profiel使修改生效
  6.安装Hadoop
  先授权:chmod u+x hadoop-1.1.2……
  解压:tar -zxvf hadoop-1.1.2.tar.gz
  hadoop文件夹改名:mv hadoop-1.1.2 hadoop
  环境变量的配置,同JDK
  7.hadoop配置
  首先在~/hadoop下建一个tmp文件夹:mkdir tmp
  配置文件:
  (1)hadoop-env.sh:export JAVA_HOME=~/jdk1.6.0_24
  (2)core-site.xml:
  
  
  //临时文件夹
  hadoop.tmp.dir
  /home/hadoop/hadoop/tmp
  
  
  //HDFS的地址和端口号
  fs.default.name
  hdfs://192.168.80.11:9000
  
  
  (3)hdfs-site.xml:
  
  
  //副本数量,默认为3
  dfs.replication
  2
  
  
  (4)mapred-site.xml:jobTracker的地址和端口号
  
  
  mapred.job.tracker
  http://192.168.80.11:9001
  
  
  8.配置masters文件
  master
  9 .配置slaves文件(master主机特有的)
  slave1
  slave2
  master(此处如果加上master,则表示master即做namenode,又做datanode)
  10.格式化namenode
  hadoop namenode -format
  11.启动hadoop集群
  先关闭所有机器的防火墙
  chkconfig iptables off;永久关闭,重启不影响
  service iptables off;//临时的
  启动命令:start-all.sh
  关闭命令:stop-all.sh
  可以使用jps命令查看启动的JVM进程
  可以使用hadoop dfsadmin -report;查看整个hadoop集群的状态
  可以使用网页进行查看:http://192.168.80.11:50030和http://192.168.80.11:50070
  当然,安装的时候,也可以先安装一个,然后使用scp复制到其他机器上,然后修改不同的地方。
  hadoop的安装模式:
  hadoop dfsadmin -safenode leave;离开安全模式
  小褚2014年7月8日于上地五街方正大厦

页: [1]
查看完整版本: 1.Hadoop的安装