Hadoop分布式部署

rtt4eter

• 准备硬件环境
  此次用到三台计算机，三台计算机的系统都是Linux，并且以安装好JAVA。IP地址和角色为：
  namenode：192.168.0.1
  datanode：192.168.0.2
  datanode：192.168.0.3
  三台计算机之间能够正确解析彼此。因此需要修改/etc/hosts文件，主节点上需要将所有节点的IP地址以及相对应的主机名添加到文件中。作datanode的节点则只需将自己以及主节点的IP地址以及相对应的主机名添加到文件中即可。
  
• 安装Hadoop
  由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。所以要在三台计算机上先创建好hadoop用户并且切换到hadoop用户。
  
  
  选择将hadoop解压在hadoop用户的家目录中。为了方便以后hadoop版本更新，可以创建一个软链接：ln -s hadoop-版本 hadoop
  
• 建立ssh
  hadoop的主节点是通过ssh来控制其他节点的进程的，则需要两台计算机之间不需要输入密码，所以要公钥私钥的方式来认证。
  首先要确保每台计算机上都有ssh服务并且正常启动。然后在主节点生成一对密钥，再将公钥发给其他的节点。为了方便管理文件，可在hadoop用户家目录中生成新的文件来保存公钥私钥。紧接着将所有的公钥文件的权限修改：chmod 644 authorized_keys，确保其他人不可有写权限。最后需要对三台计算机上的sshd服务进行配置，修改文件/etc/ssh/sshd_config。修改如下：
  PasswordAuthentication no
  AuthorizedKeysFile /home/hadoop/.ssh/authorized_keys
  配置完成后可ssh连接看是否是不是不用输入密码就可连接（若两台主机第一次连接则需要输入yes）
  
• hadoop环境变量
  在/home/hadoop/hadoop/conf配置文件目录中找到hadoop-env.sh，设置JAVA_HOME变量
  
• hadoop配置文件
  这conf中找到slaves文件，此文件是指定datanode的，一行指定一个主机名。master文件是用来指定namenode的，则将主节点的主机名填入即可。
  在安装目录中找到core-site.xml、hdfs-site.xml以及mapred-site.xml并进行修改。
  core-site.xml:
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://(master IP):9000</value>
  </property>
  
  mapred-site.xml:
  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>(master IP):9001</value>
    <description>NameNode</description>
  </property>
  
  hdfs-site.xml不需要修改
  
• 部署hadoop
  将配置好的文件传给其他节点，保证目录结构一致
  
• 启动hadoop
  启动之前要先格式化namenode，进入/home/hadoop/hadoop下执行：bin/hadoop namenode -format
  bin/下有许多启动脚本，根据需要来使用：
  start-all.sh  启动所有守护
  start-mapred.sh  启动map/reduce守护。Jobtracker和Tasktracker
  start-dfs.sh  启动hadoop DFS守护。Namenode和Datanode
  有启动脚本也自然都相对应的停止脚本
  
• hadoop在线添加节点
  在slaves文件添加新节点的IP或者主机名，然后新节点上启动服务并执行start-balance.sh
  
• hadoop在线删除节点
  在master上修改mapred-site.xml:
  <property>
    <name>dfs.hosts.exclude</name>
    <value>/home/hadoop/hadoop/conf/datanode-excludes</value>
  </property>
  然后创建datanode-excludes文件，并添加要删除的主机，一行一个。接着执行：bin/hadoop dfsadmin -refreshNodes进行节点刷新，此操作后会进行后台迁移数据，等删除节点的状态为Decommissioned即可安全关闭。
  
• datanode白名单
  http://www.tuicool.com/articles/zINvYbf