hadoop+hive+sqoop安装

4terre

1.        软件部署步骤
1.1.        Hadoop安装部署
1.1.1安装前的准备
hadoop-1.0.4.tar.gz
jdk-6u35-linux-x64-rpm.bin
2台suse Linux主机
hadoop0-NameNode 192.168.0.11
hadoop1-DataNode 192.168.0.13

1.1.2安装部署
首先安装JDK
chmod +x jdk-6u35-linux-x64-rpm.bin
./jdk-6u35-linux-x64-rpm.bin
在/etc/profile的最后添加JDK环境变量,如下：  
export JAVA_HOME=/usr/java/jdk1.6.0_35
export JRE_HOME=/usr/java/jdk1.6.0_35/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
然后
hadoop0-NameNode:/soft #source /etc/profile
配置完成后，需要重启终端，在终端中输入java -version，检测jdk是否安装成功，如果出现jdk相关版本，则成功。

hadoop安装
1.        更改主机名、IP
1.1        IP设置：
在192.168.0.11上
命令：# vi /etc/hosts
192.168.0.11    hadoop0-NameNode.test.com hadoop0-NameNode
192.168.0.13    hadoop1-DataNode.test.com hadoop1-DataNode

1.2        更改主机名：
vi /etc/hostname   在里面添加
hadoop0-NameNode

hadoop0-NameNode:/soft #hostname -F /etc/hostname
192.168.0.13上
命令：# vi /etc/hosts
192.168.0.13    hadoop1-DataNode.test.com hadoop1-DataNode

1.2        更改主机名：
vi /etc/hostname   在里面添加
hadoop1-DataNode

hadoop1-DataNode:/soft #hostname -F /etc/hostname

2.        SSH设置
如代码清单 1 所示：
[iyunv@hadoop0 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
a8:97:55:d3:95:d6:fe:f5:08:ca:4c:6e:24:62:b4:22 root@hadoop0
Ssh-keygen -t rsa命令将为 hadoop0-NameNode 上的当前用户 root 生成密钥对，密钥对的保存路径使用缺省的 /root/.ssh/id_rsa, 要求输入passphrase 的时候，直接回车。这样生成的证书以及公钥将存储在 /root/.ssh 目录，形成如下两个文件 id_rsa，id_rsa.pub。
然后将 id_rsa.pub文件的内容复制到hadoop0-NameNode(包括本机)、hadoop1-DataNode的/root/.ssh/authorized_keys文件的尾部。若机器上不存在这个/root/.ssh/authorized_keys文件，可以自行创建一个。
2.2         SSH连接测试
从 hadoop0-NameNode 分别向 hadoop0-NameNode, hadoop1-DataNode发起 SSH 连接请求，确保不需要输入密码就能 SSH 连接成功。
命令：
hadoop0-NameNode:/soft #ssh hadoop0-NameNode
hadoop0-NameNode:/soft #ssh hadoop1-DataNode
注意第一次 SSH 连接时会出现如下提示信息：
The authenticity of host [homer06] can't be established. The key fingerprint is:
74:32:91:f2:9c:dc:2e:80:48:73:d4:53:ab:e4:d3:1a
Are you sure you want to continue connecting (yes/no)?
输入 yes, 这样 OpenSSH 会把连接过来的这台主机的信息自动加到 /root/.ssh/know_hosts 文件中去，第二次再连接时，就不会有这样的提示信息。
以后就不需要输入密码就可以建立ssh连接了，配置成功。

3.        安装部署hadoop
在hadoop0主机上部署hadoop软件，解压到/usr/local/hadoop-1.0.4，更名为hadoop
3.1         修改环境变量
在/usr/local/hadoop/conf目录下的hadoop-env.sh中设置JAVA_HOME的环境变量,如下：
export JAVA_HOME =/usr/java/jdk1.6.0_35
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
3.2        修改/usr/local/hadoop/conf/masters文件
  打开masters文件，该文件用来指定NameNode，内容如下：
hadoop0-NameNode:/usr/local/hadoop/conf # cat masters
hadoop0-NameNode
3.3         修改/usr/local/hadoop/conf/slaves文件
  打开slaves文件，该文件用来指定所有的DataNode，一行指定一个主机名。即本文中的hadoop0-NameNode、hadoop1-DataNode，如下：
hadoop0-NameNode:/usr/local/hadoop/conf # cat slaves
hadoop0-NameNode
hadoop1-DataNode
3.4         修改core-site.xml、hdfs-site.xml和mapred-site.xml
在/usr/local/hadoop/src/core、/usr/local/hadoop/src/hdfs、/usr/local/hadoop/src/mapred目录中分别找到core-default.xml，hdfs-default.xml，
mapred-default.xml三文件，然后copy到/usr/local/hadoop/conf目录下，这三个文件包含Hadoop的所有配置项，然后把这个分别改名为core-site.xml，hdfs-site.xml，mapred-site.xml，我们根据需要修改如下：
修改core-site.xml:
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
</property>
<property>
  <name> fs.default.name</name>
  <value>hdfs://192.168.0.11:9000</value>
</property>
注:
fs.default.name是NameNode的URI。hdfs://主机名:端口
修改hdfs-site.xml：
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>



修改mapred-site.xml：
<property>
  <name>mapred.job.tracker</name>
  <value>192.168.0.11:9001</value>
</property>

配置完成后进行部署，把配置好的hadoop文件夹拷贝到hadoop1主机上。命令如下：
[iyunv@hadoop0:~]# scp -r /usr/local/hadoop  root@192.168.0.13: /usr/local/
需要注意，如在hadoop1-DataNode上某些配置路径和hadoop0-NameNode主机上不一致，则需要修改成对应的hadoop1-DataNode主机上的路径。
例如：hadoop1-DataNode的Java安装路径不一样，要修改conf/hadoop-env.sh。建议尽量使用相同的路径安装部署。
至此，hadoop部署完毕。

4.        测试：
重启终端，格式化namenode：
进入hadoop目录下的bin目录，输入
./hadoop namenode -format对hadoop进行格式化。
启动hadoop：在hadoop的bin目录下，输入
./start-all.sh  
如果启动成功，可以用jps命令查看namenode,datanode,jobtracker,tasktracker,secondarynamenode
五个节点都启动，则正常启动了。
停止hadoop，在hadoop的bin目录下，输入
./stop-all.sh

附：secondarynamenode配置
假设增加一台机器为192.168.0.12
首先修改namenode和secondarynamenode两台机器的master文件，把secondarynamenode的主机名添加上去（一行一个）
然后登录secondarynamenode修改conf/core-site.xml
<name>fs.checkpoint.dir</name>
<value>/data/work/hdfs/namesecondary</value>   这里存储namenode的镜像
<description>Determines where on the local filesystem the DFS secondary name node should store the temporary images to merge. If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy. </description>
</property>
修改conf/hdfs-site.xml
<property>
<name>dfs.http.address</name>
<value>192.168.0.11:50070</value> 这里修改namenode主机的IP
<description> The address and the base port where the dfs namenode web ui will listen on. If the port is 0 then the server will start on a free port. </description>
</property>
重新启动hadoop，你在secondarynamenode上用jps会看到secondarynamenode进程


1.2         Hive安装部署
1.2.1        解压hive安装包
tar xzf hive-0.9.0
把hive安装包解压到/usr/local/hive目录下
1.2.2        环境变量配置
进入hive的conf目录下,创建hive-env.sh，在里面添加
#!/bin/bash
HIVE_HOME=/usr/local/hive
HADOOP_HOME=/usr/local/hadoop

将conf/hive-default.xml.template复制两份，分别命名为hive-default.xml（用于保留默认配置）和hive-site.xml（用于个性化配置，可覆盖默认配置）。
配置mysql来存储hive的元数据，首先得确保安装了mysql，输入如下命令检查：
rpm -qa|grep mysql
命令执行后如果出现相关文件，先卸载掉，命令如下：
rpm -e 出现的文件名
1.2.3        安装MySQL数据库
将libmysqlclient15-5.0.67-13.20.1.x86_64.rpm
mysql-5.0.67-13.20.1.x86_64.rpm
mysql-client-5.0.67-13.20.1.x86_64.rpm这三个文件拷贝到/usr/local/mysql路径下，输入以下命令安装：
rpm -ivh ./*.rpm
安装完成后按照提示输入以下命令：       
/usr/bin/mysqladmin -u root password ''
/usr/bin/mysqladmin -u root -h localhost password ''
此时mysql是不需要密码登录的，输入mysql命令后设置mysql的用户名和密码：
create user 'hadoop'@'localhost' IDENTIFIED BY 'hadoop';
grant all privileges on *.* to 'hadoop'@'localhost' with grant option;
然后输入exit;命令退出mysql，重新登录则需要用户名和密码：
Mysql -uhadoop -phadoop;

下载mysql-connector-java
wget 'http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz'
tar xvf mysql-connector-java-5.1.22.tar.gz
拷贝mysql-connector-java-5.1.10-bin.jar到/usr/local/hive/lib目录下。
cp mysql-connector-java-5.1.22/mysql-connector-java-5.1.22-bin.jar  /usr/local/hive/lib/

修改/usr/local/hive/conf/hive-site.xml配置文件,如下：
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>
           jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
         </value>
        </property>
<property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>hadoop</value>
        </property>
        <property>
           <name>javax.jdo.option.ConnectionPassword</name>
           <value>hadoop</value>
        </property>
退出命令行终端后，重新启动hadoop，进入hive/bin，输入
./hive
进入hive命令的控制台。输入
show tables;
第一次会比较慢，成功显示OK，则说明hive配置成功。
1.3         SQOOP安装部署
sqoop安装部署说明
将sqoop-1.4.2.bin_hadoop-1.0.0.tar.gz拷贝到/usr/local/sqoop目录下，执行命令解压sqoop包：
tar xzf  sqoop-1.4.2.bin_hadoop-1.0.0.tar.gz
sqoop-1.4.2.bin_hadoop-1.0.0依赖hadoop-core-1.0.3.jar，所以将hadoop安装目录/usr/local/hadoop目录下的hadoop-core-1.0.3.jar拷贝到sqoop的lib目录下。
sqoop导入oracle数据运行过程中依赖ojdbc14.jar，将其复制到sqoop的lib目录下。
ojdbc14.jar在$ORACLE_HOME/jdbc/下
修改sqoop文件
修改SQOOP的文件configure-sqoop，注释掉hbase和zookeeper
检查(没有则不需注释)，如下：
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
修改完成后，则sqoop配置完成。