Pig Hive HBase Zookeeper安装和配置

vlei

Pig Hive HBase Zookeeper安装和配置
evernote共享链接: https://www.evernote.com/pub/xuyuantree/20_
hadoop@zqh:~$ cd /usr/local
hadoop@zqh:/usr/local$ sudo mkdir pig
hadoop@zqh:/usr/local$ cd /home/zqhxuyuan/download
hadoop@zqh:/home/zqhxuyuan/download$ sudo tar zxf pig-0.10.0.tar.gz
hadoop@zqh:/home/zqhxuyuan/download$ sudo mv pig-0.10.0 /usr/local/pig/


hadoop@zqh:~$ sudo vi /etc/profile
export PIG_HOME=/usr/local/pig/pig-0.10.0
export PATH=$PATH:$PIG_HOME/bin


hadoop@zqh:~$ source /etc/profile
hadoop@zqh:~$ pig -x local  以本地模式启动pig,后面介绍和Hadoop一起使用

HBase,Zookeeper的安装和Pig的一样.解压,创建文件夹,配置文件...
export PIG_HOME=/usr/local/pig/pig-0.10.0
export HBASE_HOME=/usr/local/hbase/hbase-0.92.0
export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.3.3
export PATH=$PATH:$PIG_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin

export PIG_HADOOP_VERSION=20 #指定pig连接的hadoop为0.20.x
export PIG_CLASSPATH=$HADOOP_HOME/conf

Pig+Hadoop模式运行max_temp.pig(Hadoop:The Definitive Guide)P371
1.编写pig脚本,注意LOAD的路径
max_temp.pig
  LOAD 'micro-tab/sample.txt'   --如果以Hadoop模式运行,这里的路径是HDFS中的相对路径


2.启动伪分布式Hadoop集群
hadoop@zqh:~$ cd /usr/local/hadoop/hadoop-0.20.2
hadoop@zqh:/usr/local/hadoop/hadoop-0.20.2$ bin/start-all.sh  启动hadoop


3.拷贝输入文件到HDFS分布式文件系统,注意要和pig脚本LOAD的文件路径要对应
hadoop@zqh:~$ hadoop dfs -put  input/ncdc/micro-tab micro-tab 
   因为设置了HADOOP_HOME所以可以在任意目录下执行hadoop命令
   input/ncdc/micro-tab是本地文件系统的文件夹, micro-tab是hadoop HDFS分布式文件系统. 为相对路径.
hadoop@zqh:~$ hadoop dfs -ls
/usr/hadoop/input
/usr/hadoop/output
/usr/hadoop/micro-tab  这就是我们刚刚上传的文件 绝对路径为: hdfs://localhost:9000/usr/hadoop/micro-tab
所以max_temp.pig LOAD的路径其实就是: hdfs://localhost:9000/usr/hadoop/micro-tab/sample.txt


4.hadoop模式运行pig脚本
hadoop@zqh:~$ 

pig max_temp.pig  hadoop模式运行pig脚本


5.hadoop上查看运行情况
localhost:50030
在Completed Jobs中可以看到:
User          Name                         Map      Reduce...
hadoop     PigLatin:max_temp.pig


localhost:50070
点击Browser the filesystem可以查看在HDFS上的文件系统