Apache Pig 安装配置

細細.魚

引用：http://www.cnblogs.com/spork/archive/2009/12/29/1634761.html

Pig
是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进
MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。

Pig是一个客户端应用程序，就算你要在Hadoop
集群上运行
Pig，也不需要在集群上装额外的东西。Pig的安装是灰常的简单的：

1、安装JAVA6（在Windows的话要装Cygwin），设置好JAVA_HOME。

% export JAVA_HOME=/home/tom/jdk
1.6

2、到http://hadoop.apache.org/pig/releases.html
下载一个稳定的发行版（目前是0.5.0，可以在Hadoop-0.20.*上运行），解压到你的工作空间：

% tar xzf pig-x.y.z.tar.gz

3、为了方便，可以把Pig的程序目录放到命令行路径里，比如：

% export PIG_INSTALL=/home/tom/pig-x.y.z

% export PATH=$PATH:$PIG_INSTALL/bin

注销或重启，你就可以用pig -help来查看使用帮助了，安装够简单吧？ ：）

Pig有两种模式：

一种是Local mode，也就是本地模式，这种模式下Pig运行在一个JVM里，访问的是本地的文件系统，只适合于小规模数据集，一般是用来体验Pig。而且，它并没有用到Hadoop的Local runner，Pig把查询转换为物理的Plan，然后自己去执行。

在终端下输入

% pig -x local

就可以进入Local模式了。

还有一种就是Hadoop模式了，这种模式下，Pig才真正的把查询转换为相应的MapReduce Jobs，并提交到Hadoop集群去运行，集群可以是真实的分布式也可以是伪分布式。要想Pig能认识Hadoop，你要告诉它Hadoop的版本
以及一些关键daemon的信息（也就是Namenode和Jobtracker的Address和Port）。比如，下面这个可以允许Pig连接到任何Hadoop0.20.*上：

% export PIG_HADOOP_VERSION=20

接下来，你还要指明集群的Namenode和Jobtracker的所在。有两种方法，一种就是把你Hadoop的Conf地址添加到Pig的Classpath上：

% export PIG_CLASSPATH=$HADOOP_INSTALL/conf/

还有一种就是在Pig目录的Conf文件夹（可能需要自己创建）里创建一个pig.properties文件，然后在里面添加集群的Namenode和Jobtracker的信息：

fs.default.name=hdfs
://localhost/

mapred.job.tracker=localhost:8021

搞定后，在终端执行下面的命令：

% pig

你就会看到下面的信息：

2009-03-29 21:22:20,489 [main] INFOorg.apache.pig.backend.hadoop.executionengine.

HExecutionEngine – Connecting to hadoop file system at: hdfs://localhost/

2009-03-29 21:22:20,760 [main] INFOorg.apache.pig.backend.hadoop.executionengine.

HExecutionEngine – Connecting to map-reduce job tracker at: localhost:8021

grunt>

　　
如你所见，Pig报告已经连上了Hadoop的Namenode和Jobtracker。
　　然后进行以下简单测试：
　　data 是在hadoop HDFS分布式系统中的一个文本文件，内容是：

(3,8,9) (4,5,6)

(1,4,7) (3,7,5)

(2,5,8) (9,5,8)


执行以下命令
　　A = LOAD 'data' AS (t1:tuple(t1a:int, t1b:int,t1c:int),t2:tuple(t2a:int,t2b:int,t2c:int));

DUMP A;
　　返回结果：
　　((3,8,9),)

((1,4,7),)

((2,5,8),)
　　跟apache网站上的结果有差别，但是成功返回了，说明pig成功运行中...