Pig数据Type， Order，Limit关系操作

Pig的数据模型基本分为2大类，基本类型，和复杂类型。基本类型只能包含一个简单的数值，复杂类型可以包含其他所有类型。

基本类型，和其他大多数主流语言提供的简单类型一样，Pig也提供int， long， float， double，chararray（Sring），bytearray（字节类型）

Pig是用Java开发的，因此Java程序员应该能想象的到，上面的基本类型都是java.lang包中对应类型的实现的。

需要注意的是，Pig的基本类型中没有Boolean值，但是在Pig的运行期却是有Boolean值的，因为关系Filter需要一个Boolean关系为true时数据才能流过去。这点上需要注意。

复杂类型包括Map， Tuple和Bag

Map相当于Java的Map<String, Object>类型的。Key必须是一个chararray，而值可以是任何基本和复杂类型。表示为[key#value]

Tuple可以理解为Java中的List，其实如果懂得Python，它更像Python中的Tuple[元组]，表示为：（1, “abc”， 1.5）等

Bag的数据类型按我的理解为Java的Set<Tuple>，它内部的数据是无序的。表示为：{(1, “abc”， 1.5),(2, “bcd”， 2.0)...}

紧接着上一篇统计单词的例子，下面我做一些改写。一步一步的讲解Pig的运行数据状态。

统计单词的第一步就是要把文本文件读入，然后分词。

1 words = load 'nie.txt'using PigStorage(' ') as (line);

加载数据统一用load， 使用了PigStorage加载文件，Pig Storage默认是使用Tab分割文件中的内容的，因为我的例子是一片英文文章，因此只需要用空格做为分隔符就好 了。as （line）是在为数据指定模式，所有的数据加载进Pig都是Tuple类型的，因此使用（line），或者（line：chararray）。Tuple也可以指定多个值的，如（line：chararray，num1：int， num2：double），多个值的Tuple必须要数据要能转换成这样的，否则就会出错，或者加载了其他不对应的值也是空值，这样也没有意义。

Pig Latin脚本的任何地方都可以输出结果查看，我们先看一下words的结果。

1 dump words;

输出的结果：

1 (extravagant,)
2 (without)
3 (imagine)
4 (in)
5 (that)
6 (unfathomable)
7 (BECAUSE)
8 (self-tyranny--Nature)

我截取了一段结果，可以看到他们的数据都是Tuple，里边只有一个值。

因此如果为了统计词频，下一步应该是用Mapreduce的Map把相同的词聚集到一起，然后统计。下面的这句代码就很轻松的实现。

1 grpd = group words by line;

紧接着，我们输出grpd（dump grpd;）的结果查看。

1 (different,{(different),(different)})
2 (extremely,{(extremely)})
3 (mistaken,,{(mistaken,)})
4 (naturally,{(naturally)})
5 (ourselves,{(ourselves),(ourselves)})
6 (permitted,{(permitted)})
7 (something,{(something),(something)})

熟悉MapReduce应该很清楚了，他把相同的词合并到了一起，组成了一个Tuple（word， {word， word}）的数据格式。Reduce再把 {word， word }遍历一边得出一个count就实现了统计词频的效果了。

完整的程序：

1 words = load 'nie.txt'using PigStorage(' ') as (line); --以空格作为分隔符把内容分词读入
2 grpd = group words by line;     --以每个单词聚类，真实的是一个MapReduce的Map阶段
3 cntd = foreach grpd generate group, COUNT(words); -- 这里既上一步Map完成紧接着Reduce阶段进行统计
4 dump grpd;  --直接在终端打印结果便于查看

上面的程序正常运行下来应该能统计出词了该词出现的次数，文本很长的情况下着实没有什么意思，一般都会看前面高频的一些词汇，因此还应该做个Order By，然后取出前面的数据。幸好Pig是支持的。

1 cous = order cntd by $1 desc;
2 limitresult = limit cous 50;
3 dump limitresult;

接着上面的dump前，继续排序，然后截取前面50条结果。

应该能看到，程序中使用了一个$1的的变量，因为foreach总会创建一个Tuple，而在COUNT（）没有特别的指出别名，因此应该是匿名的，匿名的变量可以用$取出值，下标总是从0开始。Pig Latin是可以用as 强调别名的，这和SQL的AS是一样的。

运行该程序用的时间明显长了很多。运行结果如：

01 (the,32)
02 (and,29)
03 (of,21)
04 (that,12)
05 (in,12)
06 (to,11)
07 (is,10)
08 (it,9)
09 (a,9)
10 (as,7)
11 (for,6)
12 (you,5)
13 (will,4)
14 (The,4)
15 (value,3)
16 (which,3)

现在的结果明显有意义了很多。我在第一次运行这个程序的时候，还抛出了OutofMemory的异常，因此还更改了Pig的配置文件。PigHome/conf/pig.properties.在后边增加这样的配置：

1 pig.cachedbag.memusage=0
2 io.sort.mb=40
3 io.sort.record.percent=0.1

Pig排序时需要很大的内存，通过参数可以把部分数据临时序列化到硬盘，具体的意义可以上Google搜。

以前玩Hadoop的朋友，是不是觉得Pig能简化一些Mapreduce的开发呢？