Apache Pig FILTER运算符

Apache Pig FILTER运算符用于删除关系中的重复元组。最初，Pig对给定的数据进行排序，然后消除重复项。

FILTER运算符的示例

在此示例中，我们消除了重复的元组。

执行FILTER运算符的步骤

• 在本地计算机上创建一个文本文件，并提供一些值。

$ nano pfilter.txt

• 检查写入文本文件的值。

$ cat pfilter.txt

• 将文本文件上载到HDFS的特定目录中。

$ hdfs dfs -put pfilter.txt /pigexample

• 打开Pig MapReduce运行模式。

$ pig

• 加载包含数据的文件。

grunt> A = LOAD '/pigexample/pfilter.txt' USING PigStorage(',') AS (a1:int,a2:int);

• 现在，执行并验证数据

grunt> DUMP A;

• 让我们执行FILTER运算符以消除重复的元组。

grunt> Result = FILTER A BY a2==8;

• 现在，执行并验证数据。

grunt> DUMP Result;

在这里，我们得到了期望的输出。