Apache Pig DISTINCT运算符

Apache Pig DISTINCT运算符用于删除关系中的重复元组。最初，Pig对给定的数据进行排序，然后消除重复项。

DISTINCT运算符的示例

在此示例中，我们消除了重复的元组。

执行DISTINCT运算符的步骤

• 在本地计算机上创建一个文本文件，并提供一些值。

$ nano pdistinct.txt

• 检查写入文本文件的值。

$ cat pdistinct.txt

• 将文本文件上载到HDFS的特定目录中。

$ hdfs dfs -put pdistinct.txt /pigexample

• 打开Pig MapReduce运行模式。

$ pig

• 加载包含数据的文件。

grunt> A = LOAD '/pigexample/pdistinct.txt' USING PigStorage(',') as (a1:int,a2:int,a3:int);

• 现在，执行并验证数据。

grunt> DUMP A;

• 让我们执行DISTINCT运算符以消除重复的元组。

grunt> Result = DISTINCT A;

• 现在，执行并验证数据。

grunt> DUMP Result;

在这里，我们得到了期望的输出。