📌  相关文章
📜  Apache Pig UNION运算符

📅  最后修改于: 2021-01-07 11:04:09             🧑  作者: Mango

Apache Pig UNION运算符

Apache Pig UNION运算符用于计算两个或更多关系的并集。它不维护元组的顺序。它也不会消除重复的元组。

UNION运算符的示例

在此示例中，我们计算两个关系的数据。

执行UNION Operator的步骤

  • 在本地计算机上创建一个文本文件，并将一些值写入其中。
$ nano punion1.txt

  • 在本地计算机上创建另一个文本文件，并将一些值写入其中。
$ nano punion2.txt

  • 检查两个文本文件中写入的值。
$ cat punion1.txt
$ cat punion2.txt

  • 将两个文本文件上载到HDFS的特定目录中。
$ hdfs dfs -put punion1.txt /pigexample
$ hdfs dfs -put punion2.txt /pigexample
  • 打开Pig MapReduce运行模式。
$ pig
  • 加载包含数据的文件。
grunt> A = load '/pigexample/punion1.txt' using PigStorage(',') as (a1:int,a2:int);
  • 现在，执行并验证数据。
grunt> DUMP A;

  • 加载另一个包含数据的文件。
grunt> B = LOAD '/pigexample/punion2.txt' USING PigStorage(',') AS (b1:int,b2:int,b3:int);
  • 现在，执行并验证数据。
grunt> DUMP B;

  • 让我们在两个文件之间执行联合操作。
grunt> Result = UNION A,B;
  • 现在，执行并验证数据。
grunt> DUMP Result;

在这里，我们得到了期望的输出。