获取唯一行 - Shell/Bash

在Shell或Bash脚本中，经常需要处理包含重复行的文本文件或输出。在这种情况下，我们可以使用各种方法来获取唯一行，即去除重复行，只保留不重复的行。

下面是一些常用的方法来实现获取唯一行的Shell/Bash代码片段。

使用sort和uniq命令

我们可以使用sort和uniq命令的组合来获取唯一行。sort命令可以将文本文件或输入的行按字典序排序，而uniq命令则可以从排序后的输入中仅保留唯一的行。

sort <input_file> | uniq >output_file

这个代码片段将input_file文件中的内容按字典序排序，并将排序后的结果写入output_file文件中，保留唯一行。

使用awk命令

awk是一种灵活的文本处理工具，也可以用于获取唯一行。我们可以使用awk命令来建立一个凭借文本文件中每一行作为key的关联数组，并输出关联数组的键，即唯一行。

awk '!row[$0]++' <input_file> >output_file

这个代码片段使用awk命令将input_file文件中的每一行作为关联数组row的键，并递增该键值，如果该键值为1，就输出该行到output_file文件中，从而得到唯一行。

使用grep和sort命令

grep命令可以用于获取匹配特定条件的行，我们可以结合grep和sort命令来获取唯一行。首先使用grep命令将input_file文件中的所有行输出，然后再用sort命令按字典序排序，并使用uniq命令去除重复行。

grep -o '.' <input_file> | sort | uniq >output_file

这个代码片段会将input_file文件中的所有字符分别输出为一行，并使用sort和uniq命令对这些字符逐行去重，最终得到唯一行。

使用Perl one-liner

Perl是一种流行的脚本编程语言，其强大的文本处理能力也可以用于获取唯一行。我们可以使用Perl的one-liner命令来实现这个功能。

perl -ne 'print unless $seen{$_}++' <input_file> >output_file

这个代码片段将input_file文件中的每一行作为Perl的$_变量，通过关联数组seen来判断是否已经处理过该行，如果没有处理过，则输出该行到output_file文件中，从而得到唯一行。

以上是几种常用的方法来获取唯一行的Shell/Bash代码片段。根据你的需求和情况，可以选择适合的方法来处理重复的行。