Linux(Centos 7.6)命令详解：uniq

1.命令作用

过滤标准输入的相邻匹配行，写入标准输出(Filter adjacent matching lines from INPUT (or standard input),writing to OUTPUT (or standard output).)

简单作用解释为，删除文件中多余的相邻相同行，仅保留一行。

如果没有选项，匹配的行将合并到第一个出现(With no options, matching lines are merged to the first occurrence.)

2.命令语法

Usage: uniq [OPTION]... [INPUT [OUTPUT]]

3.参数详解

OPTION:

• -c, --count，以出现的次数作为行前缀
• -d, --repeated，只打印相邻的重复行，多个相邻重复行仅打印一次/一次
• -D, --all-repeated[=METHOD]，打印所有相邻的重复行，可以用空行分隔，也可以指定分隔方式，METHOD={none(default),prepend,separate}；-D相当于--all-repeated=none，重复行组中间不用分隔，METHOD=prepend是重复行组前用空行分隔，METHOD=separate是重复行组之间用空行分隔
• -f, --skip-fields=N，避免比较前N个字段，字段之间以空格分隔
• --group[=METHOD]，显示所有组(包括相邻重复组、单行不重复组)，用空行分隔组，METHOD={separate(default),prepend,append,both}，separate表示组之间使用空行分隔组，prepend表示组前用空行分隔组，append表示组后用空行分隔组，both表示组前组后都用空行分隔
• -i, --ignore-case，比较时忽略大小写差异
• -s, --skip-chars=N，避免比较前N个字符
• -u, --unique，只打印唯一的行，相邻重复的行不打印，与-D功能相反
• -z, --zero-terminated，以0字节结束行，而不是换行，打印所有行，不做任何操作
• -w, --check-chars=N，每行比较不超过N个字符

4.常用用例

4.1.默认相邻连续重复行去重

[root@node2 Desktop]# cat file1.txt 
AAAA
aaaa
aaaa
aaaa
dddd
cccc
bbbb
bbbb
[root@node2 Desktop]# uniq file1.txt 
AAAA
aaaa
dddd
cccc
bbbb
[root@node2 Desktop]#

去重说明：相邻连续重复的行去重留一行，其他的输出不变

4.2.打印重复次数显示(-c)

[root@node2 Desktop]# uniq -c file1.txt 
      1 AAAA
      3 aaaa
      1 dddd
      1 cccc
      2 bbbb
[root@node2 Desktop]# 

去重说明：在输出行首输出重复的次数，用于统计重复次数，一般先sort排序，然后uniq去重

4.3.忽略大小写去重(-i)

[root@node2 Desktop]# cat file1.txt 
AAAA
aaaa
aaaa
aaaa
dddd
cccc
bbbb
bbbb
[root@node2 Desktop]# uniq -i file1.txt 
AAAA
dddd
cccc
bbbb
[root@node2 Desktop]# 

去重说明：-i参数是忽略大小写，则大写的AAAA与小写的aaaa视为相同的行，去重只显示一次 

4.4.前N个字符后对比去重(-s)

[root@node2 Desktop]# cat file2.txt 
AAAA
aaaa
aaaa
aaaa
aabb
ddbb
dddd
cccc
dddd
bbbb
bbbb
eeee
[root@node2 Desktop]# uniq -s 2 file2.txt 
AAAA
aaaa
aabb
dddd
cccc
dddd
bbbb
eeee
[root@node2 Desktop]# 

去重说明：-s参数是每行前n个字符后对比，相同则去重输出，那么aabb与ddbb两行去掉前两个字符后都是bb相同，则输出只显示aabb，不显示ddbb 

4.5.前N个字符对比去重(-w)

[root@node2 Desktop]# uniq -w 2 file2.txt 
AAAA
aaaa
ddbb
cccc
dddd
bbbb
eeee
[root@node2 Desktop]#

 去重说明：-w参数是每行前n个字符对比，相同则去重输出，那么aaaa与aabb前两个字符都是aa相同，则输出只显示aaaa，不显示aabb；ddbb与dddd前两个字符都是dd，则输出只显示ddbb，不显示dddd；以下类似

4.6.前N个字段后对比去重(-f)

[root@node2 Desktop]# cat file3.txt 
1 AAAA
2 aaaa
3 aaaa
4 aaaa
5 aabb
6 ddbb
7 dddd
8 cccc
9 dddd
10 dddd
11 bbbb
12 bbbb
[root@node2 Desktop]# uniq -f 1 file3.txt 
1 AAAA
2 aaaa
5 aabb
6 ddbb
7 dddd
8 cccc
9 dddd
11 bbbb
[root@node2 Desktop]# 

  去重说明：-f参数是按空格分隔字段，按照-f指定的字段数后对比去重，如上文件，第一列(字段)是行值，如果都考虑第一列(字段)，那么不会有重复的行；去掉第一列(字段)，那么9行和10行都是dddd，去重后仅显示9行的dddd

4.7.统计重复结果次数排序

[root@node2 Desktop]# uniq -c file1.txt | sort -nr
      3 aaaa
      2 bbbb
      1 dddd
      1 cccc
      1 AAAA
[root@node2 Desktop]# 

去重说明：基于4.2用例结果，使用sort -nr以字符数值及倒叙输出，得到从大到小排序输出