如何在Linux中去除重复行 Linux uniq相邻去重实战

P粉602998670

发布时间：2025-09-08 11:23:01

353人浏览过

来源于php中文网

原创

答案：在Linux中去除重复行最有效的方法是结合sort和uniq命令。由于uniq只能去除相邻的重复行，因此必须先使用sort命令将相同内容的行聚集在一起。例如，执行sort data.txt | uniq可实现完整去重，等效的简洁写法为sort -u data.txt。此外，uniq支持多种参数扩展功能：-c统计行出现次数，-d仅显示重复行，-u仅显示唯一行，-i忽略大小写，-f跳过前N个字段，-s跳过前N个字符。对于大文件，可通过sort -S指定内存缓冲区或-T指定临时目录优化性能。超大规模数据建议使用Spark、Hadoop或数据库的DISTINCT功能。

如何在linux中去除重复行 linux uniq相邻去重实战

在Linux中去除重复行，最核心且常用的工具是

uniq

命令。不过，单独使用

uniq

往往不够，因为它只处理“相邻”的重复行。所以，真正的实战中，你几乎总是会把它和

sort

命令结合起来使用，先排序让所有相同的行聚在一起，然后再交给

uniq

去重。这就像是先整理好一堆乱七八糟的纸张，再把重复的挑出来。

解决方案

要高效地在Linux中去除文件中的重复行，最经典的组合拳就是

sort

和

uniq

。

假设你有一个名为

data.txt

的文件，内容如下：

apple
banana
apple
orange
banana
grape

基本去重：

如果你直接对

data.txt

使用

uniq data.txt

，你会发现它并不能完全去除所有重复的行，因为它只会去除连续出现的重复行。比如，上面的文件，

uniq

处理后可能还是：

apple
banana
apple
orange
banana
grape

这是因为第一个

apple

和第二个

apple

之间隔着一个

banana

，它们不相邻。

所以，正确的做法是先用

sort

命令将文件内容排序，让所有相同的行都紧挨着，然后再通过管道符

将排序后的结果传递给

uniq

。

sort data.txt | uniq

执行这个命令后，输出会是：

apple
banana
grape
orange

这就达到了我们想要的效果。

如果你想直接将去重后的结果保存到新文件，可以这样：

sort data.txt | uniq > unique_data.txt

一个更简洁的技巧：

其实，

sort

命令本身就有一个

-u

（或

--unique

）选项，可以直接在排序的同时去除重复行，省去了再接

uniq

的步骤。我个人平时更喜欢用这个，因为它更直观，少敲一个命令。

sort -u data.txt

这个命令会得到和

sort data.txt | uniq

完全一样的结果。选择哪个，看个人习惯和场景吧。有时为了展示每一步，我会分开写

sort | uniq

，但实际操作中

sort -u

效率上没啥区别，而且更简洁。

uniq

到底是怎么工作的？它和

sort

有什么关系？

说实话，第一次接触

uniq

的时候，我也曾疑惑它为什么不直接把所有重复的都去了。后来才明白，它的设计哲学其实很简单：只关注“当下”和“过去”。具体来说，

uniq

命令在处理输入时，会逐行读取，并且只会将当前行与它紧邻的前一行进行比较。如果这两行内容完全相同，那么当前行就会被丢弃；如果不同，当前行就会被输出。

这就是为什么我前面强调它只能处理“相邻”重复行的原因。举个例子，如果你的文件是这样：

cat
dog
cat
cat
bird

当你直接

uniq

它时，输出会是：

cat
dog
cat
bird

你看，第二个

cat

和第三个

cat

是相邻的，所以第三个

cat

被去掉了。但第一个

cat

和第二个

cat

之间隔着

dog

，它们不相邻，所以

uniq

不会认为第二个

cat

是第一个

cat

的重复。

人民网AIGC-X

国内科研机构联合推出的AI生成内容检测工具

下载

这就是

sort

登场的原因了。

sort

命令的任务就是把文件中的所有行按照一定的规则（默认是字典序）进行排列。当所有相同的行都被

sort

安排得紧紧挨在一起时，

uniq

的工作就变得异常简单和高效了。它只需要机械地检查相邻行，就能完美地完成去重任务。可以说，

sort

为

uniq

创造了理想的工作环境。它们俩简直就是天作之合，一个负责整理，一个负责清理。

除了简单去重，

uniq

还能做些什么？常见参数解析

uniq

命令可不是个“傻大个”，它还有一些很实用的参数，能让它在数据分析中发挥更大的作用。这些参数能帮助我们不仅仅是去重，还能统计、筛选。

```
-c
```
(count)：统计重复行出现的次数 这个参数我用得特别多。它会在每行前面加上该行出现的次数。这对于分析数据中哪些项出现频率最高非常有用。
```
sort data.txt | uniq -c
```
对于
```
data.txt
```
(apple, banana, apple, orange, banana, grape)，输出会是：
```
      2 apple
      2 banana
      1 grape
      1 orange
```
可以看到，
```
apple
```
和
```
banana
```
各出现了两次。
```
-d
```
(duplicated)：只显示重复的行 如果你只想知道哪些行是重复的（并且只显示一次），而不是所有唯一的行，
```
-d
```
就派上用场了。
```
sort data.txt | uniq -d
```
输出：
```
apple
banana
```
它只会列出那些在原始文件中出现过多次的行，每行只显示一次。
```
-u
```
(unique)：只显示不重复的行 与
```
-d
```
相反，
```
-u
```
会只显示那些在文件中只出现过一次的行。
```
sort data.txt | uniq -u
```
输出：
```
grape
orange
```
这对于找出文件中真正的“独一份”数据很有帮助。
```
-i
```
(ignore-case)：忽略大小写 在比较行时，忽略字母的大小写。这在处理用户输入或不规范数据时非常实用。
```
# 假设文件内容有 Apple 和 apple
sort -f data.txt | uniq -i
```
注意，这里
```
sort
```
也用了
```
-f
```
来进行大小写不敏感的排序，否则
```
uniq -i
```
可能会因为排序问题而漏掉一些去重。
```
-f N
```
(skip-fields)：跳过前N个字段 这个参数在处理结构化数据时非常强大。它会忽略每行的前 N 个字段进行比较。字段默认由空格分隔。
```
# 假设文件内容是：
# 2023-01-01 apple
# 2023-01-02 banana
# 2023-01-03 apple
# 2023-01-04 banana
sort -k 2,2 file_with_dates.txt | uniq -f 1
```
这里
```
sort -k 2,2
```
是按第二个字段排序，然后
```
uniq -f 1
```
忽略第一个字段（日期）进行去重。
```
-s N
```
(skip-chars)：跳过前N个字符 与
```
-f
```
类似，但它是跳过前 N 个字符，而不是字段。
```
# 假设文件内容是：
# ID12345_dataA
# ID12345_dataB
# ID67890_dataA
sort file.txt | uniq -s 6 # 忽略前6个字符（"ID12345_"）
```
这在处理有固定前缀但后缀不同的数据时很有用。

这些参数的组合使用，能让

uniq

变得非常灵活，远不止简单的去重那么单调。

遇到大文件去重，性能和内存是挑战吗？有没有更高效的办法？

当处理非常大的文件，比如几十GB甚至TB级别的文件时，

sort | uniq

组合确实会面临一些挑战。这主要是因为

sort

命令在处理大文件时，如果文件内容无法完全加载到内存中，它会使用磁盘作为临时存储空间（所谓的“外部排序”）。这意味着大量的磁盘I/O操作，这会显著降低处理速度。此外，如果你的系统内存不足，

sort

可能会频繁地在内存和磁盘之间交换数据，进一步拖慢速度。CPU的负担也会相应增加。

所以，对于超大文件，我们确实需要考虑一些更高效或者说更适合大规模数据处理的策略：

优化
```
sort
```
命令本身：
- 增加内存缓冲区：
```
sort
```
  有一个
```
-S
```
  参数可以指定排序时使用的内存大小。例如
```
sort -S 2G file.txt | uniq
```
  会告诉
```
sort
```
  使用2GB内存进行排序。如果你的系统有足够的空闲内存，适当增加这个值可以减少磁盘I/O。
- 指定临时目录：
```
sort
```
  默认在
```
/tmp
```
  目录创建临时文件。如果
```
/tmp
```
  目录所在的磁盘速度较慢，或者空间不足，你可以通过
```
-T
```
  参数指定一个更快、空间更大的临时目录，比如
```
sort -T /mnt/ssd_temp -u large_file.txt
```
  。
分块处理（如果可行）： 如果你的数据可以逻辑上分成多个独立的部分，并且去重可以在每个部分内独立进行，最后再合并去重，那么可以考虑分块处理。但这通常比较复杂，需要自定义脚本来管理。对于通用的去重场景，这不常见。
使用专门的大数据工具： 对于真正意义上的“大数据”，比如TB级别的文件，传统的命令行工具可能会力不从心。这时候，更专业的工具或平台会是更好的选择：
- Apache Spark/Hadoop： 这些分布式计算框架天生就是为处理大规模数据而设计的。它们可以将数据分散到多台机器上并行处理，去重只是它们众多功能中的一个。如果你已经在使用这些平台，那么使用它们内置的去重功能（如Spark RDD/DataFrame的
```
distinct()
```
  方法）会比在单机上折腾
```
sort | uniq
```
  高效得多。
- 数据库系统： 如果数据最终要存储在数据库中，那么直接将数据导入数据库（比如PostgreSQL, MySQL, MongoDB等），然后利用SQL的
```
DISTINCT
```
  关键字或者创建唯一索引来去重，也是一个非常高效且可靠的方法。
哈希表/Bloom Filter（针对特定场景）： 对于某些场景，如果你只需要知道某个元素是否“可能”存在，或者可以容忍极低的误判率，那么可以考虑使用Bloom Filter。它是一种空间效率很高的数据结构，可以快速判断一个元素是否在集合中。但它不能提供精确的去重，也无法直接输出去重后的文件。这更多是理论上的优化，实际命令行操作中很少直接用到。