使用uniq去重前需先排序，因其仅处理相邻重复行。1. 通过sort file.txt | uniq实现完整去重；2. 直接用uniq input.txt output.txt去除连续重复行；3. 使用uniq -c统计每行出现次数，并可结合sort -nr按频次排序；4. 添加-i选项忽略大小写比较，需配合sort -f确保一致性；5. 利用-f N跳过前N个字段或-s N跳过前N字符，实现基于部分字段的去重，如sort -k2 file | uniq -f 1按第二字段去重。
如果您在处理大量文本数据时发现存在重复行，希望将其合并或统计出现次数，LINUX系统中的uniq命令是一个高效的工具。但需要注意的是，该命令仅能识别并处理相邻的重复行，因此在使用前通常需要先对文本进行排序。
本文运行环境：联想ThinkPad X1 Carbon，Ubuntu 22.04。
一、为何去重前必须先排序
uniq命令的工作机制决定了它只能检测连续的重复行。当相同的行分散在文件不同位置时，未排序的情况下，uniq会将它们视为独立条目。只有通过sort命令预先整理文本，使相同内容的行相邻排列，才能确保所有重复项被正确识别和处理。
1、执行sort file.txt可生成按字典序排列的输出结果。
2、将排序结果传递给uniq命令：sort file.txt | uniq，即可实现完整去重。
二、去除连续重复行
直接使用uniq命令可以删除相邻的重复行，保留每组重复行中的第一行。这种方法适用于已经排序过的数据。
1、输入uniq input.txt output.txt，从input.txt读取内容并将去重后结果写入output.txt。
2、若省略输出文件名，则结果会输出到标准输出设备（屏幕）。
3、注意：如果原始文件包含非连续的重复行，此方法无法完全去除所有重复项。
三、统计每行出现的次数
使用-c选项可以让uniq显示每一行出现的频次，便于分析数据分布情况。
1、运行uniq -c data.txt，将在每行前添加该行重复次数。
2、输出格式为“数字 行内容”，例如“3 apple”表示apple连续出现了三次。
3、结合sort命令可实现按频率排序：sort data.txt | uniq -c | sort -nr，其中-nr表示按数值逆序排列。
四、忽略大小写进行比较
在某些场景下，需将大写与小写字母视为相同内容进行去重。此时可通过-i选项实现不区分大小写的匹配。
1、执行sort -f input.txt | uniq -i，-f参数让sort也忽略大小写排序。
2、这样，“Hello”和“hello”会被当作同一行处理。
3、此操作特别适用于处理用户输入或日志记录等不规范文本。务必保证排序与去重阶段均忽略大小写，否则可能导致遗漏。
五、比较指定字段而非整行
有时只需根据行中某一部分（如第二列）判断是否重复，这时可用-f和-s选项跳过或截断字段。
1、使用-f N跳过前N个空白分隔的字段，例如uniq -f 1 log.txt表示忽略每行第一个字段。
2、使用-s N跳过每行前N个字符，适合固定格式的日志文件。
3、组合使用时，先跳字段再跳字符，例如sort -k2 file | uniq -f 1基于第二字段去重。
