Sublime Text无原生删除重复行功能,推荐先用Sort Lines插件排序使重复行相邻,再用正则^(.*)$\n^\1$替换为\1逐轮清除;大文件或需条件去重时可用Python控制台脚本处理。

Sublime Text 里没有原生“删除重复行”功能
Sublime Text 本身不提供类似 Remove Duplicates 的内置命令,直接按 Ctrl+H(查找替换)也无法靠正则一次性安全去重——因为重复行可能跨段、无序、或仅部分字段重复。强行用正则匹配整行去重,容易误删、漏删,尤其当行末有空格、制表符或 BOM 时更不可靠。
推荐方案:用 Sort Lines 插件 + 手动去重(最稳)
这是 Sublime 用户最常用、最可控的方式。核心逻辑是先排序让重复行相邻,再用正则批量删相邻重复项:
- 安装
Package Control后,按Ctrl+Shift+P→ 输入Install Package→ 搜索并安装Sort Lines - 选中要处理的文本(或全选
Ctrl+A),按Ctrl+Shift+P→ 输入Sort Lines→ 选Sort Lines (case sensitive) - 再按
Ctrl+H打开替换面板,勾选Regular Expression(.*图标),输入:^(.*)$\n^\1$
,替换为:\1
- 反复点
Replace All直到提示“0 occurrences found”——这说明所有相邻重复已清完
⚠️ 注意:^\1$ 只能匹配紧邻的下一行完全相同。如果原始数据含空行或缩进差异,需先统一格式(如用 Convert Indent to Spaces 或正则 ^\s+ 替换为空)。
替代方案:用 Python 控制台快速跑脚本(适合大文件或需条件去重)
对 10 万行以上数据,或需要“保留第一次出现的重复行”“按某列去重”,用 Sublime 内置 Python 控制台更灵活:
- 按
Ctrl+`打开控制台,粘贴以下代码(以当前视图全文为输入):view = sublime.active_window().active_view() text = view.substr(sublime.Region(0, view.size())) lines = text.splitlines() seen = set() unique_lines = [] for line in lines: if line not in seen: seen.add(line) unique_lines.append(line) view.replace(edit, sublime.Region(0, view.size()), '\n'.join(unique_lines)) - 注意:这段代码会**覆盖全文**,操作前务必
Ctrl+Z可撤回;若需保留空行,把splitlines()改成text.split('\n')并处理末尾换行 - 如果要去重但保留顺序,且允许空字符串参与判断,上面代码已满足;若想忽略首尾空白再比较,把
if line not in seen改成if line.strip() not in seen,同时seen.add(line.strip())
别踩坑:这些“看似能用”的方法实际很危险
网上有些教程教用正则 ^(.*?)$\s*^(\1)$ 或 ^(.*)(\r?\n\1)+$ 直接匹配所有重复——它们在 Sublime 的 regex 引擎(Boost)下行为不稳定,尤其遇到 Windows / macOS 换行混杂、BOM、或行内有 $^ 特殊字符时,极易崩溃或删错。
另一个常见误区是依赖 Filter Lines 插件:它本质是 grep,只能“保留含某关键词的行”,不能“去重”。装了也解决不了问题。
真正省事又可靠的做法,还是老老实实先 Sort Lines,再正则逐轮消重——多点两下,换来的是结果可预期、可复现。










