0

0

Sublime怎么查找并删除重复行 Sublime数据处理高效方案【实用】

穿越時空

穿越時空

发布时间:2026-01-24 14:55:16

|

278人浏览过

|

来源于php中文网

原创

Sublime Text无原生删除重复行功能,推荐先用Sort Lines插件排序使重复行相邻,再用正则^(.*)$\n^\1$替换为\1逐轮清除;大文件或需条件去重时可用Python控制台脚本处理。

sublime怎么查找并删除重复行 sublime数据处理高效方案【实用】

Sublime Text 里没有原生“删除重复行”功能

Sublime Text 本身不提供类似 Remove Duplicates 的内置命令,直接按 Ctrl+H(查找替换)也无法靠正则一次性安全去重——因为重复行可能跨段、无序、或仅部分字段重复。强行用正则匹配整行去重,容易误删、漏删,尤其当行末有空格、制表符或 BOM 时更不可靠。

推荐方案:用 Sort Lines 插件 + 手动去重(最稳)

这是 Sublime 用户最常用、最可控的方式。核心逻辑是先排序让重复行相邻,再用正则批量删相邻重复项:

  • 安装 Package Control 后,按 Ctrl+Shift+P → 输入 Install Package → 搜索并安装 Sort Lines
  • 选中要处理的文本(或全选 Ctrl+A),按 Ctrl+Shift+P → 输入 Sort Lines → 选 Sort Lines (case sensitive)
  • 再按 Ctrl+H 打开替换面板,勾选 Regular Expression.* 图标),输入:
    ^(.*)$\n^\1$
    ,替换为:
    \1
  • 反复点 Replace All 直到提示“0 occurrences found”——这说明所有相邻重复已清完

⚠️ 注意:^\1$ 只能匹配紧邻的下一行完全相同。如果原始数据含空行或缩进差异,需先统一格式(如用 Convert Indent to Spaces 或正则 ^\s+ 替换为空)。

替代方案:用 Python 控制台快速跑脚本(适合大文件或需条件去重)

对 10 万行以上数据,或需要“保留第一次出现的重复行”“按某列去重”,用 Sublime 内置 Python 控制台更灵活:

SpeechEasy
SpeechEasy

SpeechEasy是一种合成语音解决方案,可以让用户从文本生成高质量、易于理解的音频。

下载
  • Ctrl+` 打开控制台,粘贴以下代码(以当前视图全文为输入):
    view = sublime.active_window().active_view()
    text = view.substr(sublime.Region(0, view.size()))
    lines = text.splitlines()
    seen = set()
    unique_lines = []
    for line in lines:
        if line not in seen:
            seen.add(line)
            unique_lines.append(line)
    view.replace(edit, sublime.Region(0, view.size()), '\n'.join(unique_lines))
  • 注意:这段代码会**覆盖全文**,操作前务必 Ctrl+Z 可撤回;若需保留空行,把 splitlines() 改成 text.split('\n') 并处理末尾换行
  • 如果要去重但保留顺序,且允许空字符串参与判断,上面代码已满足;若想忽略首尾空白再比较,把 if line not in seen 改成 if line.strip() not in seen,同时 seen.add(line.strip())

别踩坑:这些“看似能用”的方法实际很危险

网上有些教程教用正则 ^(.*?)$\s*^(\1)$^(.*)(\r?\n\1)+$ 直接匹配所有重复——它们在 Sublime 的 regex 引擎(Boost)下行为不稳定,尤其遇到 Windows / macOS 换行混杂、BOM、或行内有 $^ 特殊字符时,极易崩溃或删错。

另一个常见误区是依赖 Filter Lines 插件:它本质是 grep,只能“保留含某关键词的行”,不能“去重”。装了也解决不了问题。

真正省事又可靠的做法,还是老老实实先 Sort Lines,再正则逐轮消重——多点两下,换来的是结果可预期、可复现。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

773

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

684

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

765

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

719

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1405

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

570

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

751

2023.08.11

c++ 根号
c++ 根号

本专题整合了c++根号相关教程,阅读专题下面的文章了解更多详细内容。

24

2026.01.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 17.1万人学习

Django 教程
Django 教程

共28课时 | 3.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号