使用DISTINCT查询去重，通过GROUP BY与聚合函数删除冗余，创建临时表存储唯一记录，或用ROW_NUMBER()窗口函数标记并删除重复行。
如果您在处理数据库时发现存在大量重复记录，这可能会影响数据的准确性和系统性能。为确保数据表中的信息唯一且有效，需要对重复数据进行清理。以下是几种可行的去重操作方法。
本文运行环境：Dell XPS 13，Windows 11
一、使用 DISTINCT 进行查询去重
该方法适用于仅需在查询结果中去除重复记录，而不修改原始数据的情况。通过 SELECT 查询结合 DISTINCT 关键字，可以返回唯一的数据组合。
1、编写 SQL 查询语句，使用 DISTINCT 关键字选择目标字段。
立即学习“PHP免费学习笔记（深入）”；
2、执行如下示例语句：SELECT DISTINCT column1, column2 FROM table_name;
3、将查询结果导出或插入新表，以保留去重后的数据。
二、利用 GROUP BY 和聚合函数删除重复项
通过 GROUP BY 对重复字段进行分组，并结合 MIN() 或 MAX() 函数保留每组中的一条记录，其余视为冗余数据。
1、确定用于判断重复的字段，如 email 或 name 等。
2、执行带有 GROUP BY 和 HAVING COUNT(*) > 1 的查询来识别重复组。
3、构建 DELETE 语句，保留每组中 id 最小的记录，删除其他记录，例如：DELETE t1 FROM table_name t1 INNER JOIN table_name t2 WHERE t1.id > t2.id AND t1.email = t2.email;
三、创建临时表存储唯一记录
此方法通过新建一个结构相同的表，将去重后的数据插入其中，再替换原表，适合数据量较大且需彻底清理的场景。
1、创建一个与原表结构相同的新表 new_table。
2、使用 INSERT INTO...SELECT 结合 GROUP BY 将唯一记录写入新表。
3、执行语句：INSERT INTO new_table SELECT * FROM original_table GROUP BY target_column;
4、删除原表并重命名新表为原表名。
四、使用窗口函数 ROW_NUMBER() 标记重复行
在支持窗口函数的数据库（如 MySQL 8.0+）中，可通过 ROW_NUMBER() 为每组重复数据编号，标记出需删除的行。
1、使用 ROW_NUMBER() 按指定列分区并排序，例如按 id 升序排列。
2、构建子查询，为每一行分配行号，筛选出行号大于 1 的记录。
3、执行如下结构的语句：DELETE FROM table_name WHERE id IN (SELECT id FROM (SELECT id, ROW_NUMBER() OVER (PARTITION BY column_name ORDER BY id) AS rn FROM table_name) AS tmp WHERE rn > 1);
