SQL去重核心是DISTINCT与GROUP BY：DISTINCT用于整行去重，简单但不灵活；GROUP BY配合聚合函数可按规则留指定记录，适合需保留最新/最早等场景。
SQL去重查询核心靠 DISTINCT 和 GROUP BY，选对方法取决于你要保留哪条记录、是否需要聚合计算、以及数据量大小。盲目用 DISTINCT 可能掩盖业务逻辑，而乱用 GROUP BY 又容易出错——关键不是“去重”，而是“按什么规则留一条”。
用 DISTINCT 做基础行级去重
DISTINCT 作用于整行（所有 SELECT 字段组合），只要字段值完全相同，就只返回一行。它最简单，但不灵活。
- 语法直接：SELECT DISTINCT col1, col2 FROM table_name;
- 注意：DISTINCT 必须放在 SELECT 后第一个位置，不能写成 SELECT col1, DISTINCT col2
- 常见误区：SELECT DISTINCT id, name FROM users; 如果两条记录 id 不同但 name 相同，仍算两行——DISTINCT 看的是整行，不是单个字段
- 性能提示：字段越多、数据量越大，DISTINCT 排序去重开销越高；建议在常用去重字段上建联合索引
用 GROUP BY + 聚合函数精准控制留哪条
当你要“每个分组留最新/最早/最高分那条”时，DISTINCT 不够用，必须用 GROUP BY 配合 MIN/MAX/ROW_NUMBER() 等。
- 基础用法：SELECT user_id, MAX(create_time) FROM orders GROUP BY user_id; —— 每个用户最新下单时间
- 想查完整记录（比如最新订单的全部字段）？得嵌套或用窗口函数：
SELECT * FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY create_time DESC) rn FROM orders) t WHERE rn = 1; - GROUP BY 字段必须出现在 SELECT 中（除非是聚合值），否则报错（MySQL 5.7+ 严格模式下）
删除重复数据：别只查，还要改
去重查询常是清洗数据的第一步，真正落地要删掉冗余行。安全做法是先查再删，避免误操作。
- 查出重复项（以 email 为判断依据）：
SELECT email, COUNT(*) FROM users GROUP BY email HAVING COUNT(*) > 1; - 保留最小 id 的那条，删其余：
DELETE u1 FROM users u1 INNER JOIN users u2 WHERE u1.email = u2.email AND u1.id > u2.id; - 重要提醒：执行 DELETE 前务必备份；大表建议分批删（加 LIMIT），避免锁表太久
大数据量下的去重优化技巧
百万级以上数据，DISTINCT 或 GROUP BY 可能变慢。这时要结合业务做取舍：
- 提前过滤：加 WHERE 条件缩小结果集，再 DISTINCT，比全表去重快得多
- 用 EXISTS 替代 DISTINCT 关联：比如查“有订单的用户”，用 SELECT DISTINCT user_id FROM orders 更快，但若需用户详情，用 SELECT * FROM users u WHERE EXISTS (SELECT 1 FROM orders o WHERE o.user_id = u.id) 通常更优
- 临时表缓存中间结果：复杂去重逻辑可拆成多步，把中间去重结果 INSERT INTO temp_table，再查 temp_table，避免反复计算
基本上就这些。去重不是技术难题，而是业务理解题——你想去的是“技术重复”，还是“业务重复”？理清这个，方法自然就清楚了。
