SQL去重核心是DISTINCT与GROUP BY:DISTINCT用于整行或列组合的简单去重,不可控保留任意一条;GROUP BY配合聚合函数或窗口函数可按业务逻辑保留最新、最大等特定记录,支持复杂需求。

SQL去重查询核心就两条路:用 DISTINCT 快速筛掉重复行,或用 GROUP BY 配合聚合函数做更灵活的“逻辑去重”。关键不在语法本身,而在你到底想保留哪一条——是任意一条?最新的一条?金额最大的那条?选错方法,结果就偏了。
直接去重:DISTINCT 最快但最“粗暴”
DISTINCT 作用在整行(或指定列组合)上,只要值完全相同,就只留一条。适合真正要“删重记录”的场景,比如查所有不重复的用户城市:
- SELECT DISTINCT city FROM users;
- 如果想按多个字段去重(比如同一城市+同一职业只算一次),写成 SELECT DISTINCT city, job_title FROM users;
- 注意:DISTINCT 不能和普通列、聚合函数混用(除非全用聚合),也无法指定保留哪条重复数据——它内部按排序或存储顺序随机取,不可控。
按条件保留:GROUP BY + 聚合函数才是真功夫
当你要“每个用户只取最新订单”“每类产品只取价格最高的SKU”,就得靠 GROUP BY 搭配 MAX()、MIN()、ROW_NUMBER() 等。这才是业务中高频又易错的点:
- 查每个用户的最新下单时间:SELECT user_id, MAX(order_time) FROM orders GROUP BY user_id;
- 但如果你还要同时拿到那条完整订单记录(比如订单号、商品名),就不能只靠 MAX()——得用窗口函数:
SELECT * FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY order_time DESC) rn FROM orders) t WHERE rn = 1; - 小技巧:GROUP BY 后 SELECT 的非聚合列必须出现在 GROUP BY 子句里(MySQL 5.7+ 默认严格模式下),否则报错或结果不可靠。
去重后还要统计?别漏掉 COUNT(DISTINCT …)
统计“有多少个不同城市”“多少个活跃品类”,不是先 DISTINCT 再 COUNT,而是直接用 COUNT(DISTINCT ...),既简洁又高效:
- SELECT COUNT(DISTINCT city) AS city_count FROM users;
- 支持多列组合去重计数:COUNT(DISTINCT user_id, product_id) 表示“有多少个不同的用户-商品组合”;
- 注意 NULL 值会被自动忽略——如果业务要求把 NULL 当作一种有效取值,得额外处理(比如用 COALESCE 转成字符串)。
真实踩坑提醒:NULL 和空字符串不是一回事
很多人以为 DISTINCT 会把 NULL 当成相同值合并——确实会。但空字符串 '' 和 NULL 在 SQL 里是两个完全不同的值,DISTINCT 不会把它们当重复项处理。实际查用户地址时,可能看到一堆 '' 和一堆 NULL 并存,都算“不同”:
- 查去重后的地址值,得提前清洗:SELECT DISTINCT COALESCE(NULLIF(trim(address), ''), '未知') FROM users;
- GROUP BY 时同理,NULL 会自成一组,可能影响分组总数,务必结合业务确认是否合理。
基本上就这些。去重看着简单,一到关联多表、带时间范围、要保原始字段,立刻变复杂。关键是先想清楚:“我要去的是什么层面的重?”——是行重、逻辑重,还是统计口径上的重?想清这点,语法只是手到擒来的工具。










