0

0

mysql踩坑之count distinct多列问题怎么解决

王林

王林

发布时间:2023-06-03 10:49:44

|

3102人浏览过

|

来源于亿速云

转载

复现的测试数据库如下所示:

CREATE TABLE `test_distinct` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `a` varchar(50) CHARACTER SET utf8 DEFAULT NULL,
  `b` varchar(50) CHARACTER SET utf8 DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=latin1;

表内测试数据如下,现在我们需要统计这三列去重后的列的数量。

mysql踩坑之count distinct多列问题怎么解决

问题分析

小伙伴给了我四条用来定位问题的查询语句

SELECT COUNT(*) AS cnt FROM test_distinct;
SELECT COUNT(DISTINCT id, a, b) as cnt FROM test_distinct;
SELECT id, a, b, COUNT(*) AS cnt FROM test_distinct GROUP BY id, a, b HAVING cnt > 1;
SELECT 
	l.id AS l_id,
	l.a AS l_a,
	l.b AS l_b,
	r.id AS r_id,
	r.a AS r_a,
	r.b AS r_b
FROM test_distinct l LEFT JOIN test_distinct r
ON l.id = r.id AND l.a = r.a AND l.b = r.b
WHERE r.id is NULL or r.id = 'null';

查询结果,如下所示:

mysql踩坑之count distinct多列问题怎么解决

mysql踩坑之count distinct多列问题怎么解决

mysql踩坑之count distinct多列问题怎么解决

mysql踩坑之count distinct多列问题怎么解决

注意!!!从测试数据很快就能大概猜出问题在哪,但是原来表中数据是有3万多条,无法用肉眼查看数据。

上面查询结果违反直觉的点有两个:

  • 第二条去重统计后数据少了一条,但是,第三条数据的结果显示并没有相同的数据。

  • 用同一张表做左外连接出现了驱动表有数据,而被驱动表为空的情况。

先看第二个问题,官方文档上有如下解释:

  • 在使用ON子句时,其所包含的条件表达式与WHERE子句中使用的相同。常见的情况是使用ON子句来指定表的连接条件,而使用WHERE子句对结果集中包含的行进行限制。

  • 如果对于LEFT JOIN中ON或USING部分中的条件,右表没有匹配的行,则右表使用所有列设置为NULL。

  • 不能使用算术比较运算符(如=,)来比较NULL。

SELECT NULL = NULL;
SELECT NULL IS NULL;

mysql踩坑之count distinct多列问题怎么解决

mysql踩坑之count distinct多列问题怎么解决

白果AI论文
白果AI论文

论文AI生成学术工具,真实文献,免费不限次生成论文大纲 10 秒生成逻辑框架,10 分钟产出初稿,智能适配 80+学科。支持嵌入图表公式与合规文献引用

下载

所以问题二在于NULL=NULL的结果永远为False,也就导致两行原本相等的数据结果却不相等。

可是这并没有解决第一个问题:为什么去重后有一条数据消失了。但是,我们可以猜测消失的数据很有可能和NULL值有关系。

我们将count和distinct两个操作分开:

SELECT COUNT(*) as cnt FROM (SELECT  DISTINCT id, a, b FROM test_distinct) as tmp;

mysql踩坑之count distinct多列问题怎么解决

嗯?结果是正确的,那就说明count(distinct expr)生成的查询计划可能和我们想象的不一样,并不是先去重再统计,使用explain分析一下两条语句的查询计划,如下所示:

mysql踩坑之count distinct多列问题怎么解决

mysql踩坑之count distinct多列问题怎么解决

从表中可以看到,mysql执行引擎直接将count(distinct expr)作为一个查询,查看官方文档:

mysql踩坑之count distinct多列问题怎么解决

解决办法

至此问题才终于弄清楚了。解决这个问题的办法有两种,第一种就是上述的先去重后统计,第二种可以利用IFNULL()函数:

SELECT COUNT(DISTINCT id, a, IFNULL(b, '0')) as cnt FROM test_distinct;

另外补充一点,count()嘚瑟使用:

SELECT id, a, b, COUNT(*) FROM test_distinct GROUP BY id, a, b;
SELECT id, a, b, COUNT(b) FROM test_distinct GROUP BY id, a, b;

mysql踩坑之count distinct多列问题怎么解决

mysql踩坑之count distinct多列问题怎么解决

知识点

  • 不能使用算术比较运算符(如=,)来比较空值;

  • count(distinct expr)返回expr列中不同的且非空的行数;

  • COUNT()具有两种截然不同的用途:它既可用于计算某个列值的数量,也可用于计算行数。在统计列值时要求列值是非空的(不统计NULL)。当在COUNT()函数的括号中指定了列或者表达式时,函数会统计这个表达式中有值的结果数。COUNT()的另一个作用是统计结果集的行数。当MySQL确认括号内的表达式值不可能为空时,实际上就是在统计行数。最简单的就是当我们使用COUNT()的时候,这种情况下通配符并不像我们猜想的那样扩展成所有的列,实际上,他会忽略所有列而直接统计所有的行数——《高性能MySQL》;

  • 在InnoDB中,SELECT COUNT(*)和SELECT COUNT(1)处理方式一样, 没有性能差异。

相关专题

更多
Java JVM 原理与性能调优实战
Java JVM 原理与性能调优实战

本专题系统讲解 Java 虚拟机(JVM)的核心工作原理与性能调优方法,包括 JVM 内存结构、对象创建与回收流程、垃圾回收器(Serial、CMS、G1、ZGC)对比分析、常见内存泄漏与性能瓶颈排查,以及 JVM 参数调优与监控工具(jstat、jmap、jvisualvm)的实战使用。通过真实案例,帮助学习者掌握 Java 应用在生产环境中的性能分析与优化能力。

9

2026.01.20

PS使用蒙版相关教程
PS使用蒙版相关教程

本专题整合了ps使用蒙版相关教程,阅读专题下面的文章了解更多详细内容。

59

2026.01.19

java用途介绍
java用途介绍

本专题整合了java用途功能相关介绍,阅读专题下面的文章了解更多详细内容。

80

2026.01.19

java输出数组相关教程
java输出数组相关教程

本专题整合了java输出数组相关教程,阅读专题下面的文章了解更多详细内容。

38

2026.01.19

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

10

2026.01.19

xml格式相关教程
xml格式相关教程

本专题整合了xml格式相关教程汇总,阅读专题下面的文章了解更多详细内容。

13

2026.01.19

PHP WebSocket 实时通信开发
PHP WebSocket 实时通信开发

本专题系统讲解 PHP 在实时通信与长连接场景中的应用实践,涵盖 WebSocket 协议原理、服务端连接管理、消息推送机制、心跳检测、断线重连以及与前端的实时交互实现。通过聊天系统、实时通知等案例,帮助开发者掌握 使用 PHP 构建实时通信与推送服务的完整开发流程,适用于即时消息与高互动性应用场景。

17

2026.01.19

微信聊天记录删除恢复导出教程汇总
微信聊天记录删除恢复导出教程汇总

本专题整合了微信聊天记录相关教程大全,阅读专题下面的文章了解更多详细内容。

155

2026.01.18

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

161

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.8万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 804人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号