0

0

mysql执行计划中的Distinct操作如何去重_mysql去重算法解析

P粉602998670

P粉602998670

发布时间:2026-03-04 10:33:10

|

324人浏览过

|

来源于php中文网

原创

explain显示using temporary + using filesort说明distinct强制创建临时表去重,且order by字段不匹配时额外排序;有索引可避免临时表,否则必走临时表。

mysql执行计划中的distinct操作如何去重_mysql去重算法解析

EXPLAIN 显示 Using temporary + Using filesort 就代表 DISTINCT 在走临时表

MySQL 对 DISTINCT 的去重不是靠哈希或排序后跳过重复,而是默认先建临时表(Using temporary),再对临时表去重。如果 ORDER BY 字段和 SELECT DISTINCT 字段不一致,还会多出 Using filesort —— 这说明它在临时表里又做了一次排序,性能损耗明显。

常见错误现象:EXPLAIN 看到 type=ALLExtraUsing temporary; Using filesort,但 SQL 看起来只是简单去重,比如 SELECT DISTINCT user_id FROM log_table

  • 如果 user_id 有索引,MySQL 可能用索引扫描+去重合并,避免临时表;没索引就一定走临时表
  • DISTINCT 作用于多列时(如 SELECT DISTINCT a,b),等价于 GROUP BY a,b,优化器处理逻辑相同
  • 5.7+ 版本对单列 DISTINCT 会尝试用松散索引扫描(Loose Index Scan)跳过重复值,但前提是该列是复合索引最左前缀且无 WHERE 条件干扰

用 GROUP BY 替代 DISTINCT 不一定能提速,要看是否带聚合函数

很多人以为把 DISTINCT 换成 GROUP BY 就能“控制”去重逻辑,其实两者执行计划几乎一样——优化器内部会把 DISTINCT 重写为 GROUP BY。真正影响性能的是有没有可用索引、是否需要回表、是否触发临时表。

使用场景:当你发现 DISTINCT 很慢,想手动干预时,可尝试加 GROUP BY 配合 MIN()/MAX() 提取某条代表记录,但这已超出纯去重范畴。

  • 纯去重需求下,SELECT DISTINCT a FROM tSELECT a FROM t GROUP BY a 生成的执行计划完全一致
  • 如果加了 ORDER BY 且字段不在 DISTINCT 列中(如 SELECT DISTINCT a FROM t ORDER BY b),MySQL 必须先查全量再排序去重,无法利用索引加速
  • 8.0.13+ 支持 GROUP BYSKIP SCAN 优化,但仅限于某些复合索引结构,DISTINCT 不直接受益

覆盖索引能让 DISTINCT 避开回表,但不能绕过临时表

只要 SELECT DISTINCT 的所有字段都在同一个索引里(即覆盖索引),就能避免从聚簇索引回表读数据行,这是提升速度的关键一环。但它无法消除 Using temporary —— 去重本身仍需内存/磁盘临时结构来判断重复。

HaiSnap
HaiSnap

一站式AI应用开发和部署工具

下载

参数差异:tmp_table_sizemax_heap_table_size 共同决定临时表能否在内存中完成;超限就会落盘,性能断崖式下降。

  • 例如 SELECT DISTINCT status FROM order_table,若 status 是独立索引或复合索引最左列,就能走索引扫描
  • 但如果写成 SELECT DISTINCT status, created_at FROM order_table,而索引是 (status) 单列,就不覆盖;必须建 (status, created_at) 才能覆盖
  • 注意:即使用了覆盖索引,EXPLAIN 仍可能显示 Using temporary,这不是误报,是去重动作本身所需

去重逻辑实际发生在存储引擎层之上,不是 SELECT 阶段才开始

MySQL 的去重不是在 Server 层逐行比对字符串,而是由执行器边读取边维护一个去重集合(内存哈希表或磁盘临时表)。这意味着:数据越早被过滤掉,去重开销越小;反过来,如果 WHERE 条件写得松散(比如用 LIKE '%abc'),导致大量无关行进入去重流程,效率就极低。

容易踩的坑:在 DISTINCT 查询里嵌套子查询或 JOIN,结果集膨胀后再去重,等于把压力全堆给临时表。

  • 优先把过滤条件下沉到最内层,比如把 SELECT DISTINCT u.id FROM user u JOIN log l ON u.id=l.uid WHERE l.time > '2024-01-01' 改成先查 log 表符合条件的 uid,再关联 user
  • DISTINCT 对 NULL 值视为相同值去重,这点和 GROUP BY 一致,但和应用层去重逻辑可能不一致,要注意业务语义
  • 如果去重字段类型是 TEXT 或长 VARCHAR,临时表会更占内存,甚至直接触发磁盘临时表,比字段短小的情况慢数倍

真正难调的不是语法怎么写,而是去重字段是否落在有效索引路径上、WHERE 是否足够收敛、以及临时表大小是否卡在内存临界点附近——这三个地方稍有偏差,执行时间就从毫秒跳到秒级。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

1090

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

339

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

380

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1988

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

379

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1540

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

585

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

438

2024.04.29

Swift iOS架构设计与MVVM模式实战
Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践,系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例,帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

23

2026.03.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2.4万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 842人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号