0

0

SQL 分库分表查询策略实践

冷炫風刃

冷炫風刃

发布时间:2026-02-21 12:09:11

|

539人浏览过

|

来源于php中文网

原创

分库后join查不到数据,因跨库join被架构禁止,sql只发往单一分片;count(*)跨分片不准,需显式启用聚合;分表键缺失导致全库扫描;insert...select跨分片通常失败。

sql 分库分表查询策略实践

分库后 JOIN 查不到数据,是因为根本没在同一个库执行

跨库 JOIN 在绝大多数分库中间件(如 ShardingSphere、MyCat)里默认不支持,不是配置问题,是架构层面被禁止的。数据库连接只发往一个分片,另一个库的表压根不在当前连接上下文中。

常见错误现象:Table 'db2.user_order' doesn't exist 或查出空结果但单表能查到数据;用 EXPLAIN 会发现只走了其中一个库的执行计划。

  • 必须拆成多次查询:先查主表(如 user),拿到分片键值(如 user_id),再按路由规则拼出目标库名,查关联表(如 order
  • 如果关联字段不是分片键(比如用 order_no 关联 user_id),就得走全局广播查询或冗余字段(如把 user_name 冗余进 order 表)
  • ShardingSphere 的 Broadcast Table 只适用于小而慢变的维度表(如 dict_type),别硬套在业务主表上

SELECT COUNT(*) 跨分片不准,因为没合并结果

分库后,COUNT(*) 默认只在单个分片执行,返回的是该分片数量。中间件不会自动求和,除非显式启用聚合能力且 SQL 写法合规。

使用场景:后台分页总数、数据量大盘监控——这类地方最容易踩坑,前端显示“共 12 条”,实际有上千条。

  • ShardingSphere 需开启 sql-show: true 并观察日志,确认是否生成了 SELECT COUNT(*) FROM t_order AS t_order_0 UNION ALL SELECT COUNT(*) FROM t_order AS t_order_1 这类语句
  • 避免写 SELECT COUNT(*) FROM t_order WHERE status = ? GROUP BY user_id —— 分组 + 跨分片 count 几乎必然不支持
  • 对精度要求不高的场景,可用 SHOW TABLE STATUS 各分片行数估算,但注意 InnoDB 的 rows 是估算值,误差可能达 50%

分表键选错导致 WHERE 条件无法下推,全库扫描

分表键(sharding key)决定数据路由。如果 WHERE 条件里没有它,中间件无法判断查哪个表,只能把 SQL 发给所有子表,性能断崖式下跌。

笔尖Ai写作
笔尖Ai写作

AI智能写作,1000+写作模板,轻松原创,拒绝写作焦虑!一款在线Ai写作生成器

下载

典型表现:原本毫秒级查询变成秒级,SHOW PROCESSLIST 看到大量连接卡在 Sending data,慢日志里出现几十个 t_order_001t_order_099 的重复执行。

  • 高频查询字段优先设为分表键,比如订单查询多按 user_id,就别用 order_time 当分表键
  • 复合分表键(如 [user_id, order_time])要确保查询条件至少命中前缀,WHERE order_time > '2024-01-01' 依然会扫全表
  • 想支持多维度查询?加覆盖索引不行,得建影子表(如按 order_no 分的另一套表),或引入 Elasticsearch 做异构索引

INSERT ... SELECT 跨分片失败,中间件通常直接拒绝

这类语句天然涉及源表和目标表的跨库/跨表定位,ShardingSphere 从 5.0 开始才有限支持,且要求源表和目标表在同一逻辑库、分片规则兼容。多数生产环境直接报 UnsupportedOperationException

使用场景:批量导入、报表归档、冷热分离迁移——这些操作一旦卡住,容易引发上游重试风暴。

  • 绕过方案:先 SELECT 出数据(注意内存溢出风险),在应用层按目标分片规则分组,再逐批 INSERT
  • 如果源表本身也分库,必须先做 UNION ALL 汇总,再分发,中间不能有聚合函数(如 MAX())、LIMIT 或子查询
  • 别依赖 REPLACE INTOINSERT IGNORE 的原子性——分片环境下,唯一键冲突检测只在单表生效,跨分片重复插入可能成功两次

分库分表不是加个中间件就完事,每个查询背后都藏着路由决策。最常被忽略的,是那些看起来“应该能跑”的 SQL——它们往往在测试环境安静运行,上线后突然拖垮整个集群。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

1006

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

334

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

379

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1782

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

376

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1332

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

585

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

436

2024.04.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

796

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号