0

0

SQL 分表分库策略与应用方法

舞夢輝影

舞夢輝影

发布时间:2026-02-16 09:42:10

|

359人浏览过

|

来源于php中文网

原创

分库后join查不到数据是因为sql路由失效,中间件不支持跨库join,需改用应用层组装或确保同分片键路由。

sql 分表分库策略与应用方法

分库后 JOIN 查不到数据,是因为 SQL 路由失效

分库之后,跨库 JOIN 天然不支持——中间件(如 ShardingSphere、MyCat)或自研路由层通常只按分片键路由单表查询,遇到多表 JOIN 且涉及不同库时,要么报错,要么只查一个库、结果为空或错乱。

常见错误现象:ShardingSphere-JDBCUnsupportedOperationException: Cannot support multiple tables with different data sources in JOINMyCat 返回空结果但无报错;应用层查出的数据明显缺失关联字段。

  • 优先改写业务逻辑:用「两次查询 + 应用层组装」替代 JOIN,比如先查订单列表(带 user_id),再批量查用户信息
  • 若必须 JOIN,确保所有参与表都按同一分片键(如 user_id)分库,且路由规则一致,否则中间件无法对齐数据源
  • 避免在分库场景下使用全局表(如 dict_type)与分片表做 JOIN,部分中间件不自动广播查询,需显式配置 broadcast-tables

sharding-jdbcstandardcomplex 分片策略区别在哪

standard 只支持单分片键(如 order_id),对应一个 sharding-column 和一个分片算法;complex 支持多列组合(如 user_id + create_time),但要求所有查询必须包含全部分片列,否则路由失败或全库扫描。

使用场景:standard 适合用户中心类系统(按 user_id 分);complex 常用于订单归档(按 user_id 分库 + create_time 分表),但代价是 WHERE create_time > ? 单独出现时,会遍历所有库。

  • standard 策略下,SELECT * FROM order WHERE user_id = 123 路由精准;但 WHERE order_id = 456 会全库扫
  • complex 策略下,WHERE user_id = 123 AND create_time BETWEEN '2023-01' AND '2023-06' 才能准确定位,缺一不可
  • 性能影响:复杂策略提升写入局部性,但大幅增加查询条件约束,线上误写 WHERE 条件极易引发慢查询

分表后 MAX(id)ORDER BY id DESC LIMIT 1 拿不到最新记录

分表后 id 不全局唯一,各表独立自增,MAX(id) 返回的是当前表最大值,不是整个逻辑表最新写入记录;ORDER BY id DESC LIMIT 1 同理,只查单表,可能漏掉其他分表里更晚插入的高 id 记录。

Extjs简单版酒店管理系统  bulid 081016
Extjs简单版酒店管理系统 bulid 081016

该系统采用VS2005+SQL2000+Extjs2.0开发由于学extjs 一月不到 属初学者,项目有很多不足地方请见谅(注释不标准按自己想法随意注释了一下)数据库脚本:压缩包目录下.DB.sql便是该项目为双用户:管理员 与营业员 角色登陆显示不同信息数据库方面一小部分功能运用存储过程或者直接附加DB_51aspx下Sql数据库文件

下载

典型错误:用 id 当时间序标识做同步、轮询或翻页,导致漏数据或重复处理。

  • 正确做法是引入逻辑时间字段,如 create_time(精度到毫秒),并确保写入时严格单调;查询用 ORDER BY create_time DESC LIMIT 1
  • 如果必须依赖递增编号,改用分布式 ID 生成器(如 snowflakeleaf),确保全局有序,再按该字段分片
  • 避免在分表场景下用 SELECT LAST_INSERT_ID() 获取刚插入记录的完整状态——它只返回当前物理表的 ID,不反映路由后的实际归属

跨分片 COUNT(*)GROUP BY 性能差,根本原因不是 SQL 写法

这类聚合操作慢,不是因为没加索引或没写对 SQL,而是中间件必须把请求下发到所有分片,拉回全部原始数据,在内存中合并计算。数据量大时,网络传输和应用层 CPU 成瓶颈,比单库慢数倍甚至十倍。

兼容性影响明显:ShardingSphere 5.x 默认开启 merge 引擎,但超过 10 个分片 + 百万级行时,JVM 常因 OOM 中断;MyCat 则可能直接超时断连。

  • 能预计算就预计算:比如用定时任务更新 daily_order_count 表,而不是每次查 SELECT COUNT(*) FROM order WHERE create_time > ?
  • 接受近似结果:用 HyperLogLog 或采样(如 LIMIT 10000 后统计)替代精确聚合,尤其用于监控看板
  • 强制下推失败时,检查是否用了不支持下推的函数,如 DATE_FORMAT(create_time, '%Y-%m') 会导致整个 GROUP BY 无法下推,改用 create_time >= ? AND create_time 区间过滤

分库分表不是银弹,真正难的从来不是怎么切,而是切完之后,那些你以为“还是原来那样查”的地方,全都悄悄变了规则。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

963

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

334

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

375

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1676

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

370

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1232

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

583

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

435

2024.04.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

145

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号