bitsCN.com
mysql limit大偏移的一个可能的优化方法
采用 php+mysql 数据库方式运行的强大网上商店系统,执行效率高速度快,支持多语言,模板和代码分离,轻松创建属于自己的个性化用户界面 v3.5更新: 1).进一步静态化了活动商品. 2).提供了一些重要UFT-8转换文件 3).修复了除了网银在线支付其它支付显示错误的问题. 4).修改了LOGO广告管理,增加LOGO链接后主页LOGO路径错误的问题 5).修改了公告无法发布的问题,可能是打压
mysql limit 语句在大数据量时候,limit后的偏移量过大,第一次查询会特别慢,因为mysql默认是开启查询缓存的,所以,对于第二次再次执行大偏移查询不会有影响。
示例:100万的一个表,id做主键,auto_increment。
需要查询:
SELECT * FROM table ORDER BY id DESC LIMIT 990000,100
比较慢。
常见的办法是:
SELECT * FROM table WHERE id >=(SELECT id FROM table ORDER BY id DESC LIMIT 990000,1) ORDER BY id DESC LIMIT 100
id可能不连续,而且排序也可能不是只依赖于id, 这种办法基本上无法在实际项目中应用。
比如,我们的实际项目中,有排序非常复杂的方式:
ORDER BY (column1 + column2) * column3 DESC,等等这些方式,一百万的数据,如果偏移量990000,那么反过来的排序应该更接近头部:
-------------------------------------------------------------------[99万-|100条]--100万
需要实现:
SELECT * FROM table ORDER BY columns DESC LIMIT 990000, 100
推测出一种解决办法:反向排序,然后截取头部,再次反向,得到结果:
$head = max(100万-99万-100, 0 );SELECT * FROM (SELECT * FROM table ORDER BY columns ASC LIMIT $head, 100 ) AS t ORDER BY columns DESC
优化完成,对于靠近末尾的,速度和开头的一样快,但如果取中间的偏移量,则没有差别。
bitsCN.com









