目錄
- 一、測試實驗
- 二、 對limit分頁問題的性能優(yōu)化方法
- 2.1 利用表的覆蓋索引來加速分頁查詢
- 2.2 利用 id>=的形式:
- 2.3 利用join
- 總結:
阿牛新入職了一家新公司,第一個任務是根據(jù)條件導出訂單表中的數(shù)據(jù)到文件中,阿牛心想:這也太簡單了,于是很快寫好了如下語句,并且告訴測試自己的代碼是免測產(chǎn)品。
語句如下:
select * from orders where name=‘lilei' and create_time>'2020-01-01 00:00:00' limit start,end
沒想到上線一段時間后,生產(chǎn)開始預警,顯示這條sql為慢SQL,執(zhí)行時間50多秒,嚴重影響到了業(yè)務。
阿牛趕緊請教大佬猿猿幫忙查找原因,猿猿很快就幫其解決了,并且給阿牛做了以下實驗:
一、測試實驗
mysql分頁直接用limit start, count分頁語句:
select * from product limit start, count
當起始頁較小時,查詢沒有性能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執(zhí)行時間(每頁取20條),如下:
select * from product limit 10, 20 0.016秒
select * from product limit 100, 20 0.016秒
select * from product limit 1000, 20 0.047秒
select * from product limit 10000, 20 0.094秒
我們已經(jīng)看出隨著起始記錄的增加,時間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關系的,
那么我們把起始記錄改為40w看下(也就是記錄的一半左右)
select * from product limit 400000, 20 3.229秒
再看我們獲取最后一頁記錄的時間
select * from product limit 866613, 20 37.44秒
像這種分頁最大的頁碼頁顯然這種時間是無法忍受的。
從中我們也能總結出兩件事情:
limit語句的查詢時間與起始記錄的位置成正比。
mysql的limit語句是很方便,但是對記錄很多的表并不適合直接使用。
二、 對limit分頁問題的性能優(yōu)化方法
2.1 利用表的覆蓋索引來加速分頁查詢
我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那么這種情況會查詢很快。
因為利用索引查找有優(yōu)化算法,且數(shù)據(jù)就在查詢索引上面,不用再去找相關的數(shù)據(jù)地址了,這樣節(jié)省了很多時間。
另外Mysql中也有相關的索引緩存,在并發(fā)高的時候利用緩存就效果更好了。
在我們的例子中,我們知道id字段是主鍵,自然就包含了默認的主鍵索引?,F(xiàn)在讓我們看看利用覆蓋索引的查詢效果如何:
這次我們之間查詢最后一頁的數(shù)據(jù)(利用覆蓋索引,只包含id列),如下:
select id from product limit 866613, 20
查詢時間為0.2秒,相對于查詢了所有列的37.44秒,提升了大概100多倍的速度。
那么如果我們也要查詢所有列,有兩種方法,
2.2 利用 id>=的形式:
SELECT * FROM product
WHERE ID > =(select id from product limit 866613, 1) limit 20
查詢時間為0.2秒,簡直是一個質(zhì)的飛躍啊。
2.3 利用join
SELECT * FROM product a
JOIN (select id from product limit 866613, 20) b ON a.ID = b.id
總結:
是不是認為我沒說理由,原因就是使用select * 的情況下直接用limit 600000,10 掃描的是約60萬條數(shù)據(jù),并且是需要回表60W次,也就是說大部分性能都耗在隨機訪問上,到頭來只用到10條數(shù)據(jù),如果先查出來ID,再關聯(lián)去查詢記錄,就會快很多,因為索引查找符合條件的ID很快,然后再回表10次。就可以拿到我們想要的數(shù)據(jù)。
到此這篇關于為什么MySQL分頁用limit會越來越慢的文章就介紹到這了,更多相關MySQL分頁limit慢內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
您可能感興趣的文章:- MySQL查詢優(yōu)化:LIMIT 1避免全表掃描提高查詢效率
- mysql優(yōu)化之query_cache_limit參數(shù)說明
- 詳解Mysql order by與limit混用陷阱
- mysql分頁的limit參數(shù)簡單示例
- MySQL limit分頁大偏移量慢的原因及優(yōu)化方案
- Mysql排序和分頁(order by&limit)及存在的坑
- MySQL limit使用方法以及超大分頁問題解決
- mysql踩坑之limit與sum函數(shù)混合使用問題詳解
- 如何提高MySQL Limit查詢性能的方法詳解
- MySQL Limit性能優(yōu)化及分頁數(shù)據(jù)性能優(yōu)化詳解
- 淺談mysql使用limit分頁優(yōu)化方案的實現(xiàn)
- MySQL中l(wèi)imit對查詢語句性能的影響