SQL | 執(zhí)行時(shí)間 |
---|---|
select * from user where sex = 1 limit 100, 10; | OK, Time: 0.005000s |
select * from user where sex = 1 limit 1000, 10; | OK, Time: 0.007000s |
select * from user where sex = 1 limit 10000, 10; | OK, Time: 0.016000s |
select * from user where sex = 1 limit 100000, 10; | OK, Time: 0.169000s |
select * from user where sex = 1 limit 1000000, 10; | OK, Time: 5.892000s |
select * from user where sex = 1 limit 10000000, 10; | OK, Time: 33.465000s |
可以看到,limit 的偏移量越大,執(zhí)行時(shí)間越長(zhǎng)。
原因分析
首先來(lái)分析一下這句 SQL 執(zhí)行的過(guò)程,就拿上面表格中的第一行來(lái)舉例。
由于 sex 列是索引列,MySQL會(huì)走 sex 這棵索引樹(shù),命中 sex=1 的數(shù)據(jù)。
然后又由于非聚簇索引中存儲(chǔ)的是主鍵 id 的值,且查詢(xún)語(yǔ)句要求查詢(xún)所有列,所以這里會(huì)發(fā)生一個(gè)回表的情況,在命中 sex 索引樹(shù)中值為1的數(shù)據(jù)后,拿著它葉子節(jié)點(diǎn)上的值也就是主鍵 id 的值去主鍵索引樹(shù)上查詢(xún)這一行其他列(name、sex)的值,最后返回到結(jié)果集中,這樣第一行數(shù)據(jù)就查詢(xún)成功了。
最后這句 SQL 要求limit 100, 10,也就是查詢(xún)第101到110個(gè)數(shù)據(jù),但是 MySQL 會(huì)查詢(xún)前110行,然后將前100行拋棄,最后結(jié)果集中就只剩下了第101到110行,執(zhí)行結(jié)束。
小結(jié)一下,在上述的執(zhí)行過(guò)程中,造成 limit 大偏移量執(zhí)行時(shí)間變久的原因有:
綜合上述兩個(gè)原因,MySQL 花費(fèi)了大量時(shí)間在回表上,而其中a次回表的結(jié)果又不會(huì)出現(xiàn)在結(jié)果集中,這才導(dǎo)致查詢(xún)時(shí)間變得越來(lái)越長(zhǎng)。
優(yōu)化方案
覆蓋索引
既然無(wú)效的回表是導(dǎo)致查詢(xún)變慢的主要原因,那么優(yōu)化方案就主要從減少回表次數(shù)方面入手,假設(shè)在limit a, b中我們首先得到了a+1到a+b條數(shù)據(jù)的id,然后再進(jìn)行回表獲取其他列數(shù)據(jù),那么就減少了a次回表操作,速度肯定會(huì)快上不少。
這里就涉及到覆蓋索引了,所謂的覆蓋索引就是從非主聚簇索引中就能查到的想要數(shù)據(jù),而不需要通過(guò)回表從主鍵索引中查詢(xún)其他列,能夠顯著提升性能。
基于這樣的思路,優(yōu)化方案就是先查詢(xún)得到主鍵id,然后再根據(jù)主鍵id查詢(xún)其他列數(shù)據(jù),優(yōu)化后的 SQL 以及執(zhí)行時(shí)間如下表。
優(yōu)化后的 SQL | 執(zhí)行時(shí)間 |
---|---|
select * from user a join (select id from user where sex = 1 limit 100, 10) b on a.id=b.id; | OK, Time: 0.000000s |
select * from user a join (select id from user where sex = 1 limit 1000, 10) b on a.id=b.id; | OK, Time: 0.00000s |
select * from user a join (select id from user where sex = 1 limit 10000, 10) b on a.id=b.id; | OK, Time: 0.002000s |
select * from user a join (select id from user where sex = 1 limit 100000, 10) b on a.id=b.id; | OK, Time: 0.015000s |
select * from user a join (select id from user where sex = 1 limit 1000000, 10) b on a.id=b.id; | OK, Time: 0.151000s |
select * from user a join (select id from user where sex = 1 limit 10000000, 10) b on a.id=b.id; | OK, Time: 1.161000s |
果然,執(zhí)行效率得到了顯著提升。
條件過(guò)濾
當(dāng)然還有一種有缺陷的方法是基于排序做條件過(guò)濾。
比如像上面的示例 user 表,我要使用 limit 分頁(yè)得到1000001到1000010條數(shù)據(jù),可以這樣寫(xiě) SQL:
select * from user where sex = 1 and id > (select id from user where sex = 1 limit 1000000, 1) limit 10;
但是使用這樣的方式優(yōu)化是有條件的:主鍵id必須是有序的。在有序的條件下,也可以使用比如創(chuàng)建時(shí)間等其他字段來(lái)代替主鍵id,但是前提是這個(gè)字段是建立了索引的。
總之,使用條件過(guò)濾的方式來(lái)優(yōu)化 limit 是有諸多限制的,一般還是推薦使用覆蓋索引的方式來(lái)優(yōu)化。
小結(jié)
主要分析了 limit 分頁(yè)大偏移量慢的原因,同時(shí)也提出了響應(yīng)的優(yōu)化方案,推薦使用覆蓋索引的方式來(lái)優(yōu)化 limit 分頁(yè)大偏移執(zhí)行時(shí)間久的問(wèn)題。
希望能幫助到大家。
以上就是MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案的詳細(xì)內(nèi)容,更多關(guān)于MySQL limit 分頁(yè)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
標(biāo)簽:惠州 公主嶺 阿里 沈陽(yáng) 天津 牡丹江 呼和浩特 合肥
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案》,本文關(guān)鍵詞 MySQL,limit,分頁(yè),大,偏移量,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。