前言

SQL 語(yǔ)言無(wú)處不在。SQL 已經(jīng)不僅僅是技術(shù)人員的專屬技能了，似乎人人都會(huì)寫SQL，就如同人人都是產(chǎn)品經(jīng)理一樣。如果你是做后臺(tái)開發(fā)的，那么CRUD就是家常便飯。如果你是做數(shù)倉(cāng)開發(fā)的，那么寫SQL可能占據(jù)了你的大部分工作時(shí)間。我們?cè)诶斫?SELECT 語(yǔ)法的時(shí)候，還需要了解 SELECT 執(zhí)行時(shí)的底層原理。只有這樣，才能讓我們對(duì) SQL 有更深刻的認(rèn)識(shí)。本文分享將逐步分解SQL的執(zhí)行過程，希望對(duì)你有所幫助。

數(shù)據(jù)準(zhǔn)備

本文旨在說明SQL查詢的執(zhí)行過程，不會(huì)涉及太復(fù)雜的SQL操作，主要涉及兩張表： citizen 和 city ,具體數(shù)據(jù)如下所示：

CREATE TABLE citizen ( 
 name CHAR ( 20 ), 
 city_id INT ( 10 ) 
);


CREATE TABLE city (
 city_id INT ( 10 ), 
 city_name CHAR ( 20 ) 
);

INSERT INTO city
VALUES
 ( 1, "上海" ),
 ( 2, "北京" ),
 ( 3, "杭州" );
 
 
INSERT INTO citizen
VALUES
("tom",3),
("jack",2),
("robin",1),
("jasper",3),
("kevin",1),
("rachel",2),
("trump",3),
("lilei",1),
("hanmeiei",1);

查詢執(zhí)行順序

本文所涉及的查詢語(yǔ)句如下，主要是citizen表與city表進(jìn)行join，然后篩掉city_name != "上海"的數(shù)據(jù)，接著按照city_name進(jìn)行分組，統(tǒng)計(jì)每個(gè)城市總?cè)藬?shù)大于2的城市，具體如下：

查詢語(yǔ)句

SELECT 
 city.city_name AS "City",
 COUNT(*) AS "citizen_cnt"
FROM citizen
 JOIN city ON citizen.city_id = city.city_id 
WHERE city.city_name != '上海'
GROUP BY city.city_name
HAVING COUNT(*) >= 2
ORDER BY city.city_name ASC
LIMIT 2

執(zhí)行步驟

上面SQL查詢語(yǔ)句的書寫書序是：

SELECT ... FROM ... WHERE ... GROUP BY ... HAVING ... ORDER BY ...

但是執(zhí)行順序并不是這樣，具體的執(zhí)行順序如下步驟所示：

• 1.獲取數(shù)據(jù) ( From, Join )
• 2.過濾數(shù)據(jù) ( Where )
• 3.分組 ( Group by )
• 4.分組過濾 ( Having )
• 5.返回查詢字段 ( Select )
• 6.排序與分頁(yè) ( Order by Limit / Offset )
  

尖叫提示：本文旨在說明通用的SQL執(zhí)行底層原理，對(duì)于其優(yōu)化技術(shù)不做考慮，比如謂詞下推、投影下推等等。

執(zhí)行的底層原理

其實(shí)上面所說的SQL執(zhí)行順序就是所謂的底層原理，當(dāng)我們?cè)趫?zhí)行SELECT語(yǔ)句時(shí)，每個(gè)步驟都會(huì)產(chǎn)生一張 虛擬表(virtual table） ，在執(zhí)行下一步驟時(shí)，會(huì)將該虛擬表作為輸入。指的注意的是，這些過程是對(duì)用戶透明的。

你可以注意到，SELECT 是先從FROM 這一步開始執(zhí)行的。在這個(gè)階段，如果是多張表進(jìn)行JOIN，還會(huì)經(jīng)歷下面的幾個(gè)步驟：

獲取數(shù)據(jù) ( From, Join )

• 首先會(huì)通過 CROSS JOIN 求笛卡爾積，相當(dāng)于得到虛擬表 vt1-1；
• 接著通過ON 條件進(jìn)行篩選，虛擬表 vt1-1 作為輸入，輸出虛擬表 vt1-2；
• 添加外部行。我們使用的是左連接、右鏈接或者全連接，就會(huì)涉及到外部行，也就是在虛擬表 vt1-2 的基礎(chǔ)上增加外部行，得到虛擬表 vt1-3
  

過濾數(shù)據(jù) ( Where )

經(jīng)過上面的步驟，我們得到了一張最終的虛擬表vt1，在此表之上作用where過濾，通過篩選條件過濾掉不滿足條件的數(shù)據(jù)，從而得到虛擬表vt2。

分組 ( Group by )

經(jīng)過where過濾操作之后，得到vt2。接下來進(jìn)行GROUP BY操作，得到中間的虛擬表vt3。

分組過濾 ( Having )

在虛擬表vt3的基礎(chǔ)之上，使用having過濾掉不滿足條件的聚合數(shù)據(jù)，得到vt4。

返回查詢字段 ( Select )

當(dāng)我們完成了條件篩選部分之后，就可以篩選表中提取的字段，也就是進(jìn)入到 SELECT 和 DISTINCT 階段。首先在 SELECT 階段會(huì)提取目標(biāo)字段，然后在 DISTINCT 階段過濾掉重復(fù)的行，分別得到中間的虛擬表 vt5-1 和 vt5-2。

排序與分頁(yè) ( Order by Limit / Offset )

當(dāng)我們提取了想要的字段數(shù)據(jù)之后，就可以按照指定的字段進(jìn)行排序，也就是 ORDER BY 階段，得到虛擬表 vt6。最后在 vt6 的基礎(chǔ)上，取出指定行的記錄，也就是 LIMIT 階段，得到最終的結(jié)果，對(duì)應(yīng)的是虛擬表 vt7

詳細(xì)執(zhí)行步驟分析

Step 1:獲取數(shù)據(jù) ( From, Join )

FROM citizen
JOIN city

該過程的第一步是執(zhí)行From子句中的語(yǔ)句，然后執(zhí)行Join子句。這些操作的結(jié)果是得到兩個(gè)表的笛卡爾積。