遇到故障，我們往往想的是如何解決這個故障，而不是從故障的根本去思考出現(xiàn)這個故障的原因？這樣的結(jié)果，只能使我們得到了魚，失去了漁。今天，我們就來分享一個由USE DB堵塞故障引發(fā)的思考案例。

故障描述

今天一個朋友遇到數(shù)據(jù)庫遇到一個嚴重的故障，故障環(huán)境如下：

MYSQL 5.6.16

RR隔離級別

GITD關(guān)閉

表現(xiàn)如下：

use db不能進入數(shù)據(jù)庫

show table status不能查詢到表信息

schema.processlist來看有大量的 Waiting for table metadata lock

情急之下他殺掉了一大堆線程后發(fā)現(xiàn)還是不能恢復(fù)，最后殺掉了一個沒有及時提交的事物才恢復(fù)正常。也僅僅留下了如下圖的一個截圖：

故障信息提取

還是回到上圖，我們可以歸納一下語句類型如下：

1、CREATE TABLE A AS SELECT B

其STATE為 sending data

2、DROP TABLE A

其STATE為 Waiting for table metadata lock

3、SELECT * FROM A

其STATE為 Waiting for table metadata lock

4、 SHOW TABLE STATUS[like 'A']

其STATE為 Waiting for table metadata lock

信息分析

要分析出這個案列其實不太容易因為他是MYSQL層MDL LOCK和RR模式innodb row lock的一個綜合案列，并且我們要對schema.processlist的STATE比較敏感才行。

建議先閱讀我的如下文章來學(xué)習(xí)MDL LOCK：

https://www.jb51.net/article/131383.htm

本節(jié)關(guān)于MDL LOCK的驗證使用下面兩種方式：

方式一：筆者在MDL LOCK源碼加鎖函數(shù)處加日志輸出，如果要分析各種語句加MDL LOCK的類型還只能用這種方式，因為MDL LOCK加鎖往往一閃而過，performance_schema.metadata_locks 沒有辦法觀察到。

方式二：處于堵塞情況下使用5.7版本的performance_schema.metadata_locks觀察。

在P_S中打開mdl監(jiān)測方法如下：

一、關(guān)于CREATE TABLE A AS SELECT B 對B表sending data的分析

關(guān)于sending data這個狀態(tài)其實可以代表很多含義，從我現(xiàn)有的對的了解，這是MYSQL上層對SELECT類型語句的這類語句在INNODB層和MYSQL層進行數(shù)據(jù)交互的時候一個統(tǒng)稱，所以出現(xiàn)它的可能包含:

確實需要訪問數(shù)據(jù)量特別大，可能需要優(yōu)化。

由于INNODB 層的獲取row lock需要等待，比如我們常見的SELECT FOR UPDATE。

同時我們還需要注意在RR模式下SELECT B這一部分加鎖方式和INSERT...SELECT是一致的參考不再贅述：

從他反應(yīng)的情況因為他在最后殺掉了一個長期的未提交的事物所以他因為是情況2。并且整個CREATE TABLE A AS SELECT B語句由于B表上某些數(shù)據(jù)庫被上了鎖而不能獲取，導(dǎo)致整個語句處于sending data狀態(tài)下。

二、關(guān)于SHOW TABLE STATUS[like 'A'] Waiting for table metadata lock的分析

這是本案例中最重要的一環(huán)，SHOW TABLE STATUS[like 'A']居然被堵塞其STATE為Waiting for table metadata lock并且注意這里是table因為MDL LOCK類型分為很多。我在MDL介紹的那篇文章中提到了desc 一個表的時候會上MDL_SHARED_HIGH_PRIO(SH)，其實在SHOW TABLE STATUS的時候也會對本表上MDL_SHARED_HIGH_PRIO(SH)。

方式一

方式二

兩種方式都能觀察到MDL_SHARED_HIGH_PRIO(SH)的存在并且我模擬的是處于堵塞情況下的。

但是MDL_SHARED_HIGH_PRIO(SH) 是一個優(yōu)先級非常高的一個MDL LOCK類型表現(xiàn)如下：

兼容性：

阻塞隊列優(yōu)先級：

其被堵塞的條件除了被MDL_EXCLUSIVE(X)堵塞沒有其他的可能。那么這就是一個非常重要的突破口。

三、關(guān)于CREATE TABLE A AS SELECT B 對A表的加MDL LOCK的分析

這一點也是我以前不知道的,也是本案列中花時間最多的地方,前文已經(jīng)分析過要讓SHOW TABLE STATUS[like 'A']這種只會上MDL_SHARED_HIGH_PRIO(SH) MDL LOCK的語句堵塞在MDL LOCK上只有一種可能那就是A表上了MDL_EXCLUSIVE(X)。

那么我開始懷疑這個DDL語句在語句結(jié)束之前會對A表上MDL_EXCLUSIVE(X) ，然后進行實際測試不出所料確實是這樣的如下：

方式一

方式二

這里比較遺憾在performance_schema.metadata_locks中并沒有顯示出MDL_EXCLUSIVE(X)，而顯示為MDL_SHARED(S)是我們在我輸出的日志中可以看到這里做了升級操作將MDL_SHARED(S) 升級為了MDL_EXCLUSIVE(X)。并且由前面的兼容性列表來看，只有MDL_EXCLUSIVE(X)會堵塞MDL_SHARED_HIGH_PRIO(SH)。所以我們應(yīng)該能夠確認這里確實做了升級操作，否則SHOW TABLE STATUS[like 'A'] 是不會被堵塞的。

四、關(guān)于SELECT * FROM A Waiting for table metadata lock的分析

也許大家認為SELECT不會上鎖，但是那是在innodb 層次，在MYSQL層會上MDL_SHARED_READ(SR) 如下：

方式一

方式二

可以看到確實有MDL_SHARED_READ(SR)的存在，當前處于堵塞狀態(tài)

其兼容性如下：

顯然MDL_SHARED_READ(SR) 和MDL_SHARED_HIGH_PRIO(SH)是不兼容的需要等待。

五、關(guān)于DROP TABLE A Waiting for table metadata lock的分析

這一點很好分析因為A表上了X鎖而DROP TABLE A必然上MDL_EXCLUSIVE(X)鎖它當然和MDL_EXCLUSIVE(X)不兼容。如下：

方式一

方式二

其中EXCLUSIVE就是我們說的MDL_EXCLUSIVE(X)它確實存在當前處于堵塞

六、為何use db也會堵塞？

如果使用mysql客戶端不使用-A選項(或者 no-auto-rehash)在USE DB的時候至少要做如下事情：

1、 對db下每個表上MDL (SH) lock如下（調(diào)用MDL_context::acquire_lock 這里給出堵塞時候的信息）

方式一

方式二

可以看到USE DB確實也因為MDL_SHARED_HIGH_PRIO(SH) 發(fā)生了堵塞。

2、對每個表加入到table cache，并且打開表(調(diào)用open_table_from_share())

那么這種情況就和SHOW TABLE STATUS[like 'A']被堵塞的情況一模一樣了，也是由于MDL 鎖不兼容造成的。

分析梳理

有了前面的分析那么我們可以梳理這個故障發(fā)生的原因如下：

有一個在B表上長期未提交的DML
語句會在innodb層對B表某些數(shù)據(jù)加innodb row lock。

由步驟1引起了CREATE TABLE A AS SELECT B的堵塞
因為RR模式下SELECT B必然對B表上滿足的數(shù)據(jù)上鎖，因為步驟1已經(jīng)加鎖所以觸發(fā)等待，STATE為sending data。

由步驟2引起了其他語句的堵塞
因為CRATE TABLE A AS SELECT B在A表建立完成之前會上MDL_EXCLUSIVE(X),這把鎖會堵塞其他全部的關(guān)于A表的語句，包括DESC/SHOW TABLE STATUS/USE DB(非-A) 這種只上MDL_SHARED_HIGH_PRIO(SH)MDL LOCK 的語句。STATE統(tǒng)一為Waiting for table metadata lock。

模擬測試

測試環(huán)境：

5.7.14

GITD關(guān)閉

RR隔離級別

使用腳本：

步驟如下：

session1