濮阳杆衣贸易有限公司

主頁(yè) > 知識(shí)庫(kù) > MySQL如何優(yōu)雅的刪除大表實(shí)例詳解

MySQL如何優(yōu)雅的刪除大表實(shí)例詳解

熱門(mén)標(biāo)簽:福州呼叫中心外呼系統(tǒng)哪家好 沃克斯電梯外呼線(xiàn)路圖 北京人工外呼系統(tǒng)價(jià)錢(qián) 云南語(yǔ)音外呼系統(tǒng)平臺(tái) 400電話(huà)鄭州申請(qǐng) 天智外呼系統(tǒng) 常州電銷(xiāo)外呼系統(tǒng)一般多少錢(qián) 地圖標(biāo)注被騙三百怎么辦 房產(chǎn)智能外呼系統(tǒng)品牌

前言

刪除表,大家下意識(shí)想到的命令可能是直接使用DROP TABLE "表名",這是初生牛犢的做法,因?yàn)楫?dāng)要?jiǎng)h除的表達(dá)空間到幾十G,甚至是幾百G的表時(shí)候。這樣一條命令下去,MySQL可能就直接夯住了,外在表現(xiàn)就是QPS急速下降,客戶(hù)請(qǐng)求變慢。

解決辦法

1.業(yè)務(wù)低峰時(shí)間手動(dòng)執(zhí)行刪除

這個(gè)可能就需要DBA不辭辛勞,大晚上爬起來(lái)刪表了。

2.先清除數(shù)據(jù),最后再刪除的方式

譬如1000萬(wàn)條數(shù)據(jù),寫(xiě)腳本每次刪除20萬(wàn),睡眠一段時(shí)間,繼續(xù)執(zhí)行。這樣也能做到對(duì)用戶(hù)無(wú)感知。

3.對(duì)表文件(idb文件)做一個(gè)硬鏈接來(lái)加速刪除

這個(gè)方法利用了linux下硬鏈接的知識(shí),來(lái)進(jìn)行快速刪除,不記得話(huà)可以回去翻一下《鳥(niǎo)哥的linux私房菜》

ln data_center_update_log.ibd data_center_update_log.ibd.hdlk

[root@mysql01 sports_center]# ll
總用量 19903792
-rw-r----- 1 mysql mysql  9076 10月 17 13:15 data_center_update_log.frm
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

執(zhí)行上面命令后,我們就多了一個(gè)data_center_update_log.ibd.hdlk文件。此操作實(shí)際上不會(huì)占用磁盤(pán)空間,只是增加了一次對(duì)磁盤(pán)上文件的引用。

當(dāng)我們刪除其中任何一個(gè)文件時(shí),都不會(huì)影響磁盤(pán)上真實(shí)的文件,只是將其引用數(shù)目減去1。當(dāng)被引用的數(shù)目變?yōu)?的時(shí)候,再去刪除文件,才會(huì)真正做IO來(lái)刪除它。

正是利用這個(gè)特點(diǎn),將由原來(lái)mysql來(lái)刪除大文件的操作,轉(zhuǎn)換為一個(gè)簡(jiǎn)單的操作系統(tǒng)級(jí)的文件刪除,從而減少了對(duì)mysql的影響。

4.登陸mysql,執(zhí)行drop表操作

很快,200萬(wàn)條數(shù)據(jù)只用了1秒完成,此操作是在創(chuàng)建硬鏈接后執(zhí)行的

mysql> drop tables data_center_update_log;
Query OK, 0 rows affected (1.02 sec)


mysql> exit
Bye

退出來(lái),再次查看數(shù)據(jù)目錄,發(fā)現(xiàn)就只剩data_center_update_log.ibd.hdlk硬鏈接文件了
[root@mysql01 sports_center]# ll
總用量 19903792
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

5.如何正確刪除ibd.hdlk硬鏈接文件呢

  • 雖然drop table之后,剩下的硬鏈接文件已經(jīng)和mysql沒(méi)有關(guān)系了。但如果文件過(guò)大,直接用rm命令來(lái)刪除,也是會(huì)造成IO開(kāi)銷(xiāo)飆升,CPU負(fù)載過(guò)高,進(jìn)而影響到MySQL。
  • 這里我們用到的方法,可以循環(huán)分塊刪除,慢慢地清理文件,通過(guò)一個(gè)腳本即可搞定
  • Truncate命令通常用于將文件縮小或擴(kuò)展到指定的大小。如果文件大于指定的大小,則會(huì)丟失額外的數(shù)據(jù)。如果文件較短,則會(huì)對(duì)其進(jìn)行擴(kuò)展,并且擴(kuò)展部分的讀數(shù)為零字節(jié)。

5.1 安裝truncate命令

[root@mysql01 ~]# cruncate
-bash: cruncate: 未找到命令
通常操作系統(tǒng)會(huì)安裝truncate命令,該命令在coreutils安裝包里面,如果沒(méi)有安裝可以使用下面命令安裝

[root@mysql01 ~]# yum provides truncate
coreutils-8.22-24.el7.x86_64 : A set of basic GNU tools commonly used in shell scripts
源  :base
匹配來(lái)源:
文件名  :/usr/bin/truncate

可以看到truncate由coreutils安裝包提供,下面安裝coreutils安裝包:

[root@mysql01 ~]# yum install -y coreutils

5.2 truncate常用選項(xiàng)

-c, --no-create --> 不創(chuàng)建任何文件
-o, --io-blocks --> 將大小視為存儲(chǔ)塊的數(shù)量,而不是字節(jié)
-r, --reference=RFILE --> 參考指定的文件大小
-s, --size=SIZE --> 按照指定的字節(jié)設(shè)置文件大小

5.3 truncate_bigfile.sh腳本

原理:使用truncate -s選項(xiàng)可以指定文件大小,通過(guò)腳本指定每次文件減少的大小,并sleep睡眠一定時(shí)間,從而達(dá)到可控的刪除文件

附:truncate_bigfile.sh腳本

#! /bin/bash
#

TRUNCATE=/usr/bin/truncate
FILE=$1

if [ x"$1" = x ];then
 echo "Please input filename in"
 exit 1;
else
 SIZE_M=$(du -sm "$1" | awk '{print $1}')

 for i in $(seq "${SIZE_M}" -100 0)
 do
 sleep 1
 echo "${TRUNCATE} -s ${i}M ${FILE}"
 ${TRUNCATE} -s "${i}"M "${FILE}"
 done
fi

if [ $? -eq 0 ];then
    \rm -f "${FILE}"
else
    echo "Please check file"
fi

總結(jié)

到此這篇關(guān)于MySQL如何優(yōu)雅的刪除大表的文章就介紹到這了,更多相關(guān)MySQL優(yōu)雅刪除大表內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • mysql 大表批量刪除大量數(shù)據(jù)的實(shí)現(xiàn)方法
  • Innodb中mysql快速刪除2T的大表方法示例
  • MySQL 刪除大表的性能問(wèn)題解決方案
  • 淺談MySQL如何優(yōu)雅的做大表刪除

標(biāo)簽:黔東 珠海 移動(dòng) 徐州 鹽城 拉薩 沈陽(yáng) 沈陽(yáng)

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MySQL如何優(yōu)雅的刪除大表實(shí)例詳解》,本文關(guān)鍵詞  MySQL,如何,優(yōu)雅,的,刪除,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《MySQL如何優(yōu)雅的刪除大表實(shí)例詳解》相關(guān)的同類(lèi)信息!
  • 本頁(yè)收集關(guān)于MySQL如何優(yōu)雅的刪除大表實(shí)例詳解的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    景泰县| 绥芬河市| 尉犁县| 东明县| 壶关县| 蒙城县| 滁州市| 孝义市| 岢岚县| 隆化县| 遵义市| 睢宁县| 中方县| 宁阳县| 自贡市| 延吉市| 五家渠市| 略阳县| 湛江市| 达州市| 寿宁县| 白水县| 莱西市| 彰化县| 璧山县| 兴宁市| 邮箱| 汾西县| 菏泽市| 喀喇沁旗| 普定县| 泰来县| 来安县| 文安县| 临泉县| 莫力| 新宁县| 桂阳县| 融水| 定襄县| 会东县|