| 參數(shù) | 默認(rèn)值 | 參數(shù)解釋 |
| --check-slave-lag | 指定主從復(fù)制延遲大于選項'--max-lag'指定的值之后暫停歸檔操作。默認(rèn)情況下，工具會檢查所有的從庫，但該選項只作用于指定的從庫(通過DSN連接方式)。 | |
| --check-interval | 1s | 如果同時指定了選項'--check-slave-lag'，則該選項指定的時間為工具發(fā)現(xiàn)主從復(fù)制延遲時暫停的時間。每進行操作100行時進行一次檢查。 |
| --[no]check-charset | yes | 指定檢查確保數(shù)據(jù)庫連接時字符集和表字符集相同。 |
| --commit-each | 指定按每次獲取和歸檔的行數(shù)進行提交，該選項會禁用選項'--txn-size'。 在每次獲取表數(shù)據(jù)并進行歸檔之后，在獲取下一次數(shù)據(jù)和選項'--sleep'指定的休眠時間之前，進行事務(wù)提交和刷新選項'--file'指定的文件，通過選項'--limit'控制事務(wù)的大小。 | |
| --host，-h | 指定連接的數(shù)據(jù)庫IP地址。 | |
| --port，-P | 指定連接的數(shù)據(jù)庫Port端口。 | |
| --user，-u | 指定連接的數(shù)據(jù)庫用戶。 | |
| --password，-p | 指定連接的數(shù)據(jù)庫用戶密碼。 | |
| --socket，-S | 指定使用SOCKET文件連接。 | |
| --databases，-d | 指定連接的數(shù)據(jù)庫 | |
| --source | 指定需要進行歸檔操作的表，該選項是必須指定的選項，使用DSN方式表示。 | |
| --dest | 指定要歸檔到的目標(biāo)端表，使用DSN方式表示。 如果該選項沒有指定的話，則默認(rèn)與選項'--source'指定源端表為相同表。 | |
| --where | 指定通過WHERE條件語句指定需要歸檔的數(shù)據(jù)，該選項是必須指定的選項。不需要加上'WHERE'關(guān)鍵字，如果確實不需要WHERE條件進行限制，則指定'--where 1=1'。 | |
| --file | 指定表數(shù)據(jù)需要歸檔到的文件。使用類似MySQL DATE_FORMAT()格式化命名方式。 文件內(nèi)容與MySQL中SELECT INTO OUTFILE語句使用相同的格式，文件命名選項如下所示： ' %Y：年，4位數(shù)(Year, numeric, four digits) %m：月，2位數(shù)(Month, numeric (01..12)) %d：日，2位數(shù)(Day of the month, numeric (01..31)) %H：小時(Hour (00..23)) %i：分鐘(Minutes, numeric (00..59)) %s：秒(Seconds (00..59)) %D：數(shù)據(jù)庫名(Database name) %t：表名(Table name) 例如：--file '/var/log/archive/%Y-%m-%d-%D.%t' ' | |
| --output-format | 指定選項'--file'文件內(nèi)容輸出的格式。 默認(rèn)不指定該選項是以制表符進行字段的分隔符，如果指定該選項，則使用','(逗號)作為字段分隔符，使用'"'(雙引號)將字段括起。用法示例：'--output-format=dump'。 | |
| --limit | 1 | 指定每條語句獲取表和歸檔表的行數(shù)。 |
| --max-lag | 1s | 指定允許主從復(fù)制延遲時長的最大值，單位秒。如果在每次獲取行數(shù)據(jù)之后主從延遲超過指定的值，則歸檔操作將暫停執(zhí)行，暫停休眠時間為選項'--check-interval'指定的值。待休眠時間結(jié)束之后再次檢查主從延遲時長，檢查方法是通過從庫查詢的'Seconds_Behind_Master'值來確定。如果主從復(fù)制延遲一直大于該參數(shù)指定值或者從庫停止復(fù)制，則操作將一直等待直到從庫重新啟動并且延遲小于該參數(shù)指定值. |
| --no-delete | 指定不刪除已被歸檔的表數(shù)據(jù)。 | |
| --progress | 指定每多少行打印進度信息，打印當(dāng)前時間，已用時間以及多少行進行歸檔。 | |
| --purge | 指定執(zhí)行的清除操作而不是歸檔操作。允許忽略選項'--dest'和'--file'進行操作，如果只是清除操作可以結(jié)合選項'--primary-key-only'會更高效。 | |
| --replace | 指定寫入選項'--dest'指定目標(biāo)端表時改寫INSERT語句為REPLACE語句。 | |
| --retries | 1 | 指定歸檔操作遇到死鎖或超時的重試次數(shù)。當(dāng)重試次數(shù)超過該選項指定的值時，工具將報錯退出。 |
| --run-time | 指定工具歸檔操作在退出之前需要運行的時間。允許的時間后綴名為s=秒，m=分，h=小時，d=天，如果沒指定，默認(rèn)為s。 | |
| --[no]safe-auto-increment | yes | 指定不使用自增列(AUTO_INCREMENT)最大值對應(yīng)的行進行歸檔。 該選項在進行歸檔清除時會額外添加一條WHERE子句以防止工具刪除單列升序字段具有的具有AUTO_INCREMENT屬性最大值的數(shù)據(jù)行，為了在數(shù)據(jù)庫重啟之后還能使用到AUTO_INCREMENT對應(yīng)的值，但這會引起無法歸檔或清除字段對應(yīng)最大值的行。 |
| --sleep | 指定工具在通過SELECT語句獲取歸檔數(shù)據(jù)需要休眠的時間，默認(rèn)值是不進行休眠。在休眠之前事務(wù)并不會提交，并且選項'--file'指定的文件不會被刷新。如果指定選項'--commit-each'，則在休眠之前會進行事務(wù)提交和文件刷新。 | |
| --statistics | 指定工具收集并打印操作的時間統(tǒng)計信息。 | |
| --txn-size | 1 | 指定每個事務(wù)處理的行數(shù)。如果是0則禁用事務(wù)功能。 |
| --why-quit | 指定工具打印當(dāng)非因完成歸檔行數(shù)退出的原因。 在執(zhí)行一個自動歸檔任務(wù)時該選項與選項'--run-time'一起使用非常方便，這樣可以確定歸檔任務(wù)是否在指定的時間內(nèi)完成。如果同時指定了選項'--statistics'，則會打印所有退出的原因。 | |
| --skip-foreign-key-checks | 指定使用語句SET FOREIGN_KEY_CHECKS = 0禁用外鍵檢查。 |
1. 執(zhí)行python db_archive_exec.py 127.0.0.1 db123 報錯
Traceback (most recent call last):
File "/data/mysql_archiver/mysql_archiver-master/db_archive_exec.py", line 7, in module>
import db_conn
File "/data/mysql_archiver/mysql_archiver-master/db_conn.py", line 4, in module>
import MySQLdb
ImportError: No module named MySQLdb
解決方案:
Step 1 基礎(chǔ)環(huán)境
rm -rf /etc/yum.repos.d/epel* yum install postgresql-devel python3-devel postgresql-devel python-devel
Step 2安裝setuptools
（1） 下載 setuptools-39.2.0.zip
（2） 解壓安裝 python setup.py build
python setup.py install
step 3 安裝pip
（1） 下載 pip-1.5.4.tar.gz （2） 安裝 python setup.py install
step 4 安裝MySQL-python
yum install MySQL-python
2.報錯缺少pt-archiver工具
sh: pt-archiver: command not found
解決方案：
下載percona-toolkit-3.2.1_x86_64.tar.gz,安裝，并且設(shè)置個軟連接。
例如:
ln -s /data/mysql_archiver/percona-toolkit-3.2.1/bin/pt-archiver /usr/local/bin/pt-archiver
3.缺少文檔
type 'exceptions.Exception'> [Errno 2] No such file or directory: u'/software/python_script/db_archive_XXXXdb_XXXtablename.log'
解決方案:
創(chuàng)建文檔:/software/python_script
4.字符集問題
Character set mismatch: --source DSN uses utf8, table uses utf8mb4. You can disable this check by specifying --no-check-charset.
解決方案:
修改db_archive_exec.py可執(zhí)行文件，針對pt-archiver添加參數(shù)--no-check-charset
5.參數(shù)設(shè)置報錯
Usage: pt-archiver [OPTIONS] --source DSN --where WHERE Errors in command-line arguments: * --txn-size and --commit-each are mutually exclusive. pt-archiver nibbles records from a MySQL table. The --source and --dest arguments use DSN syntax; if COPY is yes, --dest defaults to the key's value from --source. For more details, please use the --help option, or try 'perldoc /usr/local/bin/pt-archiver' for complete documentation.
解決方案:
pt-archiver去掉參數(shù)--commit-each
6.Cannot find encoding "utf8mb4"
報錯信息:
Cannot find encoding "utf8mb4" at /usr/local/bin/pt-archiver line 6711.
解決方案:
pt-archiver去掉參數(shù) --bulk-insert --bulk-delete
1.MySQL數(shù)據(jù)歸檔實戰(zhàn)-Python和pt-archiver的強強結(jié)合
https://blog.csdn.net/n88lpo/article/details/78905528?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-14spm=1001.2101.3001.4242
2.MySQL數(shù)據(jù)歸檔小工具
https://github.com/dbarun/mysql_archiver#readme
3.在linux下安裝MySQLdb及基本操作
https://www.cnblogs.com/blogsme/archive/2012/12/12/2814588.html
4.pt工具之pt-archiver
https://www.cnblogs.com/yhq1314/p/10601801.html
5.linux下pip的安裝步驟及使用詳解
https://www.jb51.net/article/118035.htm
6.Percona-Toolkit 之 pt-archiver 總結(jié)
https://www.cnblogs.com/dbabd/p/10721857.html
到此這篇關(guān)于MySQL數(shù)據(jù)歸檔小工具mysql_archiver詳解的文章就介紹到這了,更多相關(guān)MySQL數(shù)據(jù)歸檔內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
標(biāo)簽：拉薩 黔東 沈陽 移動 珠海 鹽城 徐州 沈陽
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《MySQL數(shù)據(jù)歸檔小工具mysql_archiver詳解》，本文關(guān)鍵詞 MySQL,數(shù)據(jù),歸檔,小,工具,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。