背景
navicat是mysql可視化工具中最棒的，但是，在處理視圖的導(dǎo)入導(dǎo)出方面，它是按照視圖名稱的字母順序來(lái)處理的，若視圖存在依賴，在導(dǎo)入過(guò)程中就會(huì)報(bào)錯(cuò)。前面已經(jīng)用python寫(xiě)了一個(gè)，但在使用過(guò)程中，遇到xfffd編碼，python的pymysql會(huì)直接崩潰。發(fā)現(xiàn)golang沒(méi)有這個(gè)問(wèn)題，正好用go重寫(xiě)，來(lái)熟悉golang。
一些關(guān)鍵點(diǎn)
- map json，在處理主鍵與外鍵信息時(shí)，需要用到j(luò)son數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)中間結(jié)果，因?yàn)橐`活處理，在golang中只能用map[string]interface{}來(lái)處理。
- interface{} 相當(dāng)于java中的object，能接受任意數(shù)據(jù)類型，方便但在使用時(shí)要做到心中有數(shù)，不然一旦數(shù)據(jù)類型不匹配，程序就會(huì)崩潰。
- xfffd ，utf8中的占位符，超出范圍的utf8mb4入庫(kù)后，會(huì)被存儲(chǔ)為xfffd，數(shù)據(jù)導(dǎo)出時(shí)，需要過(guò)濾掉。
- goroutine， golang的并發(fā)支持很獨(dú)特，我們的工具支持多個(gè)庫(kù)同時(shí)備份，很容易使用goroutine來(lái)實(shí)現(xiàn)并行。
代碼解析
按功能模塊對(duì)核心代碼進(jìn)行說(shuō)明
main.go，并發(fā)、命令行參數(shù)
使用命令行參數(shù)，接受一個(gè)參數(shù)，來(lái)指定備份的內(nèi)容
package common
type OpFlag struct {
Tables bool //表結(jié)構(gòu)
Datum bool //表結(jié)構(gòu)和數(shù)據(jù)
Views bool //視圖
Funcs bool //函數(shù)與存儲(chǔ)過(guò)程
}
main.go，程序入口，處理命令行參數(shù)
if len(os.Args) > 1 {
flag = common.OpFlag{
Tables: false,
Datum: false,
Views: false,
Funcs: false,
}
switch os.Args[1] { //接受一個(gè)參數(shù)
case "table":
flag.Tables = true //根據(jù)參數(shù)設(shè)定標(biāo)識(shí)量
case "data":
flag.Tables = true
flag.Datum = true
case "views":
flag.Views = true
case "funcs":
flag.Funcs = true
default: //參數(shù)不正確，報(bào)錯(cuò)退出
log.Fatal("You arg must be in : table, data, views or funcs.")
}
}else{ //無(wú)參數(shù)，默認(rèn)導(dǎo)出所有
flag = common.OpFlag{
Tables: true,
Datum: true,
Views: true,
Funcs: true,
}
}
err := backUp.Export(flag) 根據(jù)參數(shù)進(jìn)行數(shù)據(jù)庫(kù)備份
Export.go
備份主流程，根據(jù)configs.json生成goroutine來(lái)備份數(shù)據(jù)庫(kù)，并等待完成。
var configs interface{}
fr, err := os.Open("./configs.json")
if err != nil {
return err
}
decoder := json.NewDecoder(fr) //解析配置文件
err = decoder.Decode(configs)
confs := configs.(map[string]interface{})
workDir := confs["workDir"].(string)
ch := make(chan string) //通道變量
for key, value := range confs {
if strings.HasPrefix(key, "db_") {
dbConf := value.(map[string]interface{})
dbConn := common.DbConnFields{ //數(shù)據(jù)庫(kù)相應(yīng)配置
DbHost: dbConf["db_host"].(string),
DbPort: int(dbConf["db_port"].(float64)),
DbUser: dbConf["db_user"].(string),
DbPass: dbConf["db_pass"].(string),
DbName: dbConf["db_name"].(string),
DbCharset: dbConf["db_charset"].(string),
}
if dbConf["file_alias"] != nil { //生成sql備份文件的命名
dbConn.FileAlias = dbConf["file_alias"].(string)
}
go ExportOne(dbConn, workDir, ch, flag) //創(chuàng)建協(xié)程
}
}
for key := range confs { //阻塞主進(jìn)程，待所有協(xié)程完成工作
if strings.HasPrefix(key, "db_") {
fmt.Print( - ch )
}
}
return nil
你需要編寫(xiě)如下的配置文件來(lái)描述你要備份的數(shù)據(jù)庫(kù)：
{
"db_name1": {
"db_host": "192.168.1.8",
"db_port": 3306,
"db_user": "root",
"db_pass": "123456",
"db_name": "name1",
"db_charset": "utf8mb4",
"file_alias": "file name1"
},
"db_name2": {
"db_host": "localhost",
"db_port": 3306,
"db_user": "root",
"db_pass": "123456",
"db_name": "name2",
"db_charset": "utf8mb4"
},
"database_dialect": "mysql",
"workDir": "/home/zhoutk/gocodes/goTools/"
}
ExportOne.go
備份一個(gè)數(shù)據(jù)庫(kù)
fileName ：= fields.FileAlias
setSqlHeader(fields, fileName) //設(shè)置導(dǎo)出文件說(shuō)明
if flag.Tables { //如果表設(shè)置為真，導(dǎo)出表結(jié)構(gòu)
err := exportTables(fileName, fields, flag) //具體算法請(qǐng)參照源代碼
if err != nil {
ch - fmt.Sprintln("Error: ", fields.DbName, "\t export tables throw, \t", err)
return
}
}
if flag.Views { //如果視圖設(shè)置為真，導(dǎo)出視圖
err := exportViews(fileName, fields)//具體算法請(qǐng)參照源代碼，或python算法
if err != nil {
ch - fmt.Sprintln("Error: ", fields.DbName, "\t export views throw, \t", err)
return
}
}
if flag.Funcs { //如果函數(shù)設(shè)置為真，導(dǎo)出函數(shù)和存儲(chǔ)過(guò)程
err := exportFuncs(fileName, fields)//具體算法請(qǐng)參照源代碼
if err != nil {
ch - fmt.Sprintln("Error: ", fields.DbName, "\t export funcs throw, \t", err)
return
}
}
//導(dǎo)出工作完成，向通道輸入信息
ch - fmt.Sprintln("Export ", fields.DbName, "\t success at \t", time.Now().Format("2006-01-02 15:04:05"))
MysqlDao.go
數(shù)據(jù)庫(kù)查詢通用封裝,此工具只使用了ExecuteWithDbConn。靈活的使用map與interface{}，將結(jié)果轉(zhuǎn)化為鍵值對(duì)象返回。
func ExecuteWithDbConn(sql string, values []interface{}, fields common.DbConnFields) (map[string]interface{}, error) {
rs := make(map[string]interface{})
dao, err := mysql.Open("mysql", fields.DbUser + ":"+fields.DbPass+"@tcp("+fields.DbHost+":"+
strconv.Itoa(fields.DbPort)+")/"+fields.DbName+"?charset="+fields.DbCharset)
defer dao.Close()
if err != nil {
rs["code"] = 204
return rs, err
}
stmt, err := dao.Prepare(sql)
if err != nil {
rs["code"] = 204
return rs, err
}
rows, err := stmt.Query(values...)
if err != nil {
rs["code"] = 204
return rs, err
}
columns, err := rows.Columns() //取出字段名稱
vs := make([]mysql.RawBytes, len(columns))
scans := make([]interface{}, len(columns))
for i := range vs { //預(yù)設(shè)取值地址
scans[i] = vs[i]
}
var result []map[string]interface{}
for rows.Next() {
_ = rows.Scan(scans...) //塡入一列值
each := make(map[string]interface{})
for i, col := range vs {
if col != nil {
each[columns[i]] = FilterHolder(string(col)) //過(guò)濾/xfffd
}else{
each[columns[i]] = nil
}
}
result = append(result, each)
}
rs["code"] = 200
//data, _ := json.Marshal(result)
rs["rows"] = result
return rs, err
}
項(xiàng)目地址
https://github.com/zhoutk/goTools
使用方法
git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run main.go
go buid main.go
./main #export all things of database
./main table #export tables
./main data #export tables data
./main views #export views
./main funcs #export funcs stored procedures
總結(jié)
以上所述是小編給大家介紹的golang實(shí)現(xiàn)mysql數(shù)據(jù)庫(kù)備份的操作方法，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
您可能感興趣的文章:- Golang操作MySql數(shù)據(jù)庫(kù)的完整步驟記錄
- 如何利用Golang解析讀取Mysql備份文件
- Golang中如何對(duì)MySQL進(jìn)行操作詳解
- golang gorm 操作mysql及gorm基本用法
- 在golang中操作mysql數(shù)據(jù)庫(kù)的實(shí)現(xiàn)代碼
- golang中連接mysql數(shù)據(jù)庫(kù)
