濮阳杆衣贸易有限公司

主頁 > 知識庫 > 在Docker中構(gòu)建長時間運行的腳本的一些方法

在Docker中構(gòu)建長時間運行的腳本的一些方法

熱門標簽:地圖標注用小紅旗 索契地圖標注app 儋州電銷機器人廠家 巴東單位怎么做地圖標注 電話外呼系統(tǒng)線路哪家公司做得好 成都人工外呼系統(tǒng)平臺 免費高德地圖標注 外呼系統(tǒng)工作推進 地圖標注員項目

我想我已經(jīng)找到了一個非常不錯的Docker使用案例。你是不是會覺得這是一篇寫Docker有多好多好的文章,開始之前我想和你確認,這篇文章會介紹如何把文件系統(tǒng)作為持久性的數(shù)據(jù)結(jié)構(gòu)。

因此,這篇文章的見解同樣適用于其他的 copy-on-write文件系統(tǒng),如BTRFS和ZFS。
問題

讓我們從這個我試圖解決的問題開始。我開發(fā)了一個會運行很長時間的構(gòu)建腳本,這個腳本中包含了很多的步驟。

    這個腳本會運行1-2個小時。
    它會從網(wǎng)絡(luò)下載比較大的文件(超過300M)。
    后面的構(gòu)建步驟依賴前期構(gòu)建的庫。

但最最煩人的是,運行這個腳本真的需要花很長的時間。
文件系統(tǒng)是固有狀態(tài)

我們一般是通過一種有狀態(tài)的方式與文件系統(tǒng)進行交互的。我們可以添加、刪除或移動文件。我們可以修改文件的 權(quán)限或者它的訪問時間。大部分獨立的操作都可以撤銷,例如將文件移動到其它地方后,你可以將文件恢復到原來的位置。但我們不會通過快照的方式來將它恢復到 原始狀態(tài)。這篇文章我將會介紹如何在耗時較長的腳本中充分利用快照這一特性。
使用聯(lián)合文件系統(tǒng)的快照

Docker使用的是聯(lián)合文件系統(tǒng)叫做AUFS(譯者注:簡單來說就是支持將不同目錄掛載到同一個虛擬文件系統(tǒng)下的文件系統(tǒng))。聯(lián)合文件系統(tǒng)實現(xiàn)了Union mount。顧名思義,也就是說不同的文件系統(tǒng)的文件和目錄可以分層疊加在單個連貫文件系統(tǒng)之上。這是通過分層的方式完成的。如果一個文件出現(xiàn)在兩個文件系統(tǒng),那最高層級的文件才會顯示(該文件其它版本也是存在于層級中的,不會改變,只是看不到的)。

在Docker中,每一個在Union mount轉(zhuǎn)哦給你的文件系統(tǒng)都被稱為layers(層)。使用這種技術(shù)可以輕松實現(xiàn)快照,每個快照都是所有層的一個Union mount。
生成腳本的快照

使用快照可以幫助構(gòu)建一個長時運行的腳本??偟南敕ㄊ牵瑢⒁粋€大的腳本分解為許多小的腳本(我喜歡稱之為 scriptlets),并單獨運行這些小的腳本,腳本運行后為其文件系統(tǒng)打一個快照 (Docker會自動執(zhí)行此操作)。如果你發(fā)現(xiàn)一個scriptlet運行失敗,你可以快速回退到上次的快照,然后再試一次。一旦你完成腳本的構(gòu)建,并且 可以保證腳本能正常工作,那你就可以將它分配給其它主機。

回過頭來再對比下,如果你沒有使用快照功能了?當你辛辛苦苦等待了一個半小時后,腳本卻構(gòu)建失敗了,我想除了少部分有耐心的人外,很多人是不想再來一次了,當然,你也會盡最大努力把系統(tǒng)恢復到失敗前的狀態(tài),比如可以刪除一個目錄或運行make clean。

但是,我們可能沒有真正地理解我們正在構(gòu)建的組件。它可能有復雜的Makefile,它會把把文件放到文件系統(tǒng)中我們不知道的地方,唯一真正確定的途徑是恢復到快照。
使用快照構(gòu)建腳本的Docker

在本節(jié)中,我將介紹我是如何使用Docker實現(xiàn)GHC7.8.3 ARM交叉編譯器的構(gòu)建腳本。Docker非常適合做這件事,但并非完美。我做了很多看起來沒用的或者不雅的事情,但都是必要的,這都是為了保證將開發(fā)腳本的總時間降到最低限度。構(gòu)建腳本可以在這里找到。
用Dockerfile構(gòu)建

Docker通過讀取Dockerfile來構(gòu)建鏡像。Dockerfile會通過一些命令來具體指定應該執(zhí)行哪些動作。在我的腳本中主要用到WORKDIR、ADD和RUN。ADD命令非常有用因為它可以讓你在運行之前將外部文件添加到當前Docker鏡像中然后轉(zhuǎn)換成鏡像的文件系統(tǒng)。你可以在這里看到很多scriptlets構(gòu)成的構(gòu)建腳本。
設(shè)計

1. 在RUN之前ADD scriptlets

如果你很早就將所有的scriptletsADD在Dockerfile,您可能會遇到以下問題:如果你的腳本構(gòu)建失敗,你回去修改scriptlet并再次運行docker build。但是你發(fā)現(xiàn),Docker開始在首次加入scriptlets的地方構(gòu)建!這樣做會浪費了大量的時間并且違背了使用快照的目的。

出現(xiàn)這種情況的原因是由于Docker處理它的中間鏡像(快照)的方式。當Docker通過Dockerfile構(gòu)建鏡像時,它會與中間鏡像比較當前命令是否一致。然而,在ADD命令的情況下被裝進鏡像的文件里的內(nèi)容也會被檢查。如果相對于現(xiàn)有的中間鏡像,文件已經(jīng)改變,那么Docker也別無選擇,只能從這點開始建立一個新的鏡像。因為Docker不知道這些變化會不會影響到構(gòu)建。

此外,使用RUN命令要注意,每次運行時它都會導致文件系統(tǒng)有不同的更改。在這種情況下,Docker會發(fā)現(xiàn)中間鏡像并使用它,但是這將是錯誤的。RUN命令每次運行時會造成文件系統(tǒng)相同的改變。舉個例子,我確保在我的scriptlets我總是下載了一個已知版本的文件與一個特定MD5校驗。

對Docker 構(gòu)建緩存更詳細的解釋可以在這里找到。

2.不要使用ENV命令來設(shè)置環(huán)境變量,請使用scriptlet。

它似乎看起來很有誘惑力:使用ENV命令來設(shè)置所有構(gòu)建腳本需要的環(huán)境變量。但是,它不支持變量替換的方式,例如 ENV BASE=$HOME/base 將設(shè)置BASE的值為$HOME/base著很可能不是你想要的。

相反,我用ADD命令添加一個名為set-env.sh文件。此文件會包含在后續(xù)的scriptlet中:

   

復制代碼
代碼如下:
THIS_DIR="$(nbsp;cdnbsp;"$(nbsp;dirnamenbsp;"${BASH_SOURCE[0]}"nbsp;)"nbsp;nbsp;pwdnbsp;)"
sourcenbsp;$THIS_DIR/set-env-1.sh

如果你沒有在第一時間獲取set-env.sh會怎么樣呢?它很早就被加入Dockerfile并不意味著修改它將會使隨后的快照無效?

是的,這會有問題。在開發(fā)腳本時,我發(fā)現(xiàn),我已經(jīng)錯過了在set-env.sh添加一個有用的環(huán)境變量。解決方案是創(chuàng)建一個新的文件set-env-1.sh包含:

   

復制代碼
代碼如下:
THIS_DIR="$(nbsp;cdnbsp;"$(nbsp;dirnamenbsp;"${BASH_SOURCE[0]}"nbsp;)"nbsp;nbsp;pwdnbsp;)"
sourcenbsp;$THIS_DIR/set-env.sh
ifnbsp;!nbsp;[nbsp;-enbsp;"$CONFIG_SUB_SRC/config.sub"nbsp;]nbsp;;nbsp;then
CONFIG_SUB_SRC=${CONFIG_SUB_SRC:-$NCURSES_SRC}
fi

然后,在所有后續(xù)的scriptlets文件中包含了此文件?,F(xiàn)在,我已經(jīng)完成了構(gòu)建腳本,我可以回去解決這個問題了,但是,在某種意義上,它會破壞最初的目標。我將不得不從頭開始運行構(gòu)建腳本看看這種變化是否能成功。
缺點

一個主要缺點是這種方法是,所構(gòu)建的鏡像尺寸是大于它實際需求的尺寸。在我的情況下尤其如此,因為我在最后刪除了大量文件的。然而,這些文件都仍然存在于聯(lián)合掛載文件系統(tǒng)的底層文件系統(tǒng)內(nèi),所以整個鏡像是大于它實際需要的大小至少多余的是刪除文件的大小。

然而,有一個變通。我沒有公布此鏡像到Docker Hub Registry。相反,我:

    使用docker export導出內(nèi)容為tar文件。
    創(chuàng)建一個新的Dockerfile簡單地添加了這個tar文件的內(nèi)容。

產(chǎn)生尺寸盡可能小的鏡像。
結(jié)論

這種方法的優(yōu)點是雙重的:

    它使開發(fā)時間降至最低,不再做那些已經(jīng)構(gòu)建成功的子組件。你可以專注于那些失敗的組件。
    這非常便于維護構(gòu)建腳本。構(gòu)建可能會失敗,但只要你搞定Dockerfiel,至少你不必再從頭開始。

標簽:茂名 儋州 龍巖 長春 安康 鶴壁 鄂州 江蘇

巨人網(wǎng)絡(luò)通訊聲明:本文標題《在Docker中構(gòu)建長時間運行的腳本的一些方法》,本文關(guān)鍵詞  在,Docker,中,構(gòu)建,長時間,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《在Docker中構(gòu)建長時間運行的腳本的一些方法》相關(guān)的同類信息!
  • 本頁收集關(guān)于在Docker中構(gòu)建長時間運行的腳本的一些方法的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    久治县| 孝义市| 青河县| 巧家县| 思南县| 丘北县| 永兴县| 昌图县| 清水县| 获嘉县| 沧源| 北碚区| 体育| 铜鼓县| 花莲市| 延吉市| 鄂伦春自治旗| 深圳市| 循化| 洪洞县| 怀来县| 武宣县| 永川市| 阳春市| 来凤县| 大埔县| 团风县| 平潭县| 满洲里市| 丹东市| 瑞丽市| 福安市| 开江县| 双桥区| 岱山县| 南京市| 宜都市| 蒲江县| 仪陇县| 垫江县| 深水埗区|