濮阳杆衣贸易有限公司

主頁 > 知識(shí)庫 > Linux如何提高大文件的拷貝效率以節(jié)約時(shí)間

Linux如何提高大文件的拷貝效率以節(jié)約時(shí)間

熱門標(biāo)簽:河南智能電話機(jī)器人公司 地球地圖標(biāo)注方法 新鄭電銷外呼系統(tǒng)線路 怎樣給景區(qū)加百度地圖標(biāo)注 河北語音電銷機(jī)器人 商戶地圖標(biāo)注 壽光百度地圖標(biāo)注中心網(wǎng)站 樺甸電銷機(jī)器人 電話機(jī)器人哪里有賣的

  Linux系統(tǒng)操作中,當(dāng)你在進(jìn)行機(jī)器直接的拷貝時(shí),遇到大文件的時(shí)候非常浪費(fèi)時(shí)間,特別是將文件同時(shí)拷貝到多臺(tái)機(jī)器上的時(shí)候,那么有什么好的方法能夠提高大文件的拷貝效率呢?一起來學(xué)習(xí)下吧。

  你可以從源機(jī)器逐個(gè)拷貝到逐臺(tái)目標(biāo)機(jī)器,但是往往時(shí)間也是成倍的?;蛘吣阋部梢酝瑫r(shí)從源機(jī)器同時(shí)拷貝到多個(gè)目標(biāo)機(jī)器,但是受制于源機(jī)器的帶寬等因素,速度并不見得真的很快。

  還好,借助一些UNIX工具可以做的更好。把tee和FIFO組合起來,可以形成一個(gè)文件快速分發(fā)鏈:處于分發(fā)鏈中的每臺(tái)機(jī)器會(huì)保存文件,同時(shí)還分發(fā)給它的下一環(huán)。

  首先,選定一臺(tái)目標(biāo)機(jī)器做為分發(fā)鏈的最后一環(huán),在這臺(tái)機(jī)器上只需要用nc監(jiān)聽(假定端口是1234),再通過管道由pigz解壓縮,繼續(xù)通過管道把數(shù)據(jù)交由tar來分解。

  nc -l 1234| pigz -d | tar xvf -

  然后,再從分發(fā)鏈的末端往上走,設(shè)置其它目標(biāo)機(jī)器,同樣要經(jīng)過監(jiān)聽、解壓、分解,不過在解壓之前我們通過tee命令將數(shù)據(jù)輸出到命名管道(FIFO),另外的一條shell管道會(huì)將這些未解壓的數(shù)據(jù)同時(shí)分發(fā)到分發(fā)鏈的下一環(huán):

  mkfifo myfifo

  nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -

  最后,在源機(jī)器上啟動(dòng)分發(fā)鏈,讓數(shù)據(jù)傳輸?shù)椒职l(fā)鏈的第一環(huán):

  tar cv some_files | pigz | nc hostname_of_first_box 1234

  在我的測(cè)試中,分發(fā)鏈中的每臺(tái)機(jī)器大概損失了3%-10%的性能(相對(duì)于1對(duì)1的拷貝而言),但是相對(duì)逐個(gè)逐個(gè)的拷貝或者單臺(tái)機(jī)器向多臺(tái)機(jī)器同時(shí)分發(fā),效率提升是很明顯的。

  上面就是Linux提高大文件拷貝效率的方法介紹了,主要通過UNIX工具形成一個(gè)文件快速分發(fā)鏈來實(shí)現(xiàn)大文件的快速拷貝,效率提高了不少。

標(biāo)簽:懷化 廣州 遵義 六安 喀什 咸陽 湖北 阿壩

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Linux如何提高大文件的拷貝效率以節(jié)約時(shí)間》,本文關(guān)鍵詞  Linux,如何,提,高大,文件,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Linux如何提高大文件的拷貝效率以節(jié)約時(shí)間》相關(guān)的同類信息!
  • 本頁收集關(guān)于Linux如何提高大文件的拷貝效率以節(jié)約時(shí)間的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    天台县| 格尔木市| 温宿县| 新干县| 林州市| 娄底市| 洪泽县| 金堂县| 肥城市| 虹口区| 买车| 留坝县| 盐池县| 潢川县| 千阳县| 陵川县| 界首市| 孟津县| 滦南县| 闵行区| 丰顺县| 横山县| 那坡县| 射洪县| 侯马市| 淮南市| 宜宾县| 喀喇| 湘阴县| 绍兴县| 渝北区| 宁波市| 抚顺市| 晴隆县| 贡嘎县| 泸州市| 石屏县| 鄄城县| 故城县| 伊春市| 区。|