濮阳杆衣贸易有限公司

主頁 > 知識庫 > MongoDB的chunk詳解

MongoDB的chunk詳解

熱門標(biāo)簽:外呼線路資源屬于電信業(yè)務(wù)嗎 內(nèi)蒙古營銷智能外呼系統(tǒng)哪個好 青白江400企業(yè)電話申請 crm外呼系統(tǒng)聯(lián)系方式 小裙科技電銷機(jī)器人怎樣 長沙電銷外呼防封卡是什么 呼和浩特外呼系統(tǒng)原理是什么 河南電話外呼系統(tǒng)招商 智能外呼系統(tǒng)官網(wǎng)

    MongoDB中,在使用到分片的時候,常常會用到chunk的概念,chunk是指一個集合數(shù)據(jù)中的子集,也可以簡單理解成一個數(shù)據(jù)塊,每個chunk都是基于片鍵的范圍取值,區(qū)間是左閉右開。例如,我們的片鍵是姓名的第二個字母,包含了A-Z這26中可能,理想情況下,劃分為26個chunk,其中每個字母開頭的姓名記錄即為一個chunk。

    在數(shù)據(jù)寫入的時候,mongos根據(jù)片鍵shard key的值來寫入對應(yīng)的chunk中,chunk可以表示的最小范圍是單個唯一的shard key的值,只包含具體的單個片鍵值文檔的chunk不能被分割,這個也比較容易理解,如果某個chunk只包含一個片鍵的值,如果對它進(jìn)行分割,則代表一個片鍵值映射了2個chunk,下次遇到這個片鍵的文檔時,mongos就不知道應(yīng)該存放在哪個chunk當(dāng)中了。

chunk的大小如何確定???

    在MongoDB中,chunk的默認(rèn)大小是64MB,可以增加或者減少chunk的大小。

    chunk的大小不宜過小,如果chunk過小,好處是可以讓數(shù)據(jù)更加均勻的分布,但是會導(dǎo)致chunk之間頻繁的遷移,有一定的性能開銷;同樣的,chunk的大小不宜過大,過大的chunk size會導(dǎo)致數(shù)據(jù)分布不均勻,

chunk的分裂

    當(dāng)某個chunk的值達(dá)到了chunk所能表示的最大值的時候,這個時候chunk不能無限增長,需要通過分割的方法來減少chunk的大小,例如一個64MB的chunk分割成2個32MB的chunk,這樣雖然增加了chunk的數(shù)量,但是帶來的收益是單個chunk的縮小。

chunk的遷移

    在分片+復(fù)制集的架構(gòu)中,當(dāng)某個服務(wù)器上的數(shù)據(jù)記錄不停的增多,它上面分割的chunk就會變多,當(dāng)集群中每個服務(wù)器上的chunk數(shù)量嚴(yán)重失衡的時候,mongodb會自動進(jìn)行chunk的遷移工作,這個自動遷移的工作,是通過balancer來進(jìn)行的。如果balancer發(fā)現(xiàn)各個shard之間的chunk數(shù)差異超過了提前規(guī)定的閾值,則會進(jìn)行chunk的遷移工作,如下:

也就是從上面的狀態(tài)變成下面的狀態(tài)。每個小塊代表一個chunk。

MongoDB自動觸發(fā)遷移的閾值表如下:

chunk數(shù)量:   20,遷移閾值:2

chunk數(shù)量:20~79,遷移閾值:4

chunk數(shù)量:   >80,遷移閾值:8

chunk的遷移一般使用鎖來實現(xiàn),從MongoDB3.4版本起,chunk的遷移分為7個步驟:

1、balancer進(jìn)程將moveChunk的命令發(fā)送到源shard中

2、源shard使用內(nèi)部moveChunk命令開始移動,遷移過程中,該chunk的操作依舊在源shard上進(jìn)行,源shard依舊負(fù)責(zé)該chunk的寫入操作

3、目標(biāo)shard開始創(chuàng)建所需索引

4、目標(biāo)shard開始請求chunk中的文檔并開始接收數(shù)據(jù)的復(fù)制

5、接收完源shard的最后一個文檔之后,目標(biāo)shard啟動一個同步進(jìn)程,這個進(jìn)程會拉取遷移期間的日志,將遷移期間對該chunk的操作更新到目標(biāo)chunk中。

6、當(dāng)完全同步時,源shard連接到config數(shù)據(jù)庫并更新chunk的位置元數(shù)據(jù)。

7、完成數(shù)據(jù)更新后,一旦在源shard上沒有對該chunk的操作,源shard會異步刪除chunk。當(dāng)然,用戶可以設(shè)置_waitforDelete參數(shù)為true,讓源shard在chunk遷移完成后同步刪除chunk數(shù)據(jù)

通常情況下,chunk遷移由下面三種場景觸發(fā):

1、多個shard上分布不均勻

2、用戶調(diào)用removeShard之后,被移除的shard上的chunk就要被遷移到其他的shard上

3、MongoDB的shard tag功能,可以對shard或者shard  key range打標(biāo)簽,系統(tǒng)會自動將對應(yīng)的range的數(shù)據(jù)遷移到擁有相同tag的shard上。

以上就是MongoDB的chunk詳解的詳細(xì)內(nèi)容,更多關(guān)于MongoDB chunk的資料請關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • 詳解MongoDB中的日志模塊
  • MongoDB聚合group的操作指南
  • java操作mongodb之多表聯(lián)查的實現(xiàn)($lookup)
  • 2021最新版windows10系統(tǒng)MongoDB數(shù)據(jù)庫安裝及配置環(huán)境
  • MongoDB 常用的數(shù)據(jù)類型和基本操作
  • MongoDB 簡單入門教程(安裝、基本概念、創(chuàng)建用戶)
  • MongoDB 主分片(primary shard)相關(guān)總結(jié)
  • 詳解MongoDB的角色管理
  • MongoDB 監(jiān)控工具mongostat和mongotop的使用
  • MongoDB 副本集的搭建過程

標(biāo)簽:白山 安順 楚雄 池州 舟山 呼倫貝爾 黃石 菏澤

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MongoDB的chunk詳解》,本文關(guān)鍵詞  MongoDB,的,chunk,詳解,MongoDB,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《MongoDB的chunk詳解》相關(guān)的同類信息!
  • 本頁收集關(guān)于MongoDB的chunk詳解的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    紫云| 靖边县| 五指山市| 东港市| 华安县| 五莲县| 平和县| 延吉市| 陕西省| 靖西县| 明溪县| 玛沁县| 义马市| 阿拉善盟| 台山市| 环江| 海盐县| 马龙县| 忻州市| 博兴县| 叙永县| 大理市| 都兰县| 伊宁县| 黑山县| 淮阳县| 留坝县| 久治县| 四川省| 湘潭市| 东辽县| 清河县| 麻江县| 宁阳县| 都安| 余庆县| 封丘县| 长海县| 平原县| 田东县| 铜梁县|