緣起:
監(jiān)控(docker stats)顯示容器內(nèi)存被用完了,進(jìn)入容器瞅了瞅,沒有發(fā)現(xiàn)使用內(nèi)存多的進(jìn)程,使用awk等工具把容器所有進(jìn)程使用的內(nèi)存加起來看看,距離用完還遠(yuǎn)了去了,何故?
分析:
該不會(huì)docker stats計(jì)算錯(cuò)誤?
進(jìn)入/sys/fs/cgroup/memory/docker/xxxxx/ 查看memory.usage ,確認(rèn)計(jì)算沒有錯(cuò)誤
我們知道,系統(tǒng)內(nèi)存會(huì)有一部分被buffer、cache之類占用,linux也會(huì)把這部分內(nèi)存算到已使用,對(duì)于容器來講,也應(yīng)該存在此“問題”,而且非常有可能linux會(huì)把某容器引發(fā)的cache占用算到容器占用的內(nèi)存上;驗(yàn)證很簡(jiǎn)單,進(jìn)容器dd一個(gè)大文件就知道了:
dd 大文件后,docker stat顯示已用內(nèi)存變多
宿主機(jī)上: echo 3 > /proc/sys/vm/drop_caches 后,docker stat顯示已用內(nèi)存變少
至此,原因查明
問題:
對(duì)于宿主機(jī)來講,計(jì)算內(nèi)存占用時(shí),可以拿已用內(nèi)存減去cache/buffer ,那么對(duì)于容器來講,如果減去容器部分的cache/buffer 呢?如果不減去,也會(huì)造成誤報(bào)警
測(cè)試發(fā)現(xiàn): dd 產(chǎn)生的文件cache占用的內(nèi)存會(huì)計(jì)算到 inactive_file 的頭上