我們通常用golang來構(gòu)建高并發(fā)場(chǎng)景下的應(yīng)用,但是由于golang內(nèi)建的GC機(jī)制會(huì)影響應(yīng)用的性能,為了減少GC,golang提供了對(duì)象重用的機(jī)制,也就是sync.Pool對(duì)象池。 sync.Pool是可伸縮的,并發(fā)安全的。其大小僅受限于內(nèi)存的大小,可以被看作是一個(gè)存放可重用對(duì)象的值的容器。 設(shè)計(jì)的目的是存放已經(jīng)分配的但是暫時(shí)不用的對(duì)象,在需要用到的時(shí)候直接從pool中取。
任何存放區(qū)其中的值可以在任何時(shí)候被刪除而不通知,在高負(fù)載下可以動(dòng)態(tài)的擴(kuò)容,在不活躍時(shí)對(duì)象池會(huì)收縮。
sync.Pool首先聲明了兩個(gè)結(jié)構(gòu)體
// Local per-P Pool appendix.
type poolLocalInternal struct {
private interface{} // Can be used only by the respective P.
shared []interface{} // Can be used by any P.
Mutex // Protects shared.
}
type poolLocal struct {
poolLocalInternal
// Prevents false sharing on widespread platforms with
// 128 mod (cache line size) = 0 .
pad [128 - unsafe.Sizeof(poolLocalInternal{})%128]byte
}
為了使得在多個(gè)goroutine中高效的使用goroutine,sync.Pool為每個(gè)P(對(duì)應(yīng)CPU)都分配一個(gè)本地池,當(dāng)執(zhí)行Get或者Put操作的時(shí)候,會(huì)先將goroutine和某個(gè)P的子池關(guān)聯(lián),再對(duì)該子池進(jìn)行操作。 每個(gè)P的子池分為私有對(duì)象和共享列表對(duì)象,私有對(duì)象只能被特定的P訪問,共享列表對(duì)象可以被任何P訪問。因?yàn)橥粫r(shí)刻一個(gè)P只能執(zhí)行一個(gè)goroutine,所以無(wú)需加鎖,但是對(duì)共享列表對(duì)象進(jìn)行操作時(shí),因?yàn)榭赡苡卸鄠€(gè)goroutine同時(shí)操作,所以需要加鎖。
值得注意的是poolLocal結(jié)構(gòu)體中有個(gè)pad成員,目的是為了防止false sharing。cache使用中常見的一個(gè)問題是false sharing。當(dāng)不同的線程同時(shí)讀寫同一cache line上不同數(shù)據(jù)時(shí)就可能發(fā)生false sharing。false sharing會(huì)導(dǎo)致多核處理器上嚴(yán)重的系統(tǒng)性能下降。具體的可以參考偽共享(False Sharing)。
類型sync.Pool有兩個(gè)公開的方法,一個(gè)是Get,一個(gè)是Put, 我們先來看一下Put的源碼。
// Put adds x to the pool.
func (p *Pool) Put(x interface{}) {
if x == nil {
return
}
if race.Enabled {
if fastrand()%4 == 0 {
// Randomly drop x on floor.
return
}
race.ReleaseMerge(poolRaceAddr(x))
race.Disable()
}
l := p.pin()
if l.private == nil {
l.private = x
x = nil
}
runtime_procUnpin()
if x != nil {
l.Lock()
l.shared = append(l.shared, x)
l.Unlock()
}
if race.Enabled {
race.Enable()
}
}
如果放入的值為空,直接return.檢查當(dāng)前goroutine的是否設(shè)置對(duì)象池私有值,如果沒有則將x賦值給其私有成員,并將x設(shè)置為nil。如果當(dāng)前goroutine私有值已經(jīng)被設(shè)置,那么將該值追加到共享列表。
func (p *Pool) Get() interface{} {
if race.Enabled {
race.Disable()
}
l := p.pin()
x := l.private
l.private = nil
runtime_procUnpin()
if x == nil {
l.Lock()
last := len(l.shared) - 1
if last >= 0 {
x = l.shared[last]
l.shared = l.shared[:last]
}
l.Unlock()
if x == nil {
x = p.getSlow()
}
}
if race.Enabled {
race.Enable()
if x != nil {
race.Acquire(poolRaceAddr(x))
}
}
if x == nil p.New != nil {
x = p.New()
}
return x
}
- 嘗試從本地P對(duì)應(yīng)的那個(gè)本地池中獲取一個(gè)對(duì)象值, 并從本地池沖刪除該值。
- 如果獲取失敗,那么從共享池中獲取, 并從共享隊(duì)列中刪除該值。
- 如果獲取失敗,那么從其他P的共享池中偷一個(gè)過來,并刪除共享池中的該值(p.getSlow())。
- 如果仍然失敗,那么直接通過New()分配一個(gè)返回值,注意這個(gè)分配的值不會(huì)被放入池中。New()返回用戶注冊(cè)的New函數(shù)的值,如果用戶未注冊(cè)New,那么返回nil。
![](/d/20211017/2f38b40c7e5cade2bcd8c19aeaadc456.gif)
最后我們來看一下init函數(shù)。
func init() {
runtime_registerPoolCleanup(poolCleanup)
}
可以看到在init的時(shí)候注冊(cè)了一個(gè)PoolCleanup函數(shù),他會(huì)清除掉sync.Pool中的所有的緩存的對(duì)象,這個(gè)注冊(cè)函數(shù)會(huì)在每次GC的時(shí)候運(yùn)行,所以sync.Pool中的值只在兩次GC中間的時(shí)段有效。
package main
import (
"sync"
"time"
"fmt"
)
var bytePool = sync.Pool{
New: func() interface{} {
b := make([]byte, 1024)
return b
},
}
func main() {
//defer
//debug.SetGCPercent(debug.SetGCPercent(-1))
a := time.Now().Unix()
for i:=0;i1000000000;i++{
obj := make([]byte, 1024)
_ = obj
}
b := time.Now().Unix()
for j:=0;j1000000000;j++ {
obj := bytePool.Get().(*[]byte)
_ = obj
bytePool.Put(obj)
}
c := time.Now().Unix()
fmt.Println("without pool ", b - a, "s")
fmt.Println("with pool ", c - b, "s")
}
![](/d/20211017/dbda1393dafbee8a8cab58fe00561940.gif)
![](/d/20211017/2ff5bc3542e190a420cb5c4811bed4bc.gif)
可見GC對(duì)性能影響不大,因?yàn)閟hared list太長(zhǎng)也會(huì)耗時(shí)。
總結(jié):
通過以上的解讀,我們可以看到,Get方法并不會(huì)對(duì)獲取到的對(duì)象值做任何的保證,因?yàn)榉湃氡镜爻刂械闹涤锌赡軙?huì)在任何時(shí)候被刪除,但是不通知調(diào)用者。放入共享池中的值有可能被其他的goroutine偷走。 所以對(duì)象池比較適合用來存儲(chǔ)一些臨時(shí)切狀態(tài)無(wú)關(guān)的數(shù)據(jù),但是不適合用來存儲(chǔ)數(shù)據(jù)庫(kù)連接的實(shí)例,因?yàn)榇嫒雽?duì)象池重的值有可能會(huì)在垃圾回收時(shí)被刪除掉,這違反了數(shù)據(jù)庫(kù)連接池建立的初衷。
根據(jù)上面的說法,Golang的對(duì)象池嚴(yán)格意義上來說是一個(gè)臨時(shí)的對(duì)象池,適用于儲(chǔ)存一些會(huì)在goroutine間分享的臨時(shí)對(duì)象。主要作用是減少GC,提高性能。在Golang中最常見的使用場(chǎng)景是fmt包中的輸出緩沖區(qū)。
在Golang中如果要實(shí)現(xiàn)連接池的效果,可以用container/list來實(shí)現(xiàn),開源界也有一些現(xiàn)成的實(shí)現(xiàn),比如go-commons-pool,具體的讀者可以去自行了解。
參考資料:
go語(yǔ)言的官方包sync.Pool的實(shí)現(xiàn)原理和適用場(chǎng)景
sync.Pool源碼
到此這篇關(guān)于深入Golang中的sync.Pool詳解的文章就介紹到這了,更多相關(guān)Golang sync.Pool內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!