前言
我們使用的是golang標(biāo)準(zhǔn)庫(kù)的http client，對(duì)于一些http請(qǐng)求，我們?cè)谔幚淼臅r(shí)候，會(huì)考慮加上超時(shí)時(shí)間，防止http請(qǐng)求一直在請(qǐng)求，導(dǎo)致業(yè)務(wù)長(zhǎng)時(shí)間阻塞等待。
最近同事寫了一個(gè)超時(shí)的組件，這幾天訪問(wèn)量上來(lái)了，網(wǎng)絡(luò)也出現(xiàn)了波動(dòng)，造成了接口在報(bào)錯(cuò)超時(shí)的情況下，還是出現(xiàn)了請(qǐng)求結(jié)果的成功。
分析下具體的代碼實(shí)現(xiàn)
type request struct {
method string
url string
value string
ps *params
}
type params struct {
timeout int //超時(shí)時(shí)間
retry int //重試次數(shù)
headers map[string]string
contentType string
}
func (req *request) Do(result interface{}) ([]byte, error) {
res, err := asyncCall(doRequest, req)
if err != nil {
return nil, err
}
if result == nil {
return res, nil
}
switch req.ps.contentType {
case "application/xml":
if err := xml.Unmarshal(res, result); err != nil {
return nil, err
}
default:
if err := json.Unmarshal(res, result); err != nil {
return nil, err
}
}
return res, nil
}
type timeout struct {
data []byte
err error
}
func doRequest(request *request) ([]byte, error) {
var (
req *http.Request
errReq error
)
if request.value != "null" {
buf := strings.NewReader(request.value)
req, errReq = http.NewRequest(request.method, request.url, buf)
if errReq != nil {
return nil, errReq
}
} else {
req, errReq = http.NewRequest(request.method, request.url, nil)
if errReq != nil {
return nil, errReq
}
}
// 這里的client沒(méi)有設(shè)置超時(shí)時(shí)間
// 所以當(dāng)下面檢測(cè)到一次超時(shí)的時(shí)候，會(huì)重新又發(fā)起一次請(qǐng)求
// 但是老的請(qǐng)求其實(shí)沒(méi)有被關(guān)閉，一直在執(zhí)行
client := http.Client{}
res, err := client.Do(req)
...
}
// 重試調(diào)用請(qǐng)求
// 當(dāng)超時(shí)的時(shí)候發(fā)起一次新的請(qǐng)求
func asyncCall(f func(request *request) ([]byte, error), req *request) ([]byte, error) {
p := req.ps
ctx := context.Background()
done := make(chan *timeout, 1)
for i := 0; i p.retry; i++ {
go func(ctx context.Context) {
// 發(fā)送HTTP請(qǐng)求
res, err := f(req)
done - timeout{
data: res,
err: err,
}
}(ctx)
// 錯(cuò)誤主要在這里
// 如果超時(shí)重試為3，第一次超時(shí)了，馬上又發(fā)起了一次新的請(qǐng)求，但是這里錯(cuò)誤使用了超時(shí)的退出
// 具體看上面
select {
case res := -done:
return res.data, res.err
case -time.After(time.Duration(p.timeout) * time.Millisecond):
}
}
return nil, ecode.TimeoutErr
}
錯(cuò)誤的原因
1、超時(shí)重試，之后過(guò)了一段時(shí)間沒(méi)有拿到結(jié)果就認(rèn)為是超時(shí)了，但是http請(qǐng)求沒(méi)有被關(guān)閉；
2、錯(cuò)誤使用了http的超時(shí)，具體的做法要通過(guò)context或http.client去實(shí)現(xiàn)，見(jiàn)下文；
修改之后的代碼
func doRequest(request *request) ([]byte, error) {
var (
req *http.Request
errReq error
)
if request.value != "null" {
buf := strings.NewReader(request.value)
req, errReq = http.NewRequest(request.method, request.url, buf)
if errReq != nil {
return nil, errReq
}
} else {
req, errReq = http.NewRequest(request.method, request.url, nil)
if errReq != nil {
return nil, errReq
}
}
// 這里通過(guò)http.Client設(shè)置超時(shí)時(shí)間
client := http.Client{
Timeout: time.Duration(request.ps.timeout) * time.Millisecond,
}
res, err := client.Do(req)
...
}
func asyncCall(f func(request *request) ([]byte, error), req *request) ([]byte, error) {
p := req.ps
// 重試的時(shí)候只有上一個(gè)http請(qǐng)求真的超時(shí)了，之后才會(huì)發(fā)起一次新的請(qǐng)求
for i := 0; i p.retry; i++ {
// 發(fā)送HTTP請(qǐng)求
res, err := f(req)
// 判斷超時(shí)
if netErr, ok := err.(net.Error); ok netErr.Timeout() {
continue
}
return res, err
}
return nil, ecode.TimeoutErr
}
服務(wù)設(shè)置超時(shí)
http.Server有兩個(gè)設(shè)置超時(shí)的方法:
ReadTimeout
ReadTimeout的時(shí)間計(jì)算是從連接被接受(accept)到request body完全被讀取(如果你不讀取body，那么時(shí)間截止到讀完header為止)
WriteTimeout
WriteTimeout的時(shí)間計(jì)算正常是從request header的讀取結(jié)束開(kāi)始，到response write結(jié)束為止 (也就是ServeHTTP方法的生命周期)
srv := http.Server{
ReadTimeout: 5 * time.Second,
WriteTimeout: 10 * time.Second,
}
srv.ListenAndServe()
net/http包還提供了TimeoutHandler返回了一個(gè)在給定的時(shí)間限制內(nèi)運(yùn)行的handler
func TimeoutHandler(h Handler, dt time.Duration, msg string) Handler
第一個(gè)參數(shù)是Handler，第二個(gè)參數(shù)是time.Duration（超時(shí)時(shí)間），第三個(gè)參數(shù)是string類型，當(dāng)?shù)竭_(dá)超時(shí)時(shí)間后返回的信息
func handler(w http.ResponseWriter, r *http.Request) {
time.Sleep(3 * time.Second)
fmt.Println("測(cè)試超時(shí)")
w.Write([]byte("hello world"))
}
func server() {
srv := http.Server{
Addr: ":8081",
WriteTimeout: 1 * time.Second,
Handler: http.TimeoutHandler(http.HandlerFunc(handler), 5*time.Second, "Timeout!\n"),
}
if err := srv.ListenAndServe(); err != nil {
os.Exit(1)
}
}
客戶端設(shè)置超時(shí)
http.client
最簡(jiǎn)單的我們通過(guò)http.Client的Timeout字段，就可以實(shí)現(xiàn)客戶端的超時(shí)控制
http.client超時(shí)是超時(shí)的高層實(shí)現(xiàn)，包含了從Dial到Response Body的整個(gè)請(qǐng)求流程。http.client的實(shí)現(xiàn)提供了一個(gè)結(jié)構(gòu)體類型可以接受一個(gè)額外的time.Duration類型的Timeout屬性。這個(gè)參數(shù)定義了從請(qǐng)求開(kāi)始到響應(yīng)消息體被完全接收的時(shí)間限制。
func httpClientTimeout() {
c := http.Client{
Timeout: 3 * time.Second,
}
resp, err := c.Get("http://127.0.0.1:8081/test")
fmt.Println(resp)
fmt.Println(err)
}
context
net/http中的request實(shí)現(xiàn)了context,所以我們可以借助于context本身的超時(shí)機(jī)制，實(shí)現(xiàn)http中request的超時(shí)處理
func contextTimeout() {
ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second)
defer cancel()
req, err := http.NewRequest("GET", "http://127.0.0.1:8081/test", nil)
if err != nil {
log.Fatal(err)
}
resp, err := http.DefaultClient.Do(req.WithContext(ctx))
fmt.Println(resp)
fmt.Println(err)
}
使用context的優(yōu)點(diǎn)就是，當(dāng)父context被取消時(shí)，子context就會(huì)層層退出。
http.Transport
通過(guò)Transport還可以進(jìn)行一些更小維度的超時(shí)設(shè)置
- net.Dialer.Timeout 限制建立TCP連接的時(shí)間
- http.Transport.TLSHandshakeTimeout 限制 TLS握手的時(shí)間
- http.Transport.ResponseHeaderTimeout 限制讀取response header的時(shí)間
- http.Transport.ExpectContinueTimeout 限制client在發(fā)送包含 Expect: 100-continue的header到收到繼續(xù)發(fā)送body的response之間的時(shí)間等待。注意在1.6中設(shè)置這個(gè)值會(huì)禁用HTTP/2(DefaultTransport自1.6.2起是個(gè)特例)
func transportTimeout() {
transport := http.Transport{
DialContext: (net.Dialer{}).DialContext,
ResponseHeaderTimeout: 3 * time.Second,
}
c := http.Client{Transport: transport}
resp, err := c.Get("http://127.0.0.1:8081/test")
fmt.Println(resp)
fmt.Println(err)
}
問(wèn)題
如果在客戶端在超時(shí)的臨界點(diǎn)，觸發(fā)了超時(shí)機(jī)制，這時(shí)候服務(wù)端剛好也接收到了，http的請(qǐng)求
這種服務(wù)端還是可以拿到請(qǐng)求的數(shù)據(jù)，所以對(duì)于超時(shí)時(shí)間的設(shè)置我們需要根據(jù)實(shí)際情況進(jìn)行權(quán)衡，同時(shí)我們要考慮接口的冪等性。
總結(jié)
1、所有的超時(shí)實(shí)現(xiàn)都是基于Deadline，Deadline是一個(gè)時(shí)間的絕對(duì)值，一旦設(shè)置他們永久生效，不管此時(shí)連接是否被使用和怎么用，所以需要每手動(dòng)設(shè)置，所以如果想使用SetDeadline建立超時(shí)機(jī)制，需要每次在Read/Write操作之前調(diào)用它。
2、使用context進(jìn)行超時(shí)控制的好處就是，當(dāng)父context超時(shí)的時(shí)候，子context就會(huì)層層退出。
參考
【[譯]Go net/http 超時(shí)機(jī)制完全手冊(cè)】
【Go 語(yǔ)言 HTTP 請(qǐng)求超時(shí)入門】
【使用 timeout、deadline 和 context 取消參數(shù)使 Go net/http 服務(wù)更靈活】
到此這篇關(guān)于go語(yǔ)言中http超時(shí)引發(fā)的事故解決的文章就介紹到這了,更多相關(guān)go語(yǔ)言 http超時(shí)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- 解決Goland中利用HTTPClient發(fā)送請(qǐng)求超時(shí)返回EOF錯(cuò)誤DEBUG
- Go中http超時(shí)問(wèn)題的排查及解決方法
- golang http 連接超時(shí)和傳輸超時(shí)的例子
