本文描述了TCP協(xié)議，首先簡單介紹了TCP完成了一些什么功能；介紹了TCP報文格式，以及典型報文的數(shù)據(jù)格式；接著從鏈路控制和數(shù)據(jù)傳輸兩個方面進(jìn)行了介紹，在TCP中鏈路控制和數(shù)據(jù)傳輸是通過同一個通道進(jìn)行的，并沒有區(qū)分控制通道和數(shù)據(jù)通道；在網(wǎng)絡(luò)中傳輸數(shù)據(jù)（控制或真實(shí)數(shù)據(jù)），網(wǎng)絡(luò)可能發(fā)生擁堵，因此接下來簡單描述了主機(jī)端進(jìn)行擁塞控制所采取的方法，也簡單提及了中間路由器/交換機(jī)進(jìn)行擁塞避免所采取的主動措施；最后介紹了在TCP中性能分析的一些基本概念點(diǎn)，在開發(fā)網(wǎng)絡(luò)應(yīng)用程序的時候，需要對應(yīng)用的網(wǎng)絡(luò)需求進(jìn)行一個估計。

本文不是TCP的入門資料，閱讀之前需要對TCP有一些基本認(rèn)識，如三次握手、四次揮手、滑動窗口等。

TCP概述

通常說到TCP，我們都會很自然的想到其為上層提供了一個面向連接、可靠的、端到端的數(shù)據(jù)流服務(wù)，也通常用電話線路來類比一個TCP連接。但這種類比對剛接觸到TCP的人來說極易造成誤會，我們需要仔細(xì)審視這些概念，你將會發(fā)現(xiàn)TCP并不是那么面向連接的、也不是那么可靠的、數(shù)據(jù)也仍然是通過報文的方式進(jìn)行傳輸?shù)摹?shí)際上TCP是提供了一種“盡力而為”的數(shù)據(jù)傳輸模型；同時，它也提供了防止網(wǎng)絡(luò)擁塞的主機(jī)端擁塞控制，試圖去了解整個網(wǎng)絡(luò)的狀況，并采取合適的策略（貌似不是TCP應(yīng)該干的事？）。

TCP的連接并不是指一條實(shí)際的或虛擬的鏈路存在于數(shù)據(jù)交換的兩端，而是指連接的雙方都維護(hù)了一些資源（如輸入輸出緩沖區(qū)、多種定時器）以及鏈路狀態(tài)的信息，并通過雙方的控制報文交互管理狀態(tài)、向用戶提供接口修改這些資源的分配。在“連接控制”小節(jié)，我們將會仔細(xì)審視資源和狀態(tài)（包括控制狀態(tài)的報文），若控制報文丟失，那么連接就會處于一種不一致狀態(tài)，TCP通過一些手段去試圖解決這些問題（如持活定時器、保持定時器等等）。

TCP提供了可靠的數(shù)據(jù)傳輸服務(wù)，其采取的措施是對控制報文和數(shù)據(jù)報文進(jìn)行確認(rèn)、并在超時之后進(jìn)行重傳；并利用滑動窗口協(xié)議解決數(shù)據(jù)數(shù)傳亂序、收發(fā)雙方進(jìn)行流量控制。具體來說就是，對于發(fā)送方，TCP按照其認(rèn)為最合適的長度發(fā)送數(shù)據(jù)報文，并在發(fā)出報文之后，啟動一個定時器，等待數(shù)據(jù)的確認(rèn)報文，若定時器超時后仍沒有收到確認(rèn)報文，則重傳該報文；對于接收方，收到數(shù)據(jù)后，首先檢查報文校驗和，錯誤則直接丟棄該報文，不確認(rèn)（發(fā)送端會注意到這個事實(shí)，從而重傳）；收到重復(fù)報文，丟棄，不確認(rèn)；通過雙方維護(hù)的滑動窗口，TCP會將亂序報文排好序后才提交給上層應(yīng)用程序。需要注意的是，流量控制與擁塞控制并不是同一回事，流量控制的目的在于防止發(fā)送端發(fā)送大量數(shù)據(jù)，超過接收端的處理能力，從而導(dǎo)致丟包等；擁塞控制則在于防止網(wǎng)絡(luò)中發(fā)生擁堵，中間路由器或交換機(jī)丟棄報文的情況。

TCP提供數(shù)據(jù)流服務(wù)，上層應(yīng)用傳給TCP的數(shù)據(jù)，TCP并不加以區(qū)分，僅僅是按照自己的需求組合、拆分?jǐn)?shù)據(jù)，然后傳送給對端，對端TCP協(xié)議棧再將數(shù)據(jù)以發(fā)送的順序遞交給上層應(yīng)用。TCP的數(shù)據(jù)傳送仍然是以IP報文的方式發(fā)送到對端的，每次盡力發(fā)送MSS大小的報文，在“數(shù)據(jù)傳輸”小節(jié)我們會看到諸如Nagle算法、TCP_CORK等對流中報文的控制。

TCP本身并不提供報文邊界之類的東西，但提供了緊急數(shù)據(jù)、PUSH標(biāo)志（并沒有提供對外接口）等方式可以模擬報文。通常，TCP數(shù)據(jù)流的劃分是應(yīng)用程序的事，應(yīng)用程序定義好格式，并自己解析，常見的方案有：

• 先傳輸固定大小的報文長度字段；
• 按行進(jìn)行分割（或其他分隔符）；
• 固定長度記錄；
• 各種編碼方案，如xml、json、ASN.1、tlv等。

TCP報文

TCP報文格式

TCP報文最終是由IP層發(fā)送出去的，封裝報文如下：

TCP報文格式如下：

通常使用一個四元組唯一的表示一個TCP連接(client-ip, client-port, server-ip, server-port)，但需要注意以下事實(shí)：

• 監(jiān)聽服務(wù)器在server-port窗口接受來自客戶端的連接，并fork一個子進(jìn)程處理連接，此時，該四元組卻在服務(wù)器對應(yīng)了兩個進(jìn)程（監(jiān)聽進(jìn)程只處理SYN報文，而子進(jìn)程卻只能處理數(shù)據(jù)報文和FIN等）；
• 連接的化身，這在后面會詳細(xì)描述。

在TCP首部的圖中，我們主要關(guān)注以下幾個字段：序號、首部長度、6個標(biāo)志位、選項，窗口大小、緊急指針都是以字節(jié)單位，這里并不關(guān)注。

不含選項的TCP首部為20字節(jié)，在首部選項中指明了首部有多少個4字節(jié)，由于其占了4位，因此首部最多為60字節(jié)。

序號字段用來標(biāo)識TCP數(shù)據(jù)流中的數(shù)據(jù)字節(jié)流，在建立連接時會以一個ISN進(jìn)行初始化，每個SYN、FIN等都會消耗掉一個序號。我們并不用太關(guān)心這個字段，只是需要知道序號為32位，在長肥管道（容量較大的網(wǎng)絡(luò)中）序號可能會出現(xiàn)回繞，TCP需要識別。TCP對該字段也進(jìn)行了相應(yīng)的擴(kuò)充（增加選項）。

TCP選項是以1字節(jié)類型、1字節(jié)長度（可選）、內(nèi)容（可選）來表示的，可以只有類型，長度字段包含類型和長度本身。常見選項如下圖所示，無操作選項通常用來作為填充以滿足選項對齊的要求，tcpdump連接建立的輸出中通常會包含這些選項：

TCP首部中定義了6個字段，在一個報文中，通常只會出現(xiàn)一個標(biāo)志，但也允許多個標(biāo)志同時出現(xiàn)。

• URG，緊急指針標(biāo)志位。
• ACK，確認(rèn)序號標(biāo)志位，關(guān)于ACK有幾點(diǎn)需要注意：a) ACK是累積的，表示接收方已經(jīng)正確收到了一直到確認(rèn)序號減一的所有字節(jié)；b) TCP通常并不會對每個數(shù)據(jù)包進(jìn)行確認(rèn)，而是采用了捎帶確認(rèn)和延遲確認(rèn)的技術(shù)，捎帶確認(rèn)是指將ACK報文合并到數(shù)據(jù)報文中去，而延遲確認(rèn)是TCP維持了一個200ms的定時器，在定時器過期前，若有多個數(shù)據(jù)需要確認(rèn)，則一塊進(jìn)行確認(rèn)，通常是兩個報文確認(rèn)一次，若200ms到了，仍沒有新數(shù)據(jù)需要確認(rèn)，則不再等待，直接確認(rèn)該報文；c) ACK報文本身并不會被確認(rèn)，當(dāng)ACK丟失時，需要依靠對端超時機(jī)制發(fā)現(xiàn)（后文詳述）。
• PSH，該標(biāo)志由TCP自動設(shè)置（曾經(jīng)允許通過接口進(jìn)行設(shè)置，當(dāng)前多數(shù)實(shí)現(xiàn)不提供），多數(shù)實(shí)現(xiàn)在發(fā)送者將清空發(fā)送緩沖區(qū)時設(shè)置該標(biāo)志，即發(fā)送者一次將當(dāng)前發(fā)送緩沖區(qū)的數(shù)據(jù)都發(fā)送出去了。
• RST，連接重置標(biāo)志位。
• SYN，同步標(biāo)志位，用來發(fā)起一個新建連接。
• FIN，發(fā)送端已經(jīng)完成了所有的數(shù)據(jù)發(fā)送，不會再發(fā)送新的數(shù)據(jù)，關(guān)閉了其發(fā)送端，若對端也發(fā)送該標(biāo)志，則完全關(guān)閉連接。

常見報文

TCP中除了通常的數(shù)據(jù)交換報文（數(shù)據(jù)報文詳見后文“數(shù)據(jù)傳輸”小節(jié)），還有以下一些特殊的控制報文：SYN報文、ACK報文、FIN報文、RST報文、窗口探測報文、持活報文。這里將常見報文列出來，一是為了強(qiáng)調(diào)一個事實(shí)，TCP的狀態(tài)變更大部分是通過報文交互進(jìn)行的；二是對各種控制報文的使用場景進(jìn)行簡單歸納。

SYN報文，用于發(fā)起一個新連接，只包含TCP首部，沒有數(shù)據(jù)。一個典型報文輸出如下：

10:23:17.543837 IP 192.168.47.1.55366 > krt.9876: Flags [S], seq 2289863414, win 8192, options [mss 1460,nop,wscale 2,nop,nop,sackOK], length 0

ACK報文，用于對控制報文（不包括RST）和數(shù)據(jù)報文進(jìn)行確認(rèn)，參考上一小節(jié)關(guān)于ACK的一些注意點(diǎn)。該報文可以與其他報文結(jié)合在一起，如SYN、數(shù)據(jù)報文、FIN報文等。單獨(dú)的ACK本身不含任何數(shù)據(jù)，只有首部，典型報文輸出如下：

10:23:17.544135 IP 192.168.47.1.55366 > krt.9876: Flags [.], ack 1, win 16425, length 0

FIN報文，用于通知對端已經(jīng)發(fā)送完了所有數(shù)據(jù)，將發(fā)送緩沖區(qū)中數(shù)據(jù)發(fā)送完成后，可以關(guān)閉連接。詳細(xì)參考后文“連接控制”，用于有序釋放連接或者連接半打開。

RST報文，當(dāng)向一個出現(xiàn)錯誤的連接發(fā)送一個報文的時候，就收到RST報文。以下是幾種典型情況（詳細(xì)情景在后文“連接控制”小節(jié)表述）：

• 對端的相應(yīng)端口上沒有監(jiān)聽程序
• 異常終止連接，SO_LINGER。使用異常方式終止連接，而不是正常的有序終止連接orderly release，可以迫使連接直接丟失未發(fā)送的數(shù)據(jù)；而接收方收到RST報文后，read返回reset錯誤，從而終止該連接，同時不會進(jìn)行ACK。
• 檢測半打開連接，一方已經(jīng)關(guān)閉或異常終止連接而另一方還不知道。造成這種狀況的原因在于通信的一方?jīng)]有正確將相應(yīng)的狀態(tài)報文成功發(fā)送給對端，如主機(jī)突然掉電導(dǎo)致FIN報文沒有發(fā)出去，此時再寫該socket，則會得到RST報文。

窗口探測報文（持久探測報文），TCP并不會對不包含數(shù)據(jù)的ACK報文進(jìn)行確認(rèn)，因此可能出現(xiàn)ACK丟失，從而導(dǎo)致窗口通告失敗。TCP使用persist定時器，定期的發(fā)送一個字節(jié)的窗口探測報文。探測報文總是在5~60s之間，也是采用指數(shù)后退算法，但不超過60s，該探測報文會一直持續(xù)。實(shí)現(xiàn)時，使用500ms的定時器。

持活報文，用于查看連接是否仍然存活的控制報文。報文只帶有ACK標(biāo)志，且序號字段為將要發(fā)送的序號減一，這樣引起對端進(jìn)行一個ACK，表示接收到重復(fù)序號，對端期望的序號為下一個值。

連接控制

TCP是面向連接的協(xié)議，正如前面所描述的，并不存在真實(shí)的物理或虛擬的鏈路，TCP的連接是指在通信的雙方分配了資源和維護(hù)了狀態(tài)，并通過控制報文控制連接，通過API協(xié)調(diào)資源。本小節(jié)將詳細(xì)描述實(shí)現(xiàn)中對TCP的連接控制。需要注意的是，連接的擁塞控制在本小節(jié)不過多涉及，后面單獨(dú)小節(jié)描述。

4個定時器：重傳定時器、2MSL定時器、persist定時器、keepalive定時器

連接雙方通過以下一些事件來維持連接的狀態(tài)， 發(fā)送方：發(fā)送緩沖區(qū)、4個定時器、發(fā)送窗口、擁塞狀態(tài)計數(shù)器 接收方：接收緩沖區(qū)、4個定時器、接收窗口、擁塞狀態(tài)計數(shù)器

TCP連接更詳細(xì)的描述 通信雙方通過一些內(nèi)部狀態(tài)保持了彼此的信息，連接關(guān)系始終保持，并通過報文交換來進(jìn)行連接狀態(tài)的變更。由于是通過報文進(jìn)行連接狀態(tài)的維護(hù)，所以報文沒有正確發(fā)出或被接收到時，連接狀態(tài)就會變成意料之外了；除確認(rèn)報文本身不被確認(rèn)，其他報文都會有確認(rèn)報文進(jìn)行確認(rèn)；報文（包括確認(rèn)報文）可能超時、需要重傳。下面是通信過程中一些重要報文的交互序列。

發(fā)送方 網(wǎng)絡(luò)（中間路由器等組成） 接收方

發(fā)送方為Windows，接收方為Linux，操作如下

krt@krt:~$ perl ksock.pl --sleep-before-listen=1
Windows下
C:Userwin-krtDesktop>telnet 192.168.47.120 9876    krt@krt:~$ sudo tcpdump -n -i eth0 tcp port 9876 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes 13:59:16.575626 IP 192.168.47.1.65281 > 192.168.47.120.9876: Flags [S], seq 2588085696, win 8192, options [mss 1460,nop,wscale 2,nop,nop,sackOK], length 0 13:59:16.575678 IP 192.168.47.120.9876 > 192.168.47.1.65281: Flags [S.], seq 3751549776, ack 2588085697, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0 13:59:16.577107 IP 192.168.47.1.65281 > 192.168.47.120.9876: Flags [.], ack 1, win 16425, length 0 13:59:19.564526 IP 192.168.47.1.65281 > 192.168.47.120.9876: Flags [P.], seq 1:2, ack 1, win 16425, length 1 13:59:19.564747 IP 192.168.47.120.9876 > 192.168.47.1.65281: Flags [.], ack 2, win 229, length 0 13:59:19.565023 IP 192.168.47.120.9876 > 192.168.47.1.65281: Flags [P.], seq 1:13, ack 2, win 229, length 12 13:59:19.763747 IP 192.168.47.120.9876 > 192.168.47.1.65281: Flags [P.], seq 1:13, ack 2, win 229, length 12 13:59:19.763849 IP 192.168.47.1.65281 > 192.168.47.120.9876: Flags [.], ack 13, win 16422, length 0 13:59:19.764023 IP 192.168.47.1.65281 > 192.168.47.120.9876: Flags [.], ack 13, win 16422, options [nop,nop,sack 1 {1:13}], length 0 13:59:23.688209 IP 192.168.47.1.65281 > 192.168.47.120.9876: Flags [F.], seq 2, ack 13, win 16422, length 0 13:59:23.688372 IP 192.168.47.120.9876 > 192.168.47.1.65281: Flags [F.], seq 13, ack 3, win 229, length 0 13:59:23.689053 IP 192.168.47.1.65281 > 192.168.47.120.9876: Flags [.], ack 14, win 16422, length 0

連接建立

連接建立過程中會經(jīng)歷被稱為“三次握手”的報文交互。

連接建立過程主要目的在于協(xié)商雙方通信的細(xì)節(jié)，雙方的初始序列號、窗口大小、最大報文段MSS大小等。

連接斷開

數(shù)據(jù)傳輸

數(shù)據(jù)交換（基本的確認(rèn)、超時、重傳，滑動窗口）

交互數(shù)據(jù)和批量數(shù)據(jù)交換

擁塞控制

性能和常用網(wǎng)絡(luò)工具

tcpdump lsof netstat ss /proc
iputils包 net-tools包 iproute2包