物聯(lián)網(wǎng)鄰域近期如火如荼，互聯(lián)網(wǎng)和傳統(tǒng)公司爭相布局物聯(lián)網(wǎng)。作為物聯(lián)網(wǎng)鄰域數(shù)據(jù)存儲的首選時(shí)序數(shù)據(jù)庫也越來越多進(jìn)入人們的視野，而早在 2016 年 7 月，百度云在其天工物聯(lián)網(wǎng)平臺上發(fā)布了國內(nèi)首個(gè)多租戶的分布式時(shí)序數(shù)據(jù)庫產(chǎn)品TSDB，成為支持其發(fā)展制造，交通，能源，智慧城市等產(chǎn)業(yè)領(lǐng)域的核心產(chǎn)品，同時(shí)也成為百度戰(zhàn)略發(fā)展產(chǎn)業(yè)物聯(lián)網(wǎng)的標(biāo)識表記標(biāo)幟性事件。

壓縮對于時(shí)序數(shù)據(jù)庫是至關(guān)重要的。因?yàn)闀r(shí)序數(shù)據(jù)庫面對的物聯(lián)網(wǎng)場景每天都會產(chǎn)生上億條數(shù)據(jù)。眾所周知，在大數(shù)據(jù)時(shí)代的今天數(shù)據(jù)的重要性是不言而喻的，數(shù)據(jù)就是公司的未來。但如果無法對這些時(shí)序數(shù)據(jù)進(jìn)行很好的辦理和壓縮，那將給客戶帶來非常高的成本壓力。

如前文提到的，工業(yè)物聯(lián)網(wǎng)環(huán)境監(jiān)控標(biāo)的目的的客戶，一年產(chǎn)生1P的數(shù)據(jù)，如果每臺辦事器10T的硬盤，那么總共需要 100 多臺。根據(jù)每臺辦事器 3 萬來算，一年就需要 300 萬的支出，這還不包孕維護(hù)人員的成本。

壓縮是個(gè)非常大的話題，本文希望能夠先從大的宏不雅觀角度給出一個(gè)輪廓，講述壓縮的素質(zhì)，壓縮的可計(jì)算性問題。再從時(shí)序數(shù)據(jù)壓縮這一個(gè)垂直領(lǐng)域，給出無損壓縮和有損壓縮各一個(gè)例子進(jìn)行說明，希望能夠拋磚引玉。

1. 壓縮的故事

先來講個(gè)有關(guān)壓縮的故事，外星人造訪地球，看中了大英百科全書，想要把這套書帶回去。但這套書太大，飛船放不下。于是外星人按照飛船的長度，在飛船上畫了一個(gè)點(diǎn)。這樣外星人心滿意足的返回了本身的星球，因?yàn)檫@個(gè)點(diǎn)就存儲了整個(gè)大英百科全書。

這個(gè)并不是很嚴(yán)謹(jǐn)?shù)墓适拢瑓s道出了壓縮的素質(zhì)：用計(jì)算時(shí)間換取存儲空間。外星人在飛船上畫的點(diǎn)非常有技術(shù)含量，可以說是黑科技，代表一個(gè)位數(shù)非常長的不循環(huán)小數(shù)。而這串?dāng)?shù)字正代表了整個(gè)大英百科全書的內(nèi)容。

2. 壓縮的兩個(gè)問題

再來回答兩個(gè)宏不雅觀的問題，幫手我們認(rèn)識在壓縮這件事上哪些是我們能做的，哪些是不能做的。

第一個(gè)問題：是否存在一個(gè)通用的壓縮算法(Universal Compression)，也就是說某個(gè)壓縮算法能夠壓縮任意的數(shù)據(jù)。答案是否定的，并不存在這樣的通用壓縮算法。

用反證法可以做個(gè)快速的證明。假設(shè)存在通用的壓縮算法，也就是說有個(gè)壓縮算法，對于長度為n的字符串，總能壓縮到長度小于n的字符串。總共有 個(gè)長度為n的差別字符串;但卻只有 個(gè)長度小于n的字符串。那么肯定存在兩個(gè)長度為n的字符串A，B，經(jīng)過壓縮得到同一個(gè)字符串。這樣解壓縮算法沒有措施正確的解壓。所以假設(shè)錯(cuò)誤，并不存在通用的壓縮算法。

第二個(gè)問題：是否能寫出一個(gè)函數(shù)，輸入字符串，可以得到這個(gè)字符串最短體現(xiàn)的長度。答案也是否定的，也就是說我們無法證明某個(gè)算法是最好的算法?？聽柲缏宸驈?fù)雜性的不成計(jì)算性解釋的就是這個(gè)問題。用的也是反證法，有興趣的伴侶可以自行百度了解(注1)。

這兩個(gè)問題的答案，告訴我們?nèi)虑椋?、壓縮算法的選擇需要具體情況具體分析，不成壓縮的字符串總是存在。2、不要妄圖獲得最好的壓縮算法，它是不成計(jì)算的。因?yàn)榭傆心阆氩坏降膲嚎s算法存在。舉個(gè)例子，[一百萬個(gè) 0 的字符串，以“foo”作為key，經(jīng)過AES加密算法的CBC模式得到的字符串]。這串字符串看起來完全是隨機(jī)的，不成壓縮的。但我卻用 43 個(gè)中文(中括號之間的內(nèi)容)就體現(xiàn)了出來。3、壓縮是件很難很有技術(shù)含量的事情，需要不停的挖掘，才能將他做到更好。

3. 時(shí)序數(shù)據(jù)壓縮

針對差別的數(shù)據(jù)，會有差別的壓縮，大致壓縮的對象可以分為文檔、音頻、視頻等。如果直接采用文檔的壓縮算法用于時(shí)序數(shù)據(jù)，效果并不抱負(fù)。下圖是一些常用的壓縮算法的benchmark，可以看到壓縮率那一欄最高也只能夠達(dá)到 3 擺布的壓縮率(壓縮率=原始數(shù)據(jù)大小/壓縮后的數(shù)據(jù)大小)。更多壓縮算法可以查看注2。

如果要得到更好的壓縮率，我們需要采取更加適合時(shí)序數(shù)據(jù)的壓縮算法。時(shí)序數(shù)據(jù)的壓縮可以分為無損壓縮和有損壓縮。

無損壓縮

無損壓縮是說被壓縮的數(shù)據(jù)和解壓后的數(shù)據(jù)完全一樣，不存在精度的損失。對數(shù)據(jù)的壓縮說到底是對數(shù)據(jù)規(guī)律性的總結(jié)。時(shí)序數(shù)據(jù)的規(guī)律可以總結(jié)為兩點(diǎn)：1、timestamp不變遞增、2、數(shù)值有規(guī)律性，變革不變。下面來舉個(gè)例子。

上圖是一組時(shí)序數(shù)據(jù)，如果我們一行一行的看感覺壓縮有點(diǎn)困難，但如果我們一列一列的看，壓縮方案就呼之欲出了。