廣告這門生意賣的，就是屏幕前的每一個(gè)你，這里還給你起了個(gè)高大上的名字“流量”；廣告的買家才是客戶爸爸，爸爸們就是像Nike，H&M這樣的各類廣告主。

而這里真正牛逼的是，互聯(lián)網(wǎng)廣告的這一套流程是全自動(dòng)的，專業(yè)術(shù)語叫“程序化交易”，而且廣告是大數(shù)據(jù)應(yīng)用商業(yè)化、規(guī)模化程度最高的行業(yè)。

“程序化交易”的互聯(lián)網(wǎng)廣告產(chǎn)品，完全是靠數(shù)據(jù)驅(qū)動(dòng)和計(jì)算導(dǎo)向的。

今天我們就一起來學(xué)習(xí)下互聯(lián)網(wǎng)廣告的產(chǎn)品策略。

互聯(lián)網(wǎng)廣告與傳統(tǒng)線下廣告的根本區(qū)別在于兩點(diǎn)：

1. 廣告效果可衡量。
2. 能通過計(jì)算技術(shù)，持續(xù)優(yōu)化利潤。

所以，互聯(lián)網(wǎng)廣告又叫計(jì)算廣告。

計(jì)算廣告最核心的量化指標(biāo)之一叫做eCPM(expected Cost per Mille，千次展示收入)，按照廣告的信息傳達(dá)過程來分，eCPM又可以分解為點(diǎn)擊率和點(diǎn)擊價(jià)值的乘積。這也是我們計(jì)算優(yōu)化的兩個(gè)重點(diǎn)。

為了理解計(jì)算技術(shù)如何優(yōu)化廣告效果，我們先了解廣告是如何對(duì)產(chǎn)生效果的。

廣告從用戶接觸開始，到最終產(chǎn)生效果的過程，被稱為廣告的信息傳播的有效性模型。

該模型把受眾接受廣告信息的過程分為選擇（selection）、解釋（interpretation）與態(tài)度（attitude） 三個(gè)大階段，并可進(jìn)一步分解為曝光（exposure）、關(guān)注（attention）、理解（comprehension）、接受（acceptence）、保持（retention）與決策（decision） 6個(gè)子階段。

越靠前的階段，其效果的改善對(duì)點(diǎn)擊率的貢獻(xiàn)越大。

而越靠后的階段，其效果的改善對(duì)轉(zhuǎn)化率的貢獻(xiàn)越大。

圖片來源：泰得制作

這一階段是指廣告物理上的展示過程，可能是線下，在地鐵站；或者線上，在App里。

曝光階段的廣告效果，主要跟廣告位的物理屬性有關(guān)，比如位置、尺寸等，沒有太多技術(shù)優(yōu)化的空間。

曝光的有效性，對(duì)最終結(jié)果的影響，往往遠(yuǎn)高于其他技術(shù)性因素， 所以才會(huì)有傳統(tǒng)廣告中“位置為王”的說法，比如紐約時(shí)代廣場的廣告牌、各一線城市市中心高樓上的廣告牌等。

在互聯(lián)網(wǎng)廣告中，位置的影響有時(shí)會(huì)更加顯著，因此如何從算法上消除由此帶來的點(diǎn)擊率預(yù)估偏差，是一個(gè)非常重要的實(shí)際問題。

指受眾從物理上，接觸到廣告；到意識(shí)上，注意到它的過程。

對(duì)廣告而言，曝光并不一定意味著關(guān)注。

廣告能否被關(guān)注，要遵循幾個(gè)重要原則：

首先，盡可能不要打斷用戶的任務(wù)。

這一點(diǎn)是上下文（Context）相關(guān)的廣告投送原理的基礎(chǔ)，也是現(xiàn)在討論原生廣告產(chǎn)品的出發(fā)點(diǎn)之一。

當(dāng)用戶明確辨識(shí)出某個(gè)固定不變的廣告位，并且不再認(rèn)為其與自己當(dāng)前瀏覽的任務(wù)有關(guān)聯(lián)時(shí)，他會(huì)下意識(shí)地屏蔽其中的內(nèi)容。

其次，明確向用戶傳達(dá)推送廣告的原因，讓客戶和廣告本身產(chǎn)生鏈接。

這一點(diǎn)是“受眾定向廣告”內(nèi)容創(chuàng)意的重要方向。

第三，內(nèi)容符合用戶的興趣或需求，如果推送的是客戶不需要或不感興趣的廣告，只會(huì)用戶的招致反感，這是“行為定向”的原理基礎(chǔ)。

用戶關(guān)注了廣告內(nèi)容，并不意味著一定能夠理解廣告?zhèn)鬟_(dá)的信息。

理解階段要遵循哪些原則呢？

首先，廣告內(nèi)容要和用戶興趣相關(guān)，且能被用戶所理解，這就需要精準(zhǔn)的受眾定向。

其次，要設(shè)定與關(guān)注程度相匹配的理解門檻。因?yàn)橛脩艨磸V告的注意力，肯定不會(huì)像看電影那么集中，所以廣告內(nèi)容一定易于理解。 可以集中表現(xiàn)某一個(gè)點(diǎn)，來吸引用戶的注意力

下圖是慕思床墊在朋友圈投放的原生廣告，考慮微信用戶刷朋友圈大多都是一帶而過，不會(huì)太集中注意力，所以廣告內(nèi)容就只集中在一個(gè)需求點(diǎn)“睡好一點(diǎn)”，簡單易懂。

圖片來源：泰得制作

用戶理解了廣告?zhèn)鬟_(dá)的信息，并不表示他也認(rèn)可這些信息。

廣告的上下文環(huán)境，對(duì)廣告的被接受程度有著很大的影響。

同一個(gè)品牌的廣告出現(xiàn)在某灌水論壇上和CCTV首頁上，用戶會(huì)傾向于認(rèn)為CCTV更具說服力，這也就是優(yōu)質(zhì)媒體的品牌價(jià)值。

在定向廣告越來越普遍的今天，如何讓合適的廣告出現(xiàn)在合適的媒體上，即廣告安全（Ad Safety）問題，也是廣告行業(yè)的一個(gè)重要研究方向。

對(duì)于不只是追求短期轉(zhuǎn)化，而是看到品牌長尾效應(yīng)的廣告商，他們希望廣告?zhèn)鬟_(dá)的信息能給用戶留下長久的記憶，以影響其長時(shí)間的選擇。

因此品牌廣告商在廣告創(chuàng)意上花了大量的精力提高此階段效果。

比如，Nike的“JUST DO IT.”阿迪達(dá)斯的“Impossible is nothing.”史玉柱的“今年過節(jié)不送禮，送禮就送腦白金?！?/p>

我們聽到這些品牌的廣告詞時(shí)，就很容易聯(lián)想到品牌本身；同樣我們聽到該品牌，腦子里面就會(huì)想起它的廣告詞，就如同被寫進(jìn)了我們的潛意識(shí)。

這樣在具體的消費(fèi)場景下，我們就會(huì)自動(dòng)想到該品牌，這樣的品牌廣告無疑是非常成功的。

成功廣告的最終作用是帶來用戶的轉(zhuǎn)化行動(dòng)，雖然轉(zhuǎn)化已經(jīng)離開了廣告的業(yè)務(wù)范疇，但好的廣告是能為提高轉(zhuǎn)化率做好鋪墊。

特別是以拼多多的為首的電商廣告，之所以能以病毒式傳播轉(zhuǎn)化，也是因其廣告創(chuàng)意充分利用了人性對(duì)便宜的期望，以及對(duì)損失的厭惡。

相對(duì)于傳統(tǒng)廣告行業(yè)，在線廣告具有以下五個(gè)特點(diǎn)：

在線廣告的數(shù)字化特點(diǎn)，使其具有以下幾方面的優(yōu)勢：

• 精準(zhǔn)的受眾定向
• 實(shí)時(shí)的競價(jià)交易
• 機(jī)器自動(dòng)決策
• 極低的投放邊際成本

在線廣告能以把廣告的展示、客戶的點(diǎn)擊、以及客戶的轉(zhuǎn)化行為等各類數(shù)據(jù)，直接記錄在系統(tǒng)中，并能通過數(shù)據(jù)分析不斷優(yōu)化投放策略。

廣告需求方關(guān)心的是接收廣告的用戶群，而不是廣告位本身。

互聯(lián)網(wǎng)上擁有著海量的媒體，如果媒體之間的廣告位標(biāo)準(zhǔn)不統(tǒng)一，則廣告主的同一份廣告創(chuàng)意，就要制作成不同的尺寸、不同的格式，從而花費(fèi)更多的成本。

同樣，媒體、廣告主都有各自的系統(tǒng)，如果系統(tǒng)之間的接口不統(tǒng)一，任意兩個(gè)系統(tǒng)之間的通信都需要額外的開發(fā)，這樣不僅增加系統(tǒng)復(fù)雜度 ，同時(shí)大幅增加開發(fā)運(yùn)維成本。

得益于數(shù)字化帶來的受眾定向技術(shù)和程序化交易方式，廣告創(chuàng)意尺寸的統(tǒng)一化和關(guān)鍵接口的標(biāo)準(zhǔn)化就顯得格外的重要。

于是就有了IAB推出的視頻廣告VAST標(biāo)準(zhǔn)和實(shí)時(shí)競價(jià)OpenRTB標(biāo)準(zhǔn)，大大降低了媒體、廣告主、需求方、供給方系統(tǒng)的復(fù)雜性，加速了廣告市場的流動(dòng)性。

隨著Web2.0和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)的各種媒體，不斷地拓展了媒體的概念。

從早期像新浪、搜狐這樣的門戶網(wǎng)站，到現(xiàn)在的搜索引擎、電商網(wǎng)站 、社交媒體、短視頻、直播，再到5g時(shí)代的AR、VR等，媒體形式的不斷發(fā)展，也會(huì)不斷推動(dòng)廣告形式的變化。

互聯(lián)網(wǎng)時(shí)代最根本的驅(qū)動(dòng)力是數(shù)據(jù)的深加工和使用。

互聯(lián)網(wǎng)在線廣告發(fā)展所依賴的計(jì)算技術(shù)，本質(zhì)是依賴于大數(shù)據(jù)技術(shù)的規(guī)模化應(yīng)用。

可以認(rèn)為在線廣告系統(tǒng)，就是一個(gè)大數(shù)據(jù)處理平臺(tái)。

在線廣告的基本投放邏輯大致如下：

1. 媒體廣泛收集用戶的行為數(shù)據(jù)和廣告反饋數(shù)據(jù)。
2. DMP平臺(tái)、DSP平臺(tái)利用云計(jì)算的基礎(chǔ)設(shè)施對(duì)用戶打上匹配的標(biāo)簽。
3. DSP把每個(gè)廣告的其定向人群需求和報(bào)價(jià)，報(bào)給ADX或者SSP，多個(gè)廣告實(shí)時(shí)競價(jià)媒體的廣告位，并且在用戶瀏覽廣告頁面時(shí)，實(shí)施決策顯示哪個(gè)廣告。
4. 最后，DSP再將廣告投放的結(jié)果統(tǒng)計(jì)數(shù)據(jù)，反饋給廣告操作人員，以調(diào)整投放策略。

首次提出計(jì)算廣告的美國工程院院士、前雅虎副總裁AndreiBroder認(rèn)為，計(jì)算廣告的核心問題是“Find the best match between a given user in a given context and a suitable advertisement.”

《計(jì)算廣告》的作者劉鵬老師認(rèn)為，計(jì)算廣告的核心問題是：“為一系列用戶(User)和上下文(Context)的組合，找到最合適的廣告投放策略(Ad)，以優(yōu)化整體廣告活動(dòng)的利潤。”

劉鵬老師的調(diào)整，主要是強(qiáng)調(diào)了廣告問題優(yōu)化的是一組展示上的效果，而非某個(gè)單詞展示的效果；此外去掉了“given”，因?yàn)槟承V告產(chǎn)品中，系統(tǒng)并不能拿到確定的用戶或上下文表示，但這并不意味著此情況下無法進(jìn)行計(jì)算優(yōu)化。

計(jì)算廣告優(yōu)化的目標(biāo)是，在這T次展示上的總利潤，即總收入和總成本的差。

但對(duì)于一個(gè)具體的廣告主來說，其廣告投放往往受到約束，如有時(shí)存在預(yù)算的限制，有時(shí)需要投放量的保證。我們稱這種約束為需求方約束。

基于此約束的存在，根據(jù)ROI的考量，我們可以看出廣告的成本或收入不僅與廣告、用戶、上下文有關(guān)，同時(shí)也和某個(gè)具體的廣告主有關(guān)。

同時(shí)，因?yàn)槌鼶SP以外的大多數(shù)廣告產(chǎn)品，其成本也對(duì)應(yīng)常數(shù)或與收入成正比，這樣成本部分可以從下圖的優(yōu)化公式中去除，我們能主動(dòng)優(yōu)化的往往是收入部分，所以計(jì)算廣告的主要關(guān)注的就是收入的優(yōu)化。

當(dāng)一次廣告展示產(chǎn)生后，我們按其后續(xù)行為，進(jìn)一步分解廣告收入r的組成。

1.用戶在媒體上看到廣告后，產(chǎn)生了興趣，于是點(diǎn)擊了廣告，于是就產(chǎn)生了我們第一個(gè)轉(zhuǎn)化數(shù)據(jù)：點(diǎn)擊率（CTR, Click Through Rate）即：廣告點(diǎn)擊與廣告展現(xiàn)的比率。

2.點(diǎn)擊后，會(huì)打開廣告主的落地頁，落地頁成功的打開次數(shù)，除以點(diǎn)擊次數(shù)，就得到第二個(gè)轉(zhuǎn)化指標(biāo)：到達(dá)率。

3.如果場景是電商，用戶從落地頁開始，進(jìn)一步完成了下單等操作，則成為轉(zhuǎn)化。轉(zhuǎn)化次數(shù)與落地成功打開次數(shù)的比率，則成為轉(zhuǎn)化率（CVR, Conversion Rate）。

我們可以將收入r分解為點(diǎn)擊率和點(diǎn)擊價(jià)值的乘積，這兩部分的乘積定量地表示了某次展示的eCPM（expected Cost per Mille，千次展示收益估計(jì)） 這也是計(jì)算廣告中最常被提及、最關(guān)鍵的定量評(píng)估收益的指標(biāo)。

按照上述廣告展示后的行為分解，點(diǎn)擊價(jià)值函數(shù)v()也可進(jìn)一步分解為：到達(dá)率*轉(zhuǎn)化率*客單價(jià)。

圖片制作: 泰得

對(duì)于大多數(shù)廣告來說，需要計(jì)算 (a,u,c) 三元組的eCPM, 以進(jìn)行決策。

根據(jù)eCPM的分解，決定哪部分由誰來估計(jì)，是廣告市場各種計(jì)費(fèi)模式產(chǎn)生的根本原因，也是廣告市場中 ，商業(yè)邏輯與產(chǎn)品架構(gòu)銜接的重要一環(huán)。

計(jì)費(fèi)模式我在《你知道快手、抖音怎么通過廣告賺錢的嗎？》一文中有講述過 ，這里不再贅述。

我們只需了解有兩大類計(jì)費(fèi)模式：

1. 品牌類廣告一般按照CPT、CPM結(jié)算，其中CPM是主流。
2. 效果類廣告一般按CPC、CPS、CPA計(jì)算，其中CPC占?jí)艛嗟匚弧?/li>

由于數(shù)據(jù)利用和變現(xiàn)需求的推動(dòng)，在線廣告的發(fā)展經(jīng)過了四個(gè)階段。

1.合約廣告產(chǎn)品，主要分為按時(shí)間段售賣的CPT廣告和按約定展示量售賣的CPM廣告，主要用于品牌類廣告的投放。

2.競價(jià)廣告產(chǎn)品，最重要的形式是搜索廣告，其產(chǎn)品形式是對(duì)搜索關(guān)鍵字的競價(jià)。

此類廣告拓展到站外展示廣告流量時(shí)，就演化成了對(duì)頁面關(guān)鍵字、用戶標(biāo)簽競價(jià)的產(chǎn)品形式 ，即ADN。

競價(jià)廣告主要服務(wù)于效果類廣告。

3.程序化交易廣告。程序化交易的核心是實(shí)時(shí)競價(jià)、機(jī)器決策。其核心發(fā)展動(dòng)力是市場中廣告主數(shù)據(jù)和第三方數(shù)據(jù)的使用和變現(xiàn)需求，同時(shí)也催生了數(shù)據(jù)交易產(chǎn)業(yè)的發(fā)展。

4.原生廣告產(chǎn)品。隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，如何處理廣告和非廣告內(nèi)容的關(guān)系，讓廣告不那么招用戶煩，于是看起來和頁面內(nèi)容更相似的“原生廣告”產(chǎn)生了。原生廣告同時(shí)也對(duì)技術(shù)提出了新要求：“原生”要求更精確的上下文數(shù)據(jù)標(biāo)簽信息。

從在線廣告的發(fā)展階段，我們可以看出，其產(chǎn)品策略的優(yōu)化，主要包括以下三方面：

1.關(guān)注商業(yè)本身。廣告產(chǎn)品作為商業(yè)產(chǎn)品（B端產(chǎn)品）的一類，其核心如何設(shè)計(jì)競價(jià)機(jī)制、冷啟動(dòng)時(shí)的數(shù)據(jù)搜索、如何定義受眾定向標(biāo)簽體系，都需要產(chǎn)品經(jīng)理對(duì)商業(yè)模式的深入理解，并根據(jù)實(shí)際業(yè)務(wù)不斷的實(shí)踐、優(yōu)化。

2.要特別關(guān)注數(shù)據(jù)。數(shù)據(jù)是互聯(lián)網(wǎng)是血液，產(chǎn)品功能、策略的優(yōu)化迭代，要嚴(yán)格遵守“從數(shù)據(jù)分析開始，以數(shù)據(jù)反饋為終的產(chǎn)品設(shè)計(jì)、研發(fā)、運(yùn)營閉環(huán)”。

3.盡量為用戶提供高效、便捷的UI，而不用追求華而不實(shí)的酷炫設(shè)計(jì)。

在計(jì)算廣告中，無論是產(chǎn)品還是策略，都與技術(shù)關(guān)系密切，因?yàn)檫@個(gè)市場本質(zhì)是計(jì)算驅(qū)動(dòng)的。

計(jì)算廣告是個(gè)典型的大數(shù)據(jù)驅(qū)動(dòng)的個(gè)性化系統(tǒng)，即根據(jù)個(gè)體的用戶、上下文的信息，動(dòng)態(tài)投送個(gè)性化內(nèi)容的系統(tǒng)，其本質(zhì)為離線的分布式計(jì)算平臺(tái)與在線的流計(jì)算平臺(tái)的結(jié)合。

計(jì)算廣告系統(tǒng)的四個(gè)主要部分：

1.實(shí)時(shí)響應(yīng)請(qǐng)求，完成決策的在線投放引擎(online serving engine)，主要功能包括：檢索、排序、整體收益的全局優(yōu)化。

主要模塊包括：

廣告投放機(jī)（ad server），主要任務(wù)是把各個(gè)功能模塊串起來，完成在線廣告投放決策。

其最重要的指標(biāo)為每秒數(shù)(QPS, Query per Second)和廣告決策延遲（latency）。

廣告檢索（ad retrieval），主要任務(wù)是在線時(shí)根據(jù)用戶標(biāo)簽（user attribute）與頁面標(biāo)簽（page attribute），從廣告索引（ad index）中查找符合條件的廣告候選。主要技術(shù)是倒排索引。

廣告排序（ad ranking），用于在線高效地計(jì)算廣告的eCPM,并進(jìn)行排序。eCPM的計(jì)算主要依賴于點(diǎn)擊率估計(jì)，這就需要通過離線計(jì)算得到CTR模型和特征（CTR model and feature），有時(shí)還需通過流計(jì)算得到實(shí)時(shí)點(diǎn)擊率特征（real-time feature）。在需估算點(diǎn)擊 價(jià)值的廣告產(chǎn)品 （如按效果結(jié)算的DSP）中 ，還需一個(gè)點(diǎn)擊價(jià)值估計(jì)模型。

收益管理（yield mgmt），主要任務(wù)是以全局收益最優(yōu)為目的的前提下，將局部廣告排序 結(jié)果進(jìn)一步調(diào)整，如GD系統(tǒng)中的在線分配、DSP中的出價(jià)策略等。這部分一般都要用到離線計(jì)算好的某種分配計(jì)劃，來完成 在線時(shí)的決策。

廣告請(qǐng)求接口（ad request interface），本質(zhì)上就是http請(qǐng)求，用于不同系統(tǒng)之間的數(shù)據(jù)通信。

定制化用戶劃分（customized audience segmentation），由于廣告是媒體替換廣告主完成用戶接觸，那么有時(shí)需根據(jù)廣告主的邏輯來劃分用戶群。此模塊的功能為從廣告主處收集用戶信息的產(chǎn)品接口，而收集到的數(shù)據(jù)如需較復(fù)雜的加工，也將經(jīng)過數(shù)據(jù)高速公路(data highway)導(dǎo)入受眾定向模塊來完成。

2.離線的分布式計(jì)算(distributed computing)數(shù)據(jù)處理平臺(tái)。

計(jì)算廣告最具挑戰(zhàn)的算法問題都集中在線數(shù)據(jù)處理的部分。

離散數(shù)據(jù)處理的輸出目標(biāo)有兩個(gè)：

一是統(tǒng)計(jì)日志得到報(bào)表、儀表板等，供人進(jìn)行決策時(shí)作參考。

二是利用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)技術(shù)，進(jìn)行受眾定向、點(diǎn)擊率預(yù)估、分配策略規(guī)劃等，為在線的機(jī)器決策提供支持。

為了對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行分布式的處理加工，一般選擇Hadoop這樣的分布式存儲(chǔ)和MapReduce計(jì)算框架。

離線數(shù)據(jù)處理的主要模塊有：

用戶會(huì)話日志（session log）生成。從各個(gè)渠道收集來的日志，需要先整理成以用戶ID為key的統(tǒng)一存儲(chǔ)格式，這樣的日志成為用戶會(huì)話日志。整理的目的是為了讓后續(xù)的受眾定向過程更加簡單高效。

行為（behavior）定向。功能是完成挖掘用戶日志，根據(jù)日志的行為給用戶打上結(jié)構(gòu)化標(biāo)簽（structureal lab base）中的某些標(biāo)簽，并將結(jié)果存儲(chǔ)在用戶標(biāo)簽的在線緩存中，供廣告投放機(jī)使用。

這部分是計(jì)算廣告的原材料加工廠，因此在整個(gè)系統(tǒng)中具有非常關(guān)鍵的地位。

上下文（context）定向。包括在線頁面抓取和頁面標(biāo)簽的緩存，這部分與行為定向互相配合，負(fù)責(zé)給上下文頁面打上標(biāo)簽，用于在線的廣告投放中。

點(diǎn)擊率建模。功能是在分布式計(jì)算平臺(tái)上訓(xùn)練得到點(diǎn)擊率的模型參數(shù)和相應(yīng)特征，加載到緩存中，供線上投放系統(tǒng)決策時(shí)使用。

分配規(guī)劃。為在線的收益管理模塊服務(wù)，它根據(jù)廣告系統(tǒng)全局優(yōu)化的具體需求，利用離線日志數(shù)據(jù)進(jìn)行規(guī)劃，得到適合線上執(zhí)行的分配方案（allocation plan）。

商業(yè)智能（BI）系統(tǒng)。包括ETL（extract-transform-load）過程、儀表板和Cube。這些是所有以人為終端接口的數(shù)據(jù)處理和分析流程的總括。

它負(fù)擔(dān)著對(duì)外信息交流的任務(wù)，需要運(yùn)營者根據(jù)數(shù)據(jù)反饋，人為地對(duì)一些系統(tǒng)設(shè)置做及時(shí)調(diào)整。

廣告管理系統(tǒng)。這部分是面向用戶的產(chǎn)品。這里的用戶是指廣告操作者，即客戶執(zhí)行（Accout Execute，AE）與廣告系統(tǒng)的接口。

AE通過廣告管理系統(tǒng)定制和調(diào)整廣告投放，并與數(shù)據(jù)倉庫交互，獲得投放統(tǒng)計(jì)數(shù)據(jù)以支持決策。

3.用于在線實(shí)時(shí)反饋的流計(jì)算(stream computing)平臺(tái)。

在線數(shù)據(jù)處理基本可認(rèn)為是離線數(shù)據(jù)處理的鏡像功能，它是為了滿足廣告系統(tǒng)對(duì)實(shí)時(shí)數(shù)據(jù)反饋的要求，解決那些離線分布式計(jì)算平臺(tái)無法快速響應(yīng)的計(jì)算問題，常用流式管理平臺(tái)作為基礎(chǔ)設(shè)施。

在線數(shù)據(jù)處理的主要模塊包括：

在線反作弊。實(shí)時(shí)判斷流量來源中是否有作弊流量，并將其從后續(xù)的計(jì)價(jià)和統(tǒng)計(jì)中去掉。

計(jì)費(fèi)。計(jì)費(fèi)功能除了實(shí)時(shí)結(jié)算廣告費(fèi)用，還需要管理扣費(fèi)，在扣除了作弊流量的基礎(chǔ)上，對(duì)于扣費(fèi)預(yù)算耗盡的廣告，系統(tǒng)需通知廣告索引系統(tǒng)將其下線。

在線行為反饋。包括實(shí)時(shí)受眾定向和實(shí)時(shí)點(diǎn)擊反饋。將短時(shí)內(nèi)發(fā)生的用戶行為和廣告日志及時(shí)地加工成實(shí)時(shí)用戶標(biāo)簽，以及實(shí)時(shí)的點(diǎn)擊率模型特征。此部分對(duì)效果提升的意義重大。

實(shí)時(shí)索引。實(shí)時(shí)接受廣告投放數(shù)據(jù)，建立倒排索引。

4.鏈接和運(yùn)轉(zhuǎn)以上三部分?jǐn)?shù)據(jù)流的數(shù)據(jù)高速公路(data highway)。

上述四部分相互配合，完成系統(tǒng)的數(shù)據(jù)挖掘和在線決策。

首先，在線投放系統(tǒng)的日志接入數(shù)據(jù)高速公路（DH），通過其，將日志傳送到離線數(shù)據(jù)處理平臺(tái)（DC）和在線流計(jì)算平臺(tái)(SC)。

之后，離線數(shù)據(jù)處理平臺(tái)（DC）周期性地，以批處理方式加工過去一段時(shí)間的數(shù)據(jù)，得到分群標(biāo)簽和其他模型參數(shù)，并放入緩存中，供在線投放系統(tǒng)決策時(shí)使用。

與此同時(shí)，在線流計(jì)算平臺(tái)(SC)則負(fù)責(zé)處理最近一小段時(shí)間的數(shù)據(jù)，得到準(zhǔn)實(shí)時(shí)的用戶標(biāo)簽和其他模型參數(shù)，也放入緩存，供在線系統(tǒng)決策時(shí)使用，這些是對(duì)離線處理結(jié)果的及時(shí)補(bǔ)充和調(diào)整。

從而，整個(gè)系統(tǒng)形成了閉環(huán)的決策流程，而這個(gè)閉環(huán)在搭建完成后，基本依靠機(jī)器運(yùn)算來運(yùn)轉(zhuǎn)，人的作用只是進(jìn)行策略上的調(diào)整和控制。

這樣的閉環(huán)系統(tǒng)是有效全量利用大數(shù)據(jù)的關(guān)鍵。

需要強(qiáng)調(diào)的是，由于個(gè)性化需要的是對(duì)用戶盡可能準(zhǔn)確的理解，因此除去個(gè)性化系統(tǒng)本身的日志，一般都還會(huì)用到其他的業(yè)務(wù)線數(shù)據(jù)或采買的數(shù)據(jù)，這些數(shù)據(jù)都會(huì)進(jìn)入數(shù)據(jù)高速通路（DH）以及后續(xù)的加工流程中。

因此在同一個(gè)企業(yè)中，我們需要在不同業(yè)務(wù)中盡可能的共享離線和在線的兩個(gè)計(jì)算平臺(tái)，以及所有的用戶行為數(shù)據(jù)。

下面我們從算法優(yōu)化和系統(tǒng)架構(gòu)的角度，看看計(jì)算廣告系統(tǒng)的主要技術(shù)。

從算法優(yōu)化的角度看，主要技術(shù)有：

1. 受眾定向問題中的用戶、廣告、上下文特征的提取。
2. 實(shí)現(xiàn)每一次展示的局部優(yōu)化的點(diǎn)擊率預(yù)測模型。
3. 兼顧投放量約束和投放時(shí)及時(shí)決策的在線分配技術(shù)。
4. 實(shí)現(xiàn)多方博弈市場中的動(dòng)態(tài)平衡時(shí)的收益最大化的“市場機(jī)制設(shè)計(jì)和定價(jià)策略技術(shù)”。
5. 使用強(qiáng)化學(xué)習(xí)（reinforcement learning）中的探索和利用（Explore&Exploit）方法，更全面的采樣用戶、廣告、上下文特征數(shù)據(jù)。
6. 個(gè)性化推薦技術(shù)。

從系統(tǒng)架構(gòu)方面看，主要技術(shù)有：

1. 由于廣告主的預(yù)算、定向條件等信息在設(shè)置后，需快速線上生效。則需要實(shí)時(shí)索引技術(shù)，用于廣告候選的檢索。
2. 使用NOSQL數(shù)據(jù)庫，為投放時(shí)提供用戶、上下文標(biāo)簽和其他特征。
3. 廣泛使用Hadoop這樣的MapReduce分布式計(jì)算平臺(tái)，進(jìn)行大規(guī)模的數(shù)據(jù)挖掘和建模，也用到流計(jì)算平臺(tái)實(shí)現(xiàn)短時(shí)用戶行為和點(diǎn)擊反饋。
4. 廣告交易市場中實(shí)現(xiàn)高并發(fā)、快速響應(yīng)的實(shí)時(shí)競價(jià)接口。

圖片來源：豆瓣讀書(侵刪)

最后做一點(diǎn)總結(jié)，今天泰得和大家分享的內(nèi)容主要有五部分：

廣告的有效性原理。

其中，第一階段“曝光”的有效性，對(duì)最終結(jié)果的影響，遠(yuǎn)高于其他技術(shù)性因素。

計(jì)算廣告核心的價(jià)值，體現(xiàn)在利用受眾定向、行為定向、上下文定向，持續(xù)優(yōu)化第二階段“關(guān)注”的有效性。

其他的階段如“理解”、“接受”、“保持”、“決策”的有效性，主要取決于廣告創(chuàng)意的內(nèi)容本身。

互聯(lián)網(wǎng)廣告的核心問題，是如何?為一系列用戶和上下文的組合，找到最合適的廣告投放策略，以優(yōu)化整體廣告活動(dòng)的利潤，即計(jì)算出 (a,u,c) 三元函數(shù)的最優(yōu)eCPM。

互聯(lián)網(wǎng)廣告的產(chǎn)品策略?核心有三點(diǎn)：

對(duì)商業(yè)模式的深入理解；

數(shù)據(jù)驅(qū)動(dòng)、數(shù)據(jù)運(yùn)營、數(shù)據(jù)決策；

用戶體驗(yàn)的核心是快捷而非酷炫。

計(jì)算廣告的核心系統(tǒng)，主要有實(shí)時(shí)響應(yīng)并決策的在線投放引擎，分布式計(jì)算數(shù)據(jù)處理平臺(tái)，以及在線實(shí)時(shí)反饋的流計(jì)算平臺(tái)。

計(jì)算廣告的主要技術(shù)中，個(gè)人認(rèn)為最核心的是受眾定向的用戶、廣告、上下文特征提取技術(shù)，以及兼顧投放量約束和投放時(shí)及時(shí)決策的在線分配技術(shù)。

上述就是泰得對(duì)互聯(lián)網(wǎng)廣告行業(yè)管中窺豹的一點(diǎn)粗淺認(rèn)識(shí)，希望對(duì)大家有所幫助，歡迎大家私信指正討論！

作者：B端產(chǎn)品日常

來源：B端產(chǎn)品日常