文|AI前線
作者|劉燕
AI前線導(dǎo)讀:如果將人工智能比作火箭,那么,數(shù)據(jù)就是助推火箭上升的燃料。機(jī)器學(xué)習(xí)依賴大量的已標(biāo)注數(shù)據(jù),數(shù)據(jù)標(biāo)注讓機(jī)器理解并認(rèn)識世界。數(shù)據(jù)標(biāo)注是人工智能發(fā)展過程中不可缺的一環(huán),是AI金字塔構(gòu)建的基礎(chǔ)力量。與AI臺前的繁榮、高光形成鮮明對比的是,數(shù)據(jù)標(biāo)注往往居于幕后,常被人忽視,也受到一些偏見,血汗工廠、AI富士康、新型民工...隨著AI深入落地對數(shù)據(jù)提出更高的要求,數(shù)據(jù)標(biāo)注行業(yè)也從草莽生長階段逐漸過渡到更精細(xì)化的成長期。
01 AI金字塔背后的數(shù)據(jù)標(biāo)注
數(shù)據(jù)是機(jī)器學(xué)習(xí)的基礎(chǔ),機(jī)器學(xué)習(xí)建立在數(shù)據(jù)建?;A(chǔ)上,豐富的標(biāo)簽是機(jī)器學(xué)習(xí)成功建模的前提。監(jiān)督學(xué)習(xí)是目前應(yīng)用最廣泛的機(jī)器學(xué)習(xí)算法,該方法強(qiáng)依賴標(biāo)注數(shù)據(jù),它通過學(xué)習(xí)大量標(biāo)注的訓(xùn)練樣本來構(gòu)建預(yù)測模型。深度學(xué)習(xí)也需要大量數(shù)據(jù)的投喂,以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)框架都需要在大型的監(jiān)督數(shù)據(jù)集上進(jìn)行訓(xùn)練,百分點首席算法科學(xué)家蘇海波曾表示,深度學(xué)習(xí)只有在擁有充足標(biāo)注數(shù)據(jù)的場景下才能發(fā)揮它的威力,但在很多實際的應(yīng)用中卻沒有足夠的標(biāo)注數(shù)據(jù)。
AI技術(shù)在全場景的落地以及大數(shù)據(jù)時代的到來產(chǎn)生了海量、指數(shù)級別的數(shù)據(jù),數(shù)據(jù)獲取也相對變得容易,然而,想要獲得大量的已標(biāo)注數(shù)據(jù)卻并不容易,往往需要付出很大的人力、物力、財力成本。在醫(yī)療AI等專業(yè)門檻較高的細(xì)分領(lǐng)域,缺乏標(biāo)注數(shù)據(jù)就成了阻礙行業(yè)發(fā)展的絆腳石,騰訊優(yōu)圖實驗室總監(jiān)鄭冶楓曾在接受AI前線采訪時表示,醫(yī)療數(shù)據(jù)標(biāo)注難一方面體現(xiàn)在頂尖的醫(yī)療數(shù)據(jù)標(biāo)注人才缺乏,另一方面,臨床、科研任務(wù)重,很多醫(yī)療專家沒有時間和精力做數(shù)據(jù)標(biāo)注。
數(shù)據(jù)標(biāo)注主要是針對語音、圖像、文本等進(jìn)行標(biāo)注,主要通過做標(biāo)記、標(biāo)重點、打標(biāo)簽、框?qū)ο?、做注釋等方式對?shù)據(jù)集作出標(biāo)注,再將這些數(shù)據(jù)集給機(jī)器訓(xùn)練和學(xué)習(xí)。數(shù)據(jù)標(biāo)注的類型主要有:拼音標(biāo)注、韻律標(biāo)注、詞性標(biāo)注、音素時間點標(biāo)注、語音轉(zhuǎn)寫、分類標(biāo)注、打點標(biāo)注、標(biāo)框標(biāo)注、區(qū)域標(biāo)注等等。由于需要標(biāo)注的數(shù)據(jù)規(guī)模龐大且成本較高,一些互聯(lián)網(wǎng)巨頭及一些AI公司很少自己設(shè)有標(biāo)注團(tuán)隊,大多交給第三方數(shù)據(jù)服務(wù)公司或者數(shù)據(jù)標(biāo)注團(tuán)隊來做。
數(shù)據(jù)服務(wù)是標(biāo)貝科技的起家業(yè)務(wù),自2016年成立以來,標(biāo)貝科技為BAT、AI獨(dú)角獸等多家公司提供過語音、圖像、NLP數(shù)據(jù)的采集、標(biāo)注等服務(wù)。據(jù)標(biāo)貝科技數(shù)據(jù)負(fù)責(zé)人繆冠瓊介紹,標(biāo)貝有自研的采集標(biāo)注平臺,包括長語音(對話、持續(xù))標(biāo)注平臺和短語音(十幾秒)標(biāo)注平臺,AI語音合成數(shù)據(jù)標(biāo)注平臺、數(shù)據(jù)工場APP等。在標(biāo)注平臺的選擇上,會依據(jù)圖像、語音數(shù)據(jù)、數(shù)據(jù)來源、客戶需求等綜合決定。以語音合成數(shù)據(jù)標(biāo)注為例,會標(biāo)注其音字、韻律、音素時間點、詞性等標(biāo)簽。
人工智能的繁榮催生并壯大了數(shù)據(jù)標(biāo)注行業(yè),也創(chuàng)造了大量的就業(yè)崗位。有數(shù)據(jù)顯示,目前中國的全職數(shù)據(jù)標(biāo)注從業(yè)者有約20萬人,兼職數(shù)據(jù)標(biāo)注從業(yè)者有約一百萬人,全國從事數(shù)據(jù)標(biāo)注業(yè)務(wù)的公司約有幾百家。
02 數(shù)據(jù)民工?
在數(shù)據(jù)標(biāo)注行業(yè)流行著一句話,有多少智能,就有多少人工。數(shù)據(jù)標(biāo)注是人工智能發(fā)展中至關(guān)重要的一環(huán),卻常常容易被人忽視。
相對而言,數(shù)據(jù)標(biāo)注是人工智能領(lǐng)域入門級的工種,單從工作流程看,其技術(shù)含量較低,人是這項工作中最大的影響因素,久而久之,勞動密集型成為外界給數(shù)據(jù)標(biāo)注行業(yè)貼上的一個標(biāo)簽。低門檻吸引了眾多農(nóng)民、學(xué)生、殘疾人群體加入到數(shù)據(jù)標(biāo)注大軍中,在我國河南、河北、貴州、山西等地的四五線城市還出現(xiàn)了一些特色的數(shù)據(jù)標(biāo)注村。
不止中國,向勞動力更充足、成本更低的地方遷移也是全球數(shù)據(jù)標(biāo)注行業(yè)的發(fā)展趨勢。印度涌現(xiàn)了不少數(shù)據(jù)標(biāo)注村,他們?yōu)槊绹?、歐洲、澳洲和亞洲的AI公司服務(wù),F(xiàn)acebook就曾將部分社交內(nèi)容標(biāo)注的工作外包給了一家印度公司。
上述務(wù)工者也由此成為了人工智能浪潮中的參與者,盡管待遇上遠(yuǎn)遠(yuǎn)少于其他人工智能從業(yè)者,但相較傳統(tǒng)的體力工作,數(shù)據(jù)標(biāo)注員的工作倒是更輕松,體面。不過,硬幣的另一面是,這項工作流程簡單,單調(diào)乏味,數(shù)據(jù)標(biāo)注員日復(fù)一日重復(fù)畫框的工作...。。關(guān)于數(shù)據(jù)標(biāo)注行業(yè)是臟活累活、數(shù)據(jù)民工的論調(diào)也四散而起。
對于這些聲音,繆冠瓊并不認(rèn)同。
我覺得(它)不是‘臟活累活’行業(yè),因為這并不是一個什么人都可以做的工作。AI本身發(fā)展很快,隨著應(yīng)用產(chǎn)品落地,對數(shù)據(jù)的要求越來越高,對數(shù)據(jù)采標(biāo)人員的素質(zhì)也提出了高要求??紤]到外包團(tuán)隊服務(wù)質(zhì)量難以把控等因素,標(biāo)貝科技所承接的項目主要依靠自有數(shù)據(jù)標(biāo)注團(tuán)隊,其在天津、長春等城市設(shè)有數(shù)據(jù)團(tuán)隊,兼職人員則視項目大小臨時擴(kuò)容,遴選兼職人員時更考慮專業(yè)水平,要求具有語言、方言背景,或者有數(shù)據(jù)標(biāo)注經(jīng)驗,無經(jīng)驗者要經(jīng)過至少6個月培訓(xùn)。
繆冠瓊表示,數(shù)據(jù)標(biāo)注行業(yè)的發(fā)展越來越趨向于專業(yè)化,早期多以中文數(shù)據(jù)標(biāo)注為主,現(xiàn)在隨著多語種、方言、個性化標(biāo)注等發(fā)展標(biāo)注需求的增加,并不是隨便拉來很多人就可以做的,需要專業(yè)的人才。此外,血汗工廠這種情形多出現(xiàn)在行業(yè)早期且多針對于只有數(shù)據(jù)標(biāo)注一項業(yè)務(wù)的小團(tuán)隊,它們承接不了一些復(fù)雜的、定制化的項目。從工作量上看,結(jié)合客戶需求,以語音標(biāo)注為例,標(biāo)貝科技的數(shù)據(jù)標(biāo)注員一個人工作一天的有效標(biāo)注語音時長為1小時。
03 機(jī)器標(biāo)注比重提升,但不可能取代人工
蠻荒時代已過去了。
《2019年中國人工智能基礎(chǔ)數(shù)據(jù)服務(wù)行業(yè)白皮書》分析指出,2010-2016年為數(shù)據(jù)服務(wù)行業(yè)的初生期,早期數(shù)據(jù)標(biāo)注需求激增,加之入行門檻低,涌入了大量玩家,魚龍混雜。自2017年以來,伴隨著AI深入落地到各個應(yīng)用場景中,數(shù)據(jù)標(biāo)注行業(yè)了進(jìn)入成長期,上層應(yīng)用端的廠商對數(shù)據(jù)標(biāo)注質(zhì)的要求不斷提高,如自動駕駛、運(yùn)動圖像、計算機(jī)視覺等領(lǐng)域的數(shù)據(jù)標(biāo)注難度很高。
行業(yè)格局漸漸清晰,馬太效應(yīng)明顯。據(jù)了解,國內(nèi)從事數(shù)據(jù)標(biāo)注業(yè)務(wù)公司/團(tuán)隊約有幾百家,其中獨(dú)立做整個數(shù)據(jù)質(zhì)量服務(wù)的約百余家,能夠提供數(shù)據(jù)采標(biāo)服務(wù)一體化的有幾十家,能夠提供高標(biāo)準(zhǔn)基礎(chǔ)數(shù)據(jù)服務(wù)的僅有十幾家?,F(xiàn)階段,下游AI算法研發(fā)單位多將業(yè)務(wù)分流給不同數(shù)據(jù)服務(wù)公司加之?dāng)?shù)據(jù)標(biāo)注相關(guān)標(biāo)準(zhǔn)待完善,該行業(yè)還沒有出現(xiàn)大的巨頭公司。
這是一個尚未飽和的市場,同樣,這也意味著巨大的發(fā)展空間。據(jù)統(tǒng)計,2018年中國人工智能基礎(chǔ)數(shù)據(jù)服務(wù)市場規(guī)模為25.86億元,行業(yè)年復(fù)合增長率為23.5%。
繆冠瓊認(rèn)為,受數(shù)據(jù)安全和質(zhì)量標(biāo)準(zhǔn)不斷提升及相關(guān)數(shù)據(jù)政策出臺影響,一些不滿足行業(yè)標(biāo)準(zhǔn)及客戶需求的將會被市場淘汰。她補(bǔ)充,行業(yè)目前正處于一個上升的、快速發(fā)展的階段,整體在朝著個性化、專業(yè)化的方向發(fā)展,從早期較簡單的、通用的數(shù)據(jù)過渡到更復(fù)雜的個性化的、場景化的數(shù)據(jù),對于很多細(xì)分領(lǐng)域,需要大量真實的模型進(jìn)行標(biāo)注去迭代模型,而非簡單的通用數(shù)據(jù)可以滿足的。
數(shù)據(jù)標(biāo)注行業(yè)也已經(jīng)開始進(jìn)入到人機(jī)協(xié)作的階段,數(shù)據(jù)標(biāo)注市場需求量仍舊很大,需要更加專業(yè)的人及高效的機(jī)器協(xié)助,機(jī)器標(biāo)注所占的比重會不斷提升,AI技術(shù)與數(shù)據(jù)互補(bǔ),通過AI技術(shù)提升數(shù)據(jù)效率,數(shù)據(jù)反過來服務(wù)于技術(shù)。
為降低人工成本,提高效率,不少互聯(lián)網(wǎng)技術(shù)公司及第三方數(shù)據(jù)服務(wù)商在開發(fā)自己的標(biāo)注工具。去年10月,Google發(fā)布了用于完整圖像標(biāo)注的人機(jī)協(xié)作接口Fluid Annotation,利用它標(biāo)注圖像中每個對象和背景區(qū)域的類標(biāo)簽與輪廓,可將標(biāo)注數(shù)據(jù)集的創(chuàng)建速度提高三倍。數(shù)據(jù)標(biāo)注眾包平臺也不斷涌現(xiàn),京東眾智、百度眾測、figure-eight、亞馬遜的Mechanical Turk等。
未來,機(jī)器標(biāo)注、人工輔助將成為可以預(yù)見的發(fā)展趨勢。這對數(shù)據(jù)標(biāo)注村來說或許并不是一件好事。但繆冠瓊認(rèn)為,機(jī)器不可能完全取代人工?,F(xiàn)階段人工標(biāo)注的準(zhǔn)確度要高于機(jī)器,機(jī)器只能跑出有一定比例的正確結(jié)果,更精確的結(jié)果仍需要人工來標(biāo)注,且發(fā)揮的作用更關(guān)鍵。此外,在質(zhì)檢環(huán)節(jié),人的作用也無可替代,標(biāo)貝數(shù)據(jù)校對采用人工為主的處理方式,采用遵循一審、二校、三驗流程,機(jī)器會抽檢、驗收一部分?jǐn)?shù)據(jù)并給出預(yù)處理結(jié)果,最終的結(jié)果要靠精細(xì)化的人工校對。
嘉賓介紹
繆冠瓊,標(biāo)貝科技聯(lián)合創(chuàng)始人,數(shù)據(jù)業(yè)務(wù)負(fù)責(zé)人,語音及數(shù)據(jù)領(lǐng)域?qū)<?,行業(yè)經(jīng)驗超過17年以上,參與多本專業(yè)書籍編寫,在產(chǎn)品與數(shù)據(jù)的場景結(jié)合上有獨(dú)特的解決方案。