本輪試評(píng)估將通過技術(shù)測(cè)試、材料審查和企業(yè)披露等方式對(duì)參測(cè)產(chǎn)品的基礎(chǔ)功能、業(yè)務(wù)能力和服務(wù)性能等指標(biāo)進(jìn)行評(píng)測(cè)。竹間智能作為中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟成員，以“竹間疫情防控情感機(jī)器人”系統(tǒng)參與了本次首批測(cè)評(píng)，并在各項(xiàng)指標(biāo)上均取得了不錯(cuò)成績(jī)。

　　參評(píng)企業(yè)名單：

　　

　　功能評(píng)測(cè)結(jié)果與分析

　　本輪評(píng)測(cè)系統(tǒng)測(cè)試了方言支持、結(jié)果報(bào)表、異常上報(bào)等7項(xiàng)基礎(chǔ)功能指標(biāo)，測(cè)試了篩查、防控、回訪等5項(xiàng)業(yè)務(wù)功能指標(biāo)。下圖給出了功能部分的評(píng)測(cè)結(jié)果，列出了參測(cè)產(chǎn)品對(duì)于各指標(biāo)的支持情況：

圖1基礎(chǔ)功能測(cè)試結(jié)果

　　總體而言，參評(píng)產(chǎn)品在并發(fā)外呼、話術(shù)配置和結(jié)果報(bào)表等方面表現(xiàn)較好，主要有以下三個(gè)方面的特點(diǎn)：

　　系統(tǒng)對(duì)并發(fā)外呼的支持充分保證了呼叫效率，多數(shù)參評(píng)產(chǎn)品并發(fā)能力超過1000;

　　話術(shù)配置具備多樣性，使得疫情防控機(jī)器人的使用場(chǎng)景更為豐富;

　　結(jié)果報(bào)表支持實(shí)時(shí)統(tǒng)計(jì)和展示關(guān)鍵信息;

圖2 業(yè)務(wù)功能測(cè)試結(jié)果

　　針對(duì)疫情防控場(chǎng)景，參評(píng)產(chǎn)品設(shè)置了多種適配話術(shù)。在篩查、防控、回訪三個(gè)話術(shù)上，全面支持的參評(píng)產(chǎn)品的占比分別達(dá)到89%、67%和89%。由于宣教話術(shù)通常應(yīng)用于在線客服場(chǎng)景，因此參評(píng)產(chǎn)品中約有一半暫未集成。

　　本次竹間疫情防控情感機(jī)器人能快速上線篩查、防控、回訪等多項(xiàng)功能并實(shí)際投入使用，得益于竹間自研的人工智能開放平臺(tái)Bot Factory™2020。竹間智能將自研的語音識(shí)別技術(shù)和NLP融合，可視化的界面和簡(jiǎn)易操作的流程能快速構(gòu)建例如人員篩查、隔離人員回訪等多輪場(chǎng)景對(duì)話，話術(shù)配置具備多樣性，使得疫情防控機(jī)器人的使用場(chǎng)景更為豐富。

　　可以自動(dòng)批量撥打電話進(jìn)行外呼任務(wù)，大大降低人工壓力并可快速準(zhǔn)確收集相關(guān)信息，自動(dòng)生成報(bào)表以供留檔、分析。

　　性能評(píng)測(cè)結(jié)果與分析

　　本輪評(píng)測(cè)系統(tǒng)測(cè)試了語音識(shí)別、語義理解、結(jié)果分析等6項(xiàng)服務(wù)性能指標(biāo)。下圖(圖中系統(tǒng)與上表參評(píng)企業(yè)排序無對(duì)應(yīng)關(guān)系)給出了信息采集能力、統(tǒng)計(jì)分析能力、語音識(shí)別能力和語義理解能力等多個(gè)重要性能指標(biāo)的準(zhǔn)確率。

圖3 服務(wù)性能測(cè)試結(jié)果

　　總體來看，參評(píng)產(chǎn)品在信息采集能力、語言識(shí)別能力和系統(tǒng)可靠性等方面較為出色，充分利用自身優(yōu)勢(shì)助力疫情防控。在信息采集能力方面，參評(píng)產(chǎn)品的準(zhǔn)確率都超過了83%，可有效保證相關(guān)字段信息的獲取，從而滿足政府、機(jī)構(gòu)等對(duì)關(guān)鍵信息的統(tǒng)計(jì)和分析需求;在語音識(shí)別能力方面，考慮到電話環(huán)境噪聲嘈雜，參評(píng)產(chǎn)品的準(zhǔn)確率主要分布在82%-96%之間，可以達(dá)到較好的使用效果;在語義理解能力上，各家準(zhǔn)確率在80%上下浮動(dòng)。

　　竹間智能出色的語義理解能力基于強(qiáng)大的NLP基礎(chǔ)和針對(duì)業(yè)務(wù)領(lǐng)域優(yōu)化的Emotibot-BERT深度遷移學(xué)習(xí)模型。

　　通過結(jié)合計(jì)算語言學(xué)的詞法分析、句法分析、語義角色分析和基于大規(guī)模遷移學(xué)習(xí)的中文預(yù)訓(xùn)練語言模型Emotibot-BERT，可以在無訓(xùn)練數(shù)據(jù)的零啟動(dòng)測(cè)試當(dāng)中，已達(dá)到80%的準(zhǔn)確率，跨領(lǐng)域的意圖理解中，平均準(zhǔn)確率已達(dá)95%以上，語音識(shí)別+多輪交互在外呼的實(shí)際應(yīng)用場(chǎng)景已達(dá)93.9%的準(zhǔn)確率。再根據(jù)場(chǎng)景的數(shù)據(jù)訓(xùn)練之后，準(zhǔn)確率將繼續(xù)提升。

　　運(yùn)營(yíng)情況統(tǒng)計(jì)與分析

　　除上述功能和性能指標(biāo)評(píng)測(cè)以外，在首輪疫情防控機(jī)器人評(píng)測(cè)中，還統(tǒng)計(jì)了截至2020年2月7日各參評(píng)產(chǎn)品的外呼系統(tǒng)的呼叫情況。下圖給出了外呼系統(tǒng)的總呼叫量與日均呼叫量在各數(shù)量級(jí)上的企業(yè)分布情況。

圖4 參評(píng)產(chǎn)品總呼叫量及日呼叫量規(guī)模情況

　　如圖4所示，約有54%的企業(yè)呼叫總數(shù)為百萬級(jí)，其余占比較多的總呼叫量分別處于十萬級(jí)以下、十萬級(jí)、五十萬級(jí)和千萬級(jí)。從日均呼叫量來看，約有85%的企業(yè)每天都有超過幾萬通外呼電話進(jìn)行信息采集、防控回訪。

　　目前竹間智能的竹間外呼防疫情感機(jī)器人已經(jīng)在北京、上海、深圳等多地幫助企業(yè)組織、社區(qū)居委進(jìn)行防疫工作。防疫期間也將持續(xù)免費(fèi)向社會(huì)各界提供竹間防疫全場(chǎng)景智能解決方案。

　　疫情期間免費(fèi)使用

　　撥打：400-831-9111防疫期間7*24小時(shí)為您服務(wù)