呼叫中心應(yīng)該如何測試?
如今,呼叫中心在人們的日常生活中扮演著重要角色。從銀行的信用卡服務(wù)中心、移動運營商的客服呼叫中心,到商旅訂票系統(tǒng)、電子電器產(chǎn)品售后支持,都離不開呼叫中心。而IVR(Interactive Voice Response),即交互式語音應(yīng)答,是呼叫中心的核心部件。當(dāng)IVR系統(tǒng)繁忙或出現(xiàn)異常時,客戶撥打呼叫中心可能面臨多種問題,如:撥不通呼叫中心的接入號碼,聽不到或聽不清某一級的自動語音應(yīng)答,應(yīng)答延遲明顯增大,不能對用戶按鍵及時做出反應(yīng)等。
因此,對于呼叫中心的性能測試很大程度上來說是對IVR的測試,思博倫通信專業(yè)化測試服務(wù)團隊則是這方面的專家。在本文后半段,我們以思博倫測試服務(wù)工程師幫助某知名電腦制造商測試其呼叫中心為例,介紹思博倫專業(yè)化測試服務(wù)如何使用基于Abacus的語音測試解決方案對呼叫中心進(jìn)行測試。
如何測試a
(一)測試內(nèi)容
針對呼叫中心(IVR)的測試一般分為兩個層面,即:1)性能壓力測試;2)語音匹配測試。
通過性能壓力測試,實現(xiàn):1)最大容量測試,即:確認(rèn)被測IVR系統(tǒng)(DUT, Device Under Test)的最大并發(fā)呼叫處理能力(無差錯點);2)穩(wěn)定性測試,即:嘗試找出DUT在其可承受的最大壓力條件下持續(xù)無故障工作時間。
語音匹配測試直接體現(xiàn)用戶撥打呼叫中心的實際感受,它們可以遍歷所有IVR語音路徑分支或任何重點分支。
此外,語音匹配測試可分為多個步驟進(jìn)行,即:1)單呼叫下的功能遍歷;2)指定呼叫量條件下的測試,指定呼叫量可以是低、中等負(fù)載強度,也可以是在高負(fù)載下測試最大順暢并發(fā)呼叫數(shù)/最大順暢呼叫速率,還可以是在極限負(fù)載下測試呼損率和系統(tǒng)異常表現(xiàn)。
(二)測試拓?fù)?
如上圖所示,思博倫Abacus語音測試系統(tǒng)可以模擬終端客戶,以E1/ISDN或以太網(wǎng)/SIP的方式撥入呼叫中心,遍歷IVR的整個呼叫流程。如,若Abacus 5000中配置僅一塊14口E1 PCG3 單板,即可以模擬并發(fā)420路電話撥入。
(三)測試指標(biāo)
1.VPM Factor(語音匹配度)
語音匹配度體現(xiàn)著IVR播放的語音與預(yù)先導(dǎo)入到Abacus上的期望語音之間的差異。
比如,VPM Factor的取值空間為1.0到10.0,當(dāng)VPM Factor的值在9.0和10.0之間時,表示匹配度很高,兩個語音除了個別音節(jié)外全匹配。
VPM Factor值越小,匹配度越低。當(dāng)該值在1.0到5.0之間時,表示即使有些許匹配之處,但仍可斷定從IVR聽到的語音與Abacus預(yù)存的期望語音完全是不同的內(nèi)容。
2.Voice Matching Delay(語音匹配延遲)
語音匹配延遲,記錄了IVR呼叫流程中執(zhí)行某個動作到匹配到特定語音之前的等待時間。例如,某銀行信用卡服務(wù)中心流程中,從按1選擇中文,到聽到下一級的主菜單語音播報之間的等待時間。
在低負(fù)載條件下,這個時間一般是短暫且穩(wěn)定的(比如1秒左右),當(dāng)負(fù)載增大到一定程度,語音匹配延遲可能增大且不同的話路間抖動厲害。影響用戶的使用感受甚至導(dǎo)致用戶掛機。
3.最大容量(或最大并發(fā)呼叫數(shù))
屬于壓力測試范疇,該值體現(xiàn)了在無差錯點的條件下,即呼叫100%成功完成,被測IVR系統(tǒng)的最大并發(fā)呼叫處理能力。
在最大容量測試中,允許出現(xiàn)語音匹配延遲較大(如10秒鐘),或VPM Factor小于8的情況。
4.最大順暢并發(fā)呼叫數(shù)
該值體現(xiàn)出在順暢條件下,IVR可以承受的最大并發(fā)呼叫數(shù)。
所謂順暢,是指語音匹配高、語音匹配延遲小的情況。它直接反映出客戶撥打呼叫中心時的使用感受。用戶可以根據(jù)不同的應(yīng)用場景來定義自己的順暢條件,如:VPM Factor大于8.2,語音匹配延遲小于1.5秒。
5.最大順暢呼叫速率
類似地,該值是在順暢條件下每秒呼叫次數(shù)。
6.指定BHCA(Busy Hour Call Attempt)條件下的呼叫成功率
BHCA為忙時呼叫次數(shù),它表示DUT在一個小時內(nèi)最大的呼叫處理次數(shù)。BHCA一般用來表示系統(tǒng)的呼叫處理能力。在指定的BHCA下,記錄呼叫成功率,對于IVR系統(tǒng)來說,,通話異常中斷、語音嚴(yán)重不匹配都可認(rèn)為是呼叫失敗。
了解更多:
如何對IT系統(tǒng)進(jìn)行綠色功耗測試?
如何壓力測試電子商務(wù)網(wǎng)站?
第2頁:實際測試案例分享
測試案例
某知名電腦制造商采用思博倫Abacus語音測試解決方案,對其售后服務(wù)呼叫中心進(jìn)行了測試。該呼叫中心的呼叫流程如下:
用戶開始撥號,接通后聽到歡迎語音,然后用戶被告知按鍵1進(jìn)入語言選擇,執(zhí)行按鍵后進(jìn)入主菜單,呼叫中心要求用戶朗讀報修筆記本的產(chǎn)品序列號。隨著深入呼叫流程中的某條路徑,人工坐席(售后技術(shù)支持工程師)接聽電話并與用戶交流。
整個呼叫流程持續(xù)10分鐘。
思博倫Abacus測試儀模擬單個或指定數(shù)量的用戶(話機)撥入,遍歷上述IVR的呼叫流程,包括撥號、聆聽(等待)、按鍵、語音宣讀產(chǎn)品序列號、播放語音模擬與坐席通話等。
(一)測試需求
1.語音匹配度測試(VPM)
2.響應(yīng)延遲測試
包括:
1)T1: 從撥號接通至聽到歡迎進(jìn)入…語音之間的延遲;
2)T2: 按1鍵后到聽到某臺筆記本電腦保修狀態(tài)的宣讀狀態(tài)語音的延遲;
3)T3(): 按1鍵后到人工坐席摘機的延遲;
注意:測試中需要使用4條E1,即共120路電話同時撥入。拓?fù)淙缦聢D所示。
(二)測試配置
首先要完成基本的120話路的E1/ISDN的呼叫配置,例如針對E1的物理層參數(shù)配置和ISDN呼叫配置。
然后,需要在Abacus上定制呼叫流程,這個呼叫流程與呼叫中心IVR系統(tǒng)中的流程相匹配,即順序執(zhí)行:撥號、聆聽(等待)、語音匹配度衡量、按鍵、語音宣讀產(chǎn)品序列號、播放語音模擬與坐席通話等操作。如下圖所示。
其中,語音匹配度衡量通過將兩個聲音文件進(jìn)行比較來完成,即:在單用戶條件下錄制的IVR系統(tǒng)播放的優(yōu)質(zhì)語音(也可由IVR系統(tǒng)提供語音拷貝)與120話路并發(fā)時聽到的語音進(jìn)行比較。
Abacus模擬的每路通話在一次呼叫中,隨著呼叫流程的深入,可以執(zhí)行多次語音匹配度衡量和響應(yīng)延遲測試。并且可以配置用戶指定的閾值告警,比如:語音匹配度VPM Factor的值小于8或聽到的語音延遲大于10秒后出現(xiàn)告警。
呼叫及期望得到的結(jié)果配置如下:
并發(fā)呼叫數(shù):120 (E1/ ISDN PRI)
呼叫時長:600秒
VPM Factor閾值: 8.0
(三)測試結(jié)果及價值
1.測試結(jié)果
在測試開始后,120部Abacus仿真的話機撥打呼叫中心號碼,同時開始對某個呼叫流程的遍歷。
Abacus運行過程中的實時統(tǒng)計如下圖所示,可以看到諸如語音匹配度(VPM Factor)和語音匹配延遲的值。
此外,Abacus還可以通過定制化的腳本,按照指定格式將測試結(jié)果輸出到文件中,包含用戶感興趣的統(tǒng)計信息,如:語音匹配度(單個或多個)、匹配延遲(單個或多個)、呼叫是否成功等。如下表所示:
表格中記錄了120個話路運行20分鐘的結(jié)果(有刪節(jié))。由于每通呼叫持續(xù)10分鐘,因此每個話路在20分鐘內(nèi)分別完成了2個回合的呼叫,即從第1路到第120個話路順序起呼,每路通話完成后隨即發(fā)起第2回合呼叫。
結(jié)果中記錄了每個話路的起呼時間、回合數(shù)、話路ID、使用的序列號、是否接通、指定位置的呼叫延遲和語音匹配度等。
2.結(jié)果分析及價值
如上表所示,針對被測IVR系統(tǒng)(DUT),我們可以幫助用戶獲取以下內(nèi)容:
1)功能遍歷
通過單話路測試,我們可以驗證DUT是否按照預(yù)期工作。
比如:是否可以撥通呼叫中心,在撥通后等待多久聽到歡迎語音;歡迎語音的匹配度如何;是否通過朗讀待修筆記本電腦的序列號可以進(jìn)入維修流程;按鍵1后用戶等待多長時間后模擬的人工坐席摘機。
2)低負(fù)載條件下的DUT的表現(xiàn)
通過低負(fù)載測試,可以幫助用戶發(fā)現(xiàn)多用戶測試(但并發(fā)呼叫少,呼叫速率低)與單用戶條件下DUT表現(xiàn)的不同。
通過對上述表格中的數(shù)據(jù)分析,可以發(fā)現(xiàn)在初始階段,負(fù)載很輕條件下,DUT的語音延遲小(約1.3秒),語音匹配度高(9.5左右)。進(jìn)而可以與單用戶功能遍歷進(jìn)行比較,以發(fā)現(xiàn)問題。
3)負(fù)載增加對DUT的影響
隨著負(fù)載增加,DUT的反應(yīng)如何呢?這取決于負(fù)載增加的規(guī)模及DUT自身的性能。
與低負(fù)載相比,隨著負(fù)載增加,有的DUT沒有明顯變化,有的DUT語音反饋延遲明顯增大,還有的DUT則出現(xiàn)了拒絕服務(wù),如新的呼叫不能接通。
如上表所示,當(dāng)并發(fā)呼叫數(shù)達(dá)到120路時,DUT的表現(xiàn)出現(xiàn)了明顯變化,如:語音延遲變大了(增加約1.5秒),語音匹配度降低了(從9.5左右降低至8.3~9.0,但仍屬于匹配度較高的范疇)。
4)DUT的處理極限
Abacus可以幫助用戶了解DUT的處理極限。
Abacus可以模擬大量的E1/ISDN或以太網(wǎng)/SIP呼叫。當(dāng)并發(fā)呼叫數(shù)或呼叫速率到達(dá)一定的高度,DUT將出現(xiàn)呼叫失敗(如不能呼通、語音延遲超常等)。根據(jù)該數(shù)值,結(jié)合現(xiàn)網(wǎng)中的呼叫規(guī)模,用戶可以有針對性地對DUT進(jìn)行升級、優(yōu)化。
注:此部分結(jié)果可以對上述表格中的數(shù)據(jù)進(jìn)行統(tǒng)計得出,如:記錄接通狀態(tài)出現(xiàn)No,語音延遲大于的10秒時的負(fù)載。
也可降低呼叫失敗的標(biāo)準(zhǔn),得到DUT的順暢處理極限。比如:接通狀態(tài)全部為Yes,語音延遲低于4秒時的最大順暢并發(fā)呼叫數(shù)或最大順暢并發(fā)呼叫速率。
5)DUT的穩(wěn)定性
穩(wěn)定性是DUT在指定負(fù)載條件下長時間運轉(zhuǎn)時的表現(xiàn)。這項指標(biāo)對于一個即將投入生產(chǎn)環(huán)境的IVR系統(tǒng)來說是非常有借鑒價值的。
比如,對DUT以最大順暢呼叫速率施加負(fù)載,評估DUT在24小時內(nèi)的性能表現(xiàn)。