1.引言
呼叫中心是國家公共服務部門、大中型企業(yè)、電信運營商等單位為了提高服務質量,提升企業(yè)形象,減少運營成本所采取的一項技術。它由最初的人工服務臺,轉變?yōu)橛嬎銠C控制語音自動應答服務(IVR);它的接入技術也由原先的PSTN網絡接入,轉變?yōu)楝F(xiàn)在的PSTN與VoIP相結合的接入方式;其表現(xiàn)形式也由過去的集中式呼叫中心,轉變?yōu)榉植际降膭討B(tài)調度呼叫中心。
隨著IP技術在呼叫中心的應用(例如語音傳輸部分IP化),一些潛在的擔憂也慢慢地顯露并在客戶中蔓延開來。語音質量是否很穩(wěn)定?IP呼叫中心的性能有保證嗎?一般公眾撥打IP呼叫中心的感受和傳統(tǒng)的呼叫中心一樣嗎?越來越多的用戶投訴加重了這種擔心,有的用戶經常撥不通IP呼叫中心的接入號碼,有的用戶聽不到某一級的自動語音應答,有的用戶聽到的語音應答不清晰等。要求對IP呼叫中心進行性能測試的呼聲越來越高,如何能夠通過測試的方法更加真實的再現(xiàn)出這些問題呢?也許,思博倫通信會給你滿意的答案。
思博倫通信是一家全球性測試儀器提供商,主要提供針對下一代網絡技術的集成化性能分析系統(tǒng)和服務保證系統(tǒng)。思博倫通信在全球14個國家擁有1800名員工,為1500家客戶提供測試儀器和服務。思博倫通信在中國的北京、上海、廣州設立了代表處,并將亞太區(qū)總部設在北京,主要為中國的電信運營商、通信設備制造商、研究開發(fā)機構和評測實驗室提供技術領先的通信測試技術和相關設備。思博倫通信的測試產品和技術服務覆蓋了電信網絡的各個領域,包括話音通信、數(shù)據(jù)網絡、接入網絡、光纖通信、移動通信和衛(wèi)星通信。思博倫通信的技術人員能夠根據(jù)中國客戶的實際需要提供最佳的產品解決方案。
2.Abacus5000系列產品介紹
思博倫的Abacus 5000系列產品,包括Abacus5000和Abacus100是集成在一個平臺中的VoIP和PSTN語音測試系統(tǒng)。Abacus 5000是一款高性價比、靈活的和可伸縮的IP電話測試系統(tǒng),具有全面測試融合IP電話網絡設備所需的集成模擬,TDM和以太網接口。同系列的產品中還有Abacus100,可以提供100路FXO模擬接口,適用于高密度的模擬性能測試。
Abacus5000系列產品能夠使用戶能夠客觀地在真實的語音/視頻流負載條件下,測試網絡性能以及語音質量(MOS,PSQM,PSQM+,PESQ,MOS_LQ0,R-factor,J-MOS,E-model)。我們還可以讓它應用于中繼信令測試、功能測試、容量測試和兼容性互操作性測試。Abacus5000系列產品可以由同一個操作平臺控制32個測試點,針對運營商的運行維護需求,做分布式網絡測試。Abacus5000系列產品所承載的媒體格式包括單音/多音,WAV,視頻H.263/H.264編解碼,語音Mobile NB GSM-AMR,EVRC,EVRC-B,iLBC,GSM-EFR/FR編解碼以及G.711,G.726,G.723,G.729和G.722.x(寬帶語音)編解碼。支持協(xié)議包括模擬FXO與FXS(環(huán)路啟動/地氣啟動),SS7(ISUP/TCAP/INAP/SCCP),CAS,MF R1/R1.5/R2,ISDN PRI,GR-303,V5.1/V5.2,H.323,SIP,MGCP,H.248/Megaco,Skinny,NCS,SIP-T/SIP-I,SIGTRAN (M2UA/M3UA/IUA)以及T.30和T.38傳真,V.34的Modem。
3.Abacus產品在呼叫中心測試的應用
4.某銀行呼叫中心系統(tǒng)測試方案
如圖1和圖2所示,Abacus5000仿真電信網絡及其電話用戶(800),以ISDN-PRI信令通過E1接口接入IVR系統(tǒng),產生測試話務量;Abacus100仿真摘機器(普通電話機800),通過模擬兩線接口接入語音接入網關,仿真電話摘機通話。由Abacus5000來仿真的電信系統(tǒng)話務量可以測試IVR系統(tǒng)的性能以及各個菜單的語音匹配能力;由Abacus5000和Abacus100組成的發(fā)送和接受話路可以測試呼叫中心系統(tǒng)在滿負荷的情況下的語音質量。當然,如果呼叫中心系統(tǒng)具有語音錄制和語音提取功能(類似語音信箱),我們還可以使用Abacus5000對于語音信箱的性能和語音質量進行測試。
我們假設需要840路電信用戶仿真,并以此舉例說明某銀行呼叫中心(IVR)系統(tǒng)的測試方法。
5、呼叫中心(IVR)系統(tǒng)測試方法
IVR測試一般分為三個層次,性能壓力測試、語音匹配測試(包括各個菜單)、語音質量測試。其中,最關鍵的是性能壓力測試,它的測試目的有兩個:第一是搞清楚被測試系統(tǒng)(DUT)的最大的呼叫處理能力(無差錯點);第二是搞清楚在它的最大壓力條件下能夠無故障工作多長時間。
5.1 性能壓力測試
(1)性能測試的幾個概念
•BHCA(Busy Hour Call Attempt),忙時呼叫次數(shù)。它表示DUT在一個小時內最大的呼叫處理次數(shù),當然在沒有差錯的情況下,或者差錯率很低(業(yè)內差錯率為萬分之一以內)。我們一般用BHCA表示系統(tǒng)的呼叫處理能力。
•CPS,每秒鐘呼叫次數(shù)。它表示DUT在一秒鐘內最大的呼叫處理次數(shù),和BHCA的關系是3600倍。
•系統(tǒng)支持的呼叫通道數(shù),指DUT最大支持的呼叫通道數(shù)目。例如,IVR對外呼入接口有28個E1,那么它所支持的最大呼叫通道數(shù)目就是840。
•系統(tǒng)支持的并發(fā)呼叫通道數(shù),指DUT能夠處理的最大并發(fā)通道數(shù)目,一般能夠達到它的最大支持通道數(shù)目的10%-50%不等,需要和系統(tǒng)提供商溝通清楚,當然也需要實際測試。
•呼叫完成率,呼叫完成次數(shù)與呼叫總次數(shù)的比率。業(yè)內要求達到4個9,即99.99%。
•呼損率,呼叫失敗次數(shù)與呼叫總次數(shù)的比率。業(yè)內要求萬分之一以內。它與呼叫完成率之和為100%。
•無差錯點,指呼叫完成率達到業(yè)內要求情況下的最大呼叫量,即DUT的能夠承受的最大呼叫處理次數(shù)。
•平衡點,指用戶感受良好情況下的無差錯點。用戶感受部分包括語音質量、呼叫延遲、回聲、語音間斷等等方面,需要測試語音匹配和語音質量才能定位。一般認為平衡點才是DUT真正的呼叫處理能力,因為隨著呼叫壓力的增加,用戶感受會惡化。
(2)性能測試項目(舉例:DUT=IVR系統(tǒng),可以提供28個E1接口作為呼入,最大允許接入840路)
并發(fā)呼叫測試
•測試目的:找到DUT的并發(fā)呼叫無差錯點。即找到DUT在異常條件下(許多呼叫并發(fā)呼入)支持的最大處理呼叫次數(shù)。
•測試方法:呼叫測試儀表使用28個E1,產生840路并發(fā)(即同時呼叫)IVR呼入呼叫,通過二分法找到無差錯點。例如,840路并發(fā),出現(xiàn)大面積呼損時,下次測試改為840/2=420路并發(fā)呼叫,直到呼損率下降到萬分之一。一般的測試時間為24h,也有更嚴格的測試為48h或者72h。
•測試結果:滿足無差錯點的要求,記錄呼叫完成率和呼損率。
異步呼叫測試
•測試目的:找到DUT的異步呼叫無差錯點。即找到DUT在正常條件下(呼叫壓力逐步增加)支持的最大處理呼叫次數(shù)。
•測試方法:呼叫測試儀表使用28個E1,產生840路IVR呼入呼叫,每個通道的呼叫間隔1s,通過二分法找到無差錯點。一般的測試時間為24h,也有更嚴格的測試為48h或者72h。
•測試結果:滿足無差錯點的要求,記錄呼叫完成率和呼損率。
仿真呼叫測試
•測試目的:找到DUT在各種呼叫模型條件下的呼叫無差錯點。即找到DUT在仿真真實網絡條件下(存在各種呼叫模型,包括波松分布、階梯分布等)支持的最大處理呼叫次數(shù)。
•測試方法:呼叫測試儀表使用28個E1,產生840路IVR呼入呼叫,注意使用各種不同的呼叫模型,產生不同變化的呼叫壓力(不同的CPS),通過二分法找到無差錯點。例如,在某種呼叫模型下20CPS時,如果出現(xiàn)大面積呼損,下次測試改為20/2=10CPS呼叫;如果再有呼損,則改為5CPS呼叫,直到呼損率下降到萬分之一。一般的測試時間為24h,也有更嚴格的測試為48h或者72h。
•測試結果:滿足無差錯點的要求,記錄呼叫完成率和呼損率。
5.2 語音匹配測試
(1)語音匹配測試目的
•進一步驗證IVR系統(tǒng)的性能。語音匹配測試是在性能壓力測試基礎上,驗證系統(tǒng)在極限壓力條件下(無差錯點),各個菜單的語音提示是否正常按時發(fā)出,用戶能否正常聽到。一般來說,當話務量達到IVR系統(tǒng)極限時,語音提示的播放就會因為大量呼叫排隊而變慢,甚至出現(xiàn)播放錯誤,當播放延遲超過正常2s(業(yè)內標準)或者語音匹配差錯率過高(業(yè)內差錯率為萬分之一以內)時,我們在性能壓力測試中得到的無差錯點就會受到質疑。
•得到真實用戶的感受。語音匹配測試可以幫助測試者,得到一些用戶感受的指標,例如用戶平均多長時間能夠聽到語音提示,最長需要多少秒,最少需要多少秒。這樣就會方便我們判斷有多少用戶因為長時間聽不到語音提示而放棄呼叫的,因此語音匹配時間參數(shù)也是我們的客戶服務指標之一。
(2)語音匹配測試項目
歡迎詞匹配測試
•測試目的:檢驗IVR系統(tǒng)在極限條件下(無差錯點)對于歡迎詞的語音匹配情況(包括匹配錯誤率和匹配延遲)。
•測試方法:呼叫測試儀表使用28個E1,在840路同步并發(fā)(即同時呼叫)、異步呼叫(間隔一秒)、仿真呼叫(各種呼叫模型)等條件下,產生性能測試中的極限話務量(無差錯點話務量),通過二分法找到語音匹配無差錯點。一般采用降低呼叫壓力的方法,減低并發(fā)呼叫路數(shù)或者降低CPS來確定語音匹配的無差錯點。語音匹配的無差錯點定義為:差錯率在萬分之一以內;匹配延遲在2s以內。一般的測試時間為24h,也有更嚴格的測試為48h或者72h。
•測試結果:找到無差錯點,記錄語音匹配差錯率和匹配延遲。
菜單中語音匹配測試
•測試目的:檢驗IVR系統(tǒng)在極限條件下,各級菜單的語音匹配情況(包括匹配錯誤率和匹配延遲)。
•測試方法:呼叫測試儀表使用28個E1,在840路同步并發(fā)(即同時呼叫)、異步呼叫(間隔1s)、仿真呼叫(各種呼叫模型)等條件下,產生性能測試中的極限話務量(無差錯點話務量),通過二分法找到語音匹配無差錯點。一般采用降低呼叫壓力的方法,減低并發(fā)呼叫路數(shù)或者降低CPS來確定語音匹配的無差錯點。語音匹配的無差錯點定義為:差錯率在萬分之一以內;匹配延遲在2s以內。每一級菜單的語音匹配差錯率,在相同話務量的情況下應該有所不同;菜單越深,差錯率越高,因此需要降低話務量來查找無差錯點。一般的測試時間為24h,也有更嚴格的測試為48h或者72h。
•測試結果:找到無差錯點,記錄語音匹配差錯率和匹配延遲。
5.3 語音質量測試
(1)語音質量測試目的
•進一步驗證呼叫中心(IVR+CTI+IP傳輸)系統(tǒng)的性能。語音質量測試是在性能壓力測試和語音匹配基礎上,驗證系統(tǒng)在極限壓力條件下(無差錯點),用戶和話務員之間的端到端通話質量。一般來說,當話務量達到IVR系統(tǒng)極限時,CTI對語音的處理和IP網絡對語音的傳輸都會出現(xiàn)問題,導致語音質量指標下降,當單向延遲(通話一端傳送話音到另外一端所需要的時間)超過150ms(ITU推薦標準)或者語音質量分數(shù)低于標準(G.711時PESQ應>4.0分;G.729時PESQ應>3.7分)時,就會大大影響用戶通話的感受,導致部分用戶放棄呼叫。語音質量測試會找到真正意義的平衡點。
•得到真實用戶的感受。語音質量測試可以幫助測試者,得到一些用戶感受的指標,例如話務員的話音需要多長時間才能讓用戶聽到,有沒有回聲,有沒有語音間斷和語音滑碼,語音評價指標MOS/PSQM/PESQ能夠打多少分。這些語音質量測試參數(shù)也是我們的客戶服務指標之一。
(2)語音質量測試項目
端到端語音質量測試
•測試目的:檢驗呼叫中心系統(tǒng)在極限條件下(無差錯點)的端到端(即客戶到話務員)語音質量,包括男聲、女聲以及G.711/G.729等不同編解碼對語音質量的影響。
•測試方法:呼叫測試儀表使用28個E1,在840路同步并發(fā)(即同時呼叫)、異步呼叫(間隔1s)、仿真呼叫(各種呼叫模型)等條件下,產生性能測試中的極限話務量(無差錯點話務量),通過二分法逐步降低話務量,直到全部話路都能夠接入話務員(由Abacus100仿真),并檢驗相應語音質量指標是否達到業(yè)內標準,即找到客戶感受良好的平衡點。一般的測試時間為24h,也有更嚴格的測試為48h或者72h。
•測試結果:記錄平衡點的呼叫壓力(CPS)、語音質量指標(MOS/PSQM/PESQ)、單向延遲、回聲、語音間斷與滑碼等。
語音信箱的語音質量測試(可選項目)
•測試目的:檢驗呼叫中心的語音信箱系統(tǒng)在極限條件下(無差錯點)語音提取(即客戶從語音信箱中提取留言)時的語音質量,包括男聲、女聲對語音質量的影響。
•測試方法:呼叫測試儀表使用低負荷對呼叫中心系統(tǒng)中的語音信箱進行留言錄入”,直到語音信箱全部錄入留言。然后,呼叫測試儀表分別在低負荷、中負荷、高負荷背景話務量條件下進行留言提取”,呼叫路數(shù)與語音信箱最大路數(shù)相同,通過語音波形圖的比較,根據(jù)ITU的規(guī)范,得到語音質量評分(MOS/PSQM/PESQ)找到客戶感受良好的平衡點。一般的測試時間為24h,也有更嚴格的測試為48h或者72h。
•測試結果:記錄平衡點的呼叫壓力(CPS)、語音質量指標(MOS/PSQM/PESQ)。
6、補充說明
以上測試方案僅僅以某銀行的呼叫中心測試為藍本進行探討,也僅僅涉及了電信E1接口和模擬線接口。目前,VoIP特別是SIP接入越來越為廣大運營商和大中型企業(yè)所采用,因此思博倫在VoIP接入的呼叫中心測試領域也提供了大量的應用測試方案,但是基本的測試方法和思路是一致的——幫助客戶找到真實的帶有用戶感受的呼叫中心性能指標,并協(xié)助分析影響性能的瓶頸。