TWI493336B - Application of new case feedback in automated software verification system and its method - Google Patents

Description

應用新案例回饋於自動化軟體驗證之系統及其方法

本發明係關於一種應用新案例回饋於自動化軟體驗證之系統及其方法，應用於複雜資料運算系統，如電信帳務系統，將月租費等數字資料進行運算後產生帳單，因此測試時主要將數字資料進行運算以查看產生的結果是否正確；針對此類型系統，測試人員執行回歸測試或新舊系統進行平行測試時，特別需要擁有完整的測試案例涵蓋度以避免side-effect。

以往進行自動測試時，驗證人員會先將驗證案例庫準備好，把所有待測案例新增到驗證案例庫中，接著執行自動化測試時會將驗證案例庫的案例逐筆執行，因此測試涵蓋度即以驗證案例庫的所有案例為基準，倘若驗證案例庫的案例越多元越豐富，代表測試涵蓋度越高。而需要驗證案例庫存在案例進行自動化測試的此種方式已見於先前的中華民國發明專利號I322350「測試裝置、方法、應用程式及其電腦可讀取記錄媒體以自一測試案例資料庫中挑選一合格測試案例組合」一案中，此處的測試案例資料庫即為驗證案例庫，其挑選案例的方法必須事先自行手動建立測試案例資料庫，然後手動設定完測試規則後，利用其選擇模組，針對剛剛設 定之測試規則，選擇符合該測試規則之合適測試案例，並建立該些合適測試案例之一二元判決圖，用以根據該二元判決圖選擇一合格測試案例組合，包含至少一個合適測試案例。所以是先從事先既有的資料庫中，透過手動設定的測試規則找出合適的測試案例。其中一二元判決圖可節省儲存空間，但其測試案例資料庫必須由系統工程師事先依新增需求功能或例外排除經驗進行影響評估及追溯分析後手動設置，沒有自行增長的功能，因此除非靠人工手動新增案例至測試案例資料庫中，否則測試案例資料庫的案例依然維持現況。手動新增案例的速度其實非常緩慢且不一定具有多元性及有效性，可能重覆新增案例，亦可能經驗不足所擬的案例無法涵蓋最棘手的例外狀況，造成測試涵蓋不完全，故目前缺乏一種能自動延伸既有案例及自我發掘並建立新型態案例至測試案例資料庫的方法。

由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件應用新案例回饋於自動化軟體驗證之系統及其方法。

本發明之目的即在於提供一種應用新案例回饋於自動化軟體驗證之系統及其方法，當系統執行回歸測試或平行測試時，擁有完整的測試案例涵蓋度對於避免side-effect是非常重要的，而高測試涵蓋度亦是測試設計人員追求的一 致目標，也是用來保證產品功能正確性的量測指標。但高測試涵蓋度也代表著時間及物力成本，因此本發明提供一種快速且有效地建立驗證案例庫並讓案例自我回饋的方法，對驗證人員而言不僅省時省力、又可有效地提高測試涵蓋度。本發明之次一目的係在於提供一種網路電視遠端監控系統與方法，係在用戶於出門在外，可透過多螢終端裝置上的人機介面監看家中小孩目前觀看節目的狀況，除此之外，本發明方法透過遠端網路管理機制進行指令傳送，除了一般的遙控器按鍵指令傳送外，也可以傳送文字資訊，所以在監控過程中可對家中的網路電視系統做出緊急的處理(例如轉台或關機)並顯示文字告警通知於電視螢幕上。

可達成上述發明目的之應用新案例回饋於自動化軟體驗證之系統及其方法，係利用屬性自我學習模組及現存於驗證案例庫之案例，並透過自動化驗證模組、案例智能篩選模組及案例回饋模組間的互動，從現有待測集結系統中找出不同於與現行驗證案例庫中案例，讓案例能自動延伸及自我發掘產生新型態案例，更可自動將案例資訊存回驗證案例庫的一種方法。

一種應用新案例回饋於自動化軟體驗證之系統，其系統組成包括：一待測集結系統，係集結所有潛在的待測案例；一屬性自我學習模組，係產生驗證案例庫需要的屬性資訊及權重；一自動化驗證模組，係針對每筆該待測集結系統進行全面性邏輯檢驗，並去除不適用之候選案例清單；一案例智能篩選模組，將該候選案例清單與存在驗證案例庫中的案例逐一進行分析與運算，並找出目前不存在驗證案例庫之案例，並負責篩選出新案例清單；一案例回饋模組，係參 考該屬性自我學習模組決定最後應加入該驗證案例庫之新測試屬性，並透過可延伸標記式語言檔案自動找出新案例清單之屬性並將案例回饋至該驗證案例庫；以及一驗證案例庫，用以存放該驗證案例，並接收該案例回饋模組產生的案例。

其中該待測集結系統，主要集結所有待測案例的詳細資訊，其該詳細資訊如用戶類型、屬性、優惠、或各種異動資訊，該驗證案例庫系至少需存在1筆以上之案例。

該屬性自我學習模組之組成係包括：一屬性權重計算模組，係計算驗證人員輸入的每一個測試屬性權重值；一屬性設定表，係記錄該屬性權重計算模組產生的測試屬性、階層與權重值。

該案例智能篩選模組之組成係包括：一智能分析模組，係進行候選案例的屬性分析；一屬性關聯模組，係將該智能分析模組中之候選案例找出是否與現存在該驗證案例庫具有一樣測試屬性的候選案例；一運算模組，將該屬性關聯模組找出的現有案例和候選案例進行運算並比對，比對結果不一致即為新案例。

其中該屬性關聯模組，係以標籤走訪遞迴，將該智能分析模組分析出候選案例的測試屬性，與現有該驗證案例庫中的屬性進行比對之判斷，確認是否具有相同測試屬性的候選案例，若成功找到相同案例，接下由運算模組進行計算，若完全未找到相同案例，則由該案例回饋模組進行處理，該案例回饋模組之組成係包括：一屬性延展模組，係找出該新案例與現有該驗證案例庫中不同的新測試屬性；一案例產製模組，係將該屬性延展模組找出的該新屬性及案例資訊新增至該驗證案例庫中，該案例產製模組，係以標籤式語言的 方式產生交換檔，例如可延伸標記式語言格式。

一種應用新案例回饋於自動化軟體驗證之方法， 其步驟為：步驟一：由屬性自我學習模組產生驗證案例庫所需要的屬性資訊；步驟二：自動化驗證模組逐一執行待測集結系統，並找出未通過準則的案例，列為候選案例清單；步驟三：將該候選案例清單透過案例智能篩選模組找出該候選案例的屬性，並與現行該驗證案例庫案例進行比對；步驟四：若步驟三比對結果發現有相同的案例，則透過運算模組再將該候選案例和現行該驗證案例庫案例進行運算；步驟五：若步驟四運算的結果一致，則結束不做任何回饋，若步驟四運算結果不一致，則會透過案例回饋模組找出新屬性並產生案例交換檔存回該驗證案例庫；步驟六：若步驟三比對結果不一致的案例，透過該案例回饋模組找出新屬性並將案例存至該驗證案例庫。

如申請專利範圍第9項所述之應用新案例回饋於 自動化軟體驗證之方法，其中該屬性自我學習模組產生屬性資訊的流程之步驟包括：步驟一：確認屬性設定表是否存在至少一筆該屬性資訊；步驟二：若確認該屬性設定表中無資料，則利用屬性權重計算模組將驗證人員輸入的有效測試屬性及階層進行屬性的權重計算；步驟三：將步驟二產生的該權重、該測試屬性及該階層記錄到該屬性設定表中。

本發明所提供應用新案例回饋於自動化軟體驗證之系統及其方法，與前述引證案及其他習用技術相互比較時，更具有下列之優點：

1.有效地建立驗證案例庫並讓案例自我回饋的系統與方法，毋須再透過人工方式新增，對驗證人員而言不 僅省時省力、又可自動增加案例的多元性與豐富性。

2.透過測試屬性的權重方式進行分類，越多人使用或變動頻繁的屬性權重越大，在案例的運用上優先權也更增加，讓案例涵蓋度首先囊括最重要的測試因子。

3.透過本發明自我挖掘案例的方法，不僅可以運用在回歸測試上，找出可能產生side-effect案例；對於遇到新舊系統轉換時，更可運用此方式找出舊系統的案例，進行平行測試。

1‧‧‧屬性自我學習模組

11‧‧‧屬性權重計算模組

12‧‧‧屬性設定表

2‧‧‧待測集結系統

3‧‧‧自動化驗證模組

4‧‧‧案例智能篩選模組

41‧‧‧智能分析模組

42‧‧‧屬性關聯模組

43‧‧‧運算模組

5‧‧‧案例回饋模組

51‧‧‧屬性延展模組

52‧‧‧案例產製模組

6‧‧‧驗證案例庫

701~710‧‧‧流程步驟

圖1為本發明應用新案例回饋於自動化軟體驗證之系統及其方法之系統架構圖；圖2為本發明應用新案例回饋於自動化軟體驗證之系統及其方法之屬性自我學習模組示意圖；圖3為本發明應用新案例回饋於自動化軟體驗證之系統及其方法之的案例智能篩選模組之詳細示意圖；圖4為本發明應用新案例回饋於自動化軟體驗證之系統及其方法之的案例回饋模組之詳細示意圖；以及圖5為本發明應用新案例回饋於自動化軟體驗證之方法流程圖。

茲配合圖式將本發明較佳實施例詳細說明如下。

請參閱圖1所示，為本發明應用新案例回饋於自動化軟體驗證之系統架構圖，透過本發明之系統及其方法可 自動回饋產生新型態的案例，主要包括了：一屬性自我學習模組1，提供測試屬性和權重；一待測集結系統2，可供自動化驗證模組3進行測試；一自動化驗證模組3，可由測試人員自行設定該模組要執行哪些邏輯檢驗，接著自動化驗證模組3會逐筆執行待測集結系統2，並依據選取的自動化驗證模組3之邏輯檢驗規則，將未通過測試的資料列成候選案例清單；一案例智能篩選模組4，將候選案例清單與存在驗證案例庫6中的案例逐一進行分析與運算，找出目前不存在驗證案例庫6，案例可延伸新測試屬性的新案例清單；一案例回饋模組5，該案例回饋模組5可參考屬性自我學習模組1決定出最後應加入驗證案例庫的新測試屬性並透過可延伸標記式語言(eXtensible Markup Language，XML)檔案自動將案例存回驗證案例庫6；一驗證案例庫6，該驗證案例庫6需存在至少1個案例，負責提供案例給案例智能篩選模組4進行分析運算，也透過案例回饋模組5將案例存回至驗證案例庫6。

如上所述，該待測集結系統2主要集結所有待測案例的詳細資訊，以電信帳務系統為例，該詳細資訊便包含每一個用戶之種類、屬性、優惠、各種異動資訊等等。而該自動化驗證模組3主要負責邏輯檢驗的測試，在自動化驗證模組3中針對每筆待測集結系統2進行系統全面性邏輯檢驗，邏輯檢驗的包涵範圍小至簡單的數值驗算，大至複雜的業務運算規則。舉例來說，當驗證人員要測試帳務系統時，在自動化驗證模組3裡，針對數值驗算方面，可檢驗出程式人員在撰寫程式的一連串處理流程中，是否有引發其它side-effect，導致具有相同規則條件的客戶卻產生不一致的費用；針對業務運算規則，可判斷每個費用科目的當月份帳單不能收超過 30天、或是當設備於當月份沒有申辦任何異動、且無涉及整體費率調降時，當月份帳單應與前月份帳單費用一致等。

存在該驗證案例庫6的每個案例至少需包含案例編碼、測試屬性及通過/失敗準則等資訊，其中案例編碼透過階層式架構的編碼規則建立案例間的關聯性，測試屬性欄位可具有多個屬性值，另外每個案例的通過/失敗準則，主要用於記錄每個案例透過運算後的金額準則等資訊。

請參閱圖2所示，為本發明應用新案例回饋於自動化軟體驗證之系統及其屬性自我學習模組詳細示意圖，其中屬性自我學習模組1更包括屬性權重計算模組11與屬性設定表12。在本發明中主要透過屬性自我學習模組1產生出可能影響案例的測試屬性，其中驗證人員會先輸入有效的測試屬性及階層，接著屬性權重計算模組11會將輸入的測試屬性進行運算產生每一個測試屬性之權重，最後將測試屬性、階層及權重記錄在屬性設定表12中。

若測試屬性為X 、具有此測試屬性的用戶為用戶n ，接著透過下面算式(1)運算找出每一個測試屬性的權重：

在測試時，用戶數越多代表越多人使用的屬性，對於案例而言都是非常重要的測試因子，所以算式(1)主要針對每個測試屬性在系統的所有用戶數上使用人數進行判斷，針對每一個屬性找出其權重值Weight，接著將測試屬性X 及對應的Weight(X )一對一存至屬性設定表12。當Weight值越大，即代表具有這個測試屬性的用戶數越多或是變動的頻率非常頻繁，故此測試屬性也越重要，後續判斷優先權也會較 優先，故在屬性設定表12裡至少包括測試屬性、階層及權重(Weight)。

請參閱圖3，為本發明應用新案例回饋於自動化軟體驗證之系統及其方法之案例智能篩選模組詳細示意圖，案例智能篩選模組4主要包括一智能分析模組41、一屬性關聯模組42與一運算模組43。首先由智能分析模組41逐筆分析候選案例清單中的每一個案例，列出此案例具備的所有測試屬性，此屬性可由相關主檔中一一查出，並篩選出存在屬性設定表2的測試屬性，以XML格式列出，接著屬性關聯模組42將智能分析模組41提供的測試屬性到驗證案例庫6中進行比對，此比對方法可採取XML標籤走訪，由根標籤開始遞迴子標籤，直到候選案例或驗證案例庫中案例任何一方不再有共同屬性標籤為止，此時以存在於驗證案例庫6案例的測試屬性當成基準，找出候選案例清單與驗證案例庫6屬性完全相同的所有案例且在驗證案例庫6中案例編號最大的案例，此比對方法亦可利用索引結構來增強搜尋比對能力。例如驗證案例庫6的案例1有測試屬性a、b而候選案例清單的案例有測試屬性a、b、c、d(依權重由大至小排列)，但由於本發明以驗證案例庫6的案例測試屬性為基準，故判斷此兩個案例具有相同測試屬性a、b。最後利用運算模組43，透過案例存在於驗證案例庫6中的通過/失敗準則分別計算候選案例清單的案例與驗證案例庫6的案例結果，此通過/失敗準則記錄最後記錄了驗證案例應該出現的結果值，因此若計算結果相同，代表驗證案例庫6與候選案例屬性相同，那麼就毋須新增此案例至驗證案例庫6中；倘若候選案例清單的案例與驗證案例庫6計算的結果不同，即代表這兩個案例一定具備有 不同的測試屬性且此屬性並未存在於驗證案例庫6的案例裡，才會導致運算結果不一致的情形，因此將此驗證案例庫6的案例變成比對清單D(n)，將候選案例清單歸納成一種延伸的新型態案例，列為新案例清單A(n)，由案例回饋模組5進行案例產製動作。

請參閱圖4，為本發明應用新案例回饋於自動化軟體驗證之系統及其方法之案例回饋模組之詳細示意圖，該案例回饋模組5由一屬性延展模組51與一案例產製模組52共同組成，主要是將案例智能篩選模組4列出的新案例清單A(n)，找出不同的測試屬性並產製成新案例新增至驗證案例庫6中。首先由屬性延展模組51進行屬性的判斷，先將新案例清單A(n)的所有測試屬性以以XML格式列出，再從權重最大開始進行標籤走訪之搜尋，找出A(n)比D(n)多出的新測試屬性，且新測試屬性不會造成A(n)與驗證案例庫6其他的案例重覆之情形。接著案例產製模組52會將所有列出新案例清單的案例資訊，並以XML格式的標籤方式，產生交換檔並新增至驗證案例庫6中。

請參閱圖5，為本發明應用新案例回饋於自動化軟體驗證之方法流程圖，首先步驟701判斷是否存在屬性設定表，如果不存在則需進行步驟702，由屬性自我學習模組中的屬性權重計算模組進行屬性權重計算，步驟703會將屬性權重計算模組計算結果和屬性記錄至屬性設定表。步驟704判斷是否存在待測集結系統，待測集結系統至少需存在筆資料才能繼續步驟705，在步驟705中會執行自動化驗證模組，步驟706判斷待測集結系統是否有通過自動化驗證模組，在步驟707中會找出未通過準則的案例，並透過案例智能篩選模 組找出案例屬性，首先步驟708分析未通過的案例和驗證案例庫之案例是否存在相同測試屬性，分析結果如發現有測試屬性完全相同之案例，就進行步驟709，由案例智能篩選模組中的運算模組進行計算，看兩者計算結果是否相同，如果結果相同代表為兩個相同的案例，但如果計算結果不同，就代表未通過的案例屬於新型態的案例，就進行步驟710。步驟708分析結果如發現不存在測試屬性相同的案例，就直接進行步驟710。在步驟710中，會透過案例回饋模組，找出案例的新屬性並將案例直接新增回驗證案例庫中。

以電信帳務系統而言，試說明運用情境如下，例如測試屬性共6個其中有光世代、MOD、有無優惠及有無異動，分別存在於屬性設定表，如表1所示：

請見下表2，驗證案例庫必須先存一筆案例，接著待測集結系統在執行自動化驗證模組後，假設產生1筆未通過的案例，因此列入候選案例清單。接著使用案例智能篩選模組檢驗後發現，候選案例清單跟驗證案例庫的案例編碼有同樣的測試屬性-「光世代」，但是透過運算模組發現根據通過/失敗準則候選案例清單計算結果是572，而驗證案例庫的結果是483，發現兩者計算結果不同，因此將候選案例清單列至新案例清單A(n)，驗證案例庫的案例列成D(n)。接著利用屬性延展模組，依序找出D(n)的所有測試屬性與權重，以表 2為例，發現D(1)具有光世代的測試屬性，新案例清單A(1)具有光世代、MoD共2個測試屬性，透過比對發現僅A(1)具有的獨特測試屬性即為MOD，而D(1)沒有，故代表MOD這個測試屬性讓新案例清單和驗證案例庫6的案例結果不一致，所以必須將MOD這個測試屬性透過案例產製模組新增至驗證案例庫6。

案例產製模組會將所有列出新案例清單的案例資訊，透過交換檔方式新增至驗證案例庫。以上述例子而言，結合表2中案例編碼的測試屬性及新案例清單的其他相關資訊，產製出交換檔，交換檔的內容可以XML的方式表達，例如產生一標籤名為MOD_TYPE值為TRUE，以及一標籤名為EQUIP_TYPE值為TRUE等存至驗證案例庫中，故最後在驗證案例庫中，會呈現如表3的結果。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

1‧‧‧屬性自我學習模組

2‧‧‧待測集結系統

3‧‧‧自動化驗證模組

4‧‧‧案例智能篩選模組

5‧‧‧案例回饋模組

6‧‧‧驗證案例庫

Claims (8)

1. 一種應用新案例回饋於自動化軟體驗證之系統，其系統組成包括：一待測集結系統，係集結所有潛在的待測案例，並集結所有待測案例的詳細資訊，其該詳細資訊如用戶類型、屬性、優惠、或各種異動資訊；一屬性自我學習模組，係產生驗證案例庫需要的屬性資訊及權重；一自動化驗證模組，係針對每筆該待測集結系統進行全面性邏輯檢驗，並去除不適用之候選案例清單；一案例智能篩選模組，將該候選案例清單與存在驗證案例庫中的案例逐一進行分析與運算，並找出目前不存在驗證案例庫之案例，並負責篩選出新案例清單，其中該驗證案例庫係至少需存在1筆以上之案例；一案例回饋模組，係參考該屬性自我學習模組決定最後應加入該驗證案例庫之新測試屬性，並透過可延伸標記式語言檔案自動找出新案例清單之屬性並將案例回饋至該驗證案例庫；以及一驗證案例庫，用以存放該驗證案例，並接收該案例回饋模組產生的案例。
2. 如申請專利範圍第1項所述之應用新案例回饋於自動化軟體驗證之系統，其中該屬性自我學習模組之組成係包括：一屬性權重計算模組，係計算驗證人員輸入的每一個測試屬性權重值；一屬性設定表，係記錄該屬性權重計算模組產生的測試屬性、階層與權重值。
3. 如申請專利範圍第1項所述之應用新案例回饋於自動化軟體驗證之系統，其中該案例智能篩選模組之組成係包括：一智能分析模組，係進行候選案例的屬性分析；一屬性關聯模組，係將該智能分析模組中之候選案例找出是否與現存在該驗證案例庫具有一樣測試屬性的候選案例；一運算模組，將該屬性關聯模組找出的現有案例和候選案例進行運算並比對，比對結果不一致即為新案例。
4. 如申請專利範圍第3項所述之應用新案例回饋於自動化軟體驗證之系統，其中該屬性關聯模組，係以標籤走訪遞迴，將該智能分析模組分析出候選案例的測試屬性，與現有該驗證案例庫中的屬性進行比對之判斷，確認是否具有相同測試屬性的候選案例，若成功找到相同案例，接下由運算模組進行計算，若完全未找到相同案例，則由該案例回饋模組進行處理。
5. 如申請專利範圍第1項所述之應用新案例回饋於自動化軟體驗證之系統，其中該案例回饋模組之組成係包括：一屬性延展模組，係找出該新案例與現有該驗證案例庫中不同的新測試屬性；一案例產製模組，係將該屬性延展模組找出的該新屬性及案例資訊新增至該驗證案例庫中。
6. 如申請專利範圍第5項所述之應用新案例回饋於自動化軟體驗證之系統，其中該案例產製模組，係以標籤式語言的方式產生交換檔，例如可延伸標記式語言格式。
7. 一種應用新案例回饋於自動化軟體驗證之方法，其步驟為：步驟一、由屬性自我學習模組產生驗證案例庫所需要 的屬性資訊；步驟二、自動化驗證模組逐一執行待測集結系統，並集結所有待測案例的詳細資訊，其該詳細資訊如用戶類型、屬性、優惠、或各種異動資訊，找出未通過準則的案例，形成為候選案例清單；步驟三、將該候選案例清單透過案例智能篩選模組找出該候選案例的屬性，並與現行該驗證案例庫案例進行比對；步驟四、若步驟三比對結果發現有相同的案例，則透過運算模組再將該候選案例和現行該驗證案例庫案例進行運算；步驟五、若步驟四運算的結果一致，則結束不做任何回饋，若步驟四運算結果不一致，則會透過案例回饋模組找出新屬性並產生案例交換檔存回該驗證案例庫；步驟六、若步驟三比對結果不一致的案例，透過該案例回饋模組找出新屬性並將案例存至該驗證案例庫，其該驗證案例庫係至少需存在1筆以上之案例。
8. 如申請專利範圍第7項所述之應用新案例回饋於自動化軟體驗證之方法，其中該屬性自我學習模組產生屬性資訊的流程之步驟包括：步驟一、確認屬性設定表是否存在至少一筆該屬性資訊；步驟二、若確認該屬性設定表中無資料，則利用屬性 權重計算模組將驗證人員輸入的有效測試屬性及階層進行屬性的權重計算；步驟三、將步驟二產生的該權重、該測試屬性及該階層記錄到該屬性設定表中。