TWI512594B - 圖形使用者介面測試方法及測試裝置 - Google Patents

Description

圖形使用者介面測試方法及測試裝置

本發明是有關於一種測試方法及測試裝置，且特別是有關於一種圖形使用者介面測試方法及測試裝置。

自動化圖形使用者介面(Graphic User Interface，GUI)測試的工具的設計目的在於盡可能地降低測試人員在測試GUI時所需付出的人力。然而，現今常見的自動化GUI測試工具的設計方向大致是朝測試電腦應用程式的方向來進行設計，而非朝向手持裝置或是手持裝置的應用程式來進行設計。因此，這些常見的自動化GUI測試工具並無法適用於具有異質特性(heterogeneous nature)的手持裝置。

然而，即便已有設計者針對不同的手持裝置設計對應的測試機制及測試程式碼，但此方式的效率較低，且尤其不適合用於測試黑盒子(black application)應用程式。此外，這些機制通常亦不是針對圖形使用者介面而設計的。並且，這些機制通常只能在開發中階段(development build)使用，而不能在產品階段 (development build)使用(亦即，無法應用在真實的手持裝置上)。在此情況下，即便手持裝置的功能性測試結果為正常，亦不能保證手持裝置的GUI能夠正常運作。

有鑑於此，本發明提供一種圖形使用者介面測試方法及測試裝置，其可高效率地測試各式各樣的手持裝置。

本發明提供一種圖形使用者介面測試方法，適於測試裝置測試電子裝置，所述方法包括下列步驟：控制攝影裝置擷取電子裝置反應於多個第一指令而顯示的多個第一畫面，並記錄所述多個第一指令至儲存單元，其中，當所述多個第一畫面中的第i個第一畫面與第i-1個第一畫面之間的差異度大於第一門限值時，設置對應於所述第i個第一畫面的查核點；對電子裝置輸入相同於所述多個第一指令的多個第二指令；控制攝影裝置擷取電子裝置反應於所述多個第二指令而顯示的多個第二畫面；當所述多個第二畫面中的當前畫面對應於查核點時，計算當前畫面與所述第i個第一畫面之間的相似度；當相似度低於第二門限值時，停止測試電子裝置，並回報測試錯誤結果。

在本發明之一實施例中，所述多個第一指令為由測試裝置輸入至電子裝置的多個腳本語言。

在本發明之一實施例中，在控制攝影裝置擷取電子裝置反應於所述多個第一指令而顯示的所述多個第一畫面的步驟之 前，更包括控制攝影裝置擷取初始畫面，並設置對應於初始畫面的初始查核點。

在本發明之一實施例中，在對電子裝置輸入相同於所述多個第一指令的所述多個第二指令的步驟之前，更包括控制攝影裝置擷取結束畫面，並設置對應於結束畫面的結束查核點。

在本發明之一實施例中，查核點為所述第i個第一畫面的索引值，而所述當前畫面為具有索引值的所述多個第二畫面的其中之一。

本發明提供一種測試裝置，包括儲存單元以及處理單元。儲存單元儲存多個模組。處理單元耦接儲存單元，存取所述多個模組以執行下列1步驟：控制攝影裝置擷取電子裝置反應於多個第一指令而顯示的多個第一畫面，並記錄所述多個第一指令至儲存單元，其中，當所述多個第一畫面中的第i個第一畫面與第i-1個第一畫面之間的差異度大於第一門限值時，設置對應於所述第i個第一畫面的查核點；對電子裝置輸入相同於所述多個第一指令的多個第二指令；控制攝影裝置擷取電子裝置反應於所述多個第二指令而顯示的多個第二畫面；當所述多個第二畫面中的當前畫面對應於查核點時，計算當前畫面與所述第i個第一畫面之間的相似度；當相似度低於第二門限值時，停止測試電子裝置，並回報測試錯誤結果。

在本發明之一實施例中，所述多個第一指令為由測試裝置輸入至電子裝置的多個腳本語言。

在本發明之一實施例中，處理單元更控制攝影裝置擷取初始畫面，並設置對應於初始畫面的初始查核點。

在本發明之一實施例中，處理單元更控制攝影裝置擷取結束畫面，並設置對應於結束畫面的結束查核點。

在本發明之一實施例中，查核點為所述第i個第一畫面的索引值，而所述當前畫面為具有索引值的所述多個第二畫面的其中之一。

基於上述，本發明實施例提出的圖形使用者介面測試方法及其系統可透過攝影裝置擷取電子裝置反應於兩個相同指令(例如是第一指令及相同於第一指令的第二指令)所顯示的兩個畫面(例如是第一畫面及第二畫面)，並依據所述兩個畫面之間的相似度來判斷電子裝置的圖形使用者介面是否出現異常。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧圖形使用者介面測試系統

110‧‧‧測試裝置

112‧‧‧儲存單元

114‧‧‧處理單元

120‧‧‧攝影裝置

130‧‧‧電子裝置

S210~S250、S310~S370‧‧‧步驟

圖1是依據本發明之一實施例繪示的圖形使用者介面測試系統的示意圖。

圖2是依據本發明之一實施例繪示的圖形使用者介面測試方法流程圖。

圖3A是依據本發明之一實施例繪示的圖形使用者介面測試 方法的記錄階段流程圖。

圖3B是依據本發明之一實施例繪示的圖形使用者介面測試方法的重播階段流程圖。

圖1是依據本發明之一實施例繪示的圖形使用者介面測試系統的示意圖。在本實施例中，圖形使用者介面測試系統100包括測試裝置110以及攝影裝置120。測試裝置110例如是個人電腦、筆記型電腦、工作站、伺服器或是其他的電腦裝置，但本發明的可實施方式不限於此。測試裝置110包括儲存單元112以及處理單元114。儲存單元112例如是記憶體、硬碟或是其他任何可用於儲存資料的元件，而可用以記錄多個程式碼或模組。處理單元114連接儲存單元112。處理單元114可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器(microprocessor)、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路(Application Specific Integrated Circuit，ASIC)、場可程式閘陣列電路(Field Programmable Gate Array，FPGA)、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器(Advanced RISC Machine，ARM)的處理器以及類似品。

攝影裝置120例如是以電荷耦合元件(Charge Coupled Device，CCD)及/或互補金氧半導體(Complementary Metal Oxide Semiconductor，CMOS)實現的影像擷取元件。在本實施例中，攝影裝置120可以是透過通用序列匯流排(Universal Serial Bus，USB)介面連接至測試裝置110的攝影機。並且，攝影裝置120可受控於測試裝置110而對電子裝置130拍攝畫面。

電子裝置130例如是智慧型手機、平板電腦、個人數位助理(Personal Digital Assistant，PDA)、或是其他具有可顯示圖形使用者介面的螢幕的裝置，但本發明的可實施方式不限於此。電子裝置130亦可透過例如USB介面與測試裝置110連接。

在本實施例中，處理單元114可存取儲存單元112所儲存的多個模組以執行下圖2所提出的圖形使用者介面(Graphic User Interface，GUI)測試方法的各個步驟，進而測試電子裝置130的GUI。概略而言，在本實施例的方法中，測試裝置110可先控制攝影裝置120擷取電子裝置130反應於多個指令而顯示的多個第一畫面。接著，當測試裝置110對電子裝置130再次輸入所述多個指令時，測試裝置110可藉由判斷電子裝置130所顯示的當前畫面是否一致於對應於此當前畫面的第一畫面來判斷電子裝置130的GUI功能是否正常。

圖2是依據本發明之一實施例繪示的圖形使用者介面測試方法流程圖。本實施例提出的方法可由圖1的圖形使用者介面測試系統100，以下即搭配圖1所示的各個裝置來說明本方法的各個步驟細節。

在步驟S210中，處理單元114可控制攝影裝置120擷取 電子裝置130反應於多個第一指令而顯示的多個第一畫面，並記錄所述多個第一指令至儲存單元112。在一實施例中，所述多個第一指令例如是由使用者對電子裝置130所輸入的指令(例如是滑動操作或是點擊操作等)。

在其他實施例中，所述多個第一指令亦可以是由測試裝置110輸入至電子裝置的多個腳本語言(script)。詳細而言，為了讓攝影裝置120能夠清楚地擷取電子裝置130的GUI所顯示的所述多個第一畫面，測試裝置110可模擬使用者輸入的指令(例如滑動操作)而產生對應的腳本語言。因此，當測試裝置110將這些腳本語言輸入至電子裝置130時，電子裝置130仍可如同接收到使用者輸入的指令一般地顯示所述多個第一畫面。如此一來，攝影裝置120所擷取到的多個第一畫面即不會被使用者的手或是觸控筆等物體干擾。

在本實施例中，在攝影裝置120擷取所述多個第一畫面的過程中，處理單元114可計算連續兩個第一畫面之間的差異度。舉例而言，當攝影裝置120擷取到第i個第一畫面(i為任意整數值)時，處理單元114可計算第i個第一畫面與第i-1個第一畫面之間的差異度。

在一實施例中，處理單元114可基於加速強健特徵擷取(Speeded Up Robust Features，SURF)演算法來計算所述差異度。具體而言，處理單元114可先計算第i個第一畫面與第i-1個第一畫面之間的第一相似度。所述相似度可表徵為(100×α)/β，其中 α代表第i個第一畫面與第i-1個第一畫面之間匹配的特徵(feature)數量，而β則代表在第i個第一畫面與第i-1個第一畫面上所偵測到的平均特徵數量。在得到所述第一相似度之後，處理單元114可藉由1-(100×α)/β來計算所述差異度。當第i個第一畫面與第i-1個第一畫面之間的差異度大於第一門限值(例如80%)時，處理單元114可設置對應於第i個第一畫面的查核點(checkpoint)。換言之，當處理單元114判斷電子裝置130的畫面出現較大幅度的改變時，處理單元114可對應地設置查核點。在其他實施例中，所述查核點可表徵為第i個第一畫面的索引值(亦即，i)，但本發明的可實施方式不限於此。

在其他實施例中，在步驟S220之後，使用者可將電子裝置130的GUI回復至處理單元114執行步驟S210之前的運作狀態。或者，處理單元114亦可在執行步驟S210之前記錄電子裝置130當下的運作狀態，並且在執行完步驟S210之後將電子裝置130的GUI回復至處理單元114執行步驟S210之前的運作狀態，但本發明的可實施方式不限於此。

之後，在步驟S220中，處理單元114可對電子裝置130輸入相同於所述多個第一指令的多個第二指令。並且，在步驟S230中，處理單元114可控制攝影裝置120擷取電子裝置130反應於所述多個第二指令而顯示的多個第二畫面。

在步驟S240中，當所述多個第二畫面中的當前畫面對應於查核點時，處理單元114可計算當前畫面與所述第i個第一畫面 之間的相似度。在一實施例中，所述當前畫面例如是在處理單元114開始對電子裝置130輸入所述多個第二指令之後，攝影裝置120所擷取到的第i個第二畫面。換言之，所述當前畫面可視為是與所述第i個第一畫面具有相同索引值(即，i)的第二畫面。

在一實施例中，處理單元114亦可基於前述的SURF演算法來計算當前畫面與所述第i個第一畫面之間的相似度，但本發明的可實施方式不限於此。

在步驟S250中，當相似度低於第二門限值(例如是80%)時，處理單元114停止測試電子裝置130，並回報測試錯誤結果。所述測試錯誤結果例如可代表電子裝置130的GUI已出現異常的情形。詳細而言，由於處理單元114輸入至電子裝置130的所述多個第二指令相同於所述多個第一指令，因此電子裝置130所顯示的多個第二畫面應當相同於所述多個第二畫面。換言之，當所述當前畫面與所述第i個第一畫面之間的相似度過低時，即代表電子裝置130的GUI已出現異常，因此處理單元113可不再接續輸入剩餘的第二指令至電子裝置130而直接回報測試錯誤結果。在一實施例中，處理單元114可控制測試裝置110的使用者介面單元(未繪示)顯示關聯於所述測試錯誤結果的資訊，但本發明的可實施方式不限於此。

在其他實施例中，若所有的第二畫面與對應的第一畫面之間的相似度皆未低於第二門限值時，處理單元114可回報測試成功結果。在一實施例中，處理單元114可控制測試裝置110的 使用者介面單元(未繪示)顯示關聯於所述測試成功結果的資訊，但本發明的可實施方式不限於此。

概略而言，本發明實施例提出的方法可視為包括一記錄階段(record phase)以及一重播階段(replay phase)。在所述記錄階段(即，步驟S210)中，測試裝置110可記錄電子裝置130反應於多個第一指令而顯示的多個第一畫面，並且在特定的時機設置查核點。接著，在所述重播階段(即，步驟S220~S250)中，測試裝置114可再次對電子裝置130輸入相同於所述多個第一指令的多個第二指令，並觀察電子裝置130反應於所述多個第二指令所顯示的多個第二畫面是否一致於所述多個第一畫面。此外，由於測試裝置110可只比較對應至同一個查核點的第一畫面以及第二畫面，而不需逐一比對所有的第一及第二畫面，因而可使得整體圖形化介面測試機制的效率有效地提高。

並且，由於本發明實施例是透過電子裝置130外部的攝影裝置114來記錄電子裝置130所顯示的各個畫面，因而不會對電子裝置130產生額外的負載。此外，由於本發明實施例是透過攝影裝置120來擷取電子裝置130所顯示的各個畫面，因而具有高度的重複使用性(reusability)。換言之，本發明實施例提出的方法可用於測試各種具有圖形使用者介面的電子裝置。

值得注意的是，雖然圖1將測試裝置110以及攝影裝置120是繪示為兩個裝置，但在其他實施例中，設計者亦可藉由測試裝置110內建的取像單元(例如鏡頭)來實現本發明實施例中所 提及的各種關聯於攝影裝置120的技術方案。

圖3A是依據本發明之一實施例繪示的圖形使用者介面測試方法的記錄階段流程圖。本實施例提出的方法可由圖1的圖形使用者介面測試系統100，以下即搭配圖1所示的各個裝置來說明本方法的各個步驟細節。

在步驟S310中，處理單元114可控制攝影裝置120擷取初始畫面，並設置對應於初始畫面的初始查核點。在步驟S320中，處理單元114可控制攝影裝置120擷取電子裝置130反應於多個第一指令而顯示的多個第一畫面，並記錄所述多個第一指令至儲存單元112。步驟S320的細節可參照圖2的步驟S210，在此不再贅述。在步驟S330中，處理單元114可控制攝影裝置120擷取結束畫面，並設置對應於結束畫面的結束查核點。

在步驟S330之後，使用者可將電子裝置130的GUI回復至處理單元114執行步驟S310之前的運作狀態。或者，處理單元114亦可在執行步驟S310之前記錄電子裝置130當下的運作狀態，並且在執行完步驟S330之後將電子裝置130的GUI回復至處理單元114執行步驟S310之前的運作狀態，但本發明的可實施方式不限於此。接著，測試裝置110可接續執行下圖3所示的各個步驟。

請參照圖3B，圖3B是依據本發明之一實施例繪示的圖形使用者介面測試方法的重播階段流程圖。在步驟S340中，當電子裝置130目前顯示的畫面相同於初始畫面時，處理單元114可 對電子裝置130輸入相同於所述多個第一指令的多個第二指令。換言之，在處理單元114對電子裝置130輸入所述多個第二指令之前，處理單元114可先判斷電子裝置130目前顯示的畫面與步驟S310所記錄的初始畫面是否一致。若是，則處理單元114可接續對電子裝置130輸入所述多個第二指令。若電子裝置130目前顯示的畫面與所述初始畫面不一致，則處理單元114可判定電子裝置130的GUI並未回復至處理單元114執行步驟S310之前的運作狀態，進而回報測試錯誤結果。

接著，在步驟S350中，處理單元114可控制攝影裝置120擷取電子裝置130反應於所述多個第二指令而顯示的多個第二畫面。在步驟S360中，當所述多個第二畫面中的當前畫面對應於查核點時，處理單元114可計算當前畫面與所述第i個第一畫面之間的相似度。在步驟S370中，當相似度低於第二門限值時，處理單元114可停止測試電子裝置130，並回報測試錯誤結果。

在其他實施例中，若所有的第二畫面與對應的第一畫面之間的相似度皆未低於第二門限值時，處理單元114可更判斷電子裝置130目前顯示的畫面與步驟S330中所擷取結束畫面是否一致。若是，則處理單元114可回報測試成功結果。

綜上所述，本發明實施例提出的圖形使用者介面測試方法及其系統可透過攝影裝置擷取電子裝置反應於兩個相同指令(例如是第一指令及相同於第一指令的第二指令)所顯示的兩個畫面(例如是第一畫面及第二畫面)，並依據所述兩個畫面之間的 相似度來判斷電子裝置的圖形使用者介面是否出現異常。此外，由於測試裝置可只比較對應至同一個查核點的第一畫面以及第二畫面，而不需逐一比對所有的第一及第二畫面，因而可使得整體圖形化介面測試機制的效率有效地提高。由於本發明實施例是透過攝影裝置來擷取電子裝置所顯示的各個畫面，因而具有高度的重複使用性，進而可用於測試各種具有圖形使用者介面的電子裝置。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S250‧‧‧步驟

Claims (10)

1. 一種圖形使用者介面測試方法，適於一測試裝置測試一電子裝置，所述方法包括下列步驟：控制一攝影裝置擷取該電子裝置反應於多個第一指令而顯示的多個第一畫面，並記錄該些第一指令至一儲存單元，其中，當該些第一畫面中的第i個第一畫面與第i-1個第一畫面之間的一差異度大於一第一門限值時，設置對應於所述第i個第一畫面的一查核點；對該電子裝置輸入相同於該些第一指令的多個第二指令；控制該攝影裝置擷取該電子裝置反應於該些第二指令而顯示的多個第二畫面；當該些第二畫面中的一當前畫面對應於該查核點時，計算該當前畫面與所述第i個第一畫面之間的一相似度；以及當該相似度低於一第二門限值時，停止測試該電子裝置，並回報一測試錯誤結果。
2. 如申請專利範圍第1項所述的方法，其中該些第一指令為由該測試裝置輸入至該電子裝置的多個腳本語言。
3. 如申請專利範圍第1項所述的方法，其中在控制該攝影裝置擷取該電子裝置反應於該些第一指令而顯示的該些第一畫面的步驟之前，更包括：控制該攝影裝置擷取一初始畫面，並設置對應於該初始畫面的一初始查核點。
4. 如申請專利範圍第3項所述的方法，其中在對該電子裝置輸入相同於該些第一指令的該些第二指令的步驟之前，更包括：控制該攝影裝置擷取一結束畫面，並設置對應於該結束畫面的一結束查核點。
5. 如申請專利範圍第1項所述的方法，其中該查核點為所述第i個第一畫面的一索引值，而所述當前畫面為具有該索引值的該些第二畫面的其中之一。
6. 一種測試裝置，包括一儲存單元，儲存多個模組；以及一處理單元，耦接該儲存單元，存取該些模組以執行下列步驟：控制一攝影裝置擷取一電子裝置反應於多個第一指令而顯示的多個第一畫面，並記錄該些第一指令至一儲存單元，其中，當該些第一畫面中的第i個第一畫面與第i-1個第一畫面之間的一差異度大於一第一門限值時，設置對應於所述第i個第一畫面的一查核點；對該電子裝置輸入相同於該些第一指令的多個第二指令；控制該攝影裝置擷取該電子裝置反應於該些第二指令而顯示的多個第二畫面；當該些第二畫面中的一當前畫面對應於該查核點時，計算該當前畫面與所述第i個第一畫面之間的一相似度；以及 當該相似度低於一第二門限值時，停止測試該電子裝置，並回報一測試錯誤結果。
7. 如申請專利範圍第6項所述的測試裝置，其中該些第一指令為由該測試裝置輸入至該電子裝置的多個腳本語言。
8. 如申請專利範圍第6項所述的測試裝置，其中該處理單元更控制該攝影裝置擷取一初始畫面，並設置對應於該初始畫面的一初始查核點。
9. 如申請專利範圍第8項所述的測試裝置，其中該處理單元更控制該攝影裝置擷取一結束畫面，並設置對應於該結束畫面的一結束查核點。
10. 如申請專利範圍第6項所述的測試裝置，其中該查核點為所述第i個第一畫面的一索引值，而所述當前畫面為具有該索引值的該些第二畫面的其中之一。