TWI602155B

TWI602155B - 利用影像內容不連續性增強物件偵測之方法

Info

Publication number: TWI602155B
Application number: TW102105090A
Authority: TW
Inventors: 張天龍
Original assignee: 威聯通科技股份有限公司
Priority date: 2013-02-08
Filing date: 2013-02-08
Publication date: 2017-10-11
Also published as: US9152855B2; US20140226853A1; TW201432618A

Description

利用影像內容不連續性增強物件偵測之方法

本發明係與影像檔案中特定物件之框選並辨識有關，特別是關於一種利用影像不連續性改進並加速物件偵測之方法。

對於資料處理裝置而言，於一影像中辨識出人員或特定物件的作業，牽涉數值演算，不同於人腦的判斷邏輯。前述辨識出人員或特定物件的作業，廣泛地應用於監視、自動化機械(機械人)、或環境監控。

以辨識人員為例，不同人員的體型、姿態、服裝、取像的視角、光線、取像品質等，都可能影響該人員於待分析影像中的形態，因此無法單純以特徵影像的比對達成，而需要相對複雜的演算機制。

前述演算機制中，最常備的演算基礎為Dalal等人提出的方向梯度直方圖演算法(Histograms of Oriented Gradients,HOG)。前述方向梯度直方圖演算法，係以一影像區域中各像素上梯度方向的統計值為此影像區域之表示特徵(feature)，再利用支持向量機(support vector machine)進行辨識。

但HOG對於影像檔案的解析度或清晰度要求相對較高，若解析度低，或因為雜訊導致特定物件之邊緣模糊不規則時，則物件往往無法被辨識出來，或HOG法中經常僅框選部分物件，而未框選整個物件。且HOG方法中物件的表示向量維度過大，亦使辨識之計算量過大，難以運用在即時的應用中。因此，HOG法仍有改善空間，也不斷有改良方法被提出。

鑑於上述問題，本發明提出一種利用影像不連續性增強物件偵測之方法，係可於影像品質差的情況下，快速進行特定區域之框選，並加以辨識。

本發明提出一種利用影像不連續性增強物件偵測之方法，用以加強於一影像檔案中辨識特定物件，包含：讀取一影像檔案；對於影像檔案中不同尺寸及位置之區域，計算其與周圍影像區域之不連續性，標示出不連續性較大之區域；辨識該區域之影像，輸出辨識結果。

本發明同時提出一種測定影像區域之不連續性之方法，包含：計算各像素之邊緣強度，並依據邊緣強度，找出最適之邊緣路徑(Edge path)；其中對任一像素，進行尋找最適邊緣路徑步驟，包含：以像素為中心，比對各相鄰點的邊緣強度，以邊緣強度高者為下一個選定邊緣像素；連接各選定邊緣像素為一邊緣路徑，判斷一邊緣路徑上各像素之邊緣強度統計值，以其值為此邊緣路徑兩側區域之不連續性；若一影像區域與其周圍區域之不連續性高於某一值，則判斷該區域內可能有一完整物件；以框線標示該特定影像區域，以確認該特定物件於影像檔案的位置；以及辨識該特定影像區域，從而輸出辨識結果。

本發明基於像素邊緣強度進行最適邊緣路徑之建立，從而找出與周圍之不連續性最強之區域，以快速找出獨立物件並框選之。不連續性的應用係可降低對影像品質之要求，並減少辨識處理之運算量。

101、101’‧‧‧第一方形窗口

102、102’‧‧‧第二方形窗口

1‧‧‧方塊

2‧‧‧方塊

3‧‧‧方塊

4‧‧‧方塊

第1圖為利用影像不連續性增強物件偵測之方法之流程圖。

第2圖為以不同尺寸及位置之窗口進行取樣之示意圖。

第3、4圖為依據邊緣像素相關度產生路徑之示意圖。

第5圖取樣窗可由大至小逐漸取樣之示意圖。

第6圖為框選特定物件之示意圖。

參閱第1圖所示，為本發明實施例所揭露之一種利用影像不連續性增強物件偵測之方法，用以加強於一影像檔案中辨識特定物件，藉以在影像品質差的情況下，快速進行特定區域之框選並加以辨識。所述特定物件於該影像中應當與其他物件及背景不連續。本發明實施例。亦揭露基於影像上各像素之邊緣強度尋找最適邊緣路徑，以之為影像區域之不連續性。因此，辨識該特定物件的步驟應當包含：

步驟Step 101：系統讀取一影像檔案。所述影像檔案可透過一影像擷取裝置即時或延遲取得，或是由一資料儲存裝置讀入。所述影像檔案可為單一靜態影像，亦可為連續串流影像中的單一頁幀。

步驟Step 102：可以以一前景建立單元進行前景建立，並移除不必要的背景紋路，並移除不必要的背景紋路，以找出前景區域。

前景建立之方法，包含背景相減法、時間差異法與光學流動等等，本發明技術領域可依據實際需求實施適當方法，以進行前景建立，詳細步驟於此不再贅述。

若影像檔案之尺寸相對較小，例如低像素值，則步驟Step 102可予以省略，直接進入步驟Step 103。

參照第2圖所示，步驟Step 103，於整張影像檔案，或前景區域中以不同尺寸及位置之窗口(sliding window)進行取樣。實際實施方式為，以尺寸一之第一方形窗口101、101’於整張影像或前景區域移動，進行取樣，接著再以尺寸二之第二窗口102、102’取樣。本實施例中，第一窗口尺寸大於第二窗口尺寸，第一窗口與第二窗口可為不同尺寸或可為相同尺寸，第一窗口與第二窗口的形狀亦不限定為方形或可為其他形狀例如：圓形、六邊形或任意多邊形亦可，使用者可對於影像中不同或相同尺寸及位置之區域進行取樣。

步驟Step 110：基於前述取樣，對於影像中不同尺寸及位置之區域，計算每一區域與周圍影像之不連續性，留下(標示)不連續性較大的區域進行下一步驟(Step 121、122)，以辨識該區域之影像，輸出辨識結果。

計算不連續性之方法如下所述：

步驟Step 111：計算各像素之邊緣強度。

各像素之邊緣強度的計算方式，可以但不限於採用亮度的梯度強度值l，並可以利用一函數對其做正規化(normalization)增加結果穩定性，如：

以下之說明對於一像素p _i=(x _i,y _i)，以S(p _i)代表其上之邊緣強度值。

以像素p ₁為起點，長度為h的路徑的邊緣強度為：

步驟Step 112：依據邊緣強度，找出最適之邊緣路徑(Edge path)，其步驟包含：請參閱第3、4圖所示，選定一像素，進行尋找從由此像素出發之最適邊緣路徑：以該像素為中心，比對各相鄰點的邊緣強度，以邊緣強度值高者為此路徑上下一個選定像素。

連接各選定邊緣像素為一邊緣路徑，判斷一邊緣路徑上各像素之邊緣強度統計值，以其值為此邊緣路徑兩側區域之不連續性；若一影像區域與其周圍區域之不連續性高於某一常數值，則判斷該區域內可能有一完整物件；最後，如Step 121所示，以框線標示特定影像區域，以確認該特定物件於影像檔案的位置。

如步驟Step 122所示，辨識特定影像區域，從而輸出辨識結果。

請參閱第5圖所示，方塊1~4組合為第一方形窗口101：方塊1中曲線為從所有底部至頂部的邊緣路徑中邊緣強度最強的，當此邊緣強度大於一常數，即知灰色區域與左側白色區域不連續。同理可判斷灰色區域是否與右側白色區域不連續。本發明之方法經對調x,y之方向，即可判斷取樣窗中央主要區域是否與上下之區域不連續，亦即判斷第一方形窗口101的不連續性數值是否大於該常數，該常數可根據使用者輸入或者系統預設值。依應用之特性在搭配HOG使用時，只需關心中央主要區域是否與左右不連續。

再參閱第2圖所示，具體實施方式中，以第2圖中太陽狀為本實施例中的辨識物件，窗口(sliding window)可由尺寸大至小逐漸取樣，步驟如下：

一、取一尺寸最大之第一方形窗口101、101’，根據使用者輸入或者系統預設的一常數，判斷出不連續性較前述常數大的區域，以留下(標示)不連續性較大的區域，第一方型窗口101、101’皆有可能被留下、二者擇一或均不被留下，本實施例中，例如：第一方型窗口101、101’皆被留下。

二、接著，再取一尺寸較小的第二方形窗口102、102’，於較小的方形窗口102、102’區域中再進行取樣，根據前述常數比較不連續性數值大小，判斷出不連續性較大的區域，以留下(標示)不連續性較大的區域，第二方型窗口102、102’皆有可能被留下、二者擇一或均不被留下，本實施例中，例如：第二方形窗口102’被留下。

三、最後以上述第一與第二方形窗口所取得之不連續性數值較大的區域，進行下一步驟(Step 121、122)，以框線標示特定影像區域，辨識特定影像區域，本實施例中以經過第一與第二步驟後留下的方形窗口101、101’與102’為例，先判定方形窗口101、101’與102’的不連續性數值(邊緣強度統計值)分別為X、Y、Z三個數值且X<Y<Z,XYZ≠0，之後再對於任意兩窗口進行重疊部分區域判斷，若任意兩者彼此重疊部分大於一定比例的情況下，例如：方形窗口101與101’交集面積大於聯集面積的二分之一，再根據101與101’兩者的不連續性數值，系統自動選擇數值較大者為第一次較佳辨識結果，以確認若兩兩方形窗口之間是否具有超過系統或者使用者設定一定比例的重疊區域，本實施例中以兩者交集面積大於聯集面積的二分之一為例；本實施例中，若是方形窗口101與101’之間交集面積大於聯集面積的二分之一且X小於Y，系統自動選擇方形窗口101’的Y值為第一次較佳辨識結果，因本實施例中具有三個方形窗口須判斷，若是將第一次較佳辨識結果即方形窗口101’繼續與下一個方形窗口102’進行重疊區域判斷，若重疊部分區域判斷亦為重疊，代表本實施例中方形窗口101’與102’彼此之間的重疊區域超過一定比例，系統自動選擇辨識結果數值最大者為第二次最佳辨識結果，再以第二次最佳辨識結果為最佳偵測結果輸出顯示，例如，方形窗口101’的Y值小於方形窗口102’的辨識結果Z，若方形窗口101’與方形窗口102’兩者之間交集面積大於聯集面積的二分之一，系統自動選擇數值較大者即方形窗口102’的Z值為第二較佳辨識結果，取得方形窗口102’的Z值為第二較佳辨識結果後，系統判斷Z值為最佳辨識結果後，系統將Z值選定為一最佳偵測結果並將最佳偵測結果輸出顯示讓使用者獲知最佳偵測結果，如第6圖中右側紅框處，使用者可見到一個被系統框選出的最佳偵測；在另一實施例中，若方形窗口101與101’兩者交集面積非大於聯集面積的二分之一，因本實施例為三個方形窗口，將方形窗口102’再更進一步分別與第一方形窗口101與101’進行重疊區域辨識，若重疊判斷結果方形窗口102’與101兩者交集面積非大於聯集面積的二分之一，方形窗口102’與101’兩者交集面積不大於聯集面積的二分之一，則使用者即可見到三個被系統框選出的最佳偵測結果顯示於顯示裝置上。

本發明基於像素邊緣強度進行最適邊緣路徑之建立，從而找出與周圍之不連續性最強之區域，以快速找出獨立物件並框選之並顯示於螢幕或任意輸出裝置讓使用者得知其辨識物件位置。不連續性的應用係可降低對影像品質之要求，並減少辨識處理之運算量，並減少誤報的機率。

Claims

一種利用影像內容不連續性增強物件偵測之方法，用以加強於一影像檔案中辨識特定物件，包含：讀取一影像檔案；對於影像檔案中不同尺寸及位置之區域，計算其與周圍影像區域之一不連續性數值，其步驟包含：計算各像素之邊緣強度；找出最適之邊緣路徑，其步驟包含：選定一像素，進行尋找從由此像素出發之最適邊緣路徑；以該像素為中心，比對各相鄰點的邊緣強度，以邊緣強度值高者為此路徑上下一個選定像素；連接各選定邊緣像素為一邊緣路徑，判斷一邊緣路徑上各像素之邊緣強度統計值，以其值為此邊緣路徑兩側區域之不連續性數值，標示出該不連續性數值大於一常數之區域；及辨識該區域之影像，輸出辨識結果。
如請求項1所述之利用影像內容不連續性增強物件偵測之方法，其中所述影像檔案為透過一影像擷取裝置即時取得，或是由一資料儲存裝置讀入。
如請求項1所述之利用影像內容不連續性增強物件偵測之方法，其中所述影像檔案可為單一靜態影像，或為連續串流影像中的單一頁幀。
如請求項1所述之利用影像內容不連續性增強物件偵測之方法，更包含一步驟，進行前景建立，以找出前景區域，以在該前景區域中，對於影像檔案中不同尺寸及位置之區域，計算其與周圍影像區域之不連續性數值，標示出該不連續性數值大於一常數之區域。
如請求項1所述之利用影像內容不連續性增強物件偵測之方法，其中對於影像檔案中不同尺寸及位置之區域，計算其與周圍影像區域之一不連續性數值，標示出該不連續性大於一常數之區域之上述步驟包含：取一第一窗口，判斷該窗口之不連續性數值大於該常數的區域，以標示不連續性較大的區域；及於前述區域中，再另取一第二窗口，第二窗口區域中再進行取樣，判斷該窗口之不連續性數值大於該常數的區域，以標示不連續性較大的區域。
如請求項1所述之利用影像內容不連續性增強物件偵測之方法，其中辨識該區域之影像，輸出辨識結果之上述步驟包含：以框線標示特定影像區域，以確認該特定物件於影像檔案的位置；及辨識特定影像區域，從而輸出辨識結果。
如請求項5所述之利用影像內容不連續性增強物件偵測之方法，其中計算每一區域與周圍影像之不連續性之上述步驟包含：計算各像素之邊緣強度；及找出最適之邊緣路徑，步驟包含：選定一像素，進行尋找從由此像素出發之最適邊緣路徑：以該像素為中心，比對各相鄰點的邊緣強度，以邊緣強度值高者為此路徑上下一個選定像素；及連接各選定邊緣像素為一邊緣路徑，判斷一邊緣路徑上各像素之邊緣強度統計值，以其值為此邊緣路徑兩側區域之不連續性數值。
如請求項6所述之利用影像內容不連續性增強物件偵測之方法，其中辨識特定影像區域，輸出辨識結果之上述步驟包含：產生該些特定影像區域的複數不連續性數值；判斷該些特定影像區域是否重疊超過一定比例；及若該些特定影像區域具有重疊部分超過一定比例，選定該不連續性數值最大者為一最佳辨識結果，輸出該最佳辨識結果。
如請求項6所述之利用影像內容不連續性增強物件偵測之方法，其中辨識特定影像區域，輸出辨識結果之上述步驟包含：產生該些特定影像區域的不連續性數值；判斷該些特定影像區域是否重疊超過一定比例；及若該些特定影像區域具有重疊部分未超過一定比例，選定該些不連續性數值為複數最佳辨識結果，輸出該些最佳辨識結果。