TWI389559B - 前景影像分離方法 - Google Patents

Description

前景影像分離方法

本發明係有關於攝影監視系統，尤其是有關於不受照明光線變化的前景分離技術。

為維護社會治安和提升犯罪事件的破案率，在各種公共場所廣設監視攝影機進行全天候二十四小時監控蒐證已是現代社會中一種必要的措施。由於所蒐集的影像數量非常龐大，已經不是只用少數安全人員足以應付實際的需求。因此使用機器進行初步過濾監視影片或縮小尋找關鍵影像的範圍，然後再提供人員進行確認已是目前視訊監控自動化設備研發的主要方向。

第1圖係為一習知的視訊處理系統。主要的功能模組可分為前端的攝影機102和後端的影像分析器110。基於全天候監控的需要，所以前端攝影機102必須具備自動白平衡(automatic white balance)或曝光控制(exposure control)的功能。然而，這樣的自動調整功能卻可能使影像分析器110進行移動物體之前景影像分離時發生困難。因此，提升視訊監控系統在不同光線照明條件的可靠度成為當前熱門的研究課題，也是促使本專利發明的研發動機。

攝影機102的自動白平衡功能雖可改善不同光線照射條件下的取像品質，然而動態出現的前景物顏色卻也可能啟動該自動調整機制而瞬間改變背景影像的色調，因此影響在紅藍綠顏色空間的前景影像分離效果。由於在絕大部分的監控系統中，前端的攝影機102和後端的影像分析器110通常為分開的獨立系統，而且前端攝影機102並不傳送前述自動調整的參數資訊給後端進行影像處理的影像分析器110，因此影像分析器110若要補正前述的問題必須設法自行估測調整參數。目前解決攝影機自動白平衡問題的方法，例如採用影像邊線(edge)或區域二階樣型(local binary pattern)之影像紋理(texture)特徵雖可相當程度改善此問題，但由於此類參數特性和顏色參數之間有一些互補性的差異，因此若僅使用影像紋理特徵參數在某些狀況下的前景分離效果並不理想。

有鑑於此，本專利發明提出一種補正自動白平衡或曝光控制的方法，使得背景影像的顏色和亮度可維持穩定以利採用背景相減法(background subtraction)的前景影像分離技術。

在一前景影像分離方法的實施例中，首先從該攝影機接收一輸入影像。接著根據內存的參考影像對該輸入影像進行白平衡或亮度補償，產生一補償影像，使該補償影像與該參考影像之至少部份對應區域具有一致之顏色和亮度。最後將該補償影像進行一背景相減演算法，以產生一背景分離結果。該攝影機係連續地產生輸入影像，而該白平衡或亮度補償步驟係持續執行。該背景相減演算法可以是一種高斯混合模型(Gaussian Mixture Model)演算法。

第2圖係為本發明實施例之影像監控系統架構圖。一攝影機102在前端持續地捕捉著影像。但是各種不同顏色和亮度的動態物體可能會不時地進入攝影機102的攝影範圍，致使攝影機102隨之調整曝光值以及白平衡參數，以保持整體畫面之取像品質。當攝影機102所獲取的輸入影像#IN中有動態物體出現時，背景的顏色和亮度可能會隨著攝影機102的自動調節而偏離原來的值。這種差異會導致傳統的影像分析器110無法正確的將前景和背景分離出來。本發明提出一種補償單元200，耦接該攝影機102的輸出端，可以修正該攝影機102造成的背景顏色和亮度偏移。

一般來說，該攝影機102是持續性進行拍攝，視應用需求之不同，每秒可能產生十至三十(或更多)個輸入影像#IN。而本發明的補償單元200亦持續執行著顏色增益補償步驟。簡單地說，顏色增益之補償步驟涵蓋了白平衡和亮度之調整。本發明實施例提供一參考影像#REF，做為白平衡和亮度之補償基準。該參考影像#REF的產生方式與更新方式將於後段詳述。每當該補償單元200從該攝影機102接收一個輸入影像#IN，就根據參考影像#REF對該輸入影像#IN進行顏色增益之補償步驟，以產生具有與該參考影像#REF大致相同之背景顏色和亮度的補償影像#IN’。藉此，後續的影像分析器210，可接著將該補償影像#IN’進行一背景相減演算法，在不受到白平衡和亮度偏移的影響下，準確地將前景與背景分離。基本上現今已有許多演算法可用來分離前景和背景，舉例來說，該影像分析器210可執行高斯混合模型(Gaussian Mixture Model)演算法，而所產生的背景分離結果#BG以前景物圖像或者背景遮罩的方式呈現。高斯混合模型的原理，簡而言之，係將每次輸入之該補償影像之特徵值以可適性的漸進方式更新至一高斯混合模型中，並使用該高斯混合模型為靜態背景將該補償影像進行一減法運算，藉此將動態前景與靜態背景分離開來。

關於參考影像#REF的產生方式，基本上係源自輸入影像#IN。更確切的說，參考影像#REF的物理意義實質上就是一張動態物體稀少的靜態背景畫面。舉例來說，隨著時間的變化，照明光線可能會有日夜差異，尤其是晨昏時刻變化頗大。為漸次調適照明穩定變化之趨勢，該參考影像更新單元220可以利用輸入影像#IN的背景分離結果#BG計算該輸入影像#IN中內含動態物體影像面積的數值，以決定是否選擇該輸入影像#IN更新參考影像#REF。

第3圖係為本發明提出的的前景影像分離方法流程圖。如第2圖所示的監控系統，於步驟301中啟動。首先在步驟303中，攝影機102開始接收輸入影像#IN。在步驟305中，補償單元200檢查該參考影像更新單元220是否準備好參考影像#REF以做為白平衡補償的依據。如果參考影像#REF已經準備就緒，則進行步驟309，由該補償單元200接收由攝影機102傳來的輸入影像#IN，並根據該參考影像#REF將該輸入影像#IN進行白平衡或亮度補償，以產生一補償影像#IN’，具有與該參考影像#REF之至少部份對應區域具有一致之顏色或亮度。接著在步驟311中，由該影像分析器210對該補償影像#IN’進行一背景相減演算法，以產生一背景分離結果#BG。另一方面，如果步驟305中判斷該參考影像更新單元220尚未提供一參考影像#REF，則進行步驟307，在不使用補償單元200的前提下，直接由該影像分析器210對該輸入影像#IN進行一背景相減演算法，以產生一背景分離結果#BG。在步驟307或311各自根據不同來源產生背景分離結果#BG之後，接著進行步驟313，由該參考影像更新單元220根據背景分離結果#BG判斷屬於前景的像素佔該輸入影像#IN的比率。如果前景像素的比率小於預設值，則進行步驟315，該參考影像更新單元220將該輸入影像#IN設定為參考影像#REF。相對的，如果前景像素的比率過高，則跳至步驟317，不更新參考影像#REF。在步驟315和317結束之後，流程遞迴執行步驟303，週而覆始的接收並補償輸入影像，並更新參考影像。

第4a圖係為本發明補償白平衡的方法流程圖。在補償單元200中所進行的程序，可搭配第4b至4d圖一併說明。首先在步驟401中，啟動該補償單元200並開始接收輸入影像#IN。在步驟403中，該補償單元200將輸入影像#IN以及參考影像#REF各別切割為相同數量及大小的區塊，兩者之區塊有一對一的對應位置關係。舉例來說，第4b圖的參考影像410被切成3x3個小區塊，其中u^ref (x,y)代表該參考影像410中橫軸第x個縱軸第y個區塊。每一小區塊包含多個畫素，而該些畫素顏色值可以用來計算該小區塊的特徵值，包含紅、綠、藍特徵值(r₁ ,g₁ ,b₁ )。同樣地，在第4c圖中顯示一輸入影像420也被切成3x3個小區塊，其中u^t (x,y)代表該輸入影像420中橫軸第x個縱軸第y個區塊，其中包含的紅、綠、藍特徵值表示為(r₂ ,g₂ ,b₂ )。

特徵值的計算方式可以有很多種。一種方法是計算每一區塊中所有畫素值的平均值。舉例來說，一特定區塊的紅、綠、藍特徵值係各別為該區塊之所有紅畫素值之平均值、所有綠畫素值之平均值、以及所有藍畫素值之平均值。另一種方式是以最大值來代表特徵值。舉例來說，一特定區塊的紅、綠、藍特徵值係各別為該區塊之所有紅畫素值中之最大值、所有綠畫素值中之最大值、以及所有藍畫素值中之最大值。另一個例子是，將前述之紅、綠、藍特徵值分別乘以預設之權重然後合併成一灰階亮度值，並以此灰階亮度值當作區塊代表特徵值。灰階亮度值的計算方式，已有許多習知做法，故在此不再詳細說明。本發明也是有可能採用其他的方式來表達特徵，但基本上都是根據紅、綠、藍色值來計算而得的。

在獲取上述參考影像410和輸入影像420中每一區塊之特徵值後，接著進行步驟405，將該參考影像410中每一區塊的特徵值，除以該輸入影像420對應區塊的特徵值，得到多個比值。以參考影像410中的區塊u^ref (x,y)和輸入影像420中對應區塊u^t (x,y)為例，可以得到紅色比值(r₁ /r₂ )，綠色比值(g₁ /g₂ )以及藍色比值(b₁ /b₂ )。本實施例中因為總共有9個區塊，所以紅色比值、綠色比值以及藍色比值各有9組。

在步驟407中，該補償單元200接著分別統計該些紅色比值、綠色比值及藍色比值的分布情形，以各別產生一紅色補償係數、一綠色補償係數以及一藍色補償係數。統計的方法可以參考第4d圖，採用直方圖的方式。該補償單元200在統計該些比值的分布情形時，以該些比值為樣本，將該些比值的數值範圍畫分為多個數值區間C₁ 到C_N (N為自然數)，以產生一直方圖，用以統計落在每一數值區間中的樣本數量。區間值為事先預定值，其值可設為0.01至0.05之間。

接著在步驟409中，該補償單元200選取該直方圖中樣本數量最高之一數值區間所對應的數值，作為該補償係數。舉例來說，在第4d圖中，顯示在數值範圍C_K 這個區間，比值樣本的出現率最高。藉此可推斷，該參考影像410和輸入影像420中雖然可能有小部份畫面受到前景物體的變化而有差異，但是大部份背景部份的畫素顏色值只是單純的發生某一比例的偏移。所以第4d圖中數值區間C_K 所代表的數值，有很大的機率就是該偏移比值。只要求出該些背景部份的偏移比值，就能據以將整個輸入影像420的畫素顏色值以乘法的方式補償回來。

基於這個原理，在步驟411中，該補償單元200將該輸入影像420中之所有畫素顏色值乘上由步驟409所決定之補償係數，就此產生補償影像#IN’。

值得一提的是，第4b和4c圖雖然將參考影像410和輸入影像420切成3x3個小區間，但是為了增加準確率，實際運作上可能是以每區間10x10或20x20畫素的方式去切割該參考影像410和輸入影像420。因此總共的區間數量，係依照參考影像410和輸入影像420之原始長寬值而定。

另一方面，需考量統計上的可靠度。如果因為監控到繁忙的交通，導致參考影像410和輸入影像420的差異很大，使得該些比值在第4d圖中的分布情形沒有那麼理想的時候，就必須進一步檢查可靠度。舉例來說，如果該直方圖中樣本數量最多的一數值區間C_K 所包含的樣本數量未超過所有區塊總數的一可靠比例，則不進行補償以避免發生錯誤。經過實測經驗，該可靠比例設置為百分之五可以得到較佳的結果。

如前所述，本發明的實施例主要基於畫素顏色值來運算。顏色特徵值係依紅、綠、藍三原色分別處理，故雖然沒有一一詳細舉例，但是可以理解的是上述特徵值包含紅特徵值、綠特徵值以及藍特徵值，上述補償係數包含一紅補償係數，一綠補償係數及一藍補償係數，上述比值包含紅比值，綠比值以及藍比值，上述直方圖包含紅直方圖，綠直方圖及藍直方圖，而該補償影像#IN’係由該輸入影像#IN中的每一紅、綠、藍色畫素值分別乘上該紅補償係數，該綠補償係數及該藍補償係數而得。

更進一步地說，該攝影機也可能是一臺黑白攝影機，因此輸入影像420沒有白平衡問題，只有曝光值偏移的問題。而本發明實施例的顏色增益補償步驟，亦可適用於此類影像。在計算輸入影像之特徵值時，可直接計算該輸入影像中各個區塊的平均灰階值或最大灰階值作為每一區塊的代表特徵值。而求出補償係數後，則直接針對灰階畫素值進行相乘，使補償影像#IN’的亮度獲得校正。

第5圖係為背景相減演算法產生的一背景遮罩示意圖。在影像分析器210輸出一背景分離結果#BG後，可以背景遮罩的形式將前景和後景區分開來。背景遮罩500中屬於背景的部份是以全黑的方式呈現，而屬於前景的部份510，例如一個人形，則以全白的方式呈現。只要該背景遮罩500中全白部份佔的比例夠低，就可以被選用來當做參考影像。在本實施例中，只要前景部份佔去的面積低於全背景遮罩500的5%，就可用來當做參考影像。

雖然本發明以較佳實施例說明如上，但可以理解的是本發明的範圍未必如此限定。相對的，任何基於相同精神或對本發明所屬技術領域中具有通常知識者為顯而易見的改良皆在本發明涵蓋範圍內。因此專利要求範圍必須以最廣義的方式解讀。

102．．．攝影機

110．．．影像分析器

200．．．補償單元

210．．．影像分析器

220．．．參考影像更新單元

#IN．．．輸入影像

#IN’．．．補償影像

#BG．．．背景分離結果

#REF．．．參考影像

410．．．參考影像

420．．．輸入影像

500．．．背景遮罩

510．．．前景部份

第1圖係為習知的監控系統架構圖；

第2圖係為本發明實施例之影像監控系統架構圖；

第3圖係為本發明提出的的前景影像分離方法流程圖；

第4a圖係為本發明補償白平衡的方法流程圖；

第4b及4c圖係為比較影像特徵的示意圖；

第4d圖係為直方圖的示意圖；

第5圖係為背景相減演算法產生的一背景遮罩示意圖。

102．．．攝影機

200．．．補償單元

210．．．影像分析器

220．．．參考影像更新單元

#IN．．．輸入影像

#IN’．．．補償影像

#BG．．．背景分離結果

#REF．．．參考影像

Claims (27)

1. 一種前景影像分離方法，用以從自動白平衡調整和亮度改變的連續輸入畫面中分離出靜態背景和動態前景，包含：提供一參考影像，做顏色增益之補償基準；從該攝影機接收一輸入影像；根據該參考影像對該輸入影像進行一顏色增益補償步驟，產生一補償影像，使該補償影像與該參考影像之至少部份對應區域具有一致之顏色和亮度；將該補償影像代入一背景相減演算法，以產生一背景分離結果，其中提供該參考影像的步驟更包含：以該背景相減演算法對該輸入影像進行處理，以產生一前景畫面；計算該前景畫面在該輸入影像中所佔之一比例；以及如果該比例低於一預設值，則選取該輸入影像為該參考影像。
2. 如申請專利範圍第1項所述之前景影像分離方法，其中該攝影機係連續地產生輸入影像，而該顏色增益補償步驟係連續執行以持續產生補償影像。
3. 如申請專利範圍第2項所述之前景影像分離方法，其中該背景相減演算法係為一高斯混合模型(Gaussian Mixture Model)演算法，將每次代入之該補償影像之特徵值以可適性的漸進方式更新至一高斯混合模型中，並使用 該高斯混合模型為靜態背景將該補償影像進行一減法運算，而產生該背景分離結果。
4. 如申請專利範圍第2項所述之前景影像分離方法，其中該顏色增益補償步驟包含：計算該參考影像與該輸入影像的顏色特徵；比較該參考影像與該輸入影像的顏色特徵，以產生至少一補償係數；以及將該輸入影像之畫素顏色值乘上該補償係數，以產生該補償影像。
5. 如申請專利範圍第4項所述之前景影像分離方法，其中計算該參考影像與該輸入影像的顏色特徵的步驟包含：將該參考影像及該輸入影像各別切割為相同數量及大小的區塊，兩者之區塊有一對一的對應位置關係；根據每一區塊的畫素顏色值計算每一區塊的特徵值；將該參考影像的每一區塊的特徵值，除以該輸入影像對應區塊的特徵值，得到多個對應每一區塊的比值；統計該些比值的分布情形，以產生該補償係數。
6. 如申請專利範圍第5項所述之前景影像分離方法，其中統計該些比值的分布情形的步驟包含：以該些比值為樣本，將該些比值的數值範圍畫分為多個數值區間，以產生一直方圖，用以統計落在每一數值區間中的樣本數量；選取該直方圖中樣本數量最高之一數值區間所對應的比值數值，作為該補償係數。
7. 如申請專利範圍第6項所述之前景影像分離方法，其中統計該些比值的分布情形的步驟進一步包含，如果該直方圖中樣本數量最多的一數值區間所包含的樣本數量未超過所有區塊總數的一可靠比例，則將該補償係數設定為1，使該補償影像等於該輸入影像。
8. 如申請專利範圍第7項所述之前景影像分離方法，其中該可靠比例係為百分之五。
9. 如申請專利範圍第6項所述之前景影像分離方法，其中：顏色特徵值係依紅、綠、藍三原色分別處理，故上述特徵值包含紅特徵值、綠特徵值以及藍特徵值；上述補償係數包含一紅補償係數，一綠補償係數及一藍補償係數；上述比值包含紅比值，綠比值以及藍比值；上述直方圖包含紅直方圖，綠直方圖及藍直方圖；以及該補償影像係由該輸入影像的紅、綠、藍色畫素值分別乘上該紅補償係數，該綠補償係數及該藍補償係數而得。
10. 如申請專利範圍第9項所述之前景影像分離方法，其中：每一區塊的紅、綠、藍特徵值係各別為該區塊之所有紅畫素值之平均值、所有綠畫素值之平均值、以及所有藍畫素值之平均值。
11. 如申請專利範圍第9項所述之前景影像分離方法，其中：每一區塊的紅、綠、藍特徵值係各別為該區塊之所有紅畫素值中之最大值、所有綠畫素值中之最大值、以及 所有藍畫素值中之最大值。
12. 如申請專利範圍第1項所述之前景影像分離方法，其中該預設值為百分之五。
13. 如申請專利範圍第6項所述之前景影像分離方法，其中：該參考影像與該輸入影像係為彩色影像，其顏色特徵係將該參考影像與該輸入影像中每一畫素轉換為灰階值後計算而得；以及該補償影像係由該輸入影像的紅、綠、藍色畫素值同時乘上該補償係數而得。
14. 如申請專利範圍第6項所述之前景影像分離方法，其中：該參考影像與該輸入影像係為灰階影像，其顏色特徵係根據該參考影像與該輸入影像中每一畫素的灰階值計算而得；以及該補償影像係由該輸入影像中每一畫素的灰階值同時乘上該補償係數而得。
15. 一種前景影像分離方法，用以從自動白平衡調整和亮度改變的連續輸入畫面中分離出靜態背景和動態前景，包含：提供一參考影像，做顏色增益之補償基準；從該攝影機接收一輸入影像；根據該參考影像對該輸入影像進行一顏色增益補償步驟，產生一補償影像，使該補償影像與該參考影像之至少部份對應區域具有一致之顏色和亮度； 將該補償影像代入一背景相減演算法，以產生一背景分離結果，其中該顏色增益補償步驟係以影像區塊顏色特徵為基礎來進行。
16. 如申請專利範圍第15項所述之前景影像分離方法，其中該攝影機係連續地產生輸入影像，而該顏色增益補償步驟係連續執行以持續產生補償影像。
17. 如申請專利範圍第16項所述之前景影像分離方法，其中該背景相減演算法係為一高斯混合模型(Gaussian Mixture Model)演算法，將每次代入之該補償影像之特徵值以可適性的漸進方式更新至一高斯混合模型中，並使用該高斯混合模型為靜態背景將該補償影像進行一減法運算，而產生該背景分離結果。
18. 如申請專利範圍第16項所述之前景影像分離方法，其中該顏色增益補償步驟包含：計算該參考影像與該輸入影像的顏色特徵；比較該參考影像與該輸入影像的顏色特徵，以產生至少一補償係數；以及將該輸入影像之畫素顏色值乘上該補償係數，以產生該補償影像。
19. 如申請專利範圍第16項所述之前景影像分離方法，其中計算該參考影像與該輸入影像的顏色特徵的步驟包含：將該參考影像及該輸入影像各別切割為相同數量及大小的區塊，兩者之區塊有一對一的對應位置關係； 根據每一區塊的畫素顏色值計算每一區塊的特徵值；將該參考影像的每一區塊的特徵值，除以該輸入影像對應區塊的特徵值，得到多個對應每一區塊的比值；統計該些比值的分布情形，以產生該補償係數。
20. 如申請專利範圍第19項所述之前景影像分離方法，其中統計該些比值的分布情形的步驟包含：以該些比值為樣本，將該些比值的數值範圍畫分為多個數值區間，以產生一直方圖，用以統計落在每一數值區間中的樣本數量；選取該直方圖中樣本數量最高之一數值區間所對應的比值數值，作為該補償係數。
21. 如申請專利範圍第20項所述之前景影像分離方法，其中統計該些比值的分布情形的步驟進一步包含，如果該直方圖中樣本數量最多的一數值區間所包含的樣本數量未超過所有區塊總數的一可靠比例，則將該補償係數設定為1，使該補償影像等於該輸入影像。
22. 如申請專利範圍第21項所述之前景影像分離方法，其中該可靠比例係為百分之五。
23. 如申請專利範圍第20項所述之前景影像分離方法，其中：顏色特徵值係依紅、綠、藍三原色分別處理，故上述特徵值包含紅特徵值、綠特徵值以及藍特徵值；上述補償係數包含一紅補償係數，一綠補償係數及一藍補償係數；上述比值包含紅比值，綠比值以及藍比值； 上述直方圖包含紅直方圖，綠直方圖及藍直方圖；以及該補償影像係由該輸入影像的紅、綠、藍色畫素值分別乘上該紅補償係數，該綠補償係數及該藍補償係數而得。
24. 如申請專利範圍第23項所述之前景影像分離方法，其中：每一區塊的紅、綠、藍特徵值係各別為該區塊之所有紅畫素值之平均值、所有綠畫素值之平均值、以及所有藍畫素值之平均值。
25. 如申請專利範圍第23項所述之前景影像分離方法，其中：每一區塊的紅、綠、藍特徵值係各別為該區塊之所有紅畫素值中之最大值、所有綠畫素值中之最大值、以及所有藍畫素值中之最大值。
26. 如申請專利範圍第20項所述之前景影像分離方法，其中：該參考影像與該輸入影像係為彩色影像，其顏色特徵係將該參考影像與該輸入影像中每一畫素轉換為灰階值後計算而得；以及該補償影像係由該輸入影像的紅、綠、藍色畫素值同時乘上該補償係數而得。
27. 如申請專利範圍第20項所述之前景影像分離方法，其中：該參考影像與該輸入影像係為灰階影像，其顏色特徵係根據該參考影像與該輸入影像中每一畫素的灰階值計算而得；以及該補償影像係由該輸入影像中每一畫素的灰階值同時 乘上該補償係數而得。