TWI514854B - Establishment of Adjustable Block - based Background Model and Real - time Image Object Detection - Google Patents

Description

可調區塊式背景模型建立與即時影像物件偵測的方法

本發明係有關一種影像監測技術，尤指一種可調區塊式背景模型建立與即時影像物件偵測的方法。

任何監控系統必定含有移動物件偵測技術，其目的都在於讓系統能夠更準確、快速的偵測到移動物件，而其後續的工作如：移動物件的追蹤、辨識、分析…等程序都高度依賴移動物件偵測的準確與否，偵測移動物件的正確性甚至足以決定整個系統的可靠度與精確性，是評估一個監控系統好壞的決定性因素。

目前，有許多物件偵測領域的文獻資料被提出，眾多的研究中又以：1.光流法(optical flow)、2.連續影像相減法(frame difference)、3.背景相減法(background subtraction)這三種方法為大宗。光流法利用連續影像中的亮度變化找出影像中的運動向量後再進行特徵匹配，可用於移動檢測、移動物件切割。光流法在模式辨識、計算機視覺以及其它圖像處理應用中非常有效。但光流法對於場景中的雜訊非常敏感，且計算方式複雜導致運算量大，無法達到即時的效果。

而連續影像相減法利用連續影像對每個相對應的像素值做兩兩彼此相減後得到差異值，若差異值小於預先設定的門檻值(threshold)，表示近似為原本的圖像，則視此像素點為背景；反之，若大於門檻值，表示此像素點的變化量過大，屬於移動物件的一部份。此方法雖簡單且快速，但往往只會得到移動物件的邊緣，無法完整的切割出物件。

最後，背景相減法的作法是先建立一個背景模型(background model)，接著將背景模型與新進影像作比較，進而取得移動物件，由於此方法具備簡單、快速等優點。雖然背景相減的概念相當簡單，但在真實場景 中卻存在著許多不容易解決的問題，導致切割結果容易有破碎、雜訊過高或是切割失敗等錯誤，若要避免上述錯誤，則必須要加強背景的更新以及顯示能力，但相對的，會造成系統記憶體以及運算效能上極大的負擔。

本發明之主要目的，在於解決背景相減法上，高背景顯示能力與低記憶體容量及低系統運算負擔無法兼得的問題。

為達上述目的，本發明提供一種可調區塊式背景模型建立與即時影像物件偵測的方法，其係取得一監控設備之一監控影像，該方法包含有以下步驟：S1：將該監控影像區分為複數區塊，該些區塊各包含有一第一畫素以及至少一第二畫素；S2：選擇該第一畫素的顏色作為一主要色彩，並利用一運算處理單元比較該至少一第二畫素與該第一畫素顏色的差距量，若該差距量大於一門檻值，則將該至少一第二畫素的顏色加入該主要色彩中；S3：利用該運算處理單元確認各該些區塊中的該主要色彩的數量及資訊，並進行儲存；S4：選擇該些區塊的其中之一並定義為起始區塊，定義該起始區塊以及相鄰於該起始區塊的該些區塊為一檢索區域，當該起始區塊中的該主要色彩的數量小於一區塊臨界值時，利用該運算處理單元重新整理並整合該檢索區域內的主要色彩的數量；S5：若該檢索區域內的該主要色彩的數量小於一區域臨界值時，合併該檢索區域為一大型區塊；S6：完成該監控影像的分析，依序並重複進行步驟S4及S5，取得該監控影像的一區塊式背景模型；及S7：由該監控設備輸入一新監控影像，進行該新監控影像以及該區塊式背景模型的色彩比對，若色彩比對結果差異大，則取得一移動物件影像。

由上述說明可知，本發明具有下列特點：

一、利用主要色彩為基礎，以進行相互比對，減少記憶體容量負荷。

二、利用區塊臨界值以及區域臨界值的判斷機制，建立不同區塊尺寸的背景模型，藉此再有效降低記憶體的使用量。

三、由於記憶體的負擔降低，電腦便得以有效率的進行資料運算處理，增進運算效能。

10‧‧‧監控設備

11‧‧‧監控影像

12‧‧‧區塊

121‧‧‧第一畫素

122‧‧‧第二畫素

13‧‧‧起始區塊

14‧‧‧大型區塊

15‧‧‧超大型區塊

20‧‧‧運算處理單元

30‧‧‧區塊式背景模型

40‧‧‧檢索區域

51‧‧‧白色方塊

52‧‧‧方格線方塊

53‧‧‧邊緣區域

S1~S9‧‧‧步驟

圖1，為本發明之步驟流程示意圖。

圖2，為本發明之系統方塊配置示意圖。

圖3，為本發明之監控影像區塊示意圖。

圖4，為本發明之監控影像圖像區塊示意圖。

圖5A，為本發明之區塊主要色彩數量示意圖。

圖5B，為本發明之區塊合併示意圖。

圖5C，為本發明之背景區塊分隔模型示意圖。

圖6A，為本發明之移動物件影像邊緣示意圖。

圖6B，為本發明之移動物件影像更新示意圖。

有關本發明之詳細說明及技術內容，現就配合圖示說明如下：請參閱「圖1」、「圖2」及「圖3」所示，本發明係為一種可調區塊式背景模型建立與即時影像物件偵測的方法，其係取得一監控設備10之一監控影像11，該方法包含有以下步驟：

S1：將該監控影像11區分為複數區塊12，請配合參閱「圖3」所示，該些區塊12各包含有一第一畫素121以及至少一第二畫素122，於本實施例中，單一區塊12中包含有16個畫素，而成為大小為4×4的矩陣，其中可以選擇其中一個畫素為第一畫素121，其他的便為第二畫素122。

S2：選擇並計算該些區塊12內的主要色彩，選擇該第一畫素121的顏色作為一主要色彩，並利用一運算處理單元20比較該至少一第 二畫素122與該第一畫素121顏色的差距量，若該差距量大於一門檻值，則將該至少一第二畫素122的顏色加入該主要色彩中。其中，該差距量係根據紅藍綠三原色的顏色差異值的平方加總後再取平方根而得，如以下公式(1)：

其中，R_Mn 、G_Mn 、B_Mn 分別代表主要色彩中的紅、綠、藍三原色的色彩值，Mn代表區塊12的第一畫素121，而R_Ixy 、G_Ixy 、B_Ixy 則分別代表該至少一第二畫素122中的紅、綠、藍三原色的色彩值，Ix,y代表區塊12的至少一第二畫素122，藉此取得該差距量作為色彩差異的參考指標。或者，該差距量係可根據紅藍綠三原色的顏色差異各取絕對值後相加而得。藉由比較該差距量的量值大小，如以下公式(2)：

公式(2)中係直接利用絕對值的方式分別取得顏色量值的差異後再進行加總，數學的運算較為簡單。

S3：統整並儲存，利用該運算處理單元20確認各該些區塊12中的該主要色彩的數量及資訊，並進行儲存。

S4：判斷區塊12臨界值，請配合參閱「圖4」及「圖5A」所示，舉例來說，由「圖4」中選擇矩陣大小為32×32個像素大小的區域來進行說明及分析，於本發明中，係定義每16個像素為一個區塊12，因此，於「圖4」所選擇的區域便包含有8×8個區塊12所形成的矩陣，接著如「圖5A」所示，選擇該些區塊12的其中之一並定義為起始區塊13，定義該起始區塊13以及相鄰於該起始區塊13的該些區塊12為一檢索區域40，於本實施例中，其係選擇最左上角的區塊12作為該起始區塊13，進而定義與相鄰的三個區塊12組合為該檢索區域40，接著依序以每四個區塊12為一個檢索區域40，而形成共16個檢索區域40。其中，當該起始區塊13中的該主 要色彩的數量小於一區塊12臨界值時，利用該運算處理單元20重新整理並整合該檢索區域40內的主要色彩的數量，而於「圖5A」中每個區塊12中的數字便代表其主要色彩的數量。而若該起始區塊13中的該主要色彩的數量大於該區塊12臨界值時，則直接進行下一檢索區域40的比對判斷。

S5：合併區塊12，請配合參閱「圖5B」所示，若該檢索區域40內的該主要色彩的數量小於一區域臨界值時，合併該檢索區域40為一大型區塊14，如「圖5B」中最上排的檢索區域40，由於主要色彩的數量都是1，表示在這個區域中的像素顏色差異並不大，因而可合併為大型區塊14，藉此減少記憶體的負荷量。但若該檢索區域40內的該主要色彩的數量大於該區域臨界值時，則不進行合併，並直接進行下一檢索區域40的比對判斷。

S6：完成該監控影像11的分析，依序並重複進行步驟S4及S5，取得該監控影像11的一區塊式背景模型30。其中，由於左下角的四個檢索區域40的主要色彩數量也為1，因此除了各別合併為大型區塊14之外，又再次的將四個大型區塊14進行合併為一超大型區塊15，如「圖5C」所示，其便為最後完成的區塊式背景模型30。

S7：進行移動物件影像的偵測，請配合「圖2」所示，由該監控設備10輸入一新監控影像，進行新監控影像以及該區塊式背景模型30的色彩比對，若色彩比對結果差異大，則取得一移動物件影像。更進一步的說明，根據該區塊式背景模型30的資料，該運算處理單元20會比對新監控影像所輸入的影像，當新監控影像的色彩比對相符於該區塊式背景模型30時，則被認定為背景，在轉換後輸出給人監控觀看的畫面，會顯示以黑色作為表示；若新監控影像的色彩比對與該區塊式背景模型30中的色彩資料差異大時，則會被認定為前景，進而作為反白的顯示或彩色的顯示。

S8：移動物件影像更新，抽取該大型區塊14中各個區塊12中的像素，對比新監控影像中相對應的位置，若像素比對結果不吻合，則對各個該區塊12進行資料更新。由於該移動物件影像是以區塊12作為基礎進行整個區塊12的更新，因此所顯示的前景部分(移動物件影像)的圖樣 也是整個區塊12進行圖像更新，因此，在大型區塊14的區域上，常常會發生影像圖形切割不正確或不完全的狀況，造成該區塊12無法正確顯示實際影像。因此，於本步驟中，係隨機抽取該大型區塊14中各個區塊12的一個畫素進行比對，若比對結果吻合新監控影像，則進行下一個區塊12的比對；若比對結果不吻合，則以新監控影像更新該區塊12的資訊。藉此可將因為被大型區塊14包含，而被忽略的移動物件影像進行驗證而更新，加強該移動物件影像的正確顯示能力。

S9：對該移動物件影像進行細緻化處理，請配合參閱「圖6A」及「圖6B」所示，「圖6A」的白色方塊51代表移動物件影像的像素，相對的，方格線方塊52代表背景的像素，而細緻化處理便是如「圖6B」所示，以該移動物件影像的邊緣區域53比對新監控影像相對應的位置，將該些像素進行更新，以進行細緻化處理。

經由實驗結果比對發現，相較於Kyungnam Kim et al.於Real-Time Imaging,pp.172-185,2005.所發表之“Real-Time Foreground-Background Segmentation using Codebook Model，”(以下簡稱codebook方法)，在160×120的像素上時，利用codebook方法與原始影像的相似度達到91%，而利用本發明所揭露之方法可以達到92%；而在768×576的像素上時，利用codebook方法與原始影像的相似度僅能達到63%，而本發明之方法可以達到69.7%。因此，在影像分析能力上，本發明所揭露之方法優於習知技術codebook方法。

接著，進行記憶體佔用率的比較，在160×120的像素上時，利用codebook方法必須佔用1.11MB的記憶體大小，而本發明僅需要佔用到0.13MB的大小，僅約為codebook方法的十分之一而已；另外在768×576的像素上時，利用codebook方法必須佔用17.7MB的記憶體大小，而本發明僅需要使用到0.3MB，佔用的記憶體更是降低到只有codebook方法的1/60而已。

綜上所述，由於本發明具有下列特點：

一、利用主要色彩為基礎，以進行相互比對，減少記憶體容 量負荷。

二、利用區塊臨界值以及區域臨界值的判斷機制，建立不同區塊尺寸的背景模型，藉此再有效降低記憶體的使用量。

三、由於記憶體的負擔降低，電腦便得以有效率的進行資料運算處理，增進運算效能。

四、利用隨機抽取比對該大型區塊中的像素，而對移動物件影像進行更新，有效減少因影像切割不正確或不完整造成的錯誤影像問題。

五、以細緻化處理的方式，加強影像的顯示能力，增加影像辨識度。

因此本發明極具進步性及符合申請發明專利之要件，爰依法提出申請，祈 鈞局早日賜准專利，實感德便。

以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能限定本發明實施之範圍。即凡依本發明申請範圍所作之均等變化與修飾等，皆應仍屬本發明之專利涵蓋範圍內。

S1~S9‧‧‧步驟

Claims (7)

1. 一種可調區塊式背景模型建立與即時影像物件偵測的方法，其係取得一監控設備之一監控影像，該方法包含有以下步驟：S1：將該監控影像區分為複數區塊，該些區塊各包含有一第一畫素以及至少一第二畫素；S2：選擇該第一畫素的顏色作為一主要色彩，並利用一運算處理單元比較該至少一第二畫素與該第一畫素顏色的差距量，若該差距量大於一門檻值，則將該至少一第二畫素的顏色加入該主要色彩中；S3：利用該運算處理單元確認各該些區塊中的該主要色彩的數量及資訊，並進行儲存；S4：選擇該些區塊的其中之一並定義為起始區塊，定義該起始區塊以及相鄰於該起始區塊的該些區塊為一檢索區域，當該起始區塊中的該主要色彩的數量小於一區塊臨界值時，利用該運算處理單元重新整理並整合該檢索區域內的主要色彩的數量；S5：若該檢索區域內的該主要色彩的數量小於一區域臨界值時，合併該檢索區域為一大型區塊；S6：完成該監控影像的分析，依序並重複進行步驟S4及S5，取得該監控影像的一區塊式背景模型；及S7：由該監控設備輸入一新監控影像，進行該新監控影像以及該區塊式背景模型的色彩比對，若色彩比對結果差異大，則取得一移動物件影像。
2. 如申請專利範圍第1項所述之可調區塊式背景模型建立與即時影像物件偵測的方法，其中於步驟S7之後，更具有一步驟S8：抽取該大型區塊中各個區塊中的像素，對比該新 監控影像中相對應的位置，若像素比對結果不吻合，則對各個該區塊進行資料更新。
3. 如申請專利範圍第2項所述之可調區塊式背景模型建立與即時影像物件偵測的方法，其中係隨機抽取該大型區塊中各個區塊的一個畫素進行比對，若比對結果吻合該新監控影像，則進行下一個區塊的比對；若比對結果不吻合，則以該新監控影像更新該區塊的資訊。
4. 如申請專利範圍第1項所述之可調區塊式背景模型建立與即時影像物件偵測的方法，其中於步驟S4中，係定義每四個區塊為一個檢索區域，並依序進行該區塊臨界值的判斷。
5. 如申請專利範圍第1項所述之可調區塊式背景模型建立與即時影像物件偵測的方法，其中於步驟S2中，該差距量係根據紅藍綠三原色的顏色差異值的平方加總後再取平方根而得。
6. 如申請專利範圍第1項所述之可調區塊式背景模型建立與即時影像物件偵測的方法，其中於步驟S2中，該差距量係根據紅藍綠三原色的顏色差異各取絕對值後相加而得。
7. 如申請專利範圍第1項所述之可調區塊式背景模型建立與即時影像物件偵測的方法，其中於步驟S7之後，更具有一步驟S9：對該移動物件影像進行細緻化處理，以該移動物件影像的邊緣區域比對該新監控影像相對應的位置，以進行細緻化處理。