TWI602156B - 偵測移動前景之系統及其方法 - Google Patents

Description

偵測移動前景之系統及其方法

本發明係有關於一種偵測移動前景之系統及其方法，特別係一種依據遲滯閾值及高斯混合模式來建立出一偵測移動前景之系統及其方法。

近年來，由於人們對於居家安全的重視，使得視訊影像的偵測系統成為一個熱門的研究領域，因為影像偵測系統可以廣泛的被使用來保障民眾的人身安全，例如在社區建置監視器以記錄意外事故或留意可疑人士。

傳統的影像偵測系統，如監控系統，須以人力方式不間斷地注視監控螢幕，以免遺漏重要資訊，故目前有相當多的研究專注於如何利用電腦系統進行偵測並輸出移動前景之影像以節省人力成本。在習知技藝中，偵測移動前景之系統必須先建立一背景模型以分離出移動前景和固定背景之影像，然而建立此背景模型時往往會遇到許多考驗，如光線變化的雜訊、移動前景陰影的干擾或是誤判動作緩慢的移動前景成為固定背景的一部份。

有鑒於止，本發明之發明人思索並設計一種偵測移動前景之系統及其方法，針對現有技術之缺失加以改進，以呈現出一結果更為 精細之偵測影像。

本發明實施例之態樣係針對一種偵測移動前景之系統，能夠改善以往偵測移動前景之系統中光線變化所帶來的雜訊問題以及有效消除移動前景之陰影，更可以透過移動前景之歷史位置修正移動前景因動作緩慢所造成之誤判，進而提供使用者一準確且完善之偵測移動前景之系統。

本發明提出一種偵測移動前景之系統，其包含一攝像模組、一處理模組及一儲存模組。攝像模組對一場景擷取一原始影像，並將此原始影像傳送至一處理模組；處理模組自原始影像中擷取一紋理資訊(Texture)，於高斯混合模型(Gaussian Mixture Model)中應用遲滯閾值(Hysteresis thresholding)根據原始影像產生一主色(Dominated Color，DC)二元影像及一輔助色(Adjunct Color，AC)二元影像，並於高斯混合模型中應用遲滯閾值根據紋理資訊產生一主紋理(Dominated Texture，DT)二元影像及一輔助紋理(Adjunct Texture，AT)二元影像；利用主紋理二元影像比對主色二元影像以產生一移除移動前景之陰影之一第一二元影像；再利用第一二元影像比對主色二元影像以萃取移動前景之框架並產生一第二二元影像；接著，利用第二二元影像比對輔助色二元影像與輔助紋理二元影像修補此第二二元影像之移動前景框架內之遺失細小區塊以產生一第三二元影像；最後利用第三二元影像比對含有移動前景之歷史位置之複數張二元影像以修正第三二元影像中之移動前景之移動軌跡，產生並輸出一第四二元影像至儲存模組。

較佳地，攝像模組、處理模組以及儲存模組可整合同一裝 置中，或者，攝像模組係安裝在遠端，而處理模組及儲存模組係安裝在伺服端，攝像模組與伺服端之間係透過網路連接。

其中，遲滯閾值可包含第一門檻值和第二門檻值且第一門檻值大於第二門檻值；處理單元利用第一門檻值在高斯混合模型中將原始影像分離為一第一移動前景影像及一第一背景影像以產生一主色二元影像；利用第二門檻值在高斯混合模型中將原始影像分離為一第二移動前景影像及一第二背景影像之輔助色二元影像。

其中，遲滯閾值可包含第一門檻值和第二門檻值且第一門檻值大於第二門檻值；處理單元利用第一門檻值在高斯混合模型中將紋理資訊分離為一第三移動前景影像及一第三背景影像之主紋理二元影像；以及利用第二門檻值在高斯混合模型中將紋理資訊分離為一第四移動前景影像及一第四背景影像之輔助紋理二元影像。

再者，本發明更提出一種偵測移動前景之方法，包含使用一攝像模組對一場景擷取一原始影像及使用一處理模組自原始影像中擷取一紋理資訊，於一高斯混合模型中應用一遲滯閾值根據原始影像產生一主色二元影像及一輔助色二元影像，並於高斯混合模型中應用遲滯閾值根據紋理資訊之二元影像產生一主紋理二元影像及一輔助紋理二元影像；依據主紋理二元影像比對主色二元影像以產生一移除移動前景之陰影之一第一二元影像；接著萃取第一二元影像中之移動前景框架並產生一第二二元影像；利用第二二元影像分別比對輔助色二元影像及輔助紋理二元影像以修補第二二元影像中移動前景框架內之遺失區塊，產生一第三二元影像；利用第三二元影像比對含有移動前景之歷史位置之複數張二元影像以修正此第三二元影像，產生並輸出一第四二元影像至一儲存模組。

較佳地，遲滯閾值包含一第一門檻值和一第二門檻值，高斯混合模型中應用遲滯閾值對原始影像產生主色二元影像及輔助色二元影像之方法包括利用第一門檻值在高斯混合模型中將原始影像分離為一第一移動前景影像及一第一背景影像之主色二元影像；以及利用第二門檻值在高斯混合模型中將原始影像分離為一第二移動前景影像及一第二背景影像之輔助色二元影像。

較佳地，遲滯閾值包含一第一門檻值和一第二門檻值，高斯混合模型中應用遲滯閾值對紋理資訊產生主紋理二元影像及輔助紋理二元影像之方法包括利用該第一門檻值在高斯混合模型中將紋理資訊中分離為一第三移動前景影像及一第三背景影像之主紋理二元影像；以及利用第二門檻值在高斯混合模型中將紋理資訊中分離為一第四移動前景影像及一第四背景影像之輔助紋理二元影像。

承上所述，本發明之偵測移動前景之系統及其方法，係於高斯混合模型中應用遲滯閾值依據原始影像及紋理資訊進行影像處理以產生一分離移動前景及背景之二元影像，此二元影像包含一完整之移動前景影像，並可消除移動前景之陰影及光線變化所帶來之雜訊，甚至可偵測移動前景之動向以解決移動前景誤判成背景之問題，達到一完善且準確偵測移動前景之功能。

1‧‧‧偵測移動前景之系統

11‧‧‧攝像模組

111‧‧‧原始影像

111-1‧‧‧主色二元影像

111-2‧‧‧輔助色二元影像

12‧‧‧處理模組

121‧‧‧遲滯閾值

122‧‧‧高斯混合模型

112‧‧‧紋理資訊

112-1‧‧‧主紋理二元影像

112-2‧‧‧輔助紋理二元影像

124‧‧‧二元影像

13‧‧‧儲存模組

22‧‧‧攝影機

23‧‧‧電腦主機

i43‧‧‧第一二元影像

i51‧‧‧第二二元影像

i63‧‧‧第三二元影像

i71‧‧‧移動歷史之複數張二元影像

i72‧‧‧第四二元影像

本發明之上述及其他特徵及優勢將藉由參照附圖詳細說明其例示性實施例而變得更顯而易知，其中：第1圖係為根據本發明之偵測移動前景之系統之實施例之方塊圖； 第2圖係為根據本發明之偵測移動前景之系統之較佳實施例之示意圖；第3圖係為根據本發明之偵測移動前景之方法之步驟流程圖；第4圖係為根據本發明之偵測移動前景之方法之第一實施例示意圖；第5圖係為根據本發明之偵測移動前景之方法之第二實施例示意圖；第6圖係為根據本發明之偵測移動前景之方法之第三實施例示意圖；以及第7圖係為根據本發明之偵測移動前景之方法之第四實施例示意圖。

於此使用，詞彙“與/或”包含一或多個相關條列項目之任何或所有組合。當“至少其一”之敘述前綴於一元件清單前時，係修飾整個清單元件而非修飾清單中之個別元件。

第1圖係顯示本發明之依據偵測移動前景之系統之實施例之方塊圖。請參閱第1圖，此偵測移動前景系統1包含一攝像模組11、一處理模組12以及一儲存模組13。攝像模組11對場景作影像擷取以形成一原始影像111後，處理模組12先自原始影像111中擷取一紋理資訊112，其中紋理資訊112之擷取係先將原始影像111切割成複數塊不重疊之區塊，每個區塊含有n*n個像素，利用公式(1)將區塊中位於(i,j)之一像素bij轉換成一二元值，其中m為原始影像之平均像素值，x_ij為區塊中位於(i,j)之一像素，Threshold為使用者自定之預設門檻值，其中1≦i≦n，1≦j≦n。

接著，處理模組12於高斯混合模型122中應用遲滯閾值121之第一門檻值及第二門檻值根據原始影像111產生一主色(Dominated Color，DC)二元影像111-1及一輔助色(Adjunct Color，AC)二元影像111-2，並於高斯混合模型122中應用遲滯閾值121之第一門檻值及第二門檻值根據紋理資訊112產生一主紋理二元影像112-1及一輔助紋理二元影像112-2，利用主紋理二元影像112-1比對主色二元影像111-1以產生一移除移動前景之陰影之一第一二元影像。

其中，產生輔助紋理二元影像及主紋理二元影像之方法如下，紋理資訊之每個像素各自預設有K個不同權重值w之二元位圖(binary bitmap),{BM1,BM2,…,BMK}，其中w為介於0跟1之間之實數且每一二元位圖大小為p*p。當產生紋理資訊中一像素之二元值時，處理單元利用公式(2)產生一相似距離值Dist(BMnew,BMm)，l≦m≦K，遲滯閾值包含第一門檻值和第二門檻值且第一門檻值大於第二門檻值，若此相似距離值小於第一門檻值，判斷此像素為背景，反之則判斷為移動前景，其中BM_new為以此像素為中心之紋理資訊所形成之p*p二元位圖。分別以第一門檻值及第二門檻值判斷出之二元影像即為主紋理二元影像及輔助紋理二元影像。

接著利用第一二元影像比對主色二元影像111-1以萃取第一二元影像中之移動前景框架並產生一第二二元影像；利用此第二二元 影像分別比對輔助色二元影像111-2及輔助紋理二元影像112-2以修補該第二二元影像中移動前景框架內之遺失細小區塊並產生一第三二元影像；最後，利用第三二元影像比對一移動歷史以修正第三二元影像中移動前景之移動軌跡，產生並輸出一二元影像124至一儲存模組13。

其中，攝像模組11、處理模組12以及儲存模組13可整合同一裝置中，或者，攝像模組11係安裝在遠端，而處理模組12以及儲存模組13係安裝在伺服端，攝像模組11與伺服端之間係透過網路連接。

第2圖係顯示本發明之偵測移動前景之系統之較佳實施例之示意圖。請參閱第2圖，攝影機22擷取原始影像111之後，電腦主機23依據高斯混合模型及遲滯閾值將原始影像111處理成一移動前景及一背景分離之二元影像124。

第3圖係顯示本發明之偵測移動前景之方法之步驟流程圖。請參閱第3圖，在步驟S30，一攝像模組對一場景作影像擷取並將原始影像傳送至一處理模組。在步驟S31，處理模組擷取此原始影像之紋理資訊。在步驟S32，處理模組應用高斯混合模式及遲滯閾值根據原始影像產生一主色二元影像及一輔助色二元影像。在此，如何產生主色二元影像及輔助色二元影像已經在前述內容說明過，故在此不再贅述。

在步驟S33，處理模組應用高斯混合模型及遲滯閾值根據紋理資訊產生一主紋理二元影像及一輔助紋理二元影像。在步驟S34，利用主紋理二元影像比對主色二元影像以產生一移除移動前景陰影之第一二元影像。在步驟S35，利用第一二元影像比對主色二元影像以萃取第一二元影像中包含移動前景之框架，並產生一第二二元影像。在步驟S36，利用第二二元影像比對輔助色二元影像與輔助紋理二元影像以修補第二二元影像中移動前景之框架內之遺失細小區塊並產生第三二元影 像。在步驟S37，利用第三二元影像比對移動歷史以修正此第三二元影像之移動前景移動軌跡，產生並輸出一第四二元影像至一儲存模組。

其中，透過高斯混合模型代入遲滯閾值之第一門檻值可產生主色二元影像，透過高斯混合模型代入遲滯閾值之第二門檻值可產生輔助色二元影像。

第4圖係顯示本發明之偵測移動前景之方法之第一實施例。請參閱第4圖，利用主紋理二元影像112-1比對主色二元影像111-1以產生一消除移動前景陰影及背景雜訊之第一二元影像i43，其中，主紋理二元影像112-1之每一個像素在主色二元影像111-1中對應之像素點之周圍8個鄰近點若不包含一移動前景點時，則轉換主紋理二元影像112-1中之此像素為一背景點，反之，則轉換此像素為一移動前景點；比對完主色二元影像111-1中所有像素即可產生一消除移動前景陰影及背景雜訊之第一二元影像i43。

第5圖係顯示本發明之偵測移動前景之方法之第二實施例。請參閱第5圖，利用第一二元影像i43比對主色二元影像111-1以萃取第一二元影像i43中之移動前景框架之第二二元影像i51。其中，第一二元影像i43中每一個像素在主色二元影像111-1中對應之像素點之周圍8個鄰近點若不包含一移動前景點時，則轉換第一二元影像i43中之此像素為一背景點，反之，則轉換此像素為一移動前景點；比對完主色二元影像111-1中所有像素後接著利用此移動前景之高度及寬度萃取出含移動前景之框架以形成第二二元影像i51。

第6圖係顯示本發明之偵測移動前景之方法之第三實施例。請參閱第6圖，在第二二元影像i51中比對輔助色二元影像111-2及輔助紋理二元影像112-2以修補第二二元影像i51中移動前景之框架 內之遺失區塊，產生第三二元影像i63。其中，第二二元影像i51中每一個像素在輔助色二元影像112-2及輔助紋理二元影像112-2中對應之像素點之周圍8個鄰近點若不包含一移動前景點時，則轉換第二二元影像i51中之此像素為一背景點，反之，則轉換此像素為一移動前景點；比對完主色輔助色二元影像111-2及輔助紋理二元影像112-2中所有像素後即可修補第二二元影像i51中移動前景內缺少之微小區塊，並將此結果輸出成第三二元影像i63。

第7圖係顯示本發明之偵測移動前景之方法之第四實施例。請參閱第7圖，移動歷史(Motion history)係含有移動前景之歷史位置之複數張二元影像，利用第三二元影像i63比對移動歷史i71以修正第三二元影像中之移動前景之移動軌跡，進而產生並輸出第四二元影像i72。若第三二元影像i63拍攝時間為t，且含有移動前景之歷史位置之二元影像有2張且此2張二元影像之拍攝時間分別為t-1及t-2，搜尋第三二元影像i63中之一背景點在第t-1時間之二元影像中對應之像素之周圍是否不少於a個前景點並同時搜尋此背景點在第t-2時間之二元影像中對應之像素之周圍是否不少於b個前景點，其中a>=b，若是，則將此背景點設定為一前景點，更改完第三二元影像i63所有背景點後將此結果輸出成第四二元影像i72。

雖然本發明已參照其例示性實施例而特別地顯示及描述，將為所屬技術領域具通常知識者所理解的是，於不脫離以下申請專利範圍及其等效物所定義之本發明之精神與範疇下可對其進行形式與細節上之各種變更。

1‧‧‧偵測移動前景之系統

11‧‧‧攝像模組

111‧‧‧原始影像

111-1‧‧‧主色二元影像

111-2‧‧‧輔助色二元影像

12‧‧‧處理模組

121‧‧‧遲滯閾值

122‧‧‧高斯混合模型

112‧‧‧紋理資訊

112-1‧‧‧主紋理二元影像

112-2‧‧‧輔助紋理二元影像

124‧‧‧二元影像

13‧‧‧儲存模組

Claims (2)

1. 一種偵測移動前景之方法，其包含：a. 使用一攝像模組對一場景擷取一原始影像；以及b. 使用一處理模組自該原始影像中擷取一紋理資訊(Texture)，於一高斯混合模型(Gaussian Mixture Model)中應用一遲滯閾值(Hysteresis thresholding)根據該原始影像產生一主色(Dominated Color，DC)二元影像及一輔助色(Adjunct Color，AC)二元影像，並於該高斯混合模型中應用該遲滯閾值根據該紋理資訊之二元影像產生一主紋理(Dominated Texture，DT)二元影像及一輔助紋理(Adjunct Texture，AT)二元影像；依據該主紋理二元影像比對該主色二元影像以產生一移除移動前景之陰影之一第一二元影像；萃取該第一二元影像中之移動前景框架並產生一第二二元影像；利用該第二二元影像分別比對該輔助色二元影像及該輔助紋理二元影像以修補該第二二元影像中移動前景框架內之遺失區塊，產生一第三二元影像；利用該第三二元影像比對一移動歷史(Motion history)以修正該第三二元影像，產生並輸出一第四二元影像至一儲存模組；其中，該主紋理二元影像之每一個像素在該主色二元影像中對應之像素點之周圍複數個鄰近點若不包含一移動前景點時，則轉換該主紋理二元影像中之此像素為一背景點，反之，則轉換此像素為一移動前景點；並且，該第一二元影像中每一個像素在該主色二元影像中對應之像素點之周圍複數個鄰近點若不包含一移動前景點時，則 轉換該第一二元影像中之此像素為一背景點，反之，則轉換此像素為一移動前景點；其中，在該第三二元影像拍攝時間為t，且含有移動前景之歷史位置之該二元影像有複數張且該複數張二元影像之拍攝時間分別為t-1及t-2時，搜尋該第三二元影像中之一背景點在第t-1時間之二元影像中對應之像素之周圍是否不少於a個前景點，並同時搜尋此背景點在第t-2時間之二元影像中對應之像素之周圍是否不少於b個前景點，其中a≧b，若是，則將此背景點設定為一前景點，更改完該第三二元影像所有背景點後將此結果輸出成該第四二元影像；其中，該遲滯閾值包含一第一門檻值和一第二門檻值，該高斯混合模型中應用該遲滯閾值對該原始影像產生該主色二元影像及該輔助色二元影像之方法包括：(b1)利用該第一門檻值在該高斯混合模型中將該原始影像分離為一第一移動前景影像及一第一背景影像之該主色二元影像；以及(b2)利用該第二門檻值在該高斯混合模型中將該原始影像分離為一第二移動前景影像及一第二背景影像之該輔助色二元影像；其中，該高斯混合模型中應用該遲滯閾值對該紋理資訊產生該主紋理二元影像及該輔助紋理二元影像之方法包括： (b3)利用該第一門檻值在該高斯混合模型中將該紋理資訊中分離為一第三移動前景影像及一第三背景影像之該主紋理二元影像；以及(b4)利用該第二門檻值在該高斯混合模型中將該紋理資訊中分離為一第四移動前景影像及一第四背景影像之該輔助紋理二元影像；其中，該移動歷史係利用含有移動前景之歷史位置之複數張二元影像以修正該第三二元影像之移動前景之移動軌跡。
2. 一種偵測移動前景之系統，其包含：一攝像模組，係對一場景擷取一原始影像，以形成一原始影像；一儲存模組；一處理模組，係對該原始影像中擷取一紋理資訊，該處理模組於一高斯混合模型應用一遲滯閾值根據該原始影像產生一主色二元影像及一輔助色二元影像，該處理模組並於該高斯混合模型中應用該遲滯閾值根據該紋理資訊產生一主紋理二元影像及一輔助紋理二元影像；該處理模組係利用該主紋理二元影像比對該主色二元影像以產生一移除移動前景之陰影之第一二元影像；該處理模組萃取該第一二元影像中之一移動前景框架並產生一第二二元影像；該處理模組依據該第二二元影像分別比對該輔助色二元影像及該輔助紋理二元影像以修補該第二二元影像中該移動前景框架內之遺失區塊，該處理模組並產生一第三二元影像；該處理模組利用一移動歷史修正 該第三二元影像以產生一第四二元影像，該處理模組輸出該第四二元影像至該儲存模組儲存；以及一傳輸模組，係將該原始影像傳送至該處理模組；其中，該主紋理二元影像之每一個像素在該主色二元影像中對應之像素點之周圍複數個鄰近點若不包含一移動前景點時，則轉換該主紋理二元影像中之此像素為一背景點，反之，則轉換此像素為一移動前景點；並且，該第一二元影像中每一個像素在該主色二元影像中對應之像素點之周圍複數個鄰近點若不包含一移動前景點時，則轉換該第一二元影像中之此像素為一背景點，反之，則轉換此像素為一移動前景點；其中，在該第三二元影像拍攝時間為t，且含有移動前景之歷史位置之該二元影像有複數張且該複數張二元影像之拍攝時間分別為t-1及t-2時，搜尋該第三二元影像中之一背景點在第t-1時間之二元影像中對應之像素之周圍是否不少於a個前景點，並同時搜尋此背景點在第t-2時間之二元影像中對應之像素之周圍是否不少於b個前景點，其中a≧b，若是，則將此背景點設定為一前景點，更改完該第三二元影像所有背景點後將此結果輸出成該第四二元影像；其中，該遲滯閾值係包含一第一門檻值和一第二門檻值，而該處理模組係利用該第一門檻值在該高斯混合模型中將該原始影像分離為一第一移動前景影像及一第一背景影像之該主色二元影像，以及利用該第二門檻值在該高斯混合模型中將該原始影像分離為一第二移動前景影像 及一第二背景影像之該輔助色二元影像；且，該處理模組係利用該第一門檻值在該高斯混合模型中將該紋理資訊分離為一第三移動前景影像及一第三背景影像之該主紋理二元影像，以及利用該第二門檻值在該高斯混合模型中將該紋理資訊分離為一第四移動前景影像及一第四背景影像之該輔助紋理二元影像；其中，該移動歷史係該處理模組利用含有移動前景之歷史位置之複數張二元影像以修正該第三二元影像之移動前景之移動軌跡。