TWI381717B - 數位視訊動態目標物體分割處理方法及系統 - Google Patents

數位視訊動態目標物體分割處理方法及系統 Download PDF

Info

Publication number
TWI381717B
TWI381717B TW097111816A TW97111816A TWI381717B TW I381717 B TWI381717 B TW I381717B TW 097111816 A TW097111816 A TW 097111816A TW 97111816 A TW97111816 A TW 97111816A TW I381717 B TWI381717 B TW I381717B
Authority
TW
Taiwan
Prior art keywords
background
digital video
image
target object
dynamic target
Prior art date
Application number
TW097111816A
Other languages
English (en)
Other versions
TW200942019A (en
Inventor
Shao Yi Chien
Wei Kai Chan
Chun Fu Shen
Original Assignee
Univ Nat Taiwan
Vivotek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan, Vivotek Inc filed Critical Univ Nat Taiwan
Priority to TW097111816A priority Critical patent/TWI381717B/zh
Priority to US12/286,795 priority patent/US8238605B2/en
Publication of TW200942019A publication Critical patent/TW200942019A/zh
Application granted granted Critical
Publication of TWI381717B publication Critical patent/TWI381717B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

數位視訊動態目標物體分割處理方法及系統
本發明係有關於一種數位視訊處理技術，特別是有關於一種數位視訊動態目標物體分割處理方法及系統，其可應用於處理一數位視訊串流，用以對該數位視訊串流提供一動態目標物體分割功能，藉此而分割出該視訊影像中的具移動性之目標物體。
數位視訊影像分割技術(video segmentation)為保全監視系統常用的一種視訊處理技術，可用以將監視區域的影像中的移動性的物體(例如為非法闖入者)分割出來；亦即將視訊影像中的背景物(例如為建築物之門窗)的影像全部消除，而僅留下移動物體的影像。此作法可讓保全人員於監視非法闖入者時，可專注於非法闖入者本身之影像的監視，亦即可不受無關之背景物的視覺干擾，並且可以對闖入者進行進一步的自動追蹤，達到自動化之監控功能。
目前已有許多各式不同的數位視訊影像分割技術可提供上述之保全監視功能。於保全監視的應用上，現有之數位視訊影像分割技術均是假設背景物為靜態性的固定物體(例如為建築物、門窗、室內擺設)，並假設非法闖入者為一動態性的移動物體，因此其所設計之數位視訊影像分割功能即為於靜態性的影像中將動態性的影像分割出來。
然而上述之習用作法的一項問題在於監視區域的背景物有時也可能包括有動態性的固定物體，例如運轉中的電風扇或抽風機、室外之受風吹而搖動之花草樹木、等等。於此情況下，分割處理後之視訊影像將同時包括非法闖入者和電風扇的影像，因此仍會對監視人員產生視覺干擾。且自動化的監控系統也有可能受電風扇的影響產生錯誤的影像分析結果。
有鑑於上述之先前技術的缺點，保全業界因此需求一種新的數位視訊影像分割處理技術，其可將靜態和動態之背景物的影像全部消除。
鑒於以上所述習知技術之缺點，本發明之主要目的便是在於提供一種數位視訊動態目標物體分割處理方法及系統，其可將一數位視訊串流中的靜態和動態之背景物的影像全部消除。
本發明之數位視訊動態目標物體分割處理方法及系統可例如整合至一保全監視系統，用以對該保全監視系統所監視到的視訊影像提供一動態目標物體分割功能，藉此而分割出該視訊影像中的具移動性之目標物體，例如非法闖入者。另外，此發明亦可應用於人機介面(Human computer interface)、數位影像分析(Digital image analysis)、圖形識別(pattern recognition)、機器學習(machine learning)…等相關領域之產品。
於實體架構上，本發明之數位視訊動態目標物體分割 處理系統至少包含：(A)一多背景影像記錄模組；(B)一背景更新模組；以及(C)一目標物體偵測模組；並可進而包含：(D)一前處理模組；以及(E)一後處理模組。
本發明之數位視訊動態目標物體分割處理方法及系統的特點在於採用一多背景影像記錄程序和一背景更新程序來求得靜態背景物和動態背景物的影像；其中該多背景影像記錄程序的特點在於採用一背景差門檻值判別方法來求得背景物的特徵影像，而該背景更新程序的特點則在於採用一背景匹配及權重計數方法來更新背景特徵影像。此作法即可同時求得靜態背景物和動態背景物的影像，並藉此產生一物件遮罩來疊加至輸入之數位視訊串流中的當前之畫格，即可令當前之畫格中的靜態背景物和動態背景物的影像均被遮罩住而僅顯現出動態目標物體的影像。
以下即配合所附之圖式，詳細揭露說明本發明之數位視訊動態目標物體分割處理方法及系統之實施例。
本發明的功能
第1圖即顯示本發明之數位視訊動態目標物體分割處理系統100的輸入輸出功能模型(input/output functional model)。如圖所示，本發明之數位視訊動態目標物體分割處理系統100係應用於處理一輸入之數位視訊串流10，例如為一保全監視系統的攝影機所產生之數位視訊串流，用以對該輸入之數位視訊串流10提供一 動態目標物體分割功能。
如第2A圖所示，假設輸入之數位視訊串流10的影像來自一保全監視場景，且該監視場景存在有一動態目標物體11(例如為一非法闖入者)、一組靜態之背景物(例如為室內之門牆及擺設)、和一組動態之背景物(例如為一組運轉中的抽風機)。於此情況下，如第2B圖所示，先前技術所輸出之分割處理結果所產生之物件遮罩301將同時顯露出動態目標物體11和動態背景物13的影像(亦即所有動態之物體均會顯露出來)。但如第2C圖所示，本發明所輸出之分割處理結果所產生之物件遮罩302將僅顯露出動態目標物體11，亦即可消除掉動態背景物13的影像，令分割處理後的輸出視訊影像20如第2D圖所示般地僅顯現出動態目標物體11的影像。
本發明的架構
如第3圖所示，於實體架構上，本發明之數位視訊動態目標物體分割處理系統100至少包含：(A)一多背景影像記錄模組110;(B)一背景更新模組120；以及(C)一目標物體偵測模組130；並可進而如第4圖所示般地選擇性地包含：(D)一前處理模組210；以及(E)一後處理模組220。以下即首先分別說明此些構件的個別屬性及功能。
多背景影像記錄模組110
多背景影像記錄模組110係用以對該輸入之數位視訊串流10執行一多背景影像記錄程序，藉以記錄下該監視場景的一連串之畫格的背景特徵影像(其數量以N 來表 示)，並利用一背景差門檻值判別方法來求得監視場景之視訊影像中之靜態和動態之背景物的影像。
於具體實施上，N 可為任何之整數，即1、2、3、4、或更多。原則上，N 愈大則可提供較佳之處理效果，但所需之記憶體容量及處理時間也就愈大；因此於實際應用上以N =4為較佳之折衷選擇。
此多背景影像記錄程序的運算法如下所述。於以下之說明中，假設：CurFrm (i ,j )代表當前之畫格的像素，其中i ,j 代表像素的座標位置。
BImg (i ,j ,k )代表一背景特徵影像，亦即輸入之數位視訊串流10中之畫格的背景物的影像，其中k 代表背景特徵影像的編號。
Occupied (i ,j ,k )為一任意物映射資料組，用以代表背景特徵影像中的對應像素是否被任意物(11、12、13)的影像所佔據(1代表被佔據，而0則代表未被佔據)，其中k 代表背景特徵影像的編號。
Built (i ,j ,k )為一背景物映射資料組，用以代表背景特徵影像中的對應像素是否代表背景物(包括靜態背景物12和動態背景物13)，其中k 代表背景特徵影像的編號。
以上之CurFrm (i ,j )、Bimg (i ,j ,k )、Built (i ,j ,k )、和Occupied (i ,j ,k )的映對關係如第5圖所示。
於實際進行處理時，上述之Occupied (i ,j ,k )的更新方式如下列之公式所示：
而Built (i ,j ,k )的更新方式則如下列之公式所示：其中，RegInth k 代表一門檻值，用以決定BImg (i ,j ,k )是否為屬於背景物的影像。
Wgt k 代表一權重值，用以表示BImg (i ,j ,k )所具有之權重，且其值與背景特徵影像像素BImg (i ,j ,k )匹配至CurFrm (i ,j )的次數有關。
上述之BImg (i ,j ,k )是否匹配至CurFrm (i ,j )係由以下規則來判定：若(BD k-y ≦BDth k-y )和(BD k-u ≦BDth k-u )和(BD k-v ≦BDth k-v )均為真，則為匹配。
反之，則為不匹配。
其中，y ,u ,v 分別代表YUV色彩空間中的Y成分、U成分、和V成分，且BD k-y = ∣CurFrm (i ,j )y -BImg (i ,j ,k )y ∣BD k-u = ∣CurFrm (i ,j )u -BImg (i ,j ,k )u ∣BD k-v = ∣CurFrm (i ,j )v -BImg (i ,j ,k )v ∣
BDth k 代表一背景差門檻值，用以決定背景像素BImg (i ,j ,k )是否匹配至當前之畫格像素CurFrm (i ,j )。
此處須注意的一點是，上述之背景差門檻值判別方法之實施例係採用YUV色彩空間來作為判別基準；但本發明並不限於採用YUV色彩空間，亦可採用其它類型之色彩空間背景差門檻值，例如RGB、YCbCr、CMYK、YIQ、CIEXYZ、GRAY、LINEAR_RGB、PYCC、sRGB、aRGB、TYPE_2CLR、TYPE_3CLR、TYPE_4CLR、TYPE_5CLR、TYPE_6CLR、TYPE_7CLR、TYPE_8CLR、TYPE_9CLR、TYPE_ACLR、TYPE_BCLR、TYPE_CCLR、CMY、TYPE_DCLR、TYPE_ECLR、TYPE_FCLR、HLS、HSV、Lab、Luv、XYZ、Yxy。基本上，任何類型的色彩空間皆可使用。
此外，於具體實施上，上述之背景差門檻值BDth k 之值的設定方法包括3種：(1)人為預先設定方法，亦即事先由應用工程師預先依據監視攝影設備(即產生數位視訊串流10的設備)的硬體顯像雜訊特性來設定背景差門檻值BDth k ;(2)依雜訊值自動調整設定方法，亦即於實際操作時實際偵測監視攝影設備的硬體顯像雜訊特性來自動計算出最佳之背景差門檻值BDth k ;(3)高斯模型或混合高斯模型像素模擬背景差門檻值設定方法，亦即採用高斯模型(Gaussian Model)或混合高斯模型(MoG Model, 其中MoG=Mixture of Gaussians)來模擬單一像素之像素值的 分佈，以藉此決定單一像素的背景差門檻值。
上述之各種不同類型的背景差門檻值設定方法可採用現有之習知作法。
背景更新模組120
背景更新模組120係用以對上述之多背景影像記錄模組110的輸出處理結果執行一背景更新程序；其中係利用一背景匹配及權重計數方法來更新背景特徵影像，其運算法如下所述。
此背景更新模組120所採用之背景匹配及權重計數方法係採用一計數器CntSNO k 來計數背景特徵像素BImg (i ,j ,k )未匹配至當前畫格像素CurFrm (i ,j )的次數，如下所示：
此外，背景更新模組120亦進而採用下列之計數方式來求得權重值Wgt k 的值：其中，BDF k 代表一背景衰減因數(background decaying factor)。
我們假設若有一Built (i ,j ,k )為1的背景特徵影 像畫素的權重值Wgt k 低於一門檻值RELth k ，則代表該背景畫素為屬於須被淘汰的背景特徵影像，即判斷該背景物已不存在於當前的視訊畫面中。背景特徵影像BImg (i ,j ,k )y 之值的更新方式如下列之公式所示：其中，
對於Built (i ,j ,k )=0的背景像素而言，其可在關聯之權重值Wgt k 降低至0值時，被設定為屬於已不存在於畫面中的物體。背景特徵影像BImg (i ,j ,k )u 和BImg (i ,j ,k )v 之值亦為以上述相同的方式來進行更新。
目標物體偵測模組130
目標物體偵測模組130可依據上述之多背景影像記錄模組110和背景更新模組120所建立之背景模型來執行一目標物體偵測程序，其中係首先產生一物件遮罩Ini _Object _Mask (i ,j )，其運算公式如下所示：
接著將該物件遮罩Ini _Object _Mask (i ,j )疊加至輸入之數位視訊串流10中的當前之畫格，即可令當前畫格 中的靜態背景物12和動態背景物13的影像均被遮罩而僅顯示出該目標物體11的影像(如第2C圖所示)。
前處理模組210
前處理模組210為一選擇性之系統構件，其目的在於輔助強化輸入之數位視訊串流10中的各個物體影像的實體部分或是將各個物體影像其特徵計算出來，藉此使得各個物體的影像易於被辨識出來而利於後續之處理中達到最佳之分割效果。
於具體實施上，此前處理模組210例如包括一影像邊緣偵測處理單元211、一影像梯度濾波處理單元212、以及一低頻濾波處理單元213；其中該影像邊緣偵測處理單元211係用以提供一影像邊緣偵測處理功能(edge detection,或稱edge filtering)，用以求得各個物體影像的邊緣；該影像梯度濾波處理單元212係用以提供一影像梯度濾波處理功能(gradient filtering)，用以求得各個物體影像的梯度值(gradient value)特徵及實體部分；而該低頻濾波處理單元213則係用以提供一低頻濾波處理功能(low-pass filtering)，其目的亦在於平滑各個物體影像的輪廓及實體部分。除此之外，前處理模組210亦可進而選擇性地包含其它影像強化功能，以利於後續之處理中達到最佳之分割效果。
後處理模組220
後處理模組220係用以對上述之目標物體偵測模組130所產生之物件遮罩Ini _Object _Mask (i ,j )執行一去 雜訊程序，用以消除該物件遮罩中的雜訊，令輸出視訊影像20中的動態目標物體11的顯像效果更為清楚。
於具體實施上，此後處理模組220所採用之去雜訊技術例如可為一形態開閉式(morphological opening and closing operations)之去雜訊技術或一相鄰構件(connected component)面積分析式去雜訊技術。由於此些去雜訊技術均為業界所習用及熟知之現有習知技術，因此於此說明書中將不對其作進一步詳細之說明。
本發明的操作方式
以下即利用一應用實例來說明本發明之數位視訊動態目標物體分割處理系統100於實際應用時的操作方式。於以下之應用實例中，假設輸入之數位視訊串流10為一如第2A圖所示之場景，包含有一特定之目標物體(例如為非法闖入者)11、一組靜態之背景物體(例如為室內之門窗牆壁)12、和一組動態之背景物體(例如為運轉中的抽風機)13。
首先由多背景影像記錄模組110負責對輸入之數位視訊串流10執行一多背景影像記錄程序，藉以記錄下該監視場景的背景影像，並利用一背景差門檻值判別方法來求得該監視場景中之背景物的影像。
接著由背景更新模組120負責對該多背景影像記錄模組120的輸出處理結果執行一背景更新程序；其中係利用一背景匹配及權重計數方法來更新背景特徵影像。此背景更新模組120的處理結果即可結合至上述之多背景影 像記錄模組110的處理結果而求得靜態背景物12和動態背景物13的影像。
再接著由目標物體偵測模組130負責依據上述之背景更新模組120的處理結果來相對於靜態背景物12和動態背景物13的影像位置而產生一物件遮罩302(如第2C圖所示)；接著將該物件遮罩302疊加至該輸入之數位視訊串流10中的當前之畫格，即可令當前之畫格中的靜態背景物12和動態背景物13的影像均被遮罩而僅顯示出該動態目標物體11的影像(如第2D圖所示)。
於上述之處理程序中，本發明之數位視訊動態目標物體分割處理系統100亦可選擇性地使用前處理模組210來強化輸入之數位視訊串流10中的各個物體影像的實體部分或是將各個物體影像其特徵計算出來，藉此使得各個物體的影像易於被辨識出來而利於後續之處理中達到最佳之分割效果；並可進而於完成分割處理後採用後處理模組220來對目標物體偵測模組130所產生之物件遮罩302執行一去雜訊處理程序，用以消除該物件遮罩302中的雜訊，使其顯像效果更為清楚。
總而言之，本發明提供了一種數位視訊動態目標物體分割處理方法及系統，其特點在於採用一多背景影像記錄程序和一背景更新程序來求得靜態背景物和動態背景物的影像；其中該多背景影像記錄程序的特點在於採用一背景差門檻值判別方法來求得背景物的影像，而該背景更新程序的特點則在於採用一背景匹配及權重計數方法來更 新背景物的影像。此作法即可同時求得靜態背景物和動態背景物的影像，並藉此產生一物件遮罩來疊加至輸入之數位視訊串流中的當前之畫格，即可令當前之畫格中的靜態背景物和動態背景物的影像均被遮罩住而僅顯現出動態目標物體的影像。本發明因此較先前技術具有更佳之進步性及實用性。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之實質技術內容的範圍。本發明之實質技術內容係廣義地定義於下述之申請專利範圍中。若任何他人所完成之技術實體或方法與下述之申請專利範圍所定義者為完全相同、或是為一種等效之變更，均將被視為涵蓋於本發明之申請專利範圍之中。
10‧‧‧輸入之數位視訊串流
11‧‧‧目標物體
12‧‧‧靜態之背景物體
13‧‧‧動態之背景物體
20‧‧‧輸出視訊影像
100‧‧‧本發明之數位視訊動態目標物體分割處理系統
110‧‧‧多背景影像記錄模組
120‧‧‧背景更新模組
130‧‧‧目標物體偵測模組
210‧‧‧前處理模組
211‧‧‧影像邊緣偵測處理單元
212‧‧‧影像梯度濾波處理單元
213‧‧‧低頻濾波處理單元
220‧‧‧後處理模組
301‧‧‧先前技術產生之物件遮罩
302‧‧‧本發明產生之物件遮罩
第1圖為一功能示意圖，用以圖解本發明之數位視訊動態目標物體分割處理系統的輸入輸出功能模型；第2A圖為一影像示意圖，用以顯示一個場景之視訊影像的實例；第2B圖為一影像示意圖，用以顯示先前技術對第2A圖所示之場景視訊影像進行分割處理後所求得之物件遮罩；第2C圖為一影像示意圖，用以顯示本發明對第2A圖所示之場景視訊影像進行分割處理後所求得之物件遮罩；第2D圖為一影像示意圖，用以顯示本發明對第2A 圖所示之場景視訊影像進行分割處理後所求得之輸出視訊影像；第3圖為一架構示意圖，用以圖解本發明之數位視訊動態目標物體分割處理系統的模組化基本架構；第4圖為一架構示意圖，用以圖解本發明之數位視訊動態目標物體分割處理系統之架構的一種選擇性的實施方式；第5圖為一概念示意圖，用以圖解本發明之數位視訊動態目標物體分割處理系統所執行之多背景影像記錄程序的基本概念。
10‧‧‧輸入之數位視訊串流
20‧‧‧分割處理後的輸出視訊影像
100‧‧‧本發明之數位視訊動態目標物體分割處理系統
110‧‧‧多背景影像記錄模組
120‧‧‧背景更新模組
130‧‧‧目標物體偵測模組

Claims (25)

  1. 一種數位視訊動態目標物體分割處理方法，其可應用於處理一數位視訊串流，其中該數位視訊串流為一固定之監視場景之影像，包含有動態目標物體、靜態背景物、和動態背景物，用以對該數位視訊串流提供一動態目標物體分割功能；此數位視訊動態目標物體分割處理方法至少包含：該數位視訊串流執行一多背景影像記錄程序，藉以記錄下該監視場景的一連串之畫格的背景特徵影像，並利用一背景差門檻值判別方法來求得該監視場景中之背景物的影像；對該多背景影像記錄程序的輸出處理結果執行一背景更新程序；其中係利用一背景匹配及權重計數方法來更新背景特徵影像，且該背景匹配及權重計數方法係採用計數器來更新該背景特徵影像的權重並利用該背景特徵影像的權重更新該背景特徵影像，而該背景特徵影像所具有的權重係與該背景特徵影像匹配至當前畫格之次數有關；以及依據該背景更新程序的處理結果來產生一物件遮罩；其中該物件遮罩僅顯露出該動態目標物體的影像，並同時遮罩靜態背景物和動態背景物的影像；且該物件遮罩係用以疊加至該數位視訊串流中的當前之畫格，令當前之畫格中的靜態背景物和動態背景物 的影像均被遮罩而僅顯現出該動態目標物體的影像。
  2. 如申請專利範圍第1項所述之數位視訊動態目標物體分割處理方法，其更進而包含：對該輸入之數位視訊串流執行一物體輪廓強化、強化各個物體影像的實體部分或是將各個物體影像其特徵計算出來之前處理程序。
  3. 如申請專利範圍第2項所述之數位視訊動態目標物體分割處理方法，其中該前處理程序包括一影像邊緣偵測處理步驟。
  4. 如申請專利範圍第2項所述之數位視訊動態目標物體分割處理方法，其中該前處理程序包括一影像梯度濾波處理步驟。
  5. 如申請專利範圍第2項所述之數位視訊動態目標物體分割處理方法，其中該前處程序組包括一低頻濾波處理步驟。
  6. 如申請專利範圍第1項所述之數位視訊動態目標物體分割處理方法，其更進而包含：一後處理程序，用以對該目標物體偵測程序所產生之物件遮罩執行一去雜訊處理步驟，藉以消除該物件遮罩中的雜訊。
  7. 如申請專利範圍第6項所述之數位視訊動態目標物體分割處理方法，其中該去雜訊處理步驟係採用一形態開閉式(morphological opening and closing operations)之去雜訊技術。
  8. 如申請專利範圍第6項所述之數位視訊動態目標物體分割處理方法，其中該去雜訊處理步驟係採用一相鄰構件(connected component)面積分析式去雜訊技術。
  9. 如申請專利範圍第1項所述之數位視訊動態目標物體分割處理方法，其中該多背景影像記錄程序所採用之背景差門檻值判別方法係利用一人為預先設定方式來設定背景差門檻值。
  10. 如申請專利範圍第1項所述之數位視訊動態目標物體分割處理方法，其中該多背景影像記錄程序所採用之背景差門檻值判別方法係利用一依雜訊值自動調整設定方法來自動設定背景差門檻值。
  11. 如申請專利範圍第1項所述之數位視訊動態目標物體分割處理方法，其中該多背景影像記錄程序所採用之背景差門檻值判別方法係利用一高斯模型(Gaussian model)像素模擬背景差門檻值設定方法來自動設定背景差門檻值。
  12. 如申請專利範圍第1項所述之數位視訊動態目標物體分割處理方法，其中該多背景影像記錄程序所採用之背景差門檻值判別方法係利用一混合高斯模型(Mixture of Gaussians model)像素模擬背景差門檻值設定方法來自動設定背景差門檻值。
  13. 一種數位視訊動態目標物體分割處理系統，其可應用於處理一數位視訊串流，其中該數位視訊串流為一固定之監視場景之影像，包含有動態目標物體、靜態背 景物、和動態背景物，用以對該數位視訊串流提供一動態目標物體分割功能；此數位視訊動態目標物體分割處理系統至少包含：一多背景影像記錄模組，其可對該數位視訊串流執行一多背景影像記錄程序，藉以記錄下該監視場景的一連串之畫格的背景特徵影像，並利用一背景差門檻值判別方法來求得該監視場景中之背景物的影像；一背景更新模組，其可對該多背景影像記錄模組的輸出處理結果執行一背景更新程序；其中係利用一背景匹配及權重計數方法來更新背景特徵影像，且該背景匹配及權重計數方法係採用計數器來更新該背景特徵影像的權重並利用該背景特徵影像的權重更新該背景特徵影像，而該背景特徵影像所具有的權重係與該背景特徵影像匹配至當前畫格之次數有關；以及一目標物體偵測模組，其可依據該背景更新模組的輸出處理結果來產生一物件遮罩；其中該物件遮罩僅顯露出動態目標物體的影像，並同時遮罩靜態背景物和動態背景物的影像；且該物件遮罩係用以疊加至該數位視訊串流中的當前之畫格，令當前之畫格中的靜態背景物和動態背景物的影像均被遮罩而僅顯現出動態目標物體的影像。
  14. 如申請專利範圍第13項所述之數位視訊動態目標物 體分割處理系統，其更進而包含：一前處理模組，其係用以對該輸入之數位視訊串流執行一物體輪廓強化、各個物體影像的實體部分強化或是將各個物體影像其特徵值計算出來之前處理程序。
  15. 如申請專利範圍第14項所述之數位視訊動態目標物體分割處理系統，其中該前處理模組包括：一影像邊緣偵測處理單元，其係用以對該輸入之數位視訊串流執行一影像邊緣偵測處理程序。
  16. 如申請專利範圍第14項所述之數位視訊動態目標物體分割處理系統，其中該前處理模組包括：一影像梯度濾波處理單元，其係用以對該輸入之數位視訊串流執行一影像梯度濾波處理程序。
  17. 如申請專利範圍第14項所述之數位視訊動態目標物體分割處理系統，其中該前處理模組包括：一低頻濾波處理單元，其係用以對該輸入之數位視訊串流執行一低頻濾波處理程序。
  18. 如申請專利範圍第13項所述之數位視訊動態目標物體分割處理系統，其更進而包含：一後處理模組，其係用以對該目標物體偵測模組所產生之物件遮罩執行一去雜訊處理程序，用以消除該物件遮罩中的雜訊。
  19. 如申請專利範圍第18項所述之數位視訊動態目標物體分割處理系統，其中該後處理模組所採用之去雜訊 處理程序為一形態開閉式(morphological opening and closing operations)之去雜訊技術。
  20. 如申請專利範圍第18項所述之數位視訊動態目標物體分割處理系統，其中該後處理模組所採用之去雜訊處理程序為一相鄰構件(connected component)面積分析式去雜訊技術。
  21. 如申請專利範圍第13項所述之數位視訊動態目標物體分割處理系統，其中該多背景影像記錄模組所採用之背景差門檻值判別方法係利用一人為預先設定方式來設定一背景差門檻值。
  22. 如申請專利範圍第13項所述之數位視訊動態目標物體分割處理系統，其中該多背景影像記錄模組所採用之背景差門檻值判別方法係利用一依雜訊值自動調整設定方法來自動設定一背景差門檻值。
  23. 如申請專利範圍第13項所述之數位視訊動態目標物體分割處理系統，其中該多背景影像記錄模組所採用之背景差門檻值判別方法係利用一高斯模型(Gaussian model)像素模擬背景差門檻值設定方法來自動設定一背景差門檻值。
  24. 如申請專利範圍第13項所述之數位視訊動態目標物體分割處理系統，其中該多背景影像記錄模組所採用之背景差門檻值判別方法係利用一混合高斯模型(Mixture of Gaussians model像素模擬背景差門檻值設定方法來自動設定一背景差門檻值。
  25. 一種數位視訊動態目標物體分割處理系統，其可應用於處理一數位視訊串流，其中該數位視訊串流為一固定之監視場景之影像，包含有動態目標物體、靜態背景物、和動態背景物，用以對該數位視訊串流提供一動態目標物體分割功能；此數位視訊動態目標物體分割處理系統至少包含：一前處理模組，其係用以對該輸入之數位視訊串流執行一輔助分割之前處理程序；一多背景影像記錄模組，其可對該數位視訊串流執行一多背景影像記錄程序，藉以記錄下該監視場景的一連串之畫格的背景特徵影像，並利用背景差門檻值判別方法來求得該監視場景中之背景物的影像；一背景更新模組，其可對該多背景影像記錄模組的輸出處理結果執行一背景更新程序；其中係利用一背景匹配及權重計數方法來更新背景物的影像；一目標物體偵測模組，其可依據該背景更新模組的輸出處理結果來產生一物件遮罩；其中該物件遮罩僅顯露出該動態目標物體的影像，並同時遮罩該靜態背景物和該動態背景物的影像；且該物件遮罩係用以疊加至該數位視訊串流中的當前之畫格，令當前之畫格中的靜態背景物和動態背景物的影像均被遮罩而僅顯現出該動態目標物體的影像；以及一後處理模組，其係用以對該目標物體偵測模組 所產生之物件遮罩執行一去雜訊處理程序，用以消除該物件遮罩中的雜訊。
TW097111816A 2008-03-31 2008-03-31 數位視訊動態目標物體分割處理方法及系統 TWI381717B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097111816A TWI381717B (zh) 2008-03-31 2008-03-31 數位視訊動態目標物體分割處理方法及系統
US12/286,795 US8238605B2 (en) 2008-03-31 2008-10-02 Digital video target moving object segmentation method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097111816A TWI381717B (zh) 2008-03-31 2008-03-31 數位視訊動態目標物體分割處理方法及系統

Publications (2)

Publication Number Publication Date
TW200942019A TW200942019A (en) 2009-10-01
TWI381717B true TWI381717B (zh) 2013-01-01

Family

ID=41117266

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097111816A TWI381717B (zh) 2008-03-31 2008-03-31 數位視訊動態目標物體分割處理方法及系統

Country Status (2)

Country Link
US (1) US8238605B2 (zh)
TW (1) TWI381717B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE529157C2 (sv) * 2005-07-01 2007-05-15 Daniel Forsgren Bildförbättring vid registrering av sporthändelser
TW200929071A (en) * 2007-12-25 2009-07-01 Altek Corp Image processing method and image capture apparatusapplying the same
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
JP5495930B2 (ja) * 2010-05-10 2014-05-21 キヤノン株式会社 画像処理装置、方法、およびプログラム
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
JP5627439B2 (ja) * 2010-12-15 2014-11-19 キヤノン株式会社 特徴検出装置、特徴検出方法、およびそのプログラム
MX344762B (es) 2011-08-05 2016-12-15 Fox Sports Productions Inc Captura selectiva y presentacion de porciones de imagen nativas.
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
TWI441096B (zh) * 2011-08-10 2014-06-11 Univ Nat Taipei Technology 適用複雜場景的移動偵測方法
CN103002195B (zh) * 2011-09-09 2016-03-30 中磊电子（苏州）有限公司 运动检测方法及运动检测装置
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
RU2013104895A (ru) * 2013-02-05 2014-08-10 ЭлЭсАй Корпорейшн Процессор изображений с функциональностью выбора контуров
TWI489415B (zh) * 2013-07-17 2015-06-21 Vivotek Inc 視訊處理方法及系統
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9436872B2 (en) * 2014-02-24 2016-09-06 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for detecting and tracking multiple parts of an object
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
CN104378604A (zh) * 2014-12-01 2015-02-25 江西洪都航空工业集团有限责任公司 一种基于运动检测的实时监控方法
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
IT201700009363A1 (it) * 2017-01-30 2018-07-30 Virtual Innovation Center Srl Sistema e metodo di puntamento automatico per la videoripresa di eventi sportivi, in particolare partite di calcio a 5, a 7 oppure a 11.
DK3574339T1 (da) 2017-01-30 2020-03-09 Topgolf Sweden Ab System og fremgangsmåde til tredimensional sporing af et objekt ved benyttelse af kombination af radar og billeddata
CN107194932B (zh) * 2017-04-24 2020-05-05 江苏理工学院 一种基于指数遗忘的自适应背景重建算法
US10757346B1 (en) 2017-04-28 2020-08-25 Flixbay Technologies, Inc. Systems and methods for video extraction and insertion
CN107742306B (zh) * 2017-09-20 2021-03-23 徐州工程学院 一种智能视觉中运动目标跟踪算法
CN110363209B (zh) 2018-04-10 2022-08-09 京东方科技集团股份有限公司 图像处理方法、图像处理装置、显示装置及存储介质
US10412318B1 (en) 2018-10-30 2019-09-10 Motorola Solutions, Inc. Systems and methods for processing a video stream during live video sharing
CN112019868A (zh) * 2019-05-31 2020-12-01 广州虎牙信息科技有限公司 人像分割方法、装置及电子设备
TWI698803B (zh) * 2019-06-17 2020-07-11 晶睿通訊股份有限公司 影像辨識方法及其監控攝影機與監控攝影系統
CN110290425B (zh) * 2019-07-29 2023-04-07 腾讯科技（深圳）有限公司 一种视频处理方法、装置及存储介质
US11113822B2 (en) 2019-08-14 2021-09-07 International Business Machines Corporation Moving object identification from a video stream
CN111161306B (zh) * 2019-12-31 2023-06-02 北京工业大学 一种基于运动注意力的视频目标分割方法
US10898757B1 (en) 2020-01-21 2021-01-26 Topgolf Sweden Ab Three dimensional object tracking using combination of radar speed data and two dimensional image data
CN111723860B (zh) * 2020-06-17 2022-11-18 苏宁云计算有限公司 一种目标检测方法及装置
US11983963B2 (en) * 2020-07-24 2024-05-14 Alarm.Com Incorporated Anti-spoofing visual authentication
US11657512B2 (en) * 2021-02-02 2023-05-23 Black Sesame Technologies Inc. Fast instance segmentation
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081836A1 (en) * 2001-10-31 2003-05-01 Infowrap, Inc. Automatic object extraction
US20030169812A1 (en) * 2000-09-07 2003-09-11 Magali Maziere Method for segmenting a video image into elementary objects
US6738059B1 (en) * 1998-12-18 2004-05-18 Kabushiki Kaisha Sega Enterprises Apparatus and methods for image processing using mixed display objects

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
KR100470931B1 (ko) * 2001-12-05 2005-02-22 가부시키가이샤 히다치 고쿠사이 덴키 템플레이트 매칭을 이용한 물체추적방법 및 장치
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
JP4631806B2 (ja) * 2006-06-05 2011-02-16 日本電気株式会社 物体検出装置、物体検出方法および物体検出プログラム
TW201002073A (en) * 2008-06-23 2010-01-01 Huper Lab Co Ltd Method of vehicle segmentation and counting for nighttime video frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738059B1 (en) * 1998-12-18 2004-05-18 Kabushiki Kaisha Sega Enterprises Apparatus and methods for image processing using mixed display objects
US20030169812A1 (en) * 2000-09-07 2003-09-11 Magali Maziere Method for segmenting a video image into elementary objects
US20030081836A1 (en) * 2001-10-31 2003-05-01 Infowrap, Inc. Automatic object extraction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Stauffer and W. E. L. Grimson, "Adaptive background mixture models for real-time tracking," in Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, pp. 246-252, July 1999。 *

Also Published As

Publication number Publication date
US8238605B2 (en) 2012-08-07
US20090245571A1 (en) 2009-10-01
TW200942019A (en) 2009-10-01

Similar Documents

Publication Publication Date Title
TWI381717B (zh) 數位視訊動態目標物體分割處理方法及系統
Ganesan et al. Segmentation and edge detection of color images using CIELAB color space and edge detectors
JP4746050B2 (ja) ビデオデータを処理するための方法及びシステム
US7742650B2 (en) Object detection in images
CN109978890B (zh) 基于图像处理的目标提取方法、装置及终端设备
Cavallaro et al. Shadow-aware object-based video processing
Patel et al. Flame detection using image processing techniques
CN111429370B (zh) 一种煤矿井下的图像增强方法、***及计算机存储介质
CN106097366B (zh) 一种基于改进的Codebook前景检测的图像处理方法
US11100650B2 (en) Method for foreground and background determination in an image
CN106951869A (zh) 一种活体验证方法及设备
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN109657597A (zh) 面向个体直播场景的异常行为检测方法
TW201032180A (en) Method and device for keeping image background by multiple gauss models
CN111127358B (zh) 图像处理方法、装置及存储介质
CN111667419A (zh) 一种基于Vibe算法的移动目标鬼影消除方法及***
US20220261974A1 (en) Method of detecting an abnormality and abnormality detection device
CN113240611A (zh) 一种基于图片序列的异物检测方法
KR20180088557A (ko) 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치
US8270711B2 (en) Method and apparatus for recognition of an object by a machine
CN107491746B (zh) 一种基于大梯度像素分析的人脸预筛选方法
Yam et al. Fast video object detection via multiple background modeling
Hu et al. Motion objects detection based on higher order statistics and hsv color space
Shi et al. Wiring harness assembly detection system based on image processing technology
Hardas et al. Moving Object Detection for Video Surveillance using Different Color Spaces

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees