TWI391876B - 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品 - Google Patents

利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品 Download PDF

Info

Publication number
TWI391876B
TWI391876B TW098104859A TW98104859A TWI391876B TW I391876 B TWI391876 B TW I391876B TW 098104859 A TW098104859 A TW 098104859A TW 98104859 A TW98104859 A TW 98104859A TW I391876 B TWI391876 B TW I391876B
Authority
TW
Taiwan
Prior art keywords
foreground
model
parameter
gaussian background
background model
Prior art date
Application number
TW098104859A
Other languages
English (en)
Other versions
TW201032178A (en
Inventor
Felix L Chang
Winston H Hsu
Miaofen Chueh
Original Assignee
Inst Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inst Information Industry filed Critical Inst Information Industry
Priority to TW098104859A priority Critical patent/TWI391876B/zh
Priority to US12/419,309 priority patent/US8478034B2/en
Priority to GB0907400A priority patent/GB2467804B/en
Publication of TW201032178A publication Critical patent/TW201032178A/zh
Application granted granted Critical
Publication of TWI391876B publication Critical patent/TWI391876B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Discrete Mathematics (AREA)
  • Image Analysis (AREA)

Description

利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
本發明是有關於一種前景偵測方法及系統，且特別是有關於一種利用多重模組混合圖形切割之前景偵測方法及系統。
現行從靜態攝影機取得的連續影像之中，抽取出畫面中前景物和背景的方法上，即在固定式攝影下的前景偵測方法有下列三種：
一、畫面差異：將影片中前後相鄰影像(例如第1秒之影像及第2秒之影像)之間，對每個像素的值做相減取絕對值的動作，然後假設值越大的部分，越有可能是前景物件在那裏移動，所以可以設一個門檻值，將差異太大的部分判斷為前景物。然而，此做法的缺點是：因為沒有建立背景模型，並不適合處理會停止下來的前景物。舉例來說，若有個人坐在椅子上講電話，此時所取得的前後相鄰影像之間的差異會很小，不易分出前景與後景，此方法就會不適用。
二、單一高斯分布建立背景模型：此方法是需要利用一段時間夠長的影片，針對每個像素，在這段時間的變化，使用單一高斯機率分布來建立出背景的模型，之後我們再將新進來的影像跟此背景模型做比對，若是相似度低過一個門檻值就算是前景物。然而，此做法的缺點是：影片中的變化需有足夠的強度，因此可能無法處理非靜態的背景。舉例來說，當攝影機是架設於室外時，所攝得的影像經常是動態的，像是大樓的影子會隨著時間而移動或改變，或是在戶外的水面上會不停的有水紋的波動，或是光線會有明暗的變化，這些會隨時間變化外觀的背景，在此方法中無法得到解決。
三、利用具適應性的混合高斯分布建立背景模型：這個方法同時使用了多組高斯分布來模擬背景，且多了一個機制，可以讓背景模型隨著進來做比較的圖片做些微的改變，例如可在白天使用一組模型，在黑夜使用另一組模型，而使其具有適應性，可以克服一些細微的背景變動，像是室內室外光線的明暗變化。然而，此做法的缺點是：將每一像素視為獨立的，未考慮相鄰像素的關係，而不能解決前景跟背景類似的情況。舉例來說，若是攝影機設置的環境不夠好，或是真的有前景物長得跟背景太相似，此演算法所做的切割動作就會有所混淆，例如當前景的衣服顏色跟背景顏色太過相似，以至於切割的時候會缺去這一塊。因此，提出一種前景偵測方法以改善上述缺點。
因此，本發明的目的就是在提供一種利用多重模組混合圖形切割之前景偵測方法及系統，可處理前景和背景相似的情況，切割出前景物與背景物，且可強化所取得之前景物的完整性。
依據本發明一實施例，一種利用多重模組混合圖形切割之前景偵測方法包括以下步驟：輸入一影片之一影格；利用具適應性混合高斯背景模型以及門檻值在影格中取定前景區域；利用多重模組混合圖形切割程序分割前景區域。
依據本發明另一實施例，一種利用多重模組混合圖形切割之前景偵測系統包括：輸入器，用以輸入一影片之一影格；前景取定器，用以利用一具適應性混合高斯背景模型以及一門檻值在影格中取定一前景區域，其中前景區域包含至少一物件區塊；以及前景分割器，用以利用一多重模組混合圖形切割程序分割前景區域。
接下來請參照本發明實施例的詳細說明，其中所提到的範例會連同圖式一同進行說明。在任何可能的情況下，圖式及說明中所使用的相同參考數標都代表了相同或類似的元件。
請參照第1圖，其繪示依照本發明一實施方式的一種利用多重模組混合圖形切割之前景偵測方法的流程圖。本發明另一實施方式之電腦程式產品可以程式指令來執行此方法之各步驟。此方法包括以下步驟(應了解到，在本實施例中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可能同時或部分同時執行)：
(1)輸入一影片之一影格(video frame)(步驟110)。一段影片可包括一序列的影格。在本實施方式中，可分別在這些影格中偵測出前景。
(2)利用具適應性混合高斯背景模型(adaptive background Gaussian Mixture Model)以及門檻值在影格中取定一前景區域，其中該前景區域包括至少一物件區塊(步驟120)。利用具適應性混合高斯背景模型，加上適當的門檻值，可得到大概的前景區域。在一實施例中，使用者可藉由手動操作適當的影像處理裝置來取定前景區域。在另一實施例中，可藉由預先設定一影像處理裝置而自動地取定前景區域。再來，為了對此粗略的前景分割結果作加強，可對所取定之前景區域中的連通部分作區塊化。即是將前景區域分為數個物件區塊，然後再分別對這幾個物件區塊進行處理。請同時參照第1圖及第2圖，第2圖係繪示第1圖之實施方式中步驟120利用具適應性混合高斯背景模型以及門檻值在影格中取定一前景區域所包含之詳細步驟。藉由利用追蹤的技巧，以下步驟可加強對前景區域中的連通部分進行取框的準確度：
(2.1)利用具適應性混合高斯背景模型來記錄每一物件區塊之資訊(步驟210)。每一物件區塊之資訊可包括顏色分布、速度、方向、物件大小、以及位置。
(2.2)將每一物件區塊與具適應性混合高斯背景模型做比較(步驟220)。每一張新的影格進來，先利用對連通區塊取框的方式來取出大致上的前景區域。然後，將每一物件區塊都跟現有的具適應性混合高斯背景模型做比較。
(2.3)當具適應性混合高斯背景模型偵測到變化時，根據變化之趨勢，更新具適應性混合高斯背景模型或建立另一具適應性混合高斯背景模型(步驟230)。進行步驟220之比較後，若比較結果是相似度很高的話，就將該區塊視為是同一區塊。若是沒有相似度類似的，且物件是出現在不尋常的地方，就將此變化視為由雜訊所產生。若物件是出現在該出現的地方(例如，有物件剛進入畫面)，則建立一組新的模型來儲存關於此物件的資料。若是現有模型突然偵測到有劇烈的變化(例如當原來之一物件區塊被***成很多個區塊)，則模型會有一段確認變化的緩衝期。先觀察幾個影格看看物件是不是真的有這個變化的趨勢，若是有的話就更新模型(例如***成多個模型)，否則將此變化視為由雜訊所產生。在此可利用卡爾曼濾波器(Kalman Filter)來更新具適應性混合高斯背景模型。此步驟可大大降低偵測錯誤的機率。
(3)利用多重模組混合圖形切割程序(Multi-Modality Fusion Graph Cut,MMCut)分割前景區域(步驟130)。針對前景區域所包括的每一物件區塊，執行多重模組混合圖形切割程序處理後，可得到更精細的前景分割結果。第3圖係繪示第1圖之實施方式中步驟130利用多重模組混合圖形切割程序分割前景區域所包含之詳細步驟：
(3.1)利用馬可夫隨機網路(Markov Random Field,MRF)能量函數建構馬可夫隨機網路圖學模型(步驟310)。在本實施方式中，將多個模組(例如前景可能性參數、色彩資訊參數、以及物件可能大小參數)整合於能量函數中，來建構馬可夫隨機網路圖學模型(一種常用於圖形切割之圖學模型)，以獲得更精確的切割效果，這裡稱此方法為多重模組混合圖形切割。
(3.2)定義該馬可夫隨機網路圖學模型中之每一邊線(步驟320)。舉例來說，可根據一邊線(或稱為能量)與連接節點之間的關係來定義該邊線。
(3.3)執行最小切割演算法以得到馬可夫隨機網路能量函數之最小解(步驟330)。針對每一物件區塊，得到馬可夫隨機網路能量函數之最小解後，再將每一處理好的物件區塊再集中回原來的影格，即可得到精確的前景分割結果。
在本實施方式中，加入了鄰近空間的關聯性因素。傳統的切割都是僅以每一像素做為基本單位(by pixel)，所以鄰近像素之間是沒有任何關聯性的。這個作法並不符合現實情形，所以做出來的前景區域經常會有破洞，此實施方式可克服此問題。
此外，在本實施方式中，將前景區域切成小的物件區塊，加以分別處理，最後再將每一區塊得到的結果做合併的動作。切成小的物件區塊的優點在於容易加入物件大小的考量因素，而且由於每一物件區塊都可視為獨立的個體，因此在這裡可使用多核平行運算來加快運算速度，達到系統的即時性。
以下將說明在本實施方式中所使用的能量函數。總能量E由資料參數(Data Term)H及平滑參數(Smooth Term)G所組成：
資料參數H由前景可能性參數(LGMM )、色彩資訊參數(LAppearance )、物件大小參數(LConstraint )所組成(這些參數是獨立的個體，可使用多核平行處理來加速)：
H(xi )=(1-τ)LGMM +τLAppearance +δLConstraint
平滑參數G由色彩資訊參數(LAppearance )及前景可能性參數(LGMM )所組成：
G(xu ,xv )=(1-ζ)LAppearance +ζLGMM
在上述式子中，λ、τ、δ、ζ是可調校之參數，可依使用者需求而調整至最適合使用者的混合比例，以得到最佳的結果。
在資料參數H中，前景可能性參數(LGMM )是用來處理每個點被判斷成前景或是背景的機率，在此使用高斯混合模型(Gaussian mixture model，GMM)作為背景模型。將背景模型與目前的影格互相比較，可以得到每個點是否為前景的一個機率，稱為前景可能性(GMM Likelihood)。假設有k個混合模型時：
LGMM (x,lable)=1/mink (|Ix -μk (x)|/σk (x))，若標誌(Label)=1
=1-1/mink (|Ix -μk (x)|/σk (x))，若標誌(Label)=0
其中Ix 是表示像素x的強度，μk ()是平均數，σk ()是標準差。
色彩資訊參數(LAppearance )是採用之前所得到的粗略前景區域來當作已知的前景部分，而方塊的外圍部分就當作已知的背景，然後可以藉此得到一組前景和一組背景的混和高斯模型。色彩資訊參數(LAppearance )可以下列式子來表示：
LAppearance (x,lable)=-log(PF (Ix )|μk ,σk ))，若標誌(Label)=1
=-log(PB (Ix )|μk ,σk ))，若標誌(Label)=0
其中PF 是表示前景的機率，PB 是表示後景的機率，Ix 是表示像素x的強度，μk ()是平均數，σk ()是標準差。
就物件大小參數(LConstraint )而言，由於以正常情況來說，物件在方塊中的分佈會有一個大致上的趨勢，例如人的身體不會中間破一個洞，方塊中物件的分佈應該是越接近中間可能性越高，因此可以二維的高斯模型來表示物件分佈的可能性。以物件區塊的中心做為高斯模型的標準差的參考，因此取長的六分之一作為第1組標準差σ1，取寬的六分之一作為第2組標準差σ2。物件大小參數(LConstraint )可以下列式子來表示：
LConstraint (u,v,lable)=1-log(P(u,v|σ1 ,σ2 ))，若標誌(Label)=1
=log(P(u,v|σ1 ,σ2 ))，若標誌(Label)=0
其中u及v是像素的指數(index)，長，寬。
平滑參數G是用來處理點與點之間的連續性關係，在這裡採用兩種參數來做參考：一種是利用原圖的色彩，即色彩資訊參數(LAppearance )。一種是利用之前取前景可能性所得到的資訊，即前景可能性參數(LGMM )。可以下列式子來表示：
G(i,j)=(1-ζ)LAppearance +ζLGMM
其中Ix 是表示像素x的強度，xi 是像素x的標誌(1或0)，是像素x的前景可能性分數。
請參照第4圖，其繪示依照本發明另一實施方式的一種利用多重模組混合圖形切割之前景偵測系統的功能方塊圖。本實施例之前景偵測系統400包括輸入器410、前景取定器430、以及前景分割器450。輸入器410可輸入一影片之一影格。前景取定器430可利用具適應性混合高斯背景模型以及門檻值在影格中取定前景區域。前景區域包括了至少一物件區塊。前景分割器450可利用多重模組混合圖形切割程序分割前景區域。
進一步來說，前景取定器430包括記錄器431、比較器433、以及模型更新器435。記錄器431可利用具適應性混合高斯背景模型來記錄每一物件區塊之資訊。每一物件區塊之資訊包括顏色分布、速度、方向、物件大小、以及位置。比較器433可將每一物件區塊與具適應性混合高斯背景模型做比較。當具適應性混合高斯背景模型偵測到變化時，模型更新器435可根據變化之趨勢，更新具適應性混合高斯背景模型或建立另一具適應性混合高斯背景模型。模型更新器435可利用卡爾曼濾波器436來更新具適應性混合高斯背景模型。
前景分割器450可包括模型建構器451、定義器453、以及最小切割執行器455。模型建構器451可利用馬可夫隨機網路能量函數建構馬可夫隨機網路圖學模型。定義器453可定義該馬可夫隨機網路圖學模型中之每一邊線。最小切割執行器455可執行最小切割演算法以得到馬可夫隨機網路能量函數之最小解。
前景分割器450可以單核或多核的方式來處理物件區塊。因此，前景分割器450也可包括平行處理器457，利用多重模組混合圖形切割程序來平行處理物件區塊。請同時參照第5圖，其係繪示依照本發明又一實施方式來平行處理物件區塊的示意圖。在此實施方式中，前景區域包括了三個物件區塊510-530，由於使用多核來平行處理物件區塊，可把工作量平分到每個CPU上，達到省時的效果，最後再將每一處理好的物件區塊再集中回原來的影格，即可得到精確的前景分割結果。
由上述本發明實施方式可知，應用本發明具有下列優點。在靜態監視攝影的環境下應用本發明時，可處理前景和背景相似的情況，切割出前景物與背景物，且可強化所取得之前景物的完整性。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技術者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100-330．．．步驟
400．．．前景偵測系統
410．．．輸入器
430．．．前景取定器
431．．．記錄器
433．．．比較器
435．．．模型更新器
436．．．卡爾曼濾波器
450．．．前景分割器
451．．．模型建構器
453．．．定義器
455．．．最小切割執行器
457．．．平行處理器
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：
第1圖係繪示依照本發明一實施方式的一種利用多重模組混合圖形切割之前景偵測方法的流程圖。
第2圖係繪示第1圖之實施方式中步驟120利用具適應性混合高斯背景模型以及門檻值在影格中取定一前景區域所包含之詳細步驟。
第3圖係繪示第1圖之實施方式中步驟130利用多重模組混合圖形切割程序分割前景區域所包含之詳細步驟。
第4圖係繪示依照本發明另一實施方式的一種利用多重模組混合圖形切割之前景偵測系統的功能方塊圖。
第5圖係繪示依照本發明又一實施方式來平行處理物件區塊的示意圖。
100-130．．．步驟

Claims (18)

  1. 一種利用多重模組混合圖形切割之前景偵測方法，包含以下步驟：輸入一影片之一影格(video frame)；利用一具適應性混合高斯背景模型(adaptive background Gaussian Mixture Model)以及一門檻值在該影格中取定一前景區域，其中該前景區域包含至少一物件區塊，其中該利用一具適應性混合高斯背景模型以及一門檻值在該影格中取定一前景區域之步驟包含以下步驟：利用該具適應性混合高斯背景模型來記錄關於每一物件區塊之資訊；將每一物件區塊與該具適應性混合高斯背景模型做比較；以及當該具適應性混合高斯背景模型偵測到一變化時，根據該變化之趨勢，更新該具適應性混合高斯背景模型或建立另一具適應性混合高斯背景模型；以及利用一多重模組混合圖形切割程序(Multi-Modality Fusion Graph Cut)分割該前景區域。
  2. 如申請專利範圍第1項所述之前景偵測方法，其中每一物件區塊之資訊包含顏色分布、速度、方向、物件大小、以及位置。
  3. 如申請專利範圍第1項所述之前景偵測方法，其中該更新該具適應性混合高斯背景模型之步驟包含以下步驟：利用一卡爾曼濾波器(Kalman Filter)更新該具適應性混合高斯背景模型。
  4. 如申請專利範圍第1項所述之前景偵測方法，其中該利用一多重模組混合圖形切割程序分割該前景區域之步驟包含以下步驟：利用該多重模組混合圖形切割程序平行處理該物件區塊。
  5. 如申請專利範圍第1項所述之前景偵測方法，其中該利用一多重模組混合圖形切割程序分割該前景區域之步驟包含以下步驟：利用一馬可夫隨機網路(Markov Random Field,MRF)能量函數建構一馬可夫隨機網路圖學模型；定義該馬可夫隨機網路圖學模型中之每一邊線；以及執行一最小切割演算法以得到該馬可夫隨機網路能量函數之最小解。
  6. 如申請專利範圍第5項所述之前景偵測方法，其中該馬可夫隨機網路能量函數包含：一資料參數，包含： 一前景可能性參數、一色彩資訊參數、以及一物件大小參數；以及一平滑參數，包含：一前景可能性參數以及一色彩資訊參數。
  7. 一種利用多重模組混合圖形切割之前景偵測系統，包含：一輸入器，用以輸入一影片之一影格；一前景取定器，用以利用一具適應性混合高斯背景模型(adaptive background Gaussian Mixture Model)以及一門檻值在該影格中取定一前景區域，其中該前景區域包含至少一物件區塊，其中該前景取定器包含：一記錄器，用以利用該具適應性混合高斯背景模型來記錄關於每一物件區塊之資訊；一比較器，用以將每一物件區塊與該具適應性混合高斯背景模型做比較；以及一模型更新器，用以當該具適應性混合高斯背景模型偵測到一變化時，根據該變化之趨勢，更新該具適應性混合高斯背景模型或建立另一具適應性混合高斯背景模型；以及一前景分割器，用以利用一多重模組混合圖形切割程序(Multi-Modality Fusion Graph Cut)分割該前景區域。
  8. 如申請專利範圍第7項所述之前景偵測系統，其中每一物件區塊之資訊包含顏色分布、速度、方向、物件大小、以及位置。
  9. 如申請專利範圍第7項所述之前景偵測系統，其中該模型更新器包含一卡爾曼濾波器，用以更新該具適應性混合高斯背景模型。
  10. 如申請專利範圍第7項所述之前景偵測系統，其中該前景分割器包含一平行處理器，用以利用該多重模組混合圖形切割程序平行處理該物件區塊。
  11. 如申請專利範圍第7項所述之前景偵測系統，其中該前景分割器包含：一模型建構器，用以利用一馬可夫隨機網路(Markov Random Field,MRF)能量函數建構一馬可夫隨機網路圖學模型；一定義器，用以定義該馬可夫隨機網路圖學模型中之每一邊線；以及一最小切割執行器，用以執行一最小切割演算法以得到該馬可夫隨機網路能量函數之最小解。
  12. 如申請專利範圍第11項所述之前景偵測系統，其中該馬可夫隨機網路能量函數包含： 一資料參數，包含：一前景可能性參數、一色彩資訊參數、以及一物件大小參數；以及一平滑參數，包含：一前景可能性參數以及一色彩資訊參數。
  13. 一種電腦程式產品，其包含程式指令用以執行下列步驟：輸入一影片之一影格；利用一具適應性混合高斯背景模型以及一門檻值在該影格中取定一前景區域，其中該前景區域包含至少一物件區塊，其中該利用一具適應性混合高斯背景模型以及一門檻值在該影格中取定一前景區域之步驟包含以下步驟：利用該具適應性混合高斯背景模型來記錄關於每一物件區塊之資訊；將每一物件區塊與該具適應性混合高斯背景模型做比較；以及當該具適應性混合高斯背景模型偵測到一變化時，根據該變化之趨勢，更新該具適應性混合高斯背景模型或建立另一具適應性混合高斯背景模型；以及利用一多重模組混合圖形切割程序(Multi-Modality Fusion Graph Cut)分割該前景區域。
  14. 如申請專利範圍第13項所述之電腦程式產品，其中每一物件區塊之資訊包含顏色分布、速度、方向、物件大小、以及位置。
  15. 如申請專利範圍第13項所述之電腦程式產品，其中該更新該具適應性混合高斯背景模型之步驟包含以下步驟：利用一卡爾曼濾波器更新該具適應性混合高斯背景模型。
  16. 如申請專利範圍第13項所述之電腦程式產品，其中該利用一多重模組混合圖形切割程序分割該前景區域之步驟包含以下步驟：利用該多重模組混合圖形切割程序平行處理該物件區塊。
  17. 如申請專利範圍第13項所述之電腦程式產品，其中該利用一多重模組混合圖形切割程序分割該前景區域之步驟包含以下步驟：利用一馬可夫隨機網路能量函數建構一馬可夫隨機網路圖學模型；定義該馬可夫隨機網路圖學模型中之每一邊線；以及執行一最小切割演算法以得到該馬可夫隨機網路能量函數之最小解。
  18. 如申請專利範圍第17項所述之電腦程式產品，其中該馬可夫隨機網路能量函數包含：一資料參數，包含：一前景可能性參數、一色彩資訊參數、以及一物件大小參數；以及一平滑參數，包含：一前景可能性參數以及一色彩資訊參數。
TW098104859A 2009-02-16 2009-02-16 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品 TWI391876B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW098104859A TWI391876B (zh) 2009-02-16 2009-02-16 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
US12/419,309 US8478034B2 (en) 2009-02-16 2009-04-07 Method and system for foreground detection using multi-modality fusion graph cut
GB0907400A GB2467804B (en) 2009-02-16 2009-04-29 Method and system for foreground detection using multi-modality fusion graph cut

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098104859A TWI391876B (zh) 2009-02-16 2009-02-16 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品

Publications (2)

Publication Number Publication Date
TW201032178A TW201032178A (en) 2010-09-01
TWI391876B true TWI391876B (zh) 2013-04-01

Family

ID=40792019

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098104859A TWI391876B (zh) 2009-02-16 2009-02-16 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品

Country Status (3)

Country Link
US (1) US8478034B2 (zh)
GB (1) GB2467804B (zh)
TW (1) TWI391876B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8306333B2 (en) * 2009-12-17 2012-11-06 National Tsing Hua University Method and system for automatic figure segmentation
WO2013003026A2 (en) * 2011-06-30 2013-01-03 University Of Florida Research Foundation, Inc. Adaptive background estimation
KR101299237B1 (ko) * 2011-11-23 2013-08-22 서울대학교산학협력단 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
CN102509101B (zh) * 2011-11-30 2013-06-26 昆山市工业技术研究院有限责任公司 交通视频监控中的背景更新方法和车辆目标提取方法
US8824787B2 (en) * 2011-12-07 2014-09-02 Dunlop Sports Co., Ltd. Silhouette correction method and system and silhouette extraction method and system
TWI463416B (zh) * 2011-12-27 2014-12-01 Univ Nat Taiwan Science Tech 一種前景分離方法
US9552648B1 (en) * 2012-01-23 2017-01-24 Hrl Laboratories, Llc Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering
US9208580B2 (en) 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
CN103123689B (zh) * 2013-01-21 2016-11-09 信帧电子技术（北京）有限公司 一种基于人腿检测的奔跑检测方法和装置
US9179130B2 (en) * 2013-06-05 2015-11-03 Htc Corporation Image-capturing device and method having image identification mechanism
CN103500454A (zh) * 2013-08-27 2014-01-08 东莞中国科学院云计算产业技术创新与育成中心 一种抖动视频运动目标提取方法
CN104700384B (zh) * 2013-12-04 2017-12-15 中国科学院深圳先进技术研究院 基于增强现实技术的展示***及展示方法
CN104123544B (zh) * 2014-07-23 2018-03-13 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及***
US9774793B2 (en) * 2014-08-01 2017-09-26 Adobe Systems Incorporated Image segmentation for a live camera feed
EP3018626B1 (en) 2014-11-04 2018-10-17 Sisvel Technology S.r.l. Apparatus and method for image segmentation
CN105654458A (zh) * 2014-11-14 2016-06-08 华为技术有限公司 图像处理的方法及装置
CN104680787B (zh) * 2015-02-04 2017-08-01 上海依图网络科技有限公司 一种道路拥堵检测方法
US9449246B1 (en) 2015-05-14 2016-09-20 Mitsubishi Electric Research Laboratories, Inc. Method for deformable image registration
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
CN105184245B (zh) * 2015-08-28 2018-12-21 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种多特征融合的人群密度估计方法
US10609307B2 (en) 2015-09-28 2020-03-31 Gopro, Inc. Automatic composition of composite images or videos from frames captured with moving camera
US10021363B2 (en) * 2015-10-16 2018-07-10 Novatek Microelectronics Corp. Method and apparatus for processing source image to generate target image
CN105701832B (zh) * 2016-01-19 2019-02-26 苏州大学 三维图割算法结合随机游走算法的pet‐ct肺肿瘤分割方法
CN105824886B (zh) * 2016-03-10 2019-03-26 西安电子科技大学 基于马尔科夫随机场的快速食物识别方法
US10475186B2 (en) * 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
CN106874837B (zh) * 2016-12-29 2020-10-30 中国船舶重工集团公司第七一0研究所 一种基于视频图像处理的车辆检测方法
US10438072B2 (en) 2017-02-27 2019-10-08 Echelon Corporation Video data background tracking and subtraction with multiple layers of stationary foreground and background regions
CN108629792A (zh) * 2017-08-23 2018-10-09 长安通信科技有限责任公司 基于背景建模与背景差分的激光目标检测方法和装置
CN111415461B (zh) * 2019-01-08 2021-09-28 虹软科技股份有限公司 物品识别方法及***、电子设备
CN110942469B (zh) * 2019-12-06 2023-05-26 衢州学院 面向高清高速视频的双通道双模态背景建模方法
US11501573B1 (en) * 2020-06-05 2022-11-15 Amazon Technologies, Inc. Pose-based personal equipment detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237393A1 (en) * 2006-03-30 2007-10-11 Microsoft Corporation Image segmentation using spatial-color gaussian mixture models
US20080304735A1 (en) * 2007-06-05 2008-12-11 Microsoft Corporation Learning object cutout from a single example

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7207068B2 (en) * 2003-03-26 2007-04-17 International Business Machines Corporation Methods and apparatus for modeling based on conversational meta-data
JP4482795B2 (ja) * 2004-03-05 2010-06-16 ソニー株式会社 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置
FR2868587A1 (fr) * 2004-03-31 2005-10-07 France Telecom Procede et systeme de conversion rapides d'un signal vocal
US7660463B2 (en) * 2004-06-03 2010-02-09 Microsoft Corporation Foreground extraction using iterated graph cuts
KR100568237B1 (ko) * 2004-06-10 2006-04-07 삼성전자주식회사 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
US7706610B2 (en) * 2005-11-29 2010-04-27 Microsoft Corporation Segmentation of objects by minimizing global-local variational energy
KR100876786B1 (ko) * 2007-05-09 2009-01-09 삼성전자주식회사 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법
TWI348659B (en) * 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
KR101401184B1 (ko) * 2008-02-01 2014-05-30 고려대학교 산학협력단 동영상의 객체 경계 추정 방법
US20100104018A1 (en) * 2008-08-11 2010-04-29 New York University System, method and computer-accessible medium for providing body signature recognition
KR101035768B1 (ko) * 2009-01-02 2011-05-20 전남대학교산학협력단 립 리딩을 위한 입술 영역 설정 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237393A1 (en) * 2006-03-30 2007-10-11 Microsoft Corporation Image segmentation using spatial-color gaussian mixture models
US20080304735A1 (en) * 2007-06-05 2008-12-11 Microsoft Corporation Learning object cutout from a single example

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. Bugeau and P. Pe´rez, "Track and Cut: Simultaneous Tracking and Segmentation of Multiple Objects with Graph Cuts," EURASIP J. Image and Video Processing, vol. 2008, pp. 1-14, 2008/12/31 *
林志偉、湯燦泰、石明于(2008/06/25)：知識型道路監控之視訊標記。電腦與通訊期刊，124，78-83。 *

Also Published As

Publication number Publication date
GB2467804A (en) 2010-08-18
US20100208987A1 (en) 2010-08-19
GB2467804B (en) 2011-06-08
US8478034B2 (en) 2013-07-02
TW201032178A (en) 2010-09-01
GB0907400D0 (en) 2009-06-10

Similar Documents

Publication Publication Date Title
TWI391876B (zh) 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
JP4898800B2 (ja) イメージセグメンテーション
US9042662B2 (en) Method and system for segmenting an image
US20210019892A1 (en) Video Background Substraction Using Depth
US8649592B2 (en) System for background subtraction with 3D camera
Bray et al. Posecut: Simultaneous segmentation and 3d pose estimation of humans using dynamic graph-cuts
CN103729858B (zh) 一种视频监控***中遗留物品的检测方法
Cavallaro et al. Shadow-aware object-based video processing
CN105590309B (zh) 前景图像分割方法和装置
Butler et al. Real-time adaptive foreground/background segmentation
WO2019210555A1 (zh) 一种基于深度神经网络的人数统计方法及装置、存储介质
Karaman et al. Comparison of static background segmentation methods
EP1969561A1 (en) Segmentation of video sequences
JP7387261B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN106650638A (zh) 一种遗留物检测方法
JP2017522647A (ja) 背景追跡を介する物体追跡及びセグメント化の方法及び装置
CN111523494A (zh) 一种人体图像检测方法
US20160140748A1 (en) Automated animation for presentation of images
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
US20230171300A1 (en) Securing image data from unintended disclosure at a videoconferencing endpoint
JP2011113177A (ja) 被写体３次元モデルを構築する方法およびプログラム
TWI648985B (zh) 視訊成像方法及其電子裝置
WO2018223370A1 (zh) 一种基于时空约束的视频显著性检测方法及***
Yuan et al. Moving target detection of elevating fire truck based on D-vibe algorithm in vehicular environment
Zheng et al. Research on the video segmentation method with integrated multi-features based on GMM