TWI413024B - 物件偵測方法及系統 - Google Patents

物件偵測方法及系統 Download PDF

Info

Publication number
TWI413024B
TWI413024B TW098139336A TW98139336A TWI413024B TW I413024 B TWI413024 B TW I413024B TW 098139336 A TW098139336 A TW 098139336A TW 98139336 A TW98139336 A TW 98139336A TW I413024 B TWI413024 B TW I413024B
Authority
TW
Taiwan
Prior art keywords
moving
texture
objects
filtering
images
Prior art date
Application number
TW098139336A
Other languages
English (en)
Other versions
TW201118804A (en
Inventor
Jian Cheng Wang
Cheng Chang Lien
Ya Lin Huang
yue min Jiang
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098139336A priority Critical patent/TWI413024B/zh
Priority to US12/700,706 priority patent/US8559670B2/en
Publication of TW201118804A publication Critical patent/TW201118804A/zh
Application granted granted Critical
Publication of TWI413024B publication Critical patent/TWI413024B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

物件偵測方法及系統
本揭露是有關於一種應用背景機率模型與動態紋理模型融合的物件偵測方法及系統。
隨著科技發展,環境及自身安全越來越受到重視,視訊監控(surveillance)技術的研究更是眾所矚目,除了視訊監控錄影的研究日新月異外,視訊智慧化的技術更是與日俱增,如何第一時間準確掌握事件的發生並立刻採取應變措施,已經是視訊智慧化研究過程中的必備要務。
在視訊智慧化的過程中,往往會因為無法快速適應天候環境或是自然現象,造成多餘的錯誤偵測而引起因擾,甚至造成恐慌。因此,如何能夠提供正確的智慧化監控結果以克服各種天候及環境已經是視訊智慧化技術的基本要求。
在一般常見的偵測技術中,多是針對前背景分離著墨,而未針對複雜環境中的各種現象多做琢磨,例如運算速度快但易受環境雜訊干擾的背景相減法(background subtraction),或是利用連續或固定時間間隔的畫面做差異分析(difference analysis)的時間差異法(temporal differencing),亦或是能克服環境光影變化但需要龐大運算量的光流法(optical flow)。然而,時間差異法會因為比對頻率而影響在複雜場景下的正確偵測率,而光流法則是無法過濾由自然現象所產生的多餘移動目標。另一方面,目前學界研究使用局部二位元圖形(local binary pattern,LBP)演算法來做物件偵測。然而,在此演算法中,一旦物件靜止,其偵測準確率就會很快的降低,而無法快速的反應現實狀態。
本揭露提供一種物件偵測方法,可增加在複雜場景下物件偵測的準確率。
本揭露提供一種物件偵測系統,融合背景機率模型及動態紋理模型的資訊,可濾除由自然現象所造成的錯誤前景。
本揭露提出一種物件偵測方法,適於偵測包括多張影像之視訊串流中的移動物件資訊。此方法係對各張影像進行移動物件前景偵測,以獲得包括多個移動物件的第一前景偵測影像,同時也對各張影像進行紋理物件前景偵測,以獲得包括多個紋理物件的第二前景偵測影像,然後再篩選過濾第一前景偵測影像中的移動物件以及第二前景偵測影像中的紋理物件,而將濾除後剩餘的移動物件或紋理物件輸出作為移動物件資訊。
本揭露另提出一種物件偵測系統,其包括影像擷取裝置及處理裝置。其中,影像擷取裝置係用以擷取包括多張影像的視訊串流。處理裝置係耦接至影像擷取裝置,而用以偵測視訊串流中的移動物件資訊,其又包括移動物件偵測模組、紋理物件偵測模組及物件濾除模組。其中,移動物件偵測模組係用以對各張影像進行移動物件前景偵測,以獲得包括多個移動物件的第一前景偵測影像;紋理物件偵測模組係用以對各張影像進行紋理物件前景偵測,以獲得包括多個紋理物件的第二前景偵測影像;物件濾除模組則用以將第一前景偵測影像中位置與紋理物件重疊的移動物件濾除,並將濾除後剩餘的移動物件輸出作為移動物件資訊。
基於上述,本揭露之物件偵測方法及系統係整合背景機率模型及動態紋理模型的資訊來處理自然現象所產生的多餘移動物件,而能夠濾除由自然現象造成的錯誤前景,並增加在複雜場景下物件偵測的準確率。
為讓本揭露之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
為了尋求快速又能適應環境並過濾自然現象物件的智慧化偵測方法,本揭露係融合背景機率模型(background probability model,BPM)與動態紋理模型(dynamic texture model,DTM)的偵測優點,藉以克服在複雜場景下的偵測缺陷,而能夠準確的偵測移動物件。此外,本揭露還將偵測物件中由自然現象所造成的錯誤前景加以濾除,而能提供後續追蹤及警戒等機制運作,以分辨不同目標物。
圖1是依照本揭露一實施例所繪示之物件偵測系統架構的示意圖。請參照圖1,由於背景機率模型容易因為自然現象所造成多餘移動物件的影響,而降低物件偵測的準確率,動態紋理模型則會因為物件能萃取的資訊太少而可能造成物件的遺失,因此本實施例之物件偵測系統即利用背景機率模型及動態紋理模型分別對所接收之視訊串流110進行移動物件前景偵測120及紋理物件前景偵測130,並將這兩種前景偵測的資料融合140以作為最後的物件偵測結果150,藉以濾除其中因自然現象所造成的干擾,而提高物件偵測的準確率。
圖2是依照本揭露一實施例所繪示之物件偵測系統的方塊圖,圖3則是依照本揭露一實施例所繪示之物件偵測方法的流程圖。請同時參照圖2及圖3,本實施例之物件偵測系統200包括影像擷取裝置210及處理裝置220。其中,處理裝置220耦接於影像擷取裝置210,並可區分為移動物件偵測模組230、紋理物件偵測模組240及物件濾除模組250。以下即搭配物件偵測系統200中的各項元件說明本實施例之物件偵測方法的詳細步驟:首先,由影像擷取裝置210擷取包括多張影像的視訊串流(步驟S310)。其中,影像擷取裝置210例如是閉路電視(Closed Circuit Television,CCTV)或網路攝影機(IP camera)等監控設備,而用以擷取特定區域的影像以進行監控。上述之視訊串流在被影像擷取裝置210擷取後,隨即透過有線或無線的方式傳送至處理裝置220,以進行後續處理。
需說明的是,為了減少後續執行前景偵測的計算量,影像擷取裝置210在擷取視訊串流之後,還包括藉由一濾波器將所擷取視訊串流中的影像解析度降低,並提供解析度較低的影像給處理裝置做前景偵測,而減少計算量。所述濾波器例如是一個中間值濾波器或其他可轉換任意解析度的濾波器,本實施例不限制其範圍。
處理裝置220在接收到視訊串流時,即利用移動物件偵測模組230對視訊串流中的多張影像進行移動物件前景偵測,藉以獲得包括多個移動物件的第一前景偵測影像(步驟S320)。其中,本實施例係利用固定張數的影像作為統計機率模型中用來計算每個像素點所累積之像素平均值與變異量的基礎,而利用相連之影像作為後續其他影像更新標準的作法則可有效防止背景中有小幅度更動時所可能造成的錯誤。
詳細地說,圖4是依照本揭露一實施例所繪示之移動物件偵測模組的方塊圖,圖5則是依照本揭露一實施例所繪示之移動物件偵測方法的流程圖。請同時參照圖4及圖5,本實施例係將圖2的移動物件偵測模組230區分為背景機率模型建立單元232、特徵比對單元234、投票單元236及連通物件標記單元238,其功能分述如下:背景機率模型建立單元232係針對送入移動物件偵測模組230之視訊串流中最前面連續的多張影像進行處理,以建立背景機率模型。其中,背景機率模型建立單元232會分別計算每個像素在這些影像中之像素值的平均值及變異量,並以此為基礎來建立背景機率模型(步驟S322)。
接著,特徵比對單元234會將每個像素的多個色彩特徵置入此背景機率模型中進行比對,而獲得多個比對結果(步驟S324)。詳細地說,特徵比對單元234例如是將每個像素在不同色彩空間(例如:Y、Cr、Cb)上的顏色分量分別導入背景機率模型中進行比對,以作為後續判斷移動像素的依據。舉例來說,若背景機率模型中針對像素亮度定義的平均值為μ,變異量為δ,則移動像素的判斷公式可定義如下:
|I -μ|>k ×δ (1)
其中,I 代表像素的亮度值,而k 則為常數。當像素的亮度值I 滿足上述公式時,即可判斷此像素為移動像素。
在取得各個色彩特徵的比對結果後,投票單元236即會針對這些比對結果進行投票,以判斷此像素是否為移動像素(步驟S326)。詳細地說,本實施例係對像素中各個色彩特徵的比對結果進行投票,而取比對結果中得票數最多者來判斷像素是否為移動像素。例如,當像素中Y顏色分量與Cr顏色分量的比對結果為移動像素,而Cb顏色分量的比對結果為非移動像素,則投票結果自然是取用Y顏色分量與Cr顏色分量的比對結果,而判斷是此像素為移動像素。
在經由上述步驟判斷出移動像素之後,最後則由連通物件標記單元238將所判斷的移動像素中彼此連通的移動像素標記為移動物件,並將這些移動物件集合成第一前景偵測影像(步驟S328)。詳細地說,連通物件標記單元238會計算彼此相連通之移動像素的個數,並將此個數與一個門檻值比較,以決定是否將這些移動像素連成的區域視為移動物件。其中,當所計算之移動像素個數大於等於門檻值時,則代表這些移動像素連通的區域夠大而足以構成單一物件,此時連通物件標記單元238就會將這些移動像素連通的區域標記為移動物件;反之,當所計算之移動像素的個數小於門檻值時,則代表這些移動像素連通的區域太小而不足以構成單一物件,因此也不會將這些移動像素標記為移動物件。
回到圖3的步驟S320,本實施例之處理裝置220在利用移動物件偵測模組230對視訊串流中的各張影像進行移動物件前景偵測的同時,也會利用紋理物件偵測模組240對視訊串流中的各張影像進行紋理物件前景偵測,藉以獲得包括多個紋理物件的第二前景偵測影像(步驟S330)。其中,紋理物件偵測模組240例如是利用局部二位元圖形的特徵作為每個像素的紋理資訊,並依此建立動態紋理模型。此模型可快速描述出影像中不具紋理的移動物件,而能夠有效的抗拒自然現象所造成的多餘移動物件。
詳細地說,圖6是依照本揭露一實施例所繪示之紋理物件偵測模組的方塊圖,圖7則是依照本揭露一實施例所繪示之紋理物件偵測方法的流程圖。請同時參照圖6及圖7,本實施例係將圖2的紋理物件偵測模組240區分為動態紋理模型建立單元242、紋理比對單元244及連通物件標記單元246,其功能分述如下:首先,動態紋理模型建立單元240係針對送入移動物件偵測模組242之視訊串流中最前面數張連續的影像進行處理,以建立動態紋理模型。其中,動態紋理模型建立單元242會分別計算每個像素在這些影像中的局部二位元圖形,而用以作為像素的紋理資訊,並建立動態紋理模型(步驟S332)。詳細地說,動態紋理模型建立單元242會計算每個像素周圍的多個相鄰像素與像素本身之像素值的差值,然後再利用二分法將這些差值區分為兩種位元值以作為該像素的局部二位元圖形。
接著,紋理比對單元244可藉由比較動態紋理模型中相鄰影像中每個像素的紋理資訊,而判斷出此像素是否為紋理像素(步驟S334)。詳細地說,紋理比對單元244會計算相鄰影像的局部二位元圖形中位元值不同之的像素個數,並將此像素個數與一個門檻值比較,藉以判斷此像素是否為紋理像素。其中,當此像素個數大於門檻值時,即可判斷此像素為紋理像素。
舉例來說,圖8(a)~(c)是依照本揭露一實施例所繪示之建立動態紋理模型的範例。本實施例係將影像中所有像素的像素值取灰階值,而用以進行紋理物件前景偵測,並建立動態紋理模型。以圖8(a)的像素800為例,本實施例取用其周圍8個像素的灰階值來與其本身的灰階值相減,以獲得圖8(b)所示的差值圖形810。接著,藉由二分法將差值圖形810中的每個差值區分為0及1的位元值。此二分法例如是將每個差值取絕對值後拿來與一個門檻值(例如為0)做比較,而將低於此門檻值的差值絕對值標記為0的位元值,以及將高於此門檻值的差值絕對值標記為1的位元值,藉此可獲得圖8(c)所示的局部二位元圖形820,此局部二位元圖形820即可做為像素在此影像中的紋理資訊。最後則可集合每個像素在視訊串流之每張影像中的紋理資訊以建立動態紋理模型。
需說明的是,在利用紋理資訊判斷像素800是否為紋理像素時,例如是由局部二位元圖形820中左上角的像素開始,以順時針的方向取出局部二位元圖形820中像素800周圍8個像素對應的位元值,以獲得像素800的二元序列00101010。接著,將此二元序列00101010與下一張影像中對應像素的二元序列(例如10011000)做比較,可獲得位元值不同的像素個數為4個。最後再將此像素個數與門檻值比較,即可判斷出像素800是否為紋理像素。其中,所述的門檻值例如是二元序列中像素總個數的一半或是其他預設值,在此並不限定。
在經由上述步驟判斷出紋理像素之後,最後則由連通物件標記單元246將彼此連通的移動像素標記為移動物件,並將這些移動物件集合成第二前景偵測影像(步驟S336)。其中,連通物件標記單元246會計算彼此相連通之紋理像素的個數,並將此個數與門檻值比較,以決定是否將這些紋理像素連成的區域標記為紋理物件,其比較方式與上述實施例的連通物件標記單元238相類似,故在此不再贅述。
回到圖3的步驟S330,在處理裝置220結束移動物件前景偵測以及紋理物件前景偵測之後,接著即會利用物件濾除模組230篩選過濾第一前景偵測影像中的移動物件以及第二前景偵測影像中的紋理物件(步驟S340),而將濾除後剩餘的移動物件或紋理物件輸出作為移動物件資訊(步驟S350)。詳細地說,物件濾除模組230係萃取前述兩種前景偵測結果,而將第一前景偵測影像中移動物件的位置拿來與第二前景偵測影像中紋理物件的位置進行空間上比對,以篩選出所需的物件。其中,依據監控場景之不同,可將物件所存在的區域做分類,例如可區分成屬於自然現象的紋理物件以及非屬於自然現象的移動物件。
若所需偵測的物件為非屬於自然現象的移動物件,則物件濾除模組230即會將第一前景偵測影像中位置與紋理物件重疊之移動物件濾除,而以濾除後剩餘的移動物件作為最後的物件偵測結果;反之,若所需偵測的物件為屬於自然現象的紋理物件,則物件濾除模組230會將第二前景偵測影像中位置與移動物件重疊之紋理物件濾除,而以濾除後剩餘的紋理物件作為最後的物件偵測結果。以下則針對移動物件偵測的情形,另舉一實施例說明其詳細步驟。
圖9是依照本揭露一實施例所繪示之物件濾除模組的方塊圖,圖10則是依照本揭露一實施例所繪示之物件濾除方法的流程圖。請同時參照圖8及圖9,本實施例係將圖1的物件濾除模組250區分為驗證單元252及篩選單元254,其功能分述如下:首先,利用驗證單元252驗證比對各個移動物件及紋理物件所涵蓋的區域範圍,藉以去除各個移動物件所涵蓋之區域範圍中與紋理物件重疊的部分(步驟S1010)。詳細地說,若移動物件所涵蓋之區域範圍與紋理物件重疊,也就代表此移動物件具有紋理,而可合理判斷此移動物件應是由自然現象所造成。此時,驗證單元252只需將此重疊部分去除,則剩餘的移動物件就是所需的真實移動的物件。
接著,篩選單元254會依據驗證比對後之移動物件所涵蓋的區域範圍,對剩餘的移動物件進行篩選過濾(步驟S1020),此步驟可再細分為下列子步驟。其中,篩選單元254會先計算驗證比對後之各個移動物件存在與否的可靠度(步驟S1022),此可靠度例如是剩餘之移動物件所包含的移動像素個數。接著,篩選單元254即將所計算的可靠度與一個可靠度門檻值比較,以判斷此可靠度是否大於等於可靠度門檻值(步驟S1024),據以判斷移動物件是否真實存在,並決定是否保留此移動物件。
其中,當所計算的可靠度大於等於可靠度門檻值時,其對應的移動物件即被視為存在,而篩選單元254也會保留此移動物件的資訊(步驟S1026);反之,當所計算的可靠度小於可靠度門檻值時,其對應的移動物件則被視為不存在,而篩選單元254也會將此移動物件的資訊刪除(步驟S1028)。
圖11是依照本揭露一實施例所繪示之物件濾除方法的範例。請參照圖11,本實施例係以影像串流中的影像1110為例說明上述物件濾除方法的詳細步驟。其中,對影像1110進行移動物件前景偵測可獲得前景偵測影像1120,而其中的黑色區域即為所偵測出的移動物件。另一方面,對影像1110進行紋理物件前景偵測則可獲得前景偵測影像1130,而其中的黑色區域即為所偵測出的紋理物件。
在進行物件濾除時,例如是以前景偵測影像1120中的移動物件資訊作為主要輸出的移動物件資訊,而以前景偵測影像1130中的紋理物件資訊作為濾除前景偵測影像1120中非屬自然現象所造成之移動物件的依據。例如,前景偵測影像1120中的移動物件1122係與前景偵測影像1130中的紋理物件1132重疊,因此在進行物件濾除時,即會將前景偵測影像1120中的移動物件1122濾除。同理,前景偵測影像1120中的移動物件1124也與前景偵測影像1130中的紋理物件1134及1136有部分重疊,因此在進行物件濾除時,也會將前景偵測影像1120之移動物件1122中與紋理物件1134及1136重疊的部分濾除。最後,濾除後剩餘的移動物件1124即可輸出作為真實的移動物件資訊1140。
值得一提的是,本揭露在利用上述的物件偵測方法偵測出視訊串流中的移動物件資訊之後,還包括藉由一連串的物件標記與過濾機制,包含物件主軸及接地點的位置計算、雜訊濾除、陰影去除等技術,而建立一個更為強健且具有高準確率的多目標物件偵測系統。
綜上所述,本揭露之物件偵測方法及系統藉由背景機率模型及動態紋理模型的建立,而可偵測出視訊串流中的移動物件及紋理物件,並進一步區分出屬於自然現象或非屬於自然現象所造成的物件。而藉由去除自然現象所造成的多餘移動物件,即可增加在複雜場景下的物件偵測準確率。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
110...視訊串流
120...移動物件前景偵測
130...紋理物件前景偵測
140...資料融合
150...物件偵測結果
200...物件偵測系統
210...影像擷取裝置
220...處理裝置
230...移動物件偵測模組
232...背景機率模型建立單元
234...特徵比對單元
236...投票單元
238...連通物件標記單元
240...紋理物件偵測模組
242...動態紋理模型建立單元
244...紋理比對單元
246...連通物件標記單元
250...物件濾除模組
252...驗證單元
254...篩選單元
800...像素
810...差值圖形
820...局部二位元圖形
1110...影像
1120、1130...前景偵測影像
1122、1124...移動物件
1132、1134、1136...紋理物件
1140...移動物件資訊
S310~S350...本揭露一實施例之物件偵測方法之各步驟
S322~S328...本揭露一實施例之移動物件偵測方法之各步驟
S332~S336...本揭露一實施例之紋理物件偵測方法之各步驟
S1010~S1028...本揭露一實施例之物件濾除方法之各步驟
圖1是依照本揭露一實施例所繪示之物件偵測系統架構的示意圖。
圖2是依照本揭露一實施例所繪示之物件偵測系統的方塊圖。
圖3則是依照本揭露一實施例所繪示之物件偵測方法的流程圖。
圖4是依照本揭露一實施例所繪示之移動物件偵測模組的方塊圖。
圖5則是依照本揭露一實施例所繪示之移動物件偵測方法的流程圖。
圖6是依照本揭露一實施例所繪示之紋理物件偵測模組的方塊圖。
圖7則是依照本揭露一實施例所繪示之紋理物件偵測方法的流程圖。
圖8(a)~(c)是依照本揭露一實施例所繪示之建立動態紋理模型的範例。
圖9是依照本揭露一實施例所繪示之物件濾除模組的方塊圖。
圖10則是依照本揭露一實施例所繪示之物件濾除方法的流程圖。
圖11是依照本揭露一實施例所繪示之物件濾除方法的範例。
110...視訊串流
120...移動物件前景偵測
130...紋理物件前景偵測
140...資料融合
150...物件偵測結果

Claims (22)

  1. 一種物件偵測方法,適於偵測包括多張影像之一視訊串流中的一移動物件資訊,該方法包括下列步驟:對各該些影像進行一移動物件前景偵測,獲得包括多個移動物件的一第一前景偵測影像;對各該些影像進行一紋理物件前景偵測,獲得包括多個紋理物件的一第二前景偵測影像;以及篩選過濾該第一前景偵測影像中的該些移動物件及該第二前景偵測影像中的該些紋理物件,而將濾除後剩餘的該些移動物件或該些紋理物件輸出作為該移動物件資訊,其中,對各該些影像進行該紋理物件前景偵測,獲得包括多個紋理物件的該第二前景偵測影像包括:針對連續的該些影像中的多個像素,計算每一該些像素在每一該些影像中之一局部二位元圖形以作為該像素的一紋理資訊;比較相鄰影像中每一該些像素的紋理資訊,以判斷該像素是否為一紋理像素;以及標記連通的該些紋理像素為該紋理物件,並集合該些紋理物件以作為該第二前景偵測影像,其中,計算每一該些像素在每一該些影像中之該局部二位元圖形的步驟包括:計算該像素周圍的多個相鄰像素與該像素本身之像素值的差值;以及 利用一二分法將該些差值區分為兩種位元值,而形成該像素的該局部二位元圖形。
  2. 如申請專利範圍第1項所述之物件偵測方法,其中對各該些影像進行該移動物件前景偵測,獲得包括多個移動物件的該第一前景偵測影像的步驟包括:利用該視訊串流中連續的多張影像建立一背景機率模型;以及利用該背景機率模型對其他影像進行該移動物件前景偵測,以獲得該第一前景偵測影像。
  3. 如申請專利範圍第2項所述之物件偵測方法,其中利用該視訊串流中連續的該些影像建立該背景機率模型的步驟包括:針對連續的該些影像中的多個像素,計算每一該些像素在該些影像中之像素值的一平均值及一變異量;利用每一該些像素之該平均值及該變異量建立該背景機率模型,而用以對其他影像進行該移動物件前景偵測。
  4. 如申請專利範圍第2項所述之物件偵測方法,其中利用該背景機率模型對其他影像進行該移動物件前景偵測,以獲得該第一前景偵測影像的步驟包括:將每一該些像素之多個色彩特徵置入該背景機率模型以進行比對,而獲得多個比對結果;對該些比對結果進行投票,以判斷該像素是否為一移動像素;以及標記連通的該些移動像素為該移動物件,並集合該些 移動物件以作為該第一前景偵測影像。
  5. 如申請專利範圍第4項所述之物件偵測方法,其中標記連通的該些移動像素為該移動物件的步驟更包括:計算連通的該些移動像素的個數,並與一門檻值比較;當所計算之該些移動像素的個數大於等於該門檻值時,將該些移動像素標記為該移動物件;以及當所計算之該些移動像素的個數小於該門檻值時,不將該些移動像素標記為該移動物件。
  6. 如申請專利範圍第1項所述之物件偵測方法,其中比較相鄰影像的該些局部二位元圖形,以判斷每一該些像素是否為該紋理像素的步驟包括:計算相鄰影像的該些局部二位元圖形中位元值不同的一像素個數,並與一門檻值比較;以及當該像素個數大於該門檻值時,判斷該像素為該紋理像素。
  7. 如申請專利範圍第1項所述之物件偵測方法,其中標記連通的該些紋理像素為該紋理物件的步驟更包括:計算連通的該些紋理像素的個數,並與一門檻值比較;當所計算之該些紋理像素的個數大於等於該門檻值時,將該些紋理像素標記為該紋理物件;以及當所計算之該些紋理像素的個數小於該門檻值時,不將該些紋理像素標記為該紋理物件。
  8. 如申請專利範圍第1項所述之物件偵測方法,其中篩選過濾該第一前景偵測影像中的該些移動物件及該第二前景偵測影像中的該些紋理物件,而將濾除後剩餘的該些移動物件或該些紋理物件輸出作為該移動物件資訊的步驟包括:濾除該第一前景偵測影像中位置與該些紋理物件重疊之該些移動物件,並將濾除後剩餘的該些移動物件輸出作為該移動物件資訊。
  9. 如申請專利範圍第8項所述之物件偵測方法,其中濾除該第一前景偵測影像中位置與該些紋理物件重疊之該些移動物件的步驟包括:驗證比對各該些移動物件及各該些紋理物件所涵蓋之一區域範圍,以去除各該些移動物件所涵蓋之該區域範圍中與該些紋理物件重疊的部分;依據驗證比對後之該些移動物件所涵蓋之該區域範圍,篩選過濾該些移動物件。
  10. 如申請專利範圍第9項所述之物件偵測方法,其中依據驗證比對後之該些移動物件所涵蓋之該區域範圍,篩選過濾該些移動物件的步驟包括:計算驗證比對後之各該些移動物件存在與否的一可靠度;以及根據所計算之該些可靠度,篩選過濾該些移動物件。
  11. 如申請專利範圍第10項所述之物件偵測方法,其中用以判斷該移動物件存在與否的該可靠度為該移動物件 所包含之該些移動像素的個數。
  12. 如申請專利範圍第11項所述之物件偵測方法,其中根據所計算之該些可靠度,篩選過濾該些移動物件的步驟包括:將所計算之該些可靠度與一可靠度門檻值比較;當該可靠度大於等於該可靠度門檻值時,將對應的該移動物件視為存在,而保留該移動物件的資訊;以及當該可靠度小於該可靠度門檻值時,將對應的該移動物件視為不存在,而刪除該移動物件的資訊。
  13. 如申請專利範圍第1項所述之物件偵測方法,其中篩選過濾該第一前景偵測影像中的該些移動物件及該第二前景偵測影像中的該些紋理物件,而將濾除後剩餘的該些移動物件或該些紋理物件輸出作為該移動物件資訊的步驟包括:濾除該第二前景偵測影像中位置與該些移動物件重疊之該些紋理物件,並將濾除後剩餘的該些紋理物件輸出作為該移動物件資訊。
  14. 如申請專利範圍第1項所述之物件偵測方法,其中在對各該些影像進行該移動物件前景偵測及該紋理物件前景偵測之前,該方法更包括:降低該些影像的解析度,並以降低解析度後的該些影像進行該移動物件前景偵測及該紋理物件前景偵測。
  15. 一種物件偵測系統,包括:一影像擷取裝置,擷取包括多張影像之一視訊串流; 以及一處理裝置,耦接該影像擷取裝置以偵測該視訊串流中的一移動物件資訊,包括:一移動物件偵測模組,對各該些影像進行一移動物件前景偵測,獲得包括多個移動物件的一第一前景偵測影像;一紋理物件偵測模組,對各該些影像進行一紋理物件前景偵測,獲得包括多個紋理物件的一第二前景偵測影像;以及一物件濾除模組,篩選過濾該第一前景偵測影像中的該些移動物件及該第二前景偵測影像中的該些紋理物件,而將濾除後剩餘的該些移動物件或該些紋理物件輸出作為該移動物件資訊,其中,該紋理物件偵測模組包括:一動態紋理模型建立單元,針對連續的該些影像中的多個像素,計算每一該些像素在每一該些影像中之一局部二位元圖形以作為該像素的一紋理資訊,並建立一動態紋理模型;一紋理比對單元,比較該動態紋理模型中相鄰影像之每一該些像素的紋理資訊,以判斷該像素是否為一紋理像素;以及一連通物件標記單元,標記連通的該些紋理像素為該紋理物件,並集合該些紋理物件以作為該第二前景偵測影像, 其中,該動態紋理模型建立單元計算該像素周圍的多個相鄰像素與該像素本身之像素值的差值,以及利用一二分法將該些差值區分為兩種位元值,而形成該像素的該局部二位元圖形。
  16. 如申請專利範圍第15項所述之物件偵測系統,其中該移動物件偵測模組包括:一背景機率模型建立單元,針對連續的該些影像中的多個像素,計算每一該些像素在該些影像中之像素值的一平均值及一變異量,並據以建立該背景機率模型;以及一特徵比對單元,將每一該些像素之多個色彩特徵置入該背景機率模型建立單元所建立之該背景機率模型中,以進行比對並獲得多個比對結果;一投票單元,對該特徵比對單元所獲得的該些比對結果進行投票,以判斷該像素是否為一移動像素;以及一連通物件標記單元,標記連通的該些移動像素為該移動物件,並集合該些移動物件以作為該第一前景偵測影像。
  17. 如申請專利範圍第15項所述之物件偵測系統,其中該物件濾除模組包括濾除該第一前景偵測影像中位置與該些紋理物件重疊之該些移動物件,並將濾除後剩餘的該些移動物件輸出作為該移動物件資訊。
  18. 如申請專利範圍第15項所述之物件偵測系統,其中該物件濾除模組包括:一驗證單元,驗證比對各該些移動物件及各該些紋理 物件所涵蓋之一區域範圍,以去除各該些移動物件所涵蓋之該區域範圍中與該些紋理物件重疊的部分;以及一篩選單元,依據該驗證單元驗證比對後之該些移動物件所涵蓋之該區域範圍,篩選過濾該些移動物件。
  19. 如申請專利範圍第18項所述之物件偵測系統,其中該篩選單元包括計算驗證比對後之各該些移動物件存在與否的一可靠度,而據以篩選過濾該些移動物件。
  20. 如申請專利範圍第19項所述之物件偵測系統,其中用以判斷該移動物件存在與否的該可靠度為該移動物件所包含之該些移動像素的個數。
  21. 如申請專利範圍第15項所述之物件偵測系統,其中該物件濾除模組包括濾除該第二前景偵測影像中位置與該些移動物件重疊之該些紋理物件,並將濾除後剩餘的該些紋理物件輸出作為該移動物件資訊。
  22. 如申請專利範圍第15項所述之物件偵測系統,其中該影像擷取裝置更包括降低所擷取之該視訊串流中的該些影像的解析度,而提供降低解析度後的該些影像給該處理裝置,以進行該移動物件前景偵測及該紋理物件前景偵測。
TW098139336A 2009-11-19 2009-11-19 物件偵測方法及系統 TWI413024B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098139336A TWI413024B (zh) 2009-11-19 2009-11-19 物件偵測方法及系統
US12/700,706 US8559670B2 (en) 2009-11-19 2010-02-04 Moving object detection detection within a video stream using object texture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098139336A TWI413024B (zh) 2009-11-19 2009-11-19 物件偵測方法及系統

Publications (2)

Publication Number Publication Date
TW201118804A TW201118804A (en) 2011-06-01
TWI413024B true TWI413024B (zh) 2013-10-21

Family

ID=44011316

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098139336A TWI413024B (zh) 2009-11-19 2009-11-19 物件偵測方法及系統

Country Status (2)

Country Link
US (1) US8559670B2 (zh)
TW (1) TWI413024B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI673653B (zh) * 2018-11-16 2019-10-01 財團法人國家實驗研究院 移動物體偵測系統及方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL197996A (en) * 2009-04-05 2014-07-31 Rafael Advanced Defense Sys A method for locating people
TWI482123B (zh) * 2009-11-18 2015-04-21 Ind Tech Res Inst 多狀態目標物追蹤方法及系統
CN102236899B (zh) * 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
US8565482B2 (en) * 2011-02-28 2013-10-22 Seiko Epson Corporation Local difference pattern based local background modeling for object detection
JP2013033317A (ja) * 2011-08-01 2013-02-14 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
TWI489395B (zh) * 2011-11-28 2015-06-21 Ind Tech Res Inst 前景偵測裝置及方法
US9569680B2 (en) * 2012-02-02 2017-02-14 Xerox Corporation Automated running-engine detection in stationary motor vehicles
TW201339991A (zh) * 2012-03-30 2013-10-01 rui-cheng Yan 車輛駕駛頭部移動偵測方法與系統
TWI479431B (zh) * 2012-04-03 2015-04-01 Univ Chung Hua 物件追蹤方法
TWI478078B (zh) * 2012-05-31 2015-03-21 Senao Networks Inc A motion detection device and a motion detection method
DE102012215465A1 (de) * 2012-08-31 2014-03-06 Robert Bosch Gmbh Verfahren und Informationssystem zum Filtern von Objektinformationen
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
TWI602156B (zh) * 2013-06-14 2017-10-11 亞洲大學 偵測移動前景之系統及其方法
CN104346775B (zh) * 2013-08-02 2016-09-21 南京理工大学 一种提取图像局部纹理粗糙度的方法
CN104346800B (zh) * 2013-08-02 2016-12-28 南京理工大学 一种基于纹理显著性的微光图像目标检测方法
US9659350B2 (en) * 2014-01-31 2017-05-23 Morpho, Inc. Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof
KR102330322B1 (ko) * 2014-09-16 2021-11-24 삼성전자주식회사 영상 특징 추출 방법 및 장치
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术(北京)有限公司 图像分割方法和装置
US9928708B2 (en) * 2014-12-12 2018-03-27 Hawxeye, Inc. Real-time video analysis for security surveillance
US9858498B2 (en) * 2015-09-23 2018-01-02 Qualcomm Incorporated Systems and methods for incremental object detection using dual-threshold local binary pattern operators
WO2017068397A1 (en) 2015-10-23 2017-04-27 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A moving object detection method
US9898665B2 (en) 2015-10-29 2018-02-20 International Business Machines Corporation Computerized video file analysis tool and method
CN106018406A (zh) * 2016-05-19 2016-10-12 武汉科技大学 一种基于全景矿相图的烧结矿显微结构分析方法
US9736442B1 (en) * 2016-08-29 2017-08-15 Christie Digital Systems Usa, Inc. Device, system and method for content-adaptive resolution-enhancement
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
TWI644264B (zh) * 2017-12-22 2018-12-11 晶睿通訊股份有限公司 影像辨識方法及其影像辨識裝置
US10699126B2 (en) * 2018-01-09 2020-06-30 Qualcomm Incorporated Adaptive object detection and recognition
CA3051525A1 (en) * 2018-08-08 2020-02-08 Sohail Zangenehpour Apparatus and method for detecting, classifying and tracking road users on frames of video data
WO2020101472A1 (en) * 2018-11-14 2020-05-22 Mimos Berhad Method and system for counting and determining direction of movement of moving objects
CN109584266B (zh) * 2018-11-15 2023-06-09 腾讯科技(深圳)有限公司 一种目标检测方法及装置
CN110009664B (zh) * 2019-04-11 2021-08-27 南京航空航天大学金城学院 一种基于响应图融合的红外目标跟踪方法及装置
CN110827316A (zh) * 2019-10-29 2020-02-21 贵州民族大学 人群恐慌四散检测方法、***、可读存储介质和电子设备
US11109586B2 (en) 2019-11-13 2021-09-07 Bird Control Group, Bv System and methods for automated wildlife detection, monitoring and control
CN113158963B (zh) * 2021-05-06 2024-06-07 英特灵达信息技术(深圳)有限公司 一种高空抛物的检测方法及装置
TWI819438B (zh) * 2021-12-21 2023-10-21 緯創資通股份有限公司 影像辨識裝置及影像辨識方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083860A (en) * 1990-08-31 1992-01-28 Institut For Personalized Information Environment Method for detecting change points in motion picture images
US5581276A (en) * 1992-09-08 1996-12-03 Kabushiki Kaisha Toshiba 3D human interface apparatus using motion recognition based on dynamic image processing
US20030156759A1 (en) * 2002-02-19 2003-08-21 Koninklijke Philips Electronics N.V. Background-foreground segmentation using probability models that can provide pixel dependency and incremental training
US20050036658A1 (en) * 2001-11-21 2005-02-17 Daniel Gibbins Non-motion detection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0326374D0 (en) * 2003-11-12 2003-12-17 British Telecomm Object detection in images
US7359552B2 (en) * 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
US8209618B2 (en) * 2007-06-26 2012-06-26 Michael Garofalo Method of sharing multi-media content among users in a global computer network
US8913781B2 (en) * 2008-08-20 2014-12-16 SET Corporation Methods and systems for audience monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083860A (en) * 1990-08-31 1992-01-28 Institut For Personalized Information Environment Method for detecting change points in motion picture images
US5581276A (en) * 1992-09-08 1996-12-03 Kabushiki Kaisha Toshiba 3D human interface apparatus using motion recognition based on dynamic image processing
US20050036658A1 (en) * 2001-11-21 2005-02-17 Daniel Gibbins Non-motion detection
US20030156759A1 (en) * 2002-02-19 2003-08-21 Koninklijke Philips Electronics N.V. Background-foreground segmentation using probability models that can provide pixel dependency and incremental training

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI673653B (zh) * 2018-11-16 2019-10-01 財團法人國家實驗研究院 移動物體偵測系統及方法

Also Published As

Publication number Publication date
US8559670B2 (en) 2013-10-15
US20110116682A1 (en) 2011-05-19
TW201118804A (en) 2011-06-01

Similar Documents

Publication Publication Date Title
TWI413024B (zh) 物件偵測方法及系統
TWI750498B (zh) 視訊流的處理方法和裝置
Verdoliva et al. A feature-based approach for image tampering detection and localization
JP7014161B2 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
WO2017221643A1 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
CN102892007B (zh) 促进多个摄像机间颜色平衡同步和获得跟踪的方法和***
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和***
Cheraghi et al. Moving object detection using image registration for a moving camera platform
CN111027398A (zh) 行车记录仪视频遮挡检测方法
CN110880184A (zh) 一种基于光流场进行摄像头自动巡检的方法及装置
JP2021118757A (ja) スマート掃除ロボット
Siricharoen et al. Robust outdoor human segmentation based on color-based statistical approach and edge combination
US20130027550A1 (en) Method and device for video surveillance
Verma et al. Analysis of moving object detection and tracking in video surveillance system
Jeong et al. Probabilistic method to determine human subjects for low-resolution thermal imaging sensor
CN108961287A (zh) 智能货架触发方法、智能货架***、存储介质及电子设备
KR101581162B1 (ko) 실시간 영상 기반의 화염, 연기 및 물체 움직임 자동 감지 방법, 장치 및 시스템
CN104574340A (zh) 一种基于历史图像的视频入侵检测方法
EP2641232A1 (en) Change detection in video data
CN116189037A (zh) 一种火焰检测的识别方法、装置及终端设备
Hsieh et al. Grid-based template matching for people counting
Tseng et al. Automatic detection and tracking in multi-fisheye cameras surveillance system
CN113989265A (zh) 基于深度学习的速度传感器螺栓丢失故障识别方法
Li et al. A method for background modeling and moving object detection in video surveillance
Hu et al. Motion objects detection based on higher order statistics and hsv color space

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees