TWI405150B - 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機 - Google Patents

視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機 Download PDF

Info

Publication number
TWI405150B
TWI405150B TW098128936A TW98128936A TWI405150B TW I405150 B TWI405150 B TW I405150B TW 098128936 A TW098128936 A TW 098128936A TW 98128936 A TW98128936 A TW 98128936A TW I405150 B TWI405150 B TW I405150B
Authority
TW
Taiwan
Prior art keywords
pixels
bits
images
step comprises
camera
Prior art date
Application number
TW098128936A
Other languages
English (en)
Other versions
TW201013578A (en
Inventor
Johan Almbladh
Original Assignee
Axis Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis Ab filed Critical Axis Ab
Publication of TW201013578A publication Critical patent/TW201013578A/zh
Application granted granted Critical
Publication of TWI405150B publication Critical patent/TWI405150B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Description

視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機
本揭露關於視訊分析技術,而且更特定來說,關於用於偵測在視訊中之移動的方法,電腦程式與攝影機。
視訊分析技術延展到桌上型電腦系統的編碼與解碼影像之外。視訊分析技術是用於分析靜止內容與視訊影像的技術,並且不止用在決定適當的訊框速率、解析度與其類似物。在視訊分析技術中,對影像與視訊做內容分析,像是在影像中項目的移動。通常會忽略視訊中不感興趣的部分,而其他部分會被詳細分析以擷取相關資訊,像是移動。
特定地來說,移動偵測涵蓋了識別在影像空間中移動之視訊序列中影像的空間區域。舉例來說,這可以包括搖擺的樹與移動的影子,但不包括光線的改變或是影像雜訊。當視訊的一個區域在先前的訊框中靜止卻在從一個訊框到下一個訊框時忽然間移動時,移動偵測的問題會變得複雜。這個反向的問題也是有可能發生的,亦即在很多訊框中移動的區域可能忽然停止。
很多目前可得的移動偵測方法與系統偵測改變而不是移動。該等方法僅僅搜尋在訊框之間或者在目前訊框與一系列先前訊框之間影像區域的不同。舉例來說,在背景減去方法中,使用舉例來說像是無限脈衝響應(IIR)濾波器由一組在視訊中的先前影像來建構背景或參考影像。接著藉由施加一個臨界值到目前影像與該背影或該參考影像的絕對差異來實行偵測。該臨界值可以是一個簡單的二進位函數,其中假如該差異超越臨界值時結果是「1」,否則的話就是「0」。
其他方法企圖建構背景的模型,舉例來說,像是具有平均值與變異數值的高斯分佈。在高斯混合模型中,每一個像素由好幾個高斯分佈所表示,而每一個高斯分佈根據它的變異數與它被觀察了多少次來秤重。一個除非其重量減少到在特定的臨界值以下否則不符合在背景模型內的像素被視為可能含有移動資訊的突出像素。
如同本發明的發明人所認知到的,偵測改變的方法與企圖為背景影像建構模型的方法對於光線的改變都非常敏感。該等方法在處理個別像素時不能簡單地區別「真實的」影像改變與光線效果。
進一步來說,本發明之發明人也認知到,移動評估方法通常只以比較兩個連續的影像為基礎,像是決定移動中影像區域的速度的光流動,該等方法有計算上的需求或是非常不精確,或是兩者都有。分析超過兩個連續影像時,對於實際應用來說,計算的需求被認為太高。
最近的可得空間-時間濾波器個別地分析影像,而且他們使用高層級模型以掌控時間方面,而同時在空間上與時間上處理視訊的少部分空間-時間演算法對於即時內建處理有太多計算上的要求。
以先前的觀點來看,本揭露的目標是提供用於視訊移動偵測的方法,電腦程式與可以正確識別具有大量發光改變之環境中的移動且有效執行這個功能的攝影機。
一個例示性的視訊移動偵測方法將複數個視訊影像組合成影像體積。複數個影像中的每一者包括複數個像素,而該影像體積具有對應於寬度的維度X與對應於高度的維度Y,以及對應於深度的t。在形成影像體積之後,該影像體積沿著(X,t)平面被切片,而且視情況在每個像素上實行對數轉換以從照明分量將反射分量分離。
接著將空間-時間濾波器施用在切片影像體積並產生經濾波的結果。在濾波之後,該經濾波結果的絕對值被放置通過一個定限函數以產生包括定義良好之空間-時間邊緣的二進位影像。最後以至少一個經連接的像素串列來搜尋該二進位影像。一個經連接的像素串列並不平行於代表移動的任何軸。
藉由連結隨附圖式參照下列的詳細說明,可以更完整認知到本發明與很多其中的附加優點,並且可以對本發明了解得更透徹。
現在參照圖式,在該數個視圖中,類似的元件符號代表相同或對應的部分。圖1是根據本發明之用於捕捉影像之網路攝影機10(或是IP-攝影機)的方塊圖。但是更一般而言,該攝影機10可以是任何可以產生影像序列與將影像序列或來自影像序列的影像資料(該影像資料舉例來說像是影像元資料)在網路(私人、公眾或混合)上與使用客戶(圖3,51)作通訊的任何數位攝影機。在本說明書內容中的用語「視訊」不限於傳統的移動圖片,也包括在時間序列中捕捉的靜止影像(像是每秒一個,或是每秒兩個等)。該網路攝影機10包括本地端視訊分析元件模組20,顯示在本實施例中施行作為以在處理器19上之處理為基礎的軟體。但是也可以使用硬體、韌體或混合模組。網路攝影機10包括用於收集入射光的透鏡系統12;影像感測器13,例如電荷耦合元件(CCD)、CMOS感測器或類似的感測器,用於記錄入射光;影像處理模組15(以硬體、軟體或混合方法施行);影像/視訊編碼器21;CPU 19,管理舉例來說像是視訊分析元件20、記憶體17與網路介面22。該影像感測器13也可以是用於偵測紅內光輻射的IR-感測器。該影像/視訊編碼器21經配置以將經捕捉數位影像資料編碼成用於連續視訊序列、有限制的視訊序列、靜止影像或串流影像/視訊之複數個已知格式中任何一者。舉例來說,該影像資訊可以編碼成MPEG1、MPEG2、MPEG4、H.264、JPEG、M-JPEG與點陣圖化等等。
可以產生類比影像序列的類比攝影機(54,顯示於圖3)與像是視訊伺服器或視訊編碼器的轉換器57也可以用來取代網路攝影機10。該轉換器將來自類比攝影機54的類比影像序列轉換成數位影像序列或影像資料並且提供數位影像序列或影像資料給網路。而後在該轉換器中實行該視訊/影像編碼與本地端分析元件。
圖2是根據本實施例的客戶電腦或是監督中心電腦的概略圖。該電腦包括計算裝置100,該計算裝置100連接至鍵盤112、指標裝置111、視訊獲取單元113與顯示器110。
該計算裝置100包括處理器101,該處理器101實行控制處理並且與主記憶體105連接以用於暫時儲存經處理的資料,而ROM 105儲存由處理器101執行的指令。磁碟控制器107控制至少磁碟108與CD-ROM 109,其中視訊序列可在處理前或處理後儲存。顯示器控制器104用來控制外部顯示器110,而I/O介面102用來控制其他外部裝置,像是鍵盤112、指標裝置111與視訊獲取單元113。匯流排103與所有該等元件互連。
舉例來說,該計算裝置100可以是實行Pentium處理器的PC。儲存在ROM 106的指令組可以提供作為公用應用程式、背景作業程式或是作業系統的部分或是其中的組合而與連結處理器與作業系統一起執行,該等作業系統像是VISTA、UNIX、SOLARIS、LINUX、APPLE MAC-OS與其他習於此技術者已知的系統。
該計算裝置100的主記憶體105可以是整合至該PC的動態或是靜態隨機存取記憶體(RAM),或可以是其他記憶體裝置,像是FLASH、EEPROM、光碟、伺服器與其類似物。此外也可以從視訊移動偵側系統分離至少主記憶體105的一部分。
該視訊移動偵側系統也可以施行在硬體裝置上,像是FPGA、ASIC、微控制器、PLD或其他這一類的處理裝置(處理器)。
視訊獲取單元113的例子包括視訊攝影機、卡式錄影機(VCR)、數位多功能光碟(DVD)錄影機與其類似物。指標裝置111的例子包括滑鼠、軌跡球、觸控板等,而顯示器110舉例來說可以是視訊監視器。
如圖3所示,網路攝影機10可以是經由私人網路本地端連接連接到一或多個使用客戶51或是經由公眾網路遠端連接到一或多個使用客戶51。該網路攝影機的網路介面可以讓攝影機和使用者互相通訊,該通訊不只是在影像或視訊方面,也控制了水平旋轉/傾斜/縮放機制、音訊、影像與視訊設定等等的資料。該使用客戶51舉例來說可以是監督中心52、客戶電腦51或是網路視訊錄影機(NVR)53,可以是用於儲存、操控及/或中繼來自攝影機的影像序列。圖3意圖顯示可能與監視攝影機互動的不同使用客戶。舉例來說,網路攝影機可以以影像或視訊來服務超過一個客戶。
視訊分析技術應用程式(像是移動偵測)是以來自網路攝影機10或類比攝影機54捕捉之影像序列的影像分析為基礎。該等影像的分析可以實行在網路攝影機、監督中心52、客戶電腦51或NVR 53上。但是在網路攝影機10或轉換器57中實行視訊分析技術是有利的,因為視訊分析技術可以在不使用大量頻寬之傳送的網路下載下實行。因此這個優點特別相關於使用者對於連續被提供影像序列不感興趣的應用時,例如在某些使用者只有在有東西出現在攝影機視線裡才被提供影像序列的應用。因為使用了在網路攝影機10或轉換器57中的視頻分析技術應用程式,所以可以擷取元資料(也就是與影像有關的資料,舉例來說像是說明影像序列中發生什麼事的資料)。在特定狀況下(舉例來說,在沒有警報的狀況下),影像序列從攝影機到使用者的傳送接著可以由元資料取代。可以提供不持續傳送影像序列的系統以節省頻寬或是促進系統的可擴充性,因為要增加多餘的網路攝影機到這樣的系統是比較容易的。但是在替代實施例中,是讓客戶電腦51及/或監督中心52實行視頻分析技術。
接下來,說明可以在圖1之視訊移動偵側系統上執行的視訊移動偵側方法。
圖4是視訊序列200之影像201的集合,該視訊序列200之影像201的集合舉例來說由視訊移動偵側系統的視訊獲取單元113加以捕捉。在這個非限制性的例子中,視訊序列200的目標包括個人202、外套204與垂直圓柱203。當然,如同習於此技術者所了解的,該方法也可以處理含有其他目標物的影像。進一步來說,影像201可以配置成讓最近的影像在其他影像前面,或是讓最近的影像在其他影像後面。
在圖4與圖5中,組合視訊序列200的影像201以形成影像體積300。該視訊序列200包含影像201I1 、I2 、…IN ,其中N等於或大於3。接著該影像體積300被沿著(X,t)平面切片以形成兩個影像體積部分301與302。但是該影像體積300也可以沿著(Y,t)平面切片,這並不偏離本揭露的範疇。
影像體積部分301的頂端包括圓柱305、個人303與至少一個黑暗的水平線304(平行於Y軸)。該圓柱305是靜止的,並且因此形成平行於t軸(也就是時間軸)的線。但是個人303在視訊序列200的獲取期間已經移動。結果,該個人303沿著影像體積部分301的頂端形成曲線,並且不平行於任何軸。
該黑暗的水平線304代表了光線的改變。舉例來說,線304是光線消失的結果。但是如同本發明之發明人認知到的,這一類的光線改變總是平行於X軸或Y軸,並且能因此輕易地被識別為光線改變而不是移動並進而被抑制。使用差異偵測或移動評估方法的話,不可能抑制這一類的光線改變。
在影像體積300切片成影像體積部分301與302之後,在兩個影像體積部分301與302的每個像素上施用對數轉換以分離反射分量與照明分量。視情況而言,該照明分量可以藉由高通濾波在影像體積300中的像素來加以抑制。
接下來,以空間-時間濾波器濾波該影像體積300以產生圖6中的影像體積400與對應部分401與402。該空間-時間濾波器是一個邊緣強化濾波器。因為這樣,該空間-時間濾波器強化了個人403與圓柱404的邊緣。
舉例來說,可以使用3 x 3的Sobel濾波器核心函數(Sobel filter kernel)來達成空間-時間濾波。進一步來說,也可以使用在美國專利申請案序號第61/100575號中說明的方法來達成空間-時間濾波,該申請案實施了單一指令多種資料(SIMD)指令以同時處理多個像素,而在濾波中讓每個像素中的位元數目保持恆定。在以空間-時間濾波器濾波之後,施用臨界函數到影像體積400的像素上以用於資料減少;或者該臨界函數作為濾波器的部分施用到影像體積400的像素上以用於資料減少。
圖7是所得的影像體積500與對應部分501與502。該臨界函數經由每個像素的二進位表示進一步強調了邊緣。舉例來說,符合預定臨界值(例如大於等於50%的灰階值)的像素被給定「1」的值(黑),而在臨界值以下的像素被給定「0」的值(白)。在影像體積500中,定義個人503的邊緣清楚地從他們的周遭環境中被區分出來,而定義圓柱504的邊緣也是。如同以下所說明的,因為每個像素現在只由「1」或「0」表示,允許了對於影像更有效的搜尋。
圖8是在(X,t)平面上的影像部分600,以如上面說明般被處理。像素601在這個例子中被識別為起始像素。從像素601開始,被柵格化的搜尋602a、602b、603a、603b、604a、604b延伸至影像部分600的邊緣。搜尋涵蓋了識別沿著搜尋線全都具有「1」的值(也就是全都是黑色的)的像素串列。該像素串列應該具有用於這個方法的預定長度(像是橫跨經搜尋影像之線性配置像素的數目或是特定數目,像是3、5、8(顯示於圖中)或是10個像素),該方法識別像素串列作為代表性移動。舉例來說,一個串列可被要求與被搜尋的影像部分600一樣長,該串列在這個例子中最大值是8個像素。但是也可以在本實施例中使用更短或更長的偵測串列。進一步來說,在串例中的單一斷裂也可以充分讓該串列被視為假產物、雜訊等等。
該經搜尋影像部分600的尺寸決定了移動偵測的精確度與雜訊影響度。假如這個區域是小的(像是在一個方向上有3或2個像素),可能可以獲得較多正面的偵測結果,但是這些偵測結果比較長的偵測串列較容易被雜訊的損壞影響。較大的(例如在一個方向上具有在8、9或10個像素之間的區域)影像部分600較能免於雜訊干擾,但是導致較少的偵測結果。然而任何較長的連續串列的正向偵測結果比較短的串列提供了更多可靠的偵測資訊。
此外,對應於該等搜尋線(602a,602b,603a,603b,604a與604b)可以在一個範圍內(例如300度到60度)變動以偵測不同速度的移動。
圖9是上面說明之處理的流程圖。在步驟S1時,該視訊序列200的複數個影像201被組合成影像體積300。在步驟S2沿著(X,t)平面或(Y,t)平面切片該影像體積300。在步驟3,該影像體積300經受對數轉換,並且在步驟S4由空間-時間濾波器濾波以產生經濾波影像體積400。在步驟S5施用臨界函數在經濾波影像體積400上,而在步驟S6執行移動偵測(在(X,t)或是(Y,t))。藉由將切片的方向從(X,t)改變到(Y,t)並且從(Y,t)改變到(X,t)在視訊序列上實行完整的移動偵測分析。
圖10是沿著(X,t)平面作切片處理之圖9的步驟S6中實行之偵測的流程圖。在步驟S10時,挑選具有「1」值的像素作為起始點。在步驟S11時,探測在位置(X+i,t+j)的鄰近像素以決定它的值是「1」或是「0」。在步驟S12時,假如它的值是「1」,這個像素被選為新的起始點,而持續追蹤經識別具有「1」之數值的鄰近像素的計數器在步驟13往上增加。接著重覆步驟S11與S13直到搜尋完全部的搜尋線。
該索引變數i和j可以加上1或2以施行圖8的搜尋線。舉例來說,在i加上2與j加上1時會產生搜尋線602b。在i和j都加上1時會產生搜尋線603b等等。但是i和j可能具有其他值以施行具有不同角度的搜尋線。
一旦完全搜尋完一條搜尋線,在步驟14將具有「1」值的鄰近像素與臨界值做比較,假如這個數字超過臨界值的話,就會在S15偵測移動。但是假如這個值掉到臨界值以下,就不偵測任何移動(步驟16)。重覆搜尋每一條搜尋線,直到搜尋完所有的線,而接著執行處理會返回到主迴圈。
圖11是(Y,t)方向之搜尋處理的流程圖。如同上述的情形,在步驟S20挑選具有一之值的像素作為起始點。在步驟S21探測下一個鄰近像素(Y+i,t+j)以決定它的值是「1」還是「0」。在步驟S22時,「1」會導致像素(Y+i,t+j)被挑選為下一個起始點,而在步驟S23時,像素計數器會往上增加。一旦已經搜尋完一條搜尋線,在步驟S24時,該像素計數器會與一臨界值比較。當該值高於臨界值時,在S25會發生偵測。否則就不偵測移動(S26)。重覆步驟S21-S23直到搜尋完該搜尋線。
在(X,t)搜尋的狀況下,i和j的值可以是1或2以施行圖8的搜尋線。但是其他的值也是可能的。一旦搜尋完所有的搜尋線,控制處理會回到主迴圈。
以擴展影像區域之同心圓的方式實行上述的搜尋以增加偵測的可能性而不會明顯地減少精確度。假設有由軸X和Y所定義之二維的偵測區域。在該搜尋區域,會出現一個數目的較短偵測串列與較長偵測串列。該長偵測串列可以用作將被分析之聚焦區域的「種子」以作為有效搜尋邊緣的方法。進一步來說,一旦偵測到較長串列,該較長串列就是一個顯著的發現,代表邊緣出現的可能性也很高。接著,固定在由較長偵測串列搜尋的搜尋區域,以較低確定樣本的形式搜尋在較長偵測串列周圍的圓形區域。該搜尋策略背後的理由是較長偵測串列具有精確的高可能性,因此更可能代表了實際的邊緣。既然在這個區域以高確定性偵測到一個邊緣,所以可以合理地假設該邊緣的其他部分會位在附近的區域。而位在偵測區域之較遠端之隔離部分的短偵測串列更可能是雜訊的產物,因此更不可能是由實際邊緣造成的。在一個實施例中,本發明之發明人認知到由一個位元代表每個像素的優點。也就是藉由偵測區域內的類近列的邏輯AND操作來偵測通過偵測範圍的連續線。舉例來說,可以藉由一系列在不同資料列(在該t方向)的AND操作來偵測連續串列603b。因此,經由簡單的布林邏輯,可以輕易地經由一系列的AND操作識別連續的偵測串列。同樣地,一旦在區域600內形成偵測串列,藉由用於每一個候選串列之邏輯OR讓任何足夠長度之單一串列的存在(在這個狀況下是從像素601到區域600之邊緣)變得可識別。因此,假如出現了任何串列,該OR操作的結果代表足夠長度的串列出現在區域600,而之後會出現一個邊緣且包括像素601。
當本實施例說明了用每個像素代表每個位元,也有可能包括每個字元使用多個像素,像是每個字元32個像素。在這個狀況下,在發源自像素601的對角串列實行平行搜尋,而該31個像素在它的右邊,舉例來說像是沿著x軸。在這個狀況下,沿著對角方向實行平行搜尋。要注意的是每個像素多個位元需要更複雜的運算操作,因此增加了處理的需求。
當圖8顯示了直線的串列,有可能有其他線之圖案的偵測移動而不需要是線性。這一類其他的圖案包括部分對角線,部分對角線包括了一或多個對角部分與曲線。
在另一個實施例中,在(X,Y)平面的所有像素上同時以平行方式實行該搜尋過程。以離影像體積500最近的邊緣影像開始,用下一個影像實行邏輯AND,該下一個影像根據該搜尋線轉譯並且接著使用AND操作與第一個AND操作的結果作邏輯比較。接著重覆這個過程以覆蓋預定的像素長度。在具有不同方向的不同搜尋線重覆該搜尋過程。在不同的方向之間使用邏輯OR操作以決定是否有偵測到發源自特定起始像素之搜尋線的任何一者的移動。這個搜尋過程可以實行在X方向與Y方向的轉譯上。使用這個搜尋過程,顯示在圖9中的處理就不需要明顯的切片步驟S2,因為該切片步驟的本質就是偵測步驟S6。
也可以將上述的方法施行為電腦程式,例如以儲存在電腦可讀取媒體上之電腦可讀取指令的形式施行。
傳統的視訊移動偵測方法對計算有所需求、不精確或是對於光線改變敏感。但是可以將視訊序列組合成影像體積,並且沿著(X,t)或(Y,t)平面作切片。如同本發明的發明人認知到的,在這樣一個切片上的移動顯現為不平行於(X,Y,t)之任何軸的傾斜線或曲線,而光線改變與靜止物體顯現為平行於該等軸其中之一。因此在這個方法中,光線改變可以識別出來而且被抑制或打折扣。
進一步來說,如同本發明之發明人認知到的,沿著搜尋線搜尋與柵格化成視訊影像允許了超越目前方法的改良效率,而且使其本身更適用於施行在內建系統上。
明顯的是,在上述的教示之下本發明的各種修改與變動是可能的。因此要了解的是,在隨附圖式的範疇內,可以用與在這裡特定說明不同之別的方法實施本發明。
10...網路攝影機
12...透鏡系統
13...影像感測器
15...影像處理模組
17...記憶體
19...CPU
20...視訊分析元件
21...影像/視訊編碼器
22...網路介面
51...使用客戶
52...監督中心
53...網路視訊紀錄器
54...類比攝影機
57...轉換器
100...計算裝置
101...處理器
102...I/O介面
103...匯流排
104...顯示器控制器
105...主記憶體
106...ROM
107...磁碟控制器
108...磁碟
109...CD-ROM
110...顯示器
111...指標裝置
112...鍵盤
113...視訊獲取單元
200...視訊序列
201...影像
202...個人
203...垂直圓柱
204...外套
300...影像體積
301...影像體積部分
302...影像體積部分
303...個人
304...水平線
305...圓柱
400...影像體積
401...影像體積部分
402...影像體積部分
403...個人
404...圓柱
500...影像體積
501...影像體積部分
502...影像體積部分
503...個人
504...圓柱
600...影像部分
601...像素
602a,602b,603a,603b,604a,604b...搜尋線
S1~S6‧‧‧視訊移動偵測方法的每個步驟
S10~S16‧‧‧在(X,t)方向之搜尋的每個步驟
S20~S26‧‧‧在(Y,t)方向之搜尋的每個步驟
圖1是根據本發明之實施例之網路攝影機的方塊圖;
圖2是根據本揭露之例示性實施例的監督中心電腦或客戶電腦的方塊圖;
圖3是根據本發明實施例之監督系統的方塊圖;
圖4是來自視訊序列之例示性影集合的圖;
圖5是根據本揭露之例示性實施例經切片的影像體積;
圖6是根據本揭露之例示性實施例由空間-時間濾波器濾波的經切片影像體積;
圖7是根據本揭露之例示性實施例在濾波之後施加臨界值的經切片影像體積;
圖8是根據本揭露之例示性實施例之經柵格化的一系列搜尋線;
圖9是根據本揭露之例示性實施例之視訊移動偵測方法的流程圖;
圖10是根據本揭露之例示性實施例之(X,t)方向上之搜尋的流程圖;及
圖11是根據本揭露之例示性實施例之(Y,t)方向上之搜尋的流程圖。
S1~S6...視訊移動偵測方法的每個步驟

Claims (33)

  1. 一種視訊移動偵測方法,包含:捕捉視訊序列的複數個影像,該複數個影像中之每一者包括複數個像素,每一個像素由第一數目的位元代表;將第一數目的位元減少至第二數目的位元,該第二數目的位元少於第一數目的位元;將該複數個影像儲存在電腦可讀取媒體中;以處理器搜尋在該複數個影像中之預定區域之空間-時間領域中的空間-時間邊緣;及偵測在該複數個影像中之共有目標的移動,包括比較在該預定區域中具有共有值之經連接串列的像素,及當至少一個串列的經連接像素大於預定長度時識別出邊緣的存在。
  2. 如申請專利範圍第1項所述之方法,其中該經連接串列以直線對角方向配置。
  3. 如申請專利範圍第1項所述之方法,其中該經連接串列以預定圖案而非以直線對角線配置。
  4. 如申請專利範圍第1項所述之方法,其中該減少步驟包括將第一數目的位元減少成每個像素一個位元。
  5. 如申請專利範圍第4項所述之方法,進一步包含將代表個別像素的位元包裹在共有資料字元中的步驟,該字元可以由處理器以單一操作指令處理。
  6. 如申請專利範圍第1項所述之方法,其中該識別步驟包括 當至少一串經連結像素至少與該預定區域之深度一樣長時識別出邊緣。
  7. 如申請專利範圍第1項所述之方法,其中該搜尋步驟包括以平行方式搜尋鄰近像素。
  8. 如申請專利範圍第1項所述之方法,其中:該比較步驟包括在該預定區域中之像素組上實行邏輯AND操作;及該識別步驟包括在該預定區域中之經連接串列的像素上實行邏輯OR操作。
  9. 如申請專利範圍第1項所述之方法,其中該減少步驟包括:在該複數個像素上實行對數轉換以從照明分量分離反射分量。
  10. 如申請專利範圍第1項所述之方法,其中該減少步驟包括空間-時間濾波步驟。
  11. 如申請專利範圍第10項所述之方法,其中該減少步驟包括在該空間-時間濾波步驟之結果的絕對值上實行定限操作。
  12. 一種具有電腦可讀取指令的非暫時性電腦可讀取媒體,該電腦可讀取指令在由處理器執行時使該處理器實行下列步驟,包含:捕捉視訊序列的複數個影像,該複數個影像中之每一者包括複數個像素,每一個像素由第一數目的位元代表;將第一數目的位元減少至第二數目的位元,該第二數 目的位元少於第一數目的位元;將該複數個影像儲存在電腦可讀取媒體中;以處理器搜尋在該複數個影像中之預定區域之空間-時間領域中的空間-時間邊緣;偵測在該複數個影像中之共有目標的移動,該偵測步驟包括:比較在該預定區域中具有共有值之經連接串列的像素,及當至少一串經連接像素大於預定長度時識別出邊緣的存在。
  13. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中該經連接串列以直線對角方向配置。
  14. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中該經連接串列以預定圖案而非以直線對角線配置。
  15. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中該減少步驟包括將第一數目的位元減少成每個像素一個位元。
  16. 如申請專利範圍第15項所述之非暫時性電腦可讀取媒體,進一步包含將代表個別像素的位元包裹在共有資料字元中的步驟,該字元可以由處理器以單一操作指令處理。
  17. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中該識別步驟包括當至少一串經連結像素至少與該 預定區域之深度一樣長時識別出邊緣。
  18. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中該搜尋步驟包括以平行方式搜尋鄰近像素。
  19. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中:該比較步驟包括實行邏輯AND操作;及該識別步驟包括在該預定區域中之經連接串列的像素上實行邏輯OR操作。
  20. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中該減少步驟包括:在該複數個像素上實行對數轉換以從照明分量分離反射分量。
  21. 如申請專利範圍第12項所述之非暫時性電腦可讀取媒體,其中該減少步驟包括空間-時間濾波步驟。
  22. 如申請專利範圍第21項所述之非暫時性電腦可讀取媒體,其中該減少步驟包括在該空間-時間濾波步驟之結果的絕對值上實行定限操作。
  23. 一種攝影機,包含:光學元件區段,組構以從含有目標的景象中捕捉光線;感測器,組構以將該光線轉換成複數個視訊序列之影像,該複數個影像中之每一者包括複數個像素,每一個像素由第一數目的位元代表;影像處理器,組構以將第一數目的位元減少至第二數目的位元,該第二數目的位元少於第一數目的位元; 記憶體,組構以儲存該複數個影像,該複數個影像的每個像素具有第二數目之位元;及處理器,組構以搜尋在該複數個影像中之預定區域之空間-時間領域中的空間-時間邊緣;及藉由比較在該預定區域中具有共有值之經連接串列的像素及當至少一串經連接串列大於預定長度時識別出邊緣的存在,來偵測在該複數個影像中目標的移動。
  24. 如申請專利範圍第23項所述之攝影機,其中該經連接串列以直線對角方向配置。
  25. 如申請專利範圍第23項所述之攝影機,其中該經連接串列以預定圖案而非以直線對角線配置。
  26. 如申請專利範圍第23項所述之攝影機,其中該減少步驟包括將第一數目的位元減少成每個像素一個位元。
  27. 如申請專利範圍第26項所述之攝影機,其中該影像處理器被組構以該將代表個別像素的位元包裹在共有資料字元中,該字元可以由該處理器以單一操作指令處理。
  28. 如申請專利範圍第23項所述之攝影機,其中該處理器被組構以當至少一串經連結像素至少與該預定區域之深度一樣長時識別出邊緣。
  29. 如申請專利範圍第23項所述之攝影機,其中該搜尋步驟包括以平行方式搜尋鄰近像素。
  30. 如申請專利範圍第23項所述之攝影機,其中:該處理器被組構以在該預定區域中之像素組上實行邏 輯AND操作,以及在該預定區域中之經連接串列的像素上實行邏輯OR操作。
  31. 如申請專利範圍第23項所述之攝影機,其中該影像處理器被組構以在該複數個像素上實行對數轉換以從照明分量分離反射分量。
  32. 如申請專利範圍第31項所述之攝影機,其中該影像處理器也被組構以在減少該第一數目的位元的時候實行空間-時間濾波。
  33. 如申請專利範圍第32項所述之攝影機,其中該影像處理器也被組構以在該空間-時間濾波之結果的絕對值上實行定限操作。
TW098128936A 2008-09-26 2009-08-28 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機 TWI405150B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10057908P 2008-09-26 2008-09-26
US10057508P 2008-09-26 2008-09-26
US12/273,220 US8121424B2 (en) 2008-09-26 2008-11-18 System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
EP20090152276 EP2172903B1 (en) 2008-09-26 2009-02-06 Video motion detection

Publications (2)

Publication Number Publication Date
TW201013578A TW201013578A (en) 2010-04-01
TWI405150B true TWI405150B (zh) 2013-08-11

Family

ID=41665369

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098128936A TWI405150B (zh) 2008-09-26 2009-08-28 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機

Country Status (6)

Country Link
US (1) US8121424B2 (zh)
EP (1) EP2172903B1 (zh)
JP (1) JP4870803B2 (zh)
KR (1) KR101223424B1 (zh)
CN (1) CN101685543B (zh)
TW (1) TWI405150B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110293173A1 (en) * 2010-05-25 2011-12-01 Porikli Fatih M Object Detection Using Combinations of Relational Features in Images
EP2455914B1 (en) 2010-11-18 2012-10-17 Axis AB Object counter and method for counting objects
TWI466068B (zh) * 2011-03-10 2014-12-21 Hon Hai Prec Ind Co Ltd 監控影像偵測系統及方法
AU2011201953B2 (en) * 2011-04-29 2013-09-19 Canon Kabushiki Kaisha Fault tolerant background modelling
EP2536143B1 (en) 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
EP2549759B1 (en) 2011-07-19 2016-01-13 Axis AB Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
WO2013091132A1 (en) * 2011-12-20 2013-06-27 Intel Corporation Automatic adjustment of display image using face detection
EP2608529B1 (en) 2011-12-22 2015-06-03 Axis AB Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
US9245187B1 (en) 2014-07-07 2016-01-26 Geo Semiconductor Inc. System and method for robust motion detection
US9378543B2 (en) * 2014-07-28 2016-06-28 Disney Enterprises, Inc. Temporally coherent local tone mapping of high dynamic range video
CN111540387B (zh) * 2014-08-14 2022-03-22 高通股份有限公司 视频流的动作帧的检测
EP3185180B1 (en) 2014-10-23 2019-01-02 Axis AB Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
KR102402678B1 (ko) 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
US9672434B2 (en) * 2015-07-22 2017-06-06 Conduent Business Services, Llc Video-based system and method for parking occupancy detection
EP3182704B1 (en) 2015-12-15 2018-01-31 Axis AB A bit rate controller and a method for limiting output bit rate
CN106127810B (zh) * 2016-06-24 2019-08-20 广东紫旭科技有限公司 一种视频宏块角点光流的录播***图像跟踪方法和装置
EP3419284A1 (en) 2017-06-21 2018-12-26 Axis AB System and method for tracking moving objects in a scene
EP3419283B1 (en) 2017-06-21 2022-02-16 Axis AB System and method for tracking moving objects in a scene
CN108540195B (zh) * 2018-03-05 2019-01-08 杭州掌门物联科技有限公司 狭窄空间网络中继***及方法
KR102677285B1 (ko) 2019-01-25 2024-06-24 삼성전자주식회사 슬로 모션 영상 생성 방법 및 장치
CN109945594A (zh) * 2019-03-22 2019-06-28 上海五宝网络科技有限公司 基于动态视频检测的智能视觉冰箱
WO2021093960A1 (en) * 2019-11-14 2021-05-20 Huawei Technologies Co., Ltd. Image processing using self-attention

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI286443B (en) * 2005-07-08 2007-09-01 Univ Nat Sun Yat Sen Motion detection system and method for TV frames

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3607717B2 (ja) 1993-07-28 2005-01-05 日本電信電話株式会社 映像切り出し方法
JP3183320B2 (ja) 1994-08-31 2001-07-09 日本電信電話株式会社 移動物体方向別計数方法および装置
US5574762A (en) * 1994-08-31 1996-11-12 Nippon Telegraph And Telephone Corp. Method and apparatus for directional counting of moving objects
US6456328B1 (en) * 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6421466B1 (en) * 1999-09-29 2002-07-16 Neomagic Corp. Hierarchical motion estimation with levels of varying bit width for digital video compression
US6904159B2 (en) * 2001-12-20 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Identifying moving objects in a video using volume growing and change detection masks
US20050259865A1 (en) * 2002-11-15 2005-11-24 Koninklijke Philips Electronics N.V. Object classification via time-varying information inherent in imagery
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
CN1839409A (zh) * 2003-08-21 2006-09-27 松下电器产业株式会社 人物检测装置和人物检测方法
WO2008057107A2 (en) 2005-12-05 2008-05-15 University Of Maryland Method and system for object surveillance and real time activity recognition
JP4377887B2 (ja) * 2006-03-30 2009-12-02 株式会社東芝 映像分割装置
CN100496100C (zh) * 2006-05-19 2009-06-03 深圳艾科创新微电子有限公司 一种对运动检测结果进行优化的方法
CN100518243C (zh) * 2007-01-31 2009-07-22 天津大学 采用运动检测和自适应加权滤波的去隔行装置
US8170278B2 (en) * 2008-08-06 2012-05-01 Sri International System and method for detecting and tracking an object of interest in spatio-temporal space
US10057508B2 (en) 2013-06-20 2018-08-21 Excelitas Technologies Corp. Illumination device with integrated thermal imaging sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI286443B (en) * 2005-07-08 2007-09-01 Univ Nat Sun Yat Sen Motion detection system and method for TV frames

Also Published As

Publication number Publication date
CN101685543A (zh) 2010-03-31
JP2010079910A (ja) 2010-04-08
US20100080477A1 (en) 2010-04-01
KR101223424B1 (ko) 2013-01-17
KR20100035616A (ko) 2010-04-05
EP2172903A1 (en) 2010-04-07
TW201013578A (en) 2010-04-01
CN101685543B (zh) 2014-06-18
US8121424B2 (en) 2012-02-21
JP4870803B2 (ja) 2012-02-08
EP2172903B1 (en) 2015-04-29

Similar Documents

Publication Publication Date Title
TWI405150B (zh) 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
AU2012340862B2 (en) Geographic map based control
KR20230013243A (ko) 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지
US9171075B2 (en) Searching recorded video
EP4407556A1 (en) Computer-vision based security system using a depth camera
US10713798B2 (en) Low-complexity motion detection based on image edges
US20120173577A1 (en) Searching recorded video
WO2006037057A2 (en) View handling in video surveillance systems
JP2011054183A (ja) 画像処理方法及び装置
JP4764172B2 (ja) 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム
KR102127276B1 (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
JP6668514B1 (ja) ディープランニング基盤陰影映像の時空間的な特性分析を活用した暴力検出用フレームワーキング方法およびその装置
CN110855932A (zh) 基于视频数据的报警方法、装置、电子设备及存储介质
Pava et al. Object Detection and Motion Analysis in a Low Resolution 3-D Model
JP4268953B2 (ja) 動き検出装置およびそのプログラム
Musale et al. Automatic Process with Real Time Fire Detection in Close Surrounding Environment
Kilaru Multiple Distortions Identification in Camera Systems
Cohen et al. Vision algorithms for automated census of animals
KR20230089558A (ko) 영상 전송 장치 및 방법, 그리고 영상 수신 장치 및 방법
Suradkar et al. Automatic surveillance using motion detection