TWI595450B - 物件偵測系統 - Google Patents

物件偵測系統 Download PDF

Info

Publication number
TWI595450B
TWI595450B TW103112157A TW103112157A TWI595450B TW I595450 B TWI595450 B TW I595450B TW 103112157 A TW103112157 A TW 103112157A TW 103112157 A TW103112157 A TW 103112157A TW I595450 B TWI595450 B TW I595450B
Authority
TW
Taiwan
Prior art keywords
feature
image
point
module
time point
Prior art date
Application number
TW103112157A
Other languages
English (en)
Other versions
TW201539378A (zh
Inventor
葉清松
廖明俊
謝吉芳
Original Assignee
能晶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 能晶科技股份有限公司 filed Critical 能晶科技股份有限公司
Priority to TW103112157A priority Critical patent/TWI595450B/zh
Priority to US14/287,063 priority patent/US9483711B2/en
Publication of TW201539378A publication Critical patent/TW201539378A/zh
Application granted granted Critical
Publication of TWI595450B publication Critical patent/TWI595450B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Description

物件偵測系統
本發明是有關於一種物件偵測系統，且特別是有關於一種移動物件偵測系統。
隨著汽車銷售量不斷地成長，車用電子產業亦蓬勃發展，其中車用電子產業包含了車用安全系統、車身系統、駕駛資訊系統、懸吊底盤系統、引擎傳動系統、保全系統等六大方面，而其又以車用安全系統的年複合成長率為最高。
然而，在汽車數量日益增長之下，發生道路事故的機率也逐年增加。根據統計資料顯示，駕駛員只要在發生碰撞的0.5秒前得到預警，即可以避免至少60%的追尾撞車事故、30%的迎面撞車事故和50%的路面相關事故，而若有1秒鐘的預警時間，則可避免90%的事故。因此，車用安全系統的重要性可見一斑。
隨著影像設備成本大幅降低以及電腦影像辨識技術日新月異，以電腦影像為主的車輛與行人警示技術已成為主要研究方向。此類的技術主要是在車上安裝基於電腦視覺的偵測系統，在車輛行駛中連續拍攝影像，再以影像處理、電腦視覺、及圖形辨 識等技術偵測路面、路邊、其他行進中車輛、行人等靜態與動態資訊，進而準確地感測出環境狀況，以提供駕駛員更多的行車資訊。
基於電腦視覺的偵測系統具有多樣性應用、經濟、及使用彈性等優點。然而，對於各種影像處理的演算法而言，其偵測的準確度以及效能有所差異。因此，如何提供一種高準確率且高效能的偵測系統實為本領域技術人員所關心的議題之一。
本發明提供一種物件偵測系統，其可精確並且即時地偵測視訊串流中的移動物件。
本發明提供一種物件偵測系統，包括儲存單元、影像擷取模組、特徵搜尋模組、計算模組以及確認模組。儲存單元用以儲存至少包含多張影像的視訊串流。影像擷取模組，耦接儲存單元，用以自儲存單元讀取視訊串流中對應於第一時間點的第一影像、對應於第二時間點的第二影像以及對應於第三時間點的第三影像，其中第一時間點與第二時間點的時間差小於或等於第二時間點與第三時間點的時間差。特徵搜尋模組用以自第一影像中搜尋至少一個特徵點。計算模組用以判斷所述特徵點位於近距離的偵測區域或是遠距離的偵測區域。當所述特徵點位於近距離的偵測區域時，計算模組根據第一影像以及第二影像，計算各所述特徵點的移動向量；當所述特徵點位於遠距離的偵測區域時，計算 模組根據第一影像與第二影像其中之一者以及第三影像，計算各所述特徵點的移動向量。確認模組用以根據各所述特徵點的移動向量，確認移動物件是否存在。
在本發明之一實施例中，上述的特徵搜尋模組所搜尋的所述特徵點係為一個1x1畫素或複數個畫素所構成。
在本發明之一實施例中，上述的計算模組係利用複數個像素特徵比對法或是光流法計算各所述特徵點的移動向量。
在本發明之一實施例中，上述的計算模組根據各所述特徵點的移動向量，計算各所述特徵點的位移，從而計算各所述特徵點的移動速度，並且確認模組判斷各所述特徵點的移動速度是否大於與各特徵點距離有關的速度門檻值。當確認模組判斷至少一所述特徵點的移動速度大於速度門檻值時，確認模組確認移動物件存在。
本發明提供另一種物件偵測系統，包括儲存單元、影像擷取模組、特徵搜尋模組、計算模組以及確認模組。儲存單元用以儲存至少包含多張影像的視訊串流。影像擷取模組，耦接儲存單元，用以自儲存單元讀取視訊串流中對應於第一時間點的第一影像、對應於第二時間點的第二影像、對應於第三時間點的第三影像以及對應於第四時間點的第四影像，其中第一時間點與第二時間點的時間差小於或等於第三時間點與第四時間點的時間差。特徵搜尋模組用以自第一影像中搜尋至少一個特徵點。計算模組用以判斷所述特徵點位於近距離的偵測區域或是遠距離的偵測區 域。當所述特徵點位於近距離的偵測區域時，計算模組根據第一影像以及第二影像，計算各所述特徵點的移動向量；當所述特徵點位於遠距離的偵測區域時，計算模組根據第三影像與第四影像，計算各所述特徵點的移動向量。確認模組用以根據各所述特徵點的移動向量，確認移動物件是否存在。
在本發明之一實施例中，上述的特徵搜尋模組所搜尋的所述特徵點係為一個1x1畫素或複數個畫素所構成。
在本發明之一實施例中，上述的計算模組係利用複數個像素特徵比對法或是光流法計算各所述特徵點的移動向量。
在本發明之一實施例中，上述的計算模組根據各所述特徵點的移動向量，計算各所述特徵點的位移，從而計算各所述特徵點的移動速度，並且確認模組判斷各所述特徵點的移動速度是否大於與各特徵點距離有關的速度門檻值。當確認模組判斷至少一所述特徵點的移動速度大於速度門檻值時，確認模組確認移動物件存在。
基於上述，本發明所提供的物件偵測系統，其利用視訊串流中不同的影像來計算特徵點的移動向量。當特徵點位於遠近距離的偵測區域時，利用時間差較小的兩張影像來計算特徵點的移動向量，以縮短物件偵測的時間；當特徵點位於遠距離的偵測區域時，利用時間差較大的兩張影像來計算特徵點的移動向量，以提高物件偵測的準確率。除此之外，本發明更藉由特徵點的移動向量，計算特徵點的位移，從而計算特徵點的移動速度，以確 認移動物件的存在。基此，本發明的物件偵測系統可更精確地掌握移動物件的資訊，並且可達到即時影像處理的效能，以運用於低成本的消費性電子產品上，增強本發明在實際應用中的適用性。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧物件偵測系統
110‧‧‧儲存單元
120‧‧‧影像擷取模組
130‧‧‧特徵搜尋模組
140‧‧‧計算模組
150‧‧‧確認模組
S201~S211、S401~S411‧‧‧物件偵測方法的流程
30‧‧‧物件
310‧‧‧第一影像
320‧‧‧第二影像
330‧‧‧第三影像
312、332‧‧‧遠距離的偵測區域
314、324‧‧‧近距離的偵測區域
圖1是根據本發明一實施例所繪示之物件偵測系統的方塊圖。
圖2是依照本發明第一實施例所繪示之物件偵測方法的流程圖。
圖3A是根據本發明一實施例所繪示之第一影像。
圖3B是根據本發明一實施例所繪示之物件偵測方法中步驟S209的示意圖。
圖4是依照本發明第二實施例所繪示之物件偵測方法的流程圖。
一般而言，在偵測動態影像中移動物件的移動資訊時，無論移動物件所在位置的遠近，往往是利用相同的一組影像來進行偵測。在此情況下，當移動物件位於較遠的偵測區域時，則估 測到的移動資訊有可能會與實際移動資訊產生極大的誤差。
舉例來說，表一的範例為利用相同的一組影像偵測分別位於近距離與遠距離的移動物件之速度估測誤差： 在每張影像中，每個畫素的實際位移畫素所對應真實空間(actual space)的實際位移不同。在此範例中，假設在近距離時，每一實際位移畫素所對應的實際位移畫素為50cm；在遠距離時，每一實際位移畫素所對應的實際位移畫素為100cm。在估測位移畫素存在著1個像素比對誤差(One-Pixel Matching Error)的情況下，對於近距離以速度(5,5)cm/ms移動的移動物件所估測的速度誤差為 20%，而對於遠距離同樣以速度(5,5)cm/ms移動的移動物件所估測的速度誤差則為40%。因此，若以相同的一組影像來對移動物件進行速度估測，位於遠距離的移動物件會產生較大的速度估測誤差。基此，本發明的概念在於先判斷移動物件所在位置的遠近，再適應性地利用不同組影像來取得移動物件的移動資訊。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
圖1是根據本發明一實施例所繪示之物件偵測系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹物件偵測系統之所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，物件偵測系統100包括儲存單元110、影像擷取模組120、特徵搜尋模組130、計算模組140以及確認模組150。物件偵測系統100可以內建或外接於個人電腦、筆記型電腦、數位相機、數位攝影機、網路攝影機、智慧型手機、平板電腦、行車紀錄器、車用影音系統等具有拍攝功能的電子裝置，本發明不以此為限。
儲存單元110可以例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體 (Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合，用以儲存影像資料。
影像擷取模組120、特徵搜尋模組130、計算模組140以及確認模組150可由軟體程式、硬體電路或其組合來實現，用以執行物件偵測的功能。軟體例如是原始碼、應用軟體、驅動程式或專門用以實現特定功能的軟體模塊或函式等。硬體例如是中央處理單元(Central Processing Unit，CPU)，可程式化控制器、數位訊號處理器(Digital Signal Processor，DSP)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)等。舉例來說，影像擷取模組120、特徵搜尋模組130、計算模組140以及確認模組150例如是電腦程式或指令，其可藉由物件偵測系統100的處理器，從而執行物件偵測的功能。
圖2是依照本發明第一實施例所繪示之物件偵測方法的流程圖。請參照圖2，本實施例的方法適用於圖1的物件偵測系統100，以下即搭配物件偵測系統100中的各項元件說明物件偵測方法的詳細步驟。在本實施例中，將以物件偵測系統100耦接於行車紀錄器為例以進行說明。因此，在執行物件偵測方法之前，物件偵測系統100的儲存單元110已儲存預先自行車紀錄器所擷取之包含多張影像的視訊串流，其中視訊串流的內容即為行車紀錄器所拍攝的車前影像。
請同時參照圖1以及圖2，影像擷取模組120自儲存單元110讀取視訊串流中對應於第一時間點的第一影像、對應於第二時 間點的第二影像以及對應於第三時間點的第三影像，假設第一時間點t1早於第二時間點t2，第二時間點t2早於第三時間點t3，則第一時間點與第二時間點的時間差小於第一時間點與第三時間點的時間差(步驟S201)。換言之，第一時間點t1、第二時間點t2以及第三時間點t3將滿足不等式(1)的關係：
接著，特徵搜尋模組130於第一影像中搜尋至少一個特徵點(步驟S203)。詳言之，特徵搜尋模組130根據習知的特徵點偵測的演算方法(Feature Detection Algorithm)搜尋第一影像中的特徵點，以辨識第一影像中所出現的物件之形狀或結構。而特徵搜尋模組130所搜尋的所述特徵點為一個1x1畫素或複數個畫素所構成。舉例來說，在本實施例中，特徵搜尋模組130所要搜尋的物件特徵可以是車輛或行人，而所述特徵點即為構成車輛或行人的邊緣輪廓、角點或是區塊等，本發明不在此設限。
在本實施例中，特徵搜尋模組130可利用方向梯度直方圖(Histogram of Oriented Gradient，HOG)來搜尋第一影像中的特徵點。特徵搜尋模組130先將第一影像分割為多個方格單元(cell)，並且藉由方格單元內各像素點的梯度值以及與梯度方向來做為辨識特徵點的依據。此方式對於具有明顯邊界的物件辨識能力較強，並且可避免局部變型或是小型異物對於影像造成的影響，適用於行人偵測等應用上。
在另一實施例中，特徵點偵測的演算方式可以例如是邊 緣檢測(Edge Detection)演算法，藉由灰階的變化以搜尋第一影像中物體與背景的邊界點，或是利用角檢測(Corner Detection)演算法，藉由局部亮點或暗點、線段終點、曲線上具有最大曲率所對應的點，以搜尋第一影像中物體的角點。特徵搜尋模組130辨識所有邊界點或是角點所構成的輪廓是否為例如是車輛或是行人的特徵。在另一實施例中，特徵搜尋模組130亦可根據區塊檢測(Blob Detection)演算法，利用色彩以及灰階來檢測與周圍有差異的區塊，以辨識此區塊是否為例如是車輛或是行人的特徵。本發明不在特徵點偵測的演算方法進行設限。
當特徵搜尋模組130無法於第一影像中搜尋特徵點時，物件偵測系統100將結束在第一影像中的物件偵測流程。而當特徵搜尋模組130於第一影像中搜尋出至少一個特徵點時，計算模組140判斷所述特徵點位於近距離的偵測區域或是遠距離的偵測區域(步驟S205)。在此的近距離的偵測區域為距離拍攝第一影像之所在位置(即，行車紀錄器)較近的區域，而遠距離的偵測區域為距離拍攝第一影像之所在位置較遠的區域。
舉例而言，圖3A是根據本發明一實施例所繪示之第一影像。
請參照圖3A，物件偵測系統100自儲存單元110取得第一影像310後，特徵搜尋模組130可自第一影像310搜尋特徵點。在本實施例中，所述特徵點即為構成物件30的特徵，而此物件30為正向而來的車輛。計算模組140即會判斷構成物件30的所述特 徵點位於遠距離的偵測區域314或是近距離的偵測區域312。而在圖3A的第一影像310中，所述特徵點則是位於遠距離的偵測區域314。
當計算模組140判斷所述特徵點位於近距離的偵測區域時，根據第一影像以及第二影像，計算各所述特徵點的移動向量(步驟S207)；當計算模組140判斷所述特徵點位於遠距離的偵測區域時，根據第一影像與第二影像其中之一者以及第三影像，計算各所述特徵點的移動向量(步驟S209)。詳言之，當所述特徵點位於近距離的偵測區域時，特徵點所構成的輪廓或是區塊在各個影像中所佔的面積較大。在同一時間以及移動速度下，所述特徵點的位移較為顯著，因此計算模組140可利用時間差較小的第一影像以及第二影像來計算各所述特徵點的移動向量，以減少特徵點的搜尋時間並且達到即時處理(Real-time Processing)的功效。另一方面，當所述特徵點位於遠距離的偵測區域時，特徵點所構成的輪廓或是區塊在各個影像中所佔的面積較小。在同一時間以及移動速度下，所述特徵點的位移較不顯著，因此計算模組140可利用時間差較大的第一影像與第三影像來計算各所述特徵點的移動向量，以更精確地計算位於遠方所述特徵點的移動向量。
在另一實施例中，當第一時間點t1、第二時間點t2以及第三時間點t3滿足不等式(1)以及下列不等式(1.5)的關係時： 當計算模組140判斷所述特徵點位於近距離的偵測區域時，根據 第一影像以及第二影像，計算各所述特徵點的移動向量；當計算模組140判斷所述特徵點位於遠距離的偵測區域時，則可根據時間差較大的第一影像與第三影像，或是第二影像以及第三影像，計算各所述特徵點的移動向量。
圖3B是根據本發明一實施例所繪示之物件偵測方法中步驟S209的示意圖。
請參照圖3B，假設影像擷取模組120自儲存單元110讀取視訊串流中對應於第一時間點t1的第一影像310、對應於第二時間點t2的第二影像320以及對應於第三時間點t3的第三影像330。如圖3A所言，第一影像310包括近距離的偵測區域314以及遠距離的偵測區域312。當計算模組140判斷前述特徵點位於近距離的偵測區域314時，計算模組140則會根據第一影像310之近距離的偵測區域314以及第二影像320之近距離的偵測區域324，計算各所述特徵點的移動向量。
另一方面，當計算模組140判斷前述特徵點位於遠距離的偵測區域312時，在本實施例中，計算模組140則會根據第一影像310之遠距離的偵測區域312以及第三影像330之遠距離的偵測區域332，計算各所述特徵點的移動向量。在另一實施例中，計算模組140亦會根據第二影像320之遠距離的偵測區域(未繪示)以及第三影像330之遠距離的偵測區域332，計算各所述特徵點的移動向量。
表二的範例為利用兩組不同影像分別偵測位於近距離與 遠距離的移動物件之速度估測誤差： 在每張影像中，每個畫素的實際位移畫素所對應真實空間的實際位移不同。在此範例中，假設在近距離時，每一實際位移畫素所對應的實際位移畫素為50cm；在遠距離時，每一實際位移畫素所對應的實際位移畫素為100cm。當所述特徵點位於遠距離的偵測區域時，在同樣1個像素比對誤差的情況下，本發明利用第一影像與第三影像對於遠距離以速度(5cm/ms,5cm/ms)的移動物件所估測的速度誤差為20%，和表一的速度誤差為40%相比，改善了2 倍。
此外，計算模組140可利用像素特徵比對法(Pixel-matching Algorithm)或是光流法(Optical Flow Algorithm)計算各所述特徵點的移動向量。
詳言之，假設特徵搜尋模組130自第一影像搜尋到的特徵點位於近距離的偵測區域後，計算模組140利用像素特徵比對法，以在第二影像320中找出相似於第一影像310的特徵點。在本實施例中，計算模組140可在第二影像320中對應於第一影像310的特徵點之所在位置為中心，利用第一影像310的特徵點的色彩等特徵自四周鄰近的畫素搜尋位於第二影像320的特徵點。接著，計算模組140可利用第一影像310以及第二影像320中的特徵點的所在位置來計算各所述特徵點在連續時間中的移動向量。
在另一實施例中，假設特徵搜尋模組130自第一影像搜尋到的特徵點位於近距離的偵測區域，並且計算模組140在第二影像中搜尋到對應的特徵點後，可利用光流法中各所述特徵點於不同影像中亮度值的不變性，來計算其移動向量。
之後，確認模組150根據各所述特徵點的移動向量，確認移動物件是否存在(步驟S211)。詳言之，計算模組在取得各所述特徵點的移動向量後，可利用拍攝影像時的移動速度、影格率(Frame Rate)以及移動向量，計算各述特徵點的位移，並且從而計算各所述特徵點的移動速度。確認模組150將判斷各所述特徵點的移動速度是否大於一速度門檻值。在此的速度門檻值則須考 量到拍攝影像時的移動速度。換言之，確認模組150可判斷各所述特徵點的移動速度與拍攝影像時的移動速度之間的差值，是否大於速度門檻值。在一實施例中，位於近距離的偵測區域的特徵點與位於遠距離的偵測區域的特徵點所對應的速度門檻值可以不同，以達到更精確的判斷。
當確認模組150判斷至少一所述特徵點的移動速度大於速度門檻值時，代表所述特徵點為例如其它行駛車輛或是行人等移動物件的特徵，確認模組150將確認移動物件存在。反之，代表所述特徵點為例如是道路、建築物或是路邊停靠車輛等靜態物件的特徵，確認模組150將確認移動物件不存在。
在一實施例中，物件偵測系統100更包括警示模組(未繪示)，當確認模組150確認移動物件存在時，警示模組可提供例如提示文字、聲響或是燈光之一或其組合，以提醒駕駛移動物件的存在。
圖4是依照本發明第二實施例所繪示之物件偵測方法的流程圖。請參照圖4，本實施例的方法亦適用於圖1的物件偵測系統100。在本實施例中，同樣地將以物件偵測系統100耦接於行車紀錄器為例以進行說明。因此，在執行物件偵測方法之前，物件偵測系統100的儲存單元110已儲存預先自行車紀錄器所擷取之包含多張影像的視訊串流，其中視訊串流的內容即為行車紀錄器所拍攝的車前影像。
請同時參照圖1以及圖4，影像擷取模組120自儲存單元 110讀取視訊串流中對應於第一時間點的第一影像、對應於第二時間點的第二影像、對應於第三時間點的第三影像以及對應於第四時間點的第四影像，假設第一時間點t1早於第二時間點t2，第二時間點t2早於第三時間點t3，第三時間點t3早於第四時間點t4，並且第一時間點與第二時間點的時間差小於或等於第三時間點與第四時間點的時間差(步驟S401)。換言之，第一時間點t1、第二時間點t2、第三時間點t3以及第四時間點t4將滿足不等式(2)的關係：
接著，特徵搜尋模組130於第一影像中搜尋至少一個特徵點(步驟S403)。當特徵搜尋模組130無法於第一影像中搜尋特徵點時，物件偵測系統100將結束在第一影像中的物件偵測流程。而當特徵搜尋模組130於第一影像中搜尋出至少一個特徵點時，計算模組140判斷所述特徵點位於近距離的偵測區域或是遠距離的偵測區域(步驟S405)。當計算模組140判斷所述特徵點位於近距離的偵測區域時，根據第一影像以及第二影像，計算各所述特徵點的移動向量(步驟S407)；當計算模組140判斷所述特徵點位於遠距離的偵測區域時，根據第三影像以及第四影像，計算各所述特徵點的移動向量(步驟S409)。之後，確認模組150根據各所述特徵點的移動向量，確認移動物件是否存在(步驟S411)。
圖4的實施例與圖2的實施例之差別在於用於計算移動向量所需的影像數量。然而，兩者實施例所運用的概念相似，當特徵點位於近距離的偵測區域時，計算模組140利用時間差較小 的兩張影像來計算特徵點的移動向量；當特徵點位於遠距離的偵測區域時，計算模組140利用時間差較大的兩張影像來計算特徵點的移動向量。上述步驟S403~步驟S411的詳細內容，本領域具通常知識者可參照圖1至圖3B的相關說明而類推之，於此不再贅述。
綜上所述，本發明所提供的物件偵測系統，其利用視訊串流中不同的影像來計算特徵點的移動向量。當特徵點位於遠距離的偵測區域時，利用時間差較大的兩張影像來計算特徵點的移動向量，以縮短物件偵測的時間；當特徵點位於遠距離的偵測區域時，利用時間差較大的兩張影像來計算特徵點的移動向量，以提高物件偵測的準確率。除此之外，本發明更藉由特徵點的移動向量，計算特徵點的位移，從而計算特徵點的移動速度，以確認移動物件的存在。基此，本發明的物件偵測系統可更精確地掌握移動物件的資訊，並且可達到即時影像處理的效能，以運用於低成本的消費性電子產品上，增強本發明在實際應用中的適用性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S201~S211‧‧‧物件偵測方法的流程

Claims (8)

  1. 一種物件偵測系統，包括：一儲存單元，至少儲存包含多張影像之一視訊串流；一影像擷取模組，耦接該儲存單元，負責讀取儲存於該儲存單元中的該視訊串流中對應於一第一時間點的一第一影像、對應於一第二時間點的一第二影像以及對應於一第三時間點的一第三影像，其中該第一時間點與該第二時間點的時間差小於或等於該第二時間點與該第三時間點的時間差；一特徵搜尋模組，於該第一影像中搜尋至少一個特徵點；一計算模組，判斷所述特徵點位於一近距離的偵測區域或是一遠距離的偵測區域，當所述特徵點位於該近距離的偵測區域時，根據該第一影像與該第二影像，計算各所述特徵點的移動向量，當所述特徵點位於該遠距離的偵測區域時，根據該第一影像與該第三影像或者是該第二影像與該第三影像，計算各所述特徵點的移動向量；以及一確認模組，根據各所述特徵點的移動向量，確認該移動物件是否存在。
  2. 如申請專利範圍第1項所述的物件偵測系統，其中該特徵搜尋模組所搜尋之所述特徵點係為一個1x1畫素或複數個畫素所構成。
  3. 如申請專利範圍第1項所述的物件偵測系統，其中該計算模組係利用複數個像素特徵比對法或是光流法計算各所述特徵點 的移動向量。
  4. 如申請專利範圍第1項所述的物件偵測系統，其中該計算模組根據各所述特徵點的移動向量，計算各所述特徵點的位移，從而計算各所述特徵點的移動速度，並且該確認模組判斷各所述特徵點的移動速度是否大於一與該各特徵點距離有關的速度門檻值，當該確認模組判斷至少一所述特徵點的移動速度大於該速度門檻值時，該確認模組確認該移動物件存在。
  5. 一種物件偵測系統，包括：一儲存單元，至少儲存包含多張影像之一視訊串流；一影像擷取模組，耦接該儲存單元，負責讀取儲存於該儲存單元中的該視訊串流中對應於一第一時間點的一第一影像、對應於一第二時間點的一第二影像、對應於一第三時間點的一第三影像以及對應於一第四時間點的一第四影像，其中該第一時間點與該第二時間點的時間差小於或等於該第三時間點與該第四時間點的時間差；一特徵搜尋模組，於該第一影像中搜尋多個特徵點；一計算模組，判斷所述特徵點位於一近距離的偵測區域或是一遠距離的偵測區域，當所述特徵點位於該近距離的偵測區域時，根據該第一影像與該第二影像，計算各所述特徵點的移動向量，當所述特徵點位於該遠距離的偵測區域時，根據該第三影像與該第四影像，計算各所述特徵點的移動向量；以及一確認模組，根據各所述特徵點的移動向量，確認該移動物 件是否存在。
  6. 如申請專利範圍第5項所述的物件偵測系統，其中該特徵搜尋模組所搜尋之所述特徵點係為一個1x1畫素或複數個畫素所構成。
  7. 如申請專利範圍第5項所述的物件偵測系統，該計算模組計算各所述特徵點的移動向量的演算方法係利用複數個像素特徵比對法或是光流法。
  8. 如申請專利範圍第5項所述的物件偵測系統，其中該計算模組根據各所述特徵點的移動向量，取得各所述特徵點的位移，從而計算各所述特徵點的移動速度，並且該確認模組判斷各所述特徵點的移動速度是否大於一與該各特徵點距離有關的速度門檻值，當該確認模組判斷至少一所述特徵點的移動速度大於該速度門檻值時，該確認模組確認該移動物件存在。
TW103112157A 2014-04-01 2014-04-01 物件偵測系統 TWI595450B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103112157A TWI595450B (zh) 2014-04-01 2014-04-01 物件偵測系統
US14/287,063 US9483711B2 (en) 2014-04-01 2014-05-26 Object detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103112157A TWI595450B (zh) 2014-04-01 2014-04-01 物件偵測系統

Publications (2)

Publication Number Publication Date
TW201539378A TW201539378A (zh) 2015-10-16
TWI595450B true TWI595450B (zh) 2017-08-11

Family

ID=54190845

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103112157A TWI595450B (zh) 2014-04-01 2014-04-01 物件偵測系統

Country Status (2)

Country Link
US (1) US9483711B2 (zh)
TW (1) TWI595450B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI645348B (zh) * 2015-05-26 2018-12-21 鴻海精密工業股份有限公司 商品相關網路文章之自動圖文摘要方法及系統
JP6450294B2 (ja) * 2015-09-30 2019-01-09 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム
US10210392B2 (en) * 2017-01-20 2019-02-19 Conduent Business Services, Llc System and method for detecting potential drive-up drug deal activity via trajectory-based analysis
CN108303103B (zh) * 2017-02-07 2020-02-07 腾讯科技（深圳）有限公司 目标车道的确定方法和装置
DE112017007724T5 (de) * 2017-07-06 2020-03-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. System und Verfahren zur Verfolgung von Objekten in einer zeitlichen Sequenz von digitalen Bildern
TWI676152B (zh) * 2018-05-08 2019-11-01 中華電信股份有限公司 移動物體偵測方法
CN109726684B (zh) * 2018-12-29 2021-02-19 百度在线网络技术（北京）有限公司 一种地标元素获取方法和地标元素获取***
CN111126165B (zh) * 2019-11-29 2022-07-29 苏州科达科技股份有限公司 黑烟车检测方法、装置及电子设备
US11912310B2 (en) * 2020-06-26 2024-02-27 Tusimple, Inc. Autonomous driving crash prevention

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
TW201116431A (en) * 2009-11-02 2011-05-16 Ind Tech Res Inst Method and system for asisting driver

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1251148C (zh) * 2001-06-05 2006-04-12 索尼公司 图像处理设备
JP4130783B2 (ja) 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
CN1565124B (zh) 2002-07-30 2012-12-12 索尼株式会社 存储器设备,信号处理设备,图像信号处理设备和信号处理方法
TW200633539A (en) 2005-03-09 2006-09-16 Pixart Imaging Inc Estimation method of motion vector based on distance weighted searching sequence
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
EP1932352A2 (en) 2005-09-27 2008-06-18 Koninklijke Philips Electronics N.V. Motion detection device
JP2007147458A (ja) 2005-11-28 2007-06-14 Fujitsu Ltd 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体
EP2249310A4 (en) * 2008-02-04 2013-11-27 Konica Minolta Holdings Inc PERIPHERAL MONITORING DEVICE AND PERIPHERAL MONITORING METHOD

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
TW201116431A (en) * 2009-11-02 2011-05-16 Ind Tech Res Inst Method and system for asisting driver

Also Published As

Publication number Publication date
US9483711B2 (en) 2016-11-01
TW201539378A (zh) 2015-10-16
US20150278633A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
TWI595450B (zh) 物件偵測系統
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN107392103B (zh) 路面车道线的检测方法及装置、电子设备
Wu et al. Lane-mark extraction for automobiles under complex conditions
CN108027877B (zh) 用于非障碍区检测的***和方法
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP5267596B2 (ja) 移動体検出装置
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
US10242272B2 (en) Method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN105654031B (zh) 用于物体检测的***和方法
JP2019016116A (ja) 車両用外界認識装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Satzoda et al. On enhancing lane estimation using contextual cues
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
TW201422473A (zh) 可追蹤移動物體之防撞警示方法及其裝置
KR20120065558A (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
US20220171975A1 (en) Method for Determining a Semantic Free Space
Thakurdesai et al. Computer vision based position and speed estimation for accident avoidance in driverless cars