TWI647659B - 車用影像處理方法及其系統 - Google Patents

車用影像處理方法及其系統 Download PDF

Info

Publication number
TWI647659B
TWI647659B TW106117250A TW106117250A TWI647659B TW I647659 B TWI647659 B TW I647659B TW 106117250 A TW106117250 A TW 106117250A TW 106117250 A TW106117250 A TW 106117250A TW I647659 B TWI647659 B TW I647659B
Authority
TW
Taiwan
Prior art keywords
image
optical flow
vehicle
image processing
block
Prior art date
Application number
TW106117250A
Other languages
English (en)
Other versions
TW201820266A (zh
Inventor
徐子建
游凱傑
Original Assignee
帷享科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 帷享科技有限公司 filed Critical 帷享科技有限公司
Priority to US15/823,542 priority Critical patent/US20180150703A1/en
Priority to CN201711220986.3A priority patent/CN108121948A/zh
Priority to EP17204201.2A priority patent/EP3327625A1/en
Publication of TW201820266A publication Critical patent/TW201820266A/zh
Application granted granted Critical
Publication of TWI647659B publication Critical patent/TWI647659B/zh

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明提供一種車用影像處理方法,前述車用影像處理方法包含一光流移動補償步驟、一物體偵測演算步驟、一警示範圍判斷步驟及一3D建模步驟。光流移動補償步驟運用移動補償機制來排除背景光流且獲得物體光流影像,物體偵測演算步驟配合警示範圍判斷步驟將物體光流影像做投影後進行精確運算更新,藉此有效提升精確度。3D建模步驟則有效改善傳統彎曲現象。

Description

車用影像處理方法及其系統
本發明是關於一種影像處理方法及其系統,特別是關於一種障礙判斷精確快速且成本降低的車用影像處理方法及其系統。
現今科技不斷發展,數位影像處理技術不斷的進步,數位影像處理與其他系統設備搭配將做到更多、更高品質的自動化應用。先前技術中車用影像處理多將偵測結果與其他追蹤方式做相關結合。讓車輛週邊移動物件影像被正確偵測出可能的實際物件,利用電腦正確判斷和分析影像特徵的運算能力,在相關特徵分析下得到或找尋的移動物件及非移動背景或其他靜態物件。為了達到這樣的效果,需要讓電腦具備大量運算及大量分析資訊,同時因應即時顯示的需求及偵測演算法的複雜度也造成執行速度變慢;然而,前述速度及精確的二種考量仍然是現今相衝突的技術要求。
近年來車輛移動物件偵測方法也有許多研究與應用在發展,如:背景相減法、光流法、單高斯模型或混合高斯模型等。例如CN100471263號的一種前視監視設備,此 前案目的是高度準確地檢測存在於車輛的前突部分的橫向區域中的接近物體來把接近物體的資訊通知車內人員。其根據圖像計算光流向量進行運算分析,且利用具有沿圖像中車輛行駛方向的光流向量來檢測接近物體,前案內容具有一個用來顯示圖像和進一步通知檢測出接近物體事實的通知單元。
然而,前案仍然僅考量精確獲得接近物體的移動狀況,其對於如何精確獲得判斷結果及節約運算時間沒有提出相關技術說明。
此外,在地狹人稠的台灣行車環境下,車輛駕駛人常常需要面臨人車爭道的狀況,這無形中增加了許多駕駛人行車的壓力。當駕駛人若沒有注意到視線死角或良好的環景警示系統的情況下,很容易就造成碰撞的意外發生。
市面上目前已經有許多相關的先進駕駛輔助系統(Advanced Driver Assistance Systems;ADAS),對於障礙物偵測方面,常見的有雷射、超聲波、紅外線、激光、毫米波雷達或光學雷達等;但都存在一些缺點,紅外線容易受光照影響較適合用於夜晚且無法檢測透明物體,超聲波速度慢干擾較多且障礙物須是平面,激光與光學雷達價格昂貴,而毫米波雷達受下雨影響大、容易產生偏折,除了以上問題外,毫米波雷達還有電磁波過高對人體危害的疑慮。
因此市場上需要一種基於影像式的方法,運用影像式快速運算來達到及時的障礙物偵測,且在價格上具競爭優勢、安裝上也需容易,並能在整合3D環景視窗技術 (Around View Monitoring;AVM)的系統架構下,達到無死角的障礙物偵測警示效果。
因此,本發明之目的在於提供一種有效提升精確度、能改善傳統彎曲現象及有效排除背景雜訊的車用影像處理方法及其系統。
依據本發明方法態樣之第一實施方式提供一種車用影像處理方法,前述車用影像處理方法包含:一光流移動補償步驟、一物體偵測演算步驟、一警示範圍判斷步驟及一3D建模步驟。前述光流移動補償步驟是運用一影像區隔出左右半邊的平均光流值進行判斷,以移動補償方式排除非物體的一背景光流影像且獲得一物體光流影像。而物體偵測演算步驟是將物體光流影像進行水平投影得到一水平投影區塊,並對照水平投影區塊反投影來得到一物體區塊。前述警示範圍判斷步驟則根據一警示範圍(Region of Interest;ROI)對照物體光流影像的一垂直輪廓影像,比對物體區塊與垂直輪廓影像後形成一更新物體區塊。而3D建模步驟是利用更新物體區塊進行3D建模產生一障礙物模型,再以障礙物模型結合進入一3D環景視窗(Around View Monitoring;AVM)內。
依據本發明另一態樣提供一種應用於前述車用影像處理方法的車用影像處理系統,車用影像處理系統包括:一車輛、一電腦、複數個攝影鏡頭及一顯示器。電腦被安裝於車輛上。複數個攝影鏡頭是安裝於車輛上且皆與電腦連 接。顯示器則被安裝於車輛上且呈現出一個3D環景視窗(Around View Monitoring;AVM)及於3D環景視窗中的障礙物模型。
依據本發明方法態樣之第二實施方式提供一種車用影像處理方法,前述車用影像處理方法包含:一光流移動補償步驟、一物體偵測演算步驟及一警示範圍判斷步驟。光流移動補償步驟運用一影像區隔出左右半邊的平均光流值進行判斷,以移動補償方式排除非物體的一背景光流影像且獲得一物體光流影像。物體偵測演算步驟將物體光流影像進行水平投影得到一水平投影區塊,並對照水平投影區塊反投影來得到一物體區塊。警示範圍判斷步驟再根據物體區塊進行警示。
前述警示範圍判斷步驟可以根據一警示範圍(Region of Interest;ROI)對照物體光流影像的一垂直輪廓影像,比對物體區塊與垂直輪廓影像後形成一更新物體區塊。當警示範圍重疊更新物體區塊時進行警示。
前述之車用影像處理方法中可以另包含一警示範圍定義步驟,警示範圍定義步驟會虛擬建立一呈梯形的警示範圍。另可以包含一障礙物偵測範圍定義步驟,障礙物偵測範圍定義步驟會根據影像虛擬建立一障礙物偵測範圍。另可以包含一追蹤範圍定義步驟,追蹤範圍定義步驟會根據影像虛擬建立一追蹤範圍,追蹤範圍圍繞在障礙物偵測範圍之外,且障礙物偵測範圍圍繞在警示範圍之外。
前述移動補償方式將非固定場景的晃動光流定義成物體光流影像,並且將所有不是物體光流影像移動方向的晃動光流補償成背景光流影像,而此移動補償方式建立在習知光流法的基礎上,在此不多作贅述。
前述之車用影像處理方法中可以另包含一障礙物偵測範圍定義步驟,障礙物偵測範圍定義步驟會根據影像虛擬建立一障礙物偵測範圍。前述障礙物偵測範圍定義步驟可以將物體區塊往外擴充到一擴充區塊,再將物體區塊與擴充區塊之間的若干雜訊及顏色資訊去除,形成分割明確清楚的障礙物偵測範圍。
依據本發明另一態樣提供一種應用於前述車用影像處理方法的車用影像處理系統,車用影像處理系統包括:一車輛、一電腦、一攝影鏡頭及一警示器。電腦被安裝於車輛上。攝影鏡頭是安裝於車輛上且皆與電腦連接。警示器被安裝於車輛上且於警示範圍重疊更新物體區塊時進行警示。
S100‧‧‧光流移動補償步驟
S200‧‧‧物體偵測演算步驟
S300‧‧‧警示範圍判斷步驟
S400‧‧‧3D建模步驟
100‧‧‧影像
110‧‧‧警示範圍
A‧‧‧特徵點
P‧‧‧研究點
B‧‧‧背景光流影像
G‧‧‧地面光流影像
F‧‧‧物體光流影像
FX‧‧‧水平投影區塊
120‧‧‧障礙物偵測範圍
121‧‧‧左半邊
122‧‧‧右半邊
130‧‧‧追蹤範圍
300‧‧‧物體
301‧‧‧障礙物模型
400‧‧‧車輛
401‧‧‧車牌
500‧‧‧擴充區塊
510‧‧‧斜線範圍
610‧‧‧底部模型貼圖
620‧‧‧周圍模型貼圖
D‧‧‧距離
C‧‧‧水平平均光流值
W‧‧‧權重值
Vx、Vy、Vxy‧‧‧光流值
Y‧‧‧消失點
E‧‧‧車牌輪廓區塊
Z‧‧‧物體區塊
Znew‧‧‧更新物體區塊
q1、q2、qn、qi‧‧‧像素光流點
Ix、Iy、It‧‧‧偏導值
x、y‧‧‧位置
T、t‧‧‧時間
第1圖係繪示本發明之車用影像處理方法步驟圖。
第2圖係繪示應用第1圖之車用影像處理方法的車用影像處理系統操作流程圖。
第3圖係繪示顯示器呈現的3D環景視窗示意圖。
第4圖係繪示3D環景視窗特徵點定義示意圖。
第5圖係繪示3D環景視窗光流點定義示意圖。
第6圖係繪示左半邊切割示意圖。
第7圖係繪示右半邊切割示意圖。
第8圖係繪示移動補償判斷排除非物體示意圖。
第9圖係繪示背景、地面光流移除前示意圖。
第10圖係繪示依據消失點與光流點距離補償示意圖。
第11圖係繪示背景、地面光流點移除後光流影像圖。
第12圖係繪示水平投影後物體光流影像圖。
第13圖係繪示反投影得到的物體區塊圖。
第14圖係繪示僅取得上半部光流點的示意圖。
第15圖係繪示僅取得上半部水平投影區塊的示意圖。
第16圖係繪示對照物體光流影像的垂直輪廓影像的示意圖。
第17圖係繪示更新物體區塊取得過程示意圖。
第18圖係繪示取得之更新物體區塊示意圖。
第19圖係繪示車輛紋理判斷示意圖。
第20圖係繪示移除背景資訊示意圖。
第21A圖係繪示3D環景視窗改良前示意圖。
第21B圖係繪示改良3D環景視窗示意圖。
以下將參照圖式說明本發明之複數個實施例。為明確說明起見,許多實務上的細節將在以下敘述中一併說明。然而,閱讀時應瞭解到,這些實務上的細節不應用以限 制本發明。也就是說,在本發明部分實施例中,這些實務上的細節是非必要的。此外,為簡化圖式起見,一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之;並且重複之元件將可能使用相同的編號表示之。
請首先參閱第1圖繪示的本發明之車用影像處理方法步驟圖,本發明之車用影像處理方法包括一光流移動補償步驟S100、一物體偵測演算步驟S200、一警示範圍判斷步驟S300及一3D建模步驟S400。光流移動補償步驟S100是運用一影像區隔出左右半邊的平均光流值進行判斷,以移動補償方式排除非物體的背景光流影像且獲得物體光流影像。物體偵測演算步驟S200是將物體光流影像進行水平投影得到水平投影區塊,並對照水平投影區塊反投影來得到物體區塊。而警示範圍判斷步驟S300是根據警示範圍對照物體光流影像的垂直輪廓影像,比對物體區塊與垂直輪廓影像後形成一更新物體區塊。以及3D建模步驟S400是利用更新物體區塊進行3D建模產生障礙物模型,再以障礙物模型結合進入一3D環景視窗。
請一併參閱第2圖至第20圖,首先第2圖繪示應用第1圖中車用影像處理方法的車用影像處理系統操作流程圖。當車用影像處理系統啟動時,一開始會由攝影鏡頭擷取影像100(即影像A及下一刻影像B),對影像100設定其不同的範圍(Region of Interest;ROI),第2圖中央圈起一個梯形的障礙物警示範圍110,當任何物體進入警示範圍110時就會給予駕駛人警示,而第2圖中央方型圈起範圍為障礙物偵測範圍120,第2圖最外側的長方形圈起範圍為 偵測物體運作的追蹤範圍130。因此警示範圍110位於障礙物偵測範圍120內,而障礙物偵測範圍120位於追蹤範圍130內。請參閱第3圖中顯示器呈現的3D環景視窗示意圖,定義完前述警示範圍110、障礙物偵測範圍120及追蹤範圍130後,車用影像處理系統會偵測障礙物偵測範圍120內FAST(Features From Accelerated Segment Test)的特徵點,請參閱第4圖的3D環景視窗特徵點定義示意圖,車用影像處理系統對FAST特徵點A的偵測會以每個像素光流點為中心去觀察周圍的16個點的灰階變化,並且找到類似於角點的特徵點A;這些特徵點A會被儲存起來進行下一步的影像光流計算,在獲得物體光流影像及背景光流影像後將背景光流移除。本發明的影像光流運算是假設兩個相鄰幀的影像100(即影像A及下一刻影像B)內容位移很小,且較小位移在第4圖中研究點P的鄰域內為大致為常數,所以運算時可以假設光流方程式在以研究點P為中心的窗口內對所有的像素光流點qi都成立,也就是說,局部速度的光流值(Vx、Vy)須滿足下式(1)及(2): I x (q n )V x +I y (q n )V y =-I t (q n ) I x V x +I y V y =-I t .................(2)。
其中q1、q2.....qn是窗口中的各個像素光流點qi,Ix(qi)、Iy(qi)及It(qi)是影像100在一特徵點中一像素光流點qi和當前時間T對位置x、y和時間t的偏導值。
根據(2)式子中,有兩個未知數Vx、Vy,但是有多於兩個的方程式,故這個方程組為超定方程組,也就是方程組內有沉餘,沒有精確解。為了求解超定方程組,將方程組整理成矩陣形式,以利使用最小二乘法來求得一個最接近的解,將等式改寫為矩陣形式的Av=b,則為式(3):
移項整理後可得最後的光流值Vx、Vy及式(4);
得到光流值Vx、Vy後會發現,當鏡頭本身在移動的狀況下,得到的像素光流點qi除了物體光流影像F外還有背景光流影像B與地面光流影像G,如第5圖。
前述背景光流影像B與地面光流影像G會影響我們要找的物體區塊Z(第13圖),必須消除背景光流影像 B與地面光流影像G。在消除非物體光流的第一步需要先知道目前鏡頭的移動是屬於何種狀態,例如:前進、後退、左轉、右轉或靜止,本發明會將障礙物偵測範圍120內的視窗影像區隔出左半邊121、右半邊122,再運用左半邊121、右半邊122的平均光流值進行判斷,以移動補償方式排除非物體的一背景光流影像B且獲得一物體光流影像F,如第6圖及第7圖。舉例來說當鏡頭進行前進、後退、左轉、右轉或靜止,左半邊121、右半邊122的水平方向的平均光流會如第8圖中靜止、左轉、右轉及後退圖繪示,並且不同狀態的光流值呈現下表所示關係:
前表是以正負值表達鏡頭靜止、左轉、右轉及後退狀態與水平方向的平均光流值關係。
判斷完鏡頭狀態後,車用影像處理系統會依據平均光流值的大小與像素光流點與消失點的距離來做適當的移動補償以進行非物體300的光流影像(指背景光流影像B與地面光流影像G)的消除,如第9圖之背景、地面光流移除前示意圖與第10圖依據消失點與像素光流點距離補償示意圖之中繪示。
本發明移動補償的過程請一併參考第2圖,由於背景光流影像B的光流值會隨著像素光流點與消失點距離 的遠近而改變,背景光流影像B大小又會隨鏡頭移動速度變化而改變,所以本發明參考了這兩個變量來進行移動補償,假設像素光流點與消失點的距離為D,水平平均光流值取絕對值為C,權重值為W,補償的方式為判斷每個像素光流點的光流值Vxy是否小於D*C*W值,若光流值Vxy小於D*C*W值則代表像素光流點是背景光流影像B,應予移除。針對權重值W的部分,本發明會判斷像素光流點的位置是否大於消失點Y座標,且分成上下半部給予不同權重W來進行移動補償,消失點底下(地面)與上面的消除方式不同,通常地面光流影像G較大,而上半部則會存在物體300的物體光流影像F,本發明需避免物體光流影像F都被消除掉。雖然在背景光流影像B去除時會將物體下半部的像素光流點也消除,但車用影像處理系統在第2圖中尋找垂直輪廓的部分會針對這個問題來解決。在左右轉彎的情況下,則會先利用C值將轉向左右方向的光流值做補償動作,例如左轉會產生正(+)的光流值,所以會先將水平方向光流值減掉C,右轉會產生負(-)的光流值,所以會先將水平方向光流值加上C。最後補償完剩餘的像素光流點才是我們要關注的物體光流影像F,如第10圖。
接著,本發明利用這些像素光流點的大小與位置來建立清楚的物體光流影像F,如第11圖。
接著將物體光流影像F進行水平投影得到水平投影影像後分析出一水平投影區塊FX,如第12圖所示。並根據物體光流影像F找到的水平投影區塊FX進一步的區塊 資訊,本發明再進行反投影來得到較完整的物體區塊Z,如第13圖。本發明藉此可以彌補以往光流法只能得到物體局部稀疏點造成區塊破碎的缺點。
然而,有時在背景光流影像B移除時,物體300上的像素光流點也被意外移除掉,此情況如第14圖;由於物體區塊Z可能無法找到較完整的區塊而導致物體300雖然在梯形警示範圍110內,但偵測到的有缺陷物體區塊Z卻未落入梯形警示範圍110內,如第15圖。
為解決前述問題,本發明在警示範圍判斷步驟對照物體光流影像的垂直輪廓影像,比對物體區塊Z與垂直輪廓影像後成形一更新物體區塊Znew。本發明結合了垂直輪廓的概念,尋找障礙物偵測範圍120內的垂直輪廓,如第16圖;以本發明觀察找到的各物體區塊Z中有無輪廓延伸至梯形警示範圍110內,若有則將垂直輪廓合併後逐步複數個更新物體區塊Znew的框選範圍,如第17圖至第18圖所示。最後在警示範圍110重疊更新物體區塊Znew時進行警示,請同步參閱第2圖。
而在障礙物是車輛400的狀況下,本發明車用影像處理系統因為車輛400紋理的因素,並不會有明顯的垂直輪廓延伸的情況,反而在車牌401的部分會找到長方形的車牌輪廓區塊E,本發明根據這個車牌輪廓區塊E特性來判斷,若在上半部區塊存在符合定義的長方形車牌輪廓區塊E,則判定為車輛400,如第19圖所示。
請參閱第20圖,接著本發明可以用物體追蹤的演算法進行障礙物偵測範圍定義步驟,障礙物偵測範圍定義步驟會根據影像虛擬建立一障礙物偵測範圍120,且此障礙物偵測範圍可以進一步明確分割以利後續判斷。本發明主要以Camshift(Continuously Apative Mean-Shift)為基礎,傳統的Camshift由HSV的H圖層資訊來進行追蹤,本發明車用影像處理系統因為平台輸入影像格式的關係,改由YUV的U與V圖層來進行,並提出了背景資訊移除的演算法,最內部圈選框是更新物體區塊Znew,雖然是更新物體區塊Znew但其實仍包含了物體300與背景資訊,故將更新物體區塊Znew圍往外擴充到一擴充區塊500,更新物體區塊Znew與擴充區塊500之間的斜線範圍510被認定為背景的部分,本發明會去減掉斜線範圍510部分的雜訊及顏色資訊,形成內部分割更明確清楚的障礙物偵測範圍120。經過此處理的障礙物偵測範圍120內部再次分割明確定義後能更有效的移除背景資訊的影響,減少物體區塊Znew追蹤到背景的機率。藉此,不但節省了大量YUV轉HSV色彩空間的運算量,且搭配UV雙圖層資訊與背景資訊移除演算法,在追蹤的準確度上也比傳統Camshift的效果更佳。
如第21A圖及第21B圖,第21A圖是本發明的3D環景視窗改良前示意圖,最後建立障礙物模型301的3D模型並進行貼圖成為第21B圖的改良3D環景視窗前示意圖,本發明與傳統3D AVM的貼圖方式相比較,傳統的貼圖方式會讓障礙物在底部與周圍貼圖模型交界處產生障礙物彎 曲現象;本發明則是運用物體的障礙物模型301的3D建模貼圖來解決問題,利用本發明方法中3D建模步驟中的更新物體區塊進行3D建模產生一障礙物模型301,再以障礙物模型結合進入3D景視窗中,本發明實施例中3D環景視窗虛擬呈一開口碗狀。從圖中可以看到本發明在進行貼圖時,改良後障礙物模型301呈現不會再受底部模型貼圖610與周圍模型貼圖620的影響,並不會產生變形、附著或扭曲,在本發明3D環景視窗畫面能更正確的顯示障礙物模型301與駕駛者的關係位置,駕駛者可根據欲觀看的角度進行畫面的視角變換,隨時注意車輛四周圍的障礙物模型301狀況,第21圖呈現是本發明在實際場景下物體300的障礙物模型301於本發明3D環景視窗中不會變形、附著或扭曲效果。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (13)

  1. 一種車用影像處理方法,包含:一光流移動補償步驟,運用一影像區隔出該影像的左右半邊的一平均光流值進行判斷,並依據該平均光流值的大小與像素光流點與消失點的距離,透過移動補償方式排除非物體的一背景光流影像且獲得一物體光流影像;一物體偵測演算步驟,將該物體光流影像進行水平投影得到一水平投影區塊,並對照該水平投影區塊反投影來得到一物體區塊;一警示範圍判斷步驟,根據一警示範圍對照該物體光流影像的一垂直輪廓影像,比對該物體區塊與該垂直輪廓影像後形成一更新物體區塊;以及一3D建模步驟,利用該更新物體區塊進行3D建模產生一障礙物模型,再以該障礙物模型結合進入一3D環景視窗。
  2. 如申請專利範圍第1項所述之車用影像處理方法,其中該3D建模步驟中的該3D環景視窗虛擬呈一開口碗狀。
  3. 如申請專利範圍第1項所述之車用影像處理方法,其中該警示範圍判斷步驟可去除該更新物體區塊週邊的複數雜像。
  4. 一種應用於申請專利範圍第1項所述之車用影像處理方法的車用影像處理系統,包括:一車輛;一電腦,安裝於該車輛上;複數個攝影鏡頭,安裝於該車輛上且皆與該電腦連接;以及一顯示器,安裝於該車輛上且呈現該3D環景視窗中的該障礙物模型。
  5. 一種車用影像處理方法,包含:一光流移動補償步驟,運用一影像區隔出該影像的左右半邊的一平均光流值進行判斷,並依據該平均光流值的大小與像素光流點與消失點的距離,透過移動補償方式排除非物體的一背景光流影像且獲得一物體光流影像;一物體偵測演算步驟,將該物體光流影像進行水平投影得到一水平投影區塊,並對照該水平投影區塊反投影來得到一物體區塊;以及一警示範圍判斷步驟,根據一警示範圍對照該物體光流影像的一垂直輪廓影像,比對該物體區塊與該垂直輪廓影像後形成一更新物體區塊,當該警示範圍重疊該更新物體區塊時進行警示。
  6. 如申請專利範圍第5項所述之車用影像處理方法,另包含一警示範圍定義步驟,該警示範圍定義步驟會虛擬建立一呈梯形的該警示範圍。
  7. 如申請專利範圍第5項所述之車用影像處理方法,另包含一障礙物偵測範圍定義步驟,該障礙物偵測範圍定義步驟會根據該影像虛擬建立一障礙物偵測範圍。
  8. 如申請專利範圍第7項所述之車用影像處理方法,另包含一追蹤範圍定義步驟,該追蹤範圍定義步驟會根據該影像虛擬建立一追蹤範圍,該追蹤範圍圍繞在該障礙物偵測範圍之外,且該障礙物偵測範圍圍繞在該警示範圍之外。
  9. 如申請專利範圍第7項所述之車用影像處理方法,該光流移動補償步驟將該障礙物偵測範圍內的該影像區分為左右半邊進行判斷。
  10. 一種應用於申請專利範圍第5項所述之車用影像處理方法的車用影像處理系統,包括:一車輛;一電腦,安裝於該車輛上;一攝影鏡頭,安裝於該車輛上且與該電腦連接;以及一警示器,安裝於該車輛上且於該警示範圍重疊該更新物體區塊時進行警示。
  11. 一種車用影像處理方法,包含:一光流移動補償步驟,運用一影像區隔出該影像的左右半邊的一平均光流值進行判斷,並依據該平均光流值的大小 與像素光流點與消失點的距離,透過移動補償方式排除非物體的一背景光流影像且獲得一物體光流影像;一物體偵測演算步驟,將該物體光流影像進行水平投影得到一水平投影區塊,並對照該水平投影區塊反投影來得到一物體區塊;以及一警示範圍判斷步驟,根據該物體區塊比對該物體光流影像的一垂直輪廓影像作為是否警示的判斷根據。
  12. 如申請專利範圍第11項所述之車用影像處理方法,另包含一障礙物偵測範圍定義步驟,該障礙物偵測範圍定義步驟會根據該影像虛擬建立一障礙物偵測範圍。
  13. 如申請專利範圍第12項所述之車用影像處理方法,該障礙物偵測範圍定義步驟將該物體區塊往外擴充到一擴充區塊,再將該物體區塊與該擴充區塊之間的若干雜訊及顏色資訊去除,藉以形成分割明確清楚的該障礙物偵測範圍。
TW106117250A 2016-11-29 2017-05-24 車用影像處理方法及其系統 TWI647659B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/823,542 US20180150703A1 (en) 2016-11-29 2017-11-27 Vehicle image processing method and system thereof
CN201711220986.3A CN108121948A (zh) 2016-11-29 2017-11-28 车用影像处理方法及其***
EP17204201.2A EP3327625A1 (en) 2016-11-29 2017-11-28 Vehicle image processing method and system thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??105139303 2016-11-29
TW105139303 2016-11-29

Publications (2)

Publication Number Publication Date
TW201820266A TW201820266A (zh) 2018-06-01
TWI647659B true TWI647659B (zh) 2019-01-11

Family

ID=63258305

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117250A TWI647659B (zh) 2016-11-29 2017-05-24 車用影像處理方法及其系統

Country Status (1)

Country Link
TW (1) TWI647659B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1673679A (zh) * 2004-03-26 2005-09-28 三菱自动车工业株式会社 前视监视设备
CN101868812A (zh) * 2007-11-20 2010-10-20 三洋电机株式会社 驾驶辅助***、车辆及立体物区域推定方法
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
CN104139737A (zh) * 2013-05-07 2014-11-12 现代摩比斯株式会社 在全景式监控影像上的车辆停车引导方法
TWM490591U (en) * 2014-07-03 2014-11-21 Univ Shu Te 3D image system using distance parameter to correct accuracy of patterns surrounding the vehicle
CN104442569A (zh) * 2014-11-14 2015-03-25 东风汽车有限公司 一种汽车监控影像生成方法及***
TWM515244U (zh) * 2015-10-08 2016-01-01 Hua Chuang Automobile Information Technical Ct Co Ltd 三維行車影像提醒裝置
TWM520036U (zh) * 2015-11-27 2016-04-11 樹德科技大學 立體環景影像之監控系統

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1673679A (zh) * 2004-03-26 2005-09-28 三菱自动车工业株式会社 前视监视设备
CN101868812A (zh) * 2007-11-20 2010-10-20 三洋电机株式会社 驾驶辅助***、车辆及立体物区域推定方法
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
CN104139737A (zh) * 2013-05-07 2014-11-12 现代摩比斯株式会社 在全景式监控影像上的车辆停车引导方法
TWM490591U (en) * 2014-07-03 2014-11-21 Univ Shu Te 3D image system using distance parameter to correct accuracy of patterns surrounding the vehicle
CN104442569A (zh) * 2014-11-14 2015-03-25 东风汽车有限公司 一种汽车监控影像生成方法及***
TWM515244U (zh) * 2015-10-08 2016-01-01 Hua Chuang Automobile Information Technical Ct Co Ltd 三維行車影像提醒裝置
TWM520036U (zh) * 2015-11-27 2016-04-11 樹德科技大學 立體環景影像之監控系統

Also Published As

Publication number Publication date
TW201820266A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
US20180150703A1 (en) Vehicle image processing method and system thereof
JP4919036B2 (ja) 移動物体認識装置
JP3776094B2 (ja) 監視装置、監視方法および監視用プログラム
JP6254084B2 (ja) 画像処理装置
TWI696905B (zh) 車輛盲區偵測方法
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
CN108280444B (zh) 一种基于车辆环视图的快速运动物体检测方法
CN114111568B (zh) 动态目标外观尺寸的确定方法及装置、介质及电子设备
Chiu et al. Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking.
KR20150008056A (ko) 단일-카메라 거리 추정
AU2019100914A4 (en) Method for identifying an intersection violation video based on camera cooperative relay
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
CN108280445B (zh) 一种车辆周围运动物体和凸起障碍物的检测方法
WO2019202628A1 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN110176022B (zh) 一种基于视频检测的隧道全景监控***及方法
JP5521217B2 (ja) 障害物検出装置、及び障害物検出方法
CN108629225A (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
Balisavira et al. Real-time object detection by road plane segmentation technique for ADAS
TWI647659B (zh) 車用影像處理方法及其系統
TW201516965A (zh) 偵測多移動目標之方法
Dai et al. A driving assistance system with vision based vehicle detection techniques
Westerhoff et al. Development and comparison of homography based estimation techniques for camera to road surface orientation
Said et al. Real-time detection and classification of traffic light signals