TWI552897B - 影像動態融合方法與裝置 - Google Patents

影像動態融合方法與裝置 Download PDF

Info

Publication number
TWI552897B
TWI552897B TW102117563A TW102117563A TWI552897B TW I552897 B TWI552897 B TW I552897B TW 102117563 A TW102117563 A TW 102117563A TW 102117563 A TW102117563 A TW 102117563A TW I552897 B TWI552897 B TW I552897B
Authority
TW
Taiwan
Prior art keywords
vehicle
image
dynamic fusion
images
points
Prior art date
Application number
TW102117563A
Other languages
English (en)
Other versions
TW201444712A (zh
Inventor
林哲聰
林昱成
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW102117563A priority Critical patent/TWI552897B/zh
Priority to CN201310314054.0A priority patent/CN104166973B/zh
Priority to US14/158,224 priority patent/US9311818B2/en
Publication of TW201444712A publication Critical patent/TW201444712A/zh
Application granted granted Critical
Publication of TWI552897B publication Critical patent/TWI552897B/zh

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)

Description

影像動態融合方法與裝置
本揭露係關於影像動態融合方法與裝置。
在行車過程中，即便同一車道內之車輛皆裝載攝影機且兩車輛皆透過車間通訊裝置彼此分享各自車輛所擷取之影像，後方車輛的駕駛者在與前方車輛過近因而造成視覺上的盲點時，該駕駛者既使觀看前方車輛所擷取之影像亦無助於提昇安全性，因而容易產生連環追撞，其原因在於後方車輛駕駛者之視線被前車所阻檔，一旦前方車輛因為突發狀況而緊急煞車，駕駛者往往因為反應不及而造成與前方車輛之追撞。追根究底，這種意外產生的原因在於後方車輛駕駛者之視野受限，一旦有突發狀況，往往會因為來不及反應，而與前車產生碰撞意外。
在主動安全系統之協同安全應用中，現雖有一技術提出，以車間通訊的方式接收它車之全球衛星定位系統(Global Positioning System，GPS)的定位結果以避免碰撞的可能，但是一旦可能造成本車危害之它車位於本車之盲點，駕駛者將難以理解此系統所產生的警示是否具有立即性的危害。在另一使用車間通訊之車輛追撞警告系統中，一旦某前車緊急煞車，該資訊將一路傳遞給後方車輛，以避免連環追撞，然而，若發送緊急煞車訊號的前車無法為本車所直接觀看到，本車駕駛者將難以做出適當的緊急反應。更有另一技術提出在監控系統當中，藉由拼接複數個攝影機所擷取之複數張影像，所產生之一全域之影像以方便監控人員在單一影像中監控超出單一攝影機所能拍攝到的範圍。然而，該拼接技術並無法在前後車輛各自具備攝影機與車間通訊裝置之情境下，消 除後方駕駛者視覺上的盲點。
故而，本揭露提出之影像動態融合方法與裝置，其利用同軸幾何分析技術，達成動態影像融合之功效，也就是利用不具視線上盲點之影像消除具視線上盲點之影像中之盲點像素。在行車安全警示系統之應用中，其可將前車所擷取之影像與本車所擷取之影像予以融合，使得造成本車盲點之前車於影像中變成(半)透明，本車駕駛者由於可直接觀看前方路況，不僅行車過程更為輕鬆與自在，安全性亦可大幅提昇。
21‧‧‧接收單元
22‧‧‧擷取單元
23‧‧‧處理單元
24‧‧‧顯示單元
s101~s104‧‧‧步驟
為了可詳細地瞭解到本發明上述的參考特性之手段，以至於本發明一更特別的描述，即上述簡短地摘要，係可參考實施例來獲得，其某些實施例係繪示在附加的圖式中。然而，所注意的是，附加的圖式係僅繪示本發明典型的實施例，且因此其並不會限制其範圍，本發明係可容許其他等效的實施例。
圖1係顯示根據本揭露之一實施例之一影像動態融合方法。
圖2係顯示根據本揭露之一實施例之一影像動態融合裝置。
圖3、圖4顯示應用本揭露之實際例子。
圖1係顯示根據本揭露之一實施例之一影像動態融合方法，該方法係包括：接收一車輛之周圍車輛的廣播資訊(步驟s101)；根據該廣播資訊判斷該車輛之周圍車輛是否有與該車輛位於同一車道且距離相近之鄰近車輛(步驟s102)；判斷該鄰近車輛中是否有遮蔽該車輛視線之一前方車輛(步驟s103)；以及當該前方車輛與該車輛距離相近時，則將該前方車輛進行透明化處理(步驟s104)。前述之該廣播資訊包括該車輛所擷取之該周圍車輛的影像與定位資訊，且前述之透明化程度可為完全透明、半透明或介於完全透明與完全不透明之間。
前述透明化處理之方法更包括：由該前方車輛與該車輛所擷 取到的影像中之特徵點，來計算一描述兩影像間像素關係之基本矩陣，以取得各自的共軛點與描述兩共軛點附近像素比例關係之比例因子；於該前方車輛影像之共軛點附近擷取影像，並以該比例因子將擷取後之影像縮小；將縮小後之影像以該車輛影像之共軛點為中心至一車輛演算法所偵測出該前方車輛之邊界內像素作融合。該透明化處理方法更包括：應用一演算法來求取該前方車輛與該車輛影像中的特徵點以及二車輛影像中的特徵點的對應關係，且該演算法為一尺度不變特徵轉換演算法或一加速強健特徵演算法。
前述之前方車輛與該車輛之影像更可由複數影像感測器所擷取的影像所構成，且該些影像感測器中之一者為一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體光學感測元件或其任意組合。若該些影像感測器安置於該前方車輛與該車輛上，則該些影像藉由一無線通訊彼此間進行互相傳遞。該廣播資訊或該些影像由該無線通訊進行傳輸，該無線通訊包括車間專用短程通信系統(WAVE/DSRC)、Wi-Fi、WiMax、LTE。
該影像動態融合方法可由複數影像上共同之特徵取得該些影像間彼此之幾何關係以及由該幾何關係組合或疊加該些影像，以構成該車輛影像中之透明化該前方車輛。前述之比例關係由一線性或非線性方程式近似，且該比例關係之座標系可由該車輛影像之共軛點或該後方影像中之任一像素作為座標中心。
圖2係顯示根據本揭露之一實施例之一影像動態融合裝置，該影像動態融合裝置包括：一擷取單元22，擷取該車輛之周圍影像，且該擷取單元可為影像感測裝置，該影像感測裝置包括攝影機、照相機或其他攝像裝置；一接收單元21，接收一車輛之周圍車輛的廣播資訊及擷取單元22擷取該車輛之周圍影像；一處理單元23，耦接該接收單元與該擷取單元，該處理單元根據該廣播資訊判斷該車輛之周圍車輛是否有與該車輛位於同一車道且距離相 近之鄰近車輛，且判斷該鄰近車輛中是否有遮蔽該車輛視線之一前方車輛以及當該前方車輛與該車輛距離相近時，則將該前方車輛進行透明化處理；以及一顯示單元24，耦接該處理單元23，用以顯示已執行透明化處理之該前方車輛，且該顯示單元可為抬頭顯示器、螢幕或其他顯像裝置。前述之該廣播資訊包括該車輛所擷取之該周圍車輛的影像與定位資訊，且前述之透明化程度可為完全透明、半透明或介於完全透明與完全不透明之間。前述之影像感測裝置可為一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體光學感測元件或其任意組合。
前述透明化處理之方法更包括：由該前方車輛與該車輛所擷取到的影像中之特徵點，來取得各自的共軛點與描述兩共軛點附近像素比例關係之比例因子；於該前方車輛影像之共軛點附近擷取影像，並以該比例因子將擷取後之影像縮小；將縮小後之影像以該車輛影像之共軛點為中心至一車輛演算法所偵測出該前方車輛之邊界內像素作融合。該透明化處理方法更包括：應用一演算法來求取該前方車輛與該車輛影像中的特徵點以及二車輛影像中的特徵點的對應關係，且該演算法為一尺度不變特徵轉換演算法或加速強健特徵(Speeded Up Robost Features,SURF)演算法。
本揭露是利用影像分析演算法來推斷兩攝影機的相對姿態、辨識前方車輛在後方車輛所擷取之影像中之位置並將前方車輛所擷取之影像經過適當的大小比例調整以抺除後方車輛所擷取影像中，前方車輛所造成的盲點，使得後方車輛之駕駛者得以在螢幕看到透明或半透明之前方車輛。
圖3與圖4顯示應用本揭露之實際例子，於圖3所示，本車、前方車輛1與前方車輛2皆設置有本揭露之影像融合裝置，本車擷取單元22擷取前方車輛1之影像，及前方車輛1擷取前方車輛2之影像，經由無線通訊傳輸至本車之接收單元21，如前方車輛2煞車或前方車輛1與前方車輛2發生碰撞，前方車輛1或前方車 輛2亦會將警示作用經由無線通訊傳輸至本車之接收單元21，且圖3與圖4的具體之流程為先使用尺度不變特徵轉換(Scale-Invariant Feature Transform,SIFT)演算法或加速強健特徵(Speeded Up Robost Features,SURF)演算法或任何可以求取兩影像間對應點之演算法，來找出後方車輛所擷取畫面中之複數個特徵點與前方車輛所擷取畫面中之複數個像素特徵點(以進行特徵點匹配)，以及此兩張畫面中的對應點(Correspondence)，接著，藉由對應點，兩畫面間彼此的關係可由旋轉(Rotation)矩陣與平移(Translation)矩陣彼此描述，假設同一個對應點在前方畫面中的座標為p，於後方畫面上的座標為p’，則此兩點之關係為p' t Fp=0....................................................................(1)
也就是描述每對對應點間之關係為基本矩陣(Fundamental Matrix,F)，求解F的方法可為Calibrated Five Point Algorithm，其細節可參考下列論文D.Nister.An Efficient Solution to the Five-Point Relative Pose Problem.IEEE Trans.Pattern Analy.Machine Intell.,pages 756-770,2004.或是Normalized Eight Point Algorithm，其細節可參考下列論文R.I.Hartley.In Defense of the Eight-Point Algorithm.IEEE Trans.Pattern Analy.Machine Intell.,19,1997.即可求出兩畫面上像素間彼此關係的F。
然而以上兩演算法其代表最低只需五組對應點或八組對應點即可求解F，但在實際應用中，很有可能因為隨機選擇之五組點或八組點恰好為雜訊所干擾卻又被視為對應點，因此，欲加強F估算之正確性與強健性，我們使用隨機抽樣一致演算法(Random Sample Consensus,RANSAC)來找出基於統計的觀點，更為適當之F，其運作之方式為假定重覆隨機選取之五組或八組之對應點中，至少有一組其不為雜訊所汙染，因此重覆的選取五組或八組點以求解F，每得到一次F，即將每組對應點代入|P' t Fp|，並以平均值 或中間值來代表該次所有點代入|P' t Fp|後的結果，而對應最小平均值或中間值之F，即為隨機抽樣一致演算法所估測之最佳F。最後，使用奇異值分解(Singular Value Decomposition)，即可從F解出e'(後方影像之共軛點)與e(前方影像之共軛點)。
接著，如圖3與4所示，相同的背景，對於前方車輛1之(前方)攝影機與本車(後方)攝影機來說，後方攝影機理論上所擷取到的物件影像相較於該前方車輛1之攝影機來說應該會較小，此大小比例的估算亦可由前後影像間之對應點來求得，例如，可使用線性迴歸來求取此比例因子。此外，由於前方車輛共軛點附近的像素，將與本車(後方)影像共軛點附近的像素混合以去除本車(後方)影像中前方車輛1所造成的盲點，因此，此比例因子將以共軛點為中心，並以極座標來模型化迴歸之方程式，也就是在此需要分別估算距離與角度。然而，由於對應點有可能為雜訊所干擾，因此，我們亦使用隨機抽樣一致演算法，搭配最小平方法，即可找出描述兩影像各自之像素相對於共軛點之比例關係，其實現方法為，假設共有m組對應點，其中後方影像內之對應點之座標為，其相對於共軛點之向量-e'可以極座標(ρ' i ,θ' i )予以表示，同樣的，前方影像內之對應點之座標X i ，其相對於共軛點之向量X i -e，亦可以(ρ i ,θ i )予以表示，接著，重覆k次最小平方法，每次皆隨機選取n組對應點，其中2<n<m，第j次最小平方法的結果， 所得到的aj與bj，若能使得最小，則aj與bj即為描述 前後兩影像極座標半徑變化關係之一組最佳斜率與最佳截距。
而描述前後兩影像極座標角度變化關係之一組最佳斜率Aj與最佳截距Bj，亦可使用同樣方法來求得，也就是此筆斜率與截距 將使得最小。
由於車輛偵測結果為已知，所以前方車輛1於本車(後方)車輛所擷取之影像中所造成的盲點之範圍亦為已知，接著，位於該範圍內之像素，藉由求取其以共軛點為中心之極座標位置(ρ',θ')輸入 ρ=(ρ '+b)/a......................................................................(2)
θ=(θ '+B)/A......................................................................(3)
即可獲得每個位於後方車輛所擷取之影像中，前方車輛所佔據的位置內，相對於e'(共軛點)，位於(ρ',θ')之像素，該以前方車輛所擷取之影像中，相對於e(共軛點)位於極座標(ρ,θ)之那一個像素來予以填補。
值得一提的是，為了避免前方車輛完全變成隱形，本實施例，使用一透明度來給予每一用於填補之像素的權重α(ρ')(介於0與1之間)，也就是後方車輛所擷取之影像I'(ρ',θ')其藉由此權重來決定後方車輛所擷取之影像中，每一前方車輛佔據像素與其對應用於透明化前方車輛之像素為I'(ρ',θ')=(1-α(ρ'))I(ρ(ρ'),θ(θ'))+α(ρ')I'(ρ',θ')..............................(4)
其中α(ρ')[0,1]且ρ' α(ρ')，也就是說ρ'愈小，則α(ρ')也愈小，ρ'愈大，則α(ρ')也愈大，因此，融合後的影像是在本車(後車)所擷取之影像中，將前方車輛1所佔據的像素依(6)式來從前方車輛1擷取之影像中提取像素，並以α(ρ')此權重予以融合，後車所擷取之影像中，愈接近e'之像素，也就是ρ'愈小，則愈使用前方車輛1所擷取之影像，愈離開e'，也就是ρ'愈大，則愈使用後車所擷取之影像。
於本案實施例中，前方車輛廣播影像之裝置，以及後車接受廣播訊號，除了可使用WAVE/DSRC，這類車間通訊之裝置外，亦有可能使用Wi-Fi、WiMAX、LTE或是任何能實現車間通訊之傳輸裝置，廣播的訊號除了影像外，還必須有前車之GPS定位資訊，原因在於，只有在確定前車與本車位於同一車道，具距離過近時，此透視系統才有啟動的必要。
在實際應用上，除了可輸出融合過之半透明前車之影像於螢幕上，供駕駛者觀看外，亦可使用抬頭顯示器，將前車之影像投 影至檔風玻璃上，供駕駛者直接觀看融合後，也就是(半)透明之前車。
此外，本實施例可安裝於任何有運算能力的裝置，其可為嵌入式系統，如智慧型手機、車用電腦，其運算核心可為單核或多核，且能夠執行一至多種程式指令。
本實施例具有下列優點：
一、本實施例可去除遮蔽本車駕駛者視野之前車盲點，以避免一旦遠方產生事故，但本車與前車間之距離過近因而反應不及，產生之追撞事故。
二、本揭露由於使得前車變得(半)透明，相較於直接觀看前車所擷取之影像，本車之駕駛者，較易於理解前方路況，使得駕駛過程較為輕鬆，並可維持與前車較為近之相對距離。
綜合上述，本實施例中，具有在前車與本車位於同一車道，且間距過近使得該前車之車身造成本車駕駛者視覺上之盲點時，藉由車間通訊接收前車所分享之影像，於本車所擷取之影像中，以適當的影像處理技術，(半)透明化前車，使得本車駕駛者可充份掌握前方路況，避免產生任何追撞的可能，因而提昇行車之安全性。
本影像動態融合方法與裝置之實施例可利用如處理單元、數位訊號處理單元、數位視訊處理單元實施，或是以可程式化的集積電路如微控制器、元件可程式邏輯閘陣列(FPGA，Field Programmable Gate Array)之類的電路來實現，其中例如以硬體描述(HDL，Hardware description language)來設計。
或者，影像動態融合方法與裝置之實施例亦可以軟體程式來實現，比如，用以實施本案實施例的程式碼可記錄在一記憶媒體之中，如記憶體、ROM、RAM及之類的媒體、或光學或磁性或其他記錄媒體，或是實現為韌體(firmware)。當運算裝置之處理單元，從記憶媒體讀取並執行本案實施例之程式碼，以實現本影像動態 融合方法與裝置之實施例。再者，本影像動態融合方法與裝置之實施例可以軟硬體結合之方式實現。
本揭露實施例係有關於一種應用影像動態融合方法與裝置之前車盲點消除，前車藉由WAVE/DSRC廣播其擷取之影像，後方車輛在接受到該影像後可藉由車輛偵測演算法判斷前車於畫面中之位置，並由前後兩車之攝影機所共同觀看到的背景影像來估算兩攝影機之共軛點以及比例因子，因而得以在後方車輛所擷取之影像當中，將前方車輛所提供的影像用於消除前車所造成的視線盲點。而上述的WAVE/DSRC(Wireless Access in Vehicular Environments，車用環境無線存取；Dedicated Short-Range Communications，專用短程通訊)為智慧型運輸系統(Intelligent transportation Systems,ITS)所倚重的核心技術，基於IEEE 802.11p及IEEE 1609標準，車輛在高速移動狀態下，車上設備(OBU)與路側設備(RSU)藉由5.9GHz(5.85-5.925GHz)微波頻段傳輸資料，建立車間通訊V2V(Vehicle to Vehicle)以及車外通訊V2I(Vehicle to Infrastructure)的短程通訊。相較於GSM、GPRS、W-CDMA、HSDPA或WiMAX等無線通訊技術必須輾轉經由基地台建立連結，WAVE/DSRC為專屬行車系統的獨立頻道，車輛與其他車輛及路側設備可直接連結，即時完成資訊傳播。
根據本揭露之一示範性實施例，包括：接收前方車輛所擷取之影像與位置資訊，確認該車是否與本車位於同一車道內；車輛偵測演算法確認其於影像中之位置與佔據的像素；利用兩攝影機所看到的共同背景影像中的特徵點來求取兩攝影機之各自共軛點(epi-pole)以及比例因子；從前方影像中之共軛點附近剪取影像，並以該比例因子將其縮小；將縮小後之影像與後方影像中共軛點附近之像素混合，而後方影像中融合之界限來自於車輛偵測演算法。
雖然本發明以相關的較佳實施例進行解釋，但是這並不構成對本發明的限制。應說明的是，本領域的技術人員根據本發明的 思想能夠構造出很多其他類似實施例，這些均在本發明的保護範圍之中。
s101~s104‧‧‧步驟

Claims (24)

  1. 一種影像動態融合方法，係包括：接收一車輛之周圍車輛的廣播資訊；根據該廣播資訊判斷該車輛之周圍車輛是否有與該車輛位於同一車道且距離相近之鄰近車輛；判斷該鄰近車輛中是否有遮蔽該車輛視線之一前方車輛；以及當該前方車輛與該車輛距離相近時，則將該前方車輛進行透明化處理；其中，該透明化處理包括：由該前方車輛與該車輛所擷取到的影像中之特徵點，來求取各自的共軛點與描述兩共軛點附近像素比例關係之比例因子；於該前方車輛的影像之共軛點附近擷取影像，並以該比例因子將擷取後之影像縮小；將縮小後之影像與後方影像中共軛點附近，至一邊界內之像素作融合。
  2. 如申請專利範圍第1項所述之影像動態融合方法，更包括：應用一演算法來求取該前方車輛與該車輛影像中的特徵點以及二車輛影像中的特徵點的對應關係，該兩對應點之關係為p' t Fp=0；對應點於前方畫面中的座標為p，於後方畫面上的座標為p’，F為基本矩陣(Fundamental Matrix)。
  3. 如申請專利範圍第2項所述之影像動態融合方法，其中該演算法為一尺度不變特徵轉換演算法或一加速強健特徵演算法。
  4. 如申請專利範圍第1項所述之影像動態融合方法，更包括：求解一基本矩陣以及該前方車輛與該車輛影像中各自的共軛點；以及兩共軛點附近的像素間之比例關係；以該比例關係由該前方車輛影像提取像素並與該車輛影像中構成該前方車輛車身之像素，以該共軛點為中心相融合，該 融合之邊界來自一車輛偵測演算法。
  5. 如申請專利範圍第1項所述之影像動態融合方法，其中該前方車輛與該車輛之影像更可由複數影像感測器所擷取的影像所構成。
  6. 如申請專利範圍第5項所述之影像動態融合方法，更包括：由複數影像上共同之特徵取得該些影像間彼此之幾何關係；由該幾何關係組合或疊加該些影像，以構成該前方車輛與該車輛之影像。
  7. 如申請專利範圍第5項所述之影像動態融合方法，其中該些影像感測器中之一者為一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體光學感測元件或其任意組合。
  8. 如申該專利範圍第5項所述之影像動態融合方法，其中若該些影像感測器安置於該前方車輛與該車輛上，則該些影像藉由一無線通訊彼此間進行互相傳遞。
  9. 如申請專利範圍第8項所述之影像動態融合方法，其中該廣播資訊或該些影像由該無線通訊進行傳輸，該無線通訊包括車間專用短程通信系統(WAVE/DSRC)、Wi-Fi、WiMax、LTE。
  10. 如申請專利範圍第4項所述之影像動態融合方法，其中該比例關係由一線性或非線性方程式近似。
  11. 如申請專利範圍第4項所述之影像動態融合方法，其中該比例關係之座標系可由該車輛影像之共軛點作為座標中心或該後方影像中之任一座標點。
  12. 如申請專利範圍第1項所述之影像動態融合方法，其中該廣播資訊包括該周圍車輛的影像與定位資訊。
  13. 如申請專利範圍第1項所述之影像動態融合方法，其中該透明化程度可為完全透明、半透明或介於完全透明與完全不透明之間。
  14. 一種影像動態融合裝置，包括： 一擷取單元，擷取一特定車輛之周圍影像；一接收單元，接收該特定車輛之周圍車輛的廣播資訊及擷取單元擷取該特定車輛之周圍影像；一處理單元，耦接該接收單元與該擷取單元，該處理單元根據該廣播資訊判斷該特定車輛之周圍車輛是否有與該特定車輛位於同一車道且距離相近之鄰近車輛，且判斷該鄰近車輛中是否有遮蔽該特定車輛之視線之一前方車輛以及當該前方車輛與該特定車輛距離相近時，則將該前方車輛進行透明化處理；其中，該處理單元進行該透明化處理更包括：由該前方車輛與該特定車輛所擷取到的影像中之特徵點，來求取各自的共軛點與描述兩共軛點附近像素比例關係之比例因子；於該前方車輛的影像之共軛點附近擷取影像，並以該比例因子將擷取後之影像縮小；將縮小後之影像與後方影像中共軛點附近，至一邊界內之像素作融合。
  15. 如申請專利範圍第14項所述之影像動態融合裝置，該處理單元更應用一演算法來求取該前方車輛與該特定車輛影像中的特徵點以及二車輛影像中的特徵點的對應關係。
  16. 如申請專利範圍第14項所述之影像動態融合裝置，該處理單元更包括：求解一基本矩陣以及該前方車輛與該特定車輛影像中各自的共軛點；以及兩共軛點附近的像素間之比例關係；以該比例關係由該前方車輛影像提取像素並與該特定車輛影像中構成該前方車輛車身之像素，以該共軛點為中心相融合，該融合之邊界來自一車輛偵測演算法。
  17. 如申請專利範圍第16項所述之影像動態融合裝置，其中該前方車輛與該特定車輛之影像更可由該擷取單元所擷取的影像 所構成。
  18. 如申請專利範圍第16項所述之影像動態融合裝置，其中該處理單元更包括：由複數影像上共同之特徵取得該些影像間彼此之幾何關係；由該幾何關係組合或疊加該些影像，以構成該前方車輛與該特定車輛之影像。
  19. 如申請專利範圍第14項所述之影像動態融合裝置，更包括：一顯示裝置，耦接該處理單元，用以顯示已執行透明化處理之該前方車輛。
  20. 如申請專利範圍第19項所述之影像動態融合裝置，其中該顯示裝置包括抬頭顯示器、螢幕或其他顯像裝置。
  21. 如申請專利範圍第14項所述之影像動態融合裝置，其中該擷取單元為一影像感測裝置，該影像感測裝置包括攝影機、照相機或其他攝像裝置。
  22. 如申請專利範圍第21項所述之影像動態融合裝置，其中該影像感測裝置為一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體光學感測元件或其任意組合。
  23. 如申請專利範圍第14項所述之影像動態融合裝置，其中本車接收單元接收擷取單元擷取前方車輛1之影像，及前方車輛1擷取前方車輛2之影像，該影像係經由無線通訊傳輸至本車接收單元。
  24. 如申請專利範圍第14項所述之影像動態融合裝置，其中本車接收單元接收前方車輛2煞車或前方車輛1與前方車輛2發生碰撞之警示作用，該警示作用係經由無線通訊傳輸至本車之接收單元。
TW102117563A 2013-05-17 2013-05-17 影像動態融合方法與裝置 TWI552897B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102117563A TWI552897B (zh) 2013-05-17 2013-05-17 影像動態融合方法與裝置
CN201310314054.0A CN104166973B (zh) 2013-05-17 2013-07-24 影像动态融合方法与装置
US14/158,224 US9311818B2 (en) 2013-05-17 2014-01-17 Dymanic fusion method and device of images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102117563A TWI552897B (zh) 2013-05-17 2013-05-17 影像動態融合方法與裝置

Publications (2)

Publication Number Publication Date
TW201444712A TW201444712A (zh) 2014-12-01
TWI552897B true TWI552897B (zh) 2016-10-11

Family

ID=51895813

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102117563A TWI552897B (zh) 2013-05-17 2013-05-17 影像動態融合方法與裝置

Country Status (3)

Country Link
US (1) US9311818B2 (zh)
CN (1) CN104166973B (zh)
TW (1) TWI552897B (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406114B2 (en) * 2014-02-18 2016-08-02 Empire Technology Development Llc Composite image generation to remove obscuring objects
KR102124483B1 (ko) * 2014-05-12 2020-06-19 엘지전자 주식회사 비히클 및 그 제어 방법
US10306188B2 (en) * 2014-06-12 2019-05-28 Honda Motor Co., Ltd. Photographic image exchange system, imaging device, and photographic image exchange method
WO2016035214A1 (ja) * 2014-09-05 2016-03-10 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
US10556586B2 (en) 2015-03-03 2020-02-11 Volvo Truck Corporation Vehicle assistance system
US9713956B2 (en) * 2015-03-05 2017-07-25 Honda Motor Co., Ltd. Vehicle-to-vehicle communication system providing a spatiotemporal look ahead and method thereof
US9832429B2 (en) 2015-03-17 2017-11-28 Continental Automotive Systems, Inc. Shared vehicle camera
CN112634643B (zh) * 2015-05-29 2022-06-14 荣耀终端有限公司 交通信息更新方法及装置
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US10373378B2 (en) 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
CN104960474B (zh) * 2015-07-10 2018-10-23 深圳市美好幸福生活安全***有限公司 基于汽车原车***的非遮挡性安全预警显示***的实现方法
US20170024621A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc Communication system for gathering and verifying information
DE102015215979B3 (de) * 2015-08-21 2017-02-16 Conti Temic Microelectronic Gmbh Funktionsgesteuertes Head-up-Display mit erweiterter Informationsdarstellung für ein Fahrzeug
TWI578269B (zh) * 2015-12-14 2017-04-11 財團法人工業技術研究院 三維座標縫合方法及應用其之三維座標資訊縫合裝置
US10062290B2 (en) * 2015-12-16 2018-08-28 Ford Global Technologies, Llc Convoy vehicle look-ahead
CN105844961B (zh) * 2016-01-07 2019-03-22 恒大法拉第未来智能汽车（广东）有限公司 测量距离的方法、装置和***
JP6477529B2 (ja) * 2016-02-02 2019-03-06 株式会社デンソー 走行支援装置
US9975487B2 (en) * 2016-02-03 2018-05-22 GM Global Technology Operations LLC Rear vision system for a vehicle and method of using the same
CN105882528B (zh) * 2016-04-25 2019-02-12 北京小米移动软件有限公司 平衡车的路况共享方法、装置及平衡车
US10730512B2 (en) 2016-05-06 2020-08-04 Pcms Holdings, Inc. Method and system for collaborative sensing for updating dynamic map layers
CN105761500B (zh) * 2016-05-10 2019-02-22 腾讯科技（深圳）有限公司 交通事故处理方法及交通事故处理装置
TWI576261B (zh) * 2016-05-13 2017-04-01 和碩聯合科技股份有限公司 接收影像的方法、提供影像的方法、電子裝置及交通工具
DE102016215538A1 (de) * 2016-08-18 2018-03-08 Robert Bosch Gmbh Verfahren zum Transformieren von Sensordaten
JP6876236B2 (ja) * 2016-09-30 2021-05-26 株式会社アイシン 表示制御装置
US9858817B1 (en) 2016-10-04 2018-01-02 International Busines Machines Corporation Method and system to allow drivers or driverless vehicles to see what is on the other side of an obstruction that they are driving near, using direct vehicle-to-vehicle sharing of environment data
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
TWI599989B (zh) * 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
DE102017100004A1 (de) * 2017-01-02 2018-07-05 Connaught Electronics Ltd. Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
US10796501B2 (en) * 2017-06-19 2020-10-06 Qualcomm Incorporated Interactive sharing of vehicle sensor information
CN109801519A (zh) * 2017-11-17 2019-05-24 重庆氨伦汽车驾驶技术服务有限公司 一种驾校独特的指导方法
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
US10417911B2 (en) * 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
CN109978774B (zh) * 2017-12-27 2021-06-18 展讯通信（上海）有限公司 多帧连续等曝光图像的去噪融合方法及装置
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
CN109086350B (zh) * 2018-07-13 2021-07-30 哈尔滨工业大学 一种基于WiFi的混合图像检索方法
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
DE102018128636A1 (de) 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102018128633A1 (de) 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
US11170638B2 (en) * 2018-12-19 2021-11-09 International Business Machines Corporation Look ahead auto dashcam (LADCAM) for improved GPS navigation
US20220103789A1 (en) * 2019-01-31 2022-03-31 Lg Electronics Inc. Method for sharing images between vehicles
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
WO2020171042A1 (ja) * 2019-02-19 2020-08-27 日本精機株式会社 車両用表示装置及びその表示制御プログラム
DE102019120215A1 (de) * 2019-07-26 2021-01-28 Valeo Schalter Und Sensoren Gmbh Verfahren und Fahrerassistenzsystem zum Bereitstellen von visuellen Informationen über ein erstes Fahrzeug in einer Umgebung eines zweiten Fahrzeugs, Computerprogramm und computerlesbares Medium
CN110446278B (zh) * 2019-07-30 2021-11-09 同济大学 基于v2i的智能驾驶汽车传感器盲区安全控制方法及***
US11340624B2 (en) * 2019-08-29 2022-05-24 Ford Global Technologies, Llc Vehicle neural network
KR102653404B1 (ko) * 2020-05-08 2024-04-02 주식회사 에이치엘클레무브 차량의 제어 장치 및 제어 방법
CN111923836A (zh) * 2020-08-17 2020-11-13 四川长虹电器股份有限公司 一种tof车辆全视野获取装置及方法
CN112381935A (zh) * 2020-09-29 2021-02-19 西安应用光学研究所 一种合成视觉生成及多元融合装置
US11700357B2 (en) * 2021-02-03 2023-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Connected camera system for vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242523A (zh) * 2007-02-06 2008-08-13 株式会社电装 现场监视设备
TW201111199A (en) * 2009-09-24 2011-04-01 Chunghwa Telecom Co Ltd Cooperative vehicular collision alarm system
CN102474596A (zh) * 2009-07-13 2012-05-23 歌乐牌株式会社 车辆用死角影像显示***和车辆用死角影像显示方法
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
US8368755B2 (en) * 2005-12-15 2013-02-05 Hitachi, Ltd. Photographing apparatus, image signal choosing apparatus, driving assisting apparatus and automobile
US8395490B2 (en) * 2008-03-27 2013-03-12 Panasonic Corporation Blind spot display apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418346B2 (en) 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
US20070058717A1 (en) 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video
TWI383680B (zh) 2008-04-10 2013-01-21 Univ Nat Chiao Tung 整合式影像監視系統及其方法
TW201025189A (en) 2008-12-25 2010-07-01 Huper Lab Co Ltd Method of video object segmentation in rainy situations
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
TWM369475U (en) 2009-06-01 2009-11-21 Tlj Intertech Inc Device for dynamically detecting moving image
US8174375B2 (en) * 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
TWI416074B (zh) 2010-01-26 2013-11-21 Mitac Int Corp Navigation map processing methods, program products and electronic devices
EP2439700B1 (en) 2010-10-06 2013-05-01 Alcatel Lucent Method and Arrangement for Identifying Virtual Visual Information in Images
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8368755B2 (en) * 2005-12-15 2013-02-05 Hitachi, Ltd. Photographing apparatus, image signal choosing apparatus, driving assisting apparatus and automobile
CN101242523A (zh) * 2007-02-06 2008-08-13 株式会社电装 现场监视设备
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
US8395490B2 (en) * 2008-03-27 2013-03-12 Panasonic Corporation Blind spot display apparatus
CN102474596A (zh) * 2009-07-13 2012-05-23 歌乐牌株式会社 车辆用死角影像显示***和车辆用死角影像显示方法
TW201111199A (en) * 2009-09-24 2011-04-01 Chunghwa Telecom Co Ltd Cooperative vehicular collision alarm system

Also Published As

Publication number Publication date
US20140341434A1 (en) 2014-11-20
CN104166973B (zh) 2017-04-12
US9311818B2 (en) 2016-04-12
TW201444712A (zh) 2014-12-01
CN104166973A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
TWI552897B (zh) 影像動態融合方法與裝置
EP3751455A2 (en) Image fusion for autonomous vehicle operation
US8077204B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
CN106143309B (zh) 一种车辆盲区提醒方法及***
US11027654B2 (en) Vehicle vision system with compressed video transfer via DSRC link
KR102580476B1 (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
US20110169957A1 (en) Vehicle Image Processing Method
CN107392092B (zh) 一种基于v2v的智能车辆前方道路环境透视感知方法
de Paula et al. Automatic on-the-fly extrinsic camera calibration of onboard vehicular cameras
JP2007172540A (ja) 移動体判定システム、移動体判定方法、及びコンピュータプログラム
CN111835998B (zh) 超视距全景图像获取方法、装置、介质、设备及***
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
EP3316006B1 (en) Three-dimensional-object detection device, stereo camera device, vehicle, and three-dimensional-object detection method
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
CN114119955A (zh) 一种潜在危险目标检测方法及装置
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
US10427683B2 (en) Vehicle display device and vehicle display method for displaying images
Park et al. Panoramic vision system to eliminate driver’s blind spots using a laser sensor and cameras
US8971579B2 (en) Windshield localization for occupancy detection
Olaverri-Monreal et al. Tailigator: Cooperative system for safety distance observance
Nikolić Embedded vision in advanced driver assistance systems
US20110080495A1 (en) Method and camera system for the generation of images for the transmission to an external control unit
WO2021232222A1 (zh) 用于测距的方法和装置
JP4598011B2 (ja) 車両用表示装置
CN110979319A (zh) 驾驶辅助方法、装置和***