TWI392366B - 全周鳥瞰影像距離介面產生方法與系統 - Google Patents

全周鳥瞰影像距離介面產生方法與系統 Download PDF

Info

Publication number
TWI392366B
TWI392366B TW098146148A TW98146148A TWI392366B TW I392366 B TWI392366 B TW I392366B TW 098146148 A TW098146148 A TW 098146148A TW 98146148 A TW98146148 A TW 98146148A TW I392366 B TWI392366 B TW I392366B
Authority
TW
Taiwan
Prior art keywords
bird
image
eye view
full
distance
Prior art date
Application number
TW098146148A
Other languages
English (en)
Other versions
TW201123897A (en
Inventor
Tung Chuan Wu
Li Kung Huang
Din Chang Tseng
Hsin Liang Shen
Kuo Hsiang Cheng
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098146148A priority Critical patent/TWI392366B/zh
Priority to US12/731,419 priority patent/US8446471B2/en
Publication of TW201123897A publication Critical patent/TW201123897A/zh
Application granted granted Critical
Publication of TWI392366B publication Critical patent/TWI392366B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

全周鳥瞰影像距離介面產生方法與系統
本發明是有關於一種影像處理技術,尤其是指一種全周鳥瞰影像距離介面產生方法與系統。
影像輔助駕駛的技術以經行之有年,然而習用的影像輔助駕駛的技術中,多半式擷取影像之後,直接顯示給使用者。雖然有可取之處,但是隨著影像擷取單元的數量增加,在一個顯示器中顯示多個影像,對於駕駛者而言反而是一種視覺負擔。因此,鳥瞰影像的重組技術便應運而生。在先進安全車輛的設計中,以利用架設於載具周遭的相機發展影像式的全周鳥瞰輔助駕駛系統,為近年來各車廠及車輛系統商的主要研發技術。藉由影像轉換與處理,將一般影像擷取單元所擷取的影像進行鳥瞰轉換,再予以拼接組合以形成的全周鳥瞰影像,可以提供駕駛者參考,進而提昇駕駛的安全性。
然而要將各個位置的環境影像重組形成鳥瞰影像的其中之一要件就是要如何決定在相鄰的兩的影像擷取單元所擷取的影像中共同重疊的區域所形成的影像。在習用技術中,如美國公開號US.Pub.No.2007/0003108揭露一種鳥瞰影像處理技術,在該技術中對於兩相鄰影像的結合之間則具遮罩線作為相鄰影像間的區隔。因此在該技術中,對於影像無縫接合的技術並無相關的揭露。對於這類的技術,由於載具各方向所取得的影像沒有做完整的接合動作,因此可能需要在兩兩影像重疊區域範圍內,輔以車用超音波雷達感測器來達到警示效果,但如此可能在成本上是一額外負擔。
此外在美國公開號US.Pat.No. 2006/0202984則教導針對相機架設高度來決定採用的俯角,產生單一鳥瞰影像後,根據取得的重疊區域去裁切出全周鳥瞰影像,最後利用載具移動關係去模擬出較大的全周鳥瞰畫面進行佈局。日本特開平2008-048317則教導一種當兩影像組合時,特徵物體重疊的處理方式,該技術根據重疊區域內所出現之物體所佔的比重,來決定該重疊區塊採用的相機資訊進行佈局。也就是說,該技術以權重比高的影像作為重疊區域的影像,也就是保留權重比高的影像,而刪除權重比低影像中的重疊區域部分,最後拼接成全區域鳥瞰影像。又在美國公開號US.Pat.No. 2009/0097708則教導一種針對不同的相機架設模式,參考一對應平面後,判斷重疊區域的多寡,利用拼接的方式產生接縫式的全周鳥瞰影像。又如日本特開平2006-121587也揭露一種針對不同相機的視野涵蓋範圍,去找出重疊區域的位置後,改變不同模式的接縫式的顯示模式,進而產生全周鳥瞰影像。前述這四個專利技術內容主要針對相機的架設位置資訊來轉換鳥瞰影像後,參考重疊區域去做接合動作或是用顯示模式的選擇來決定全周鳥瞰畫面的四周資訊。
另外,又如美國專利US.Pat.No.7,161,616則揭露一種合成鳥瞰影像之技術,該技術對於重疊區域的影像處理是利用各影像中的對應像素所具有的特徵乘上一權值,在除以權值的總和。
本發明提供一種全周鳥瞰影像距離介面產生方法與系統,其係將影像擷取裝置所擷取到關於一載具之環境影像進行組合以形成一鳥瞰影像,並且於該鳥瞰影像上設置關於距離估側之輔助標誌以輔助載具駕駛者參考,避免碰撞或影響安全之情事發生。
本發明提供一種全周鳥瞰影像距離介面產生方法與系統,其係針對不同載具搭配不同視野涵蓋範圍的相機,利用校正技術和鳥瞰轉換演算法法則,輔以已知的地平面特徵點資訊,達到全周鳥瞰無接縫式的畫面呈現技術,讓使用者完整掌握載具移動時,載具的運動方向狀態和周遭環境完整的對應關係,以避免接縫處造成使用者在駕駛時的誤判。
在一實施例中,本發明提供一種全周鳥瞰影像距離介面產生方法,其係包括有下列步驟:提供複數張環境影像;轉換該複數張環境影像並組合形成一全周鳥瞰影像;以及於該全周鳥瞰影像中產生關於距離之一輔助標誌影像。
在另一實施例中,本發明更提供一種全周鳥瞰影像距離輔助顯示系統,包括:複數個影像擷取單元,其係分別設置於一載具之不同位置上,每一影像擷取單元係產生一環境影像;一控制單元,其係接收該複數張環境影像,該控制單元係對該複數張環境影像進行視角轉換以形成一全周鳥瞰影像訊號,該控制單元更產生關於距離之一輔助標誌影像訊號;以及一顯示單元,其係設置於該載具內並與該控制單元相耦接,該顯示單元係接收該全周鳥瞰影像訊號以及該輔助標誌影像訊號,並顯示對應該全周鳥瞰影像訊號之全周鳥瞰影像以及於該全周鳥瞰影像形成對應該輔助標誌影像訊號之一輔助標誌。
為使 貴審查委員能對本發明之特徵、目的及功能有更進一步的認知與瞭解,下文特將本發明之裝置的相關細部結構以及設計的理念原由進行說明,以使得 審查委員可以了解本發明之特點,詳細說明陳述如下:請參閱圖一所示,全周鳥瞰影像距離介面產生方法流程示意圖。該方法係包括有下列步驟,首先以步驟20,提供複數張環境影像。該環境影像係為可以為關於一載具之周圍環境影像。該載具係可以為可動之移動載具,例如:車輛。而產生該複數張環境影像的方式,可以在該載具之不同位置上分別設置複數個影像擷取單元,例如:電耦合感測元件(charged coupled device,CCD)或者是金屬互補式金屬-氧化層-半導體(complementary metal oxide semiconductor,CMOS)的感光元件,亦可為一照相機或攝影機。藉由該複數個影像擷取單元分別擷取該載具周圍的環境影像。以形成如圖三A之狀態,圖三A係為各個影像擷取單元所擷取之影像示意圖。在圖三A中,載具90上的前、後、左與右各設置有一影像擷取單元900~903,其分別所擷取環境影像91~94。
再回到圖一所示,接著進行步驟21,轉換該複數張環境影像並組合形成一全周鳥瞰影像。如圖二所示,該圖係為形成全周鳥瞰影像流程示意圖。形成全周鳥瞰影像的方法更包括有下列步驟。首先,以步驟210對該複數張環境影像進行視角轉換以形成複數張局部鳥瞰影像。在本步驟中,主要是為由架設於不同位置之影像擷取單元所取得的環境影像後,利用校正技術消除魚眼、變形或者是透視的效應,然後將各個環境影像轉換成鳥瞰平面之鳥瞰影像,以形成圖三B所示之狀態。在圖三B中,鳥瞰影像91a~94a,分別對應該載具之前、後,左與右側之環境影像91~94。至於消除與眼以及轉換成鳥瞰影像之影像處理技術係屬於習用之技術,在此不作贅述。
再回到圖二所示,接著進行步驟211,取得相鄰兩局部鳥瞰影像所具有之一重疊區域。如圖三A所示,以影像擷取單元900與903為例,影像擷取單元900與903所具有之影像擷取範圍95與96具有重疊的部分,也就是說,關於該載具之環境影像91與94中會具有重疊的物體。因此,在圖三B中,經過鳥瞰視角轉換所形成的相鄰的鳥瞰影像,例如:鳥瞰影像91a與93a、鳥瞰影像91a與94a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間會有重疊的區域。因此,藉由步驟211可以將重疊區域找出。請參閱圖四所示,該圖係為本發明之尋找重疊區域流程示意圖。首先以步驟2110,決定一參考平面。在本步驟中,該參考平面係可以為地平面為主,但不以此為限。接著進行步驟2111,於該相鄰之鳥瞰影像中尋找出,落於該參考平面上且相互對應之至少一特徵點。如圖三C所示,該圖係為鳥瞰影像中之特徵點示意圖。在圖三C中,於鳥瞰影像91a與94a中,分別具有對應之物體910與940,而物體910與940上則可以尋找出落於參考平面上的特徵點P1與P2以及P1’與P2’。要說明的是,該特徵點可為圖樣、線條、文字,但不以此為限。
個別尋找出對應之特徵點之後,再來進行步驟2112,對該兩相鄰之鳥瞰影像進行影像之幾何調整,使兩相鄰之鳥瞰影像中相對應之該至少一特徵點之對應誤差最小。該誤差係為該兩相鄰之鳥瞰影像中相對應之至少一特徵點所具有之特徵資訊差值的平均平方和,其係可以表示成如下式(1)所示:
式(1)之中假設共有n 個特徵點,配合圖三C所示,其中 q 1i 為影像特徵點i 在鳥瞰影像91a之位置,而 p 2i 為影像特徵點i 在鳥瞰影像94a之位置。M rigid ( x ) 是一影像轉換機制,在本實施例中包括影像旋轉、位移及縮放,I j ( x ) 為第j 張鳥瞰影像中之在座標 x 的位置中所對應之特徵點所具有之特徵資訊,在本實施例中,該特徵資訊包括亮度及色彩。如圖三D所示,該圖係為相鄰兩鳥瞰影像調整示意圖。在不同的調整位置下,都會對應有一個err值,當該err值最小時,即是代表鳥瞰影像91a與94a的特徵點P1與P2以及P1’與P2’幾乎重疊在一起。在err最小時所對應之相鄰兩鳥瞰影像的疊合狀態則如圖三E所示。此時,需限區域即為相鄰兩鳥瞰影像91a與94a之重疊區域97。基於前述之方式,亦可以尋找出相鄰鳥瞰影像91a與93a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間的重疊區域。
請參閱圖二所示,界定出重疊區域之後,隨後進行步驟212,藉由複數次權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像。為了讓將來這些重疊區域在影像組合之後可以貼近反應載具周圍之狀態,並免死角的產生,藉由必須藉由步驟212利用權重運算的方式,將兩張鳥瞰影像相互重疊的區域整合成單一之重疊影像。如圖五所示,該圖係為本發明之權重運算流程示意圖。每一次之權重運算更包括有利用步驟2120,求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離。本步驟之意義在於,假設重疊區域97為該疊合影像之範圍,因此重疊區域內的每一個像素與該重疊區域於該兩相臨鳥瞰影像間的邊界上可以求得一距離。如圖三E所示,該重疊區域97內的疊合像素P3與重疊區域97於鳥瞰影像91a與94a的邊界970與971間分別具有一距離d2與d1。
再回到圖五所示,接著進行步驟2121,根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重。如下式(2)與(3)所示,
如圖三E所示,根據距離所決定的權重w1 係代表鳥瞰影像91a中對應疊合像素P3之像素對於形成像素P3之貢獻度;同理,權重w2 係代表鳥瞰影像94a中對應疊合像素P3之像素對於形成像素P3之貢獻度。
再回到圖五所示,決定權重之後,接著即以步驟2122,將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵。如下式(4)所示:
根據式(4)可以得知,重疊區域內之每一個疊合像素的構成係為相鄰鳥瞰影像上對應該重疊區域中之疊合像素P3之像素P 3 'P 3 " 所具有之特徵資訊(顏色、亮度或對比度等)與權重值相乘的總和。如圖三E中重疊區域97中其它疊合像素而言,也都是利用步驟230至232的演算方式得知。同樣地,對於圖三B中之其他相鄰之鳥瞰影像91a與93a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間的重疊影像亦是利用前述之方式計算而得。再回到圖二所示,最後進行步驟213,將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到一全周鳥瞰影像,以形成如圖三F所示之全周無接縫之鳥瞰影像98。由於本發明中對於相鄰之兩鳥瞰影像間的處理方式,是根據距離的關係來決定權重值,因此相鄰兩鳥瞰影像對於重疊區域內的每一個像素都有一定比例之貢獻,藉由此方式,不但不需要拼接影像而解除影像部連續之問題,而且在演算後可以形成平順而無接縫的全周鳥瞰影像。
形成全周鳥瞰影像之後,再回到圖一所示,接著進行步驟22,於該全周鳥瞰影像中產生關於距離之一輔助標誌影像。該輔助標誌係可以為一具有一刻度格線之影像或者是框線影像。要說明的是,該輔助標誌主要是代表影像空間與實際空間中距離之轉換關係,因此並不以框線或者是刻度之形式為限制。首先說明刻度格線之影像。由於取得環境影像之影像擷取單元所擷取到的影像空間可以與實際載具周圍對應到該影像擷取單元的實際空間有對應關係。如圖六A所示,該圖係為載具於實際空間中示意圖。在圖六A中,載具於實際之三度空間中具有各個不同角度之影像擷取範圍,例如,標號40代表設置於載具90前方之影像擷取單元所具有的影像擷取範圍、標號41代表設置於載具90側方之影像擷取單元所具有的影像擷取範圍,而標號42代表設置於載具90後方之影像擷取單元所具有的影像擷取範圍。以前方之影像擷取範圍40為例,在範圍40所擷取到的影像中每一個像素所對應到實體空間的距離大小是可以經由演算而得知。
例如,假設在圖六A中之實際空間中存在一物體43,因此該物體之中心在實際空間之座標系下所具有的座標位置會與圖六B中所形成之全周鳥瞰影像中所形成的關於該物體43之影像中心的像素於影像空間中之影像座標位置存在著對應關係,其中影像重合區域982係為依據圖三E所述之影像處理方式而成。這個對應關係可以藉由影像擷取單元之裝設位置(包括高度、傾角)以及影像擷取單元之內部參數經由轉換而得。該影像擷取單元之內部參數係屬熟悉此項技術之人所熟知之參數,在此不作贅述。當擷取到的環境影像被轉換成鳥瞰影像,再經過組合所形成的全周鳥瞰影像後,由於影像中的每一個像素都可對應實際空間中的一特定位置,因此可以得知載具90中心在全周鳥瞰影像中所對應之像素位置。得知載具中心之後,由於載具之尺寸(長度、寬度)的資訊為已知,因此,如圖六B所示,即可於該全周鳥瞰影像98中特定之位置(例如載具前端)形成距離刻度之輔助標誌980,使得載具之駕駛者可以根據該距離刻度,判斷載具移動時是否會有碰撞到物體的可能性,另外依據圖三E所述。至於刻度的間隔則可以根據需要而定,例如每50公分建立一刻度。此外,如圖六C所示,該圖係為本發明之輔助標誌另一實施例示意圖。在本實施例中,該輔助標誌981係為一框線,該框線係環設在載具90之周圍。由於根據實際空間中關於載具之中心位置所對應之該鳥瞰影像的像素位置為已知,因此可以根據該鳥瞰影像中關於該載具之中心建構出代表安全警示之框線,框設在載具90之外圍,藉以輔助駕駛者。至於該框線之大小,則可以根據需要而定而予已改變或調整。
請參閱圖七A與七B所示,該圖係為本發明之全周鳥瞰影像無縫接合系統實施例示意圖。該系統3包括有複數個影像擷取單元30、一控制單元31以及一顯示單元32。該複數個影像擷取單元30,其係分別設置於一載具90之不同位置上,每一影像擷取單元30係產生一環境影像。該載具90係可為一車輛,而該複數個影像擷取單元30,可為攝影機或照相機,則可以設置在該載具90之前方、後方、左方(後視鏡的位置)與右方(後視鏡的位置),但不以此為限制。該複數個影像擷取單元30之數量係根據需要而定,並不以本發明之圖示中之四個影像擷取單元為限制。每一個影像擷取單元30會擷取影像以形成環境影像。由於有複數個影像擷取單元30,因此可以產生複數張環境影像。
該控制單元31,其係與該複數個影像擷取單元30相耦接,以接收該複數張環境影像。該控制單元31係可以進行圖一、圖二、圖四與圖五之影像處理流程,以得到關於該載具之周圍環境之一全周鳥瞰影像訊號以及輔助標誌影像訊號。在本實施例中,該控制單元31更包括有一影像接收介面310、一運算處理單元311、一影像輸出介面312以及一記憶模組313。該影像接收介面310,其係與該複數個影像擷取單元30相耦接,以接收該複數個環境影像。該運算處理單元311,其係接收該複數個環境影像,以進行圖一、圖二、圖四與圖五影像處理運算流程以對該複數個環境影像進行處理以形成該全周鳥瞰影像訊號以及該輔助標誌影像訊號。該記憶模組313,其係與該運算處理單元311相耦接。本實施例中,該記憶模組313更具有一靜態隨機存取記憶體3130(static random access memory,SRAM)模組以及一快閃記憶體3131(flash)模組。
該影像輸出界面312,其係與該運算處理單元311以及該顯示單元32相耦接,以將該全周鳥瞰影像訊號以及輔助標誌影像訊號傳給該顯示單元32。此外,該控制單元31更具有一電源介面314以接收電壓源以及載具訊號介面315以接收載具所產生之訊號。該顯示單元32,其係設置於該載具90內並與該控制單元31相耦接,該顯示單元32係接收該全周鳥瞰影像訊號以及輔助標誌影像訊號,而顯示全周鳥瞰影像以及疊加於該全周鳥瞰影像上之輔助標誌影像。該輔助標誌影像係可以為刻度影像或者是框線影像。此外,在該顯示單元32上更可以顯示一人機介面320,其係為圖形或文字之操作介面。該人機介面320可以提供使用者設定刻度或框線的大小,以符合載具之車型或尺寸。設定之後的相關訊息會傳至該運算處理單元311,使得該運算處理單元311可以調整該在顯示單元32中之刻度顯示或框線顯示之大小。
惟以上所述者,僅為本發明之實施例,當不能以之限制本發明範圍。即大凡依本發明申請專利範圍所做之均等變化及修飾,仍將不失本發明之要義所在,亦不脫離本發明之精神和範圍,故都應視為本發明的進一步實施狀況。
2...全周鳥瞰影像距離介面產生方法
20~22...步驟
210~213...步驟
2110~2112...步驟
2120~2122...步驟
3...全周鳥瞰影像無縫接合系統
30...影像擷取單元
31...控制單元
310...影像接收介面
311...運算處理單元
312...影像輸出介面
313...記憶模組
3130...靜態隨機存取記憶體
3131...快閃記憶體
314...電源介面
315...載具訊號介面
32...顯示單元
320...人機介面
40、41、42...影像擷取範圍
43...物體
90...載具
900~903...影像擷取單緣
91~94...環境影像
91a~94a...鳥瞰影像
910、940...物體
95、96...影像擷取範圍
97...重疊區域
98...全周無接縫之鳥瞰影像
980、981‧‧‧輔助標誌
982‧‧‧影像重合區域
圖一係為全周鳥瞰影像距離介面產生方法流程示意圖。
圖二係為本發明之全周鳥瞰影像距離介面產生方法實施例流程示意圖。
圖三A係為各個影像擷取單元所擷取之影像示意圖。
圖三B係為各個環境影像轉換成鳥瞰影像示意圖。
圖三C係為鳥瞰影像中之特徵點示意圖。
圖三D係為相鄰兩鳥瞰影像調整示意圖。
圖三E係經過影像處理之後所形成之全周鳥瞰影像示意圖。
圖三F所示之全周無接縫之鳥瞰影像。
圖四係為本發明之尋找重疊區域流程示意圖。
圖五係為本發明之權重運算流程示意圖。
圖六A係為係為載具於實際空間中示意圖。
圖六B與圖六C係為輔助標誌不同實施例示意圖。
圖七A與圖七B係為本發明之全周鳥瞰影像無縫接合系統實施例示意圖。
2...全周鳥瞰影像距離介面產生方法
20~22...步驟

Claims (20)

  1. 一種全周鳥瞰影像距離介面產生方法,其係包括有下列步驟:提供複數張環境影像;轉換該複數張環境影像並組合形成一全周鳥瞰影像;於該全周鳥瞰影像中產生關於距離之一輔助標誌影像;以及將該全周鳥瞰影像以及該輔助標誌影像傳遞至一影像顯示單元以進行顯示,其中影像顯示單元更顯示一人機操作介面,該人機操作介面係提供更改該輔助標誌之格式。
  2. 如申請專利範圍第1項所述之全周鳥瞰影像距離介面產生方法,其中形成該全周鳥瞰影像更包括有下列步驟:對該複數張環境影像進行視角轉換以形成複數張局部鳥瞰影像;取得相鄰兩局部鳥瞰影像所具有之一重疊區域;藉由複數次之權重運算以得到每一相鄰兩局部鳥瞰影像間之一疊合影像;以及將該複數張局部鳥瞰影像中所具有之非重疊影像以及相鄰局部鳥瞰影像間之疊合影像進行組合以得到該全周鳥瞰影像。
  3. 如申請專利範圍第2項所述之全周鳥瞰影像距離介面產生方法,其中每一次權重運算更包括有下列步驟:求得每一疊合影像中之每一疊合像素與該重疊區 域中關於該兩相鄰重疊影像之一邊界距離;根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重;以及將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵。
  4. 如申請專利範圍第3項所述之全周鳥瞰影像距離介面產生方法,其中該影像特徵係為亮度以及色彩。
  5. 如申請專利範圍第3項所述之全周鳥瞰影像距離介面產生方法,其中決定該重疊區域更包括有下列步驟:決定一參考平面;於該相鄰之鳥瞰影像中尋找出,落於該參考平面上且相互對應之至少一特徵點;以及對相鄰之兩鳥瞰影像進行調整,使兩相鄰之鳥瞰影像中相對應之該至少一特徵點之對應誤差最小。
  6. 如申請專利範圍第5項所述之全周鳥瞰影像距離介面產生方法,其中該特徵點係為該鳥瞰影像中之線條、圖樣或者是文字資訊。
  7. 如申請專利範圍第5項所述之全周鳥瞰影像距離介面產生方法,其中該調整方式係為藉由旋轉、縮放或平移的方式進行調整。
  8. 如申請專利範圍第5項所述之全周鳥瞰影像距離介面產 生方法,其中該誤差係為該兩相鄰之鳥瞰影像中相對應之至少一特徵點所具有之特徵資訊差值的平均平方和。
  9. 如申請專利範圍第8項所述之全周鳥瞰影像距離介面產生方法,其中該特徵資訊係為亮度或色彩。
  10. 如申請專利範圍第1項所述之全周鳥瞰影像距離介面產生方法,其中該複數張環境影像係利用設置於一載具上不同位置之影像擷取單元擷取該載具周圍環境之影像而得。
  11. 如申請專利範圍第1項所述之全周鳥瞰影像距離介面產生方法,其中該載具係為車輛。
  12. 如申請專利範圍第1項所述之全周鳥瞰影像距離介面產生方法,其中該輔助標誌影像係為一框線影像或者是具有一刻度格線之影像。
  13. 一種全周鳥瞰影像距離輔助顯示系統,包括:複數個影像擷取單元,其係分別設置於一載具之不同位置上,每一影像擷取單元係產生一環境影像;一控制單元,其係接收該複數張環境影像,該控制單元係對該複數張環境影像進行視角轉換以形成一全周鳥瞰影像訊號,該控制單元更產生關於距離之一輔助標誌影像訊號;以及一顯示單元,其係設置於該載具內並與該控制單元相耦接,該顯示單元係接收該全周鳥瞰影像訊號以及該輔助標誌影像訊號,並顯示對應該全周鳥 瞰影像訊號之全周鳥瞰影像以及於該全周鳥瞰影像形成對應該輔助標誌影像訊號之一輔助標誌,其中顯示單元更顯示一人機操作介面,該人機操作介面係提供更改該輔助標誌之格式。
  14. 如申請專利範圍第13項所述之全周鳥瞰影像距離輔助顯示系統,其中該複數個影像擷取單元係分別設置於該載具之前、後、左與右側上。
  15. 如申請專利範圍第13項所述之全周鳥瞰影像距離輔助顯示系統,其中該控制單元更包括有:一影像接收介面,其係接收該複數個環境影像;一運算處理單元,其係接收該複數個環境影像,以對該複數個環境影像進行處理以形成該全周鳥瞰影像訊號;一記憶模組,其係與該運算處理單元相耦接;以及一影像輸出界面,其係與該運算處理單元以及該顯示單元相耦接,以將該全周鳥瞰影像訊號傳給該顯示單元。
  16. 如申請專利範圍第13項所述之全周鳥瞰影像距離輔助顯示系統,其中該載具係為車輛。
  17. 如申請專利範圍第13項所述之全周鳥瞰影像距離輔助顯示系統,其中該輔助標誌係為一框線或者是具有一刻度格線。
  18. 如申請專利範圍第13項所述之全周鳥瞰影像距離輔助顯示系統,其中該控制單元更具有一電源介面以接收電 壓源以及載具訊號介面以接收載具所產生之訊號。
  19. 如申請專利範圍第13項所述之全周鳥瞰影像距離輔助顯示系統,其中該影像擷取單元係為照相機或攝影機。
  20. 如申請專利範圍第13項所述之全周鳥瞰影像距離輔助顯示系統,其該記憶模組更具有一靜態隨機存取記憶體模組以及一快閃記憶體模組。
TW098146148A 2009-12-31 2009-12-31 全周鳥瞰影像距離介面產生方法與系統 TWI392366B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098146148A TWI392366B (zh) 2009-12-31 2009-12-31 全周鳥瞰影像距離介面產生方法與系統
US12/731,419 US8446471B2 (en) 2009-12-31 2010-03-25 Method and system for generating surrounding seamless bird-view image with distance interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098146148A TWI392366B (zh) 2009-12-31 2009-12-31 全周鳥瞰影像距離介面產生方法與系統

Publications (2)

Publication Number Publication Date
TW201123897A TW201123897A (en) 2011-07-01
TWI392366B true TWI392366B (zh) 2013-04-01

Family

ID=44187052

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098146148A TWI392366B (zh) 2009-12-31 2009-12-31 全周鳥瞰影像距離介面產生方法與系統

Country Status (2)

Country Link
US (1) US8446471B2 (zh)
TW (1) TWI392366B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031772B2 (en) 2013-03-15 2015-05-12 Industrial Technology Research Institute Assistance system and generation method of dynamic driving information
US9918010B2 (en) 2015-06-30 2018-03-13 Industrial Technology Research Institute Method for adjusting vehicle panorama system

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
US9047779B2 (en) * 2010-05-19 2015-06-02 Mitsubishi Electric Corporation Vehicle rear view monitoring device
CN102918833B (zh) * 2010-06-15 2015-07-08 三菱电机株式会社 车辆周边监视装置
CN103180522B (zh) * 2010-10-22 2016-01-13 日立建机株式会社 作业机械的周边监视装置
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
JP5124672B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
JP5853457B2 (ja) * 2011-07-20 2016-02-09 アイシン精機株式会社 車両周辺監視システム
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
TWI491524B (zh) 2012-03-08 2015-07-11 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
KR101387189B1 (ko) * 2012-05-30 2014-04-29 삼성전기주식회사 운행 보조정보 표시장치 및 운행 보조정보 표시방법
US9124801B2 (en) * 2012-07-26 2015-09-01 Omnivision Technologies, Inc. Image processing system and method using multiple imagers for providing extended view
JP6393189B2 (ja) * 2012-11-27 2018-09-19 クラリオン株式会社 車載画像処理装置
CN104228714A (zh) * 2013-06-14 2014-12-24 华创车电技术中心股份有限公司 停车影像的提供方法
CN104243895A (zh) * 2013-06-14 2014-12-24 华创车电技术中心股份有限公司 安全下车的辅助影像提供方法
TWI595447B (zh) * 2013-10-22 2017-08-11 Metal Ind Res And Dev Centre Video bonding method
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
EP3029601B1 (en) * 2014-12-04 2018-09-19 Conti Temic microelectronic GmbH Method and apparatus for providing increased obstacle visibility
TWI613106B (zh) * 2016-05-05 2018-02-01 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
FR3056806A1 (fr) * 2016-09-28 2018-03-30 Valeo Schalter Und Sensoren Gmbh Systeme de surveillance d'un espace libre autour d'un vehicule automobile
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
CN112004051B (zh) * 2019-05-27 2022-10-25 奥迪股份公司 用于车辆的图像显示***、相应的方法和存储介质
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
CN111402132B (zh) * 2020-03-11 2024-02-02 黑芝麻智能科技(上海)有限公司 倒车辅助方法及***、图像处理器及相应的辅助驾驶***
US11457181B1 (en) 2021-03-19 2022-09-27 Denso International America, Inc. Vehicle maneuver assist with environment-fixed overhead composite image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
US20080266408A1 (en) * 2007-04-26 2008-10-30 Core Logic, Inc. Apparatus and method for generating panorama image and computer readable medium stored thereon computer executable instructions for performing the method
TW200927537A (en) * 2007-12-28 2009-07-01 Altek Corp Automobile backup radar system that displays bird's-eye view image of automobile

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515181A (en) * 1992-03-06 1996-05-07 Fuji Xerox Co., Ltd. Image reading apparatus providing high quality images through synthesis of segmented image data
EP0881614B1 (en) * 1994-11-14 2004-03-31 Xanavi Informatics Corporation Map display apparatus for motor vehicle
US20010014868A1 (en) * 1997-12-05 2001-08-16 Frederick Herz System for the automatic determination of customized prices and promotions
JP3573653B2 (ja) 1998-04-07 2004-10-06 松下電器産業株式会社 車載画像表示装置
US6848104B1 (en) * 1998-12-21 2005-01-25 Koninklijke Philips Electronics N.V. Clustering of task-associated objects for effecting tasks among a system and its environmental devices
EP2410741A1 (en) 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
JP2001116567A (ja) 1999-10-20 2001-04-27 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2001114048A (ja) 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP3494434B2 (ja) 1999-10-21 2004-02-09 松下電器産業株式会社 駐車支援装置
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP3521859B2 (ja) 2000-09-18 2004-04-26 株式会社デンソー 車両周辺画像処理装置及び記録媒体
US6744729B2 (en) * 2001-08-17 2004-06-01 Interactive Sapience Corp. Intelligent fabric
KR100421221B1 (ko) * 2001-11-05 2004-03-02 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
JP2004354326A (ja) 2003-05-30 2004-12-16 Denso Corp 車両周囲表示装置
JP4039321B2 (ja) 2003-06-18 2008-01-30 株式会社デンソー 車両用周辺表示装置
US20050182852A1 (en) * 2004-02-14 2005-08-18 David Tinsley Intelligent fabric
JP2005239048A (ja) 2004-02-27 2005-09-08 Denso Corp 駐車支援システム
TWI342335B (en) * 2004-06-02 2011-05-21 Intercat Inc Mixed metal oxide additives
JP2006015869A (ja) 2004-07-01 2006-01-19 Denso Corp 車両周辺画像表示装置
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4724522B2 (ja) 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
JP4596978B2 (ja) 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP2006268076A (ja) 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 運転支援システム
JP4677820B2 (ja) 2005-04-21 2011-04-27 日産自動車株式会社 予測進路表示装置および予測進路表示方法
JP4956915B2 (ja) 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP4807104B2 (ja) 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
JP2007235842A (ja) 2006-03-03 2007-09-13 Denso Corp 車載画像表示システム
JP2007274377A (ja) 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP4640238B2 (ja) 2006-04-10 2011-03-02 日産自動車株式会社 車両周囲映像作成装置及び車両周囲映像作成方法
JP4946175B2 (ja) 2006-05-23 2012-06-06 日産自動車株式会社 走路境界検出装置および走路境界検出方法
JP4797794B2 (ja) 2006-05-24 2011-10-19 日産自動車株式会社 歩行者検出装置および歩行者検出方法
JP2008017311A (ja) 2006-07-07 2008-01-24 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法
JP4797877B2 (ja) 2006-08-14 2011-10-19 日産自動車株式会社 車両用映像表示装置及び車両周囲映像の表示方法
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4248570B2 (ja) 2006-08-21 2009-04-02 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 2006-08-21 2009-08-19 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
KR101143176B1 (ko) 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
JP4642723B2 (ja) 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
JP4257356B2 (ja) 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
JP2008153882A (ja) 2006-12-15 2008-07-03 Clarion Co Ltd 撮像表示システム
TW200829464A (en) 2007-01-03 2008-07-16 Delta Electronics Inc Bird view visual system with fish eye improvement and method thereof
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2009027576A (ja) 2007-07-23 2009-02-05 Alpine Electronics Inc 画像表示装置
US20090063537A1 (en) * 2007-08-30 2009-03-05 Motorola, Inc. Method and apparatus for generating a user profile
JP5104171B2 (ja) 2007-09-28 2012-12-19 日産自動車株式会社 駐車支援装置および駐車支援方法
JP5380941B2 (ja) 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP5120880B2 (ja) 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP5057936B2 (ja) 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
TWI361396B (en) * 2008-01-18 2012-04-01 Univ Nat Chiao Tung Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method
DE102008006308A1 (de) 2008-01-28 2008-08-07 Daimler Ag Überwachungsverfahren sowie Vorrichtung zur Überwachung eines Kraftfahrzeugs
JP5222597B2 (ja) 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5422902B2 (ja) 2008-03-27 2014-02-19 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
DE102008030104A1 (de) 2008-06-25 2009-02-12 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008046214A1 (de) 2008-09-08 2009-04-30 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008046544A1 (de) 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
DE102008057671A1 (de) 2008-11-17 2009-07-02 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeuges
EP2413282B1 (en) * 2009-03-26 2013-04-10 Aisin Seiki Kabushiki Kaisha Camera calibrator
US20100259371A1 (en) * 2009-04-10 2010-10-14 Jui-Hung Wu Bird-View Parking Aid Apparatus with Ultrasonic Obstacle Marking and Method of Maneuvering the same
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
US20080266408A1 (en) * 2007-04-26 2008-10-30 Core Logic, Inc. Apparatus and method for generating panorama image and computer readable medium stored thereon computer executable instructions for performing the method
TW200927537A (en) * 2007-12-28 2009-07-01 Altek Corp Automobile backup radar system that displays bird's-eye view image of automobile

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031772B2 (en) 2013-03-15 2015-05-12 Industrial Technology Research Institute Assistance system and generation method of dynamic driving information
US9918010B2 (en) 2015-06-30 2018-03-13 Industrial Technology Research Institute Method for adjusting vehicle panorama system

Also Published As

Publication number Publication date
US20110157361A1 (en) 2011-06-30
TW201123897A (en) 2011-07-01
US8446471B2 (en) 2013-05-21

Similar Documents

Publication Publication Date Title
TWI392366B (zh) 全周鳥瞰影像距離介面產生方法與系統
TWI417639B (zh) 全周鳥瞰影像無縫接合方法與系統
JP2008271308A (ja) 画像処理装置及び方法並びに車両
JP4969269B2 (ja) 画像処理装置
CN101487895B (zh) 显示鸟瞰车辆图像的倒车雷达***
JP5108605B2 (ja) 運転支援システム及び車両
JP2008187564A (ja) カメラ校正装置及び方法並びに車両
WO2011080882A1 (ja) 動作空間提示装置、動作空間提示方法およびプログラム
JP5003395B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
US20100194886A1 (en) Camera Calibration Device And Method, And Vehicle
JP2009017462A (ja) 運転支援システム及び車両
JP5865547B2 (ja) 画像表示装置および画像表示方法
US20130093887A1 (en) Obstacle Detection System and Obstacle Detection Method Thereof
CN102291541A (zh) 一种车辆虚拟合成显示***
KR101583663B1 (ko) 차량용 카메라의 교정판 제공 방법
JP6167824B2 (ja) 駐車支援装置
CN104937634A (zh) 用于生成环绕视图的方法和***
JP2015184839A (ja) 画像生成装置、画像表示システム及び画像生成方法
CN102137247B (zh) 全周鸟瞰图像距离界面产生方法与***
CN101980292B (zh) 一种基于正八边形模板的车载摄像机内参数的标定方法
JP4679293B2 (ja) 車載パノラマカメラシステム
JP5476216B2 (ja) 車両用周囲監視装置
JP2010217984A (ja) 像検出装置及び像検出方法
CN102143302A (zh) 全周鸟瞰影像无缝接合方法与***
JP2005277900A (ja) 3次元映像装置