TWI657409B - 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 - Google Patents

虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 Download PDF

Info

Publication number
TWI657409B
TWI657409B TW106145977A TW106145977A TWI657409B TW I657409 B TWI657409 B TW I657409B TW 106145977 A TW106145977 A TW 106145977A TW 106145977 A TW106145977 A TW 106145977A TW I657409 B TWI657409 B TW I657409B
Authority
TW
Taiwan
Prior art keywords
image
icon
virtual
real
real image
Prior art date
Application number
TW106145977A
Other languages
English (en)
Other versions
TW201928884A (zh
Inventor
林敬智
劉偉成
林昱成
王正賢
陳鵬丞
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW106145977A priority Critical patent/TWI657409B/zh
Priority to US15/857,230 priority patent/US10282915B1/en
Priority to CN201810159015.0A priority patent/CN109982006A/zh
Application granted granted Critical
Publication of TWI657409B publication Critical patent/TWI657409B/zh
Publication of TW201928884A publication Critical patent/TW201928884A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

一種虛擬導引圖示與真實影像之疊合裝置，包括至少一影像擷取裝置、一處理器、一影像處理單元以及一顯示裝置。影像擷取裝置用以擷取包括即時場景的一真實影像。處理器接收真實影像並取得一高度變化資訊。影像處理單元對真實影像進行一影像校正處理，以得到一已校正影像，依據高度變化資訊，產生一更新轉換矩陣，並利用更新轉換矩陣進行一逆透視投影轉換，產生已校正影像之一鳥瞰影像，將一虛擬導引圖示疊合在鳥瞰影像上，以及對鳥瞰影像進行一透視投影轉換，以將鳥瞰影像轉換為一三維導航影像，其中三維導航影像包括虛擬導引圖示。顯示裝置顯示疊合虛擬導引圖示於真實影像的三維導航影像。

Description

虛擬導引圖示與真實影像之疊合裝置及其相關疊 合方法
本揭露係有關於虛擬導引圖示與真實影像之疊合裝置及其虛擬導引圖示與真實影像之疊合方法。
近年來，全球定位系統(Global Positioning System，GPS)被廣泛運用在各種電子裝置例如行動電話或是汽車的導航系統上，其係接收衛星訊號，並根據與各顆衛星的相對位置對擁有全球定位系統接收器的電子裝置作定位，以判定電子裝置的位置。使用者亦可以利用電子裝置中的導航軟體進行路徑規劃與導航作業。一般而言，當使用者欲從一起點前往一目的地時，導航軟體可依據一特定演算法，規劃出一路徑，引導使用者知道行進方向。
隨著擴增實境技術的發展越來越成熟，目前也已有研發出擴增實境(Augmented Reality，AR)的導航系統。具有擴增實境導航功能的導航系統可利用衛星定位、影像辨識及圖資，搭配手機鏡頭所擷取之真實影像，讓導航螢幕上虛擬世界能夠與現實世界場景進行結合與互動，產生虛擬導引圖示於真實影像中進 行方向導引，提供駕駛者更直觀的導引資訊。
然而，擴增實境導航系統雖然能提供駕駛者更直觀的導引資訊，但現有的擴增實境導航系統其虛擬導引圖示疊合於真實影像時，並未考慮到車輛前方狀態，當前方有車時，其導引圖示可能會遮蔽前車，反而造成使用者在觀看導引資訊時忽略了車輛前方狀態進而造成碰撞事故發生。此外，一些擴增實境導航系統並未針對可行駛區域進行識別，因此當車輛行駛於多車道、立體道路等複雜道路環境下，將無法提供正確的導引方向。另一方面，現有的擴增實境導航系統在將導引圖示疊合於真實影像時，也未考慮導引圖示與真實影像像素間的比例關係，使其導引圖示猶如往天空指引。舉例來說，當車輛在有高度變化的道路時，其用以導航的導引圖示所顯示的導引線會出現猶如往天空或往地面下的導引方向，因而無法真正呈現正確的三維(3D)導引圖示，與實景有所落差，故易使車輛駕駛者無法即時清楚理解欲指引之方向，導致與欲導航之路線有所出入，而無法順利地實現導航的目的。
有鑑於此，本揭露提供一種虛擬導引圖示與真實影像之疊合裝置及其相關虛擬導引圖示與真實影像之疊合方法。
本揭露的一實施例提供一種虛擬導引圖示與真實影像之疊合裝置，包括至少一影像擷取裝置、一處理器、一影像處理單元以及一顯示裝置。影像擷取裝置設置於一車輛前方，用以擷取包括即時場景的一真實影像。處理器連接於該影 像擷取裝置，接收真實影像並取得一高度變化資訊，其中高度變化資訊包括車輛之一目前海拔高度與車前道路之一海拔高度。影像處理單元連接於處理器，對真實影像進行一影像校正處理，以得到一已校正影像，依據高度變化資訊，產生一更新轉換矩陣，並利用更新轉換矩陣對已校正影像進行一逆透視投影轉換，產生已校正影像之一鳥瞰影像，再根據一路徑規劃資訊，產生一虛擬導引圖示，並將虛擬導引圖示疊合在鳥瞰影像上，以及對鳥瞰影像進行一透視投影轉換，以將鳥瞰影像轉換為一三維導航影像，其中三維導航影像包括虛擬導引圖示。顯示裝置連接於處理器，顯示疊合虛擬導引圖示於真實影像的真實路況下的三維導航影像。
本揭露另一實施例提供一種虛擬導引圖示與真實影像之疊合方法，適用於一裝設於一車輛的一疊合裝置，並由疊合裝置所實施。方法包括下列步驟：擷取一即時場景的真實影像並取得一高度變化資訊，其中高度變化資訊包括疊合裝置之一目前海拔高度與車前道路之一海拔高度；對真實影像進行一影像校正處理，以得到一已校正影像；依據高度變化資訊，產生一更新轉換矩陣，並利用更新轉換矩陣對已校正影像進行一逆透視投影轉換，產生已校正影像之一鳥瞰影像，其中逆透視投影轉換係將已校正影像轉換為鳥瞰影像；根據一路徑規劃資訊，產生一虛擬導引圖示，並將虛擬導引圖示疊合在鳥瞰影像上；以及對鳥瞰影像進行一透視投影轉換，以將鳥瞰影像轉換為一三維導航影像，其中三維導航影像包括虛擬導引圖示。
本揭露之上述方法可經由本揭露之裝置或系統來 實作，其為可執行特定功能之硬體或韌體，亦可以透過程式碼方式收錄於一紀錄媒體中，並結合特定硬體來實作。當程式碼被電子裝置、處理器、電腦或機器載入且執行時，電子裝置、處理器、電腦或機器變成用以實行本揭露之裝置或系統。
100‧‧‧虛擬導引圖示與真實影像之疊合裝置
110‧‧‧影像擷取裝置
120‧‧‧處理器
130‧‧‧影像處理單元
140‧‧‧儲存單元
141、142‧‧‧記憶體
150‧‧‧顯示裝置
162‧‧‧影像輸入介面
164‧‧‧影像輸出介面
172‧‧‧全球衛星定位單元
174‧‧‧高度資訊產生單元
176‧‧‧地理資訊系統單元
410、420‧‧‧影像
610‧‧‧虛擬導引圖示
620‧‧‧影像
710‧‧‧影像
810‧‧‧虛擬導引圖示
820‧‧‧影像
S902、S904、S906、...、S912‧‧‧步驟
S1002、S1004、S1006、...、S1024‧‧‧步驟
第1圖顯示本揭露一實施例所述之虛擬導引圖示與真實影像之疊合裝置的示意圖。
第2圖係顯示本揭露一實施例所述之影像擷取裝置之相機模型示意圖。
第3圖係顯示本揭露一實施例之相機座標系與世界座標系之關係示意圖。
第4圖係顯示本揭露一實施例之將扭曲校正後之影像經逆透視投影轉換至鳥瞰影像之示意圖。
第5圖係顯示本揭露一實施例之具有道路高度資訊下的車輛座標系與相機座標系之關係示意圖。
第6圖顯示本揭露一實施例之將虛擬導引圖示透過逆透視投影轉換疊合於鳥瞰影像之示意圖。
第7圖顯示本揭露一實施例之將虛擬導引圖示疊合於原始真實影像之示意圖。
第8A圖顯示本揭露一實施例之未考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖，第8B圖顯示本揭露一實施例之考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖。
第9圖顯示本揭露一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。
第10圖顯示本揭露另一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。
為讓本揭露之目的、特徵、和優點能更明顯易懂，特舉出下文實施例，並配合所附圖式，作詳細說明如下。注意的是，本章節所敘述的實施例目的在於說明本揭露之實施方式而非用以限定本揭露之保護範圍，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。應理解下列實施例可經由軟體，硬體，韌體，或上述任意組合來實現。
本揭露實施例提供一種虛擬導引圖示與真實影像之疊合裝置及其相關虛擬導引圖示與真實影像之疊合方法，可根據道路的高度變化資訊進行透視投影轉換與逆透視投影轉換，考量虛擬導引圖示與真實影像畫面疊合的視覺真實感，事先將虛擬導引圖示依照高度變化以更新逆透視投影轉換矩陣以對應至高度變化之鳥瞰(俯視)影像座標系上，再藉由透視投影轉換對應回真實影像座標上，藉此可使虛擬導引圖示於真實影像中具有正確的像素比例關係，同時避免導引圖示直接疊合真實影像時出現猶如飄浮往天空指向的錯誤顯示，從而能提供駕駛者更正確且直觀的三維導引圖示，實現導航的目的。
第1圖係顯示本揭露一實施例所述之虛擬導引圖 示與真實影像之疊合裝置的示意圖。虛擬導引圖示與真實影像之疊合裝置100可以為一電子裝置，如電腦系統與可攜式裝置如行動裝置(例如，平板電腦、行動電話，或穿戴式計算裝置)、能夠處理影像或資料的筆記型電腦、或者虛擬導引圖示與真實影像之疊合裝置100可以由複數個裝置來提供。虛擬導引圖示與真實影像之疊合裝置100可用以提供導航功能。虛擬導引圖示與真實影像之疊合裝置100也可由複數個晶片或單晶片來實現，例如，片上系統或在行動設備中放置的行動處理器。舉例來說，虛擬導引圖示與真實影像之疊合裝置100包含多個影像擷取裝置110、處理器120、影像處理單元(graphics processing unit,GPU)130、儲存單元140、顯示裝置150、影像輸入介面162、影像輸出介面164、全球衛星定位單元172、地理資訊系統(GIS)單元174以及高度資訊產生單元174。影像處理單元130、儲存單元140、顯示裝置150、影像輸入介面162、以及影像輸出介面164、全球衛星定位單元172、高度資訊產生單元174以及地理資訊系統(GIS)單元176可連接至處理器120，以經由處理器120控制其操作執行各項操作。影像擷取裝置110可為包含一或多個影像感測器的相機模組，該影像感測器可為單一感測器，或包含複數個獨立的或分開的感測單元的感測陣列。舉例來說，影像擷取裝置110可為具有魚眼鏡頭(fisheye lens)的相機模組，用以擷取包括即時路況的一真實影像。在一實施例中，多個影像擷取裝置110可設置於車輛前方，用以擷取/拍攝即時的路況影像。
處理器120可為中央處理單元(central processing unit,CPU)、通用處理器、數位訊號處理器、或任意等效電路，但是本揭露並非限於此。
儲存單元140可以包含揮發性記憶體(volatile memory)141、以及非揮發性記憶體142。舉例來說，揮發性記憶體141可為動態隨機存取記憶體、或靜態隨機存取記憶體，以及非揮發性記憶體142可為快閃記憶體、硬碟、固態硬碟等。
舉例來說，在虛擬導引圖示與真實影像之疊合裝置100上使用的應用的程式碼可預先儲存於非揮發性記憶體142中。處理器110可自非揮發性記憶體142下載程式至揮發性記憶體141，並執行應用的程式碼。處理器110也可傳輸影像資料至影像處理單元130，以及影像處理單元130可決定將呈現在顯示裝置150上的影像資料。需要注意的是，揮發性記憶體141以及非揮發性記憶體142可描述為儲存單元，並且可分別作為不同的儲存單元。顯示裝置150可為包括顯示電路或被耦接以用於控制一顯示螢幕(圖未示)的硬體，例如：液晶顯示器(LCD)。顯示裝置150可包含驅動電路、顯示面板中的一個或組合，以及顯示裝置150可置於虛擬導引圖示與真實影像之疊合裝置100中或之外。於一些實施例中，顯示裝置150係結合觸碰感應裝置(未顯示)之螢幕。觸控感應裝置係具有一觸控表面，其包括至少一維度的感測器以偵測靠近或在觸控表面上的一輸入工具如手指或觸控筆等在其表面上的接觸及動作。因此，使用者可透過顯示裝置150來進行觸控輸入命令或訊號。
儲存單元140可更儲存包括相應至少一特定區域，如地區或國家之圖資資料。其中，圖資資料可以包括門牌 地址、地標、景點、與/或道路及道路資訊等。顯示裝置150用以顯示相關資料，如使用者操作介面、路徑規劃結果、與相關導航資訊。處理器110可包括具有路徑規劃能力之一導航引擎。使用者可以透過使用者操作介面輸入導航情況，如一起點、一目的地、與/或至少一行經點等。處理器110可以依據輸入之起點、經過點以及目的地，進行路徑規劃，從而得到一規劃路徑資訊。使用者可以依據規劃路徑資訊進行導航至目的地。
全球衛星定位單元(GPS)172用以接收衛星接收訊號。全球衛星定位單元可用以取得裝置100所在位置的位置座標資訊。舉例來說，全球衛星定位單元172可為全球定位系統(GPS)感測器(例如：GPS接收器)，可接收衛星訊號來得到一GPS訊號，根據所得到的GPS訊號產生一GPS位置，據此取得裝置100所在位置的GPS座標資訊。處理器110可以依據接收之訊號計算出車輛的目前位置。
影像輸入介面162可獲得影像擷取裝置110所擷取到的原始影像(例如，魚眼影像)並提供原始影像至處理器110。影像輸出介面164可獲得處理器120接收自影像處理單元130的顯示影像資料並提供顯示影像資料至顯示裝置150進行顯示。全球衛星定位單元172用以提供並輸出車輛的即時位置。地理資訊系統單元176提供上述圖資資訊與地形相關資訊如高度。高度資訊產生單元174為可用以取得車輛目前海拔高度、與車前道路之海拔高度之裝置，例如：全球衛星定位單元、高度計等，但本揭露並不限於此。
在一些實施例中，儘管圖中未示，虛擬導引圖示與真實影像之疊合裝置100可包含其他功能單元，例如鍵盤、滑鼠、觸控板、或通訊單元(例如，乙太網卡或晶片組)、無線網卡或晶片組、基帶晶片組以及射頻晶片組以用於蜂窩通訊。
處理器110可控制執行本發明提供之用於虛擬導引圖示與真實影像之疊合方法，其細節將於下文中進一步描述。明確來說，多個影像擷取裝置110可設置於車輛前方，用以擷取/拍攝即時的路況影像。處理器110係連接於影像擷取裝置110、全球衛星定位單元172、地理資訊系統單元176及高度資訊產生單元174，可控制影像擷取裝置110、全球衛星定位單元172、高度資訊產生單元174以及地理資訊系統單元176的操作，作為資料傳輸橋梁。影像處理單元130係連接於處理器110，可根據路徑規劃資訊產生一虛擬導引圖示，且比對車輛的即時位置、高度，並取得行車路徑。影像處理單元130可使用一考慮高度變化的逆透視投影演算法，根據高度變化資訊，在真實影像中產生一虛擬導引影像。在一些實施例中，其中影像處理單元130產生之虛擬導引圖示依照高度變化以更新逆透視投影轉換矩陣，以對應高度變化之鳥瞰(俯視)影像坐標系，再藉由透視投影轉換對應回真實影像座標以將虛擬導引圖示疊合於真實路況之中並在真實影像中產生上述虛擬導引影像。
顯示裝置150連接於處理器110，用以顯示疊合於真實路況下的虛擬導引影像。在一些實施例中，其中虛擬導引影像為一三維影像，隨高度變化貼合於地面。顯示裝置150可 更提供一使用者介面(未繪示)，以透過使用者介面直觀的顯示路況資訊、真實路況導引影像以供使用者如車輛駕駛者進行行車路徑參考。
在一些實施例中，其中地理資訊系統單元176與全球衛星定位單元172比較，以取得前方路況之坡度。在一些實施例中，其中顯示裝置150可設置於車輛駕駛位旁，且用以顯示前方道路與虛擬導引圖示疊合之一導航影像。在一些實施例中，顯示裝置150的使用者介面可顯示目前車輛的實際海拔高度以及車前道路影像之海拔高度。
可理解的是，上述各元件或模組係為一具有對應功能的裝置，可具有適當的硬體電路或元件以執行對應功能，然而，該裝置並不以具有實體為限，其亦得為一虛擬的具有對應功能的程式、軟體，或是具有處理、運行該程式、軟體能力的裝置。而上述各元件運作的方式，可進一步的參閱以下對應之方法之說明。
在本發明實施例中，影像處理單元130可根據道路的高度變化資訊進行透視投影轉換與逆透視投影轉換，將虛擬導引圖示依照高度變化以更新逆透視投影轉換矩陣以對應至高度變化之鳥瞰(俯視)影像座標系上，再藉由透視投影轉換對應回真實影像座標上，其細節與演算法介紹於下。
首先，在本揭露實施例使用之影像擷取裝置110的相機模型為針孔相機模型，影像處理單元130透過該相機模型可將相機座標轉換至影像座標。之後，影像處理單元130可再進行後續影像扭曲校正及逆透視投影轉換之動作。
第2圖係顯示本揭露一實施例所述之影像擷取裝置之相機模型示意圖。如第2圖所示，Π為影像平面，C點為成像中心點，由C點延伸垂直至影像平面之向量方向稱之為光軸，p點為相機座標系統任意點P投影至影像平面之投影點，f為相機焦距，相機座標系統之座標原點即為成像中心點C，X軸與Y軸分別平行於影像平面之x軸與y軸，Z軸為光軸。
根據相似三角形之定理，影像處理單元130可透過下式公式(1)將相機座標系統轉換至影像座標系統： 其中S x ,S y 為x與y方向的刻度轉換比例因子，f為焦距。由於影像平面的單位為像素，而焦距f的單位為毫米，因此需透過一刻度轉換比例因子使其能相互轉換，而f,S x ,S y 稱之為相機內部參數(intrinsic parameters)。
一般而言，影像處理中影像原點皆定義於影像左上角，而上述之相機模型定義其影像原點為影像中心點，故在本實施例中將公式(1)改寫成以下公式(2)：
另外，由於影像擷取裝置110(例如：相機)常搭載鏡頭增加單位時間進入影像平面的光線總量，以減短曝光所需之時間，但搭載的鏡頭通常具有魚眼(廣角)特性，其將對於影像造成扭曲形變(distortion)之問題，影像扭曲形變的問題將造成後續影 像真實比例關係錯誤，故需要針對原始影像進行影像扭曲校正。在本揭露實施例中，將影像扭曲變形分為枕狀變形與筒狀變形兩種情況，因此影像處理單元130可透過以下公式(3)(又稱扭曲校正方程式)對原始影像進行影像扭曲校正： 其中公式(3)中的k 1,k 2,k 3,k 4,k 5,k 6為相機的桶狀形變參數，而p 1,p 2為相機的枕狀形變參數，r 2=x 2+y 2，上述參數可於使用的相機決定時得到。
再者，由於相機的鏡頭是安裝於車前位置，因此需要定義其相機座標系與世界座標系之關係式。
第3圖係顯示本揭露一實施例之相機座標系與世界座標系之關係示意圖。如第3圖所示，在此實施例中，鏡頭被放置於車輛前檔玻璃位置且距平坦地面高H的位置，相機座標系統定義為X C ,Y C ,Z C ,O C 為攝影機座標原點及相機成像中心，光軸與ZC之傾斜角度為θ。
可理解的是，任何在真實世界中的三維座標系均可稱為世界座標系(world coordinate system)，亦即為第3圖之車輛座標系，如第3圖中的車輛座標系與相機座標系，僅座標原點位置與座標軸方向有所不同。因此，可透過一轉換矩陣將在車輛座標系上的任一點P V (X V ,Y V ,Z V )轉換成相機座標系上的一點P C (X C ,Y C ,Z C )，其關係式(4)如下： 其中M V,C 為轉換矩陣，其可表示為M V,C =R X,-θ T Y,-H ，其中且R X,-θ 與T Y,-H 稱為相機外部參數，分別為
透過上述之關係式(4)，影像處理單元130可將在車輛座標系中位於平面道路(X V -Z V )中任一點P V (X V ,0,Z V )藉由轉換矩陣M V,C 轉換到相機座標系之一點P C (X C ,Y C ,Z C )，上述藉由轉換矩陣M V,C 轉換到相機座標系的關係式(5)如下：
接著，影像處理單元130可以根據前述的相機針孔成像原理，利用相機內部參數如焦距、與x與y方向的刻度轉換比例因子等，將相機座標系轉換為影像平面座標系，如以下公式(6)所示： 其中f,S x ,S y 為相機內部參數，分別指焦距、與x與y方向的刻度轉換比例因子。上述將世界座標系轉換至影像平面座標系的過程即稱為透視投影轉換(perspective projection)。
相反地，影像處理單元130也可以利用逆透視投影轉換(inverse perspective projection)將影像平面上任一點(x i ,y i )轉換至道路平面(X V -Z V )上，其轉換公式(7)可表示如下：
也就是說，影像處理單元130透過上述之逆透視投影轉換過程，可將經扭曲校正後之影像轉換至鳥瞰影像上，亦即為道路平面(X V -Z V )，如第4圖所示。第4圖係顯示本揭露一實施例之將扭曲校正後之影像經逆透視投影轉換至鳥瞰影像之示意圖。如第4圖所示，其中扭曲校正後之影像410經由逆透視投影轉換操作後轉換為鳥瞰影像420。
在本揭露實施例中，為了增加擴增實境在疊合虛擬導引圖示於真實影像的正確性，先將虛擬導引圖示透過逆透視投影轉換疊合於鳥瞰影像上，亦即為道路平面(X V -Z V )，接著再將其疊合有虛擬導引圖示的鳥瞰影像，藉由一反向的透視投影轉換還原於原始真實影像中，之後便可產生具有正確比例關係的導引影像並輸出包含導引影像的畫面。藉此，虛擬導引圖示能以相對於真實影像像素的正確比例關係進行疊合，提供使用者更正確的擴增實境三維方向導引，可使導引圖示以正確比例疊合於真實影像的可行駛區域中，並以半透明效果呈現。請參閱第6圖與第7圖。第6圖顯示本揭露一實施例之將虛擬導引圖示透過逆透視投影轉換疊合於鳥瞰影像之示意圖，第7圖則顯示將虛擬導引圖示疊合於原始真實影像之示意圖。如第6圖所示，其中虛擬導引圖示610透過逆透視投影轉換疊合於鳥瞰影像620。如第7圖所示，其中虛擬導引圖示610係被疊合於疊合於鳥瞰影像620對應的真實影像710上。
由於前述導引圖示與真實影像的疊合例子中係以透視投影轉換方法使虛擬圖示以正確比例關係疊合於真實影像上，然而，上述方法假設將影像投影在一水平道路上，亦即車輛所行駛路面與鏡頭彼此的距離是保持不變。當車輛行駛於有高度變化的路面時，此方式會造成有錯誤疊合的效果。當道路有高度變化時，影像處理單元130需額外將道路高度資訊(海拔高度)考量進去，以避免產生於疊圖時產生漂浮現象。因此，在一些實施例中，影像處理單元130於虛擬導引圖示與真實影像的疊合過程中進一步考慮路面的高度變化，將路面海拔高度資料當做一座標軸向的旋轉角度，並依據該旋轉角度使相機座標系對應至該高度變化下的世界座標系道路平面，最終便可取得該高度變化下之逆透視投影轉換關係而達到正確的擴增實境疊合效果。
第5圖係顯示本揭露一實施例之具有道路高度資訊下的車輛座標系與相機座標系之關係示意圖。如第5圖所示，車輛座標系與相機座標系可改變如下所示。其中(X c ,Y c ,Z c )表示相機座標系，(X V ,Y V ,Z V )表示不具高度變化的水平道路下之車輛座標系(世界座標系)，()為因道路高度變化而改變之車輛座標系。
接著，影像處理單元130考慮道路的海拔高度，亦即為第5圖中的角度，此時道路平面將變為()；因此新的車輛座標系中位於道路平面()中任一點皆仍可透過上述公式(4)的轉換矩陣轉換至相機座標系P C (X C ,Y C ,Z C )。
詳細而言，首先，影像處理單元130先考慮將當前 車輛座標系轉換至世界座標系中，如以下公式(8)所示：
接著，影像處理單元130根據以下公式(9)，將世界座標系轉換為鏡頭座標系：
藉由上述公式(8)及公式(9)，影像處理單元130可以得知其關係式(10)為
接著，影像處理單元130可以根據相機針孔成像原理，將相機座標系轉換為影像平面座標系，如以下公式(11)所示： 其中=sin及=cos。公式(11)式即為具高度變化道路下的透視投影轉換(perspective projection)關係。反之，影像處理單元130可以利用上述公式(11)計算出逆透視投影轉換(inverse perspective projection)關係，即可將影像平面上任一點(x i ,y i )轉換至道路平面()上。因此，影像處理單元130可透過上述方法將虛擬導引圖示以相對於真實影像像素的正確比例關係進行疊合，提供使用者更正確的擴增實境三維方向導引。
請參閱第8A圖與第8B圖。第8A圖顯示本揭露一實施例之未考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖，第8B圖則顯示本揭露一實施例之考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖。由第8A圖可知，虛擬導引圖示810在真實影像820中因路面有高度變化而於疊合出現錯誤疊合的效果，使虛擬導引圖示810偏離路面，猶如往天空指引。由第8B圖可知，在本案中，影像處理單元130可將路面海拔高度資料當做一座標軸向的旋轉角度，並依據該旋轉角度使相機座標系對應至該高度變化下的世界座標系道路平面，最終便可取得該高度變化下之逆透視投影轉換關係，使虛擬導引圖示810可依像素正確比例關係貼合於真實影像820中，而達到正確的擴增實境疊合效果。
第9圖顯示本揭露一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。請同時參照第1圖與第9圖。依據本揭露實施例之虛擬導引圖示與真實影像之疊合方法可以適用於一虛擬導引圖示與真實影像之疊合裝置，其中，疊合裝置係裝設於一車輛上。舉例來說，可適用於第1圖的虛擬導引圖 示與真實影像之疊合裝置100並由處理器120加以執行。
首先，如步驟S902，處理器120透過影像擷取裝置110擷取真實影像以及透過全球衛星定位單元172、高度資訊產生單元174與地理資訊系統單元176擷取一高度變化資訊，並如步驟S904，透過影像處理單元130將擷取影像進行一影像校正處理，以取得一已校正影像。具體來說，在一些實施例中，影像處理單元130可透過全球衛星定位單元172提供的車輛位置資訊、地理資訊系統單元的GIS資訊所提供道路坡度資訊以及高度資訊產生單元174提供的高度資訊進行比對，以得到對應於行駛路徑的海拔高度資訊，藉此判斷是否有高度變化，取得上述高度變化資訊。其中，上述擷取影像為一場景扭曲影像，而上述已校正影像則為扭曲校正後的未扭曲影像。在一些實施例中，上述影像校正處理至少包括一相機參數校正操作及一影像扭曲校正操作。明確來說，真實影像可為前方路況的場景影像，其係為場景扭曲影像，因此影像處理單元130先進行相機參數校正操作，經由相機參數測定使用相機的內部參數(例如：前述x與y方向的刻度轉換比例因子S x ,S y 與焦距f)來調整場景扭曲影像中的相機參數不同所造成的失真，得到一調整後的影像及並對調整後的影像進行一扭曲校正操作，使用一扭曲校正演算法例如上述公式(3)，將場景扭曲影像轉換成未扭曲場景影像。此未扭曲場景影像即為上述已校正影像。
於取得上述已校正影像之後，接著如步驟S906，影像處理單元130根據高度變化資訊產生一更新轉換矩陣，並利用更新轉換矩陣對已校正影像進行一逆透視投影轉換，使用 逆透視投影轉換技術，產生已校正影像之一鳥瞰影像，將三維的真實影像轉換至二維的鳥瞰影像，並如步驟S908，將導引圖示疊合於轉換後的鳥瞰影像上。其中，虛擬導引圖示係根據一路徑規劃資訊產生且將虛擬導引圖示疊合於鳥瞰影像係將虛擬導引圖示貼合於鳥瞰影像中的道路平面。
詳細而言，如前述，由於道路的海拔高度變化會導致逆透視投影轉換的錯誤，因此在本實施例中，影像處理單元130在進行疊圖時，依照道路的海拔高度變化，更新原先用於平面道路的轉換矩陣，產生一更新轉換矩陣(例如利用前述公式8-10)，再利用更新轉換矩陣進行逆透視投影轉換例如利用前述公式(11)以將虛擬導引圖示繪製在高度變化下的鳥瞰影像上，繪製的虛擬導引圖示會貼合於真實影像對應的鳥瞰影像，藉此使得虛擬導引圖示於真實影像中具有更正確的像素比例關係，同時也可避免導引圖示直接疊合原始影像時會出現猶如飄浮往天空指向的錯誤顯示。在一些實施例中，影像處理單元130可根據路面車道線的寬度，決定虛擬導引圖示的寬度，以使虛擬導引圖示與真實影像中的一車道線成比例關係，例如車道線的寬度的一半或三分之一，但本揭露並不限於此。舉例來說，當車道線的寬度為30公分時，影像處理單元可將虛擬導引圖示的最大寬度設定為15公分或10公分，並且根據虛擬導引圖示的最大寬度來繪製虛擬導引圖示於鳥瞰影像上。虛擬導引圖示的寬度會隨著距離遠近呈現愈來愈縮短或愈來愈伸長的視覺效果，接近於真實場景所看到的情形。
將虛擬導引圖示貼合於高度變化下的鳥瞰影像之 後，接著，如步驟S910，影像處理單元130進行一透視投影轉換，透過透視投影轉換技術，將鳥瞰影像轉換為一三維導航影像。具體來說，影像處理單元130將鳥瞰影像藉由對應的透視投影如利用前述公式轉換對應回真實影像的影像座標系上，產生包括三維虛擬導引圖示的三維導航影像，使虛擬導引圖示於真實影像中具有更正確的像素比例關係，同時也可避免導引圖示直接疊合原始影像時，出現猶如飄浮往天空指向的錯誤。
接著，如步驟S912，處理器120將影像處理單元130所產生的包括三維導引圖示的三維導航影像透過影像輸出介面164輸出至顯示裝置150，使顯示裝置150顯示包括虛擬導引圖示的三維導航影像，其中三維導航影像顯示虛擬導引圖示於真實影像中，以提供擴增實境影像。由於產生的三維導航影像係已貼合於路面，因此不會出現猶如飄浮往天空指向的錯誤，可以提供使用者更正確的擴增實境3D導引圖示。在一些實施例中，顯示裝置150可設置於車輛的駕駛位旁，例如：可為設置於車子擋風玻璃的抬頭式顯示裝置，用以顯示前方道路與虛擬導引圖示疊合之影像，可增加使用便利性。
第10圖顯示本揭露另一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。請同時參照第1圖與第10圖。依據本揭露實施例之虛擬導引圖示與真實影像之疊合方法可以適用於一虛擬導引圖示與真實影像之疊合裝置，舉例來說，可適用於第1圖的虛擬導引圖示與真實影像之疊合裝置100並由處理器120加以執行。
首先，處理器120透過影像擷取裝置110擷取真實 影像(步驟S1002)，接著透過影像處理單元130進行擷取場景影像的相機參數校正(步驟S1004)及影像扭曲校正(步驟S1006)，將場景扭曲影像轉換成未扭曲影像。
之後，處理器120透過影像處理單元130進行逆透視投影轉換(步驟S1008)，將真實影像轉換至鳥瞰影像(如第4圖所示)，並將導引圖示繪製於其上(步驟S1010)，再藉由透視投影轉換對應回真實影像座標上(步驟S1012)。
另一方面，處理器120持續透過全球衛星定位單元172、高度資訊產生單元174與地理資訊系統單元176取得海拔高度資訊變化(步驟S1020)並且接著判斷是否有高度變化(步驟S1022)，亦即前方係為平面或有坡度的路面，若否則無須更新逆透視投影轉換的轉換矩陣。反之，若有高度變化，便依照高度變化更新轉換矩陣(步驟S1024)，再利用更新後的轉換矩陣以路面海拔高度資料當做一座標軸向的旋轉角度進行逆透視投影轉換(步驟S1008)，將真實影像轉換至鳥瞰影像(如第4圖所示)，並將導引圖示繪製於其上(步驟S1010)，再藉由透視投影轉換對應回真實影像座標上(步驟S1012)，最後再透過顯示裝置150輸出包含虛擬導引圖示的導航影像，使輸出的虛擬導引圖示於真實影像中具有更正確的像素比例關係，同時也可避免導引圖示直接疊合原始影像時，會出現猶如飄浮往天空指向的錯誤顯示，因此能提供駕駛者更正確且直觀的3D導引圖示(步驟S1014)。
因此，依據本揭露之虛擬導引圖示與真實影像之疊合裝置及其方法可將路面海拔高度資料當做一座標軸向的 旋轉角度，並依據該旋轉角度使相機座標系對應至高度變化下的世界座標系道路平面，最後可取得高度變化下的逆透視投影轉換關係而達到正確的擴增實境疊合效果，達成導航資訊實境化及安全監控之功效，以解決目前傳統導航提供之路況資訊不足與不準。此外，依據本揭露之虛擬導引圖示與真實影像之疊合裝置及其方法可有效解決傳統導航方法在路口處提供之導航資訊不足，而導致駕駛人錯過預定的路線，甚至可能造成危險駕駛的行為的問題，也有效解決先前技術中因道路的高度起伏造成突兀的導航圖示以及貼合問題。
本揭露之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本揭露之裝置。程式碼也可透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本揭露之裝置。當在一般用途影像處理單元實作時，程式碼結合影像處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中包括通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾。舉例來說，本揭露實施例所述之系統以及方法可以硬體、軟體或硬體以及軟體的組合的實體實施例加以實現。因此本揭露之保護 範圍當視後附之申請專利範圍所界定者為準。

Claims (16)

  1. 一種虛擬導引圖示與真實影像之疊合裝置，包括至少一影像擷取裝置，設置於一車輛前方，用以擷取包括即時場景的一真實影像；一處理器，連接於該影像擷取裝置，接收該真實影像並取得一高度變化資訊，其中該高度變化資訊包括該車輛之一目前海拔高度與車前道路之一海拔高度；一影像處理單元，連接於該處理器，對該真實影像進行一影像校正處理，以得到一已校正影像，依據該高度變化資訊，產生一更新轉換矩陣，並利用該更新轉換矩陣對該已校正影像進行一逆透視投影轉換，產生該已校正影像之一鳥瞰影像，再根據一路徑規劃資訊，產生一虛擬導引圖示，並將該虛擬導引圖示疊合在該鳥瞰影像上，以及對該鳥瞰影像進行一透視投影轉換，以將該鳥瞰影像轉換為一三維導航影像，其中該三維導航影像包括該虛擬導引圖示；以及一顯示裝置，連接於該處理器，顯示該三維導航影像。
  2. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，更包括：一全球衛星定位單元，提供並輸出該車輛之一即時位置；一地理資訊系統單元，儲存一圖資資訊；以及一高度資訊單元，提供該車輛之該目前海拔高度與車前道路之該海拔高度。
  3. 如申請專利範圍第2項所述之虛擬導引圖示與真實影像之疊合裝置，其中該高度資訊單元係為一高度計。
  4. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該虛擬導引圖示為一三維圖示，隨高度變化與距離等比例並以半透明方式貼合於地面。
  5. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中一地理資訊系統單元之高度資訊與該全球衛星定位單元之高度資訊比較，以取得表示前方路況之坡度之該高度變化資訊。
  6. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該顯示裝置係為設置於該車輛之駕駛位旁之一抬頭式顯示裝置，用以顯示包括前方道路與該虛擬導引圖示疊合之該導航影像。
  7. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該影像處理單元產生之該虛擬導引圖示依該更新轉換矩陣進行該逆透視投影轉換，以對應高度變化之鳥瞰影像坐標系，再藉由該透視投影轉換對應回真實影像座標，以將該虛擬導引圖示疊合於該真實影像中。
  8. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該顯示裝置包括一使用者介面，用以顯示該車輛之目前海拔高度以及車前道路影像之海拔高度。
  9. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該影像處理單元使用考慮高度變化的逆透視投影演算法進行該逆透視投影轉換，以在該真實影像中產生該虛擬導引圖示。
  10. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該虛擬導引圖示與該真實影像中之一車道線成比例關係。
  11. 一種虛擬導引圖示與真實影像之疊合方法，適用於一裝設於一車輛的一疊合裝置，並由該疊合裝置所實施，該方法包括下列步驟：擷取一即時場景的真實影像並取得一高度變化資訊，其中該高度變化資訊包括該疊合裝置之一目前海拔高度與車前道路之一海拔高度；對該真實影像進行一影像校正處理，以得到一已校正影像；依據該高度變化資訊，產生一更新轉換矩陣，並利用該更新轉換矩陣對該已校正影像進行一逆透視投影轉換，產生該已校正影像之一鳥瞰影像；根據一路徑規劃資訊，產生一虛擬導引圖示，並將該虛擬導引圖示疊合在該鳥瞰影像上；以及對該鳥瞰影像進行一透視投影轉換，以將該鳥瞰影像轉換為一三維導航影像，其中該三維導航影像包括該虛擬導引圖示。
  12. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，其中該已校正影像係為一非扭曲影像且該影像校正處理包括一相機參數校正處理以及一扭曲校正處理。
  13. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，更包括：接收一地理資訊系統單元之一高度資訊與一全球衛星定位單元之一高度資訊比較；以及比較該地理資訊系統單元之該高度資訊與該全球衛星定位單元之該高度資訊，以取得表示前方路況之坡度之該高度變化資訊。
  14. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，其中該虛擬導引圖示為一三維圖示，隨高度變化與距離等比例並以半透明方式貼合於地面。
  15. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，更包括：使用考慮高度變化的逆透視投影演算法進行該逆透視投影轉換，以在該真實影像中產生該虛擬導引圖示。
  16. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，更包括：顯示該三維導航影像。
TW106145977A 2017-12-27 2017-12-27 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 TWI657409B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106145977A TWI657409B (zh) 2017-12-27 2017-12-27 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
US15/857,230 US10282915B1 (en) 2017-12-27 2017-12-28 Superimposition device of virtual guiding indication and reality image and the superimposition method thereof
CN201810159015.0A CN109982006A (zh) 2017-12-27 2018-02-26 虚拟导引图示与真实图像的迭合装置及其相关迭合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106145977A TWI657409B (zh) 2017-12-27 2017-12-27 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Publications (2)

Publication Number Publication Date
TWI657409B true TWI657409B (zh) 2019-04-21
TW201928884A TW201928884A (zh) 2019-07-16

Family

ID=66334094

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106145977A TWI657409B (zh) 2017-12-27 2017-12-27 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Country Status (3)

Country Link
US (1) US10282915B1 (zh)
CN (1) CN109982006A (zh)
TW (1) TWI657409B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766647B (zh) * 2021-04-19 2022-06-01 逢甲大學 虛擬導航路徑生成方法
TWI780734B (zh) * 2021-05-27 2022-10-11 原人股份有限公司 利用擴增實境顯示埋藏物件的方法
TWI800830B (zh) * 2021-01-13 2023-05-01 大陸商鼎勤科技（深圳）有限公司 控制疊合裝置自動調整疊合高度的方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111886624A (zh) * 2018-03-28 2020-11-03 三菱电机株式会社 图像处理装置、图像处理方法及图像处理程序
JP7309724B2 (ja) * 2018-08-15 2023-07-18 株式会社小糸製作所 車両用表示システム及び車両
JP7088807B2 (ja) * 2018-10-29 2022-06-21 京セラ株式会社 画像処理装置、カメラ、移動体および画像処理方法
US11017499B2 (en) * 2018-12-21 2021-05-25 Here Global B.V. Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
US11887337B2 (en) * 2019-10-25 2024-01-30 7-Eleven, Inc. Reconfigurable sensor array
CN111076742A (zh) * 2019-12-17 2020-04-28 百度国际科技（深圳）有限公司 一种ar导航的显示方法、装置、电子设备及存储介质
TWI793390B (zh) * 2019-12-25 2023-02-21 財團法人工業技術研究院 資訊顯示方法及其處理裝置與顯示系統
US20230005213A1 (en) * 2020-01-23 2023-01-05 Sony Group Corporation Imaging apparatus, imaging method, and program
CN114415826A (zh) * 2020-05-15 2022-04-29 华为技术有限公司 一种数据处理方法及其设备
KR20220022340A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
CN112184543B (zh) * 2020-09-30 2024-04-16 湖北安泰泽善科技有限公司 一种用于鱼眼摄像头的数据展示方法和装置
CN112383766A (zh) * 2020-11-12 2021-02-19 京东方科技集团股份有限公司 图像生成***、方法及电子设备
CN112556685B (zh) * 2020-12-07 2022-03-25 腾讯科技（深圳）有限公司 导航路线的显示方法、装置和存储介质及电子设备
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质
US11593996B2 (en) * 2021-02-09 2023-02-28 Waymo Llc Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
CN113377202B (zh) * 2021-06-25 2023-07-07 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和***
TWI813118B (zh) * 2021-12-29 2023-08-21 薩摩亞商動見科技股份有限公司 自動更新地標數據庫中的視覺地標圖像之系統與方法
CN114630012B (zh) * 2022-03-11 2024-03-12 北京奇艺世纪科技有限公司 一种虚拟试衣视频生成方法、装置、电子设备及介质
CN115493614B (zh) * 2022-11-21 2023-03-24 泽景(西安)汽车电子有限责任公司 航迹线的显示方法、装置、存储介质及电子设备
CN116817887B (zh) * 2023-06-28 2024-03-08 哈尔滨师范大学 语义视觉slam地图构建方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201137313A (en) * 2010-04-22 2011-11-01 Mitac Int Corp Real-time image navigation system and method
US20130051611A1 (en) * 2011-08-24 2013-02-28 Michael A. Hicks Image overlaying and comparison for inventory display auditing
TW201715476A (zh) * 2015-10-26 2017-05-01 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09230783A (ja) * 1996-02-26 1997-09-05 Nissan Motor Co Ltd 地図表示装置
TWI305829B (en) 2006-11-30 2009-02-01 Ind Tech Res Inst Method for auto-detecting the location of an imaging acquiring apparatus and a vehicle collision warning system using thereof
DE102007053305A1 (de) * 2007-11-08 2009-05-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ausgabe von optischen Fahrempfehlungen in einem Fahrzeug
AU2008359900A1 (en) * 2008-07-31 2010-02-04 Tele Atlas B.V. Method of displaying navigation data in 3D
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
TWI408342B (zh) 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
CN102200444B (zh) * 2010-03-23 2013-03-20 财团法人资讯工业策进会 实时扩增实境装置及其实时扩增实境方法
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
TWI434239B (zh) 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
US9135754B2 (en) 2012-05-07 2015-09-15 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
US20140136043A1 (en) * 2012-11-15 2014-05-15 Robert Bosch Gmbh Automated driving assistance using altitude data
JP2014131257A (ja) * 2012-11-27 2014-07-10 Ricoh Co Ltd 画像補正システム、画像補正方法及びプログラム
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
CN103234547B (zh) * 2013-04-18 2017-03-22 易图通科技（北京）有限公司 真三维导航中道路场景的显示方法和装置
CN104135599A (zh) * 2013-05-03 2014-11-05 能晶科技股份有限公司 镜头图像校正***及镜头图像校正方法
TW201447230A (zh) 2013-06-14 2014-12-16 Polstar Technologies Inc 實景導航之校正方法與系統
CN103616032B (zh) * 2013-11-29 2017-04-05 北京掌行通信息技术有限公司 导航地图显示比例尺与三维视角自动控制方法及装置
JP6189774B2 (ja) * 2014-03-19 2017-08-30 株式会社ジオ技術研究所 ３次元地図表示システム
WO2016106358A1 (en) * 2014-12-22 2016-06-30 Robert Bosch Gmbh System and methods for interactive hybrid-dimension map visualization
CN105806347B (zh) * 2014-12-31 2018-10-12 易图通科技（北京）有限公司 一种坡度路段真三维导航方法及一种真三维导航设备
CN105466444A (zh) 2015-12-31 2016-04-06 戴姆勒股份公司 一种在汽车增强现实中获取兴趣点和汽车相对高度的方法
CN205537674U (zh) * 2016-01-29 2016-08-31 华创车电技术中心股份有限公司 三维行车导航装置
TWM523091U (zh) 2016-01-29 2016-06-01 Hua Chuang Automobile Information Technical Ct Co Ltd 三維行車導航裝置
CN107228681A (zh) * 2017-06-26 2017-10-03 上海驾馥电子科技有限公司 一种通过摄像头加强导航功能的导航***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201137313A (en) * 2010-04-22 2011-11-01 Mitac Int Corp Real-time image navigation system and method
US20130051611A1 (en) * 2011-08-24 2013-02-28 Michael A. Hicks Image overlaying and comparison for inventory display auditing
TW201715476A (zh) * 2015-10-26 2017-05-01 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800830B (zh) * 2021-01-13 2023-05-01 大陸商鼎勤科技（深圳）有限公司 控制疊合裝置自動調整疊合高度的方法
TWI766647B (zh) * 2021-04-19 2022-06-01 逢甲大學 虛擬導航路徑生成方法
US11796337B2 (en) 2021-04-19 2023-10-24 Feng Chia University Method for generating virtual navigation route
TWI780734B (zh) * 2021-05-27 2022-10-11 原人股份有限公司 利用擴增實境顯示埋藏物件的方法

Also Published As

Publication number Publication date
CN109982006A (zh) 2019-07-05
TW201928884A (zh) 2019-07-16
US10282915B1 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
TWI657409B (zh) 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
WO2021128777A1 (en) Method, apparatus, device, and storage medium for detecting travelable region
CN108474666B (zh) 用于在地图显示中定位用户的***和方法
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
KR100985737B1 (ko) 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9223408B2 (en) System and method for transitioning between interface modes in virtual and augmented reality applications
WO2010113397A1 (ja) 表示入力装置
US20160203629A1 (en) Information display apparatus, and method for displaying information
US9092897B2 (en) Method and apparatus for displaying interface elements
EP4009144A1 (en) Head mounted display device and processing method of head mounted display device
CN110986930A (zh) 设备定位方法、装置、电子设备及存储介质
JP2009236844A (ja) ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム
US20180307378A1 (en) Wearable display, image display apparatus, and image display system
US8988425B2 (en) Image display control system, image display control method, and image display control program
KR100774591B1 (ko) 네비게이션 시스템 및 이를 이용한 네비게이션 방법
WO2019168156A1 (ja) 表示システム
JP4922436B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
US20160188141A1 (en) Electronic device and method for displaying target object thereof
EP4283986A1 (en) Electronic apparatus and control method thereof
CN113566847B (zh) 导航校准方法和装置、电子设备、计算机可读介质
WO2019119358A1 (en) Method, device and system for displaying augmented reality poi information
US11432110B2 (en) Method, system and computer program product for geospatial calibration
JP4254553B2 (ja) 地図表示装置
WO2024057779A1 (ja) 情報処理装置、プログラムおよび情報処理システム
KR101282917B1 (ko) 모바일 프로젝터를 이용한 길안내 방법 및 길안내 장치