CN109982006A - 虚拟导引图示与真实图像的迭合装置及其相关迭合方法 - Google Patents

虚拟导引图示与真实图像的迭合装置及其相关迭合方法 Download PDF

Info

Publication number
CN109982006A
CN109982006A CN201810159015.0A CN201810159015A CN109982006A CN 109982006 A CN109982006 A CN 109982006A CN 201810159015 A CN201810159015 A CN 201810159015A CN 109982006 A CN109982006 A CN 109982006A
Authority
CN
China
Prior art keywords
image
true picture
coincides
virtual guiding
diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810159015.0A
Other languages
English (en)
Inventor
林敬智
刘伟成
林昱成
王正贤
陈鹏丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN109982006A publication Critical patent/CN109982006A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种虚拟导引图示与真实图像的迭合装置及其相关迭合方法。该虚拟导引图示与真实图像的迭合装置包括至少一图像提取装置、处理器、图像处理单元以及显示装置。图像提取装置用以提取包括实时场景的真实图像。处理器接收真实图像并取得一高度变化信息。图像处理单元对真实图像进行图像校正处理，以得到已校正图像，依据高度变化信息，产生更新转换矩阵，并利用更新转换矩阵进行一逆透视投影转换，产生已校正图像的鸟瞰图像，将虚拟导引图示迭合在鸟瞰图像上，以及对鸟瞰图像进行透视投影转换，以将鸟瞰图像转换为三维导航图像，其中三维导航图像包括虚拟导引图示。显示装置显示迭合虚拟导引图示于真实图像的三维导航图像。

Description

虚拟导引图示与真实图像的迭合装置及其相关迭合方法
技术领域
本公开涉及虚拟导引图示与真实图像的迭合装置及其虚拟导引图示与真实图像的迭合方法。
背景技术
近年来，全球定位***(Global Positioning System，GPS)被广泛运用在各种电子装置例如移动电话或是汽车的导航***上，其接收卫星信号，并根据与各颗卫星的相对位置对拥有全球定位***接收器的电子装置作定位，以判定电子装置的位置。用户也可以利用电子装置中的导航软件进行路径规划与导航作业。一般而言，当用户欲从一起点前往一目的地时，导航软件可依据一特定算法，规划出一路径，引导用户知道行进方向。
随着增强现实技术的发展越来越成熟，目前也已有研发出增强现实(AugmentedReality，AR)的导航***。具有增强现实导航功能的导航***可利用卫星定位、图像辨识及图资，搭配手机镜头所提取的真实图像，让导航屏幕上虚拟世界能够与现实世界场景进行结合与互动，产生虚拟导引图示于真实图像中进行方向导引，提供驾驶者更直观的导引信息。
然而，增强现实导航***虽然能提供驾驶者更直观的导引信息，但现有的增强现实导航***其虚拟导引图示迭合于真实图像时，并未考虑到车辆前方状态，当前方有车时，其导引图示可能会遮蔽前车，反而造成用户在观看导引信息时忽略了车辆前方状态进而造成碰撞事故发生。此外，一些增强现实导航***并未针对可行驶区域进行识别，因此当车辆行驶于多车道、立体道路等复杂道路环境下，将无法提供正确的导引方向。另一方面，现有的增强现实导航***在将导引图示迭合于真实图像时，也未考虑导引图示与真实图像像素间的比例关系，使其导引图示犹如往天空指引。举例来说，当车辆在有高度变化的道路时，其用以导航的导引图示所显示的导引线会出现犹如往天空或往地面下的导引方向，因而无法真正呈现正确的三维(3D)导引图示，与实景有所落差，故易使车辆驾驶者无法实时清楚理解欲指引的方向，导致与欲导航的路线有所出入，而无法顺利地实现导航的目的。
发明内容
有鉴于此，本公开提供一种虚拟导引图示与真实图像的迭合装置及其相关虚拟导引图示与真实图像的迭合方法。
本公开的一实施例提供一种虚拟导引图示与真实图像的迭合装置，包括至少一图像提取装置、一处理器、一图像处理单元以及一显示装置。图像提取装置适合设置于一车辆前方，用以提取包括实时场景的一真实图像。处理器连接于该图像提取装置，接收真实图像并取得一高度变化信息，其中高度变化信息包括车辆的一目前海拔高度与车前道路的一海拔高度。图像处理单元连接于处理器，对真实图像进行一图像校正处理，以得到一已校正图像，依据高度变化信息，产生一更新转换矩阵，并利用更新转换矩阵对已校正图像进行一逆透视投影转换，产生已校正图像的一鸟瞰图像，再根据一路径规划信息，产生一虚拟导引图示，并将虚拟导引图示迭合在鸟瞰图像上，以及对鸟瞰图像进行一透视投影转换，以将鸟瞰图像转换为一三维导航图像，其中三维导航图像包括虚拟导引图示。显示装置连接于处理器，显示迭合虚拟导引图示于真实图像的真实路况下的三维导航图像。
本公开另一实施例提供一种虚拟导引图示与真实图像的迭合方法，适用于一装设于一车辆的一迭合装置，并由迭合装置所实施。方法包括下列步骤：提取一实时场景的真实图像并取得一高度变化信息，其中高度变化信息包括迭合装置的一目前海拔高度与车前道路的一海拔高度；对真实图像进行一图像校正处理，以得到一已校正图像；依据高度变化信息，产生一更新转换矩阵，并利用更新转换矩阵对已校正图像进行一逆透视投影转换，产生已校正图像的一鸟瞰图像，其中逆透视投影转换是将已校正图像转换为鸟瞰图像；根据一路径规划信息，产生一虚拟导引图示，并将虚拟导引图示迭合在鸟瞰图像上；以及对鸟瞰图像进行一透视投影转换，以将鸟瞰图像转换为一三维导航图像，其中三维导航图像包括虚拟导引图示。
本公开的上述方法可经由本公开的装置或***来实作，其为可执行特定功能的硬件或固件，也可以通过程序代码方式收录于一记录介质中，并结合特定硬件来实作。当程序代码被电子装置、处理器、计算机或机器载入且执行时，电子装置、处理器、计算机或机器变成用以实行本公开的装置或***。
附图说明
图1显示本公开一实施例所述的虚拟导引图示与真实图像的迭合装置的示意图。
图2是显示本公开一实施例所述的图像提取装置的相机模型示意图。
图3是显示本公开一实施例的相机坐标系与世界坐标系的关系示意图。
图4是显示本公开一实施例的将扭曲校正后的图像经逆透视投影转换至鸟瞰图像的示意图。
图5是显示本公开一实施例的具有道路高度信息下的车辆坐标系与相机坐标系的关系示意图。
图6显示本公开一实施例的将虚拟导引图示通过逆透视投影转换迭合于鸟瞰图像的示意图。
图7显示本公开一实施例的将虚拟导引图示迭合于原始真实图像的示意图。
图8A显示本公开一实施例的未考虑路面的高度变化下的虚拟导引图示与真实图像的迭合效果的示意图，图8B显示本公开一实施例的考虑路面的高度变化下的虚拟导引图示与真实图像的迭合效果的示意图。
图9显示本公开一实施例的虚拟导引图示与真实图像的迭合方法的流程图。
图10显示本公开另一实施例的虚拟导引图示与真实图像的迭合方法的流程图。
【符号说明】
100～虚拟导引图示与真实图像的迭合装置；
110～图像提取装置；
120～处理器；
130～图像处理单元；
140～存储单元；
141、142～存储器；
150～显示装置；
162～图像输入接口；
164～图像输出接口；
172～全球卫星定位单元；
174～高度信息产生单元；
176～地理信息***单元；
410、420～图像；
610～虚拟导引图示；
620～图像；
710～图像；
810～虚拟导引图示；
820～图像；
S902、S904、S906、…、S912～步骤；以及
S1002、S1004、S1006、…、S1024～步骤。
具体实施方式
为让本公开的目的、特征、和优点能更明显易懂，特举出下文实施例，并配合附图，作详细说明如下。注意的是，本章节所叙述的实施例目的在于说明本公开的实施方式而非用以限定本公开的保护范围，本领域技术人员在不脱离本公开的精神和范围内，当可做些许更动与润饰，因此本公开的保护范围当视所附权利要求书界定范围为准。应理解下列实施例可经由软件，硬件，固件，或上述任意组合来实现。
本公开实施例提供一种虚拟导引图示与真实图像的迭合装置及其相关虚拟导引图示与真实图像的迭合方法，可根据道路的高度变化信息进行透视投影转换与逆透视投影转换，考虑虚拟导引图示与真实图像画面迭合的视觉真实感，事先将虚拟导引图示依照高度变化以更新逆透视投影转换矩阵以对应至高度变化的鸟瞰(俯视)图像坐标系上，再藉由透视投影转换对应回真实图像坐标上，藉此可使虚拟导引图示于真实图像中具有正确的像素比例关系，同时避免导引图示直接迭合真实图像时出现犹如飘浮往天空指向的错误显示，从而能提供驾驶者更正确且直观的三维导引图示，实现导航的目的。
图1是显示本公开一实施例所述的虚拟导引图示与真实图像的迭合装置的示意图。虚拟导引图示与真实图像的迭合装置100可以为一电子装置，如计算机***与便携式装置如移动装置(例如，平板计算机、移动电话，或穿戴式计算装置)、能够处理图像或数据的笔记型计算机、或者虚拟导引图示与真实图像的迭合装置100可以由多个装置来提供。虚拟导引图示与真实图像的迭合装置100可用以提供导航功能。虚拟导引图示与真实图像的迭合装置100也可由多个芯片或单芯片来实现，例如，片上***或在移动设备中放置的移动处理器。举例来说，虚拟导引图示与真实图像的迭合装置100包含多个图像提取装置110、处理器120、图像处理单元(graphics processing unit，GPU)130、存储单元140、显示装置150、图像输入接口162、图像输出接口164、全球卫星定位单元172、地理信息***(GIS)单元174以及高度信息产生单元174。图像处理单元130、存储单元140、显示装置150、图像输入接口162、以及图像输出接口164、全球卫星定位单元172、高度信息产生单元174以及地理信息***(GIS)单元176可连接至处理器120，以经由处理器120控制其操作执行各项操作。图像提取装置110可为包含一或多个图像传感器的相机模块，该图像传感器可为单一传感器，或包含多个独立的或分开的感测单元的感测阵列。举例来说，图像提取装置110可为具有鱼眼镜头(fisheye lens)的相机模块，用以提取包括实时路况的一真实图像。在一实施例中，多个图像提取装置110可设置于车辆前方，用以提取/拍摄实时的路况图像。
处理器120可为中央处理单元(central processing unit，CPU)、通用处理器、数字信号处理器、或任意等效电路，但是本公开并非限于此。
存储单元140可以包含易失性存储器(volatile memory)141、以及非易失性存储器142。举例来说，易失性存储器141可为动态随机存取存储器、或静态随机存取存储器，以及非易失性存储器142可为快闪存储器、硬盘、固态硬盘等。
举例来说，在虚拟导引图示与真实图像的迭合装置100上使用的应用的程序代码可预先存储于非易失性存储器142中。处理器110可自非易失性存储器142下载程序至易失性存储器141，并执行应用的程序代码。处理器110也可传输图像数据至图像处理单元130，以及图像处理单元130可决定将呈现在显示装置150上的图像数据。需要注意的是，易失性存储器141以及非易失性存储器142可描述为存储单元，并且可分别作为不同的存储单元。显示装置150可为包括显示电路或被耦接以用于控制一显示屏幕(图未示)的硬件，例如：液晶显示器(LCD)。显示装置150可包含驱动电路、显示面板中的一个或组合，以及显示装置150可置于虚拟导引图示与真实图像的迭合装置100中或之外。在一些实施例中，显示装置150结合触碰感应装置(未显示)的屏幕。触控感应装置具有一触控表面，其包括至少一维度的传感器以检测靠近或在触控表面上的一输入工具如手指或触控笔等在其表面上的接触及动作。因此，用户可通过显示装置150来进行触控输入命令或信号。
存储单元140可更存储包括相应至少一特定区域，如地区或国家的图资数据。其中，图资数据可以包括门牌地址、地标、景点、和/或道路及道路信息等。显示装置150用以显示相关数据，如用户操作界面、路径规划结果、与相关导航信息。处理器110可包括具有路径规划能力的一导航引擎。用户可以通过用户操作界面输入导航情况，如一起点、一目的地、和/或至少一行经点等。处理器110可以依据输入的起点、经过点以及目的地，进行路径规划，从而得到一规划路径信息。用户可以依据规划路径信息进行导航至目的地。
全球卫星定位单元(GPS)172用以接收卫星接收信号。全球卫星定位单元可用以取得装置100所在位置的位置坐标信息。举例来说，全球卫星定位单元172可为全球定位***(GPS)传感器(例如：GPS接收器)，可接收卫星信号来得到一GPS信号，根据所得到的GPS信号产生一GPS位置，据此取得装置100所在位置的GPS坐标信息。处理器110可以依据接收的信号计算出车辆的目前位置。
图像输入接口162可获得图像提取装置110所提取到的原始图像(例如，鱼眼图像)并提供原始图像至处理器110。图像输出接口164可获得处理器120接收自图像处理单元130的显示图像数据并提供显示图像数据至显示装置150进行显示。全球卫星定位单元172用以提供并输出车辆的实时位置。地理信息***单元176提供上述图资信息与地形相关信息如高度。高度信息产生单元174为可用以取得车辆目前海拔高度、与车前道路的海拔高度的装置，例如：全球卫星定位单元、高度计等，但本公开并不限于此。
在一些实施例中，尽管图中未示，虚拟导引图示与真实图像的迭合装置100可包含其他功能单元，例如键盘、鼠标、触控板、或通信单元(例如，以太网卡或芯片组)、无线网卡或芯片组、基带芯片组以及射频芯片组以用于蜂窝通信。
处理器110可控制执行本发明提供的用于虚拟导引图示与真实图像的迭合方法，其细节将于下文中进一步描述。明确来说，多个图像提取装置110可设置于车辆前方，用以提取/拍摄实时的路况图像。处理器110连接于图像提取装置110、全球卫星定位单元172、地理信息***单元176及高度信息产生单元174，可控制图像提取装置110、全球卫星定位单元172、高度信息产生单元174以及地理信息***单元176的操作，作为数据传输桥梁。图像处理单元130连接于处理器110，可根据路径规划信息产生一虚拟导引图示，且比对车辆的实时位置、高度，并取得行车路径。图像处理单元130可使用一考虑高度变化的逆透视投影算法，根据高度变化信息，在真实图像中产生一虚拟导引图像。在一些实施例中，其中图像处理单元130产生的虚拟导引图示依照高度变化以更新逆透视投影转换矩阵，以对应高度变化的鸟瞰(俯视)图像坐标系，再藉由透视投影转换对应回真实图像坐标以将虚拟导引图示迭合于真实路况之中并在真实图像中产生上述虚拟导引图像。
显示装置150连接于处理器110，用以显示迭合于真实路况下的虚拟导引图像。在一些实施例中，其中虚拟导引图像为一三维图像，随高度变化贴合于地面。显示装置150可更提供一用户界面(未绘示)，以通过用户界面直观地显示路况信息、真实路况导引图像以供用户如车辆驾驶者进行行车路径参考。
在一些实施例中，其中地理信息***单元176与全球卫星定位单元172比较，以取得前方路况的坡度。在一些实施例中，其中显示装置150可设置于车辆驾驶位旁，且用以显示前方道路与虚拟导引图示迭合的一导航图像。在一些实施例中，显示装置150的用户界面可显示目前车辆的实际海拔高度以及车前道路图像的海拔高度。
可理解的是，上述各元件或模块为一具有对应功能的装置，可具有适当的硬件电路或元件以执行对应功能，然而，该装置并不以具有实体为限，其亦得为一虚拟的具有对应功能的程序、软件，或是具有处理、运行该程序、软件能力的装置。而上述各元件运作的方式，可进一步的参阅以下对应的方法的说明。
在本发明实施例中，图像处理单元130可根据道路的高度变化信息进行透视投影转换与逆透视投影转换，将虚拟导引图示依照高度变化以更新逆透视投影转换矩阵以对应至高度变化的鸟瞰(俯视)图像坐标系上，再藉由透视投影转换对应回真实图像坐标上，其细节与算法介绍于下。
首先，在本公开实施例使用的图像提取装置110的相机模型为针孔相机模型，图像处理单元130通过该相机模型可将相机坐标转换至图像坐标。之后，图像处理单元130可再进行后续图像扭曲校正及逆透视投影转换的动作。
图2是显示本公开一实施例所述的图像提取装置的相机模型示意图。如图2所示，Π为图像平面，C点为成像中心点，由C点延伸垂直至图像平面的向量方向称之为光轴，p点为相机坐标***任意点P投影至图像平面的投影点，f为相机焦距，相机坐标***的坐标原点即为成像中心点C，X轴与Y轴分别平行于图像平面的x轴与y轴，Z轴为光轴。
根据相似三角形的定理，图像处理单元130可通过下式公式(1)将相机坐标***转换至图像坐标***：
其中Sx,Sy为x与y方向的刻度转换比例因子，f为焦距。由于图像平面的单位为像素，而焦距f的单位为毫米，因此需通过一刻度转换比例因子使其能相互转换，而f,Sx,Sy称之为相机内部参数(intrinsic parameters)。
一般而言，图像处理中图像原点皆定义于图像左上角，而上述的相机模型定义其图像原点为图像中心点，故在本实施例中将公式(1)改写成以下公式(2)：
另外，由于图像提取装置110(例如：相机)常搭载镜头增加单位时间进入图像平面的光线总量，以减短曝光所需的时间，但搭载的镜头通常具有鱼眼(广角)特性，其将对于图像造成扭曲形变(distortion)的问题，图像扭曲形变的问题将造成后续图像真实比例关系错误，故需要针对原始图像进行图像扭曲校正。在本公开实施例中，将图像扭曲变形分为枕状变形与筒状变形两种情况，因此图像处理单元130可通过以下公式(3)(又称扭曲校正方程式)对原始图像进行图像扭曲校正：
其中公式(3)中的k1,k2,k3,k4,k5,k6为相机的桶状形变参数，而p1,p2为相机的枕状形变参数，r2＝x2+y2，上述参数可于使用的相机决定时得到。
再者，由于相机的镜头是安装于车前位置，因此需要定义其相机坐标系与世界坐标系的关系式。
图3是显示本公开一实施例的相机坐标系与世界坐标系的关系示意图。如图3所示，在此实施例中，镜头被放置于车辆前档玻璃位置且距平坦地面高H的位置，相机坐标***定义为XC,YC,ZC，OC为摄影机坐标原点及相机成像中心，光轴与ZC的倾斜角度为θ。
可理解的是，任何在真实世界中的三维坐标系均可称为世界坐标系(worldcoordinate system)，亦即为图3的车辆坐标系，如图3中的车辆坐标系与相机坐标系，仅坐标原点位置与坐标轴方向有所不同。因此，可通过一转换矩阵将在车辆坐标系上的任一点PV(XV,YV,ZV)转换成相机坐标系上的一点PC(XC,YC,ZC)，其关系式(4)如下：
其中MV,C为转换矩阵，其可表示为MV,C＝RX,-θTY,-H，其中且RX,-θ与TY,-H称为相机外部参数，分别为
通过上述的关系式(4)，图像处理单元130可将在车辆坐标系中位于平面道路(XV-ZV)中任一点PV(XV,0,ZV)藉由转换矩阵MV,C转换到相机坐标系的一点PC(XC,YC,ZC)，上述藉由转换矩阵MV,C转换到相机坐标系的关系式(5)如下：
接着，图像处理单元130可以根据前述的相机针孔成像原理，利用相机内部参数如焦距、与x与y方向的刻度转换比例因子等，将相机坐标系转换为图像平面坐标系，如以下公式(6)所示：
其中f,Sx,Sy为相机内部参数，分别指焦距、与x与y方向的刻度转换比例因子。上述将世界坐标系转换至图像平面坐标系的过程即称为透视投影转换(perspectiveprojection)。
相反地，图像处理单元130也可以利用逆透视投影转换(inverse perspectiveprojection)将图像平面上任一点(xi,yi)转换至道路平面(XV-ZV)上，其转换公式(7)可表示如下：
也就是说，图像处理单元130通过上述的逆透视投影转换过程，可将经扭曲校正后的图像转换至鸟瞰图像上，亦即为道路平面(XV-ZV)，如图4所示。图4是显示本公开一实施例的将扭曲校正后的图像经逆透视投影转换至鸟瞰图像的示意图。如图4所示，其中扭曲校正后的图像410经由逆透视投影转换操作后转换为鸟瞰图像420。
在本公开实施例中，为了增加增强现实在迭合虚拟导引图示于真实图像的正确性，先将虚拟导引图示通过逆透视投影转换迭合于鸟瞰图像上，亦即为道路平面(XV-ZV)，接着再将其迭合有虚拟导引图示的鸟瞰图像，藉由一反向的透视投影转换还原于原始真实图像中，之后便可产生具有正确比例关系的导引图像并输出包含导引图像的画面。藉此，虚拟导引图示能以相对于真实图像像素的正确比例关系进行迭合，提供用户更正确的增强现实三维方向导引，可使导引图示以正确比例迭合于真实图像的可行驶区域中，并以半透明效果呈现。请参阅图6与图7。图6显示本公开一实施例的将虚拟导引图示通过逆透视投影转换迭合于鸟瞰图像的示意图，图7则显示将虚拟导引图示迭合于原始真实图像的示意图。如图6所示，其中虚拟导引图示610通过逆透视投影转换迭合于鸟瞰图像620。如图7所示，其中虚拟导引图示610被迭合于迭合于鸟瞰图像620对应的真实图像710上。
由于前述导引图示与真实图像的迭合例子中以透视投影转换方法使虚拟图示以正确比例关系迭合于真实图像上，然而，上述方法假设将图像投影在一水平道路上，亦即车辆所行驶路面与镜头彼此的距离是保持不变。当车辆行驶于有高度变化的路面时，此方式会造成有错误迭合的效果。当道路有高度变化时，图像处理单元130需额外将道路高度信息(海拔高度)考虑进去，以避免产生于迭图时产生漂浮现象。因此，在一些实施例中，图像处理单元130于虚拟导引图示与真实图像的迭合过程中进一步考虑路面的高度变化，将路面海拔高度数据当做一坐标轴向的旋转角度，并依据该旋转角度使相机坐标系对应至该高度变化下的世界坐标系道路平面，最终便可取得该高度变化下的逆透视投影转换关系而达到正确的增强现实迭合效果。
图5是显示本公开一实施例的具有道路高度信息下的车辆坐标系与相机坐标系的关系示意图。如图5所示，车辆坐标系与相机坐标系可改变如下所示。其中(Xc,Yc,Zc)表示相机坐标系，(XV,YV,ZV)表示不具高度变化的水平道路下的车辆坐标系(世界坐标系)，(X′V,Y′V,Z′V)为因道路高度变化而改变的车辆坐标系。
接着，图像处理单元130考虑道路的海拔高度，亦即为图5中的角度φ，此时道路平面将变为(X′V-Z′V)；因此新的车辆坐标系中位于道路平面(X′V-Z′V)中任一点皆仍可通过上述公式(4)的转换矩阵转换至相机坐标系PC(XC,YC,ZC)。
详细而言，首先，图像处理单元130先考虑将当前车辆坐标系转换至世界坐标系中，如以下公式(8)所示：
接着，图像处理单元130根据以下公式(9)，将世界坐标系转换为镜头坐标系：
藉由上述公式(8)及公式(9)，图像处理单元130可以得知其关系式(10)为
接着，图像处理单元130可以根据相机针孔成像原理，将相机坐标系转换为图像平面坐标系，如以下公式(11)所示：
其中及公式(11)式即为具高度变化道路下的透视投影转换(perspective projection)关系。反之，图像处理单元130可以利用上述公式(11)计算出逆透视投影转换(inverse perspective projection)关系，即可将图像平面上任一点(xi,yi)转换至道路平面(X′V-Z′V)上。因此，图像处理单元130可通过上述方法将虚拟导引图示以相对于真实图像像素的正确比例关系进行迭合，提供用户更正确的增强现实三维方向导引。
请参阅图8A与图8B。图8A显示本公开一实施例的未考虑路面的高度变化下的虚拟导引图示与真实图像的迭合效果的示意图，图8B则显示本公开一实施例的考虑路面的高度变化下的虚拟导引图示与真实图像的迭合效果的示意图。由图8A可知，虚拟导引图示810在真实图像820中因路面有高度变化而于迭合出现错误迭合的效果，使虚拟导引图示810偏离路面，犹如往天空指引。由图8B可知，在本申请中，图像处理单元130可将路面海拔高度数据当做一坐标轴向的旋转角度，并依据该旋转角度使相机坐标系对应至该高度变化下的世界坐标系道路平面，最终便可取得该高度变化下的逆透视投影转换关系，使虚拟导引图示810可依像素正确比例关系贴合于真实图像820中，而达到正确的增强现实迭合效果。
图9显示本公开一实施例的虚拟导引图示与真实图像的迭合方法的流程图。请同时参照图1与图9。依据本公开实施例的虚拟导引图示与真实图像的迭合方法可以适用于一虚拟导引图示与真实图像的迭合装置，其中，迭合装置装设于一车辆上。举例来说，可适用于图1的虚拟导引图示与真实图像的迭合装置100并由处理器120加以执行。
首先，如步骤S902，处理器120通过图像提取装置110提取真实图像以及通过全球卫星定位单元172、高度信息产生单元174与地理信息***单元176提取一高度变化信息，并如步骤S904，通过图像处理单元130将提取图像进行一图像校正处理，以取得一已校正图像。具体来说，在一些实施例中，图像处理单元130可通过全球卫星定位单元172提供的车辆位置信息、地理信息***单元的GIS信息所提供道路坡度信息以及高度信息产生单元174提供的高度信息进行比对，以得到对应于行驶路径的海拔高度信息，藉此判断是否有高度变化，取得上述高度变化信息。其中，上述提取图像为一场景扭曲图像，而上述已校正图像则为扭曲校正后的未扭曲图像。在一些实施例中，上述图像校正处理至少包括一相机参数校正操作及一图像扭曲校正操作。明确来说，真实图像可为前方路况的场景图像，其为场景扭曲图像，因此图像处理单元130先进行相机参数校正操作，经由相机参数测定使用相机的内部参数(例如：前述x与y方向的刻度转换比例因子Sx,Sy与焦距f)来调整场景扭曲图像中的相机参数不同所造成的失真，得到一调整后的图像及并对调整后的图像进行一扭曲校正操作，使用一扭曲校正算法例如上述公式(3)，将场景扭曲图像转换成未扭曲场景图像。此未扭曲场景图像即为上述已校正图像。
在取得上述已校正图像之后，接着如步骤S906，图像处理单元130根据高度变化信息产生一更新转换矩阵，并利用更新转换矩阵对已校正图像进行一逆透视投影转换，使用逆透视投影转换技术，产生已校正图像的一鸟瞰图像，将三维的真实图像转换至二维的鸟瞰图像，并如步骤S908，将导引图示迭合于转换后的鸟瞰图像上。其中，虚拟导引图示根据一路径规划信息产生且将虚拟导引图示迭合于鸟瞰图像将虚拟导引图示贴合于鸟瞰图像中的道路平面。
详细而言，如前述，由于道路的海拔高度变化会导致逆透视投影转换的错误，因此在本实施例中，图像处理单元130在进行迭图时，依照道路的海拔高度变化，更新原先用于平面道路的转换矩阵，产生一更新转换矩阵(例如利用前述公式8-10)，再利用更新转换矩阵进行逆透视投影转换例如利用前述公式(11)以将虚拟导引图示绘制在高度变化下的鸟瞰图像上，绘制的虚拟导引图示会贴合于真实图像对应的鸟瞰图像，藉此使得虚拟导引图示于真实图像中具有更正确的像素比例关系，同时也可避免导引图示直接迭合原始图像时会出现犹如飘浮往天空指向的错误显示。在一些实施例中，图像处理单元130可根据路面车道线的宽度，决定虚拟导引图示的宽度，以使虚拟导引图示与真实图像中的一车道线成比例关系，例如车道线的宽度的一半或三分之一，但本公开并不限于此。举例来说，当车道线的宽度为30厘米时，图像处理单元可将虚拟导引图示的最大宽度设定为15厘米或10厘米，并且根据虚拟导引图示的最大宽度来绘制虚拟导引图示于鸟瞰图像上。虚拟导引图示的宽度会随着距离远近呈现愈来愈缩短或愈来愈伸长的视觉效果，接近于真实场景所看到的情形。
将虚拟导引图示贴合于高度变化下的鸟瞰图像之后，接着，如步骤S910，图像处理单元130进行一透视投影转换，通过透视投影转换技术，将鸟瞰图像转换为一三维导航图像。具体来说，图像处理单元130将鸟瞰图像藉由对应的透视投影如利用前述公式转换对应回真实图像的图像坐标系上，产生包括三维虚拟导引图示的三维导航图像，使虚拟导引图示于真实图像中具有更正确的像素比例关系，同时也可避免导引图示直接迭合原始图像时，出现犹如飘浮往天空指向的错误。
接着，如步骤S912，处理器120将图像处理单元130所产生的包括三维导引图示的三维导航图像通过图像输出接口164输出至显示装置150，使显示装置150显示包括虚拟导引图示的三维导航图像，其中三维导航图像显示虚拟导引图示于真实图像中，以提供增强现实图像。由于产生的三维导航图像已贴合于路面，因此不会出现犹如飘浮往天空指向的错误，可以提供用户更正确的增强现实3D导引图示。在一些实施例中，显示装置150可设置于车辆的驾驶位旁，例如：可为设置于车子挡风玻璃的抬头式显示装置，用以显示前方道路与虚拟导引图示迭合的图像，可增加使用便利性。
图10显示本公开另一实施例的虚拟导引图示与真实图像的迭合方法的流程图。请同时参照图1与图10。依据本公开实施例的虚拟导引图示与真实图像的迭合方法可以适用于一虚拟导引图示与真实图像的迭合装置，举例来说，可适用于图1的虚拟导引图示与真实图像的迭合装置100并由处理器120加以执行。
首先，处理器120通过图像提取装置110提取真实图像(步骤S1002)，接着通过图像处理单元130进行提取场景图像的相机参数校正(步骤S1004)及图像扭曲校正(步骤S1006)，将场景扭曲图像转换成未扭曲图像。
之后，处理器120通过图像处理单元130进行逆透视投影转换(步骤S1008)，将真实图像转换至鸟瞰图像(如图4所示)，并将导引图示绘制于其上(步骤S1010)，再藉由透视投影转换对应回真实图像坐标上(步骤S1012)。
另一方面，处理器120持续通过全球卫星定位单元172、高度信息产生单元174与地理信息***单元176取得海拔高度信息变化(步骤S1020)并且接着判断是否有高度变化(步骤S1022)，亦即前方为平面或有坡度的路面，若否则无须更新逆透视投影转换的转换矩阵。反之，若有高度变化，便依照高度变化更新转换矩阵(步骤S1024)，再利用更新后的转换矩阵以路面海拔高度数据当做一坐标轴向的旋转角度进行逆透视投影转换(步骤S1008)，将真实图像转换至鸟瞰图像(如图4所示)，并将导引图示绘制于其上(步骤S1010)，再藉由透视投影转换对应回真实图像坐标上(步骤S1012)，最后再通过显示装置150输出包含虚拟导引图示的导航图像，使输出的虚拟导引图示于真实图像中具有更正确的像素比例关系，同时也可避免导引图示直接迭合原始图像时，会出现犹如飘浮往天空指向的错误显示，因此能提供驾驶者更正确且直观的3D导引图示(步骤S1014)。
因此，依据本公开的虚拟导引图示与真实图像的迭合装置及其方法可将路面海拔高度数据当做一坐标轴向的旋转角度，并依据该旋转角度使相机坐标系对应至高度变化下的世界坐标系道路平面，最后可取得高度变化下的逆透视投影转换关系而达到正确的增强现实迭合效果，达成导航信息实境化及安全监控的功效，以解决目前传统导航提供的路况信息不足与不准。此外，依据本公开的虚拟导引图示与真实图像的迭合装置及其方法可有效解决传统导航方法在路口处提供的导航信息不足，而导致驾驶人错过预定的路线，甚至可能造成危险驾驶的行为的问题，也有效解决现有技术中因道路的高度起伏造成突兀的导航图示以及贴合问题。
本公开的方法，或特定类型或其部分，可以以程序代码的类型存在。程序代码可以包含于实体介质，如软盘、光盘、硬盘、或是任何其他机器可读取(如计算机可读取)存储介质，亦或不限于外在形式的计算机程序产品，其中，当程序代码被机器，如计算机载入且执行时，此机器变成用以参与本公开的装置。程序代码也可通过一些传送介质，如电线或电缆、光纤、或是任何传输类型进行传送，其中，当程序代码被机器，如计算机接收、载入且执行时，此机器变成用以参与本公开的装置。当在一般用途图像处理单元实作时，程序代码结合图像处理单元提供一操作类似于应用特定逻辑电路的独特装置。
虽然本公开已以优选实施例公开如上，然其并非用以限定本公开，本领域技术人员在不脱离本公开的精神和范围内，当可作些许的更动与润饰。举例来说，本公开实施例所述的***以及方法可以硬件、软件或硬件以及软件的组合的实体实施例加以实现。因此本公开的保护范围当视所附权利要求书界定范围为准。

Claims (16)

1.一种虚拟导引图示与真实图像的迭合装置，包括:
至少一图像提取装置，适合设置于车辆前方，用以提取包括实时场景的真实图像；
处理器，连接于该图像提取装置，接收该真实图像并取得高度变化信息，其中该高度变化信息包括该车辆的目前海拔高度与车前道路的海拔高度；
图像处理单元，连接于该处理器，对该真实图像进行图像校正处理，以得到已校正图像，依据该高度变化信息，产生更新转换矩阵，并利用该更新转换矩阵对该已校正图像进行逆透视投影转换，产生该已校正图像的鸟瞰图像，再根据路径规划信息，产生虚拟导引图示，并将该虚拟导引图示迭合在该鸟瞰图像上，以及对该鸟瞰图像进行透视投影转换，以将该鸟瞰图像转换为三维导航图像，其中该三维导航图像包括该虚拟导引图示；以及
显示装置，连接于该处理器，显示该三维导航图像。
2.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，还包括：
全球卫星定位单元，提供并输出该车辆的实时位置；
地理信息***单元，存储图资信息；以及
高度信息单元，提供该车辆的该目前海拔高度与车前道路的该海拔高度。
3.如权利要求2所述的虚拟导引图示与真实图像的迭合装置，其中该高度信息单元为高度计。
4.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，其中该虚拟导引图示为三维图示，随高度变化与距离等比例并以半透明方式贴合于地面。
5.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，其中该地理信息***单元的高度信息与该全球卫星定位单元的高度信息比较，以取得表示前方路况的坡度的该高度变化信息。
6.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，其中该显示装置为设置于该车辆的驾驶位旁的抬头式显示装置，用以显示包括前方道路与该虚拟导引图示迭合的该导航图像。
7.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，其中该图像处理单元产生的该虚拟导引图示依该更新转换矩阵进行该逆透视投影转换，以对应高度变化的鸟瞰图像坐标系，再藉由该透视投影转换对应回真实图像坐标，以将该虚拟导引图示迭合于该真实图像中。
8.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，其中该显示装置包括用户界面，用以显示该车辆的目前海拔高度以及车前道路图像的海拔高度。
9.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，其中该图像处理单元使用考虑高度变化的逆透视投影算法进行该逆透视投影转换，以在该真实图像中产生该虚拟导引图示。
10.如权利要求1所述的虚拟导引图示与真实图像的迭合装置，其中该虚拟导引图示与该真实图像中的车道线成比例关系。
11.一种虚拟导引图示与真实图像的迭合方法，适用于装设于车辆的迭合装置，并由该迭合装置实施，该方法包括下列步骤：
提取实时场景的真实图像并取得高度变化信息，其中该高度变化信息包括该迭合装置的目前海拔高度与车前道路的海拔高度；
对该真实图像进行图像校正处理，以得到已校正图像；
依据该高度变化信息，产生更新转换矩阵，并利用该更新转换矩阵对该已校正图像进行逆透视投影转换，产生该已校正图像的鸟瞰图像；
根据路径规划信息，产生虚拟导引图示，并将该虚拟导引图示迭合在该鸟瞰图像上；以及
对该鸟瞰图像进行透视投影转换，以将该鸟瞰图像转换为三维导航图像，其中该三维导航图像包括该虚拟导引图示。
12.如权利要求11所述的虚拟导引图示与真实图像的迭合方法，其中该已校正图像为非扭曲图像且该该图像校正处理包括相机参数校正处理以及扭曲校正处理。
13.如权利要求11所述的虚拟导引图示与真实图像的迭合方法，还包括：
接收地理信息***单元的高度信息与全球卫星定位单元的高度信息比较；以及
比较该地理信息***单元的该高度信息与该全球卫星定位单元的该高度信息，以取得表示前方路况的坡度的该高度变化信息。
14.如权利要求11所述的虚拟导引图示与真实图像的迭合方法，其中该虚拟导引图示为三维图示，随高度变化与距离等比例并以半透明方式贴合于地面。
15.如权利要求11所述的虚拟导引图示与真实图像的迭合方法，还包括：
使用考虑高度变化的逆透视投影算法进行该逆透视投影转换，以在该真实图像中产生该虚拟导引图示。
16.如权利要求11所述的虚拟导引图示与真实图像的迭合方法，还包括：
显示该三维导航图像。
CN201810159015.0A 2017-12-27 2018-02-26 虚拟导引图示与真实图像的迭合装置及其相关迭合方法 Pending CN109982006A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106145977A TWI657409B (zh) 2017-12-27 2017-12-27 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
TW106145977 2017-12-27

Publications (1)

Publication Number Publication Date
CN109982006A true CN109982006A (zh) 2019-07-05

Family

ID=66334094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810159015.0A Pending CN109982006A (zh) 2017-12-27 2018-02-26 虚拟导引图示与真实图像的迭合装置及其相关迭合方法

Country Status (3)

Country Link
US (1) US10282915B1 (zh)
CN (1) CN109982006A (zh)
TW (1) TWI657409B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN113031892A (zh) * 2019-12-25 2021-06-25 财团法人工业技术研究院 信息显示方法及其处理装置与显示***
CN113377202A (zh) * 2021-06-25 2021-09-10 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和***

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6513300B1 (ja) * 2018-03-28 2019-05-15 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7309724B2 (ja) * 2018-08-15 2023-07-18 株式会社小糸製作所 車両用表示システム及び車両
JP7088807B2 (ja) 2018-10-29 2022-06-21 京セラ株式会社 画像処理装置、カメラ、移動体および画像処理方法
US11017499B2 (en) * 2018-12-21 2021-05-25 Here Global B.V. Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
US11887337B2 (en) * 2019-10-25 2024-01-30 7-Eleven, Inc. Reconfigurable sensor array
CN111076742A (zh) * 2019-12-17 2020-04-28 百度国际科技（深圳）有限公司 一种ar导航的显示方法、装置、电子设备及存储介质
US20230005213A1 (en) * 2020-01-23 2023-01-05 Sony Group Corporation Imaging apparatus, imaging method, and program
CN114415826A (zh) * 2020-05-15 2022-04-29 华为技术有限公司 一种数据处理方法及其设备
KR20220022340A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
CN112184543B (zh) * 2020-09-30 2024-04-16 湖北安泰泽善科技有限公司 一种用于鱼眼摄像头的数据展示方法和装置
CN112383766A (zh) * 2020-11-12 2021-02-19 京东方科技集团股份有限公司 图像生成***、方法及电子设备
TWI798601B (zh) * 2020-11-27 2023-04-11 晶睿通訊股份有限公司 地面起伏偵測方法及其監控攝影機
CN112556685B (zh) * 2020-12-07 2022-03-25 腾讯科技（深圳）有限公司 导航路线的显示方法、装置和存储介质及电子设备
CN112875315B (zh) * 2021-01-13 2022-04-22 鼎勤科技(深圳)有限公司 一种控制叠合装置自动调整叠合高度的方法
US11593996B2 (en) * 2021-02-09 2023-02-28 Waymo Llc Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
TWI766647B (zh) 2021-04-19 2022-06-01 逢甲大學 虛擬導航路徑生成方法
TWI780734B (zh) * 2021-05-27 2022-10-11 原人股份有限公司 利用擴增實境顯示埋藏物件的方法
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
CN113465611B (zh) * 2021-06-29 2024-03-26 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
TWI813118B (zh) * 2021-12-29 2023-08-21 薩摩亞商動見科技股份有限公司 自動更新地標數據庫中的視覺地標圖像之系統與方法
CN114630012B (zh) * 2022-03-11 2024-03-12 北京奇艺世纪科技有限公司 一种虚拟试衣视频生成方法、装置、电子设备及介质
CN115493614B (zh) * 2022-11-21 2023-03-24 泽景(西安)汽车电子有限责任公司 航迹线的显示方法、装置、存储介质及电子设备
CN116817887B (zh) * 2023-06-28 2024-03-08 哈尔滨师范大学 语义视觉slam地图构建方法、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855520A (zh) * 2007-11-08 2010-10-06 罗伯特·博世有限公司 用于在汽车中输出光学的行驶建议的方法和装置
CN102037326A (zh) * 2008-07-31 2011-04-27 电子地图有限公司 以3d显示导航数据的方法
CN102200444A (zh) * 2010-03-23 2011-09-28 财团法人资讯工业策进会 实时扩增实境装置及其实时扩增实境方法
CN103234547A (zh) * 2013-04-18 2013-08-07 易图通科技（北京）有限公司 真三维导航中道路场景的显示方法和装置
CN103616032A (zh) * 2013-11-29 2014-03-05 北京掌行通信息技术有限公司 导航地图显示比例尺与三维视角自动控制方法及装置
CN104135599A (zh) * 2013-05-03 2014-11-05 能晶科技股份有限公司 镜头图像校正***及镜头图像校正方法
CN105806347A (zh) * 2014-12-31 2016-07-27 易图通科技（北京）有限公司 一种坡度路段真三维导航方法及一种真三维导航设备
EP3051498A1 (en) * 2014-03-19 2016-08-03 Geo Technical Laboratory Co., Ltd. Three-dimensional-map display system
CN205537674U (zh) * 2016-01-29 2016-08-31 华创车电技术中心股份有限公司 三维行车导航装置
CN107228681A (zh) * 2017-06-26 2017-10-03 上海驾馥电子科技有限公司 一种通过摄像头加强导航功能的导航***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09230783A (ja) * 1996-02-26 1997-09-05 Nissan Motor Co Ltd 地図表示装置
TWI305829B (en) 2006-11-30 2009-02-01 Ind Tech Res Inst Method for auto-detecting the location of an imaging acquiring apparatus and a vehicle collision warning system using thereof
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
TWI408342B (zh) 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
TWI426237B (zh) * 2010-04-22 2014-02-11 Mitac Int Corp Instant image navigation system and method
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US8917902B2 (en) * 2011-08-24 2014-12-23 The Nielsen Company (Us), Llc Image overlaying and comparison for inventory display auditing
TWI434239B (zh) 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
WO2013169601A2 (en) 2012-05-07 2013-11-14 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
US20140136043A1 (en) * 2012-11-15 2014-05-15 Robert Bosch Gmbh Automated driving assistance using altitude data
JP2014131257A (ja) * 2012-11-27 2014-07-10 Ricoh Co Ltd 画像補正システム、画像補正方法及びプログラム
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
TW201447230A (zh) 2013-06-14 2014-12-16 Polstar Technologies Inc 實景導航之校正方法與系統
US10553021B2 (en) * 2014-12-22 2020-02-04 Robert Bosch Gmbh System and methods for interactive hybrid-dimension map visualization
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
CN105466444A (zh) 2015-12-31 2016-04-06 戴姆勒股份公司 一种在汽车增强现实中获取兴趣点和汽车相对高度的方法
TWM523091U (zh) 2016-01-29 2016-06-01 Hua Chuang Automobile Information Technical Ct Co Ltd 三維行車導航裝置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855520A (zh) * 2007-11-08 2010-10-06 罗伯特·博世有限公司 用于在汽车中输出光学的行驶建议的方法和装置
CN102037326A (zh) * 2008-07-31 2011-04-27 电子地图有限公司 以3d显示导航数据的方法
CN102200444A (zh) * 2010-03-23 2011-09-28 财团法人资讯工业策进会 实时扩增实境装置及其实时扩增实境方法
CN103234547A (zh) * 2013-04-18 2013-08-07 易图通科技（北京）有限公司 真三维导航中道路场景的显示方法和装置
CN104135599A (zh) * 2013-05-03 2014-11-05 能晶科技股份有限公司 镜头图像校正***及镜头图像校正方法
CN103616032A (zh) * 2013-11-29 2014-03-05 北京掌行通信息技术有限公司 导航地图显示比例尺与三维视角自动控制方法及装置
EP3051498A1 (en) * 2014-03-19 2016-08-03 Geo Technical Laboratory Co., Ltd. Three-dimensional-map display system
CN105806347A (zh) * 2014-12-31 2016-07-27 易图通科技（北京）有限公司 一种坡度路段真三维导航方法及一种真三维导航设备
CN205537674U (zh) * 2016-01-29 2016-08-31 华创车电技术中心股份有限公司 三维行车导航装置
CN107228681A (zh) * 2017-06-26 2017-10-03 上海驾馥电子科技有限公司 一种通过摄像头加强导航功能的导航***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031892A (zh) * 2019-12-25 2021-06-25 财团法人工业技术研究院 信息显示方法及其处理装置与显示***
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质
US11715238B2 (en) 2020-12-24 2023-08-01 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Image projection method, apparatus, device and storage medium
CN113377202A (zh) * 2021-06-25 2021-09-10 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和***
CN113377202B (zh) * 2021-06-25 2023-07-07 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和***

Also Published As

Publication number Publication date
US10282915B1 (en) 2019-05-07
TW201928884A (zh) 2019-07-16
TWI657409B (zh) 2019-04-21

Similar Documents

Publication Publication Date Title
CN109982006A (zh) 虚拟导引图示与真实图像的迭合装置及其相关迭合方法
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
CN108510592B (zh) 真实物理模型的增强现实展示方法
CN107554425B (zh) 一种增强现实车载平视显示器ar-hud
CN108474666B (zh) 用于在地图显示中定位用户的***和方法
CN108062776B (zh) 相机姿态跟踪方法和装置
EP3237845B1 (en) System and methods for interactive hybrid-dimension map visualization
US10295826B2 (en) Shape recognition device, shape recognition program, and shape recognition method
KR100985737B1 (ko) 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
EP2672459B1 (en) Apparatus and method for providing augmented reality information using three dimension map
US20170219372A1 (en) Street-Level Guidance Via Route Path
US20120212405A1 (en) System and method for presenting virtual and augmented reality scenes to a user
US9933853B2 (en) Display control device, display control program, and display control method
US20120038671A1 (en) User equipment and method for displaying augmented reality window
CN107250891A (zh) 头戴式显示器与真实世界对象之间的相互通信
US8340504B2 (en) Entertainment device and method
US20140282259A1 (en) Information query by pointing
CN111742281B (zh) 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
CN101122464A (zh) 一种gps导航***中道路显示方法、装置及设备
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN114332648B (zh) 一种位置标识方法及电子设备
CN105103211B (zh) 地点显示***、方法以及程序
CN104049872B (zh) 利用指向的信息查询
CN109443377A (zh) 一种图像处理方法、***、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705

WD01 Invention patent application deemed withdrawn after publication