CN103847640A - 提供增强现实的方法和设备 - Google Patents

提供增强现实的方法和设备 Download PDF

Info

Publication number
CN103847640A
CN103847640A CN201310560086.9A CN201310560086A CN103847640A CN 103847640 A CN103847640 A CN 103847640A CN 201310560086 A CN201310560086 A CN 201310560086A CN 103847640 A CN103847640 A CN 103847640A
Authority
CN
China
Prior art keywords
information
display window
virtual information
region
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310560086.9A
Other languages
English (en)
Other versions
CN103847640B (zh
Inventor
申东洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN103847640A publication Critical patent/CN103847640A/zh
Application granted granted Critical
Publication of CN103847640B publication Critical patent/CN103847640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种增强现实提供方法和设备，包括配置成匹配挡风玻璃的平视显示器区域和输入图像，并把匹配图像中，信息量最小的区域确定为显示虚拟信息的显示窗口的位置的控制器。另外，控制器被配置成在所确定的位置，输出虚拟信息。

Description

提供增强现实的方法和设备
相关申请的引用
本申请要求2012年12月5日向韩国知识产权局提交的韩国专利申请No.10-2012-0140586的优先权，该申请的整个内容在此引为参考。
技术领域
本发明涉及提供增强现实的方法和设备。更特别地，本发明涉及检测标记，并在增强现实环境内显示信息的方法和设备。
背景技术
增强现实是通过在用户看到的真实世界图像中增加虚拟信息，例示一个图像的虚拟现实技术。这种增强现实用在许多领域，比如教育、游戏和广告中。为了显示虚拟信息，增强现实检测真实世界的素材，或者利用具有特殊信息的标记。增强现实提供其中通过合成在被检对象的位置的虚拟信息和标记，虚拟素材存在于真实世界中的效果。然而，这种方法取决于标记或素材在图像内的位置。即，当检测标记时，现有技术只在对应位置表现信息。
此外，当把增强现实应用于车辆时，检测到的标记被表现在行驶路线上的位置，从而驾驶员的视野受到干扰。特别地，当要在屏幕上表现大量信息时，归因于在合成的图像中表现的虚拟信息，当用户获得真实世界的信息时所需的视野安全性受到限制。例如，当车辆停在十字路口，并且前方的建筑物是兴趣点(POI)，从而在前方的建筑物显示标记时，视线会被所述标记遮挡。在这种情况下，驾驶员应关闭POI信息，或者强制把标记移动到另一个地方。这样，当手动设置位置时，会分散驾驶员驾驶车辆的注意力。
本节中公开的上述信息只是用于增进对本发明背景的理解，于是它可能包含不构成在本国已为本领域的普通技术人员已知的现有技术的信息。
发明内容
本发明提供一种通过根据位置，自动搜索使信息量最小的位置，以使驾驶员可以确保视野，并通过借助于分析输入成像装置(例如，照相机)的现场图像，根据屏幕内的位置分析信息量，提供具有显示虚拟信息的优点的增强现实的方法和设备。
本发明的例证实施例提供一种安装在车辆内的增强现实提供设备的增强现实提供的方法，包括：由增强现实提供设备上的控制器，匹配挡风玻璃的平视显示器区域和输入图像；由控制器，把匹配图像中，信息量最小的区域确定为显示虚拟信息的显示窗口的位置；和由控制器，在所确定的位置输出虚拟信息。
由控制器确定区域可包括判定在匹配图像中，是否包括与虚拟信息相关的标记；当在匹配图像中，包括与虚拟信息相关的标记时，把匹配图像中，可显示虚拟信息的区域分成多个子块；基于所述多个子块，计算信息量；在所述多个子块中，搜索信息量最小的位置；和把信息量最小的位置确定为显示窗口的位置。
由控制器计算信息量可包括基于所述多个子块，获得所包含的边缘；计数边缘的数目；基于所述多个子块，计算平均距离；对边缘的数目进归一化；和由计算的平均距离和归一化边缘的数目，基于子块计算信息量。
由控制器搜索位置可包括根据信息量，生成积分图像（integralimage）；和在积分图像中，利用窗口大小作为搜索单位，搜索信息量第一小的位置。
由控制器输出虚拟信息的步骤可包括，当在信息量第一小的位置，存在已输出的虚拟信息显示窗口时，在信息量第二小的位置输出虚拟信息；当在信息量第二小的位置，存在已输出的虚拟信息显示窗口时，按照先前定义的显示信息的优先级，判定是否输出虚拟信息显示窗口；判定在所确定的位置，是否存在输出空间；当存在输出空间时，在输出空间输出按照优先级的虚拟信息显示窗口；和当输出空间不存在时，搜索周边，并在其中信息量最小的区域中，在优先级较低的已输出的虚拟信息显示窗口上，输出按照所述优先级的虚拟信息显示窗口。
由控制器在已输出的虚拟信息显示窗口上，输出按照优先级的虚拟信息显示窗口包括判定在信息量最小的区域中，在重写字段中是否列出‘OFF’标志；当在重写字段中，未列出‘OFF’标志时，在其中信息量最小的区域中，优先级较低的已输出的虚拟信息显示窗口上，输出按照所述优先级的虚拟信息显示窗口。
本发明的另一个实施例提供一种安装在车辆内的增强现实提供设备，包括：拍摄位于驾驶员的前方的图像的图像输入单元；匹配由图像输入单元拍摄的输入图像和挡风玻璃的平视显示器区域的图像匹配单元；判定在利用匹配单元匹配的图像中，是否存在标记的识别单元；当存在标记时，把匹配图像中信息量最小的区域确定为显示与标记对应的虚拟信息的显示窗口的位置的分析单元；和输出增强现实屏幕的显示单元，在所述增强现实屏幕中，图像匹配单元在所确定的位置，显示虚拟信息。
分析单元可把匹配图像中可显示虚拟信息的区域划分成多个子块，根据所述多个子块计算信息量，并把多个子块中信息量最小的位置确定为显示虚拟信息的位置。另外，分析单元可根据多个子块，对包含的边缘的数目进行归一化，基于子块及子块平均距离计算信息量，并根据信息量，在生成的积分图像中利用窗口的大小作为搜索单位，搜索信息量第一小的位置。
此外，当在信息量第一小的位置，存在已输出的虚拟信息显示窗口时，分析单元可在信息量第二小的位置，输出虚拟信息，当在信息量第二小的位置，存在已输出的虚拟信息显示窗口时，分析单元可按照先前定义的显示信息的优先级，判定是否输出显示窗口，当不存在输出空间时，搜索周边，并在信息量最小的区域中，在优先级较低的已输出的虚拟信息显示窗口上，输出按照所述优先级的显示窗口。
按照本发明的例证实施例，通过在信息量最小的位置显示虚拟信息，可以有效地利用有限的视域资源，可以自然地除去不必要的信息，从而可以改善操作便利性。另外，通过自动选择标记信息显示位置，可以改善操作便利性。此外，利用信息量的分析，可向驾驶员提供最大的信息量。这样，可以解决当具体体现增强现实时，获得真实世界的信息的视野被遮盖的传统问题，通过保证视野，可以提高驾驶员的安全。
附图说明
图1是图解说明按照本发明的例证实施例的增强现实提供设备的结构的例证方框图；
图2是图解说明按照本发明的例证实施例，安装在车辆内的增强现实提供设备的例证示意图；
图3是按照本发明的例证实施例的图1的数据库的例证示意图；
图4图解说明按照本发明的例证实施例的例证增强现实屏幕；
图5是图解说明按照本发明的例证实施例的提供增强现实的方法的例证流程图；
图6是图解说明按照本发明的另一个例证实施例的提供增强现实的方法的例证流程图；
图7图解说明按照本发明的例证实施例，在驾驶员的视野中看到的挡风玻璃的例证HUD区域；
图8图解说明按照本发明的例证实施例，由成像装置获得的例证输入图像；
图9图解说明按照本发明的例证实施例，分成子块的例证图像；
图10图解说明按照本发明的例证实施例，基于子块的例证边缘和距离计算；
图11图解说明按照本发明的例证实施例，考虑到驾驶员的视野安全性的例证道路范围随机遮蔽区域；
图12图解说明按照本发明的例证实施例的例证积分图像。
具体实施方式
显然这里使用的术语“车辆”或“车辆的”或者其它类似术语包括通常的机动车辆，比如包括运动型多用途车(SUV)的客车，公共汽车，卡车，各种商用车辆，包括各种小舟和轮船的船只，飞机等，并且包括混合动力汽车，纯电动汽车，内燃机汽车、插电式混合动力汽车，氢动力汽车和其它替代燃料汽车(例如，从除石油以外的资源得到的燃料)。
尽管例证实施例被描述成利用多个单元进行例证处理，不过，例证处理显然也可利用一个或多个模块进行。另外，术语“控制器/控制单元”显然指的是包括存储器和处理器的硬件设备。存储器被配置成保存所述模块，处理器被特别配置成执行所述模块，以进行下面进一步说明的一个或多个处理。
此外，本发明的控制逻辑可被体现成计算机可读介质上的非临时性计算机可读媒介，所述计算机可读介质包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的例子包括(但不限于)ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪速驱动器、智能卡和光学数据存储设备。计算机可读记录媒介也可分布在网络耦接的计算机***中，以致通过例如远程信息处理服务器或控制器局域网络(CAN)，分布地保存和执行计算机可读媒介。
这里使用的术语只是用于说明特定的实施例，并不意图限制本发明。这里使用的单数形式意图还包括复数形式，除非上下文明确地另有说明。另外要明白当用在本说明书中时，术语“包含”指定陈述的特征、整数、步骤、操作、元件和/或组件的存在，不过并不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组合的存在或增加。这里使用的术语“和/或”包括相关的列出项目中的一个或多个项目的随便什么组合。
在下面的详细说明中，仅仅作为例子，表示和说明了本发明的例证实施例。本领域的技术人员会认识到可以按照各种不同的方式修改记载的实施例，而不脱离本发明的精神或范围。因而，附图和说明应被视为对本发明的举例说明，而不是对本发明的限制。在整个说明书中，相同的附图标记表示相同的元件。
另外，在整个说明书中，除非明确地另有说明，否则用语“包含”及诸如“包括”之类的变化应被理解成意味包括陈述的元件，但不排除任何其它元件。另外，说明书中记载的用语“-器”意味处理至少一种功能和操作，可用硬件组件或软件组件，以及它们的组合实现的单元。
下面参考附图，说明按照本发明的例证实施例的提供增强现实的方法和设备。
图1是图解说明按照本发明的例证实施例的增强现实提供设备的结构的例证方框图，图2是图解说明按照本发明的例证实施例，安装在车辆内的增强现实提供设备的例证示意图，图3是图1的数据库的例证示意图。
具体地，增强现实提供设备100可以安装在车辆内，并具体体现增强现实图像。增强现实提供设备100可被配置成由成像装置(例如，照相机、摄像机等)，自动检测在驾驶员的视野中，信息量相当小的区域，在对应位置表现标记的信息，从而不干扰驾驶员的视野地有效表现信息。
参见图1，增强现实提供设备100可包括由控制器执行的多个单元。所述多个单元包括：图像输入单元110、分析单元120、识别单元130、数据库140、图像匹配单元150和显示单元160。图像输入单元110可被配置成获得由成像装置(例如，照相机)拍摄的图像。图像输入单元110可被配置成跟踪驾驶员的视线方向，并捕获前方图像。
分析单元120可被配置成分析图像输入单元110捕获的输入图像，并根据区域计算信息量。分析单元120可被配置成利用输入图像的区域位置、颜色、距离、边缘和角落的数量、和用户重量值，计算输入图像的信息量。特别地，单个图像或事件的显示可具有优先级，可以表现与优先级结合具有最大值的显示消息。这种显示消息的优先级可用表1定义。
表1
顺序 显示消息
1 ***报警灯(发动机、安全气囊、刹车、胎压、燃料、碰撞)
2 行人、野生动物、障碍物
3 智能巡航控制(SCC)信息
4 车道偏离警示***(LDWS)信息
5 正面、侧面、背面摄像机图像
6 导航信息(左转、右转、车道变换信息)
7 娱乐信息(通信、音乐)
识别单元130可被配置成根据宽度和长宽区域的大小以及比率，和图像内的重点，判定待显示的标记信息是否存在于输入图像内。特别地，标记信息可以指示例如路标和建筑物。特别地，识别单元130可被配置成判定待显示的标记信息是否存在于输入图像内，在从驾驶员的视点起的相当精确的位置输出信息，因为可以利用输入图像计算数据输出区域。识别单元130可被配置成利用保存在数据库140中的与标记相关的信息，确定标记信息。此外，数据库140可被配置成保存当分析单元120分析时使用的信息，并且可被实现成图3中所示。
参见图3，数据库140可以设置有多个字段，在所述多个字段中，可以设置各个标志。换句话说，所述多个字段可包括其中记录固有信息的ID KEY字段141，其中记录表1的优先级信息的优先级字段142，显示虚拟信息的显示窗口(或者显示消息)的窗口高度字段143和窗口宽度字段144，分析单元120被配置成分析的坐标位置_X字段145，分析单元120被配置成分析的坐标位置_Y字段146，透射率字段147和记录重写的字段148。
图像匹配单元150可被配置成匹配利用驾驶员的视线信息，向驾驶员显示的挡风玻璃平视显示器(下面称为“HUD”)的区域和输入图像。图像匹配单元150可被配置成把具体体现增强现实的虚拟信息合成到输入图像中。换句话说，图像匹配单元150可被配置成把与识别单元130在分析单元120确定的位置判定的标记信息相应的增强现实屏幕输出给显示单元160。
显示单元160可被配置成输出增强现实屏幕，在所述增强现实屏幕中，可在其中图像匹配单元150生成实际图像的合成图像的位置，显示匹配的虚拟信息。显示单元160可用透明显示器形成，并可被配置成透过经前玻璃窗进入的光，可被配置成把光传向驾驶员。如图2中所示，为了向驾驶员同时显示透过前玻璃窗的实际景色和虚拟信息，显示单元160可沿着驾驶员的视线方向，布置在正面。
图4图解说明按照本发明的例证实施例的例证增强现实屏幕。参见图4，例证的增强现实屏幕170可包括标记信息显示区域171，和信息量相当小的区域173和175(例如，显示区域明显小于其它显示区域)。特别地，在其中信息量最少的区域175中，可以显示对应于标记信息的虚拟信息。
下面说明增强现实提供设备100的操作。
图5是图解说明按照本发明的例证实施例的提供增强现实的方法的例证流程图，图6是图解说明按照本发明的另一个例证实施例的提供增强现实的方法的例证流程图，图7图解说明按照本发明的例证实施例，在驾驶员的视野中看到的挡风玻璃的例证HUD区域，图8图解说明按照本发明的例证实施例，借助成像装置获得的例证输入图像，图9图解说明按照本发明的例证实施例，分成子块的例证图像，图10图解说明按照本发明的例证实施例，基于子块的例证边缘和距离计算，图11图解说明按照本发明的例证实施例，考虑到驾驶员的视野安全性的例证道路范围随机遮蔽区域，图12图解说明按照本发明的例证实施例的例证积分图像。特别地，图1-4的结构中的相同元件用相同的附图标记表示。
首先参见图5，图像匹配单元150可被配置成利用驾驶员的视线信息，向驾驶员显示的挡风玻璃HUD的区域和图像输入单元110获得的输入图像(S101)。特别地，图7中表示了挡风玻璃HUD的区域，匹配时的挡风玻璃HUD的区域如图8中所示。
识别单元130可被配置成判定待显示的标记信息是否包含在由图像输入单元110输入的输入图像中(S103)。当标记信息包含在输入图像中时，分析单元120可被配置成把在步骤S101匹配的图像分成确定大小的子块，如图9中所示(S105)。特别地，可以不同地选择子块的大小。
之后，分析单元120可被配置成把在步骤S105划分的每个子块形成二进制码，如图10中所示，利用图像处理获得边缘，并计数每个块的边缘的数目(S107)。另外，分析单元120可被配置成由使用激光雷达传感器(未示出)获得的距离信息，计算基于子块的平均距离(S109)。特别地，激光雷达传感器可被配置成利用激光信号，获得相当精确的三维距离。可假定由激光雷达传感器(未示出)获得的距离信息已预先获得。
此外，分析单元120可被配置成对基于子块的边缘的数目进行归一化(S111)。换句话说，分析单元120可被配置成获得并对基于子块的距离值的倒数进行归一化。之后，分析单元120可被配置成利用距离值和在步骤S111归一化的基于子块的边缘值，如式1地计算基于块的信息量(S113)。
式1
Ib＝(a×Iedge)+(b×Idist)+(c×Imask)
其中Ib是信息量，Iedge是块的边缘量，Idist是块的距离信息量，Imask是掩蔽区域，a、b和c是系数。
另外，分析单元120可被配置成根据在步骤S113计算的信息量，产生积分图像，如图12A中所示(S115)。特别地，显示虚拟信息的显示窗口的大小可以利用保存在数据库140的窗口的大小。换句话说，显示窗口的大小参照保存在窗口高度字段143和窗口宽度字段144的标志。此外，当在数据库140未保存显示窗口的大小时，可以使用呈现的窗口的大小。
此外，如图12B中所示，分析单元120可被配置成在积分图像中，利用窗口大小作为搜索单位，搜索信息量第一小(例如，最小量或者第一最少量)的位置(S117)。显示单元160可被配置成在分析单元120在步骤S117找到的信息量第一小的位置，输出虚拟信息显示窗口(S119)。在这种情况下，步骤S119可被细分，如图6中所示。
参见图6，分析单元120可被配置成判定是否已在找到的位置，输出了虚拟信息显示窗口(S201)。当还未在找到的位置，输出虚拟信息显示窗口时，那么分析单元120可被配置成在找到的位置，输出虚拟信息显示窗口(S203)。当已在找到的位置，输出虚拟信息显示窗口时，分析单元120可被配置成判定是否已在信息量第二小(例如，第二最小量或者第二最少量)的位置，或者在其中分析单元120提取和保存信息的候选位置字段145和146中列出的位置输出了虚拟信息显示窗口(S205)。
另外，当虚拟信息显示窗口未被输出时，分析单元120可被配置成在信息量第二小的位置，或者在候选位置输出虚拟信息显示窗口(S207)。当已输出虚拟信息显示窗口时，分析单元120可被配置成按照在保存在数据库140的优先级字段142列出的表1的优先级信息，判定是否输出虚拟信息显示窗口(S209)。
特别地，分析单元120可被配置成判定在所确定的位置，是否存在输出空间(S211)。当输出空间存在时，分析单元120可被配置成在输出空间，输出虚拟信息显示窗口(S213)。当输出空间不存在时，分析单元120可被配置成判定在保存在数据库140的重写字段148列出的重写是否可用(S215)。换句话说，分析单元120可被配置成判定在重写字段148是否列出‘OFF’标志。
具体地，当在重写字段148未列出‘OFF’标志时，分析单元120可被配置成在优先级比待输出的虚拟信息显示窗口的优先级低的已输出的虚拟信息显示窗口，输出虚拟信息(S217)。特别地，分析单元120可被配置成搜索输出空间的周边，并在信息量最小的区域中显示虚拟信息。当在重写字段148列出‘OFF’标志时，即使当已输出的虚拟信息显示窗口具有较低的优先级(例如，低于预定阈值)时，也不会在已输出的虚拟信息显示窗口显示虚拟信息，从而步骤被终止。特别地，在重写字段148列出‘OFF’标志的位置可以是随机掩蔽的区域200，即，驾驶员的前方视野区域，如图11中所示。
本发明的上述例证实施例不仅可通过设备和/或方法实现，而且可通过执行与本发明的例证实施例的结构对应的功能的程序，或者通过记录有所述程序的记录介质实现。
尽管结合例证实施例说明了本发明，不过显然本发明并不局限于公开的实施例，相反，本发明意图覆盖包含在附随的权利要求书的精神和范围内的各种修改和等同安排。

Claims (14)

1.一种安装在车辆内的增强现实提供设备的增强现实提供方法，包括：
由控制器，匹配挡风玻璃的平视显示器区域和输入图像；
由所述控制器，把匹配图像中信息量最小的区域确定为显示虚拟信息的显示窗口的位置；和
由所述控制器，在所确定的位置输出虚拟信息。
2.按照权利要求1所述的方法，其中区域的确定包括：
由所述控制器判定在匹配图像中是否包括与虚拟信息相关的标记；
当在匹配图像中包括所述标记时，由所述控制器把匹配图像中能够显示虚拟信息的区域分成多个子块；
由所述控制器，基于所述多个子块计算信息量；
由所述控制器，基于所述多个子块搜索信息量最小的位置；和
由所述控制器，把信息量最小的位置确定为显示窗口的位置。
3.按照权利要求2所述的方法，其中信息量的计算包括：
由所述控制器，基于所述多个子块获得所包含的边缘；
由所述控制器，计数边缘的数目；
由所述控制器，基于所述多个子块计算平均距离；
由所述控制器，对边缘的数目进行归一化；和
由所述控制器，利用计算的平均距离和归一化的边缘的数目，基于子块计算信息量。
4.按照权利要求3所述的方法，其中位置的搜索包括：
由所述控制器，基于所述信息量生成积分图像；和
由所述控制器，在所述积分图像中利用窗口大小作为搜索单位，搜索信息量第一小的位置。
5.按照权利要求4所述的方法，其中虚拟信息的输出包括：
当在信息量第一小的位置，存在已输出的虚拟信息显示窗口时，由控制器在信息量第二小的位置输出虚拟信息；
当在信息量第二小的位置，存在已输出的虚拟信息显示窗口时，由所述控制器按照先前定义的显示信息的优先级，判定是否输出虚拟信息显示窗口；
由所述控制器，判定在所确定的位置是否存在输出空间；
当存在输出空间时，由所述控制器在所述输出空间输出按照优先级的虚拟信息显示窗口；和
当所述输出空间不存在时，由所述控制器搜索周边，并在其中信息量最小的区域中，在优先级低于预定阈值的已输出的虚拟信息显示窗口上，输出按照优先级的虚拟信息显示窗口。
6.按照权利要求5所述的方法，其中在已输出的虚拟信息显示窗口上，输出按照优先级的虚拟信息显示窗口的步骤包括：
由所述控制器判定在信息量最小的区域中，在重写字段中是否列出‘OFF’标志；
当在重写字段中，未列出‘OFF’标志时，由所述控制器在信息量最小的区域中，在优先级低于预定阈值的已输出的虚拟信息显示窗口上，输出按照所述优先级的虚拟信息显示窗口。
7.一种安装在车辆内的增强现实提供设备，包括：
控制器，所述控制器被配置成：
利用成像装置，捕获位于驾驶员的前方的输入图像；
匹配所述输入图像和挡风玻璃的平视显示器区域；
判定在匹配的图像中，是否检测到标记；
当检测到标记时，把匹配图像中信息量最小的区域确定为显示与所述标记对应的虚拟信息的显示窗口的位置；和
输出增强现实屏幕，在所述增强现实屏幕中，在所确定的位置显示虚拟信息。
8.按照权利要求7所述的增强现实提供设备，其中所述控制器被进一步配置成：
把匹配图像中显示虚拟信息的区域划分成多个子块；
基于所述多个子块计算信息量；和
把所述多个子块中信息量最小的位置确定为显示虚拟信息的位置。
9.按照权利要求8所述的增强现实提供设备，其中所述控制器被进一步配置成：
基于所述多个子块，对包含的边缘的数目进行归一化；
基于子块及子块平均距离计算信息量；和
基于所述信息量，在生成的积分图像中，利用窗口的大小作为搜索单位，搜索信息量第一小的位置。
10.按照权利要求9所述的增强现实提供设备，其中所述控制器被进一步配置成：
当在信息量第一小的位置，存在已输出的虚拟信息显示窗口时，在信息量第二小的位置，输出虚拟信息；
当在信息量第二小的位置，存在已输出的虚拟信息显示窗口时，按照先前定义的显示信息的优先级，判定是否输出显示窗口；和
当不存在输出空间时，搜索周边，并在信息量最小的区域中，在优先级低于预定阈值的已输出的虚拟信息显示窗口上，输出按照所述优先级的虚拟信息显示窗口。
11.一种包含由控制器执行的程序指令的非临时性计算机可读介质，所述计算机可读介质包括：
控制成像装置捕获位于驾驶员前方的输入图像的程序指令；
匹配输入图像和挡风玻璃的平视显示器区域的程序指令；
判定在匹配的图像中，是否检测到标记的程序指令；
当检测到标记时，把匹配图像中信息量最小的区域确定为显示与所述标记对应的虚拟信息的显示窗口的位置的程序指令；和
输出增强现实屏幕的程序指令，在所述增强现实屏幕中，在所确定的位置显示虚拟信息。
12.按照权利要求11所述的非临时性计算机可读介质，还包括：
把匹配图像中显示虚拟信息的区域划分成多个子块的程序指令；
基于所述多个子块计算信息量的程序指令；和
把所述多个子块中信息量最小的位置确定为显示虚拟信息的位置的程序指令。
13.按照权利要求12所述的非临时性计算机可读介质，还包括：
基于所述多个子块，对包含的边缘的数目进行归一化的程序指令；
基于子块及子块平均距离计算信息量的程序指令；和
基于信息量，在生成的积分图像中，利用窗口的大小作为搜索单位，搜索信息量第一小的位置的程序指令。
14.按照权利要求13所述的非临时性计算机可读介质，还包括：
当在信息量第一小的位置，存在已输出的虚拟信息显示窗口时，在信息量第二小的位置，输出虚拟信息的程序指令；
当在信息量第二小的位置，存在已输出的虚拟信息显示窗口时，按照先前定义的显示信息的优先级，判定是否输出显示窗口的程序指令；和
当不存在输出空间时，搜索周边，并在信息量最小的区域中，在优先级低于预定阈值的已输出的虚拟信息显示窗口上，输出按照所述优先级的虚拟信息显示窗口的程序指令。
CN201310560086.9A 2012-12-05 2013-11-12 提供增强现实的方法和设备 Active CN103847640B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0140586 2012-12-05
KR1020120140586A KR101360061B1 (ko) 2012-12-05 2012-12-05 증강 현실 제공 방법 및 그 장치

Publications (2)

Publication Number Publication Date
CN103847640A true CN103847640A (zh) 2014-06-11
CN103847640B CN103847640B (zh) 2017-06-13

Family

ID=50270235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310560086.9A Active CN103847640B (zh) 2012-12-05 2013-11-12 提供增强现实的方法和设备

Country Status (4)

Country Link
US (1) US9336630B2 (zh)
KR (1) KR101360061B1 (zh)
CN (1) CN103847640B (zh)
DE (1) DE102013222322B4 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104833366A (zh) * 2015-03-30 2015-08-12 北汽福田汽车股份有限公司 虚拟车引领式导航控制装置、控制方法、***及车辆
CN106853799A (zh) * 2015-12-08 2017-06-16 通用汽车环球科技运作有限责任公司 全息波导平视显示器侧景显示
CN107004303A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 混合现实可视化和方法
CN107408314A (zh) * 2015-01-20 2017-11-28 微软技术许可有限责任公司 混合现实***
CN108022306A (zh) * 2017-12-30 2018-05-11 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN108995590A (zh) * 2018-07-26 2018-12-14 广州小鹏汽车科技有限公司 一种人车互动方法、***及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613459B2 (en) * 2013-12-19 2017-04-04 Honda Motor Co., Ltd. System and method for in-vehicle interaction
US9168869B1 (en) 2014-12-29 2015-10-27 Sami Yaseen Kamal Vehicle with a multi-function auxiliary control system and heads-up display
US10482661B2 (en) 2016-03-01 2019-11-19 International Business Machines Corporation Displaying of augmented reality objects
KR102427854B1 (ko) * 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
KR20220036456A (ko) * 2020-09-15 2022-03-23 현대자동차주식회사 증강현실 기반의 정보 표시 장치
JP7413981B2 (ja) * 2020-11-10 2024-01-16 トヨタ自動車株式会社 車両用表示制御装置、加速度表示方法及びプログラム
US11855831B1 (en) 2022-06-10 2023-12-26 T-Mobile Usa, Inc. Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010143520A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 車載用表示システム及び表示方法
US20100253542A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Point of interest location marking on full windshield head-up display
WO2012029941A1 (ja) * 2010-09-03 2012-03-08 矢崎総業株式会社 車両用表示装置及び車両用表示システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119147A (ja) * 1997-10-14 1999-04-30 Asahi Optical Co Ltd ヘッドアップディスプレイ
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
KR100586818B1 (ko) * 2004-02-18 2006-06-08 한국과학기술원 증강현실 기술을 이용하는 두부장착 디스플레이 장치
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
KR101152919B1 (ko) 2008-02-13 2012-06-05 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치
DE102008054041B3 (de) 2008-10-31 2010-06-10 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
JP5346650B2 (ja) 2009-03-31 2013-11-20 株式会社エクォス・リサーチ 情報表示装置
KR101085762B1 (ko) 2009-07-02 2011-11-21 삼성에스디에스 주식회사 증강현실을 이용한 주얼리 착용 모습 디스플레이 장치 및 방법
WO2011015843A2 (en) * 2009-08-07 2011-02-10 Light Blue Optics Ltd Head up displays
KR101047615B1 (ko) * 2009-11-02 2011-07-07 삼성에스디에스 주식회사 해상도 차이를 이용한 증강현실 정합 시스템 및 방법
KR101083408B1 (ko) 2010-01-18 2011-11-14 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR101227255B1 (ko) 2010-03-17 2013-01-28 에스케이플래닛 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR101131983B1 (ko) * 2010-07-28 2012-03-29 안희경 차량속도에 따라 가상 영상정보 이미지의 투영위치를 변화시키는 차량용 헤드업 디스플레이 장치
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
JP5919658B2 (ja) 2011-06-21 2016-05-18 三浦工業株式会社 薬剤包装体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010143520A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 車載用表示システム及び表示方法
US20100253542A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Point of interest location marking on full windshield head-up display
WO2012029941A1 (ja) * 2010-09-03 2012-03-08 矢崎総業株式会社 車両用表示装置及び車両用表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BLAINE BELL ETC.: "View Management for Virtual and Augmented Reality", 《UIST 2001(ACM SYMP .ON USER INTERFACE SOFTWARE AND TECHNOLOGY)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004303A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 混合现实可视化和方法
CN107408314A (zh) * 2015-01-20 2017-11-28 微软技术许可有限责任公司 混合现实***
CN107408314B (zh) * 2015-01-20 2022-01-25 微软技术许可有限责任公司 混合现实***
CN104833366A (zh) * 2015-03-30 2015-08-12 北汽福田汽车股份有限公司 虚拟车引领式导航控制装置、控制方法、***及车辆
CN104833366B (zh) * 2015-03-30 2017-07-11 北汽福田汽车股份有限公司 虚拟车引领式导航控制装置、控制方法、***及车辆
CN106853799A (zh) * 2015-12-08 2017-06-16 通用汽车环球科技运作有限责任公司 全息波导平视显示器侧景显示
CN108022306A (zh) * 2017-12-30 2018-05-11 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN108022306B (zh) * 2017-12-30 2021-09-21 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN108995590A (zh) * 2018-07-26 2018-12-14 广州小鹏汽车科技有限公司 一种人车互动方法、***及装置

Also Published As

Publication number Publication date
US9336630B2 (en) 2016-05-10
DE102013222322B4 (de) 2022-01-20
KR101360061B1 (ko) 2014-02-12
US20140152697A1 (en) 2014-06-05
CN103847640B (zh) 2017-06-13
DE102013222322A1 (de) 2014-06-05

Similar Documents

Publication Publication Date Title
CN103847640A (zh) 提供增强现实的方法和设备
CN108021862B (zh) 道路标志识别
CN106980813B (zh) 机器学习的注视生成
CN108509832B (zh) 用于产生虚拟车道的方法和装置
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
US10984557B2 (en) Camera calibration using traffic sign recognition
CN110443225B (zh) 一种基于特征像素统计的虚实车道线识别方法及其装置
CN103105174B (zh) 一种基于ar增强现实技术的车载实景安全导航方法
CN110796007B (zh) 场景识别的方法与计算设备
US9542605B2 (en) State recognition system and state recognition method
CN112084232B (zh) 基于目标他车视野信息的车辆行驶风险评估方法及装置
CN107516064A (zh) 使用环绕摄像机***的并行场景基元检测
CN110738081B (zh) 异常路况检测方法及装置
KR20100096757A (ko) 주차 제어 방법 및 그 장치
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN108509891A (zh) 图像标注方法、装置、存储介质及电子设备
CN117726996A (zh) 交通要素检测方法、装置、设备、介质及产品
CN113989772A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质
CN113673403A (zh) 行驶环境检测方法、***、装置、计算机设备、计算机可读存储介质及汽车
CN110727269B (zh) 车辆控制方法及相关产品
CN114430843A (zh) 语义辅助的多分辨率点云配准
CN114359233B (zh) 图像分割模型训练方法、装置、电子设备及可读存储介质
CN110198439A (zh) 用于自动测试adas相机的图像识别性能的方法和装置
CN114626472A (zh) 基于机器学习的辅助驾驶方法、装置和计算机可读介质
CN111661054B (zh) 车辆控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant