CN111751993B - 显示***及显示装置 - Google Patents

Abstract

本发明的显示***及显示装置基于包含三个以上的节点(N1～N5)的路径区间内的节点(N1～N5)的位置关系，判断该路径区间是否为直线区间，针对判断为是直线区间的路径区间，以将连结路径区间的开始节点和结束节点的直线(L1、L2)作为AR路径的方式形成AR路径并进行显示。

Description

显示***及显示装置

技术领域

本发明涉及例如用于车载用途的显示***及显示装置。

背景技术

作为显示装置，已知有平视显示器(Head-up Display，以下也标记为HUD)。HUD能够将图像投影到透光性的显示介质，将该图像以在透过显示介质看到的视景上重叠的方式对用户进行提示，来实现AR(Augmented Reality，增强现实)。

而且，在车载用的HUD中，有的将辅助驾驶的信息等，在风挡的前方作为看起来与现实的景色重叠的虚像，对驾驶员进行提示。例如在专利文献1、2等中记载有这种显示装置。

在车载用的HUD之中，有的将AR路径作为虚像来显示。例如在专利文献3等中记载有关于AR路径显示的内容。AR路径是以如下方式显示的：将驾驶员应前进的方向在道路上以带状显示。

现有技术文献

专利文献

专利文献1：日本特开平7-257228号公报

专利文献2：日本特开2018-045103号公报

专利文献3：日本特开2018-140714号公报

发明内容

发明要解决的问题

然而，实际上，AR(Augmented Reality，增强现实)路径是使用导航***的地图信息制成的。具体而言，首先，导航***检索到目的地为止的路径，从地图信息中包含的道路坐标(节点、路段)之中选择与该路径对应的坐标(节点、路段)。于是，显示装置基于所选择的节点、路段的信息形成AR路径，并将所形成的AR路径作为虚像投影于挡风玻璃。

在此，节点、路段的坐标例如是交叉路口的坐标或形状插值坐标之类的特征点的坐标，换言之，是不连续的坐标。这样，AR路径是使用不连续的坐标形成的，因此存在以下问题等：(1)尽管是直线道路，但路径显示看起来有弯折；(2)弯道处的路径显示看起来是折线。

例如在专用的小型显示器上显示路径的导航画面中，路径的弯折等给驾驶员带来不协调感的可能性较小，但AR路径显示在驾驶员的驾驶视野上，因此不自然的弯折等会给驾驶员带来不协调感。也就是说，在AR路径的显示中，AR路径若不切合于本车预定要行驶的路径的形状，则会给驾驶员带来明显的不协调感。

本发明是考虑以上的问题而完成的，提供能够显示切合于本车预定要行驶的路径的形状的、没有不协调感的AR路径的显示***及显示装置。

解决问题的方案

本发明的显示***的一个形态用于以在从用户角度看到的实像上重叠的方式显示作为虚像的AR路径，该显示***具备：

AR路径形成部，形成所述AR路径；以及

显示部，使所述AR路径作为虚像显示，

所述AR路径形成部基于包含三个以上的节点的路径区间内的节点的位置关系，判断所述路径区间是否为直线区间，并且

针对判断为是直线区间的路径区间，以将连结所述路径区间的开始节点和结束节点的直线作为所述AR路径的方式形成所述AR路径。

发明效果

根据本发明，能够显示切合于本车预定要行驶的路径的形状的、没有不协调感的AR路径。

附图说明

图1是表示实施方式的显示装置搭载于车辆的例子的图。

图2是表示由实施方式中的显示装置投射光的区域的一例的图。

图3是表示以在前方视景上重叠的方式显示虚像的一例的图。

图4是表示显示装置的结构例的框图。

图5A～图5C是用于说明实施方式的AR路径的形成的图。

图6是表示未适用实施方式的直线修正处理的情况下的AR路径的显示例的图。

图7是表示适用了实施方式的直线修正处理的情况下的AR路径的显示例的图。

图8是表示实施方式的AR路径的直线修正处理的流程的流程图。

图9是表示实施方式的曲线插值的例子的图。

图10是表示未适用实施方式的曲线插值处理的情况下的AR路径的显示例的图。

图11是表示适用了实施方式的曲线插值处理的情况下的AR路径的显示例的图。

图12A、图12B是用于说明以往进行的AR路径显示的图，图12A是表示节点位置的图，图12B是表示AR路径的图。

图13A、图13B是用于说明实施方式的AR路径显示的图，图13A是表示节点位置的移位的图，图13B是表示移位后的AR路径的图。

图14A是表示未使AR路径移位的例子的图，图14B是表示适用了实施方式的AR路径的移位处理的例子的图。

附图标记说明

100 显示装置

101 地图信息获取部

102 位置检测部

103 雷达

104 车辆行动检测部

105 视点检测部

110 图像形成部

111 AR路径形成部

120 显示控制部

130 HUD(平视显示器)

200 车辆

210 风挡

220 仪表盘

N1、N2、N3、N4、N5 节点

h2、h3、h4 距离

L0、L1、L2 直线

L10 曲线

Vi 虚像

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

<1>显示装置的概略结构

图1是表示本发明的实施方式的显示装置100搭载于车辆200的例子的图。

本实施方式中的显示装置100体现为车载用的平视显示器(HUD)。显示装置100安装于车辆200的仪表盘220的上表面附近。

显示装置100将光投射于风挡(也被称为“挡风玻璃”)210中的、处于由单点划线所示的驾驶员的视野内的区域D10。所投射的光的一部分从风挡210透射，而另一部分被风挡210反射。该反射光朝向驾驶员的眼睛。驾驶员以透过风挡210看到的实际存在的物体为背景，将映入眼中的该反射光作为虚像Vi感知，该虚像Vi是看起来如同隔着风挡210而处于相反侧(车辆200的外侧)的物体的像的虚像。

图2是表示由本实施方式中的显示装置100投射光的区域即区域D10的一例的图。

区域D10例如像图2中虚线所围成的区域所示那样，位于风挡210的驾驶座侧的靠下的位置。安装于仪表盘220的显示装置100如图1所示那样将光投射到区域D10，从而将图像投影于风挡210。由此，生成从驾驶员的角度来看如同处于车辆200的外侧的物体的像的虚像Vi。

此外，根据其在区域D10内的上下位置的不同，投影到风挡210的图像能够在虚像Vi中被感知为距驾驶员的距离不同的像。例如在图1及图2的例子中，区域D10位于比驾驶员的眼睛的高度更靠下的位置，所以在区域D10中处于较低的位置的图像在虚像Vi中作为处于距驾驶员较近的位置的图像而被感知，在投影到区域D10中的图像内处于较高的位置的图像在虚像Vi中作为处于距驾驶员较远的位置的图像而被感知。可通过一种几何学意义上的透视法(纵透视法)来解释如上述那样被感知的原理。

图3是表示由本实施方式中的显示装置100生成的虚像的一例、以及该虚像与行驶中的车辆200的驾驶员看到的车辆200前方的景色的重叠的一例的图。

图3整体示意性地表示驾驶车辆200的过程中的驾驶员(未图示)的视野内的景色的一部分。但是，表示被显示装置100投影图像的区域D10的虚线框是为了便于本实施方式的说明而示出的，其并非实际存在而会被驾驶员感知的虚线框。附图标记200所表示的是作为车辆200的一部分的引擎盖。另外，附有附图标记V10的箭头的像，是作为由显示装置100生成并被驾驶员感知的虚像Vi的例子的AR(Augmented Reality，增强现实)路径。

如图3所示，作为虚像的AR路径V10以与驾驶员的视野内实际看到的景色重叠的方式显示。实际上，AR路径V10以重叠在道路上的方式显示。由此，驾驶员以在AR路径V10所示的带状的区域上行驶的方式被引导。

图4是表示显示装置100的结构例的框图。

显示装置100具有：地图信息获取部101、位置检测部102、雷达103、车辆行动检测部104、视点检测部105、图像形成部110、显示控制部120及HUD130。

地图信息获取部101获取地图信息，该地图信息包含以绝对坐标系的坐标表示地形或道路形状等的信息。由地图信息获取部101获取的地图信息既可以是存储于在车辆200中搭载的地图信息存储介质的地图信息，也可以是通过与外部装置的通信获取的地图信息。在本实施方式中，地图信息获取部101是导航***，获取从当前地点到目的地为止的路径。地图信息获取部101将地图信息及路径信息输出至图像形成部110。

位置检测部102体现为GPS接收器、陀螺仪、车速传感器等，对本车(车辆200)的当前地点进行检测。

雷达103向本车(车辆200)的前方区域发送电波或激光，并接收其反射波，来检测对象物的有无或距对象物的距离。此外，显示装置100为了检测周边区域的对象物，也可以除了雷达103以外还具备摄像机或红外线传感器等其他的检测装置。

车辆行动检测部104体现为陀螺仪、悬架行程传感器、车高传感器、车速传感器、加速度传感器等，对表示车辆的行动的物理量进行检测。

视点检测部105例如通过红外线摄像机拍摄驾驶员的眼睛，对拍摄到的眼睛的图像进行图像处理，从而测量车辆坐标系中的驾驶员的眼睛的位置的坐标。视点检测部105的检测结果被输出至显示控制部120。

图像形成部110基于来自地图信息获取部101、位置检测部102、雷达103及车辆行动检测部104的输入信号，形成成为虚像Vi的基础的图像。图像形成部110中包括AR路径形成部111。AR路径形成部111基于来自地图信息获取部101及位置检测部102的输入信号，形成成为作为虚像的AR路径的基础的图像。

显示控制部120基于由图像形成部110形成的图像和视点信息，对构成HUD130的光源部、扫描部、屏幕驱动部等进行控制，从而在风挡的区域D10中显示虚像Vi。

<2>AR路径的形成

在对本实施方式的特征性的AR路径的形成处理进行说明之前，对使用了地图信息的一般的路径形成进行说明。

此外，也可以是，CPU(Central Processing Unit，中央处理器)将存储于存储装置的程序复制到RAM(Random Access Memory，随机存取存储器)，并将该程序中包含的命令从RAM依次读出并执行，来实现以下叙述的AR路径形成部111的功能。换言之，以下叙述的AR路径形成部111的处理也可以通过程序实现。

AR路径形成部111从地图信息获取部101输入道路地图数据。道路地图数据中，表示道路区间的最小单位被称为“路段”。即，各道路由按每个规定的道路区间设定的多个路段构成。将路段彼此连接的点被称为“节点”，该节点分别具有位置信息(坐标信息)。另外，在路段内，在节点与节点之间有时也设定有被称为“形状插值点”的点。形状插值点也与节点相同地分别具有位置信息(坐标信息)。由该节点和形状插值点的位置信息来决定路段形状、即道路的形状。

节点是交叉路口、分支地点、合流地点等，AR路径形成部111将该交叉路口、分支地点、合流地点等的坐标信息作为节点的信息输入。另外，如上述那样，还输入形状插值点的坐标信息。

各路段的属性信息包括：表示路段的长度的路段长度、路段的形状信息、路段的始端节点坐标及终端节点坐标(纬度、经度)、道路名称、道路类别、道路宽度、道路属性、单行属性、车道数量、右转/左转专用车道的有无及该专用车道的数量等各数据。

接着，对由本实施方式的AR路径形成部111进行的AR路径的形成处理进行说明。上述那样的表示本车的行驶路径的节点及路段的信息被输入至AR路径形成部111。

<2-1>直线的修正

图5A～图5C是用于说明本实施方式的AR路径的形成的图。图中的附图标记N1～N5表示路径区间内的节点。由此，在以往的AR路径的形成处理中，形成按N1→N2→N3→N4→N5依次连上的AR路径。

相对于此，在本实施方式的AR路径的形成处理中，首先，判断N1～N5的区间是否为直线区间，在判断为是直线区间的情况下，以将连结区间的开始节点N1和结束节点N5的直线L0作为AR路径的方式形成AR路径并进行显示。相对于此，在判断为不是直线区间的情况下，进行后述的分割处理或弯道修正处理。

具体地进行说明。在本实施方式的AR路径的形成处理中，首先，如图5A所示，形成连结作为判断是否为直线区间的判断对象的路径区间内的区间开始节点N1和区间结束节点N5的直线L0。

接着，计算直线L0与路径区间内包含的其他节点N2、N3、N4之间的距离h2、h3、h4。

接着，AR路径形成部111将距离h2、h3、h4与规定的阈值进行比较。在距离h2、h3、h4均为阈值以下的情况下，AR路径形成部111将节点N1～N5的区间以一条直线L0连结而制成AR路径。相对于此，当在距离h2、h3、h4之中包含比阈值大的距离的情况下，AR路径形成部111以距离最大的节点为分割点将路径区间分割。在图5A～图5C所示的例子的情况下，距节点N3的距离h3最大，因此以节点N3为分割点将路径区间分割。

接着，如图5B所示，将分割点设为区间的结束点及开始点，与上述同样地，重复进行判断是否为直线区间的判断处理。具体而言，形成连结路径区间内的区间开始节点N1和区间结束节点N3的直线L1。同样地，形成连结路径区间内的区间开始节点N3和区间结束节点N5的直线L2。接着，计算直线L1与路径区间内包含的其他节点N2之间的距离h2。同样地，计算直线L2与路径区间内包含的其他节点N4之间的距离h4。接着，将距离h2与阈值进行比较。同样地，将距离h4与阈值进行比较。在图5A～图5C的例子中，距离h2比阈值小，因此如图5C所示，将节点N1～N3的区间以一条直线L1连结而制成AR路径。同样地，距离h4比阈值小，因此如图5C所示，将节点N3～N5的区间以一条直线L2连结而制成AR路径。

总之，本实施方式的直线的修正处理，是将未从连结区间的开始节点和结束节点的直线明显脱离的节点除去(忽略)，而制成直线的处理。通过上述构成，能够防止由节点的坐标的设定方式所引起的、不自然的AR路径的弯折。例如，能够防止以下这种不理想情况：尽管实际上是直线道路，但由于节点的坐标被设定为交叉路口中央位置的坐标，从而导致AR路径在每个交叉路口处都有一些弯折。

图6表示未适用本实施方式的直线修正处理的情况下的AR路径的显示例。根据该图可知，尽管是直线道路，但AR路径在交叉路口处有一些弯折。图7表示适用了本实施方式的直线修正处理的情况下的AR路径的显示例。根据该图可知，消除了交叉路口处的AR路径的弯折。

图8是表示本实施方式的AR路径的直线修正处理的流程的流程图。

AR路径形成部111首先在步骤S1中，计算连结开始节点和结束节点的直线与区间内包含的其他节点之间的距离h。也就是说，计算图5A的例子中的、连结区间开始节点N1和区间结束节点N5的直线L0与区间内包含的其他节点N2、N3、N4之间的距离h2、h3、h4。

AR路径形成部111在接下来的步骤S2中，计算是否所有距离h2、h3、h4均在阈值以内。当在步骤S2中得到了肯定结果的情况下(步骤S2：“是”)，转移至步骤S3，并将该区间判断为是直线区间而形成AR路径。也就是说，若是在图5A的例子的情况下，则将直线L0设为AR路径。

相对于此，当在步骤S2得到了否定结果的情况下(步骤S2：“否”)，转移至步骤S4，以距离h最大的节点为分割点将区间分割。也就是说，若是在图5B的例子的情况下，则以节点N3为分割点将路径区间分割。AR路径形成部111在步骤S4的处理之后，再次返回到步骤S1。该步骤S1的处理相当于计算图5B的例子中的距离h2、h4的处理。

这样，AR路径形成部111递归地重复步骤S1→S2→S4→S1的处理，直至在步骤S2中得到肯定结果为止，从而不断地将区间分割，直至不存在距离在阈值以上的节点。并且，在距离在阈值以上的节点不再存在时，将该区间判断为是直线区间并进行步骤S3的处理，以在直线区间内形成一条直线的AR路径。

<2-2>曲线插值

本实施方式的AR路径形成部111对判断为不是直线区间的路径区间进行曲线插值。

例如，对在进行了项目<2-1>中所说明的那样的直线的修正(也可以称为“直线的平滑化”)之后不是直线区间的区间，进行图9所示那样的曲线插值。在图9的例子中，直线L1与直线L2经由作为分割点的节点N3而弯折地连接，因此N1～N3～N5的区间不是直线区间。实际上，在多数情况下，N1～N3～N5的区间并不是弯折的道路，而是弯道。考虑到这点，AR路径形成部111通过对N1～N3～N5的区间进行曲线插值来形成曲线L10，并将该曲线L10作为AR路径输出。

这时，AR路径形成部111以该区间中包含的节点为控制点进行曲线插值。在图9的例子中，通过进行以节点N1、N3、N5为控制点的曲线插值，来形成曲线L10。

在此，节点不一定是以构成圆润的曲线的方式配置的，有时若以通过所有节点的方式进行曲线插值，则会成为存在变形的曲线形状。考虑到这点，在本实施方式中，通过进行基于B样条曲线的插值，来形成无变形的曲线L10。但是，曲线插值不限于基于B样条曲线的插值。

此外，在此，对以下情况进行了叙述，即，对在进行了项目<2-1>中所说明的那样的直线的修正之后不是直线区间的区间，进行曲线插值的情况，但不限于此，总而言之，只要对判断为不是直线区间的路径区间，以该区间中包含的节点为控制点进行曲线插值，并将曲线插值后的曲线作为AR路径来输出即可。

图10表示未适用本实施方式的曲线插值处理的情况下的AR路径的显示例。根据该图可知，尽管实际的道路是弯道，但AR路径成为折线。图11表示适用了本实施方式的曲线插值处理的情况下的AR路径的显示例。根据该图可知，能够显示由沿着弯道的曲线形状构成的AR路径。

<2-3>基于车道信息的AR路径的移位处理

如上所述，AR路径是基于道路地图数据中包含的节点和路段制成的。但是，节点和路段中包含的坐标信息为道路的中央位置的坐标的情况较多，所以若直接使用该信息来形成AR路径，则有时会显示存在不协调感的AR路径。尤其是，在交叉路口或分支地点等多个道路相交的位置，显示存在不协调感的AR路径的可能性较高。

考虑到这点，在本实施方式中，通过基于车道信息，将道路地图数据中包含的节点坐标向本车预定要行驶的车道侧移位，来形成AR路径。由此，能够基于车道信息，显示移位到本车行驶的车道侧的、没有不协调感的AR路径。顺便说明一下，AR路径是将节点连结而形成的，因此使节点坐标移位等于使AR路径移位。由此，在以下的记述中，也可以将“使节点坐标移位”替换为“使AR路径移位”，反之，也可以将“使AR路径移位”替换为“使节点坐标移位”。

图12A、图12B是用于说明以往进行的AR路径的显示的图。如图12A所示，设想本车在具有中心线的、单侧有一个车道的道路上行驶，并在前方的交叉路口右转的情况。这时，节点N1～N4的坐标被设为中心线上的坐标。

图12B是表示以图12A的节点N1～N4为基础形成并显示的AR路径的图。根据图12B可知，以往的AR路径中，开始点是与本车的行驶位置相匹配的，因此能以没有不协调感的方式对本车的前方进行显示，但通过交叉路口后的部分会处于中心线上。也就是说，AR路径从实际的预定要行驶的车道向中心线方向错开。

图13A、图13B是用于说明本实施方式的AR路径的显示的图。在本实施方式中，如图13A所示，通过使中心线上的节点N1、N2、N3、N4的坐标向本车预定要行驶的车道侧移位，来计算节点N1’、N2’、N3’、N4’，并使用该节点N1’、N2’、N3’、N4’形成AR路径并进行显示。

图13B是表示以图13A的节点N1’、N2’、N3’、N4’为基础形成，并被显示的AR路径的图。根据图13B可知，本实施方式的AR路径的通过交叉路口后的部分也显示于本车预定要行驶的车道上。由此，能够显示没有不协调感的AR路径。

在此，举出本实施方式的具体的AR路径的移位的例子。

在单侧有三个车道且预定要行驶的车道是最靠左的车道的情况下，使节点位置向本车的车道侧移位如下的量，即，[车道宽度(例如3.25m)×(车道数量(该例子中为3个)-0.5)]。该处理是与节点设定于中心线上的情况对应的处理。

这样，在本实施方式的AR路径的移位处理中，使设定于道路的中央的节点向本车预定要行驶的车道侧移位。在本实施方式中，使AR路径移位至本车预定要行驶的车道的中央位置。

接着，使用图14A、图14B，对本实施方式的AR路径的移位处理的效果进行说明。

图14A、图14B是表示在前方的交叉路口进行左转的情况下的AR路径显示的图。图14A表示未使AR路径移位的例子，图14B表示适用了本实施方式的AR路径的移位处理的例子。比较这些图可知，图14A的AR路径的通过交叉路口后的部分显示于并非本车预定要行驶的道路的中央位置附近，相对于此，图14B的AR路径中，通过交叉路口后的部分也会以没有不协调感的方式显示于本车预定要行驶的车道。

这样，若进行本实施方式的AR路径的移位处理，则即使交叉路口的节点位置从行驶车道的延长线上向左或向右错开地配置，也能够显示沿着预定要行驶的车道的、没有不协调感的AR路径。

<3>概括

如以上说明的那样，根据本实施方式，如项目<2-1>中所说明的那样，基于包含三个以上的节点的路径区间内的节点的位置关系，判断该路径区间是否为直线区间，针对判断为是直线区间的路径区间，以将连结路径区间的开始节点和结束节点的直线作为AR路径的方式形成AR路径并进行显示，从而消除尽管是直线道路但AR路径看起来有弯折这样的不理想情况，能够显示切合于本车预定要行驶的路径的形状的、没有不协调感的AR路径。

另外，如项目<2-2>中所说明的那样，针对判断为不是直线区间的路径区间，形成以该区间中包含的节点为控制点进行曲线插值后的形状的AR路径，从而能够显示更切合于本车预定要行驶的路径的形状的、没有不协调感的AR路径。

尤其是，即使是在路段间仅有微小的方位差异，从上方观察时可视为直线道路那样的情况下，在如AR路径显示那样，从倾斜角度观察路径的显示中，也会感觉看到了较大的角度。若进行上述的实施方式的直线修正或曲线插值，则能够有效地消除该问题。

上述实施方式不过是表示实施本发明的时候的具体化的一例，并非限定地解释本发明的技术的范围。即，本发明能够在不脱离其要旨或者其主要特征的范围内以各种形式实施。

在上述的实施方式中，针对将本发明的显示装置适用于车载用的HUD的情况进行了叙述，但不限于此，总而言之，本发明的显示装置能够广泛适用于以在从用户角度看到的实像上重叠的方式显示作为虚像的AR路径的显示***及装置。

工业实用性

本发明的显示***及显示装置例如适用于具备了车载用的HUD的***。

Claims (2)

1.一种显示***，用于以在从用户角度看到的实像上重叠的方式显示作为虚像的增强现实路径即AR路径，该显示***的特征在于，具备：

AR路径形成部，形成所述AR路径；以及

显示部，使所述AR路径作为虚像显示，

当在包含三个以上的节点的路径区间内，连结区间开始节点和区间结束节点的直线、与所述路径区间中包含的所有其他节点之间的距离为规定的阈值以下的情况下，所述AR路径形成部判断为所述路径区间是直线区间，并且

针对判断为是直线区间的路径区间，以将连结所述路径区间的开始节点和结束节点的直线作为所述AR路径的方式形成所述AR路径，

当在所述路径区间中包含的节点之中，存在与所述直线之间的距离比所述规定的阈值大的节点的情况下，所述AR路径形成部以该距离最大的节点为分割点将所述路径区间分割，并形成以该区间中包含的节点为控制点进行曲线插值后的形状的所述AR路径。

2.一种显示装置，是将光投影到风挡以使驾驶员目视确认虚像的显示装置，其特征在于，具备权利要求1所述的显示***。

Images