CN115097628B - 一种行车信息显示方法、装置及*** - Google Patents
一种行车信息显示方法、装置及*** Download PDFInfo
- Publication number
- CN115097628B CN115097628B CN202210723101.6A CN202210723101A CN115097628B CN 115097628 B CN115097628 B CN 115097628B CN 202210723101 A CN202210723101 A CN 202210723101A CN 115097628 B CN115097628 B CN 115097628B
- Authority
- CN
- China
- Prior art keywords
- information
- coordinate system
- glasses
- type
- driving information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000011521 glass Substances 0.000 claims abstract description 261
- 230000003287 optical effect Effects 0.000 claims abstract description 86
- 239000011159 matrix material Substances 0.000 claims description 130
- 230000009466 transformation Effects 0.000 claims description 91
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims description 62
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims description 62
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims description 62
- 210000003128 head Anatomy 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 17
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100001674 Emericella variicolor andI gene Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Instrument Panels (AREA)
Abstract
本发明提供了一种行车信息显示方法、装置及***，行车信息显示方法包括：获取与目标行车信息相关的行车数据，目标行车信息为待显示的行车信息；基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面；将显示界面发送至AR眼镜进行显示。由于本发明提供的行车信息显示方法将包含行车信息的显示界面发送至AR眼镜显示，而不是基于光机***将行车信息显示在前挡风玻璃上，因此，不再需要光机***，即不需要在前挡风玻璃下布置大体积的光机***，改善了驾驶舱前方空间拥挤的情况，由于AR眼镜采用混合波导技术，其可以提供50°以上的视场角，因此，使显示界面可以更丰富、更清晰，用户体验更好。
Description
技术领域
本发明涉及信息显示技术领域，尤其涉及一种行车信息显示方法、装置及***。
背景技术
抬头显示器(Head Up Display，HUD)，又称平视显示器，是一种把时速、导航等重要的行车信息投影到汽车前挡风玻璃上，让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要行车信息的***。
增强现实-抬头显示器(Augmented Reality-Head Up Display，AR-HUD)***，利用AR技术将虚像信息和现实路况实时信息进行叠加，让驾驶员能更直接获取行车信息的***。例如，将AR-HUD应用在导航中，可将虚像的导航指示信息直接叠加到现实道路上。AR技术的出现，使得HUD的使用范围更加丰富，能更加有效的提高驾驶安全性。
目前的AR-HUD***主要采用前装模式固定在汽车前挡风玻璃下方，通过前挡风玻璃将画面通过反射投射到驾驶员的眼睛中。然而，基于汽车前挡风玻璃显示的前装式AR-HUD***存在诸多问题：显示的画面尺寸较小；画面清晰度和亮度不高，容易存在重影问题；光机结构对车内空间占用较大。
发明内容
有鉴于此，本发明提供了一种行车信息显示方法、装置及***，用以解决现有的基于汽车前挡风玻璃显示的前装式AR-HUD***存在的问题，其技术方案如下：
一种行车信息显示方法，包括：
获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息；
基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面；
将所述显示界面发送至增强现实AR眼镜进行显示。
可选的，所述获取与目标行车信息相关的行车数据，包括：
从车辆上设置的高级驾驶辅助***ADAS获取行车环境数据报文，和/或，从所述车辆获取车身数据报文和/或导航数据报文；
从获取的报文中筛选出与所述目标行车信息相关的报文；
从筛选出的报文中解析出与所述目标行车信息相关的行车数据。
可选的，所述目标行车信息包括第一类信息和/或第二类信息，所述第一类信息的显示与环境相关，所述第二类信息的显示与环境无关；
所述基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面，包括：
基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点；
和/或，确定针对所述第二类信息预设的位置信息在所述AR眼镜的光学镜片上对应的像素点，其中，针对所述第二类信息预设的位置信息为所述第二类信息在虚拟世界坐标系下的位置信息；
根据确定出的像素点、与所述目标行车信息相关的行车数据以及所述用于生成界面的信息，生成包含所述目标行车信息的显示界面。
可选的，所述第一类信息包括导航指示信息，与所述第一类信息相关的数据包括导航指示信息在环境坐标系下的位置信息；
所述基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定所述导航指示信息在所述AR眼镜的光学镜片上对应的像素点。
可选的，所述基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定所述导航指示信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息以及虚拟世界坐标系与环境坐标系之间的比例因子，确定导航指示信息在虚拟世界坐标系下的位置信息；
基于通过所述AR眼镜的参数确定的变换矩阵，将所述导航指示信息在虚拟世界坐标系下的位置信息转换到像素坐标系下，得到所述导航指示信息在AR眼镜的光学镜片上对应的像素点。
可选的，所述第一类信息包括目标对象提示信息，与所述第一类信息相关的数据包括目标对象相对ADAS坐标系的位姿矩阵；
所述基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点。
可选的，所述基于所述AR眼镜的当前位姿、所述目标对象相对ADAS坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵，确定所述目标对象相对AR眼镜坐标系的当前位姿，作为目标对象提示信息在环境坐标下的位置信息；
基于所述虚拟世界坐标系与环境坐标系之间的比例因子，将所述目标对象提示信息在环境坐标下的位置信息转换到虚拟世界坐标下，得到所述目标对象提示信息在虚拟世界坐标下的位置信息；
基于通过所述AR眼镜的参数确定的变换矩阵，将所述目标对象提示信息在虚拟世界坐标下的位置信息转换到像素坐标系下，得到所述目标对象提示信息在AR眼镜的光学镜片上对应的像素点。
可选的，所述的行车信息显示方法还包括：
当接收到所述AR眼镜发送的界面调整指令时，根据所述界面调整指令对所述显示界面进行调整；
将调整后的显示界面发送至所述AR眼镜进行显示。
一种行车信息显示装置，包括：数据获取模块、显示界面生成模块和显示界面发送模块；
所述数据获取模块，用于获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息；
所述显示界面生成模块，用于基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面；
所述显示界面发送模块，用于将所述显示界面发送至增强现实AR眼镜进行显示。
一种行车信息显示***，包括：数据处理设备和增强现实AR眼镜；
所述数据处理设备，用于获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息，基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面，将所述显示界面发送至AR眼镜；
所述AR眼镜，用于显示所述数据处理设备生成的显示界面。
经由上述方案可知，本发明提供的行车信息显示方法、装置及***，首先获取与目标行车信息相关的行车数据，然后基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面，最后将生成的显示界面发送至AR眼镜进行显示。由于本发明提供的行车信息显示方法将包含行车信息的显示界面发送至AR眼镜显示，而不是基于光机***将行车信息显示在前挡风玻璃上，因此，不再需要光机***，即不需要在前挡风玻璃下布置大体积的光机***，改善了驾驶舱前方空间拥挤的情况，由于AR眼镜采用混合波导技术，其可以提供50°以上的视场角，因此，使显示界面可以更丰富、更清晰，用户体验更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的行车信息显示方法的流程示意图；
图2为本发明实施例提供的在AR眼镜的光学镜片上显示包含行车信息的显示界面的示意图；
图3为本发明实施例提供的基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面的流程示意图；
图4为本发明实施例涉及的坐标系的示意图；
图5为本发明实施例提供的基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定导航指示信息在AR眼镜的光学镜片上对应的像素点的流程示意图；
图6为本发明实施例提供的基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定目标对象指示信息在AR眼镜的光学镜片上对应的像素点的流程示意图；
图7为本发明实施例提供的行车信息显示装置的结构示意图；
图8为本发明实施例提供的数据处理设备的结构示意图；
图9为本发明实施例提供的行车信息显示***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有的基于汽车前挡风玻璃显示的前装式AR-HUD***存在的诸多问题，申请人进行了研究，通过不断研究，最终提出了一种行车信息显示方法、装置及***，其完美解决了现有方案存在的问题，接下来通过下述实施例对本发明提供的行车信息显示方法、装置及***进行介绍。
第一实施例
请参阅图1，示出了本发明实施例提供的行车信息显示方法的流程示意图，可以包括：
步骤S101：获取与目标行车信息相关的行车数据。
其中，目标行车信息为待显示的行车信息。
示例性的，待显示的行车信息可以但不限定为包括速度信息、里程信息、目标对象提示信息(比如障碍物警示图标)、导航指示信息(比如导航指示图标)、道路信息等诸多信息中的一种或多种。需要说明的是，需要显示哪些信息可根据具体应用需求设定。
具体的，获取与目标行车信息相关的行车数据的过程可以包括：
步骤a1、从车辆上设置的高级驾驶辅助***(Advanced Driving AssistanceSystem，ADAS)获取环境数据报文，和/或，从车辆获取车身数据报文和/或导航数据报文。
具体的，可通过CAN总线从ADAS获取环境数据报文，可通过CAN总线从车辆获取车身数据报文和/或导航数据报文。其中，环境数据报文携带的数据可以但不限定为包括车道线数据、行人位置数据、车辆数据、障碍物数据等中的一种或多种，车身数据报文可以但不限定为包括车速、里程、报警信息等中的一种或多种。
需要说明的是，获取哪些类型的报文可根据目标行车信息(即待显示的行车信息)确定，比如，目标行车信息包括车速、里程和导航指示图标，则可获取车身数据报文和导航数据报文，再比如，目标行车信息包括导航指示图标和障碍物警示图标，则可获取行车环境数据报文和导航数据报文。当然，也可获取行车环境数据报文、车身数据报文和导航数据报文，后续从这些报文中筛选与目标行车信息相关的报文。
步骤a2、从获取的报文中筛选出与目标行车信息相关的报文。
具体的，可基于预先建立的报文标识与报文携带数据的对应关系，从获取的报文中筛选出与目标行车信息相关的报文。
其中，报文标识与报文携带数据的对应关系如下表所示：
表1报文标识与报文携带数据的对应关系
| 报文标识 | 报文携带数据 |
| 0x260 | 当前车速 |
| 0x264 | 车轮转角 |
| … | … |
上表1中“0x260”对应的是“当前车速”，说明报文标识为“0x260”的报文携带的数据为“当前车速”，上表1中“0x264”对应的是“车轮转角”，说明报文标识为“0x264”的报文携带的数据为“车轮转角”。假设待显示的行车信息包括当前车速，则可从获取的报文中筛选报文标识为“0x260”的报文。
步骤a3、从筛选出的报文中解析出与目标行车信息相关的行车数据。
示例性的，目标行车信息(即待显示的行车信息)包括当前车速和导航指示图标，相应的，筛选出的报文为携带当前车速的报文和携带导航数据的报文，步骤a3的目的在于从携带当前车速的报文中解析出当前车速，从携带导航数据的报文中解析出导航数据。
步骤S102：基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面。
其中，预设的用于生成界面的信息可以包括界面布局信息和界面资源信息，界面布局信息用于决定目标行车信息在显示界面中的显示布局，界面资源信息用于决定目标行车信息在显示界面中的显示形式，比如，里程信息以何种字体显示，障碍物警示图标以何种图标显示等等。其中，生成的显示界面中包含的目标行车信息根据与目标行车信息相关的行车数据确定。
步骤S103：将显示界面发送至AR眼镜进行显示。
请参阅图2，示出了在AR眼镜的光学镜片上显示包含行车信息的显示界面的示意图。
可选的，本实施例提供的行车信息显示方法还可以包括：当接收到AR眼镜发送的界面调整指令时，根据界面调整指令对显示界面进行调整，将调整后的显示界面发送至AR眼镜进行显示。
从指令的触发方式来说，界面调整指令可以但不限限定为语音指令、手势指令、触控指令中的任一种，从指令实现的功能来说，界面调整指令可以但不限限定为界面模式切换指令、窗口唤出指令、界面尺寸调整、界面亮度调整指令、界面位置调整指令等中的任一种。
本发明实施例提供的行车信息显示方法，首先获取与目标行车信息(即待显示的行车信息)相关的数据，然后基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面，最后将生成的显示界面发送至AR眼镜进行显示。由于本发明实施例提供的行车信息显示方法将包含行车信息的显示界面发送至AR眼镜显示，而不是基于光机***将行车信息显示在前挡风玻璃上，因此，不再需要光机***，即不需要在前挡风玻璃下布置大体积的光机***，改善了驾驶舱前方空间拥挤的情况，由于AR眼镜采用混合波导技术，其可以提供50°以上的视场角，因此，使显示界面可以更丰富、更清晰，用户体验更好。
第二实施例
本实施例对上述实施例中的“步骤S102：基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面”的具体实现过程进行介绍。
需要说明的是，目标行车信息(即待显示的行车信息)可以包括第一类信息(比如，导航指示图标、障碍物警示图标等)和/或第二类信息(比如，速度、里程等)。其中，第一类信息的显示与环境相关，比如导航指示图标贴地面显示，障碍物警示图标显示在障碍物上，第二类信息的显示与环境无关，其在AR眼镜的显示位置固定不变，比如，车速显示在AR眼镜光学镜片的左下角。
本实施例以目标行车信息包括第一类信息和第二类信息为例，对步骤S102的具体实现过程进行介绍。
请参阅图3，示出了基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面的流程示意图，可以包括：
步骤S301a：基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定第一类信息在AR眼镜的光学镜片上对应的像素点。
可选的，第一类信息可以但不限定为包括：导航指示信息(比如导航指示图标)和/或目标对象指示信息(比如障碍物警示图标)。
由于第一类信息的显示与环境有关，因此，第一类信息的显示受AR眼镜位姿的影响，比如，导航指示图标贴地显示，当AR眼镜的位姿因某种原因改变时，导航指示图标不再贴地显示，再比如，障碍物警示图标显示在障碍物上，当AR眼镜的位姿因某种原因改变时，障碍物警示图标不再显示在障碍物上，而是显示在了障碍物的一侧，为了能够使最终在AR眼镜显示的第一类信息与环境匹配，比如，AR眼镜的位姿改变时，导航指示图标仍能贴地显示，障碍物警示图标仍能显示在障碍物上，本发明在确定第一类信息在AR眼镜的光学镜片上对应的像素点时，结合AR眼镜的位姿进行像素点的确定。
步骤S301b：确定针对第二类信息预设的位置信息在AR眼镜的光学镜片上对应的像素点。
其中，针对第二类信息预设的位置信息为第二类信息在虚拟世界坐标系下的位置信息。需要说明的是，第二类信息在虚拟世界坐标系下的位置信息可包含于界面布局信息中。虚拟世界坐标系以及本发明涉及的其它坐标系如图4所示。
具体的，步骤S301b的实现过程可以包括：基于通过AR眼镜的参数确定的变换矩阵，确定针对第二类信息预设的位置信息在AR眼镜的光学镜片上对应的像素点。其中，通过AR眼镜的参数确定的变换矩阵可以包括视窗变换矩阵V和透视投影矩阵P。
需要说明的是，基于视窗变换矩阵V和透视投影矩阵P，确定针对第二类信息预设的位置信息在AR眼镜的光学镜片上对应的像素点，即，基于视窗变换矩阵V和透视投影矩阵P将虚拟世界坐标系下的位置信息转换到像素坐标系下。
具体的，第二类信息在虚拟世界坐标系下的位置点M1在AR眼镜的光学镜片上对应的像素点p1可通过下式确定：
p1＝V·P·M1 (1)
需要说明的是，将M1乘P表示将虚拟世界坐标系下的位置点M1转换到图像坐标系下，将P·M1乘V表示将图像坐标系下的点P·M1转换到像素坐标系下，以得到第二类信息在虚拟世界坐标系下的位置点M1在AR眼镜的光学镜片上对应的像素点p1。
另外，需要说明的是，由于第二类信息的显示与环境无关，其在AR眼镜的显示位置是固定的(比如，速度显示在AR眼镜光学镜片的左下方)，因此，第二类信息的显示不受AR眼镜位姿的影响，不需要考虑第二类信息的显示与环境匹配的问题。
步骤S302：根据确定出的像素点、与目标行车信息相关的行车数据以及用于生成界面的信息，生成包含目标行车信息的显示界面。
根据通过上述方式确定出的像素点、与行车信息相关的数据以及用于生成界面的信息，可生成包含目标行车信息且与环境匹配的显示界面。
第三实施例
上述实施例提到，目标行车信息(即待显示的行车信息)可以包括第一类信息和/或第二类信息，其中，第一类信息可以包括导航指示信息和/或目标对象指示信息，本实施例以第一类信息包括导航指示信息和目标对象指示信息为例，对上述实施例中的“步骤S301a：基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定第一类信息在AR眼镜的光学镜片上对应的像素点”的具体实现过程进行介绍。
首先对基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定导航指示信息在AR眼镜的光学镜片上对应的像素点的过程进行介绍。
基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定导航指示信息在AR眼镜的光学镜片上对应的像素点的过程可以包括：基于AR眼镜的当前位姿、与第一类信息相关的数据中的导航数据、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定导航指示信息在AR眼镜的光学镜片上对应的像素点。
具体的，请参阅图5，示出了基于AR眼镜的当前位姿、与第一类信息相关的数据中的导航数据、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定导航指示信息在AR眼镜的光学镜片上对应的像素点的流程示意图，可以包括：
步骤S501：基于AR眼镜的当前位姿、与第一类信息相关的数据中的导航数据以及虚拟世界坐标系与环境坐标系之间的比例因子，确定导航指示信息在虚拟世界坐标系下的位置信息。
其中，与第一类信息相关的数据中的导航数据中包含导航指示信息在环境坐标系下的位置信息。基于AR眼镜的当前位姿、与第一类信息相关的数据中的导航数据以及虚拟世界坐标系与环境坐标系之间的比例因子，确定导航指示信息在虚拟世界坐标系下的位置信息，即，结合AR眼镜的当前位姿，基于虚拟世界坐标系与环境坐标系之间的比例因子，将导航指示信息在虚拟世界坐标系下的位置信息转换至虚拟世界坐标系下。
具体的，可根据下式将导航指示信息在环境坐标坐标系下的位置点M2转换到虚拟世界坐标系下：以得到导航指示信息在在虚拟世界坐标系下的位置点Q：
Q＝K·TA·M2 (2)
其中，K表示虚拟世界坐标系与环境坐标系之间的比例因子，TA表示AR眼镜的当前位姿，Q表示环境坐标坐标系下的位置点M2在虚拟世界坐标系下对应的位置点。
步骤S502：基于通过AR眼镜的参数确定的变换矩阵，将导航指示信息在虚拟世界坐标系下的位置信息转换到像素坐标系下，得到导航指示信息在AR眼镜的光学镜片上对应的像素点。
其中，通过AR眼镜的参数确定的变换矩阵可以包括视窗变换矩阵V和透视投影矩阵P，可基于视窗变换矩阵V和透视投影矩阵P将导航指示信息在虚拟世界坐标系下的位置信息转换到像素坐标系下。
具体的，可根据下式将导航指示信息在虚拟世界坐标系下的位置点Q转换到像素坐标系下，以得位置点Q在AR眼镜的光学镜片上对应的像素点p2：
p2＝V·P·Q＝V·P·K·TA·M2 (3)
需要说明的是，将Q乘P表示将虚拟世界坐标系下的位置点Q转换为图像坐标系下的点，将P·Q乘V表示将图像坐标系下的点转换为像素坐标系下的像素点。
接下来对基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定目标对象指示信息在AR眼镜的光学镜片上对应的像素点的过程进行介绍。
基于与第一类信息相关的数据，以及AR眼镜的当前位姿，确定目标对象指示信息在AR眼镜的光学镜片上对应的像素点的过程可以包括：基于AR眼镜的当前位姿、目标对象相对ADAS坐标系的位姿矩阵、ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对DMS坐标系的变换矩阵以及驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在AR眼镜的光学镜片上对应的像素点。
具体的，请参阅图6，示出了基于AR眼镜的当前位姿、目标对象相对ADAS坐标系的位姿矩阵、ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对DMS坐标系的变换矩阵以及驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在AR眼镜的光学镜片上对应的像素点的流程示意图，可以包括：
步骤S601：基于AR眼镜的当前位姿、目标对象相对ADAS坐标系的位姿矩阵、ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对DMS坐标系的变换矩阵以及驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵，确定目标对象相对AR眼镜坐标系的当前位姿，作为目标对象提示信息在环境坐标下的位置信息。
需要说明的是，目标对象相对ADAS坐标系的位姿矩阵包含于与第一类信息相关的数据中，目标对象相对ADAS坐标系的位姿矩阵由ADAS根据其采集的目标对象的图像确定。
具体的，可根据下式确定目标对象相对AR眼镜坐标系的当前位姿(即目标对象提示信息在环境坐标下的位置信息)：
其中，表示目标对象相对ADAS坐标系的位姿矩阵，/>表示ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵，/>表示驾驶员头部坐标系相对DMS坐标系的变换矩阵，/>表示DMS坐标系相对驾驶员头部坐标系的变换矩阵，/>表示驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵，TA表示AR眼镜的当前位姿，/>即表示目标对象相对AR眼镜坐标系的当前位姿。
需要说明的是，表示目标对象相对DMS坐标系的位姿，/> 表示目标对象相对驾驶员头部坐标系的位姿，/>表示目标对象相对AR眼镜的初始位姿，/>表示目标对象相对AR眼镜坐标系的当前位姿。
步骤S602：基于虚拟世界坐标系与环境坐标系之间的比例因子，将目标对象提示信息在环境坐标下的位置信息转换到虚拟世界坐标下，得到目标对象提示信息在虚拟世界坐标下的位置信息。
具体的，可根据下式将目标对象提示信息在环境坐标坐标系下的位置点M3转换到虚拟世界坐标系下：
其中，R表示环境坐标坐标系下的位置点M3在虚拟世界坐标系下对应的位置点，K表示虚拟世界坐标系与环境坐标系之间的比例因子，TA表示AR眼镜的当前位姿。
步骤S603：基于通过AR眼镜的参数确定的变换矩阵，将目标对象提示信息在虚拟世界坐标下的位置信息转换到像素坐标系下，得到目标对象提示信息在AR眼镜的光学镜片上对应的像素点。
具体的，可根据下式将虚拟世界坐标系下的位置点R转换到像素坐标系下：
其中，p3表示虚拟世界坐标系下的位置点R在像素坐标系下对应的像素点，即AR眼镜的光学镜片上对应的像素点。
接下来以目标对象指示信息为障碍物警示图标为例，对确定目标对象提示信息在AR眼镜的光学镜片上对应的像素点进行说明。
对从ADAS获取的报文进行解析可获得车辆前方障碍物相对ADAS坐标系的位姿矩阵该位姿矩阵即为障碍物警示图标在ADAS坐标系下的位置信息，ADAS坐标系相对DMS相机坐标系的变换矩阵/>驾驶员头部坐标系相对DMS坐标系的变换矩阵/>以及驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵/>分别如下：
首先，根据下式确定障碍物警示图标在环境坐标下的位置信息：
然后，通过将障碍物警示图标在环境坐标下的位置信息转换至虚拟世界坐标系下，以得到障碍物警示图标在虚拟世界坐标系下的位置信息。
最后，按AR眼镜的FOV为50°，近远平面分别为0.1m和500m计算得到透视投影矩阵P，按分辨率720P计算得到视窗变换矩阵V，根据p3＝V·P·R计算得到显示界面上显示的障碍物警示图标在AR眼镜光学镜片上对应的像素点。
接下来对上述提及的变换矩阵的获取方式进行介绍。
ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵可根据DMS在车上的位姿和ADAS相机在车上的位姿确定，具体的，ADAS相机坐标系相对DMS坐标系的变换矩阵可根据下式确定：
其中，MDMS表示DMS在车上的位姿，MCamera表示ADAS相机在车上的位姿，MDMS和MCamera均为DMS和ADAS相机在环境坐标系下的位姿。需要说明的是，DMS和ADAS相机在车上的安装位置和角度均是固定，因此，MDMS和MCamera为固定值。
驾驶员头部坐标系相对DMS坐标系的变换矩阵可根据DMS相机采集的驾驶员头部图像和DMS相机的参数确定。
驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵可根据驾驶员头部坐标系的原点与AR眼镜坐标系的原点的位置关系确定。如图4所示，驾驶员头部坐标系的原点OH为驾驶员双眼连线中点，驾驶员头部坐标系的ZH轴为面部朝向方向，对于AR眼镜坐标系，原点OA为其摄像头(AR眼镜的中心设置有一个摄像头)光心处，ZA轴可认为与ZH轴方向一致，因此，AR眼镜坐标系可视为驾驶员头部坐标系原点从OH平移到OA得到，有鉴于此，驾驶员头部坐标系到AR眼镜坐标系的变换矩阵/>可表示为：
其中，tHA表示OH到OA的向量，可通过测量得到，I表示单位矩阵。需要说明的是，tHA可通过手动测量其大致位置即可，可以当作一个定值常量，由个体差异导致的驾驶员头部到眼镜的误差产生的影响可忽略不计。
驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵的设计考虑到了驾驶员眼睛与AR眼镜的坐标系之间的距离因素，考虑该因素后使得最终生成的显示界面与真实环境贴合的更好，驾驶员体验更好。
第四实施例
本发明实施例还提供了一种行车信息显示装置，下面对本发明实施例提供的行车信息显示装置进行描述，下文描述的行车信息显示装置与上文描述的行车信息显示方法可相互对应参照。
请参阅图7，示出了本发明实施例提供的行车信息显示装置的结构示意图，可以包括：数据获取模块701、显示界面生成模块702和显示界面发送模块703。
数据获取模块701，用于获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息。
显示界面生成模块702，用于基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面。
显示界面发送模块703，用于将所述显示界面发送至增强现实AR眼镜进行显示。
可选的，数据获取模块701包括：报文获取模块、报文筛选模块和报文解析模块。
报文获取模块，用于从车辆上设置的高级驾驶辅助***ADAS获取行车环境数据报文，和/或，从所述车辆获取车身数据报文和/或导航数据报文。
报文筛选模块，用于从获取的报文中筛选出与所述目标行车信息相关的报文。
报文解析模块，用于从筛选出的报文中解析出与所述目标行车信息相关的行车数据。
可选的，所述目标行车信息包括第一类信息和/或第二类信息，所述第一类信息的显示与环境相关，所述第二类信息的显示与环境无关。
显示界面生成模块702可以包括：像素点确定子模块和显示界面生成子模块。
像素点确定子模块，用于基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点；和/或，确定针对所述第二类信息预设的位置信息在所述AR眼镜的光学镜片上对应的像素点，其中，针对所述第二类信息预设的位置信息为所述第二类信息在虚拟世界坐标系下的位置信息；
显示界面生成子模块，用于根据确定出的像素点、与所述目标行车信息相关的行车数据以及所述用于生成界面的信息，生成包含所述目标行车信息的显示界面。
可选的，所述第一类信息包括导航指示信息，与所述第一类信息相关的数据包括导航指示信息在环境坐标系下的位置信息，则像素点确定子模块在基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点时，具体用于：
基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定所述导航指示信息在所述AR眼镜的光学镜片上对应的像素点。
可选的，像素点确定子模块在基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定所述导航指示信息在所述AR眼镜的光学镜片上对应的像素点时，具体用于：
基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息以及虚拟世界坐标系与环境坐标系之间的比例因子，确定导航指示信息在虚拟世界坐标系下的位置信息；
基于通过所述AR眼镜的参数确定的变换矩阵，将所述导航指示信息在虚拟世界坐标系下的位置信息转换到像素坐标系下，得到所述导航指示信息在AR眼镜的光学镜片上对应的像素点。
可选的，所述第一类信息包括目标对象提示信息，与所述第一类信息相关的数据包括目标对象相对ADAS坐标系的位姿矩阵，则像素点确定子模块在基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点时，具体用于：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点。
可选的，像素点确定子模块在基于所述AR眼镜的当前位姿、所述目标对象相对ADAS坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点时，具体用于：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵，确定所述目标对象相对AR眼镜坐标系的当前位姿，作为目标对象提示信息在环境坐标下的位置信息；
基于所述虚拟世界坐标系与环境坐标系之间的比例因子，将所述目标对象提示信息在环境坐标下的位置信息转换到虚拟世界坐标下，得到所述目标对象提示信息在虚拟世界坐标下的位置信息；
基于通过所述AR眼镜的参数确定的变换矩阵，将所述目标对象提示信息在虚拟世界坐标下的位置信息转换到像素坐标系下，得到所述目标对象提示信息在AR眼镜的光学镜片上对应的像素点。
可选的，行车信息显示方法还可以包括：
当接收到所述AR眼镜发送的界面调整指令时，根据所述界面调整指令对所述显示界面进行调整；将调整后的显示界面发送至所述AR眼镜进行显示。
本发明实施例提供的行车信息显示装置，首先获取与目标行车信息(即待显示的行车信息)相关的数据，然后基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面，最后将生成的显示界面发送至AR眼镜进行显示。由于本发明实施例提供的行车信息显示装置将包含行车信息的显示界面发送至AR眼镜显示，而不是基于光机***将行车信息显示在前挡风玻璃上，因此，不再需要光机***，即不需要在前挡风玻璃下布置大体积的光机***，改善了驾驶舱前方空间拥挤的情况，由于AR眼镜采用混合波导技术，其可以提供50°以上的视场角，因此，使显示界面可以更丰富、更清晰，用户体验更好。另外，由于本发明实施例在确定第一类信息在AR眼镜的光学镜片上对应的像素点时，考虑了AR眼镜的当前位姿，因此，最终生成的显示界面能够与环境相匹配。
第五实施例
本发明实施例还提供了一种数据处理设备，请参阅图8，示出了该数据处理设备的结构示意图，该数据处理设备可以包括：至少一个处理器801，至少一个通信接口802，至少一个存储器803和至少一个通信总线804；
在本发明实施例中，处理器801、通信接口802、存储器803、通信总线804的数量为至少一个，且处理器801、通信接口802、存储器803通过通信总线804完成相互间的通信；
处理器801可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器803可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息；
基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面；
将所述显示界面发送至增强现实AR眼镜进行显示。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
第六实施例
本发明实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息；
基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面；
将所述显示界面发送至增强现实AR眼镜进行显示。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
第七实施例
本发明实施例提供了一种行车信息显示***，请参阅图9，示出了该行车信息显示***的结构示意图，可以包括：数据处理设备901和AR眼镜902。
数据处理设备901，用于获取与目标行车信息相关的行车数据，其中，目标行车信息为待显示的行车信息，基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面，将显示界面发送至AR眼镜902。
如图9所示，数据处理设备901可通过CAN总线与车辆上设置的ADAS和DMS通信，还可通过CAN总线与车辆通信。数据处理设备901在获取与待显示的行车信息相关的数据时，可通过CAN总线从ADAS获取行车环境数据报文，和/或，通过CAN总线从车辆获取车身数据报文和/或导航数据报文，进而，可从获取的报文中筛选出与待显示的行车信息相关的报文，从筛选出的报文中解析出与待显示的行车信息相关的行车数据。
可选的，目标行车信息可以包括第一类信息和/或第二类信息，第一类信息的显示与环境相关，第二类信息的显示与环境无关。
数据处理设备901在基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面时，具体用于：
基于与第一类信息相关的数据，以及AR眼镜902的当前位姿，确定第一类信息在AR眼镜902的光学镜片上对应的像素点；和/或，确定针对第二类信息预设的位置信息在AR眼镜902的光学镜片上对应的像素点，其中，针对第二类信息预设的位置信息为第二类信息在虚拟世界坐标系下的位置信息；根据确定出的像素点、与目标行车信息相关的行车数据以及用于生成界面的信息，生成包含目标行车信息的显示界面。
可选的，第一类信息可以包括导航指示信息，与第一类信息相关的数据可以包括导航指示信息在环境坐标系下的位置信息，则数据处理设备901在基于与第一类信息相关的数据，以及AR眼镜902的当前位姿，确定第一类信息在AR眼镜902的光学镜片上对应的像素点时，具体用于：
基于AR眼镜902的当前位姿、导航指示信息在环境坐标系下的位置信息、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜902的参数确定的变换矩阵，确定导航指示信息在AR眼镜902的光学镜片上对应的像素点。
可选的，第一类信息可以包括目标对象提示信息，与第一类信息相关的数据包括目标对象相对ADAS坐标系的位姿矩阵，则数据处理设备901在基于与第一类信息相关的数据，以及AR眼镜902的当前位姿，确定第一类信息在AR眼镜902的光学镜片上对应的像素点时，具体用于：
基于AR眼镜902的当前位姿、目标对象相对ADAS坐标系的位姿矩阵、ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对DMS坐标系的变换矩阵以及驾驶员头部坐标系相对AR眼镜902坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜902的参数确定的变换矩阵，确定目标对象提示信息在AR眼镜902的光学镜片上对应的像素点。
需要说明的是，目标对象相对ADAS坐标系的位姿矩阵由ADAS根据其相机采集的目标对象的图像确定，后由数据处理设备901从由ADAS获取的报文中解析得到，驾驶员头部坐标系相对DMS坐标系的变换矩阵由数据处理设备901根据从DMS获取的驾驶员头部图像确定，驾驶员头部坐标系相对AR眼镜902坐标系的变换矩阵由数据处理设备901根据驾驶员头部坐标系的原点与AR眼镜902坐标系的原点确定，其中，驾驶员头部坐标系的原点由数据处理设备901从DMS获取。
数据处理设备901在确定针对第二类信息预设的位置信息在AR眼镜902的光学镜片上对应的像素点时，具体用于基于通过AR眼镜902的参数确定的变换矩阵，确定针对第二类信息预设的位置信息在AR眼镜902的光学镜片上对应的像素点。
需要说明的是，数据处理设备901基于与目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含目标行车信息的显示界面更为具体的实现过程可参见上述实施例，本实施例在此不做赘述。
数据处理设备901生成显示界面后，可将生成的显示界面实时传输(可选的，显示界面可以HDMI信号形式传输)至AR眼镜902，AR眼镜902对接收的显示界面进行显示，显示界面在AR眼镜902显示后，驾驶员通过AR眼镜902可在前方D(比如8)米的位置看到显示界面，其中，D为画面深度，其由AR眼镜902决定。
显示界面在AR眼镜902显示后，驾驶员可以通过语音指令、手势指令或触控指令实现与AR眼镜902交互，AR眼镜902获取到驾驶员的指令后，可将指令通过无线通信方式比如蓝牙传输至数据处理设备，数据处理设备根据指令对显示界面进行调整，将调整后的显示界面传输至AR眼镜902，AR眼镜902对调整后的显示界面进行显示。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种行车信息显示方法，其特征在于，包括：
获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息；
基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面；
将所述显示界面发送至增强现实AR眼镜进行显示；
所述目标行车信息包括第一类信息，所述第一类信息的显示与环境相关，所述基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面，包括：
基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点；
根据确定出的像素点、与所述目标行车信息相关的行车数据以及所述用于生成界面的信息，生成包含所述目标行车信息的显示界面；
所述第一类信息包括目标对象提示信息，与所述第一类信息相关的数据包括目标对象相对ADAS相机坐标系的位姿矩阵；
所述基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS相机坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点，其中，所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵考虑到驾驶员眼睛与AR眼镜的坐标系之间的距离因素。
2.根据权利要求1所述的行车信息显示方法，其特征在于，所述获取与目标行车信息相关的行车数据，包括：
从车辆上设置的高级驾驶辅助***ADAS获取行车环境数据报文，和/或，从所述车辆获取车身数据报文和/或导航数据报文；
从获取的报文中筛选出与所述目标行车信息相关的报文；
从筛选出的报文中解析出与所述目标行车信息相关的行车数据。
3.根据权利要求2所述的行车信息显示方法，其特征在于，所述目标行车信息还包括第二类信息，所述第二类信息的显示与环境无关；
所述基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面，还包括：
确定针对所述第二类信息预设的位置信息在所述AR眼镜的光学镜片上对应的像素点，其中，针对所述第二类信息预设的位置信息为所述第二类信息在虚拟世界坐标系下的位置信息；
根据确定出的像素点、与所述目标行车信息相关的行车数据以及所述用于生成界面的信息，生成包含所述目标行车信息的显示界面。
4.根据权利要求3所述的行车信息显示方法，其特征在于，所述第一类信息包括导航指示信息，与所述第一类信息相关的数据包括导航指示信息在环境坐标系下的位置信息；
所述基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定所述导航指示信息在所述AR眼镜的光学镜片上对应的像素点。
5.根据权利要求4所述的行车信息显示方法，其特征在于，所述基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定所述导航指示信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述导航指示信息在环境坐标系下的位置信息以及虚拟世界坐标系与环境坐标系之间的比例因子，确定导航指示信息在虚拟世界坐标系下的位置信息；
基于通过所述AR眼镜的参数确定的变换矩阵，将所述导航指示信息在虚拟世界坐标系下的位置信息转换到像素坐标系下，得到所述导航指示信息在AR眼镜的光学镜片上对应的像素点。
6.根据权利要求1所述的行车信息显示方法，其特征在于，所述基于所述AR眼镜的当前位姿、所述目标对象相对ADAS相机坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过所述AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS相机坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵，确定所述目标对象相对AR眼镜坐标系的当前位姿，作为目标对象提示信息在环境坐标下的位置信息；
基于所述虚拟世界坐标系与环境坐标系之间的比例因子，将所述目标对象提示信息在环境坐标下的位置信息转换到虚拟世界坐标下，得到所述目标对象提示信息在虚拟世界坐标下的位置信息；
基于通过所述AR眼镜的参数确定的变换矩阵，将所述目标对象提示信息在虚拟世界坐标下的位置信息转换到像素坐标系下，得到所述目标对象提示信息在AR眼镜的光学镜片上对应的像素点。
7.根据权利要求1~6中任一项所述的行车信息显示方法，其特征在于，还包括：
当接收到所述AR眼镜发送的界面调整指令时，根据所述界面调整指令对所述显示界面进行调整；
将调整后的显示界面发送至所述AR眼镜进行显示。
8.一种行车信息显示装置，其特征在于，包括：数据获取模块、显示界面生成模块和显示界面发送模块；
所述数据获取模块，用于获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息；
所述显示界面生成模块，用于基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面；
所述显示界面发送模块，用于将所述显示界面发送至增强现实AR眼镜进行显示；
所述目标行车信息包括第一类信息，所述第一类信息的显示与环境相关，所述显示界面生成模块基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面，包括：
基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点；
根据确定出的像素点、与所述目标行车信息相关的行车数据以及所述用于生成界面的信息，生成包含所述目标行车信息的显示界面；
所述第一类信息包括目标对象提示信息，与所述第一类信息相关的数据包括目标对象相对ADAS相机坐标系的位姿矩阵；
所述基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS相机坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点，其中，所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵考虑到驾驶员眼睛与AR眼镜的坐标系之间的距离因素。
9.一种行车信息显示***，其特征在于，包括：数据处理设备和增强现实AR眼镜；
所述数据处理设备，用于获取与目标行车信息相关的行车数据，其中，所述目标行车信息为待显示的行车信息，基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面，将所述显示界面发送至AR眼镜；
所述AR眼镜，用于显示所述数据处理设备生成的显示界面
所述目标行车信息包括第一类信息，所述第一类信息的显示与环境相关，所述数据处理设备基于与所述目标行车信息相关的行车数据，以及预设的用于生成界面的信息，生成包含所述目标行车信息的显示界面，包括：
基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点；
根据确定出的像素点、与所述目标行车信息相关的行车数据以及所述用于生成界面的信息，生成包含所述目标行车信息的显示界面；
所述第一类信息包括目标对象提示信息，与所述第一类信息相关的数据包括目标对象相对ADAS相机坐标系的位姿矩阵；
所述基于与所述第一类信息相关的数据，以及所述AR眼镜的当前位姿，确定所述第一类信息在所述AR眼镜的光学镜片上对应的像素点，包括：
基于所述AR眼镜的当前位姿、所述目标对象相对ADAS相机坐标系的位姿矩阵、所述ADAS相机坐标系相对驾驶员检测***DMS坐标系的变换矩阵、驾驶员头部坐标系相对所述DMS坐标系的变换矩阵以及所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵、虚拟世界坐标系与环境坐标系之间的比例因子以及通过AR眼镜的参数确定的变换矩阵，确定目标对象提示信息在所述AR眼镜的光学镜片上对应的像素点，其中，所述驾驶员头部坐标系相对AR眼镜坐标系的变换矩阵考虑到驾驶员眼睛与AR眼镜的坐标系之间的距离因素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210723101.6A CN115097628B (zh) | 2022-06-24 | 2022-06-24 | 一种行车信息显示方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210723101.6A CN115097628B (zh) | 2022-06-24 | 2022-06-24 | 一种行车信息显示方法、装置及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115097628A CN115097628A (zh) | 2022-09-23 |
| CN115097628B true CN115097628B (zh) | 2024-05-07 |
Family
ID=83292714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210723101.6A Active CN115097628B (zh) | 2022-06-24 | 2022-06-24 | 一种行车信息显示方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115097628B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207164368U (zh) * | 2017-08-31 | 2018-03-30 | 北京新能源汽车股份有限公司 | 车载增强现实*** |
| CN109649275A (zh) * | 2018-11-29 | 2019-04-19 | 福瑞泰克智能***有限公司 | 一种基于增强现实的驾驶辅助***及方法 |
| CN110203140A (zh) * | 2019-06-28 | 2019-09-06 | 威马智慧出行科技（上海）有限公司 | 汽车增强现实显示方法、电子设备、***及汽车 |
| CN113147596A (zh) * | 2021-04-13 | 2021-07-23 | 一汽奔腾轿车有限公司 | 一种基于ar技术的头戴式车载信息显示***及方法 |
| WO2021197189A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳光峰科技股份有限公司 | 基于增强现实的信息显示方法、***、装置及投影设备 |
| CN114489332A (zh) * | 2022-01-07 | 2022-05-13 | 北京经纬恒润科技股份有限公司 | Ar-hud输出信息的显示方法及*** |
-
2022
- 2022-06-24 CN CN202210723101.6A patent/CN115097628B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207164368U (zh) * | 2017-08-31 | 2018-03-30 | 北京新能源汽车股份有限公司 | 车载增强现实*** |
| CN109649275A (zh) * | 2018-11-29 | 2019-04-19 | 福瑞泰克智能***有限公司 | 一种基于增强现实的驾驶辅助***及方法 |
| CN110203140A (zh) * | 2019-06-28 | 2019-09-06 | 威马智慧出行科技（上海）有限公司 | 汽车增强现实显示方法、电子设备、***及汽车 |
| WO2021197189A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳光峰科技股份有限公司 | 基于增强现实的信息显示方法、***、装置及投影设备 |
| CN113147596A (zh) * | 2021-04-13 | 2021-07-23 | 一汽奔腾轿车有限公司 | 一种基于ar技术的头戴式车载信息显示***及方法 |
| CN114489332A (zh) * | 2022-01-07 | 2022-05-13 | 北京经纬恒润科技股份有限公司 | Ar-hud输出信息的显示方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115097628A (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8536995B2 (en) | Information display apparatus and information display method | |
| CN102447731B (zh) | 用于社会化网络的全挡风屏平视显示界面 | |
| JP6775188B2 (ja) | ヘッドアップディスプレイ装置および表示制御方法 | |
| US9459113B2 (en) | Visual guidance for vehicle navigation system | |
| WO2016067574A1 (ja) | 表示制御装置及び表示制御プログラム | |
| JPWO2018167966A1 (ja) | Ａｒ表示装置及びａｒ表示方法 | |
| US10996070B2 (en) | Route guidance apparatus and method | |
| US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
| JP7236442B2 (ja) | 自動車における表示デバイスの制御方法 | |
| US20190370573A1 (en) | Traffic sign detection method, apparatus, system and medium | |
| CN112109550A (zh) | 基于ar-hud的预警信息的显示方法、装置、设备及车辆 | |
| JP6186905B2 (ja) | 車載表示装置およびプログラム | |
| CN112484743B (zh) | 车载hud融合实景导航显示方法及其*** | |
| CN112129313A (zh) | 基于惯性测量单元的ar导航补偿*** | |
| CN111857469B (zh) | 一种道路环境信息的重构方法、装置及设备 | |
| CN116091740B (zh) | 信息显示控制方法、存储介质及电子设备 | |
| CN115097628B (zh) | 一种行车信息显示方法、装置及*** | |
| US9846819B2 (en) | Map image display device, navigation device, and map image display method | |
| JP2007264176A (ja) | 立体視車載表示装置 | |
| JP2007280203A (ja) | 情報提示装置、自動車、及び情報提示方法 | |
| JP2020142792A (ja) | Ａｒ表示装置 | |
| CN111241946A (zh) | 一种基于单dlp光机增大fov的方法和*** | |
| WO2024138467A1 (en) | Ar display system based on multi-view cameras and viewport tracking | |
| CN115904294B (zh) | 一种环境可视化方法、***、存储介质和电子设备 | |
| EP4343408A1 (en) | Augmented reality-head up display imaging methods and apparatuses, devices, and storage media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |