CN115665400A - 增强现实抬头显示成像方法、装置、设备以及存储介质 - Google Patents
增强现实抬头显示成像方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN115665400A CN115665400A CN202211085946.3A CN202211085946A CN115665400A CN 115665400 A CN115665400 A CN 115665400A CN 202211085946 A CN202211085946 A CN 202211085946A CN 115665400 A CN115665400 A CN 115665400A
- Authority
- CN
- China
- Prior art keywords
- virtual image
- image display
- display area
- point
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 95
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 49
- 241000282414 Homo sapiens Species 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 238000009423 ventilation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- NTHWMYGWWRZVTN-UHFFFAOYSA-N sodium silicate Chemical compound [Na+].[Na+].[O-][Si]([O-])=O NTHWMYGWWRZVTN-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种增强现实抬头显示成像方法、装置、设备以及存储介质，该方法包括：获取目标对象的信息，获取抬头显示设备坐标系下当前人眼眼点的坐标，根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数，确定用于进行成像的***面的参数，***面与虚像显示区域所在的平面共面，虚像显示区域中心点的坐标和虚像显示区域的参数根据抬头显示设备的光机参数确定，根据当前人眼眼点坐标、***面的参数和目标对象的信息，通过OpenGL成像生成目标对象的虚像，根据虚像显示区域中心点的坐标、虚像显示区域的参数和***面的参数，在虚像显示区域上显示目标对象的虚像。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种增强现实抬头显示成像方法、装置、设备以及存储介质。
背景技术
增强现实抬头显示器(Augmented Reality-Head Up Display，AR-HUD) 是众多抬头显示设备(Head Up Display，HUD)中的一种。AR-HUD技术给汽车领域带来了安全的增强现实抬头显示功能，其所实现的增强现实抬头显示功能的成像原理是利用挡风玻璃在车前方产生虚像，并利用3D成像技术，做到增强现实的用户体验，虚像(即显示物)可跟随前车、行人、路口等不断变化的实景而改变位置与大小。其还可以将汽车行驶过程中仪表显示的重要信息 (如车速、导航信息、交通标志等信息)投射到前挡风玻璃上，使驾驶员不用低头即可看到仪表中的信息。
然而，AR-HUD技术受限于光学原理，通过AR-HUD技术，对实际物体成像得到虚像，人眼在不同角度、不同位置观察虚像时，即移动人眼眼点后，人的视线可以绕开并远离虚像看到实际物体，在视觉上虚像与实际物体无法贴合显示，虚像与实际物体之间存在位置偏差，造成AR体验效果较差。
发明内容
本申请提供一种增强现实抬头显示成像方法、装置、设备以及存储介质，可使得目标对象与虚像之间没有位置偏差，使得目标对象与虚像贴合显示，提高AR体验效果。
第一方面，本申请提供一种增强现实抬头显示成像方法，包括：
获取目标对象的信息；
获取抬头显示设备坐标系下当前人眼眼点的坐标；
根据所述当前人眼眼点的坐标、虚像显示区域中心点的坐标和所述虚像显示区域的参数，确定用于进行成像的***面的参数，所述***面与所述虚像显示区域所在的平面共面，所述虚像显示区域中心点的坐标和所述虚像显示区域的参数根据抬头显示设备的光机参数确定；
根据所述当前人眼眼点坐标、所述***面的参数和所述目标对象的信息，通过OpenGL成像生成所述目标对象的虚像；
根据所述虚像显示区域中心点的坐标、所述虚像显示区域的参数和所述***面的参数，在所述虚像显示区域上显示所述目标对象的虚像。
可选的，所述虚像显示区域的参数包括所述虚像显示区域所在平面的法线和所述虚像显示区域的尺寸，所述***面的参数包括所述***面中心点的坐标和所述***面的尺寸，所述根据所述当前人眼眼点的坐标、虚像显示区域中心点的坐标和所述虚像显示区域的参数，确定用于进行成像的***面的参数，包括：
根据所述当前人眼眼点的坐标、所述虚像显示区域中心点的坐标和所述虚像显示区域所在平面的法线，确定所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，将所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标确定为所述***面中心点的坐标；
根据所述虚像显示区域的尺寸、所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述***面的尺寸。
可选的，所述根据所述当前人眼眼点的坐标、所述虚像显示区域中心点的坐标和所述虚像显示区域所在平面的法线，确定所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，包括：
根据所述虚像显示区域所在平面的法线、所述虚像显示区域中心点的坐标和待确定的所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，构建虚像显示区域的平面方程；
根据所述虚像显示区域所在平面的法线、所述当前人眼眼点的坐标和待确定的所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，得到所述当前人眼眼点与所述当前人眼眼点在所述虚像显示区域所在平面的投影点构成的直线方程；
求解所述虚像显示区域的平面方程和所述直线方程，得到所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标。
可选的，所述根据所述虚像显示区域的尺寸、所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述***面的尺寸，包括：
根据所述虚像显示区域的尺寸、所述虚像显示区域中心点的坐标和所述***面中心点的坐标，通过如下公式得到所述***面的尺寸，所述***面的尺寸包括所述***面的宽度和高度：
所述***面的宽度为：2|BC|cosθ+所述虚像显示区域的宽度；
所述***面的高度为：2|BC|sinθ+所述虚像显示区域的高度；
其中，|BC|为所述虚像显示区域中心点C点和所述***面中心点B点构成的向量的模，θ为所述向量与所述***面的水平坐标轴之间的夹角。
可选的，所述***面的参数包括所述***面中心点的坐标和所述***面的尺寸，所述根据所述当前人眼眼点坐标、所述***面的参数和所述目标对象的信息，生成所述目标对象的虚像，包括：
根据所述当前人眼眼点坐标、虚像分辨率、所述***面中心点坐标、所述***面的尺寸和所述***面的法线，得到用于OpenGL成像的视锥体；
根据所述目标对象的信息，使用所述视锥体生成所述目标对象的虚像。
可选的，所述根据所述虚像显示区域中心点的坐标、所述虚像显示区域的参数和所述***面的参数，在所述虚像显示区域上显示所述目标对象的虚像，包括：
根据所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述虚像显示区域中心点与所述***面中心点的位置关系；
根据所述虚像显示区域中心点与所述***面中心点的位置关系，从所述目标对象的虚像中剪裁出与所述虚像显示区域的尺寸相同的目标虚像，所述虚像显示区域的中心点为所述目标虚像的中心点；
在所述虚像显示区域上显示所述目标虚像。
可选的，所述根据所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述虚像显示区域中心点与所述***面中心点的位置关系，包括：
以所述***面的左上角顶点为坐标原点，以所述坐标原点的右侧为u轴正方向、所述坐标原点的下方为v轴正方向建立uv坐标系；
根据所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述虚像显示区域中心点与所述***面中心点的位置关系；
所述根据所述虚像显示区域中心点与所述***面中心点的位置关系，从所述目标对象的虚像中剪裁出与所述虚像显示区域的尺寸相同的目标虚像，包括：
若所述***面中心点位于所述虚像显示区域中心点的右下方，则从所述坐标原点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像；
若所述***面中心点位于所述虚像显示区域中心点的右上方，则从所述***面的第一坐标点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像，所述第一坐标点为(0，h-ih)，所述h为所述***面的高度，所述ih为所述虚像显示区域的高度；
若所述***面中心点位于所述虚像显示区域中心点的左上方，则从所述***面的第二坐标点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像，所述第二坐标点为(w-iw，h-ih)，所述w为所述***面的宽度，所述iw为所述虚像显示区域的宽度；
若所述***面中心点位于所述虚像显示区域中心点的左下方，则从所述***面的第三坐标点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像，所述第三坐标点为(w-iw，0)；
若所述***面中心点与所述虚像显示区域中心点重合，则将所述目标对象的虚像确定为所述目标虚像。
可选的，所述获取抬头显示设备坐标系下当前人眼眼点的坐标，包括：
通过传感器获取传感器坐标系下当前人眼眼点的坐标；
根据所述传感器坐标系与所述抬头显示坐标系之间的旋转矩阵和平移矩阵，对所述传感器坐标系下当前人眼眼点的坐标进行旋转平移，得到所述抬头显示设备坐标系下当前人眼眼点的坐标。
第二方面，本申请提供一种增强现实抬头显示成像装置，包括：
第一获取模块，用于获取目标对象的信息；
第二获取模块，用于获取抬头显示设备坐标系下当前人眼眼点的坐标；
确定模块，用于根据所述当前人眼眼点的坐标、虚像显示区域中心点的坐标和所述虚像显示区域的参数，确定用于进行成像的***面的参数，所述***面与所述虚像显示区域所在的平面共面，所述虚像显示区域中心点的坐标和所述虚像显示区域的参数根据抬头显示设备的光机参数确定；
生成模块，用于根据所述当前人眼眼点坐标、所述***面的参数和所述目标对象的信息，生成所述目标对象的虚像；
显示模块，用于根据所述虚像显示区域中心点的坐标、所述虚像显示区域的参数和所述***面的参数，在所述虚像显示区域上显示所述目标对象的虚像。
第三方面，本申请提供一种抬头显示设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行第一方面或第一方面各可能的实施方式中任一所述的增强现实抬头显示成像方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第一方面各可能的实施方式中任一所述的增强现实抬头显示成像方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第一方面各可能的实施方式中任一所述的增强现实抬头显示成像方法。
本申请提供的增强现实抬头显示成像方法、装置、设备以及存储介质，通过在对目标对象进行增强现实抬头显示成像时，获取抬头显示设备坐标系下当前人眼眼点的坐标，根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数确定用于进行成像的***面的参数，所确定的***面与虚像显示区域所在的平面共面，再根据当前人眼眼点坐标、***面的参数和目标对象的信息，生成目标对象的虚像，最后根据虚像显示区域中心点的坐标、虚像显示区域的参数和***面的参数，在虚像显示区域上显示目标对象的虚像。由于目标对象的虚像是根据当前人眼眼点坐标、***面的参数以及目标对象的信息通过OpenGL成像生成的，根据OpenGL成像的原理，当前人眼眼点坐标与目标对象的连线与***面的交点即为目标对象的虚像所在的位置，因此通过 OpenGL成像生成的目标对象的虚像是位于***面上的，且所生成的目标对象的虚像与目标对象之间没有位置偏差，再加上只有在当前人眼眼点的可视区域内的目标对象的虚像才能在虚像显示区域上显示，而***面与虚像显示区域是共面的，因此，对于在当前人眼眼点的可视区域内的目标对象而言，通过 OpenGL成像生成的目标对象的虚像是位于虚像显示区域的，且所生成的目标对象的虚像与目标对象之间没有位置偏差，从而，在视觉上虚像与目标对象可以贴合显示，保证良好的AR体验效果。
附图说明
图1为本申请实施例提供的增强现实抬头显示成像方法的一种应用场景示意图；
图2为一种抬头显示设备的结构示意图；
图3为本申请实施例提供的一种增强现实抬头显示成像方法的流程图；
图4为本申请实施例提供的一种抬头显示设备的理论光机参数的示意图；
图5为本申请实施例提供的一种增强现实抬头显示成像方法中视锥体的示意图；
图6为本申请实施例提供的一种增强现实抬头显示成像方法中虚像显示区域与***面的关系示意图；
图7为本申请实施例提供的一种增强现实抬头显示成像方法中虚像显示区域中心点与***面中心点的位置关系示意图；
图8为现有的一种使用OpenGL成像技术构建的视锥体与使用本申请的方法构建的视锥体的对比示意图；
图9为当前人眼眼点位于理论眼点时虚像的显示效果示意图；
图10为一种虚像的显示效果示意图；
图11为本申请实施例提供的另一种虚像的显示效果示意图；
图12为本申请实施例提供的一种增强现实抬头显示成像装置的结构示意图；
图13为本申请实施例提供的一种抬头显示设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、增强现实(augmented reality，AR)，也称为混合现实。其通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。
2、眼点位置，驾驶员的视点位置，眼点可以是指驾驶员左、右眼点的中点，或者是驾驶员中心线与驾驶员左、右眼椭圆的中心连线的交点。
现有技术中，通过AR-HUD技术成像时，人眼在不同角度、不同位置观察虚像时，即移动人眼眼点后，人的视线可以绕开并远离虚像看到实际物体，在视觉上虚像与实际物体无法贴合显示，虚像与实际物体之间存在位置偏差，造成AR体验效果较差。
为解决这一问题，本申请实施例提供一种增强现实抬头显示成像方法、装置、设备以及存储介质，通过在对目标对象进行增强现实抬头显示成像时，获取抬头显示设备坐标系下当前人眼眼点的坐标，根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数确定用于进行成像的***面的参数，所确定的***面与虚像显示区域所在的平面共面，再根据当前人眼眼点坐标、***面的参数和目标对象的信息，生成目标对象的虚像，最后根据虚像显示区域中心点的坐标、虚像显示区域的参数和***面的参数，在虚像显示区域上显示目标对象的虚像。本申请实施例中，由于目标对象的虚像是根据当前人眼眼点坐标、***面的参数以及目标对象的信息通过OpenGL成像生成的，根据OpenGL成像的原理，当前人眼眼点坐标与目标对象的连线与***面的交点即为目标对象的虚像所在的位置，因此通过OpenGL成像生成的目标对象的虚像是位于***面上的，且所生成的目标对象的虚像与目标对象之间没有位置偏差，再加上只有在当前人眼眼点的可视区域内的目标对象的虚像才能在虚像显示区域上显示，而***面与虚像显示区域是共面的，因此，对于在当前人眼眼点的可视区域内的目标对象而言，通过OpenGL成像生成的目标对象的虚像是位于虚像显示区域的，且所生成的目标对象的虚像与目标对象之间没有位置偏差，从而，在视觉上虚像与目标对象可以贴合显示，保证良好的AR体验效果。本申请实施例中，***面是根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数确定的，即就是说，随着当前人眼眼点移动，***面也在变化，但是***面与虚像显示区域一直是共面的，而只有在当前人眼眼点的可视区域内的目标对象的虚像才能在虚像显示区域上显示，因此可始终保持人眼眼点、虚像中的任一目标点和目标对象的目标点(该目标点与虚像中的任一目标点对应)共线，虚像与目标对象之间没有位置偏差。由于当前人眼眼点在移动，虚像显示区域不动，所以虚像在虚像显示区域上随着眼点移动而移动，视觉上表现为虚像与目标对象贴合显示，保证良好的AR体验效果。
接下来，对本申请实施例涉及的应用场景进行示例说明。
本申请实施例提供的增强现实抬头显示成像方法至少可以应用于下述应用场景中，下面结合附图进行说明。
示例性的，图1为本申请实施例提供的增强现实抬头显示成像方法的一种应用场景示意图，如图1所示，涉及抬头显示设备1和风挡玻璃2，抬头显示设备1可以包括投影装置、反射镜和投影镜3(如非球面镜)。在一实施例中，抬头显示设备1可以设置在汽车驾驶舱内，前挡风玻璃2与驾驶座椅相对设置，图1中的部分图像4是实际的AR显示效果图。抬头显示设备1用于生成虚像的光束，投影镜3用于反射该光束至风挡玻璃2，该光束经风挡玻璃2反射后进入驾驶员眼睛(即眼点)。驾驶员可从风挡玻璃2上看到显示的虚像。
可选的，抬头显示设备1可以是AR-HUD，AR-HUD投射到风挡玻璃2 上所呈现的虚像可以位于驾驶员视野正前方。AR-HUD相较于以往的HUD，除了可以投射汽车行驶过程中仪表显示的重要信息(如车速、导航信息、交通标志等信息)，还具有增强现实功能，虚像可跟随前车、行人、路口、行进方向导航箭头等不断变化的实景而改变。可选的，AR-HUD可在风挡玻璃2上呈现AR层和指示/标识层。
示例性的，图2为一种抬头显示设备的结构示意图，如图2所示，抬头显示设备可以包括投影镜、反射镜和投影仪，抬头显示设备投射到风挡玻璃上所呈现的虚像可以位于人眼视野正前方。
本申请实施例提供的增强现实抬头显示成像方法，可用于抬头显示设备 1，其中主要涉及到如何生成虚像和显示虚像的过程。本申请实施例提供的增强现实抬头显示成像方法，可使得虚像在虚像显示区域上随着眼点移动而移动，视觉上表现为虚像与目标对象贴合显示，保证良好的AR体验效果。
其中，本申请实施例中的眼点，是指驾驶员左、右眼点的中点，或者是驾驶员中心线与驾驶员左、右眼椭圆的中心连线的交点。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图3为本申请实施例提供的一种增强现实抬头显示成像方法的流程图，如图3所示，本实施例的方法可以包括：
S101、获取目标对象的信息。
具体地，目标对象是指待成像的实际物体或人物，如前车、行人、路口、路灯或行进方向导航箭头等等。可选的，目标对象的信息可以包括位置信息和属性信息，目标对象的位置信息可以是指目标对象的坐标，例如是在汽车坐标系下的三维坐标，目标对象的属性信息是指目标对象的类型，例如目标对象是行人、路标、路口、行进方向导航箭头或前车等。
S102、获取抬头显示设备坐标系下当前人眼眼点的坐标。
可选的，可以是通过传感器获取传感器坐标系下当前人眼眼点的坐标，然后根据传感器坐标系与抬头显示坐标系之间的旋转矩阵和平移矩阵，对传感器坐标系下当前人眼眼点的坐标进行旋转平移，得到抬头显示设备坐标系下当前人眼眼点的坐标。
在一种可实施的方式中，可以通过驾驶员监控***(Driver Monitor System，DMS)获取传感器坐标系下当前人眼眼点的坐标。可选的，本实施例中还可以使用其它传感器获取当前人眼眼点的坐标。
例如，传感器坐标系与抬头显示坐标系之间的旋转矩阵为R，平移矩阵是 T，可通过如下公式进行坐标转换：
其中，xdms、ydms、zdms为传感器坐标系下的当前人眼眼点坐标，xarhud、yarhud、 zarhud为抬头显示坐标系下的当前人眼眼点坐标。
S103、根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数，确定用于进行成像的***面的参数，***面与虚像显示区域所在的平面共面，虚像显示区域中心点的坐标和虚像显示区域的参数根据抬头显示设备的光机参数确定。
具体地，虚像显示区域中心点的坐标和虚像显示区域的参数根据抬头显示设备的光机参数确定，可以是根据抬头显示设备的光机参数确定出虚像显示区域中心点的坐标和虚像显示区域的参数后，将确定出的虚像显示区域中心点的坐标和虚像显示区域的参数存储。
可选的，根据抬头显示设备的光机参数确定出虚像显示区域中心点的坐标和虚像显示区域的参数，具体可以为：
S1、获取抬头显示设备的光机参数。
其中，抬头显示设备的光机参数包括虚像距离(Virtual Image Distance， VID)、视场角(Field angle of view，FOV)、下视角(Look down angle，LDA)、航向角和虚像显示区域所在平面的法线，还包括眼点坐标、旋转角(Roll)和光机成像部分的分辨率。下面结合图4详细说明抬头显示设备的光机参数中的一些参数。图4为本申请实施例提供的一种抬头显示设备的理论光机参数的示意图，如图4所示，本实施例中光机参数可以包括眼点坐标、虚像距离、虚像分辨率、视场角、下视角和航向角，其中，眼点坐标为图4中所示的“Eye”处的坐标(x,y,z)，虚像和虚像显示区域中心点如图4中所示，虚像距离为图4 中所示的VID，下视角为图4中所示的LDA。
具体地，获取抬头显示设备的光机参数，可以通过AR-HUD获取抬头显示设备的光机参数，获取的光机参数包括眼点坐标、虚像距离(VID)、虚像分辨率、视场角(FOV)、下视角(LDA)、航向角、虚像显示区域所在平面的法线和光机成像部分的分辨率。具体可使用设计值和测量两种方法，使用设计值要求无工差，或工差在可忽略范围。测量可采用机械臂拍照或人工标靶测量等。获取上述光机参数的方法本申请实施例不做限制。
需要说明的是，上述获取的光机参数中眼点坐标是理论的眼点坐标。
S2、根据眼点坐标、虚像距离、航向角和下视角，确定虚像显示区域中心点的坐标和虚像显示区域的参数。
具体地，所依据的眼点坐标为S1中获取的理论的眼点坐标，可通过如下公式计算得到虚像显示区域中心点的坐标：
虚像显示区域中心点的x轴坐标为：眼点坐标中的x轴坐标-VID。
虚像显示区域中心点的y轴坐标为：
虚像显示区域中心点的z轴坐标为：眼点坐标中的z轴坐标-
其中，VID为虚像距离，Yaw为航向角，LDA为下视角。
即就是，得到虚像显示区域中心点的坐标为：(眼点坐标中的x轴坐标 -VID，
眼点坐标中的z轴坐标-
)。
虚像显示区域的尺寸可根据眼点坐标、虚像显示区域中心点的坐标和视场角，通过如下公式计算得到：
虚像显示区域的宽度为：
虚像显示区域的高度为：
其中，P为虚像显示距离，虚像显示距离根据虚像显示区域中心点坐标与眼点坐标确定，具体可以为虚像显示区域中心点与眼点之间的距离，例如，眼点为Eye，虚像显示区域中心点为Target，则虚像显示距离为
FOVH为视场角的横向分量，FOVV为视场角的纵向分量。
虚像显示区域中心点坐标和虚像显示区域的尺寸得到后，即可根据虚像显示区域中心点坐标和虚像显示区域的尺寸得到虚像显示区域所在平面的法线，因此得到虚像显示区域的参数，虚像显示区域的参数包括虚像显示区域的尺寸和虚像显示区域所在平面的法线。
在一种可实施的方式中，***面的参数包括***面中心点的坐标和***面的尺寸，S103中根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数，确定用于进行成像的***面的参数，具体可以包括：
S1031、根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域所在平面的法线，确定当前人眼眼点在虚像显示区域所在平面的投影点的坐标，将当前人眼眼点在虚像显示区域所在平面的投影点的坐标确定为***面中心点的坐标。
具体来说，由于是将当前人眼眼点在虚像显示区域所在平面的投影点的坐标确定为***面中心点的坐标，从而可实现虚像显示区域所在的平面与***面共面。
可选的，S1031中根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域所在平面的法线，确定当前人眼眼点在虚像显示区域所在平面的投影点的坐标，具体可以为：
S10311、根据虚像显示区域所在平面的法线、虚像显示区域中心点的坐标和待确定的当前人眼眼点在虚像显示区域所在平面的投影点的坐标，构建虚像显示区域的平面方程。
其中，构建的虚像显示区域的平面方程可以为如下公式(1)所示：
a(B.x-C.x)+b(B.y-C.y)+c(B.z-C.z)＝0 (1)。
其中，a、b、c是虚像显示区域所在平面的法线，B.x、B.y和B.z为待确定的当前人眼眼点在虚像显示区域所在平面的投影点(假设为B点)的坐标， C.x、C.y和C.z为虚像显示区域中心点(假设为C点)的坐标。
S10312、根据虚像显示区域所在平面的法线、当前人眼眼点的坐标和待确定的当前人眼眼点在虚像显示区域所在平面的投影点的坐标，得到当前人眼眼点与当前人眼眼点在虚像显示区域所在平面的投影点构成的直线方程。
其中，当前人眼眼点与当前人眼眼点在虚像显示区域所在平面的投影点构成的直线方程可以为为如下公式(2)所示：
其中，Eye.x、Eye.y和Eye.z为当前人眼眼点的坐标，a、b、c是虚像显示区域所在平面的法线，t为待确定参数。
S10313、求解虚像显示区域的平面方程和直线方程，得到当前人眼眼点在虚像显示区域所在平面的投影点的坐标。
具体地，求解公式(1)所示的虚像显示区域的平面方程和公式(2)所示的直线方程，得到当前人眼眼点在虚像显示区域所在平面的投影点的坐标即为：(B.x，B.y，B.z)。
S1032、根据虚像显示区域的尺寸、虚像显示区域中心点的坐标和***面中心点的坐标，确定***面的尺寸。
可选的，S1032具体可以为：
根据虚像显示区域的尺寸、虚像显示区域中心点的坐标和***面中心点的坐标，通过如下公式得到***面的尺寸，***面的尺寸包括***面的宽度和高度：
***面的宽度为：2|BC|cosθ+虚像显示区域的宽度；
***面的高度为：2|BC|sinθ+虚像显示区域的高度；
其中，|BC|为虚像显示区域中心点C点和***面中心点B点构成的向量的模，θ为向量与***面的水平坐标轴之间的夹角。
S104、根据当前人眼眼点坐标、***面的参数和目标对象的信息，通过 OpenGL成像生成目标对象的虚像。
可选的，S104具体可以为：
S1041、根据当前人眼眼点坐标、虚像分辨率、***面中心点坐标、***面的尺寸和***面的法线，得到用于OpenGL成像的视锥体。
下面结合图5说明得到的用于OpenGL成像的视锥体，图5为本申请实施例提供的一种增强现实抬头显示成像方法中视锥体的示意图，如图5所示，用于OpenGL成像的视锥体是以当前人眼眼点为顶点、以远平面为底面的正四棱锥，虚像分辨率是通过上述步骤S1获取的，***面的尺寸即为***面的宽度和高度，***面距离为当前人眼眼点与***面中心点的距离，***面与远平面的距离以及***面距离可以相等，二者的值可以是抬头显示设备预设的值，例如***面距离为200米，即在距离人眼眼点200米内显示虚像。
S1042、根据目标对象的信息，使用视锥体生成目标对象的虚像。
具体地，目标对象的位置信息是指目标对象的坐标，例如是在汽车坐标系下的三维坐标，目标对象的属性信息是指目标对象的类型，例如目标对象是行人、路标、路口、行进方向导航箭头或前车等。在根据目标对象的信息，使用视锥体生成目标对象的虚像时，例如目标对象的类型时行进方向导航箭头，则目标对象的虚像为导航箭头，在生成目标对象的虚像时，是根据目标对象的坐标与当前人眼眼点坐标在***面成像。***面与远平面之间的空间区域为成像区域，目标对象位于成像区域时，可在***面上生成目标对象的虚像。
S105、根据虚像显示区域中心点的坐标、虚像显示区域的参数和***面的参数，在虚像显示区域上显示目标对象的虚像。
具体来说，通过S104生成目标对象的虚像后，要在虚像显示区域显示目标对象的虚像。需要说明的是，虚像显示区域是根据理论的眼点坐标设置的显示区域，由于人眼眼点移动，但是已设置的虚像显示区域是不变的，下面结合图6说明虚像显示区域与***面的关系，图6为本申请实施例提供的一种增强现实抬头显示成像方法中虚像显示区域与***面的关系示意图，如图6所示，图6中黑色区域为虚像显示区域，以当前人眼眼点为顶点构成的正四棱锥为视锥体，视锥体底面为远平面，中间的平面为***面，当前人眼眼点从理论眼点位置移动至其它位置后，本实施例中，对应的用于OpenGL成像的视锥体也发生了变化，如图6中所示，***面大于原来的虚像显示区域。需要说明的是，若当前人眼眼点与理论眼点重合，则本实施例中***面与虚像显示区域重合。
结合图6所示，通过S104生成目标对象的虚像后，目标对象的虚像的尺寸与***面的尺寸相同，而只有在当前人眼眼点的可视区域内的目标对象的虚像才能在虚像显示区域上显示，也就是说，位于当前人眼眼点的可视区域之外的对象生成的虚像是位于***面中除虚像显示区域之外的区域，因此，本实施例中需要对目标对象的虚像进行剪裁，得到与虚像显示区域重合的那部分虚像，下面给出剪裁额可实施方式。
在一种可实施的方式中，S105具体可以为：
S1051、根据虚像显示区域中心点的坐标和***面中心点的坐标，确定虚像显示区域中心点与***面中心点的位置关系。
S1052、根据虚像显示区域中心点与***面中心点的位置关系，从目标对象的虚像中剪裁出与虚像显示区域的尺寸相同的目标虚像，虚像显示区域的中心点为目标虚像的中心点。
S1053、在虚像显示区域上显示目标虚像。
进一步地，在一种可实施的方式中，S1051中根据虚像显示区域中心点的坐标和***面中心点的坐标，确定虚像显示区域中心点与***面中心点的位置关系，具体可以为：
以***面的左上角顶点为坐标原点，以坐标原点的右侧为u轴正方向、坐标原点的下方为v轴正方向建立uv坐标系，根据虚像显示区域中心点的坐标和***面中心点的坐标，确定虚像显示区域中心点与***面中心点的位置关系。
具体来说，虚像显示区域中心点与***面中心点的位置关系有5种，下面结合图7说明，图7为本申请实施例提供的一种增强现实抬头显示成像方法中虚像显示区域中心点与***面中心点的位置关系示意图，如图7所示以***面的左上角顶点为坐标原点，以坐标原点的右侧为u轴正方向、坐标原点的下方为v轴正方向建立uv坐标系，B点为***面中心点，C点为虚像显示区域中心点，u坐标轴为***面的水平坐标轴，v坐标为***面的垂直坐标轴，B点和C点之间有如图7所示的5种位置关系：
(a)：***面中心点(B点)位于虚像显示区域中心点(C点)的右下方。
(b)：***面中心点(B点)位于虚像显示区域中心点(C点)的右上方。
(c)：***面中心点(B点)位于虚像显示区域中心点(C点)的左上方。
(d)：***面中心点(B点)位于虚像显示区域中心点(C点)的左下方。
(e)***面中心点(B点)与虚像显示区域中心点(C点)重合。
相应地，S1052中根据虚像显示区域中心点与***面中心点的位置关系，从目标对象的虚像中剪裁出与虚像显示区域的尺寸相同的目标虚像，具体可以有以下五种方式：
方式一、若***面中心点位于虚像显示区域中心点的右下方，则从坐标原点开始剪裁，从目标对象的虚像中剪裁出目标虚像。如图7的(a)中，灰色部分为剪裁出的目标虚像。
方式二、若***面中心点位于虚像显示区域中心点的右上方，则从***面的第一坐标点开始剪裁，从目标对象的虚像中剪裁出目标虚像，第一坐标点为 (0，h-ih)，h为***面的高度，ih为虚像显示区域的高度。如图7的(b)中，灰色部分为剪裁出的目标虚像。
方式三、若***面中心点位于虚像显示区域中心点的左上方，则从***面的第二坐标点开始剪裁，从目标对象的虚像中剪裁出目标虚像，第二坐标点为 (w-iw，h-ih)，w为***面的宽度，iw为虚像显示区域的宽度.如图7的(c) 中，灰色部分为剪裁出的目标虚像。
方式四、若***面中心点位于虚像显示区域中心点的左下方，则从***面的第三坐标点开始剪裁，从目标对象的虚像中剪裁出目标虚像，第三坐标点为 (w-iw，0)。如图7的(d)中，灰色部分为剪裁出的目标虚像。
方式五、若***面中心点与虚像显示区域中心点重合，则将目标对象的虚像确定为目标虚像。如图7的(e)中，灰色部分为目标虚像。
下面结合图8详细说明本申请实施例提供的增强现实抬头显示成像方法的原理，图8为现有的一种使用OpenGL成像技术构建的视锥体与使用本申请的方法构建的视锥体的对比示意图，如图8所示，视锥体均为剖面图，根据理论眼点构建的视锥体为图8中的虚线1勾勒的视锥体1，视锥体1中，离坐标原点最近的第一个竖线所示的实际区域为视锥体1的***面，即为本申请实施例中所称的虚像显示区域。当眼点移动后，如移动至图8中所示的当前人眼眼点位置处，使用现有技术构建的视锥体为虚线2勾勒的视锥体2，可以看见视锥体2中，***面2相对于视椎体1中的***面(即虚像显示区域)发生了旋转，***面2与虚像显示区域不共面，因此在***面2成像后显示在视椎体1 中的***面的图像是错误的图像，目标对象的虚像与目标对象之间存在位置偏差。而通过使用本申请实施例提供的上述增强现实抬头显示成像方法，构建的视锥体为图8中所示的实线勾勒的视锥体3，***面3与虚像显示区域共面，通过视锥体3根据OpenGL成像的原理，若目标对象位于视锥体3的成像区域，成像区域即为***面3与远平面3之间构成的空间区域，当前人眼眼点坐标与目标对象的连线与***面3的交点即为目标对象的虚像所在的位置，因此通过 OpenGL成像生成的目标对象的虚像是位于***面上的，且所生成的目标对象的虚像与目标对象之间没有位置偏差。另外，如图8中所示，从当前人眼眼点出发，由虚线3勾勒的三角区域内，梯形区域为前人眼眼点的可视区域，只有在当前人眼眼点的可视区域内的目标对象的虚像才能在虚像显示区域上显示，而***面与虚像显示区域是共面的，因此，对于在当前人眼眼点的可视区域内的目标对象而言，通过OpenGL成像生成的目标对象的虚像是位于虚像显示区域的，且所生成的目标对象的虚像与目标对象之间没有位置偏差，从而，在视觉上虚像与目标对象可以贴合显示，保证良好的AR体验效果。本申请实施例中，***面是根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数确定的，即就是说，随着当前人眼眼点移动，***面也在变化，但是***面与虚像显示区域一直是共面的，而只有在当前人眼眼点的可视区域内的目标对象的虚像才能在虚像显示区域上显示，因此可始终保持人眼眼点、虚像中的任一目标点和目标对象的目标点(该目标点与虚像中的任一目标点对应)共线，虚像与目标对象之间没有位置偏差。由于当前人眼眼点在移动，虚像显示区域不动，所以虚像在虚像显示区域上随着眼点移动而移动，视觉上表现为虚像与目标对象贴合显示，保证良好的AR体验效果。
下面结合图9-图11说明不同情况下虚像与目标对象的位置关系。
图9为当前人眼眼点位于理论眼点时虚像的显示效果示意图，如图9所示，以目标对象为一个点为例，经过增强现实抬头显示成像方法成像后，虚像、目标对象与当前人眼眼点在一条直线上，因此目标对象与虚像之间没有位置偏差，虚像与目标对象贴合显示。
当前人眼眼点从理论眼点位置移动后，即为图7中除e之外所示的情形，若使用现有的AR-HUD技术成像，则会出现如图10所示的情况，图10为一种虚像的显示效果示意图，如图10所示，当前人眼眼点移动至图10所示的位置时，以目标对象为一个点为例，现有的AR-HUD技术成像得到的眼点、虚像与目标对象不在一条直线上，人的视线可以绕开并远离虚像看到目标对象，目标对象与虚像之间有位置偏差。通过使用本申请实施例提供的上述增强现实抬头显示成像方法，可达到如图11所示的显示效果，图11为本申请实施例提供的另一种虚像的显示效果示意图，如图11所示，以目标对象为一个点为例，经过增强现实抬头显示成像方法成像后，虚像、目标对象与当前人眼眼点在一条直线上，因此目标对象与虚像之间没有位置偏差，虚像与目标对象贴合显示。
本实施例提供的增强现实抬头显示成像方法，通过在对目标对象进行增强现实抬头显示成像时，获取抬头显示设备坐标系下当前人眼眼点的坐标，根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数确定用于进行成像的***面的参数，所确定的***面与虚像显示区域所在的平面共面，再根据当前人眼眼点坐标、***面的参数和目标对象的信息，生成目标对象的虚像，最后根据虚像显示区域中心点的坐标、虚像显示区域的参数和***面的参数，在虚像显示区域上显示目标对象的虚像。由于目标对象的虚像是根据当前人眼眼点坐标、***面的参数以及目标对象的信息通过OpenGL成像生成的，根据OpenGL成像的原理，当前人眼眼点坐标与目标对象的连线与***面的交点即为目标对象的虚像所在的位置，因此通过OpenGL成像生成的目标对象的虚像是位于***面上的，且所生成的目标对象的虚像与目标对象之间没有位置偏差，再加上只有在当前人眼眼点的可视区域内的目标对象的虚像才能在虚像显示区域上显示，而***面与虚像显示区域是共面的，因此，对于在当前人眼眼点的可视区域内的目标对象而言，通过OpenGL成像生成的目标对象的虚像是位于虚像显示区域的，且所生成的目标对象的虚像与目标对象之间没有位置偏差，从而，在视觉上虚像与目标对象可以贴合显示，保证良好的AR 体验效果。
以下为本申请装置实施例，可以用于执行本申请上述方法实施例。对于本申请装置实施例中未披露的细节，可参考本申请上述方法实施例。
图12为本申请实施例提供的一种增强现实抬头显示成像装置的结构示意图，如图12所示，本实施例的装置可以包括：第一获取模块11、第二获取模块12、确定模块13、生成模块14和显示模块15。
其中，第一获取模块11用于获取目标对象的信息；
第二获取模块12用于获取抬头显示设备坐标系下当前人眼眼点的坐标；
确定模块13用于根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域的参数，确定用于进行成像的***面的参数，***面与虚像显示区域所在的平面共面，虚像显示区域中心点的坐标和虚像显示区域的参数根据抬头显示设备的光机参数确定；
生成模块14用于根据当前人眼眼点坐标、***面的参数和目标对象的信息，生成目标对象的虚像；
显示模块15用于根据虚像显示区域中心点的坐标、虚像显示区域的参数和***面的参数，在虚像显示区域上显示目标对象的虚像。
可选的，虚像显示区域的参数包括虚像显示区域所在平面的法线和虚像显示区域的尺寸，***面的参数包括***面中心点的坐标和***面的尺寸，确定模块13用于：
根据当前人眼眼点的坐标、虚像显示区域中心点的坐标和虚像显示区域所在平面的法线，确定当前人眼眼点在虚像显示区域所在平面的投影点的坐标，将当前人眼眼点在虚像显示区域所在平面的投影点的坐标确定为***面中心点的坐标；
根据虚像显示区域的尺寸、虚像显示区域中心点的坐标和***面中心点的坐标，确定***面的尺寸。
可选的，确定模块13具体用于：
根据虚像显示区域所在平面的法线、虚像显示区域中心点的坐标和待确定的当前人眼眼点在虚像显示区域所在平面的投影点的坐标，构建虚像显示区域的平面方程；
根据虚像显示区域所在平面的法线、当前人眼眼点的坐标和待确定的当前人眼眼点在虚像显示区域所在平面的投影点的坐标，得到当前人眼眼点与当前人眼眼点在虚像显示区域所在平面的投影点构成的直线方程；
求解虚像显示区域的平面方程和直线方程，得到当前人眼眼点在虚像显示区域所在平面的投影点的坐标。
可选的，确定模块13具体用于：
根据虚像显示区域的尺寸、虚像显示区域中心点的坐标和***面中心点的坐标，通过如下公式得到***面的尺寸，***面的尺寸包括***面的宽度和高度：
***面的宽度为：2|BC|cosθ+虚像显示区域的宽度；
***面的高度为：2|BC|sinθ+虚像显示区域的高度；
其中，|BC|为虚像显示区域中心点C点和***面中心点B点构成的向量的模，θ为向量与***面的水平坐标轴之间的夹角。
可选的，生成模块14用于：
根据当前人眼眼点坐标、虚像分辨率、***面中心点坐标、***面的尺寸和***面的法线，得到用于OpenGL成像的视锥体；
根据目标对象的信息，使用视锥体生成目标对象的虚像。
可选的，显示模块15用于：
根据虚像显示区域中心点的坐标和***面中心点的坐标，确定虚像显示区域中心点与***面中心点的位置关系；
根据虚像显示区域中心点与***面中心点的位置关系，从目标对象的虚像中剪裁出与虚像显示区域的尺寸相同的目标虚像，虚像显示区域的中心点为目标虚像的中心点；
在虚像显示区域上显示目标虚像。
可选的，显示模块15具体用于：
以***面的左上角顶点为坐标原点，以坐标原点的右侧为u轴正方向、坐标原点的下方为v轴正方向建立uv坐标系；
根据虚像显示区域中心点的坐标和***面中心点的坐标，确定虚像显示区域中心点与***面中心点的位置关系；
若***面中心点位于虚像显示区域中心点的右下方，则从坐标原点开始剪裁，从目标对象的虚像中剪裁出目标虚像；
若***面中心点位于虚像显示区域中心点的右上方，则从***面的第一坐标点开始剪裁，从目标对象的虚像中剪裁出目标虚像，第一坐标点为(0，h-ih)， h为***面的高度，ih为虚像显示区域的高度；
若***面中心点位于虚像显示区域中心点的左上方，则从***面的第二坐标点开始剪裁，从目标对象的虚像中剪裁出目标虚像，第二坐标点为(w-iw， h-ih)，w为***面的宽度，iw为虚像显示区域的宽度；
若***面中心点位于虚像显示区域中心点的左下方，则从***面的第三坐标点开始剪裁，从目标对象的虚像中剪裁出目标虚像，第三坐标点为(w-iw， 0)；
若***面中心点与虚像显示区域中心点重合，则将目标对象的虚像确定为目标虚像。
可选的，第二获取模块12用于：
通过传感器获取传感器坐标系下当前人眼眼点的坐标；
根据传感器坐标系与抬头显示坐标系之间的旋转矩阵和平移矩阵，对传感器坐标系下当前人眼眼点的坐标进行旋转平移，得到抬头显示设备坐标系下当前人眼眼点的坐标。
本申请实施例提供的装置，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit， ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上*** (system-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图13为本申请实施例提供的一种抬头显示设备的结构示意图，如图13 所示，本实施例的抬头显示设备可以包括处理器21和存储器22。
其中，存储器22用于存储处理器21的可执行指令。
处理器21配置为经由执行可执行指令来执行上述方法实施例中的增强现实抬头显示成像方法。
可选地，存储器22既可以是独立的，也可以跟处理器21集成在一起。
当存储器22是独立于处理器21之外的器件时，本实施例的抬头显示设备还可以包括：
总线23，用于连接存储器22和处理器21。
可选地，本实施例的抬头显示设备还可以包括：通信接口24，该通信接口24可以通过总线23与处理器21连接。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当其在计算机上运行时，使得计算机执行如上述实施例的增强现实抬头显示成像方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上实施例中的增强现实抬头显示成像方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种增强现实抬头显示成像方法，其特征在于，包括：
获取目标对象的信息；
获取抬头显示设备坐标系下当前人眼眼点的坐标；
根据所述当前人眼眼点的坐标、虚像显示区域中心点的坐标和所述虚像显示区域的参数，确定用于进行成像的***面的参数，所述***面与所述虚像显示区域所在的平面共面，所述虚像显示区域中心点的坐标和所述虚像显示区域的参数根据抬头显示设备的光机参数确定；
根据所述当前人眼眼点坐标、所述***面的参数和所述目标对象的信息，通过OpenGL成像生成所述目标对象的虚像；
根据所述虚像显示区域中心点的坐标、所述虚像显示区域的参数和所述***面的参数，在所述虚像显示区域上显示所述目标对象的虚像。
2.根据权利要求1所述的方法，其特征在于，所述虚像显示区域的参数包括所述虚像显示区域所在平面的法线和所述虚像显示区域的尺寸，所述***面的参数包括所述***面中心点的坐标和所述***面的尺寸，所述根据所述当前人眼眼点的坐标、虚像显示区域中心点的坐标和所述虚像显示区域的参数，确定用于进行成像的***面的参数，包括：
根据所述当前人眼眼点的坐标、所述虚像显示区域中心点的坐标和所述虚像显示区域所在平面的法线，确定所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，将所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标确定为所述***面中心点的坐标；
根据所述虚像显示区域的尺寸、所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述***面的尺寸。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前人眼眼点的坐标、所述虚像显示区域中心点的坐标和所述虚像显示区域所在平面的法线，确定所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，包括：
根据所述虚像显示区域所在平面的法线、所述虚像显示区域中心点的坐标和待确定的所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，构建虚像显示区域的平面方程；
根据所述虚像显示区域所在平面的法线、所述当前人眼眼点的坐标和待确定的所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标，得到所述当前人眼眼点与所述当前人眼眼点在所述虚像显示区域所在平面的投影点构成的直线方程；
求解所述虚像显示区域的平面方程和所述直线方程，得到所述当前人眼眼点在所述虚像显示区域所在平面的投影点的坐标。
4.根据权利要求2所述的方法，其特征在于，所述根据所述虚像显示区域的尺寸、所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述***面的尺寸，包括：
根据所述虚像显示区域的尺寸、所述虚像显示区域中心点的坐标和所述***面中心点的坐标，通过如下公式得到所述***面的尺寸，所述***面的尺寸包括所述***面的宽度和高度：
所述***面的宽度为：2|BC|cosθ+所述虚像显示区域的宽度；
所述***面的高度为：2|BC|sinθ+所述虚像显示区域的高度；
其中，|BC|为所述虚像显示区域中心点C点和所述***面中心点B点构成的向量的模，θ为所述向量与所述***面的水平坐标轴之间的夹角。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述***面的参数包括所述***面中心点的坐标和所述***面的尺寸，所述根据所述当前人眼眼点坐标、所述***面的参数和所述目标对象的信息，通过OpenGL成像生成所述目标对象的虚像，包括：
根据所述当前人眼眼点坐标、虚像分辨率、所述***面中心点坐标、所述***面的尺寸和所述***面的法线，得到用于OpenGL成像的视锥体；
根据所述目标对象的信息，使用所述视锥体生成所述目标对象的虚像。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述虚像显示区域中心点的坐标、所述虚像显示区域的参数和所述***面的参数，在所述虚像显示区域上显示所述目标对象的虚像，包括：
根据所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述虚像显示区域中心点与所述***面中心点的位置关系；
根据所述虚像显示区域中心点与所述***面中心点的位置关系，从所述目标对象的虚像中剪裁出与所述虚像显示区域的尺寸相同的目标虚像，所述虚像显示区域的中心点为所述目标虚像的中心点；
在所述虚像显示区域上显示所述目标虚像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述虚像显示区域中心点与所述***面中心点的位置关系，包括：
以所述***面的左上角顶点为坐标原点，以所述坐标原点的右侧为u轴正方向、所述坐标原点的下方为v轴正方向建立uv坐标系；
根据所述虚像显示区域中心点的坐标和所述***面中心点的坐标，确定所述虚像显示区域中心点与所述***面中心点的位置关系；
所述根据所述虚像显示区域中心点与所述***面中心点的位置关系，从所述目标对象的虚像中剪裁出与所述虚像显示区域的尺寸相同的目标虚像，包括：
若所述***面中心点位于所述虚像显示区域中心点的右下方，则从所述坐标原点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像；
若所述***面中心点位于所述虚像显示区域中心点的右上方，则从所述***面的第一坐标点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像，所述第一坐标点为(0，h-ih)，所述h为所述***面的高度，所述ih为所述虚像显示区域的高度；
若所述***面中心点位于所述虚像显示区域中心点的左上方，则从所述***面的第二坐标点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像，所述第二坐标点为(w-iw，h-ih)，所述w为所述***面的宽度，所述iw为所述虚像显示区域的宽度；
若所述***面中心点位于所述虚像显示区域中心点的左下方，则从所述***面的第三坐标点开始剪裁，从所述目标对象的虚像中剪裁出所述目标虚像，所述第三坐标点为(w-iw，0)；
若所述***面中心点与所述虚像显示区域中心点重合，则将所述目标对象的虚像确定为所述目标虚像。
8.根据权利要求1-4任一项所述的方法，其特征在于，所述获取抬头显示设备坐标系下当前人眼眼点的坐标，包括：
通过传感器获取传感器坐标系下当前人眼眼点的坐标；
根据所述传感器坐标系与所述抬头显示坐标系之间的旋转矩阵和平移矩阵，对所述传感器坐标系下当前人眼眼点的坐标进行旋转平移，得到所述抬头显示设备坐标系下当前人眼眼点的坐标。
9.一种增强现实抬头显示成像装置，其特征在于，包括：
第一获取模块，用于获取目标对象的信息；
第二获取模块，用于获取抬头显示设备坐标系下当前人眼眼点的坐标；
确定模块，用于根据所述当前人眼眼点的坐标、虚像显示区域中心点的坐标和所述虚像显示区域的参数，确定用于进行成像的***面的参数，所述***面与所述虚像显示区域所在的平面共面，所述虚像显示区域中心点的坐标和所述虚像显示区域的参数根据抬头显示设备的光机参数确定；
生成模块，用于根据所述当前人眼眼点坐标、所述***面的参数和所述目标对象的信息，生成所述目标对象的虚像；
显示模块，用于根据所述虚像显示区域中心点的坐标、所述虚像显示区域的参数和所述***面的参数，在所述虚像显示区域上显示所述目标对象的虚像。
10.一种抬头显示设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的增强现实抬头显示成像方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的增强现实抬头显示成像方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211085946.3A CN115665400B (zh) | 2022-09-06 | 2022-09-06 | 增强现实抬头显示成像方法、装置、设备以及存储介质 |
| EP23195681.4A EP4343408A1 (en) | 2022-09-06 | 2023-09-06 | Augmented reality-head up display imaging methods and apparatuses, devices, and storage media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211085946.3A CN115665400B (zh) | 2022-09-06 | 2022-09-06 | 增强现实抬头显示成像方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115665400A true CN115665400A (zh) | 2023-01-31 |
| CN115665400B CN115665400B (zh) | 2024-05-28 |
Family
ID=84983867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211085946.3A Active CN115665400B (zh) | 2022-09-06 | 2022-09-06 | 增强现实抬头显示成像方法、装置、设备以及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP4343408A1 (zh) |
| CN (1) | CN115665400B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及*** |
| JP2019032243A (ja) * | 2017-08-08 | 2019-02-28 | アルパイン株式会社 | ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法 |
| CN112242009A (zh) * | 2020-10-19 | 2021-01-19 | 浙江水晶光电科技股份有限公司 | 显示效果融合方法、***、存储介质及主控单元 |
| CN112581629A (zh) * | 2020-12-09 | 2021-03-30 | 中国科学院深圳先进技术研究院 | 增强现实显示方法、装置、电子设备及存储介质 |
| CN113079352A (zh) * | 2021-03-23 | 2021-07-06 | 东风汽车集团股份有限公司 | 增强现实平视显示器倒车显示方法及*** |
| CN114022565A (zh) * | 2021-10-28 | 2022-02-08 | 虹软科技股份有限公司 | 用于显示设备的对齐方法及对齐装置、车载显示*** |
| CN114200675A (zh) * | 2021-12-09 | 2022-03-18 | 奇瑞汽车股份有限公司 | 显示方法、装置、抬头显示***和车辆 |
| CN114332429A (zh) * | 2021-12-31 | 2022-04-12 | 北京绵白糖智能科技有限公司 | 增强现实ar场景的展示方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019097918A1 (ja) * | 2017-11-14 | 2019-05-23 | マクセル株式会社 | ヘッドアップディスプレイ装置およびその表示制御方法 |
-
2022
- 2022-09-06 CN CN202211085946.3A patent/CN115665400B/zh active Active
-
2023
- 2023-09-06 EP EP23195681.4A patent/EP4343408A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及*** |
| JP2019032243A (ja) * | 2017-08-08 | 2019-02-28 | アルパイン株式会社 | ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法 |
| CN112242009A (zh) * | 2020-10-19 | 2021-01-19 | 浙江水晶光电科技股份有限公司 | 显示效果融合方法、***、存储介质及主控单元 |
| CN112581629A (zh) * | 2020-12-09 | 2021-03-30 | 中国科学院深圳先进技术研究院 | 增强现实显示方法、装置、电子设备及存储介质 |
| CN113079352A (zh) * | 2021-03-23 | 2021-07-06 | 东风汽车集团股份有限公司 | 增强现实平视显示器倒车显示方法及*** |
| CN114022565A (zh) * | 2021-10-28 | 2022-02-08 | 虹软科技股份有限公司 | 用于显示设备的对齐方法及对齐装置、车载显示*** |
| CN114200675A (zh) * | 2021-12-09 | 2022-03-18 | 奇瑞汽车股份有限公司 | 显示方法、装置、抬头显示***和车辆 |
| CN114332429A (zh) * | 2021-12-31 | 2022-04-12 | 北京绵白糖智能科技有限公司 | 增强现实ar场景的展示方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115665400B (zh) | 2024-05-28 |
| EP4343408A1 (en) | 2024-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6304628B2 (ja) | 表示装置および表示方法 | |
| US9563981B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5397373B2 (ja) | 車両用画像処理装置、車両用画像処理方法 | |
| JP5369465B2 (ja) | 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム | |
| CN112655024B (zh) | 一种图像标定方法及装置 | |
| US20120235805A1 (en) | Information display apparatus and information display method | |
| JP2017220923A (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| KR20190012630A (ko) | 이미지 처리 방법 및 이미지 처리 장치 | |
| JP2013024662A (ja) | ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体 | |
| JP2008048345A (ja) | 画像処理装置並びに視界支援装置及び方法 | |
| CN109462750A (zh) | 一种抬头显示***、信息显示方法、装置及介质 | |
| CN111664839B (zh) | 车载抬头显示虚像距离测量方法 | |
| WO2018134897A1 (ja) | 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法 | |
| CN112242009A (zh) | 显示效果融合方法、***、存储介质及主控单元 | |
| KR102652943B1 (ko) | 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치 | |
| KR20220022340A (ko) | 컨텐츠를 시각화하는 장치 및 방법 | |
| CN115665400B (zh) | 增强现实抬头显示成像方法、装置、设备以及存储介质 | |
| CN107784693B (zh) | 一种信息处理方法和装置 | |
| JP6385621B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
| CN115409973A (zh) | 增强现实抬头显示成像方法、装置、设备以及存储介质 | |
| CN115097628B (zh) | 一种行车信息显示方法、装置及*** | |
| JP7434894B2 (ja) | 車両用表示装置 | |
| CN117162777B (zh) | 内容呈现方法、装置、设备及存储介质 | |
| WO2023120603A1 (ja) | 撮像装置および画像処理方法 | |
| JP2022077138A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |