CN111476104B - 动态眼位下ar-hud图像畸变矫正方法、装置、*** - Google Patents

动态眼位下ar-hud图像畸变矫正方法、装置、*** Download PDF

Info

Publication number
CN111476104B
CN111476104B CN202010187422.XA CN202010187422A CN111476104B CN 111476104 B CN111476104 B CN 111476104B CN 202010187422 A CN202010187422 A CN 202010187422A CN 111476104 B CN111476104 B CN 111476104B
Authority
CN
China
Prior art keywords
eye position
image
eye
virtual
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010187422.XA
Other languages
English (en)
Other versions
CN111476104A (zh
Inventor
李银国
周中奎
罗啟飞
史豪豪
李科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010187422.XA priority Critical patent/CN111476104B/zh
Publication of CN111476104A publication Critical patent/CN111476104A/zh
Application granted granted Critical
Publication of CN111476104B publication Critical patent/CN111476104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种动态眼位下AR‑HUD图像畸变矫正方法、装置、***，属于图像处理技术领域，包括步骤：在眼位可调整的空间范围内选取若干眼位；分别建立由投影虚像平面上的点向原输入图像像平面上的点的映射关系；对于当前时刻处于EyeBox内的某个眼位，利用其与已选定的眼位的相对关系，估计其线性权系数，并利用此同等的权系数，估计出在当前眼位下由虚像面上的每一点到原输入图像中点的映射关系，由此求出应输入的像平面中的图像，从而达到畸变校正的效果。本发明解决了驾驶员眼部位置不同所看到的HUD虚像畸变不同的问题，动态眼位下AR‑HUD虚像畸变矫正精度高、准确度高。

Description

动态眼位下AR-HUD图像畸变矫正方法、装置、***
技术领域
本发明属于图像处理技术领域，涉及一种动态眼位下AR-HUD图像畸变矫正方法、装置、***。
背景技术
根据统计资料表明，驾驶员视线从车辆行驶前方转移到仪表盘，获取仪表信息后重新回到前方视野，大概需要4～7秒的时间。这段时间驾驶员不能获取前方环境信息，存在着巨大的安全隐患。增强现实抬头显示器(AR-HUD)利用增强现实技术将车速、导航、驾驶辅助***的状态、周边环境状况等信息合理地叠加显示在驾驶员的视野区域内，为驾驶员提供更加直观和逼真的信息，增强驾驶员的环境感知能力，不需要或大量减少驾驶员视线在路面与仪表盘之间的转换，使驾驶员将注意力更多集中在前方路面上，提高驾驶安全。因此AR-HUD技术具有重要的应用价值。由于AR-HUD自身光学***设计制造误差以及挡风玻璃曲面曲率不均衡等原因，使得AR-HUD投射到汽车挡风玻璃上的图像发生畸变，而且所看到的虚像图像也会随着观察者眼位的动态变化而产生不同的扭曲变形形态。由于观察者看到的虚像形成畸变的环节和成因较为复杂，AR-HUD图像的动态畸变矫正难度较大，因此，AR-HUD的图像动态畸变矫正已成为AR-HUD应用效果的关键，是AR-HUD技术的主要难点之一。
目前工程应用中的AR-HUD图像矫正主要采用两种途径：其一是通过调整光学***改善输出虚像图像的畸变，但是其加工要求高，灵活性差，成本昂贵，并且只能缓解光学***引起的畸变，对于前档玻璃曲率不均衡造成的观察者眼位下AR-HUD图像畸变是无法适应的；另一种方法是通过软件算法进行图像畸变矫正，形成预畸变图像，以达到畸变矫正的目的，其算法复杂，但易于工程实现，灵活性强、成本低。
目前基于软件算法的畸变校正方法均只考虑简单的情形，即固定眼位情况下单一视点AR-HUD图像实现畸变矫正。目前，仍没有能够实时检测驾驶员的眼位空间坐标，计算原图像与虚拟投影屏幕的映射关系，对期望观测到的虚像进行预畸变处理，从而使驾驶员从不同位置所看到AR-HUD投影虚像都能还原获得真实的成像效果的方法。
发明内容
有鉴于此，本发明的目的在于解决现有技术无法实现多眼位下AR-HUD图像动态畸变矫正的问题，提供一种动态眼位下AR-HUD图像畸变矫正方法、装置、***。
为达到上述目的，一方面本发明提供如下技术方案：
一种动态眼位下AR-HUD图像畸变矫正方法，包括以下步骤：
S1：分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；所述眼位为两眼中间位置；所述空间坐标，其坐标系以驾驶员正坐平视前方为Y轴，左眼到右眼方向为X轴，正上方为Z轴；
S2：以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像，获得K个虚像；
S3：分别基于所述K个眼位空间坐标中各眼位空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集；
S4：对于所述K个坐标集中每一个坐标集，利用线性插值方法获取对应的当前眼位下虚像到输入图像的逆映射关系；
S5：基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表；
S6：通过瞳孔追踪算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，进行AR-HUD视觉图像畸变矫正。
进一步，在所述步骤S1中，对于K个设定眼位中的每一个眼位，将双目相机置于当前眼位，并通过标定板对所述双目相机进行标定，获得当前眼位空间坐标。
进一步，在所述步骤S3中，具体包括以下步骤：
S31：分别通过标定的双目相机获取K个眼位中每一个眼位对应的输入图像的虚像图片；
S32：提取所述输入图像的虚像图片的特征点，并通过双目相机空间点测量方法获取各特征点的空间坐标；
S33：基于所述各特征点的空间坐标的Y平均值设定所述虚像等效平面的Y值，并获取所述输入图像中各特征点在各眼位下虚像等效平面中对应的坐标。
进一步，在所述步骤S4中，具体包括以下步骤：
S41：将所述各特征点在所述虚像等效平面中分布区域内的最大内接矩形作为虚拟投影屏幕；
S42：分别获取所述虚拟投影屏幕中各特征点之外的每一个像素点P的3个邻近特征点，通过基于临近3特征点凸组合的线性插值法获取像素点P在虚拟投影屏幕中的坐标与3个临近特征点之间的权值；
S43：基于P点的3个邻近特征点在虚像中的坐标及其空间坐标、像素点P在虚拟投影屏幕中的坐标及其与3个临近特征点之间的权值，获取P点在所述输入图像中的坐标，获得当前眼位下虚像到输入图像的逆映射关系。
进一步，步骤S42具体包括以下步骤：
首先，列出像素点P在虚拟投影屏幕中的坐标表达式：
P(x，y，z)＝α1P1(x1，y1，z1)+α2P2(x2，y2，z2)+α3P3(x2，y2，z2)
其中，P1、P2、P3为像素点P周围与其最邻近的3个特征点，(x，y，z)为像素点P在虚像中的坐标，(x1，y1，z1)、(x2，y2，z2)、(x2，y2，z2)分别为特征点P1、P2、P3的空间坐标，α1、α2、α3分别为特征点P1、P2、P3对应的权重；
通过公式转换，获得像素点P在虚拟投影屏幕中的坐标与3个临近特征点之间的权值：
Figure BDA0002414676050000031
其中，
Figure BDA0002414676050000032
分别为像素点P周围与其最邻近的3个特征点P1、P2、P3的空间坐标，
Figure BDA0002414676050000033
为像素点P在虚像中的坐标，α1、α2、α3分别为特征点P1、P2、P3对应的权重。
进一步，步骤S43中，所述P点在所述输入图像中的坐标为：
Figure BDA0002414676050000034
其中，
Figure BDA0002414676050000035
为像素点P在输入图像中的坐标，(u1，v1)、(u2，v2)、(u3，v3)分别为特征点P1、P2、P3的空间坐标；
所有像素点在虚拟投影屏幕中的坐标及其在输入图像中的坐标的关系表达式，即为虚像到输入图像的逆映射关系。
进一步，步骤S5中任意眼位的三点凸组合线性插值为：
Figure BDA0002414676050000036
其中，
Figure BDA0002414676050000037
代表K个设定眼位形成的眼位平面中任意点E的空间坐标，
Figure BDA0002414676050000038
Figure BDA0002414676050000041
为E的邻近眼位E1、E2、E3的空间坐标，
Figure BDA0002414676050000044
为E1、E2、E3的权重；
眼位E下任意点Q在虚像、输入图像中坐标的对应关系为：
Figure BDA0002414676050000042
其中，
Figure BDA0002414676050000043
为Q在输入图像中的坐标，(u1，v1)、(u2，v2)、(u3，v3)分别为Q点在眼位E1、E2、E3下的坐标。
另一方面，本发明提供一种动态眼位下AR-HUD图像畸变矫正***，包括眼位标定模块、点阵图及虚像获取模块、坐标对应模块、单眼位线性插值模块、多眼位线性插值模块、畸变矫正模块、输出模块；
所述眼位标定模块，配置为分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；所述眼位为两眼中间位置；所述空间坐标，其坐标系以驾驶员正坐平视前方为Y轴，左眼到右眼方向为X轴，正上方为Z轴；
所述点阵图及虚像获取模块，配置为以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像，获得K个虚像；
所述坐标对应模块，配置为分别基于所述K个眼位空间坐标中各眼位空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集；
所述单眼位线性插值模块，配置为对于K个坐标集中每一个坐标集，利用线性插值方法获取对应的当前眼位下虚像到输入图像的逆映射关系；
所述多眼位线性插值模块，配置为基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表；
所述输出模块，配置为输出畸变矫正后的AR-HUD视觉图像。
本发明的第三方面，提出了一种处理***，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的动态眼位下AR-HUD图像畸变矫正方法。
本发明的第四方面，提供一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的动态眼位下AR-HUD图像畸变矫正方法。
本发明的有益效果在于：
(1)本发明动态眼位下AR-HUD图像畸变矫正方法，通过标定EyeBox范围内多个眼位下HUD实际屏幕与虚拟投影屏幕像素间的映射关系，形成多眼位映射表，利用任意眼位的三点凸组合线性插值方法，可获取EyeBox范围内任意眼位下HUD实际屏幕与虚拟投影屏幕像素间的映射关系，解决了驾驶员眼部位置不同，所看到的HUD虚像畸变不同的问题，充分体现了动态眼位、动态虚像畸变的真实场景，配合合理的计算方法和程序设计，提高了动态眼位下AR-HUD虚像去畸变效果。
(2)本发明动态眼位下AR-HUD图像畸变矫正方法，利用虚像预畸变四点线性插值方法，实现了动态眼位中单个眼位下的高精度、高准确度的AR-HUD虚像畸变矫正。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述动态眼位下AR-HUD图像畸变矫正方法的流程示意图；
图2为本发明所述动态眼位下AR-HUD图像畸变矫正方法一种实施例的HUD成像过程示意图；
图3为本发明所述动态眼位下AR-HUD图像畸变矫正方法一种实施例的规格化点阵图及其对应的虚像；
图4为本发明所述动态眼位下AR-HUD图像畸变矫正方法一种实施例的临近3特征点凸组合示意图；
图5为本发明所述动态眼位下AR-HUD图像畸变矫正方法一种实施例的EyeBox设定眼位示意图；
图6为本发明所述动态眼位下AR-HUD图像畸变矫正方法一种实施例的固定眼位畸变矫正与本发明方法畸变矫正效果对比图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明的一种动态眼位下AR-HUD图像畸变矫正方法，该图像畸变矫正方法包括：
步骤S10，分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；所述眼位为两眼中间位置；所述空间坐标，其坐标系以驾驶员正坐平视前方为Y轴，左眼到右眼方向为X轴，正上方为Z轴；
步骤S20，以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像，获得K个虚像；
步骤S30，分别基于所述K个眼位空间坐标中各眼位空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集；
步骤S40，对于所述K个坐标集中每一个坐标集，利用线性插值方法获取对应的当前眼位下虚像到输入图像的逆映射关系；
步骤S50，基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表；
步骤S60，通过瞳孔追踪算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，进行AR-HUD视觉图像畸变矫正。
为了更清晰地对本发明动态眼位下AR-HUD图像畸变矫正方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的动态眼位下AR-HUD图像畸变矫正方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；所述眼位为两眼中间位置；所述空间坐标，其坐标系以驾驶员正坐平视前方为Y轴，左眼到右眼方向为X轴，正上方为Z轴。
对于K个设定眼位中的每一个眼位，将双目相机置于当前眼位，并通过标定板对所述双目相机进行标定，获得当前眼位空间坐标。
步骤S20，以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像，获得K个虚像。
如图2所示，为本发明动态眼位下AR-HUD图像畸变矫正方法一种实施例的HUD成像过程示意图，将双目相机置于设定眼位中的一个眼位(设定眼位设置于在正常坐姿能够观测较为完整的虚像的位置)，利用标定板对此双目相机进行标定。标定完成后，对HUD投影出的“棋盘格”虚像进行拍照。
步骤S30，分别基于所述K个眼位空间坐标中各眼位空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集。
K个坐标集中每一个坐标集包括n个坐标组，每一个坐标组包括一个特征点的空间坐标以及当前眼位下虚像等效平面中对应的坐标。
步骤S31，分别通过标定的双目相机获取K个眼位中每一个眼位对应的输入图像的虚像图片。
步骤S32，提取所述输入图像的虚像图片的特征点，并通过双目相机空间点测量方法获取各特征点的空间坐标。
步骤S33，基于所述各特征点的空间坐标的Y平均值设定所述虚像等效平面的Y值，并获取所述输入图像中各特征点在各眼位下虚像等效平面中对应的坐标。
本发明一个实施例中，HUD的物理分辨率为864*480，如图3所示，本发明动态眼位下AR-HUD图像畸变矫正方法一种实施例的规格化点阵图及其对应的虚像，图3左图为选取的规格化点阵图，大小864*480、内部包含40*20个特征点，将此图作为输入图像，图3右图为图3左图对应的虚像。
步骤S40，对于所述K个坐标集中每一个坐标集，利用线性插值方法获取对应的当前眼位下虚像到输入图像的逆映射关系。
步骤S41，将所述各特征点在所述虚像等效平面中分布区域内的最大内接矩形作为虚拟投影屏幕。
步骤S42，分别获取所述虚拟投影屏幕中各特征点之外的每一个像素点P的3个邻近特征点，通过基于临近3特征点凸组合的线性插值法获取像素点P在虚拟投影屏幕中的坐标与3个临近特征点之间的权值。
首先，列出像素点P在虚拟投影屏幕中的坐标表达式，如式(1)所示：
P(x，y，z)＝α1P1(x1，y1，z1)+α2P2(x2，y2，z2)+α3P3(x2，y2，z2) 式(1)
其中，P1、P2、P3为像素点P周围与其最邻近的3个特征点，(x，y，z)为像素点P在虚像中的坐标，(x1，y1，z1)、(x2，y2，z2)、(x2，y2，z2)分别为特征点P1、P2、P3的空间坐标，α1、α2、α3分别为特征点P1、P2、P3对应的权重。
通过公式转换，获得像素点P在虚拟投影屏幕中的坐标与3个临近特征点之间的权值，如式(2)所示：
Figure BDA0002414676050000081
其中，
Figure BDA0002414676050000082
分别为像素点P周围与其最邻近的3个特征点P1、P2、P3的空间坐标，
Figure BDA0002414676050000083
为像素点P在虚像中的坐标，α1、α2、α3分别为特征点P1、P2、P3对应的权重。
如图4所示，为本发明动态眼位下AR-HUD图像畸变矫正方法一种实施例的临近3特征点凸组合示意图，P1、P2、P3为像素点P的邻近3个特征点，此三点不共线。
步骤S43，基于P点的3个邻近特征点在虚像中的坐标及其空间坐标、像素点P在虚拟投影屏幕中的坐标及其与3个临近特征点之间的权值，获取P点在所述输入图像中的坐标，如式(3)所示：
Figure BDA0002414676050000084
其中，
Figure BDA0002414676050000085
为像素点P在输入图像中的坐标，(u1，v1)、(u2，v2)、(u3，v3)分别为特征点P1、P2、P3的空间坐标。
所有像素点在虚拟投影屏幕中的坐标及其在输入图像中的坐标的关系表达式，即为虚像到输入图像的逆映射关系。
步骤S50，基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表。
任意眼位的三点凸组合线性插值，如式(4)所示：
Figure BDA0002414676050000086
其中，
Figure BDA0002414676050000091
代表K个设定眼位形成的眼位平面中任意点E的空间坐标，
Figure BDA0002414676050000092
Figure BDA0002414676050000093
为E的邻近眼位E1、E2、E3的空间坐标，
Figure BDA0002414676050000096
为E1、E2、E3的权重。
眼位E下任意点Q在虚像、输入图像中坐标的对应关系，如式(5)所示：
Figure BDA0002414676050000094
其中，
Figure BDA0002414676050000095
为Q在输入图像中的坐标，(u1，v1)、(u2，v2)、(u3，v3)分别为Q点在眼位E1、E2、E3下的坐标。
如图5所示，为本发明动态眼位下AR-HUD图像畸变矫正方法一种实施例的EyeBox设定眼位示意图，每个眼位均设置于在正常坐姿能够观测较为完整的虚像的地方。
步骤S60，通过瞳孔追踪算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，进行AR-HUD视觉图像畸变矫正。
利用瞳孔追踪算法检测获取的驾驶员实时眼位，利用多眼位映射表，结合上式可建立驾驶员眼位下虚拟投影屏幕中的二维坐标与原输入图像像素坐标的映射关系。将视觉设计图像视为实际屏幕，根据实际屏幕与虚拟投影屏幕像素间的映射关系，调整视觉设计图像，从而实现动态眼位下HUD投影虚像的畸变矫正。
本发明方法通过标定EyeBox范围内多个眼位下HUD实际屏幕与虚拟投影屏幕像素间的映射关系，形成多眼位映射表，利用线性插值方法，可获取EyeBox范围内任意眼位下HUD实际屏幕与虚拟投影屏幕像素间的映射关系，解决了不同驾驶员眼部位置不同，所看到的HUD虚像畸变不同的问题，改善了HUD成像效果。
如图6所示，为本发明动态眼位下AR-HUD图像畸变矫正方法一种实施例的固定眼位畸变矫正与本发明方法畸变矫正效果对比图，左上图为固定眼位下标准眼位畸变矫正效果图，左下图为固定眼位下非标准眼位畸变矫正效果图，右上图为本发明方法标准眼位畸变矫正效果图，右下图为本发明方法非标准眼位畸变矫正效果图。可以看出，本发明方法畸变效果更佳，尤其在非标准眼位下进行图像畸变矫正，本发明方法更为优越。
本发明第二实施例提供动态眼位下AR-HUD图像畸变矫正***，该图像畸变矫正***包括眼位标定模块、点阵图及虚像获取模块、坐标对应模块、单眼位线性插值模块、多眼位线性插值模块、畸变矫正模块、输出模块；
所述眼位标定模块，配置为分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；所述眼位为两眼中间位置；所述空间坐标，其坐标系以驾驶员正坐平视前方为Y轴，左眼到右眼方向为X轴，正上方为Z轴；
所述点阵图及虚像获取模块，配置为以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像，获得K个虚像；
所述坐标对应模块，配置为分别基于所述K个眼位空间坐标中各眼位空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集；
所述单眼位线性插值模块，配置为对于K个坐标集中每一个坐标集，利用线性插值方法获取对应的当前眼位下虚像到输入图像的逆映射关系；
所述多眼位线性插值模块，配置为基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表；
所述畸变矫正模块，配置为通过瞳孔追踪算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，进行AR-HUD视觉图像畸变矫正；
所述输出模块，配置为输出畸变矫正后的AR-HUD视觉图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的动态眼位下AR-HUD图像畸变矫正***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种处理***，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的动态眼位下AR-HUD图像畸变矫正方法。
本发明第四实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的动态眼位下AR-HUD图像畸变矫正方法。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种动态眼位下AR-HUD图像畸变矫正方法，其特征在于：包括以下步骤：
S1：分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；所述眼位为两眼中间位置；所述空间坐标，其坐标系以驾驶员正坐平视前方为Y轴，左眼到右眼方向为X轴，正上方为Z轴；
S2：以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像，获得K个虚像；
S3：分别基于所述K个眼位空间坐标中各眼位空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集；
S4：对于所述K个坐标集中每一个坐标集，利用线性插值方法获取对应的当前眼位下虚像到输入图像的逆映射关系；
S5：基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表；
S6：通过瞳孔追踪算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，进行AR-HUD视觉图像畸变矫正。
2.根据权利要求1所述的动态眼位下AR-HUD图像畸变矫正方法，其特征在于：在所述步骤S1中，对于K个设定眼位中的每一个眼位，将双目相机置于当前眼位，并通过标定板对所述双目相机进行标定，获得当前眼位空间坐标。
3.根据权利要求1所述的动态眼位下AR-HUD图像畸变矫正方法，其特征在于：在所述步骤S3中，具体包括以下步骤：
S31：分别通过标定的双目相机获取K个眼位中每一个眼位对应的输入图像的虚像图片；
S32：提取所述输入图像的虚像图片的特征点，并通过双目相机空间点测量方法获取各特征点的空间坐标；
S33：基于所述各特征点的空间坐标的Y平均值设定所述虚像等效平面的Y值，并获取所述输入图像中各特征点在各眼位下虚像等效平面中对应的坐标。
4.根据权利要求1所述的动态眼位下AR-HUD图像畸变矫正方法，其特征在于：在所述步骤S4中，具体包括以下步骤：
S41：将所述各特征点在所述虚像等效平面中分布区域内的最大内接矩形作为虚拟投影屏幕；
S42：分别获取所述虚拟投影屏幕中各特征点之外的每一个像素点P的3个邻近特征点，通过基于临近3特征点凸组合的线性插值法获取像素点P在虚拟投影屏幕中的坐标与3个临近特征点之间的权值；
S43：基于P点的3个邻近特征点在虚像中的坐标及其空间坐标、像素点P在虚拟投影屏幕中的坐标及其与3个临近特征点之间的权值，获取P点在所述输入图像中的坐标，获得当前眼位下虚像到输入图像的逆映射关系。
5.根据权利要求4所述的动态眼位下AR-HUD图像畸变矫正方法，其特征在于：步骤S42具体包括以下步骤：
首先，列出像素点P在虚拟投影屏幕中的坐标表达式：
P(x，y，z)＝α1P1(x1，y1，z1)+α2P2(x2，y2，z2)+α3P3(x3，y3，z3)
其中，P1、P2、P3为像素点P周围与其最邻近的3个特征点，(x，y，z)为像素点P在虚像中的坐标，(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)分别为特征点P1、P2、P3的空间坐标，α1、α2、α3分别为特征点P1、P2、P3对应的权重；
通过公式转换，获得像素点P在虚拟投影屏幕中的坐标与3个临近特征点之间的权值：
Figure FDA0003564912440000021
其中，
Figure FDA0003564912440000022
分别为像素点P周围与其最邻近的3个特征点P1、P2、P3的空间坐标，
Figure FDA0003564912440000023
为像素点P在虚像中的坐标，α1、α2、α3分别为特征点P1、P2、P3对应的权重。
6.根据权利要求5所述的动态眼位下AR-HUD图像畸变矫正方法，其特征在于：步骤S43中，所述P点在所述输入图像中的坐标为：
Figure FDA0003564912440000024
其中，
Figure FDA0003564912440000025
为像素点P在输入图像中的坐标，(u1，v1)、(u2，v2)、(u3，v3)分别为特征点P1、P2、P3在所述输入图像中的坐标；
所有像素点在虚拟投影屏幕中的坐标及其在输入图像中的坐标的关系表达式，即为虚像到输入图像的逆映射关系。
7.根据权利要求1所述的动态眼位下AR-HUD图像畸变矫正方法，其特征在于：步骤S5中任意眼位的三点凸组合线性插值为：
Figure FDA0003564912440000031
其中，
Figure FDA0003564912440000032
代表K个设定眼位形成的眼位平面中任意点E的空间坐标，
Figure FDA0003564912440000033
Figure FDA0003564912440000034
为E的邻近眼位E1、E2、E3的空间坐标，
Figure FDA0003564912440000035
为E1、E2、E3的权重；
眼位E下任意点Q在虚像、输入图像中坐标的对应关系为：
Figure FDA0003564912440000036
其中，
Figure FDA0003564912440000037
为Q在输入图像中的坐标，(u1，v1)、(u2，v2)、(u3，v3)分别为Q点在眼位E1、E2、E3下的坐标。
8.一种动态眼位下AR-HUD图像畸变矫正***，其特征在于：包括眼位标定模块、点阵图及虚像获取模块、坐标对应模块、单眼位线性插值模块、多眼位线性插值模块、畸变矫正模块、输出模块；
所述眼位标定模块，配置为分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；所述眼位为两眼中间位置；所述空间坐标，其坐标系以驾驶员正坐平视前方为Y轴，左眼到右眼方向为X轴，正上方为Z轴；
所述点阵图及虚像获取模块，配置为以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像，获得K个虚像；
所述坐标对应模块，配置为分别基于所述K个眼位空间坐标中各眼位空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集；
所述单眼位线性插值模块，配置为对于K个坐标集中每一个坐标集，利用线性插值方法获取对应的当前眼位下虚像到输入图像的逆映射关系；
所述多眼位线性插值模块，配置为基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表；
所述输出模块，配置为输出畸变矫正后的AR-HUD视觉图像。
9.一种处理***，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；其特征在于：所述程序适于由处理器加载并执行以实现如权利要求1-7任一所述的动态眼位下AR-HUD图像畸变矫正方法。
10.一种存储装置，存储有多条程序，其特征在于：所述程序适于由处理器加载并执行以实现如权利要求1-7任一所述的动态眼位下AR-HUD图像畸变矫正方法。
CN202010187422.XA 2020-03-17 2020-03-17 动态眼位下ar-hud图像畸变矫正方法、装置、*** Active CN111476104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010187422.XA CN111476104B (zh) 2020-03-17 2020-03-17 动态眼位下ar-hud图像畸变矫正方法、装置、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010187422.XA CN111476104B (zh) 2020-03-17 2020-03-17 动态眼位下ar-hud图像畸变矫正方法、装置、***

Publications (2)

Publication Number Publication Date
CN111476104A CN111476104A (zh) 2020-07-31
CN111476104B true CN111476104B (zh) 2022-07-01

Family

ID=71747523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010187422.XA Active CN111476104B (zh) 2020-03-17 2020-03-17 动态眼位下ar-hud图像畸变矫正方法、装置、***

Country Status (1)

Country Link
CN (1) CN111476104B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258399A (zh) * 2020-09-10 2021-01-22 江苏泽景汽车电子股份有限公司 一种逆向建模的hud图像光学矫正方法
WO2022088103A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 一种图像标定方法及装置
CN113313656B (zh) * 2020-11-18 2023-02-21 江苏泽景汽车电子股份有限公司 一种适应hud上中下眼盒畸变矫正方法
CN112381739A (zh) * 2020-11-23 2021-02-19 天津经纬恒润科技有限公司 一种ar-hud***的成像畸变矫正方法及装置
CN112731664A (zh) * 2020-12-28 2021-04-30 北京经纬恒润科技股份有限公司 一种车载增强现实抬头显示***及显示方法
CN112614194B (zh) * 2021-01-29 2021-09-03 北京经纬恒润科技股份有限公司 一种图像采集设备的数据处理方法、***及装置
CN113240592A (zh) * 2021-04-14 2021-08-10 重庆利龙科技产业(集团)有限公司 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法
CN113421346B (zh) * 2021-06-30 2023-02-17 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN115202476B (zh) * 2022-06-30 2023-04-11 泽景(西安)汽车电子有限责任公司 显示图像的调整方法、装置、电子设备及存储介质
CN114820396B (zh) * 2022-07-01 2022-09-13 泽景(西安)汽车电子有限责任公司 图像处理方法、装置、设备及存储介质
CN114998157B (zh) * 2022-07-18 2022-11-15 江苏泽景汽车电子股份有限公司 图像处理方法、装置、抬头显示器及存储介质
CN116017174B (zh) * 2022-12-28 2024-02-06 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及***

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000296A (zh) * 2006-12-20 2007-07-18 西北师范大学 基于数字图像技术三维重构金相组织微观浮凸的方法
CN101610341A (zh) * 2008-06-18 2009-12-23 索尼株式会社 图像处理设备、图像处理方法和程序
CN101986243A (zh) * 2010-11-05 2011-03-16 友达光电股份有限公司 立体影像互动***及其位置偏移补偿方法
CN102591532A (zh) * 2012-01-22 2012-07-18 南京先能光电有限公司 双反射镜交叉定位电子白板装置
CN103142202A (zh) * 2013-01-21 2013-06-12 东北大学 一种基于棱镜的具有测量功能的医用内窥镜***及方法
CN103543451A (zh) * 2012-07-17 2014-01-29 中国科学院电子学研究所 一种基于压缩感知的多径虚像抑制sar后处理方法
CN103941851A (zh) * 2013-01-23 2014-07-23 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及***
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示***
CN104700076A (zh) * 2015-02-13 2015-06-10 电子科技大学 人脸图像虚拟样本生成方法
CN104914981A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 一种信息处理方法和电子设备
CN106127714A (zh) * 2016-07-01 2016-11-16 南京睿悦信息技术有限公司 一种虚拟现实头戴显示器设备畸变参数的测量方法
CN107272199A (zh) * 2013-11-27 2017-10-20 奇跃公司 虚拟和增强现实***与方法
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN107665483A (zh) * 2017-09-27 2018-02-06 天津智慧视通科技有限公司 免定标便捷的单目镜头鱼眼图像畸变矫正方法
WO2018070193A1 (ja) * 2016-10-13 2018-04-19 マクセル株式会社 ヘッドアップディスプレイ装置
CN207625712U (zh) * 2017-12-25 2018-07-17 广东虚拟现实科技有限公司 视觉显示***以及头戴显示装置
CN109688392A (zh) * 2018-12-26 2019-04-26 联创汽车电子有限公司 Ar-hud光学投影***及映射关系标定方法和畸变矫正方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000296A (zh) * 2006-12-20 2007-07-18 西北师范大学 基于数字图像技术三维重构金相组织微观浮凸的方法
CN101610341A (zh) * 2008-06-18 2009-12-23 索尼株式会社 图像处理设备、图像处理方法和程序
CN101986243A (zh) * 2010-11-05 2011-03-16 友达光电股份有限公司 立体影像互动***及其位置偏移补偿方法
CN102591532A (zh) * 2012-01-22 2012-07-18 南京先能光电有限公司 双反射镜交叉定位电子白板装置
CN103543451A (zh) * 2012-07-17 2014-01-29 中国科学院电子学研究所 一种基于压缩感知的多径虚像抑制sar后处理方法
CN103142202A (zh) * 2013-01-21 2013-06-12 东北大学 一种基于棱镜的具有测量功能的医用内窥镜***及方法
CN103941851A (zh) * 2013-01-23 2014-07-23 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及***
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示***
CN107329259A (zh) * 2013-11-27 2017-11-07 奇跃公司 虚拟和增强现实***与方法
CN107272199A (zh) * 2013-11-27 2017-10-20 奇跃公司 虚拟和增强现实***与方法
CN104914981A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 一种信息处理方法和电子设备
CN104700076A (zh) * 2015-02-13 2015-06-10 电子科技大学 人脸图像虚拟样本生成方法
CN106127714A (zh) * 2016-07-01 2016-11-16 南京睿悦信息技术有限公司 一种虚拟现实头戴显示器设备畸变参数的测量方法
WO2018070193A1 (ja) * 2016-10-13 2018-04-19 マクセル株式会社 ヘッドアップディスプレイ装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN107665483A (zh) * 2017-09-27 2018-02-06 天津智慧视通科技有限公司 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN207625712U (zh) * 2017-12-25 2018-07-17 广东虚拟现实科技有限公司 视觉显示***以及头戴显示装置
CN109688392A (zh) * 2018-12-26 2019-04-26 联创汽车电子有限公司 Ar-hud光学投影***及映射关系标定方法和畸变矫正方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Review on the research of intelligent vehicle safety driving assistant technology;Wang R.;《Journal of Highway and Transportation Research and Development》;20071231;第24-29页 *
基于改进随机森林分类器在RGBD面部表情上的应用研究;张御宇等;《南京师大学报(自然科学版)》;20190320(第01期);第88-95页 *
无限远虚像显示***图像畸变校正方法的研究;倪平涛等;《科技资讯》;20131023(第30期);第37-38 *
眼动跟踪技术及其在军事领域的应用;贾宏博等;《航天医学与医学工程》;20161015(第05期);第77-82 *

Also Published As

Publication number Publication date
CN111476104A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476104B (zh) 动态眼位下ar-hud图像畸变矫正方法、装置、***
CN109688392B (zh) Ar-hud光学投影***及映射关系标定方法和畸变矫正方法
US8368761B2 (en) Image correction method for camera system
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
EP2061234A1 (en) Imaging apparatus
US10007853B2 (en) Image generation device for monitoring surroundings of vehicle
CN111127365B (zh) 基于三次样条曲线拟合的hud畸变矫正方法
WO2009116328A1 (ja) 画像処理装置及び方法、運転支援システム、車両
CN112655024B (zh) 一种图像标定方法及装置
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示***
CN103792674A (zh) 一种测量和校正虚拟现实显示器畸变的装置和方法
CN113240592A (zh) 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法
JP2009042162A (ja) キャリブレーション装置及びその方法
KR101583663B1 (ko) 차량용 카메라의 교정판 제공 방법
CN110006634B (zh) 视场角测量方法、视场角测量装置、显示方法和显示设备
CN109855845B (zh) 一种双目镜测量车载hud虚像距离与修正方法
JP2011259152A (ja) 運転支援装置
CN111242866A (zh) 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法
JP2003091720A (ja) 視点変換装置および視点変換プログラムならびに車両用画像処理装置
CN115984122A (zh) 一种hud背光显示***及方法
CN115239922A (zh) 基于双目相机的ar-hud三维坐标重建方法
CN110035273B (zh) 一种畸变校正方法、装置及使用其的显示设备
JP7081265B2 (ja) 画像処理装置
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
CN117078769A (zh) 一种电子后视镜cms摄像头外参数标定方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant