CN115239922A - 基于双目相机的ar-hud三维坐标重建方法 - Google Patents

Abstract

本发明公开了基于双目相机的AR‑HUD三维坐标重建方法，包括坐标系建立、透视投影、坐标重建和重映射等步骤，并利用双目相机通过标定、校正、匹配计算视差值和深度信息作为三维坐标重建的依据；与传统双目相机标定的区别在于加入了人眼三维坐标系，解决了传统单目相机缺少真实世界物体的深度信息，多维坐标系转换数据处理运算量大，以及重映射投影与真实目标不贴合等问题。

Description

基于双目相机的AR-HUD三维坐标重建方法

技术领域

本发明属于AR-HUD技术领域，具体涉及基于双目相机的AR-HUD三维坐标重建方法。

背景技术

增强现实抬头显示器(Augmented Reality-Head Up Display，AR-HUD)是应用在飞机、汽车、高铁等交通工具上的一种智能驾驶辅助设备，通过将行驶过程中的一些重要信息经过光学折射投影到挡风玻璃上，避免驾驶员因为低头看仪表盘导致事故发生。随着5G和AR技术的发展，投影内容不再局限于仪表盘的车速、油耗、道路导航信息，还增加了行人和车辆识别，障碍物预警，AR导航影像，多媒体娱乐信息等，实现了虚拟影像和现实场景的深度融合，提高了驾驶员的安全性和人机交互体验感。

由于成本和技术的限制，目前AR-HUD普遍配置单目摄像头，缺失目标的深度信息，并且不同种类的摄像头和挡风玻璃自带的畸变影响和现实场景情况复杂多变，导致投影虚像与现实目标不能完全贴合的问题。而双目摄像头可以获取目标的深度信息，但是涉及三维世界目标与成像平面坐标之间的多维坐标系转换，计算难度较大，并且由于加工精度误差和环境限制，最后成像效果很难达到理论上的理想状态。

发明内容

为了解决现有技术存在的上述问题，本发明目的在于提供基于双目相机的AR-HUD三维坐标重建方法。

本发明所采用的技术方案为，包括以下步骤：

基于双目相机的AR-HUD三维坐标重建方法，其特征在于，包括以下步骤：

S1、坐标系建立：设置AR-HUD***和标定板，包括双目相机和标定板，建立世界坐标系O_S-X_SY_SZ_S，所述世界坐标系的原点设置在所述标定板的左上角；

S2、透视投影：获取目标物体在世界坐标系的坐标，所述目标物体的世界坐标系的坐标经刚体变换转换得到其在人眼坐标系O_E-X_EY_EZ_E的坐标，由光学反射和透视投影，结合人眼坐标系O_E-X_EY_EZ_E和世界坐标系O_S-X_SY_SZ_S，分别计算所述目标物体在AR-HUD***的投影图像坐标系O-xy和像素坐标系O₁-uv中的位置；

S3、坐标重建：根据眼盒动态范围，对目标物体在世界坐标系与像素坐标系中的坐标进行多维坐标转换，重建得到三维坐标系；

S4、重映射：由三维坐标系下的模型计算出的像素坐标值，计算世界坐标系下目标物体对应AR-HUD投射投影的真实像素坐标，通过单应性变换对真实世界物体与AR-HUD投影虚像进行重映射。

作为本发明的优选，在步骤S4前，还包括准备步骤：通过所述双目相机计算所述目标物体的深度信息；所述深度信息的计算包括以下步骤：

p1、双目相机标定：设置双目相机与地面位于同一条水平参考线，所述双目相机包括左摄像头和右摄像头，且标定板设置在所述左摄像头的光轴和所述右摄像头的光轴连线的中垂线上；

设置双目相机坐标系，以所述左摄像头的光心为原点；获取目标物体在三维世界坐标系中的坐标，经刚体变换至所述相机坐标系中；标定所述左摄像头和所述右摄像头之间的相对位置关系；获取内参数据；计算双目相机的内参数矩阵和外参数矩阵；

p2、双目相机立体校正：匹配所述左摄像头和所述右摄像头上的对应像点，进行去畸变和行对准处理，得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，生成校正的双目相机的映射矩阵；

p3、双目相机立体匹配：检测左摄像头和右摄像头在同一基线上图像的相同特征，并得出视差图，其中视差值是匹配时具有相同特征点在x坐标轴的差值；

p4、计算视差图和深度信息：利用视图差值通过三角相似定理得出目标距离，即所述目标物体的深度信息。

作为本发明的优选，在步骤p1中，所述内参数矩阵，包括焦距、像主点坐标、倾斜系数、畸变系数；内参数矩阵

其中f₁为左相机焦距，f₂为右相机焦距，(u₀，v₀)为像素坐标原点的横、纵坐标；所述倾斜系数为0；其中双目相机的畸变系数，包括径向畸变系数和切向畸变系数，并通过相机标定的函数calibratecamera计算得出。

作为本发明的优选，在步骤p1中，所述外参数矩阵包括旋转矩阵R和平移向量T；所述旋转矩阵R为0；所述平移向量T由左摄像头和右摄像头的实际安装位置测量得出。

作为本发明的优选，5、所述对目标物体在世界坐标系与像素坐标系中的坐标进行多维坐标转换具体为

双目相机由刚体变换获取目标物体的图像数据，传输至AR-HUD***，经三次光学反射投影至挡风玻璃；反射投影进入人眼，得到目标物体在人眼坐标系中的坐标；

跟踪眼盒动态范围，以眼盒中心为原点，将目标物体在人眼坐标系中的坐标转换至图像坐标系中；

根据转换后的图像坐标系，转换到像素坐标系，将图像坐标系的物理单位mm转到像素坐标系的单位pixel，获得数字图像处理的最终参考系。

作为本发明的优选，世界坐标系与人眼坐标系之间满足

其中R是旋转变量，为3×3矩阵；

T为平移变量，为3×1矩阵；

[X_E Y_E Z_E 1]为人眼坐标，[X_S Y_S Z_S 1]为世界坐标。

作为本发明的优选，人眼坐标系与图像坐标系之间满足

其中[x y 1]为图像坐标，d为人眼相对AR-HUD投影平面的距离；

[X_E Y_E Z_E 1]为人眼坐标。

作为本发明的优选，图像坐标系与像素坐标系之间满足

其中[u v l]为像素坐标，[x y l]为图像坐标，(u₀，v₀)为投影中心x方向和y方向的偏移量，dx和dy分别表示每一列和每一行代表多少mm。

作为本发明的优选，在步骤S4中，在由所述三维坐标系下的模型计算出的像素坐标值之前，还包括

以眼盒中心位置为基点，获取标记物在三维坐标系下的分别对应AR-HUD显示区域四个顶点，并记录成像平面像素坐标系下的四个顶点坐标；

分别记录HUD显示区域对应的四个顶点坐标至双目相机图像显示窗口；

所述由三维坐标系下的模型计算出的像素坐标值的计算过程具体为，

获取车辆前方带参考线的网格标定板位置，对双目相机采集的图像进行特征识别，获得标定板的四个顶点坐标；

利用标定板的四个顶点坐标，输入至双目相机重建的三维坐标模型，获得成像平面标定板四个顶点对应的像素坐标值。

作为本发明的优选，世界坐标系到像素坐标系的三维坐标模型满足

其中k为缩放因子，[u v l]为像素坐标，H为重映射变换矩阵，(u₀，v₀)为投影中心x方向和y方向的偏移量，d为人眼相对AR-HUD投影平面的距离，R旋转变量，T为平移变量，[X_SY_S Z_S l]为世界坐标。

本发明的有益效果为：本发明作为基于双目相机的AR-HUD三维坐标重建方法，与传统双目相机标定的区别在于加入了人眼三维坐标系，解决了传统单目相机缺少真实世界物体的深度信息，多维坐标系转换数据处理运算量大，以及重映射投影与真实目标不贴合等问题。本发明通过对双目相机进行畸变校正，计算相机的内外参数和物体的深度信息，获取三维世界坐标系，再分别计算多维坐标系之间的空间映射关系，建立真实物体坐标到AR-HUD投影平面的三维坐标数学模型，最后通过单应性矩阵实现虚拟影像与现实目标完美融合的效果。

附图说明

下面结合附图和具体实施方法对本发明做进一步详细的说明。

图1是本发明的流程示意图；

图2是本发明的主要步骤示意图；

图3是本发明的多个坐标系的转换示意图；

图4是本发明双目相机立体匹配中P点位置测量图；

图5是本发明的世界坐标系与人眼坐标系转换示意图；

图6是本发明的人眼坐标系与图像坐标系转换示意图；

图7是本发明的图像坐标系与像素坐标系转换示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-7说明本发明的具体实施方式，在本发明的其中一个实施例中；

1、一种基于双目相机的AR-HUD三维坐标重建方法，包括：

(1)双目相机标定

由于相机光学透镜的影响，以及相机在加工的过程中传感器与光学镜头不能做到完全水平，所以图像会不可避免产生径向畸变和切向畸变。双目相机标定不仅需要计算出相机的内参数和外参数，还需要计算两个摄像头之间的相对位置关系。

根据车型和挡风玻璃的类型，调节AR-HUD和双目相机的空间位置，保证双目相机与地面在同一条水平参考线上，没有出现倾斜或者旋转，尽量垂直于地面，打印固定大小的棋盘格标定板，放置于双目相机两光轴的正中心位置的视野正前方，以左相机作为主相机，右相机作为辅助相机，采集不同角度不同姿态的棋盘格图像。

确定双目摄像头初始化参数，包括采集的实时图像视频分辨率、视频格式、两光轴的中心位置、相对距离、焦距、以及车辆的宽度高度。

输入棋盘格的角点个数和每个格子对应的物理长度，通过算法对棋盘格上的所有角点进行特征识别，获得每个角点对应的亚像素坐标。

计算双目相机的内参数矩阵，包括焦距、像主点坐标、倾斜系数、畸变系数建立双目相机的内参数矩阵

其中f1为左相机焦距，f2为右相机焦距，u0，v0为像素坐标原点的横、纵坐标。其中焦距和两相机像主点坐标已知，双目相机与地面垂直，倾斜系数为0；计算双目相机的畸变系数，包括径向畸变(k1，k2，k3)和切向畸变(p1，p2)。

计算双目相机的外参数矩阵，包括旋转矩阵和平移向量

计算世界坐标系相对于双目相机的旋转矩阵和平移向量。计算双目相机的外参数矩阵，即右相机相对于左相机的旋转矩阵R和平移向量T，在本发明中使用的双目相机，左右相机在同一条水平线上，旋转矩阵为0，只需计算平移向量。

(2)双目相机校正

根据摄像头标定后获得的内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，计算两个摄像头进行立体像对之间的转换关系。基于极线约束原理将目标点在左右视图上的对应像点匹配起来。

经过双目标定得到摄像头的各项参数后，对左右视图进行去畸变和行对准处理，得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，最后生成图像校正所需的映射矩阵。使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。

(3)双目立体匹配

立体匹配能在同一极线上检测左右摄像头图像的相同特征，并得出视差图，其中视差值是在匹配时具有相同特征点在x坐标轴的差值，利用该值可通过三角相似定理得出目标距离。

如附图4所示，图中Baseline表示基线。

P是待测物体上的某一点，O₁与O₂分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P′和P″(相机的成像平面经过旋转后放在了镜头前方)，f为相机焦距，B为两相机中心距，Z为目标的深度信息，设点P′到点P″的距离为dis，则：

dis＝B-(X₁-X₂)

根据相似三角形原理：

可得：

(4)计算深度信息，建立三维世界坐标系

公式中，焦距f和摄像头中心距B可通过标定得到，因此，只要获得了视差d＝X₁-X₂的值即可求得深度信息，即：

假设目标点在左视图中的坐标为(x，y)，在左右视图上形成的视差为d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为(X，Y，Z)，则存在所示的变换矩阵Q，使得Q*[x y d 1]′＝[X Y Z W]′。

焦距f、视差d、摄像头中心距B可通过双目相机标定获得。X坐标和Y坐标通过左右像平面的坐标系与立体坐标系中原点的偏移cx和cy可得。通过立体校准优化，使得两个摄像头在数学上完全平行放置，并且左右摄像头的cx，cy和f相同。通过立体匹配求取最后一个变量：视差d，从而最终完成双目相机三维坐标系建立所需要的准备工作。

2、建立三维世界坐标系到像素坐标系之间的数学转换模型

目标物体的三维世界坐标系经过刚体变换转换到人眼坐标系，通过光学反射和透视投影，结合人眼坐标系和世界坐标系，可以算出目标物体在AR_HUD的投影图像坐标系和像素坐标系中的位置。

世界坐标系O_S-X_SY_SZ_S：目标物体的真实世界参考系，世界坐标系原点位于标定板的左上角，X轴Y轴与HUD投影图像坐标系的x轴y轴平行，Z轴与双目相机的光轴平行，单位为长度单位mm。

人眼坐标系O_E-X_EY_EZ_E：以驾驶员眼盒中心为原点，Z轴垂直于HUD投影平面，X轴和Y轴分别与HUD投影图像坐标系的x轴y轴平行，单位为长度单位mm。

AR_HUD投影图像坐标系O-xy：以投影图像平面的中心为坐标原点，描述了成像过程中物体从人眼坐标系到图像坐标系的投影关系，用物理单位mm表示物体在图像中的位置。

像素坐标系O₁-uv：以投影图像平面的左上角顶点为原点，描述物体成像后的像点在数字图像上的坐标，是真正从相机内部读取到的信息所在的坐标系，以像素为单位。

(1)计算世界坐标系与人眼坐标系的转换矩阵

如附图5所示，图中R(rotation)表示旋转矩阵，T(translation)表示平移向量。

世界坐标系到人眼坐标系的转换矩阵主要包括旋转矩阵R和平移向量T。

转换关系如下：

(2)计算人眼坐标系与AR_HUD投影图像坐标系的转换矩阵

如附图6所示

双目相机采集的图像通过传感器传输到AR_HUD上，经过三次光学反射投影到挡风玻璃上，然后通过镜面反射进入人眼，虚像会根据驾驶员的位置调整而发生细微变化，只要在眼盒动态范围内都可看到完整的投影效果。根据小孔成像和相似三角形原理，跟踪眼盒动态范围，以眼盒中心为原点，人眼坐标系与图像坐标系的转换关系如下：

(3)计算图像坐标系与像素坐标系的转换矩阵

如附图7所示

数字图像处理中最终是以像素坐标系为参考系，所以还需将图像坐标系(x,y)转换到像素坐标系(u.v)，从图像坐标系的物理单位mm转到像素坐标系的单位pixel。转换矩阵如下：

其中dx和dy分别表示每一列和每一行代表多少mm。

3、通过单应性变换和三维坐标重建实现投影虚像重映射到真实物体

以眼盒中心位置为基点，在现实场景中放置标记物分别对应AR-HUD显示区域四个顶点，并记录成像平面像素坐标系下的四个顶点坐标；

在双目相机图像显示窗口中分别记录HUD显示区域对应的四个顶点坐标；

对以上两组坐标点进行单应性变换，得到3×3的重映射变换矩阵H；

在车辆前方放置带参考线的网格标定板，对双目相机采集的图像进行特征识别，得到标定板的四个顶点坐标，输入双目相机重建的三维坐标模型中，得到理论上成像平面标定板四个顶点对应的像素坐标值；

根据生成的重映射变换矩阵与三维坐标模型计算出的像素坐标值，可算出世界坐标系下目标物体对应AR-HUD投射投影的真实像素坐标。

世界坐标系到像素坐标系的三维坐标模型

k为缩放因子，

为目标点的像素坐标，H为单应性变换矩阵，

为目标点的图像坐标，

为三维世界坐标系下的目标物体坐标，其中Z值为双目相机标定后获得的深度信息；R和T分别是世界坐标系相对双目相机坐标系的旋转矩阵和平移向量，d为人眼相对AR-HUD投影平面的距离，(u₀,v₀)为投影中心x方向和y方向的偏移量。根据上面的矩阵可以实现AR-HUD三维世界坐标系到像素坐标系的转换，同理，通过对矩阵求逆，可以实现已知像素坐标算出投影后的真实世界坐标。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.基于双目相机的AR-HUD三维坐标重建方法，其特征在于，包括以下步骤：

S1、坐标系建立：设置AR-HUD***和标定板，建立世界坐标系O_S-X_SY_SZ_S，所述世界坐标系的原点设置在所述标定板的左上角；

S2、透视投影：获取目标物体在所述世界坐标系的坐标，所述目标物体的世界坐标系的坐标经刚体变换转换得到其在人眼坐标系O_E-X_EY_EZ_E的坐标，由光学反射和透视投影，结合人眼坐标系O_E-X_EY_EZ_E和世界坐标系O_S-X_SY_SZ_S，分别计算所述目标物体在AR-HUD***的投影图像坐标系O-xy和像素坐标系O₁-uv中的位置；

S3、坐标重建：根据眼盒动态范围，对所述目标物体在世界坐标系与像素坐标系中的坐标进行多维坐标转换，重建得到三维坐标系；

S4、重映射：由三维坐标系下的模型计算出的像素坐标值，计算世界坐标系下所述目标物体对应AR-HUD***投射投影的真实像素坐标，通过单应性变换对真实世界物体与AR-HUD***投影虚像进行重映射。

2.根据权利要求1所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于，在步骤S4前，还包括准备步骤：通过所述双目相机计算所述目标物体的深度信息；

所述深度信息的计算包括以下步骤：

p1、双目相机标定：设置所述双目相机与地面位于同一条水平参考线，所述双目相机包括左摄像头和右摄像头，且所述标定板设置在所述左摄像头的光轴和所述右摄像头的光轴连线的中垂线上；

设置双目相机坐标系，以所述左摄像头的光心为原点；获取所述目标物体在三维世界坐标系中的坐标，经刚体变换至所述相机坐标系中；标定所述左摄像头和所述右摄像头之间的相对位置关系；获取内参数据；计算所述双目相机的内参数矩阵和外参数矩阵；

p2、双目相机立体校正：匹配所述左摄像头和所述右摄像头上的对应像点，进行去畸变和行对准处理，得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，生成校正的所述双目相机的映射矩阵；

p3、双目相机立体匹配：检测所述左摄像头和所述右摄像头在同一基线上图像的相同特征，并得出视差图，其中视差图的差值是匹配时具有相同特征点在x坐标轴的差值；

p4、计算所述视差图和深度信息：利用视图的差值通过三角相似定理得出目标距离，即所述目标物体的深度信息。

3.根据权利要求2所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：在步骤p1中，所述内参数矩阵，包括焦距、像主点坐标、倾斜系数、畸变系数；所述内参数矩阵

其中f₁为左相机焦距，f₂为右相机焦距，(u₀，v₀)为像素坐标原点的横、纵坐标；所述倾斜系数为0；所述畸变系数包括径向畸变系数和切向畸变系数，所述畸变系数通过相机标定的函数计算得出。

4.根据权利要求2所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：在步骤p1中，所述外参数矩阵包括旋转矩阵R和平移向量T；所述旋转矩阵R为0；所述平移向量T由所述左摄像头和所述右摄像头的实际安装位置测量得出。

5.根据权利要求2所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：在步骤S3中，所述对目标物体在世界坐标系与像素坐标系中的坐标进行多维坐标转换，具体包括：

所述双目相机由刚体变换获取所述目标物体的图像数据，传输至AR-HUD***，经三次光学反射投影至挡风玻璃；反射投影进入人眼，得到所述目标物体在人眼坐标系中的坐标；

跟踪眼盒动态范围，以眼盒中心为原点，将所述目标物体在人眼坐标系中的坐标转换至图像坐标系中；

根据转换后的图像坐标系，转换到像素坐标系，将图像坐标系的物理单位转到像素坐标系的单位，获得数字图像处理的最终参考系。

6.根据权利要求5所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：世界坐标系与人眼坐标系之间满足

其中R是旋转变量，为3×3矩阵；

T为平移变量，为3×1矩阵；

[X_E Y_E Z_E 1]为人眼坐标，[X_S Y_S Z_S 1]为世界坐标。

7.根据权利要求5所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：人眼坐标系与图像坐标系之间满足

其中[x y 1]为图像坐标，d为人眼相对AR-HUD***投影平面的距离；

[X_E Y_E Z_E 1]为人眼坐标。

8.根据权利要求5所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：图像坐标系与像素坐标系之间满足

其中[u v l]为像素坐标，[x y l]为图像坐标，(u₀，v₀)为投影中心x方向和y方向的偏移量，dx和dy分别表示每一列和每一行代表的距离。

9.根据权利要求6-8任意一项所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：在步骤S4中，在由所述三维坐标系下的模型计算出的像素坐标值之前，还包括

以眼盒中心位置为基点，获取标记物在三维坐标系下的分别对应AR-HUD***显示区域四个顶点，并记录成像平面像素坐标系下的四个顶点坐标；

分别记录AR-HUD***显示区域对应的四个顶点坐标至所述双目相机的图像显示窗口；

所述由三维坐标系下的模型计算出的像素坐标值的计算过程具体为：

获取车辆前方带参考线的网格标定板位置，对所述双目相机采集的图像进行特征识别，获得标定板的四个顶点坐标；

利用标定板的四个顶点坐标，输入至所述双目相机重建的三维坐标模型，获得成像平面标定板四个顶点对应的像素坐标值。

10.根据权利要求9所述的基于双目相机的AR-HUD三维坐标重建方法，其特征在于：世界坐标系到像素坐标系的三维坐标模型满足

其中k为缩放因子，[u v l]为像素坐标，H为重映射变换矩阵，(u0，v0)为投影中心x方向和y方向的偏移量，d为人眼相对AR-HUD***投影平面的距离，R旋转变量，T为平移变量，[X_S Y_S Z_S l]为世界坐标。

Images