CN112330794B - 基于旋转二分棱镜的单相机图像采集***和三维重建方法 - Google Patents

Abstract

本发明涉及一种基于旋转二分棱镜的单相机图像采集***和三维重建方法，***包括相机装置和旋转二分棱镜装置，相机装置包括相机和支撑该相机的相机支架；旋转二分棱镜装置包括二分棱镜、棱镜支撑结构、旋转机构和支撑旋转二分棱镜装置的外壳体；三维重建方法包括以下步骤：***构建与参数标定，多视角图像序列采集，立体匹配与交叉优化，三维重建与点云滤波。与现有技术相比，本发明通过二分棱镜的旋转运动改变单台相机的成像视角，使其模拟实现动态双目视觉***捕获多视角目标信息的功能，可以有效提升单相机多视角立体匹配与三维重建的精度、效率、实施灵活性和动态适应性。

Description

基于旋转二分棱镜的单相机图像采集***和三维重建方法

技术领域

本发明涉及多视角三维重建领域，尤其是涉及基于旋转二分棱镜的单相机图像采集***和三维重建方法。

背景技术

多视角三维重建是利用不同视角下捕获的多幅图像序列，通过立体几何视觉原理恢复得到空间目标三维形貌信息的技术，在自主导航、地理测绘、空间遥感等领域均有重要的应用价值。传统的双相机或多相机视觉***通过增加传感器数量实现多视角图像信息获取，但其代价是提升***复杂度、扩大物理尺寸以及减小公共视场等。相比而言，单相机视觉***结构简单、集成度高，通过引入附加光学元件或相机运动约束等方式采集多视角目标图像序列，可为三维目标重构或场景恢复提供更为经济、灵活和有效的解决途径。

以下在先研究提出了几种典型的单相机多视角三维重建***及方法：

在先技术：“单相机多角度的空间点坐标测量方法”(赵祚喜等，公布号：CN109141226A，公布日：2019年1月4日)公开了在目标表面粘贴多个坐标已知的标志点，并通过改变单相机的拍摄角度来采集多视角目标图像的方法。在先技术：“一种圆弧导轨式单相机测量***及其测量方法”(曾天等，公布号：CN 110645962A)公开了利用沿着圆弧导轨运动的单相机从多个方位拍摄包含编码点的目标图像序列，再利用摄影测量原理解算目标测点三维信息的方法。以上方法要求目标表面具有满足一定约束条件的合作标志，同时要求相机位置和拍摄角度产生多次变化，因此具体实施方式的灵活性和实际应用场合的普遍性均受到一定程度的限制。

在先技术：“单相机双目视觉装置”(张青川等，公布号：CN 109856895A，公布日：2019年6月7日)公开了利用单相机与两组对称分布反射镜的组合装置，在左右对称且允许调整的视角下捕获感兴趣区域图像信息的方法。在先技术：“一种使用合光棱镜的新型单相机三维数字图像相关***”(潘兵等，公布号：CN 110530286A，公布日：2019年12月3日)公开了结合单相机、X-cube合光棱镜和一组对称分布的反射镜，将不同颜色通道的目标图像信息融合并记录到相机靶面，再利用数字图像相关算法实现高精度三维测量的方法。以上方法依赖至少一组反射镜产生的光束偏折作用来改变成像视角，必须提供足够的布置空间和调整角度以保证三维重建的视场范围，牺牲了***的紧凑性、集成性及其对误差扰动的抑制性、适应性。

综上，现有技术存在如下缺点：

1、采用改变相机位置和拍摄角度采集多视角目标图像的方法，其具体实施方式的灵活性和实际应用场合的普遍性均受到一定程度的限制；

2、采用多组对称分布反射镜采集多视角目标图像的方法，必须提供足够的布置空间和调整角度以保证三维重建的视场范围，牺牲了***的紧凑性、集成性及其对误差扰动的抑制性、适应性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种单相机多视角的基于旋转二分棱镜的单相机图像采集***和三维重建方法。

本发明的目的可以通过以下技术方案来实现：

一种基于旋转二分棱镜的单相机图像采集***，包括相机装置和旋转二分棱镜装置，所述相机装置包括相机和支撑该相机的相机支架；

所述旋转二分棱镜装置包括二分棱镜、棱镜支撑结构、旋转机构和支撑所述旋转二分棱镜装置的外壳体，所述二分棱镜固定安装在所述棱镜支撑结构的中心区域，所述旋转机构的输出端连接所述棱镜支撑结构，用于驱动所述棱镜支撑结构在竖直平面上转动；

所述相机的探测端正对所述二分棱镜。

进一步地，所述相机的靶面和所述二分棱镜的背面满足平行关系，所述相机的光轴与二分棱镜背面相对的顶部棱线相交且垂直。

进一步地，所述旋转机构为力矩电机，包括力矩电机转子、力矩电机电刷和力矩电机定子，所述棱镜支撑结构连接所述力矩电机转子，所述力矩电机定子安装在所述外壳体上。

本发明还提供一种采用如上所述的一种基于旋转二分棱镜的单相机图像采集***的三维重建方法，包括以下步骤：

***构建与参数标定步骤：对所述相机装置和旋转二分棱镜装置进行位置和姿态调整，构建单相机成像***及其工作坐标系；利用视觉标定的方法获取所述相机的内部参数和所述相机和二分棱镜之间的轴向距离；

多视角图像序列采集步骤：通过控制所述旋转机构带动所述二分棱镜转动，通过所述相机采集在每种二分棱镜转角位置下的包含目标信息的双视角图像，构成用于进行三维重建的多视角目标图像序列；

立体匹配及交叉优化步骤：根据相机视轴经过二分棱镜偏转后的指向以及二分棱镜的转角，推导出与所述单相机成像***等效的动态虚拟双目***模型，建立每种所述二分棱镜转角位置对应的双视角图像的极线约束关系，通过窗口匹配算法寻找双视角图像内的同名像点，并对不同二分棱镜转角位置的双视角图像内的同名像点进行交叉检验和优化，实现立体匹配；

三维重建与点云滤波步骤：根据一种所述二分棱镜转角位置对应的双视角图像的同名像点，获取目标的三维点云初始估计；根据其它所述二分棱镜转角位置对应的双视角图像的同名像点，补充所述初始估计的三维点云缺失的点云信息，从而更新三维点云，然后进行噪声滤除，获取最终的三维点云重建结果。

进一步地，***构建与参数标定步骤中，所述构建单相机成像***具体为，调整所述相机装置和旋转二分棱镜装置的位置和姿态，以保证相机靶面与二分棱镜背面的平行关系、相机光轴与二分棱镜顶部棱线的垂直关系以及相机与二分棱镜的轴向间距关系；

构建单相机成像***的工作坐标系具体为，建立所述单相机成像***的工作坐标系O-XYZ，原点O固定于相机的光心位置，Z轴与相机的光轴方向重合，X轴和Y轴均与Z轴正交，并且所述X轴对应相机图像传感器的行扫描方向，所述Y轴对应相机图像传感器的列扫描方向。

进一步地，立体匹配及交叉优化步骤中，所述动态虚拟双目***模型的推导过程具体为，

利用光线追迹方法计算相机视轴经过二分棱镜偏转之后指向的两个关于所述单相机成像***光轴方向对称的两个方向d_L和d_R，确定任意二分棱镜转角对应的两种成像视角；并根据相机视轴指向随二分棱镜转角的变化关系，推导出所述动态虚拟双目***模型；

所述相机视轴经过二分棱镜偏转之后的指向的计算表达式为：

d_o＝[0,0,1]^T

式中，d_o为所述单相机成像***的光轴方向，n_L为二分棱镜左侧面的法向量，n_R为二分棱镜右侧面的法向量，n_B为二分棱镜背面的法向量，为二分棱镜侧面与背面的夹角，n为二分棱镜所用材料的折射率，ω为二分棱镜的旋转角度；

所述动态虚拟双目***模型包括左虚拟相α机和右虚拟相机，所述左虚拟相机和右虚拟相机相对于实际相机的旋转矩阵和平移向量在任意二分棱镜转角ω下的计算表达式为：

式中，R_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，R_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，Rot表示绕着两个向量外积定义的轴线方向旋转一定的角度，该角度通过向量余弦定律确定，g为实际相机的光心到二分棱镜的背面的距离。

进一步地，所述***构建与参数标定步骤中，立体匹配及交叉优化步骤中，所述动态虚拟双目***模型包括任意二分棱镜转角ω下的左虚拟相机和右虚拟相机之间的基础矩阵，该基础矩阵的计算表达式为：

F(ω)＝(A_int)^-T(R_LR)^-1T_LR(A_int)^-1

R_LR＝R_L(ω)R_R(ω)^-1

t_LR＝t_L-R_L(ω)R_R(ω)^-1t_R

式中，A_int为相机的内部参数矩阵，R_LR为左虚拟相机和右虚拟相机的相对旋转矩阵，T_LR为相对平移向量对应的斜对称矩阵；

通过将左、右虚拟相机的基础矩阵F(ω)与双视角图像内其中一半部分所含像点的齐次坐标相乘，即可得到该像点在另外一半部分图像中对应极线的位置，从而获取所述极线约束关系。

进一步地，立体匹配及交叉优化步骤中，所述交叉检验和优化具体为，按照同名像点理论上位于多条极线的交点位置的原则，滤除与极线交点偏差过大的同名像点。

进一步地，三维重建与点云滤波步骤中，所述三维点云的初始估计的计算表达式为：

式中，Pⁱ为三维点云集合

中元素i的三维坐标，

为双视角图像内左半部分包含的同名像点的齐次像素坐标，

分别为双视角图像内右半部分包含的同名像点的齐次像素坐标，

为正整数集合；λ_L为

对应投影光线向量的尺度因子，λ_R为

对应投影光线向量的尺度因子。

进一步地，三维重建与点云滤波步骤中，所述噪声滤除具体为，根据更新前后三维点云的偏差大小进行点云滤波，每次所述点云滤波的计算过程表示为：

式中，

为滤波后的三维点云集合，Pⁱ _estimate为初始估计的三维点云集合中的元素，Pⁱ _update为更新计算的三维点云集合中的元素，ε为更新点云与初始估计之间的偏差阈值。

与现有技术相比，本发明具有以下优点：

(1)本发明通过在单台相机前方引入旋转二分棱镜装置，利用二分棱镜的分束作用使得单台相机能够同步采集两种对称视角的图像信息，保证了整体结构的紧凑性；通过旋转机构带动二分棱镜旋转运动，有效增加成像***的视轴指向和视场范围，能在一定程度上克服运动、遮挡等因素造成的信息缺失问题，使其能够通过由动态双目视觉***捕获多视角目标信息的方法，有效提升单相机多视角立体匹配与三维重建的精度、效率、实施灵活性和动态适应性。

(2)本发明结合传统立体视觉计算理论与动态虚拟双目***模型，实现单相机多视角成像过程的简化描述和冗余图像信息的高效处理，能有效提升单相机三维重建的精度、灵活性和适应性。

(3)本发明利用多视角图像序列的多重极线约束和交叉检验方法，既可筛除错误匹配的同名像点，又可补充特定视角下未包含的同名像点，能以较低的运算成本提高多视角图像立体匹配的准确性和快速性，尤其可为弱纹理区域的立体匹配难题提供有效的解决方法。

(4)本发明无须要求相机本身执行任何运动，也不依赖任何形式的合作标志或引入复杂结构的光学元件，仅借助折射式二分棱镜的旋转运动实现多视角图像捕获和三维重建，能保证成像***的结构紧凑性和抗扰动性，可为模式识别、产品检测等应用领域提供一种颇具潜力的技术途径。

附图说明

图1为单相机图像采集***的外观轴测图；

图2为旋转二分棱镜装置的结构装配图，其中，(a)为旋转二分棱镜装置的主视图，(b)为(a)中的A-A剖面图；

图3为二分棱镜的结构示意图，其中：(a)、(b)、(c)和(d)分别为正视图、左视图，俯视图和轴测图；

图4为棱镜支撑结构的示意图，其中：(a)为正视图，(b)为(a)中的B-B剖面图；

图5为外壳体的结构示意图，其中：(a)为正视图，(b)为(a)中的C-C剖面图；

图6为三维重建方法的基本流程图；

图7为动态虚拟双目模型的示意图；

图8为多视角图像序列立体匹配过程的示意图；

图中，1、相机装置，11、相机，12、相机支座，2、旋转二分棱镜装置，21、二分棱镜，22、棱镜支撑结构，23、力矩电机转子，24、力矩电机电刷，25、力矩电机定子，26、外壳体。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例提供一种基于旋转二分棱镜的单相机图像采集***，包括相机装置和旋转二分棱镜装置，所述旋转二分棱镜装置用于改变相机视场内成像光线的传播方向，以产生两种对称的成像视角，所述的相机装置用于同步采集和记录两种成像视角下的目标图像信息；所述的相机装置包括相机和相机支座，所述的相机支座用于调节相机的姿态和角度；所述的旋转二分棱镜装置包括二分棱镜组件、旋转机构和外壳体；所述的旋转机构用于驱动二分棱镜组件的旋转运动，所述的外壳体用于旋转机构和保护二分棱镜组件；所述相机装置与旋转二分棱镜装置的轴向距离允许在一定范围内进行调整，为多视角图像捕获与三维重建提供更多的自由度。

进一步地，所述的二分棱镜组件包括二分棱镜及棱镜支撑结构，所述的二分棱镜通过胶水粘接或弹片固定等方式安装在棱镜支撑结构的中心区域，所述的棱镜支撑结构用于固定和支撑二分棱镜。

进一步地，所述的旋转机构采用力矩电机直驱方式或齿轮传动、同步带传动、蜗轮蜗杆传动等方式，所述的力矩电机包括转子和定子；所述的二分棱镜组件通过棱镜支撑结构与力矩电机转子进行螺纹连接，所述的力矩电机定子通过螺纹连接方式安装在外壳体上；所述的力矩电机带动二分棱镜组件在外壳体内转动。

进一步地，所述相机的靶面和所述二分棱镜的背面满足平行关系，相机的光轴与二分棱镜背面相对的顶部棱线相交且垂直，同时保证相机的视场不被旋转二分棱镜装置遮挡。

本实施例还提供一种采用上述基于旋转二分棱镜的单相机图像采集***的三维重建方法，包括以下步骤：

S1、***构建与参数标定：按照相机与二分棱镜的相对位置关系构建单相机成像***及其工作坐标系，利用视觉标定方法获取相机的内部参数以及相机与二分棱镜在光轴方向上的距离；

S2、多视角图像序列采集：通过控制旋转机构实现二分棱镜的转角变化，利用相机在每种二分棱镜转角位置下采集包含目标信息的双视角图像，生成用于三维重建的多视角目标图像序列；

S3、立体匹配及交叉优化：结合动态虚拟双目***模型建立每种二分棱镜转角位置对应的双视角图像极线约束关系，通过窗口匹配算法寻找双视角图像内包含的同名像点，同时利用不同二分棱镜转角对应图像序列提供的多重极线约束，交叉检验和优化多视角图像序列的立体匹配结果；

S4、三维重建与点云滤波：利用特定二分棱镜转角位置下采集图像所包含的同名像点，结合三角测量原理计算恢复对应目标点的位置坐标，获取三维点云的初始估计；而后利用其它二分棱镜转角位置下采集图像所提供的冗余立体匹配，补充初始估计中缺失的点云信息，同时逐步滤除三维点云中可能存在的噪声。

进一步地，所述步骤S1具体包括：

S11、构建单台相机和旋转二分棱镜装置组成的成像***，依次调整相机和二分棱镜装置的姿态以保证相机靶面与二分棱镜背面的平行关系、相机光轴与二分棱镜顶部棱线的垂直关系以及相机与二分棱镜的轴向间距关系；

S12、建立成像***的工作坐标系O-XYZ，原点O固定于相机的光心位置，Z轴与相机的光轴方向重合，X轴和Y轴均与Z轴正交，并且两者分别对应相机图像传感器的行扫描方向和列扫描方向；

S13、采用张正友标定法、直接线性变换法或两步标定法等传统视觉标定方法获取相机的内部参数以及镜头的畸变系数，通过游标卡尺、激光干涉仪等测量工具辅助调整相机与二分棱镜之间的轴向距离。

进一步地，所述步骤S2中通过旋转机构驱动二分棱镜组件先后到达m种转角位置，每当二分棱镜到达指定转角位置之后立即触发相机采集相应的双视角图像，其中旋转机构的运动控制和相机的图像采集触发均由软件实现。

进一步地，所述步骤S3具体包括：

S31、利用光线追迹方法计算相机视轴经过二分棱镜偏转之后的指向，确定任意二分棱镜转角对应的两种成像视角；

S32、根据相机视轴指向随二分棱镜转角的变化关系，推导与成像***等效的动态虚拟双目***模型，确定虚拟双目***的位置姿态和运动规律；

S33、参考传统双目视觉理论，根据任意二分棱镜转角下虚拟双目***的内部参数和外部参数，计算动态虚拟双目***的基础矩阵及其变化规律；

S34、根据动态虚拟双目***的基础矩阵，导出任意二分棱镜转角下***采集的双视角图像之间的极线约束关系，由此构建不同二分棱镜转角对应的多视角图像序列的多重极线约束关系；

S35、利用特定棱镜转角位置下左、右虚拟相机之间的极线约束，同时结合合适的窗口匹配算法寻找双视角图像中包含的同名像点，在此基础上确定同名像点在其他棱镜转角位置所对应的双视角图像内的极线约束，按照同名像点理论上位于多条极线的交点位置的原则，滤除与极线交点偏差过大的同名像点。

进一步地，所述步骤S31中，相机视轴经过二分棱镜偏转之后指向两个关于***光轴方向对称的方向d_L和d_R，由光线追迹方法可得：

其中

和

均为中间变量，d_o＝[0,0,1]^T为单相机成像***的光轴方向，n_L为二分棱镜左侧面的法向量，n_R为二分棱镜右侧面的法向量，n_B为二分棱镜背面的法向量，为二分棱镜侧面与背面的夹角，n为二分棱镜所用材料的折射率，ω为二分棱镜的旋转角度；二分棱镜侧面和背面的法向量分别为：

进一步地，所述步骤S32中，动态虚拟双目***由两台对称分布的虚拟相机组成，用于简化描述相机在旋转二分棱镜装置作用下采集双视角图像的过程；两台虚拟相机的内部参数与实际使用相机完全相同，其外部参数主要取决于旋转二分棱镜的结构参数和运动参数，其在任意二分棱镜转角ω下表示为：

式中，R_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，R_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，Rot表示绕着两个向量外积定义的轴线方向旋转一定的角度，该角度通过向量余弦定律确定，g为实际相机的光心到二分棱镜的背面的距离。

进一步地，所述步骤S33中，在任意二分棱镜转角ω下动态虚拟双目***包含的左、右虚拟相机之间存在基础矩阵：

F(ω)＝(A_int)^-T(R_LR)^-1T_LR(A_int)^-1

R_LR＝R_L(ω)R_R(ω)^-1

t_LR＝t_L-R_L(ω)R_R(ω)^-1t_R

式中，A_int为相机的内部参数矩阵，R_LR为左虚拟相机和右虚拟相机的相对旋转矩阵，T_LR为相对平移向量对应的斜对称矩阵。

进一步地，所述步骤S34中，将左、右虚拟相机的基础矩阵F(ω)与双视角图像内其中一半部分所含像点的齐次坐标相乘，即可得到该像点在另外一半部分图像中对应极线的位置；同理，根据左、右虚拟相机位置与二分棱镜转角的变化关系，采用上述方法可得到m种二分棱镜转角下任意两个虚拟相机位置之间的基础矩阵及对应的极线位置，从而产生一系列冗余的立体匹配约束条件。

进一步地，所述步骤S35中，窗口匹配算法可从现有的绝对误差和(SAD)算法、误差平方和(SSD)算法、归一化交叉相关(NCC)算法等选取。

进一步地，所述步骤S4具体包括：

S41、根据第一种棱镜转角位置下采集的双视角图像进行立体匹配的结果，利用三角测量原理计算目标的初始三维点云分布；

S42、在其他各种棱镜转角位置下采集对应的每幅双视角图像且完成立体匹配之后，利用三角测量原理更新目标的三维点云信息；

S43、比较初始的三维点云和更新的三维点云，将初始估计中未包含的数据补充进去，并利用逐步引入的冗余信息不断修正和优化同名像点对应的三维点云，同时将更新前后偏差较大的数据视作噪声加以滤除。

进一步地，所述步骤S41中，根据双视角图像的立体匹配结果计算对应的三维点云，其计算过程可表示为：

式中，Pⁱ为三维点云集合

中元素i的三维坐标，

为双视角图像内左半部分包含的同名像点的齐次像素坐标，

分别为双视角图像内右半部分包含的同名像点的齐次像素坐标，

为正整数集合；λ_L为

对应投影光线向量的尺度因子，λ_R为

对应投影光线向量的尺度因子，可通过联立方程组消除。

进一步地，所述步骤S43中，根据更新前后三维点云的偏差大小进行点云滤波，每次滤波计算过程表示为：

式中，

为滤波后的三维点云集合，Pⁱ _estimate为初始估计的三维点云集合中的元素，Pⁱ _update为更新计算的三维点云集合中的元素，ε为更新点云与初始估计之间的偏差阈值。

本实施例还提供基于旋转二分棱镜的单相机图像采集***和三维重建方法的具体实施过程，下面分别进行详细描述。

一、基于旋转二分棱镜的单相机图像采集***

如图1至5所示，本实施例提出一种基于旋转二分棱镜的单相机图像采集***，包括相机装置和旋转二分棱镜装置。相机装置包括相机和相机支座、旋转二分棱镜装置包括二分棱镜、棱镜支撑结构、旋转机构和外壳体。

相机装置1具体包括相机11和相机支座12。相机11通过相机支座12调节位置和姿态，相机靶面与二分棱镜21的背面平行且视轴指向与二分棱镜21的顶部棱线垂直。相机11的焦距、视场角和景深范围等参数与二分棱镜21的侧面与背面夹角、折射率等参数必须合理匹配，以免发生视场遮挡问题。

旋转二分棱镜装置2包括二分棱镜组件、旋转机构和外壳体。二分棱镜组件包括二分棱镜21和棱镜支撑结构22，其中二分棱镜21通过弹片固定或胶水粘接的方式安装在棱镜支撑结构22中心区域的矩形安装面上，棱镜支撑结构22在圆周方向开设弧形槽孔以减小转动惯量。

旋转机构采用力矩电机直驱方式或齿轮传动、同步带传动、蜗轮蜗杆传动等方式，本实施例中选取力矩电机直驱方式。力矩电机主要包括转子23、电刷24和定子25，具体地说，二分棱镜组件通过螺纹连接方式与力矩电机转子23固联，力矩电机定子25通过螺纹连接方式固定在外壳体26的端面上。

外壳体26为二分棱镜组件和力矩电机提供固定和保护作用，力矩电机带动其内部的二分棱镜组件实现旋转运动。

相机装置1与旋转二分棱镜装置2的轴向间距可视具体应用场合及需求进行动态调整，为多视角图像捕获过程提供纵向变化的自由度，也为三维计算重建过程提供更为丰富的图像信息。

本实施例在相机前方引入旋转二分棱镜装置，能够通过二分棱镜的分束作用和全圆周旋转运动，任意调整相机的视轴指向和成像视角，从而采集包含丰富信息的多视角目标图像序列，可以有效提升多视角立体匹配和三维重建的精度和效率。相比于已有的利用合作标志或反射镜组的单相机三维重建***，本实施例的三维重建***无须利用合作标志作为先验信息，也未引入对误差扰动较为敏感的反射元件，可以实现更好的结构紧凑性、成像灵活性和环境适应性。

二、基于旋转二分棱镜的单相机多视角三维重建方法

如图6-图8所示，本实施例提出一种采用上述基于旋转二分棱镜的单相机图像采集***的三维重建方法，具体包括以下步骤：

S1、***构建与参数标定

S11、构建相机装置1和旋转二分棱镜装置2组成的成像***，依次调整相机11和二分棱镜21的姿态以保证相机靶面与二分棱镜背面的平行关系、相机光轴与二分棱镜顶部棱线的垂直关系以及相机与二分棱镜的轴向间距关系；

S12、建立成像***的工作坐标系O-XYZ，原点O固定于相机的光心位置，Z轴与相机的光轴方向重合，X轴和Y轴均与Z轴正交，并且两者分别对应相机图像传感器的行扫描方向和列扫描方向；

S13、采用张正友标定法、直接线性变换法或两步标定法等传统视觉标定方法获取相机的内部参数以及镜头的畸变系数，本实施例中采用张正友标定法；通过游标卡尺、激光干涉仪等测量工具确定相机与二分棱镜之间的轴向距离，本实施例中采用游标卡尺；上述标定方法和测量方法均为现有的成熟方法，故不再展开。

S2、多视角图像序列采集

通过软件控制旋转机构的运动规律，使二分棱镜先后转至m＝3种转角位置，记为ω₁＝0°、ω₂＝45°和ω₃＝90°；每当二分棱镜到达指定转角位置之后，立即通过软件触发相机采集相应的包含目标信息的双视角图像，最终得到用于三维重建的多视角目标图像序列。

S3、立体匹配及交叉优化

结合动态虚拟双目***模型建立每种二分棱镜转角位置对应的双视角图像极线约束关系，通过窗口匹配算法寻找双视角图像内包含的同名像点，同时利用不同二分棱镜转角对应图像序列提供的多重极线约束，交叉检验和优化多视角图像序列的立体匹配结果；

S31、利用光线追迹方法计算相机视轴经过二分棱镜偏转之后的指向，确定任意二分棱镜转角对应的两种成像视角；经过二分棱镜偏转的相机视轴指向为关于***光轴方向对称的两个方向d_L和d_R，根据矢量折射定律推导可得：

其中

和

均为中间变量，d_o＝[0,0,1]^T为单相机成像***的光轴方向，n_L为二分棱镜左侧面的法向量，n_R为二分棱镜右侧面的法向量，n_B为二分棱镜背面的法向量，为二分棱镜侧面与背面的夹角，n为二分棱镜所用材料的折射率，ω为二分棱镜的旋转角度；二分棱镜侧面和背面的法向量分别为：

本实施例中二分棱镜的侧面与背面夹角为α＝5°，折射率为n＝1.52。

S32、根据相机视轴指向随二分棱镜转角的变化关系，推导与成像***等效的动态虚拟双目***模型；动态虚拟双目***由两台对称分布的虚拟相机组成，用于简化描述相机在旋转二分棱镜装置作用下采集双视角图像的过程；两台虚拟相机的内部参数与实际使用相机完全相同，其外部参数主要取决于旋转二分棱镜的结构参数和运动参数，其在任意二分棱镜转角ω下表示为：

式中，R_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，R_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，Rot表示绕着两个向量外积定义的轴线方向旋转一定的角度，该角度通过向量余弦定律确定，g为实际相机的光心到二分棱镜的背面的距离。

S33、参考传统双目视觉理论，根据任意二分棱镜转角ω下虚拟双目***的内部参数和外部参数，动态虚拟双目***包含的左、右虚拟相机满足基础矩阵：

F(ω)＝(A_int)^-T(R_LR)^-1T_LR(A_int)^-1

R_LR＝R_L(ω)R_R(ω)^-1

t_LR＝t_L-R_L(ω)R_R(ω)^-1t_R

式中，A_int为相机的内部参数矩阵，R_LR为左虚拟相机和右虚拟相机的相对旋转矩阵，T_LR为相对平移向量对应的斜对称矩阵。

S34、将动态虚拟双目***中左、右虚拟相机的基础矩阵F(ω)，与二分棱镜转角为ω₁＝0°时采集图像内左(右)半部分所含像点的齐次坐标相乘，即可得到该像点在右(左)半部分图像中对应极线的位置；再根据左、右虚拟相机位置与二分棱镜转角的关系，可得到不同二分棱镜转角下任意两个虚拟相机位置之间的基础矩阵及对应的极线位置，从而产生一系列冗余的立体匹配约束条件。

S35、利用棱镜转角位置为ω₁＝0°时左、右虚拟相机之间的极线约束，结合绝对误差和(SAD)算法、误差平方和(SSD)算法、归一化交叉相关(NCC)算法等窗口匹配算法寻找双视角图像中包含的同名像点

和

本实施例中采用SAD算法；在此基础上，确定同名像点

和

在ω₂＝45°和ω₃＝90°时采集图像内的极线约束，针对每组同名像点

及

的其中一个像点可以确定5条对应极线位置；按照每个视角的同名像点理论上位于5条对应极线的交点位置的原则，滤除与极线交点偏差超过阈值δ＝0.5像素的同名像点。

S4、三维重建与点云滤波

S41、利用棱镜转角位置为ω₁＝0°时采集图像所包含的同名像点pi_L1和pⁱ _R1，结合三角测量原理计算恢复对应目标点的位置坐标，获取三维点云的初始估计；每个目标点Pⁱ的计算过程可表示为：

式中，Pⁱ为三维点云集合

中元素i的三维坐标，

为双视角图像内左半部分包含的同名像点的齐次像素坐标，

分别为双视角图像内右半部分包含的同名像点的齐次像素坐标，

为正整数集合；λ_L和λ_R分别为

和

对应投影光线向量的尺度因子，可通过联立方程组消除。

S42、依次利用棱镜转角位置为ω₂＝45°和ω₃＝90°时采集图像的立体匹配结果重新计算三维点云，计算方法同步骤S41；

S43、每次计算完成后比较先前的三维点云和更新的三维点云，将原先包含的数据补充进去；利用同名像点对应关系逐步修正和优化三维目标点云的分布情况，同时将更新前后偏差较大的数据视作噪声加以滤除，点云滤波过程表示为：

式中，

为滤波后的三维点云集合，Pⁱ _estimate为初始估计的三维点云集合中的元素，Pⁱ _update为更新计算的三维点云集合中的元素，ε为更新点云与初始估计之间的偏差阈值；本实施例中，取偏差阈值ε＝1mm。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于旋转二分棱镜的单相机图像采集***的三维重建方法，其特征在于，基于旋转二分棱镜的单相机图像采集***包括相机装置(1)和旋转二分棱镜装置(2)，所述相机装置(1)包括相机(11)和支撑该相机的相机支架(12)；

所述旋转二分棱镜装置(2)包括二分棱镜(21)、棱镜支撑结构(22)、旋转机构和支撑所述旋转二分棱镜装置的外壳体(26)，所述二分棱镜(21)固定安装在所述棱镜支撑结构(22)的中心区域，所述旋转机构的输出端连接所述棱镜支撑结构(22)，用于驱动所述棱镜支撑结构(22)在竖直平面上转动；

所述相机(11)的探测端正对所述二分棱镜(21)；

三维重建方法包括以下步骤：

***构建与参数标定步骤：对所述相机装置和旋转二分棱镜装置进行位置和姿态调整，构建单相机成像***及其工作坐标系；利用视觉标定的方法获取所述相机的内部参数和所述相机和二分棱镜之间的轴向距离；

多视角图像序列采集步骤：通过控制所述旋转机构带动所述二分棱镜转动，通过所述相机采集在每种二分棱镜转角位置下的包含目标信息的双视角图像，构成用于进行三维重建的多视角目标图像序列；

立体匹配及交叉优化步骤：根据相机视轴经过二分棱镜偏转后的指向以及二分棱镜的转角，推导出与所述单相机成像***等效的动态虚拟双目***模型，建立每种所述二分棱镜转角位置对应的双视角图像的极线约束关系，通过窗口匹配算法寻找双视角图像内的同名像点，并对不同二分棱镜转角位置的双视角图像内的同名像点进行交叉检验和优化，实现立体匹配；

三维重建与点云滤波步骤：根据一种所述二分棱镜转角位置对应的双视角图像的同名像点，获取目标的三维点云初始估计；根据其它所述二分棱镜转角位置对应的双视角图像的同名像点，补充所述初始估计的三维点云缺失的点云信息，从而更新三维点云，然后进行噪声滤除，获取最终的三维点云重建结果。

2.根据权利要求1所述的方法，其特征在于，所述相机(11)的靶面和所述二分棱镜(21)的背面满足平行关系，所述相机(11)的光轴与二分棱镜(21)背面相对的顶部棱线相交且垂直。

3.根据权利要求1所述的方法，其特征在于，所述旋转机构为力矩电机，包括力矩电机转子(23)、力矩电机电刷(24)和力矩电机定子(25)，所述棱镜支撑结构(22)连接所述力矩电机转子(23)，所述力矩电机定子(25)安装在所述外壳体(26)上。

4.根据权利要求1所述的方法，其特征在于，***构建与参数标定步骤中，所述构建单相机成像***具体为，调整所述相机装置和旋转二分棱镜装置的位置和姿态，以保证相机靶面与二分棱镜背面的平行关系、相机光轴与二分棱镜顶部棱线的垂直关系以及相机与二分棱镜的轴向间距关系；

构建单相机成像***的工作坐标系具体为，建立所述单相机成像***的工作坐标系O-XYZ，原点O固定于相机的光心位置，Z轴与相机的光轴方向重合，X轴和Y轴均与Z轴正交，并且所述X轴对应相机图像传感器的行扫描方向，所述Y轴对应相机图像传感器的列扫描方向。

5.根据权利要求1所述的方法，其特征在于，立体匹配及交叉优化步骤中，所述动态虚拟双目***模型的推导过程具体为，

利用光线追迹方法计算相机视轴经过二分棱镜偏转之后指向的两个关于所述单相机成像***光轴方向对称的两个方向d_L和d_R，确定任意二分棱镜转角对应的两种成像视角；并根据相机视轴指向随二分棱镜转角的变化关系，推导出所述动态虚拟双目***模型；

所述相机视轴经过二分棱镜偏转之后的指向的计算表达式为：

d_o＝[0,0,1]^T

式中，d_o为所述单相机成像***的光轴方向，n_L为二分棱镜左侧面的法向量，n_R为二分棱镜右侧面的法向量，n_B为二分棱镜背面的法向量，α为二分棱镜侧面与背面的夹角，n为二分棱镜所用材料的折射率，ω为二分棱镜的旋转角度；

所述动态虚拟双目***模型包括左虚拟相机和右虚拟相机，所述左虚拟相机和右虚拟相机相对于实际相机的旋转矩阵和平移向量在任意二分棱镜转角ω下的计算表达式为：

式中，R_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_L(ω)为左侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，R_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的旋转矩阵，t_R(ω)为右侧虚拟相机在任意二分棱镜转角ω下相对于实际相机的平移向量，Rot表示绕着两个向量外积定义的轴线方向旋转一定的角度，该角度通过向量余弦定律确定，g为实际相机的光心到二分棱镜的背面的距离。

6.根据权利要求5所述的方法，其特征在于，所述***构建与参数标定步骤中，立体匹配及交叉优化步骤中，所述动态虚拟双目***模型包括任意二分棱镜转角ω下的左虚拟相机和右虚拟相机之间的基础矩阵，该基础矩阵的计算表达式为：

F(ω)＝(A_int)^-T(R_LR)^-1T_LR(A_int)^-1

R_LR＝R_L(ω)R_R(ω)^-1

t_LR＝t_L-R_L(ω)R_R(ω)^-1t_R

式中，A_int为相机的内部参数矩阵，R_LR为左虚拟相机和右虚拟相机的相对旋转矩阵，T_LR为相对平移向量对应的斜对称矩阵；

通过将左、右虚拟相机的基础矩阵F(ω)与双视角图像内其中一半部分所含像点的齐次坐标相乘，即可得到该像点在另外一半部分图像中对应极线的位置，从而获取所述极线约束关系。

7.根据权利要求1所述的方法，其特征在于，立体匹配及交叉优化步骤中，所述交叉检验和优化具体为，按照同名像点理论上位于多条极线的交点位置的原则，滤除与极线交点偏差过大的同名像点。

8.根据权利要求1所述的方法，其特征在于，三维重建与点云滤波步骤中，所述三维点云的初始估计的计算表达式为：

式中，Pⁱ为三维点云集合

中元素i的三维坐标，

为双视角图像内左半部分包含的同名像点的齐次像素坐标，

分别为双视角图像内右半部分包含的同名像点的齐次像素坐标，

为正整数集合；λ_L为

对应投影光线向量的尺度因子，λ_R为

对应投影光线向量的尺度因子。

9.根据权利要求1所述的方法，其特征在于，三维重建与点云滤波步骤中，所述噪声滤除具体为，根据更新前后三维点云的偏差大小进行点云滤波，每次所述点云滤波的计算过程表示为：

式中，

为滤波后的三维点云集合，Pⁱ _estimate为初始估计的三维点云集合中的元素，Pⁱ _update为更新计算的三维点云集合中的元素，ε为更新点云与初始估计之间的偏差阈值。

Images