CN107610183B

CN107610183B - 一种条纹投影相位高度转换映射模型的标定方法

Info

Publication number: CN107610183B
Application number: CN201710874303.XA
Authority: CN
Inventors: 孙长库; 陆鹏; 王鹏
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-09-25
Filing date: 2017-09-25
Publication date: 2020-12-15
Anticipated expiration: 2037-09-25
Also published as: CN107610183A

Abstract

本发明公开了一种条纹投影相位高度转换映射模型及标定方法：标定靶标放在相机视场和投射器投影区域交界处区域内，拍摄标定靶标图像，发射投射条纹，同时拍摄图像；标定靶标放置在另一位置，标定靶标与之前姿态不同，重复上述；采集足够图像；提取特征点图像坐标信息，利用插值法计算对应特征点绝对相位值，标定相机；所有特征点坐标值转换到CCS下，利用特征点的信息，计算出相位高度转换映射模型中的各个参数。本发明解决了标定技术中存在的适用性不强，对相机和投射器相对位姿有严格要求，模型算法复杂度高，标定过程复杂以及存在误差累积等的问题。

Description

一种条纹投影相位高度转换映射模型的标定方法

技术领域

本发明涉及光学三维检测技术，更具体的说，是涉及一种条纹投影相位高度转换映射模型的标定方法。

背景技术

***标定技术对于条纹投影三维测量***的准确度、速度和***组成有很大的影响，现存的标定技术可以分为两种：基于立体视觉的标定技术和相位高度转换技术。

受双目视觉***启发，许多研究人员研究并改进了基于立体视觉的标定技术。为了实现三维测量，标定时投射器和相机的内部参数以及二者之间的旋转矩阵、平移向量均需要被标定计算出来。Zhang和Huang提出了一种标定方法，其中投射器可以像相机一样“拍摄”图像。这种方法通过投射一系列的水平和竖直条纹来标定投射器并建立投射器和相机的空间关系。Li等人利用预畸变投射条纹的方法消除了投射器镜头畸变造成的影响。为了进一步提高测量准确度，Li和Zhang提出了一种算法估计投射器的最佳投射角。最近，Chen等人提出一种自标定方法实现了条纹投影测量***的在线标定。由于需要投射各种图案以标定投射器并计算投射器和相机的空间关系，基于立体视觉的标定技术仅适用于投射器是液晶显示器(LCD)或者数字微透镜阵列(DMD)的情况。然而，在某些情况下，比如莫尔条纹投影***，光纤干涉投影***和扫描频闪条纹投影***，这种技术不再适用，因为这些***中的投射器不能被看作“反向”的相机。

另一个分支是相位高度转换标定技术。这种模型不考虑标定投射器，而是通过数学模型直接建立相位和高度的关系。因此，不受投射器种类的约束。受插值法的启发，Léandry等人提出了一种多项式映射的模型来建立相位和高度映射关系。为了达到较高的测量准确度，多项式的次数需要不小于4，因此测量过程费时，不适合用于实时测量***中。Lu等人提出了一种基于条纹几何约束的相位高度转换方法。这种方法具有高测量准确度和强鲁棒性，但是同样存在计算量大的缺点。Du等人利用相机针孔模型结合光线追迹理论建立了相位和高度的映射关系，Huang通过考虑相机镜头的畸变提高了这种模型的准确度。对应的标定方法需要不同高度的量块和参考面，因此限制了它们的应用范围。此外，文献中模型参数有34个，计算量大。Tavares等人利用实验经验提出了相位差和高度的映射关系。Zhang等人通过多项式映射的方法建立世界坐标和相位差的一对一映射公式。文献中的方法本质上是利用查找表法(LUT)的像素级标定方法。这些方法依赖于相位图中每个像素精确的相位值，因此需要标定板移动足够的位置，标定过程费时。另外，这两种模型都需要参考平面来计算相位差，会产生误差累积的问题。

发明内容

本发明的目的是为了克服现有技术中的不足，通过建立虚拟相机坐标系以及分析条纹信息在相机坐标系和投射器坐标系之间的转换关系，提供了一种针对条纹投影三维测量***的改进的相位高度转换映射模型及标定方法，解决了上述标定技术中存在的适用性不强，对相机和投射器相对位姿有严格要求，模型算法复杂度高，标定过程复杂以及存在误差累积等的问题。

本发明的目的可通过以下技术方案实现。

本发明条纹投影相位高度转换映射模型的标定方法，包括以下步骤：

步骤一，将标定靶标放在相机视场和投射器投影区域交界处的区域内，相机拍摄标定靶标图像，然后投射器发射投射条纹，同时相机拍摄图像；

步骤二，将标定靶标放置在相机视场和投射器投影区域交界处区域内另一位置，且标定靶标与之前的姿态不同，重复步骤一；

步骤三，重复步骤二直至采集到足够图像；

步骤四，提取特征点的图像坐标信息，并利用插值法计算对应特征点的绝对相位值，标定相机；

步骤五，将所有特征点的坐标值转换到相机坐标系CCS下，利用特征点的信息(Z_C；u v φ)，计算出条纹投影相位高度转换映射模型中的各个参数；

其中，条纹投影相位高度转换映射模型为：

其中，

k_ij＝b₃p_ij+b₄q_ij

[u v]^T代表未经畸变校正的图像坐标；[u" v"]^T是变换后的图像坐标；投射器坐标系PCS中圆点O_P代表发光点，X_P轴平行于投射条纹相位变化的方向，Y_P轴垂直投射条纹相位变化的方向，Z_P轴垂直于投射条纹的相平面，在投射器坐标系PCS中任意一点的坐标表示为[X_P Y_P Z_P]^T，在投射器坐标系PCS中，同一条光线上的空间点相位相同，均为φ，在同一高度Z_P上，相位值从φ₀变化到φ₁，对应的X_P变化范围是[X_P(φ₀),X_P(φ₁)]；w是尺度因子；T_P是平移向量，T_P＝[t_X t_Y t_Z]^T；[f_u f_v]^T代表镜头的焦距，[u_o v_o]^T是图像中心坐标；s是图像坐标轴的扭曲系数。

为了降低算法复杂度，实现实时测量，利用查找表LUT法，定义

则条纹投影相位高度转换映射模型Z_c简化为：

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明针对条纹投影测量***，通过建立虚拟的相机坐标系以及分析投射条纹信息在投射器坐标系和相机坐标系之间的转换关系，提出了一种改进的相位高度映射模型，并且针对这种模型提出了一种新颖的标定方法。相比于之前针对条纹投影测量***的映射模型和标定方法，本文提出的模型不仅对投射器和相机的相对位姿无严格要求，标定模型算法复杂度低，能够实现快速准确的三维测量，而且对应的标定方法简单高效。由于本发明提出的相位高度映射模型以及标定方法具有以上优点，因此可以应用于现场标定。

附图说明

图1是投射器坐标系PCS示意图；

图2是虚拟相机坐标系CCS'和相机坐标系CCS示意图；

图3是条纹投影相位高度转换映射模型的标定原理图；

图4是利用条纹投影相位高度转换映射模型的标定现场图；

图5是利用本模型测量的被测物示意图；

图6是标定所用特征点重建信息示意图；

图7是利用本模型进行三维测量的结果示意图。

具体实施方式

下面结合附图对本发明作进一步的描述。

如图1所示，建立一个投射器坐标系PCS，其中圆点O_P代表发光点，X_P轴平行于投射条纹相位变化的方向，Y_P轴垂直投射条纹相位变化的方向，Z_P轴垂直于投射条纹的相平面。因此，在投射器坐标系PCS中任意一点的坐标可以表示为[X_P Y_P Z_P]^T。由图1可知，在投射器坐标系PCS中，同一条光线上的空间点相位相同，均为φ。在同一高度Z_P上，相位值从φ₀变化到φ₁，对应的X_P变化范围是[X_P(φ₀),X_P(φ₁)]。对于从O_P发出的任意光线，可以获得式(1)：

X_P＝wZ_P(φ-φ₀)+X_P(φ₀) (1)

其中，w是尺度因子。相机坐标系CCS到投射器坐标系PCS的坐标变换公式为：

[X_P Y_P Z_P]^T＝T_P+R_P[X_C Y_C Z_C]^T (2)

其中，R_P是旋转矩阵，T_P是平移向量，[X_C Y_C Z_C]^T是相机坐标系中的坐标，

这里，定义一个虚拟相机坐标系CCS'，使其同投射器坐标系PCS具有相同的姿态，同相机坐标系CCS具有相同的位置，如图2和式(3)所示。

[X_P Y_P Z_P]^T＝T_P+[X_C' Y_C' Z_C']^T (3)其中，[X_C' Y_C' Z_C']^T＝R_P[X_C Y_C Z_C]^T。

将式(3)带入式(1)，可得式(4)：

X_C'+t_X＝w(Z_C'+t_Z)(φ-φ₀)+X_P(φ₀) (4)

将相机小孔成像模型带入式(4)，可得式(5)：

其中，

上式中[X_C' Y_C' Z_C']^T表示相机坐标系CCS'中的坐标；[f_u f_v]^T代表镜头的焦距，[u_ov_o]^T是图像中心坐标；s是图像坐标轴的扭曲系数。展开式(3)并且令X_C'和Y_C'分别除以Z_C'，并利用相机成像模型，可得式(6)：

其中，

利用泰勒级数将式(6)展开，结果如式(7)，

对相机镜头的畸变进行校正，相机镜头畸变模型如式(8),

其中，[u v]^T代表未经畸变校正的图像坐标，[u_un v_un]^T代表校正后的图像坐标；e₁,e₂和e₃代表径向畸变参数，g₁和g₂代表切向畸变参数，

表示图像坐标点和中心点的距离。为了避免寻找图像中心坐标[u_o v_o]^T，展开式(8)。同时，展开式(7)。式(7)和式(8)展开后的结果均可以用式(9)表示，其中[u" v"]^T是变换后的图像坐标，

在相机坐标系CCS中考虑到相机镜头的畸变，将式(9)带入式(5)中，得到本发明的新型条纹投影相位高度转换映射模型Z_C(u,v,φ)，可以表示为：

其中，k_ij＝b₃p_ij+b₄q_ij。式(10)可以认为是CCS中的图像坐标进行相机镜头畸变校正后转换到CCS'中的图像坐标的情况。

式(10)中的参数可以通过式(11)计算，其中N是从标定靶标中提取出的特征点的总数。估计式(11)的最小值是一个非线性最优化过程，可以通过Levenberg-Marquardt算法计算。

通常情况下，当式(10)中的参数次数n达到3或者4时就可以达到比较好的拟合效果。当估计得出全部参数后，高度值Z_C就可以利用式(10)获得，而X_C和Y_C可以通过Z_C、式(8)和相机小孔成像模型获得。

为了降低算法复杂度，实现实时测量，这里考虑查找表LUT法，定义式(12)：

则本发明的新型条纹投影相位高度转换映射模型可简化为：

预先计算出每个像素点的Z_LUT[u,v]，测量时的计算量可以明显降低。同样，X和Y方向的测量也可以采用这种方式降低计算量，提高测量速度。

本发明新型条纹投影相位高度转换映射模型的标定方法，如图3所示，具体步骤如下：

步骤一，将标定靶标放在相机视场和投射器投影区域交界处的任意区域内。首先，投射器不需要发射任何投射条纹，相机拍摄标定靶标图像，用于提取标定靶标的特征点；然后，投射器发射投射条纹，同时相机拍摄图像，用于获取特征点的绝对相位。

步骤二，将标定靶标放置在相机视场和投射器投影区域交界处区域内另一位置，并保证标定靶标与之前的姿态不同，重复步骤一。

步骤三，重复步骤二直至采集到足够图像，一般是2～10组图像。实际上，只用2组图像就可以将所有的参数计算出来。尽管如此，通常至少需要5组图像以保证达到足够的准确度。

步骤四，提取特征点的图像坐标信息，并利用插值法计算对应特征点的绝对相位值，标定相机。

步骤五，将所有特征点的坐标值转换到相机坐标系CCS下，利用特征点的信息(Z_C；uvφ)，计算出本发明新型条纹投影相位高度转换映射模型中的各个参数。

如图4所示，将相机、投射器及其支架如图安装在光学平台上，其中相机和投影仪的相对位姿无严格要求。如图3中和上文描述的过程，由计算机控制投射器发射投射条纹，同时利用相机拍摄标定靶标图像；经过图像处理提取特征点图像坐标，将特征点图像坐标和特征点相机坐标系下的坐标带入本发明所提出的相位高度转换映射模型，求取参数；在计算出模型中的所有参数后，利用本模型测量如图5中的被测物。

按照上述方式，对本发明所提出模型及其标定方法进行实验验证，当模型中的非线性次数n＝4时，标定所用特征点重建信息如图6所示，利用本模型进行三维测量的结果如图7所示，测量所用时间为11毫秒。

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种条纹投影相位高度转换映射模型的标定方法，其特征在于，包括以下步骤：

步骤三，重复步骤二直至采集到足够图像；

步骤五，将所有特征点的坐标值转换到相机坐标系CCS下，利用特征点的信息(Z_C；u vφ)，计算出条纹投影相位高度转换映射模型中的各个参数；

其中，条纹投影相位高度转换映射模型为：

为了降低算法复杂度，实现实时测量，利用查找表LUT法，定义：

则条纹投影相位高度转换映射模型Z_c简化为：

其中，

k_ij＝b₃p_ij+b₄q_ij

[u v]^T代表未经畸变校正的图像坐标；[u″ v″]^T是变换后的图像坐标；投射器坐标系PCS中圆点O_P代表发光点，X_P轴平行于投射条纹相位变化的方向，Y_P轴垂直投射条纹相位变化的方向，Z_P轴垂直于投射条纹的相平面，在投射器坐标系PCS中任意一点的坐标表示为[X_PY_P Z_P]^T，在投射器坐标系PCS中，同一条光线上的空间点相位相同，均为φ，在同一高度Z_P上，相位值从φ₀变化到φ₁，对应的X_P变化范围是[X_P(φ₀),X_P(φ₁)]；w是尺度因子；T_P是相机坐标系CCS转换到投射器坐标器PCS的平移向量，T_P＝[t_X t_Y t_Z]^T；[f_u f_v]^T代表镜头的焦距，[u_o v_o]^T是图像中心坐标；s是图像坐标轴的扭曲系数。