CN104050661B - 面扫描三维测量***精度的实时调整方法 - Google Patents

Abstract

本发明公开了一种面扫描三维测量***精度的实时调整方法。首先通过判断相机内外部参数是否符合当前工作状态要求来确定面扫描三维测量***的精度是否符合要求，如果相机内外部参数符合当前工作状态要求则继续测量，否则利用Levenberg‑Marquardt算法对相机内外部参数进行优化，使目标函数的平均值最小，此时认为相机内外部参数是最优的；接着判断目标函数的平均值是否小于误差阈值，是则用优化后的相机内外部参数继续测量，否则提示用户重新进行标定。本方法能实时、在线地进行精度自检测和相机参数自动优化，在不重复标定的情况下，能够使得相机的重投影误差平均值保持在0.0028像素左右达20天以上。

Description

面扫描三维测量***精度的实时调整方法

技术领域

本发明属于面扫描三维测量技术领域，更具体地，涉及一种面扫描三维测量***精度的实时调整方法。

背景技术

相机内部参数和外部参数标定精度是三维测量***的关键，由于工作环境的复杂性，相机内外部参数受环境影响而时刻变化，其精度严重影响和制约着面扫描三维测量结果的精度。目前，面扫描三维测量***在工业精度检测、增材制造、文物数字化、医疗、3D照相等领域的应用越来越广，然而由于受工作过程中相机内外部参数变化的影响，面扫描三维测量***在使用过程中需要频繁进行参数标定，操作过程繁琐。

由于受到环境温度、工作过程中热作用的影响，相机相关部件会发生温漂，固定双相机的支架会由于受热作用产生热应变；工作过程中震动、固定、支撑位置的改变也会使固定支架产生微小变形；固定相机的螺钉等部件在振动过程中松动，会引起两个相机固定位置发生改变；空气湿度的变化也会引起相机内部参数和外部参数发生相应变化。这些微小变化都会对面扫描三维测量***这样的精密光学设备产生重大影响，严重影响了三维重建结果的精度。

为了达到精度要求，除了在标定的时候保证标定结果达到一定的精度要求外，还必须不断监测工作过程中相机内外部参数的变化，并进行一定的修正和补偿。传统做法是，每隔一段时间进行***精度监测，如果精度无法满足要求，则进行重新标定。然而由于精度监测、标定过程复杂、耗时，并且无法在线进行，这严重影响了面扫描三维测量***的工作效率；此外，由于缺乏相应的自检测方法和机制，使用者无法知道何时面扫描三维测量***的测量结果精度超出了允许误差阈值，要求使用者必须具备相关专业素养和丰富的实践经验，对何时进行相机的重新标定，提出了挑战。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种面扫描三维测量***精度的实时调整方法，能有效解决面扫描三维测量***精度检测困难，重复标定频繁的问题，能自动检测面扫描三维测量***的精度是否符合测量要求，实时优化相关参数使面扫描三维测量***保持合适的精度，减少重新标定次数。

为实现上述目的，按照本发明的一个方面，提供了一种面扫描三维测量***精度的实时调整方法，所述面扫描三维测量***包括投影仪、第一相机和第二相机，其特征在于，包括如下步骤：

(1)对第一相机和第二相机，均在垂直和水平方向运用多频外差方法解相得到相位图；

(2)在第一相机的相位图上划分虚拟网格选取采样点，然后根据相位值约束进行相位匹配，找到第二相机的相位图上的对应点；

(3)舍弃第一相机图像平面上的误匹配点；

(4)计算第一相机图像平面上的剩余采样点到对应的极线的距离的平均值，如果其小于误差阈值e，则继续测量，经过时间T，返回步骤(1)；否则执行步骤(5)，其中，T为***精度监测的时间间隔，所述对应的极线是指第一相机图像平面上的剩余采样点在第二相机相位图上的对应点在第一相机的图像平面上对应的极线；

(5)利用Levenberg-Marquardt算法，使第一相机图像平面上的剩余采样点到对应的极线的距离的平均值达到最小，以优化第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R；

(6)判断第一相机图像平面上的剩余采样点到对应的极线的距离的平均值是否小于误差阈值e，是则用优化后的第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R继续测量，经过时间T，返回步骤(1)；否则提示用户重新进行标定。

优选地，所述步骤(1)具体为：用投影仪投影水平的正弦光栅图像到被测物体上，运用多频外差方法对两相机得到的图像进行解相，分别得到相位值沿水平方向递增的相位图；用投影仪投影垂直的正弦光栅图像到被测物体上，运用多频外差方法对两相机得到的图像进行解相，分别得到相位值沿垂直方向递增的相位图。

优选地，所述步骤(2)进一步包括如下步骤：(2-1)在第一相机的其中一个相位图F1上划分虚拟网格得到m×n个角点作为采样点，其中，m、n均为整数；(2-2)对于F1上的任何一个采样点P1，在第二相机的与F1方向相同的相位图S1中找到一条与该点相位值相同的曲线L1；(2-3)在第一相机的另一个相位图F2上找到与P1像素坐标相同的点P2；(2-4)在第二相机的另一个相位图S2中找到与P2相位值相同的曲线L2；(2-5)将L1和L2上像素坐标距离最小的两个点的像素坐标的平均值作为S1和S2上与采样点P1和P2对应的点的像素坐标，得到P1和P2在S1和S2上的对应点；(2-6)重复上述步骤(2-2)至(2-5)，得到第一相机相位图上的所有采样点在第二相机相位图上的对应点。

优选地，所述步骤(3)进一步包括如下步骤：(3-1)根据极线几何原理，对于第一相机图像平面上的每一个采样点在第二相机相位图上的对应点，计算其在第一相机的图像平面上对应的极线l₁,l₂,…,l_i,…,l_m×n，其中，i为整数且1≤i≤(m×n)，x_ri为对应点的齐次像素坐标，K_r ^-T为第二相机内部参数矩阵K_r的逆的转置，为第一相机内部参数矩阵K_l的逆；(3-2)计算第一相机图像平面上的所有采样点到对应的极线l₁,l₂,…,l_i,…,l_m×n的距离d₁,d₂,…,d_i,…,d_m×n；(3-3)计算d₁,d₂,…,d_i,…,d_m×n的平均值μ和标准差σ；(3-4)将d_i≤(μ-1.96σ)或d_i≥(μ+1.96σ)对应的第一相机图像平面上的采样点舍弃。

优选地，所述步骤(5)进一步包括如下步骤：(5-1)构建以第一相机图像平面上的剩余采样点的齐次像素坐标x′_lj和第二相机图像平面上与第一相机图像平面上的剩余采样点对应的点的像素坐标x′_rj为自变量，以第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R为待定系数，以第一相机图像平面上的剩余采样点到对应的极线的距离为目标函数的非线性方程组；(5-2)利用Levenberg-Marquardt算法使非线性方程组中的目标函数的平均值达到最小，以优化第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，首先通过判断相机内外部参数是否符合当前工作状态要求来确定面扫描三维测量***的精度是否符合要求，如果相机内外部参数符合当前工作状态要求则继续测量，否则利用Levenberg-Marquardt算法对相机内外部参数进行优化，使目标函数的平均值最小，此时认为相机内外部参数是最优的；接着判断目标函数的平均值是否小于误差阈值，是则用优化后的相机内外部参数继续测量，否则提示用户重新进行标定。本方法能实时、在线地进行精度自检测和相机参数自动优化，在不重复标定的情况下，能够使得相机的重投影误差平均值保持在0.0028像素左右达20天以上。

附图说明

图1是本发明实施例的面扫描三维测量***精度的实时调整方法流程图；

图2是在第二相机相位图上找到第一相机相位图上采样点的对应点的方法流程图；

图3是在第二相机相位图上找到第一相机相位图上采样点的对应点的示意图，其中，(a)第一相机的相位值沿水平方向递增的相位图，(b)第二相机的相位值沿水平方向递增的相位图，(c)第一相机的相位值沿垂直方向递增的相位图，(d)第二相机的相位值沿垂直方向递增的相位图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例的面扫描三维测量***精度的实时调整方法中，面扫描三维测量***包括投影仪、第一相机和第二相机。如图1所示，该方法具体包括如下步骤：

(1)对第一相机和第二相机，均在垂直和水平方向运用多频外差方法解相得到相位图。

具体地，用投影仪投影水平的正弦光栅图像到被测物体上，运用多频外差方法对两相机得到的图像进行解相，分别得到相位值沿水平方向递增的相位图；用投影仪投影垂直的正弦光栅图像到被测物体上，运用多频外差方法对两相机得到的图像进行解相，分别得到相位值沿垂直方向递增的相位图。优选地，正弦光栅图像为3组共12幅。

(2)在第一相机的相位图上划分虚拟网格选取采样点，然后根据相位值约束进行相位匹配，找到第二相机的相位图上的对应点。

如图2和图3所示，进一步包括如下步骤：

(2-1)在第一相机的其中一个相位图F1上划分虚拟网格得到m×n个角点作为采样点。其中，m、n均为整数，优选地，m,n≥8，m和n的取值应尽可能大，但太大会导致计算效率下降，m×n在100左右为宜。

(2-2)对于F1上的任何一个采样点P1，在第二相机的与F1方向相同的相位图S1中找到一条与该点相位值相同的曲线L1。

(2-3)在第一相机的另一个相位图F2上找到与P1像素坐标相同的点P2。

(2-4)在第二相机的另一个相位图S2中找到与P2相位值相同的曲线L2。

(2-5)理想情况下，曲线L1和L2上像素坐标相同的点即为P1(或P2)的对应点，但由于存在误差，两条曲线不一定连续。因此，遍历L1和L2，得到L1和L2上像素坐标距离最小的两个点，将这两个点的像素坐标的平均值作为S1和S2上与采样点P1和P2对应的点的像素坐标，从而得到P1和P2在S1和S2上的对应点。

(2-6)重复上述步骤(2-2)至(2-5)，得到第一相机相位图上的所有采样点在第二相机相位图上的对应点。

(3)运用统计学原理，舍弃第一相机图像平面上的误匹配点。

进一步包括如下步骤：

(3-1)根据极线几何原理，对于第一相机图像平面上的每一个采样点在第二相机相位图上的对应点，计算其在第一相机的图像平面上对应的极线l₁,l₂,…,l_i,…,l_m×n，其中，i为整数且1≤i≤(m×n)，l_i为：

$l_i=x_{\mathrm{ri}}{K}_r^{-T}{\mathrm{SRK}}_l^{-1}$

其中，x_ri为对应点的齐次像素坐标，K_r ^-T为第二相机内部参数矩阵K_r的逆的转置，S为两相机的位置关系平移向量对应的反对称矩阵，R为两相机的位置关系旋转矩阵，为第一相机内部参数矩阵K_l的逆。

(3-2)计算第一相机图像平面上的所有采样点到对应的极线l₁,l₂,…,l_i,…,l_m×n的距离d₁,d₂,…,d_i,…,d_m×n。

(3-3)计算d₁,d₂,…,d_i,…,d_m×n的平均值μ和标准差σ。

(3-4)正常情况下，d_i服从正态分布，由于正态分布函数为：

$f\left(x\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}\·e^{\frac{{(x-\mathrm{\μ})}^2}{2{\mathrm{\σ}}^2}}$

f(x)在横轴区间(μ-1.96σ，μ+1.96σ)内与x轴围成的面积为95.449974％，即95.449974％的采样点到对应极线的距离落在横轴区间(μ-1.96σ，μ+1.96σ)内，因此当(μ-1.96σ)<d_i＜(μ+1.96σ)，可以认为有95.449974％的概率找到了正确的对应点；当d_i不在该区间内，即d_i≤(μ-1.96σ)或d_i≥(μ+1.96σ)时，由于正确匹配的概率小于5％，我们认为是错误的匹配点，将第一相机图像平面上与其对应的采样点舍弃。

(4)计算第一相机图像平面上的剩余采样点到对应的极线的距离的平均值，如果其小于误差阈值e，则继续测量，经过时间T，返回步骤(1)；否则执行步骤(5)，其中，T为***精度监测的时间间隔。

e是一个经验值，e值太小会导致过多不必要的重复优化和重复标定，e值太大会影响测量精度，例如，对于powerscan系列扫描设备，可以取e为0.003像素。T也是一个经验值，一般刚开机时取T＝0.5小时，后续可取3到10小时，视工作环境而定，环境越复杂，T值越小。

(5)利用Levenberg-Marquardt算法，优化第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R，使第一相机图像平面上的剩余采样点到对应的极线的距离的平均值达到最小。

进一步包括如下子步骤：

(5-1)构建以第一相机图像平面上的剩余采样点的齐次像素坐标x′_lj和第二相机图像平面上与第一相机图像平面上的剩余采样点对应的点的像素坐标x′_rj为自变量，以第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R为待定系数，以第一相机图像平面上的剩余采样点到对应的极线的距离为目标函数的非线性方程组：

d′₁＝F(K_l,K_r,R,S,x′_l1,x′_r1)

d′₂＝F(K_l,K_r,R,S,x′_l2,x′_r2)

…

d′_j＝F(K_l,K_r,R,S,x′_lj,x′_rj)

…

d′_k＝F(K_l,K_r,R,S,x′_lk,x′_rk)

其中，k为第一相机图像平面上的剩余采样点总数，j为整数且1≤j≤k。

(5-2)利用Levenberg-Marquardt算法对第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R进行优化，使目标函数d′₁,d′₂,…,d′_j,…,d′_k的平均值达到最小。

(6)判断第一相机图像平面上的剩余采样点到对应的极线的距离的平均值是否小于误差阈值e，是则用优化后的第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R继续测量，经过时间T，返回步骤(1)；否则提示用户重新进行标定。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种面扫描三维测量***精度的实时调整方法，所述面扫描三维测量***包括投影仪、第一相机和第二相机，其特征在于，包括如下步骤：

(1)对第一相机和第二相机，均在垂直和水平方向运用多频外差方法解相得到相位图；

(2)在第一相机的相位图上划分虚拟网格选取采样点，然后根据相位值约束进行相位匹配，找到第二相机的相位图上的对应点；

(3)舍弃第一相机图像平面上的误匹配点；

(4)计算第一相机图像平面上的剩余采样点到对应的极线的距离的平均值，如果其小于误差阈值e，则继续测量，经过时间T，返回步骤(1)；否则执行步骤(5)，其中，T为***精度监测的时间间隔，所述对应的极线是指第一相机图像平面上的剩余采样点在第二相机相位图上的对应点在第一相机的图像平面上对应的极线；

(5)利用Levenberg-Marquardt算法，使第一相机图像平面上的剩余采样点到对应的极线的距离的平均值达到最小，以优化第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R；

(6)判断第一相机图像平面上的剩余采样点到对应的极线的距离的平均值是否小于误差阈值e，是则用优化后的第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R继续测量，经过时间T，返回步骤(1)；否则提示用户重新进行标定。

2.如权利要求1所述的面扫描三维测量***精度的实时调整方法，其特征在于，所述步骤(1)具体为：用投影仪投影水平的正弦光栅图像到被测物体上，运用多频外差方法对两相机得到的图像进行解相，分别得到相位值沿水平方向递增的相位图；用投影仪投影垂直的正弦光栅图像到被测物体上，运用多频外差方法对两相机得到的图像进行解相，分别得到相位值沿垂直方向递增的相位图。

3.如权利要求1或2所述的面扫描三维测量***精度的实时调整方法，其特征在于，所述步骤(2)进一步包括如下步骤：

(2-1)在第一相机的其中一个相位图F1上划分虚拟网格得到m×n个角点作为采样点，其中，m、n均为整数；

(2-2)对于F1上的任何一个采样点P1，在第二相机的与F1方向相同的相位图S1中找到一条与该点相位值相同的曲线L1；

(2-3)在第一相机的另一个相位图F2上找到与P1像素坐标相同的点P2；

(2-4)在第二相机的另一个相位图S2中找到与P2相位值相同的曲线L2；

(2-5)将L1和L2上像素坐标距离最小的两个点的像素坐标的平均值作为S1和S2上与采样点P1和P2对应的点的像素坐标，得到P1和P2在S1和S2上的对应点；

(2-6)重复上述步骤(2-2)至(2-5)，得到第一相机相位图上的所有采样点在第二相机相位图上的对应点。

4.如权利要求3所述的面扫描三维测量***精度的实时调整方法，其特征在于，所述步骤(3)进一步包括如下步骤：

(3-1)根据极线几何原理，对于第一相机图像平面上的每一个采样点在第二相机相位图上的对应点，计算其在第一相机的图像平面上对应的极线l₁，l₂，…，l_i，…，l_m×n，其中，i为整数且1≤i≤(m×n)，x_ri为对应点的齐次像素坐标，K_r ^-T为第二相机内部参数矩阵K_r的逆的转置，为第一相机内部参数矩阵K_l的逆；

(3-2)计算第一相机图像平面上的所有采样点到对应的极线l₁，l₂，…，l_i，…，l_m×n的距离d₁，d₂，…，d_i，…，d_m×n；

(3-3)计算d₁，d₂，…，d_i，…，d_m×n的平均值μ和标准差σ；

(3-4)将d_i≤(μ-1.96σ)或d_i≥(μ+1.96σ)对应的第一相机图像平面上的采样点舍弃。

5.如权利要求1所述的面扫描三维测量***精度的实时调整方法，其特征在于，所述步骤(5)进一步包括如下步骤：

(5-1)构建以第一相机图像平面上的剩余采样点的齐次像素坐标x′_lj和第二相机图像平面上与第一相机图像平面上的剩余采样点对应的点的像素坐标x′_rj为自变量，以第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R为待定系数，以第一相机图像平面上的剩余采样点到对应的极线的距离为目标函数的非线性方程组；

(5-2)利用Levenberg-Marquardt算法使非线性方程组中的目标函数的平均值达到最小，以优化第一相机内部参数矩阵K_l、第二相机内部参数矩阵K_r、两相机的位置关系平移向量对应的反对称矩阵S和两相机的位置关系旋转矩阵R。