CN102564350A - 基于面结构光和光笔的复杂零部件精密三维测量方法 - Google Patents

Abstract

本发明属于精密测量领域，公开了一种基于面结构光和光笔的复杂零部件精密三维测量方法及其***。该方法使用面结构光三维测量技术测量零部件表面的复杂形面，使用光笔测量技术测量零部件内壁、深孔等特征尺寸，两者共用两个数字相机，测量得到的三维数据可以自动融合到同一坐标系下，得到被测物体点在世界坐标系下的三维坐标。***包括数字投影装置、两台数字相机，T形杆，测头和计算机。本发明既能够充分发挥面结构光三维测量技术在测量表面复杂形面时具有的高效、高精度等优势，又能够发挥光笔三维测量技术在测量内壁、深孔等特征尺寸的优势。本发明对回光反射标志点在T形杆上的分布没有特殊要求，具有柔性大、携带方便等优点。

Description

基于面结构光和光笔的复杂零部件精密三维测量方法

技术领域

本发明属于精密测量领域，具体涉及一种基于面结构光和光笔的复杂零部件精密三维测量方法及其***，本发明使用面结构光三维测量技术测量零部件表面的复杂形面，使用光笔测量技术测量零部件内壁和深孔等特征尺寸。

背景技术

复杂零部件的精密三维测量在工业设计、质量检测等领域具有重要作用，目前常用的测量方式一般分为接触式与非接触式两种。传统的接触式三坐标测量机测量精度很高，但价格昂贵，且对实验室环境要求高，不能实现工业现场测量。非接触式如结构光测量***，能够快速获取大量点云，但是没有办法获取单个特征点的三维坐标，更不能测量深孔等物体遮光部位的三维坐标。关节臂在局部范围内测量的柔性相对较高，但是柔性关节臂机械结构复杂，造价昂贵。光笔坐标测量(也被称为手持式视觉坐标测量)是近年来测量领域中的新测量技术，可以实现工业现场测量。

在国内对光笔测量技术的研究取得了一定的成果，如1998年发表在期刊《光学精密工程》第5期14-20页上的文献《测头成像视觉坐标测量***中特征点成像中心获取》及1999年发表在《仪器仪表学报》第5期59-62页上的文献《单摄像机测头成像视觉坐标测量***建模》中提出了一种单相机测量***，但是存在局限性，如精度低、只能测距、不能得出被测点的三维坐标；2007年发表在期刊《光电子·激光》第1期85-88页上的文献《光笔式单摄像机三维坐标视觉测量***建模》中提出了一种单相机的手持式视觉测量模型，论证了单摄像机光笔测量***能够测量空间三维坐标，并且研制出了样机，但是其模型要求手持式光笔标志点严格在一条直线上，增加了加工难度，同时不可避免地会带来一些误差；2008年发表在期刊《中国机械工程》第8期896-899页上的文献《基于双目立体视觉的光笔式三坐标测量***》中提出了一种双目光笔测量模型，但是仍然要求光笔上面粘贴的标志点严格在一条直线上，同样存在加工难度大、精度难以保证等缺点。此外，光笔测量技术一次只能测量一个特征点数据，测量效率较低，无法高效的测量零部件表面复杂形面的三维数据。

发明内容

本发明的目的在于提供一种基于面结构光和光笔的复杂零部件精密三维测量方法及其***，本发明测量效率较高，可以将测量得到的三维数据自动融合到同一坐标系下，能够高效测量零部件表面复杂形面的三维数据。

本发明提供的一种复杂零部件精密三维测量方法，包括零部件表面复杂形面的三维测量和特征尺寸的三维测量；

零部件表面复杂形面的三维测量的步骤为：

向被测区域投射一组编码光栅图像，利用两个数字相机拍摄经零部件表面调制而变形的光栅图像，得到两组变形的光栅图像；再对这两组变形的光栅图像进行四步相移解相，得到光栅图像的相位主值，再采用三频外差原理进行相位展开，最终得到相应的连续相位；然后利用基于极限约束的立体匹配算法获取两个数字相机所拍摄的图像的匹配点；匹配完成后使用双目立体视觉原理进行点云重构，计算得到被测物体表面的三维点坐标；

特征尺寸的三维测量的步骤为：

T形杆和测头构成光笔；首先对T形杆上的至少三个回光反射标志点进行标定，建立光笔坐标系，并对测头的中心位置进行自标定，得到多组回光反射标志点在世界坐标系下的三维坐标，最后根据世界坐标系和光笔坐标系之间的转换关系，获得旋转矩阵R_i和平移矩阵T_i，由P_gR_i+T_i＝P_c，得到测头在光笔坐标系下的坐标P_g，最后再计算得到被测物体点在世界坐标系下的三维坐标P_c。

本发明提供的实现上述复杂零部件精密三维测量方法的***，它包括数字投影装置，第一、第二数字相机，T形杆，测头和计算机，第一、第二数字相机具有相同的参数，其光心轴与数字投影装置的光心轴夹角均在20至30度之间，且保持相对位置不变；T形杆的正面粘贴有至少3个回光反射标志点，T形杆和测头构成光笔，所述第一、第二数字相机以及数字投影装置均与所述计算机通过数据线连接。

测量时使用面结构光三维测量技术测量零部件表面的复杂形面，使用光笔测量技术测量零部件内壁、深孔等特征尺寸，两者共用两个数字相机，测量得到的三维数据可以自动融合到同一坐标系下。

本发明提出了一种基于面结构光和光笔的复杂零部件精密三维测量方法及其***，既能够充分发挥面结构光三维测量技术在测量表面复杂形面时具有的高效、高精度等优势，又能够发挥光笔三维测量技术在测量内壁、深孔等特征尺寸的优势。此外，本发明所提方法对回光反射标志点在T形杆上的分布没有特殊要求，具有柔性大、携带方便等优点。

附图说明

图1为基于面结构光和光笔的复杂零部件精密三维测量方法及其***结构图；

图2为带回光反射标志点的光笔结构图；

图3为测头自标定原理示意图。

具体实施方式

下面结合附图和实例对本发明做进一步详细的说明。

如图1所示，实现本发明方法的***包括数字投影装置101、第一、第二数字相机102、103，三角支架104，T形杆105，测头106和计算机107。其中：数字投影装置101是指包括投影仪在内的各种数字式投影设备；第一、第二数字相机102、103具有相同的参数，其光心轴与数字投影装置的光心轴夹角均在20至30度之间，且保持相对位置不变；T形杆105的正面粘贴有至少3个(优选五个)回光反射标志点。T形杆105和测头106构成光笔。数字投影装置101、第一、第二数字相机102、103均安装在三角支架104上。

在进行测量的时候，(1)针对零部件表面的复杂形面，使用面结构光三维测量技术进行测量：由计算机107控制数字投影装置101向被测区域投射一组编码光栅图像，由两个数字相机102和103同步拍摄经零部件表面调制而变形的光栅图像，并存储在计算机107内，然后使用相位测量轮廓术和开发的测量软件从拍摄得到的光栅图像中计算出零部件表面在世界坐标系下的三维点云数据；(2)针对内壁、深孔等面结构光三维测量技术无法测量的特征尺寸，使用光笔三维测量技术进行测量：测头106接触被测表面，计算机107控制两个数字相机102和103同步拍摄T形杆105正面粘贴的回光反射标志点，并将拍摄得到的图像存储在计算机107内，然后使用光笔三维测量技术和开发的测量软件进行图像处理得到各个标志点在世界坐标系下的三维坐标，最后通过预先标定的测头106和T形杆105间的外部参数，计算出被测点在世界坐标系下的三维坐标。

本发明方法的具体步骤如下：

(1)零部件表面复杂形面的三维测量

计算机107控制数字投影装置101向被测区域投射一组编码光栅图像，由两个数字相机102和103同步拍摄经零部件表面调制而变形的光栅图像，并存储在计算机107内。数据采集完毕后便开始计算三维数据，其详细过程为：

①计算机首先对拍摄得到的经零部件表面调制而变形的光栅图像进行四步相移解相。

本发明采用标准的四步相移算法计算光栅图像的相位主值，四幅光栅图像的相位移分别为：0、π/2、π和3π/2，其光强表达式分别为：

I₁(x，y)＝I(x，y)+I(x，y)cos[φ(x，y)]，

I₂(x，y)＝I(x，y)+I(x，y)cos[φ(x，y)+π/2]，(1)

I₃(x，y)＝I(x，y)+I(x，y)cos[φ(x，y)+π]，

I₄(x，y)＝I(x，y)+I(x，y)cos[φ(x，y)+3π/2]，

根据式(1)可计算出光栅图像的相位主值：

$\mathrm{\φ}(x,y)=\arctan \left(\frac{I_4-I_2}{I_1-I_3}\right)---\left(2\right)$

通过相位移算法计算出的相位主值φ(x，y)在一个相位周期内是唯一的，但是在整个测量空间内有多个光栅条纹，φ(x，y)呈锯齿状分布，必须对空间点的相位主值进行相位展开得到相应的连续相位。

本发明采用三频外差原理进行相位展开。设三种光栅的频率分别为λ₁、λ₂、λ₃，且λ₁、λ₂、λ₃满足

其对应的相位主值分别为φ₁，φ₂和φ₃。使用外差原理分别叠加φ₁，φ₂和φ₂，φ₃，得到频率为λ₁₂，λ₂₃的相位主值Φ₁₂和Φ₂₃。然后再将频率为λ₁₂，λ₂₃的相位叠加，得到在全场范围内只有一个周期的相位主值Φ₁₂₃，该相位的频率为：λ₁₂₃＝1，最后由Φ₁₂₃反向计算出，φ₁，φ₂和φ₃的连续相位。

②利用基于极限约束的立体匹配算法获取两个数字相机所拍摄的图像的匹配点；

此处采用一种基于极线约束的立体匹配算法。设被测点P在数字相机102所拍摄的图像上的像点为P₁，则可以通过数字相机102所拍摄的图像上的点P₁的坐标在数字相机103所拍摄的图像上求出与P₁对应的极线方程，并在极线上找到与点P₁相位主值相同的点P₂，P₂同时也是数字相机103所拍摄的图像上的像点，则P₂为P₁的匹配点。

③匹配完成后便可使用双目立体视觉原理进行点云重构，计算出被测物体表面的三维点坐标。

空间点P在世界坐标系O_wX_wY_wZ_w下的坐标值为(X_w，Y_w，Z_w)，数字相机102所拍摄的图像上P点的像点P₁的图像坐标为(u₁，v₁)，通过小孔成像模型，可以列出P点从图像坐标到世界坐标的转换关系方程(3)，其中a_1x＝f₁×S_x1且a_1y＝f₁×S_y1，f₁为相机102的焦距，S_x1和S_y1为数字相机102所拍摄图像平面单位距离上的像素数(pixels/mm)，(u₁₀，y₁₀)为图像中心点的坐标，R₁和T₁为从世界坐标系到相机102坐标系间的旋转矩阵和平移矩阵。数字相机103所拍摄的图像上像点P₂的图像坐标为(u₂，v₂)。同样也可以列出方程(4)，其中a_2x＝f₂×S_x2且a_2y＝f₂×S_y2，f₂为相机103的焦距，S_2x和S_2y为相机103所拍摄图像平面单位距离上的像素数(pixels/mm)，(u₂₀，v₂₀)为图像中心点的坐标，R₂和T₂为从世界坐标系到相机103坐标系间的旋转矩阵和平移矩阵。根据方程(3)和(4)计算出被测物的三维坐标(X_w，Y_w，Z_w)。

$k_1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{1x}& 0& u_{10}& 0\\ 0& a_{1y}& v_{10}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_1& T_1\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(3\right)$

$k_2\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{2x}& 0& u_{20}& 0\\ 0& a_{2y}& v_{20}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_2& T_2\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(4\right)$

其中，参数a_1x、a_2x、a_1y、a_2y、u₁₀、u₂₀、v₁₀、v₂₀、R₁、T₁、R₂、T₂均可通过摄像机的标定来获取；k₁和k₂为比例因子，在方程的求解过程中求出。

(2)零部件内壁、深孔等特征尺寸的三维测量

①测头106和T形杆105间的外部参数的标定

首先对T形杆105上的回光反射标志点进行标定。本发明采用摄影测量中非常成熟且精度高的光束法平差技术来对T形杆105上的回光反射标志点201进行标定，从而得到T形杆105上的各回光反射标志点的三维空间坐标，以五个回光反射标志点为例，其三维空间坐标可以表示为：

{p_g1(x_g1，y_g1，z_g1)，p_g2(x_g2，y_g2，z_g2)，p_g3(x_g3，y_g3，z_g3)，p_g4(x_g4，y_g4，z_g4)，p_g5(x_g5，y_g5，z_g5)}，根据回光反射点的三维空间坐标，便可建立起光笔坐标系。

其次对测头106中心位置进行自标定。本发明提出了基于位置不变原理的多姿态光笔测头位置自标定算法。如图3所示，把光笔放置在同一个圆锥孔301内，随意倾斜角度，计算机107同时控制两个数字相机102、103采集光笔在n(n≥2)种不同姿态下的图像，通过双目立体视觉测量算法就可以获得n组回光反射标志点在世界坐标系下的三维坐标：

{p_c1(x_ic1，y_ic1，z_ic1)，p_c2(x_ic2，y_ic2，z_ic2)，p_c3(x_ic3，y_ic3，z_ic3)，p_c4(x_ic4，y_ic4，z_ic4)，p_c5(x_ic5，y_ic5，z_ic5)}i＝1，2，…，n-1，n

其中i表示光笔在同一圆锥孔内摆放不同姿态的组数，每组都包含了全部回光反射标志点的三维坐标。

利用已经获得的光笔各个回光反射标志点在光笔坐标下的三维空间坐标

{p_g1(x_g1，y_g1，z_g1)，p_g2(x_g2，y_g2，z_g2)，p_g3(x_g3，y_g3，z_g3)，p_g4(x_g4，y_g4，z_g4)，p_g5(x_g5，y_g5，z_g5)}，此时标志点在不同坐标系下的关系，可以通过刚体变换用公式(5)来联系。

$\left[\begin{array}{ccccc}{x}_{\mathrm{ic}1}& x_{\mathrm{ic}2}& x_{\mathrm{ic}3}& x_{\mathrm{ic}4}& x_{\mathrm{ic}5}\\ y_{\mathrm{ic}1}& y_{\mathrm{ic}2}& y_{\mathrm{ic}3}& y_{\mathrm{ic}4}& y_{\mathrm{ic}5}\\ z_{\mathrm{ic}1}& z_{\mathrm{ic}2}& z_{\mathrm{ic}3}& z_{\mathrm{ic}4}& z_{\mathrm{ic}5}\end{array}\right]=R_i\left[\begin{array}{ccccc}{x}_{g1}& x_{g2}& x_{g3}& x_{g4}& x_{g5}\\ y_{g1}& y_{g2}& y_{g3}& y_{g4}& y_{g5}\\ z_{g1}& z_{g2}& z_{g3}& z_{g4}& z_{g5}\end{array}\right]+T_i---\left(5\right)$

其中R_i、T_i分别为光笔在圆锥孔内处于第i种姿态时从光笔坐标系到世界坐标系间的旋转矩阵和平移矩阵。根据SVD分解(即奇异值分解)方法可解算出公式(5)中的R_i与T_i。

设被测物体点在世界坐标系下的三维坐标为P_c，设测头106中心在光笔坐标系下的坐标为P_g，则同样可以根据公式(5)建立的两个坐标系的刚体变化关系，可以得到下面方程组：

P_gR₁+T₁＝P_c

P_gR₂+T₂＝P_c

P_gR₃+T₃＝P_c  (6)

......

P_gR_n+T_n＝P_c

式(6)中，方程两两相减到一个新的方程组：

P_g(R₁-R₂)＝T₂-T₁

P_g(R₂-R₃)＝T₃-T₂  (7)

......

P_g(R_n-1-R_n)＝T_n-T_n-1

由于方程组(7)是个线性方程组，未知数为3个，因此只要n≥2即可解算出P_g。为了增加稳定性和可靠性，本发明中左右两个数字相机102、103拍摄至少6组共12幅图像，通过最小二乘法来求解测头在光笔坐标系下的坐标P_g。

②被测点在世界坐标系下的三维坐标的计算

通过对测头106和T形杆105间的外部参数的标定，可以得到测头106在光笔坐标系下的坐标为P_g。根据步骤①中求出的当光笔处于某种位置时世界坐标系和光笔坐标系之间的旋转矩阵和平移矩阵R_i、T_i。即可由P_gR_i+T_i＝P_c，求出被测物体点的世界坐标系下的三维坐标P_c，从而实现了基于双目立体视觉的光笔三维测量技术。

实例：

数字投影装置101采用投影仪，第一、第二数字相机102、103均采用黑白相机，设λ₁＝1/70，λ₂＝1/64，λ₃＝1/59，回光反射标志点的数量为5个。

以上所述为本发明的较佳实施例而已，但本发明不应该局限于该实施例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (3)

1.一种复杂零部件精密三维测量方法，包括零部件表面复杂形面的三维测量和特征尺寸的三维测量；

零部件表面复杂形面的三维测量的步骤为：

向被测区域投射一组编码光栅图像，利用两个数字相机拍摄经零部件表面调制而变形的光栅图像，得到两组变形的光栅图像；再对这两组变形的光栅图像进行四步相移解相，得到光栅图像的相位主值，再采用三频外差原理进行相位展开，最终得到相应的连续相位；然后利用基于极限约束的立体匹配算法获取两个数字相机所拍摄的图像的匹配点；匹配完成后使用双目立体视觉原理进行点云重构，计算得到被测物体表面的三维点坐标；

特征尺寸的三维测量的步骤为：；

T形杆和测头构成光笔；首先对T形杆上的至少三个回光反射标志点进行标定，建立光笔坐标系，并对测头的中心位置进行自标定，得到多组回光反射标志点在世界坐标系下的三维坐标，最后根据世界坐标系和光笔坐标系之间的转换关系，获得旋转矩阵R_i和平移矩阵T_i，由P_gR_i+T_i＝P_c，得到测头在光笔坐标系下的坐标P_g，最后再计算得到被测物体点在世界坐标系下的三维坐标P_c。

2.根据权利要求1所述的一种复杂零部件精密三维测量方法，其特征在于，所述测头的中心位置进行自标定的过程如下：

将光笔放置在同一个圆锥孔内，随意倾斜角度，利用两台数字相机采集光笔在n种不同姿态下的图像，n≥2，通过双目立体视觉测量算法获得n组回光反射标志点在世界坐标系下的三维坐标。

3.一种实现权利要求1所述的复杂零部件精密三维测量方法的***，其特征在于，它包括数字投影装置、第一、第二数字相机，T形杆，测头和计算机，第一、第二数字相机具有相同的参数，其光心轴与数字投影装置的光心轴夹角均在20至30度之间，且保持相对位置不变；T形杆的正面粘贴有至少3个回光反射标志点，T形杆和测头构成光笔，所述第一、第二数字相机以及数字投影装置均与所述计算机通过数据线连接。

Images