CN101694375A - 一种用于强反射表面三维形貌测量的立体视觉检测方法 - Google Patents

Abstract

一种用于强反射表面三维形貌测量的立体视觉检测方法。传统基于正弦条纹投射的立体视觉检测方法包括条纹投射与图像采集、相位解算、立体匹配和三维复现，其本发明在条纹投射与图像采集步骤中加入亮暗条纹投射、多曝光时间采集图像、高动态范围图像合成等新技术，克服强反射表面引起的条纹图像饱和或条纹图像过暗，能够实现金属等强反射表面三维形貌的非接触光学测量。该方法具有简单、灵活、可靠性好的特点，可用于金属等强反射表面三维形貌的光学非接触测量。

Description

一种用于强反射表面三维形貌测量的立体视觉检测方法

技术领域

本发明涉及一种用于强反射表面三维形貌测量的立体视觉检测方法，该方法能够实现非接触光学测量，可用于金属等强反射表面三维形貌测量，也可用于反射率变化较大的物体表面三维形貌测量。本发明属于光学三维测量领域。

背景技术

基于正弦条纹投射的立体视觉检测方法作为典型的非接触光学主动三维测量方法，广泛应用于三维形貌测量、逆向工程和质量检测等诸多领域。但在测量金属等强反射表面三维形貌时，这种主动视觉的方法往往会失效。主要原因在于，主动视觉测量以正确接收到物体表面的反射光作为测量基础，而对于金属等具有强反射表面的物体来说(参见图2)，物体表面的强反射性质使得图像饱和或过暗，产生信息失真，导致测量精度大幅下降，甚至难以进行正常测量。在当正弦条纹投射到金属等强反射表面时，发生镜面反射和漫反射两种反光形式，对应产生高反光区域和非高反光区域，其对应相机拍摄到条纹图像表现为，在高反光区域处条纹图像饱和、无法测量(参见图4)，在非高反光区域处条纹过暗、测量精度降低。

针对这一问题，国内外提出了不同的解决方法。如测量类镜面物体表面的三维形貌时，将显示器或周围景物等作为投射光源，利用单相机观测物体表面所反射的投射光源的像来进行测量，这种方法的测量精度不高，而且适应范围较小。也有利用被测物体表面在不同角度下反光区域也不尽相同的特点，避开镜面反射区域，利用漫反射进行多角度局部测量，再整体拼接成完整被测表面，此方法在整体拼接过程会引入误差，影响测量精度。再有，利用被测物体表面镜面反射和漫反射的不同偏振特性，在观测相机前加装偏振片，利用偏振片滤除具有偏振特性的镜面反射，只让漫反射光进入观测相机，从而实现测量，但对金属等物体表面来说，漫反射光较弱，降低了测量精度。另外，采用向具有强反光表面喷涂某种粉末，使被测物体呈现漫反射特性，以利于光学三维测量，但是，粉末厚度的不确定性增加了测量误差。

总之，目前国内外在强反射表面三维形貌的非接触光学主动三维测量方面没有一个较为完备的解决方法，本发明针对此问题提出了一种简便、快速、准确的方法。

发明内容

本发明的目的在于提供一种用于强反射表面三维形貌测量的立体视觉检测方法，以克服现有非接触光学主动三维测量方法在测量强反射表面三维形貌时的条纹图像失真问题。

本发明的技术解决方案为：一种用于强反射表面三维形貌测量的立体视觉检测方法，包括条纹投射与图像采集、相位解算、立体匹配和三维复现，其特征在于，所述的条纹投射与图像采集包括以下步骤：

(1)先投射亮均匀光，分别采用多个曝光时间拍摄图像，依次存入图像序列PJ中，再投射暗均匀光，分别采用多个曝光时间拍摄图像，依次存入图像序列PJ中；

(2)根据掩模图像求取算法，计算与步骤(1)中所拍摄的图像序列PJ相对应掩模图像序列Mask；

(3)先投射亮条纹，分别采用多个曝光时间拍摄采集载有条纹的强反射表面图像，依次存入图像序列P中，再投射暗条纹，分别采用多个曝光时间采集载有条纹的强反射表面图像，依次存入图像序列P中；

(4)采用图像合成算法，将步骤(3)中所拍摄的多个亮、暗条纹图像序列P，合成具有高动态范围的条纹图像PG。

其中，步骤(1)中的亮均匀光的亮度与亮条纹最亮处的亮度相同，暗均匀光的亮度与暗条纹最亮处的亮度相同。

其中，所述的采用多个曝光时间拍摄，是按照曝光时间从长到短，依次拍摄。

其中，步骤(2)中的掩模图像求取算法为，

当i＝1时，

当i＞1时，

式中，i、j为图像在图像序列PJ中的序号，是大于0的自然数，PJ_i、PJ_j为图像序列PJ中的第i、j幅图像，Mask_i为掩模图像序列中的第i幅掩模图像，Mask_i是与PJ_i相对应的掩模图像，PJ_i(x，y)、PJ_j(x，y)为图像PJ_i、PJ_j在坐标(x，y)处的灰度值，Mask_i(x，y)为与PJ_i(x，y)相对应的掩模图像在坐标(x，y)处的掩模值，MaxGray为掩模灰度阈值。

其中，步骤(4)中的图像合成算法为，高动态范围的图像中任意点的灰度值PG(x，y)，依据以下公式计算得到，

$\mathrm{PG}(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Mask}}_i(x,y)\·P_i(x,y)$

式中，n为采用多个曝光时间拍摄亮、暗条纹的总次数，P_i(x，y)为第i幅图像P_i在点(x，y)处的灰度值，Mask_i(x，y)是与第i幅掩模图像Mask_i在点(x，y)的掩模值。

本发明的原理是：针对强反射表面条纹图像饱和或条纹图像过暗的条纹图像失真问题，本发明采用亮暗条纹投射、多曝光时间采集图像、高动态范围图像合成，克服强反射表面引起的条纹图像饱和或条纹图像过暗。通过投射亮条纹，提高了强反射表面的非高反光区域条纹亮度，改善条纹图像过暗对测量的影响；通过投射暗条纹，降低了强反射表面的高反光区域条纹亮度，降低条纹图像饱和的可能性；采用多曝光时间方法和图像合成算法，采集并生成高动态范围的条纹图像，提高相机能够正确采集的亮度范围，降低条纹图像饱和与条纹图像过暗的可能性；根据以上原理，可以实现强反射表面条纹图像的正确采集，避免条纹图像失真，保证测量的正确性。

本发明与现有技术相比的优点在于：(1)广泛适用于各种强反射表面的三维形貌测量，适应性强。(2)无需添加任何新的硬件，方法简便、快速，实现成本较低。(3)能够保证强反射表面的测量精度，测量准确性高。

附图说明

图1为本发明一种用于强反射表面三维形貌测量的立体视觉检测方法中条纹投射与图像采集的流程图；

图2为具体实施过程中的数据流图；

图3为相机拍摄的投射到被测表面的条纹图像；

图4为解相后的相位值结果；

图5为两级不同周期条纹的解算过程；

图6为投射到被测表面的三级不同周期的条纹图像；

图7为想展开结果。

图中，1、2、3、4、5、6、7、8表示图像序列的序号。80、40、20、10表示相机曝光时间的大小，单位毫秒。

具体实施方式

本发明一种用于强反射表面三维形貌测量的立体视觉检测方法，在传统基于正弦条纹投射的立体视觉检测的基础上，加入亮暗条纹投射、多曝光时间采集图像、高动态范围图像合成等新技术，克服强反射表面引起的条纹图像饱和或条纹图像过暗，有效避免条纹图像失真。具体实施步骤如下，

(1)先投射亮均匀光，分别采用多个曝光时间拍摄图像，依次存入图像序列PJ中，再投射暗均匀光，分别采用多个曝光时间拍摄图像，依次存入图像序列PJ中。亮均匀光的亮度与亮条纹最亮处的亮度相同，暗均匀光的亮度与暗条纹最亮处的亮度相同。多个曝光时间拍摄，是按照曝光时间从长到短，依次拍摄，采用的多个曝光时间分别为{80，40，20，10}(单位：毫秒)。

(2)根据掩模图像求取算法，计算与步骤(1)中所拍摄的图像序列PJ相对应掩模图像序列Mask。公式如下，

当i＝1时，

当i＞1时，

式中，i、j为图像在图像序列PJ中的序号，是大于0的自然数，PJ_i、PJ_j为图像序列PJ中的第i、j幅图像，Mask_i为掩模图像序列中的第i幅掩模图像，Mask_i是与PJ_i相对应的掩模图像，PJ_i(x，y)、PJ_j(x，y)为图像PJ_i、PJ_j在坐标(x，y)处的灰度值，Mask_i(x，y)为与PJ_i(x，y)相对应的掩模图像在坐标(x，y)处的掩模值，MaxGray为掩模灰度阈值。Mask_j(x，y)＝0(j＝1，2，...，i-1)条件可以保证掩模图像的作用是确定不同曝光时间下拍摄得到的图像中有效像素的位置，有效处掩模值为1，无效处掩模值为0。

(3)先投射亮条纹，分别采用多个曝光时间拍摄采集载有条纹的强反射表面图像，依次存入图像序列P中，再投射暗条纹，分别采用多个曝光时间采集载有条纹的强反射表面图像，依次存入图像序列P中。

投射亮条纹于强反射表面，增加了图像中的漫反射处的条纹亮度，避免条纹图像在非高反光区域过暗，提高测量精度。投射暗条纹于强反射表面，降低了图像中的镜面反射处的条纹亮度，避免条纹图像在高反光区域饱和，保证测量正常进行。多曝光时间采集图像方法，增加了相机拍摄的动态范围，可接收更宽亮度范围内的条纹，适用强反射表面上条纹亮度变化较大的特点。

(4)采用图像合成算法，将步骤(3)中所拍摄的多个亮、暗条纹图像序列P，合成具有高动态范围的条纹图像PG。

图像合成算法为，高动态范围的图像中任意点的灰度值PG(x，y)，依据以下公式计算得到，

$\mathrm{PG}(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Mask}}_i(x,y)\·P_i(x,y)$

式中，n为采用多个曝光时间拍摄亮、暗条纹的总次数，P_i(x，y)为第i幅图像P_i在点(x，y)处的灰度值，Mask_i(x，y)是与第i幅掩模图像Mask_i在点(x，y)的掩模值。

在具体实施中，采用投影仪作为条纹投射装置，因此，投射亮均匀光为投射白色均匀光，投射暗均匀光为投射红色均匀光，投射亮条纹为投射白色光条纹，投射暗条纹为投射红色光条纹，白色均匀光的亮度与白色光条纹最亮处的亮度相同，红色均匀光的亮度与红色光条纹最亮处的亮度相同。分别采用白色光条纹和红色光条纹作为亮条纹和暗条纹，是因为相机对白色光的灵敏度要比对红色光的灵敏度大，因此，可以提高亮、暗条纹在相机图像上亮度差。

图2为具体实施过程中的数据流图，可以清晰看出整个条纹投射与图像采集过程的数据流。

传统基于正弦条纹投射的立体视觉检测方法中的相位解算、立体匹配和三维复现等技术属于公知方法，具体如下：

相位解算包括解相方法和相展开方法。相位解算是将投射器投射出的多级编码光栅解算出相位编码标识，为左右相机匹配点云的寻找提高依据。

当光栅被投影到被测物体表面上时，在物体表面将上产生畸变，形成变形光栅：

其光强分布可以表示为：

g(x，y)＝a(x，y)+r(x，y)cos[φ(x，y)]

其中a(x，y)为背景光强函数；r(x，y)为被测物体反射面反射系数。φ(x，y)为该点对应的相位值。

解相方法采用相移解相技术中的四步相移法，每次将光栅在与栅线垂直的方向上平移栅线周期的1/4，得到4幅图像，第i幅图像的光强分布函数为：

g_i(x，y)＝a(x，y)+r(x，y)cos[Φ(x，y)+i*2π/N]

i＝0，1，2，3

Φ(x，y)为相移为0时该点的相位值，i*2π/N表示相移的大小。

在上面公式的基础上，通过四个方程的联立求解，可以得到相位主值Φ(x，y)：

$\mathrm{\Φ}(x,y)=-\mathrm{arctg}\left(\frac{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{g}_i(x,y)\sin \frac{2\mathrm{\πi}}{N}}{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{g}_i(x,y)\cos \frac{2\mathrm{\πi}}{N}}\right)$

当N＝4时，对应的相移为0，π/2，π，3π/2，其解相公式为：

$\mathrm{\Φ}(x,y)=\arctan \frac{g_3(x,y)-g_1(x,y)}{g_0(x,y)-g_2(x,y)}$

由于arctan是以π为周期的，所以直接解算出来的Φ将位于[-π/2，π/2]区间上。而实际上，***中的相主值是在[-π，π]区间上的，以2π为周期的，为了解决此问题，可以用以下的算法进行修正。设m＝g₀-g₂(代表cosΦ的值)，n＝g₃-g₁(代表sinΦ的值)则：

若m＞0，n＞0，则Φ∈[0，π/2]，所以Φ值保持不变；

若m＞0，n＜0，则Φ∈[-π/2，0]，所以Φ值也保持不变；

若m＜0，n＞0，则Φ∈[-π/2，0]，实际上Φ∈[π/2，π]，所以Φ＝Φ+π；

若m＜0，n＜0，则Φ∈[0，π/2]，实际上Φ∈[-π.，-π/2]，所以Φ＝Φ-π。

图3为相机拍摄的投射到被测表面的条纹图像，图4为解相后的相位值结果。

上述解相后的相位值因存在相位卷迭，不能直接用于立体匹配，需要进行相位展开，使相位值成为一个连续的单调序列，此过程叫做相展开。

相展开方法，采用外差多频相展开法，需投射三级不同周期的条纹才能解算出正确的相位值。具体原理，以两级不同周期条纹的解算为例，假设通过四步相移法对周期为λ₁、λ₂(频率为f₁、f₂)的两级条纹(存在某一点两者相主值均为0)求得的相主值分别为φ₁(x，y)、φ₂(x，y)。根据外差原理，可以得到对于周期为(对应频率为f₁-f₂)的条纹，在点(x，y)处的相位值为φ_b(x，y)＝φ₁(x，y)-φ₂(x，y)，如图5所示。

如果计算得到的周期λ_b能够覆盖整个视场，即保证视场内只有一个条纹周期，可以利用多频解相法对φ₁(x，y)或φ₂(x，y)进行相展开，否则需要追加投射条纹次数，增加一次迭代的过程。

在零相位(图5中点A)相同的情况下，相位值与正弦条纹周期是成反比的：

$\frac{{\mathrm{\Φ}}_b(x,y)}{{\mathrm{\Φ}}_1(x,y)}=\frac{{\mathrm{\λ}}_1}{{\mathrm{\λ}}_b}=\frac{{\mathrm{\λ}}_1-{\mathrm{\λ}}_2}{{\mathrm{\λ}}_2}$

其中Φ₁(x，y)、Φ_b(x，y)分别为周期为λ₁、λ_b时的相展开结果，由于λ_b能够覆盖整个视场，其相展开结果与相主值是相等的，即Φ_b(x，y)＝φ_b(x，y)。将该等式代入上面公式有：

${\mathrm{\Φ}}_1(x,y)=\frac{{\mathrm{\λ}}_1-{\mathrm{\λ}}_2}{{\mathrm{\λ}}_2}$

这样，即可得到周期为λ₁时的条纹相展开结果，而且在相展开的同时，左右两个相机的相位值都能够统一在一个基准点A上(该点相位值为零)。

图6为投射到被测表面的三级不同周期的条纹图像，图7为想展开结果，相比图4的解相结果，相位值已经从左向右成为连续单调增加的序列，可以进行后续的立体匹配工作。

立体匹配是将极线约束与相位编码信息相结合，得到左右相机相对应的匹配点对，具体步骤如下，

1.通过左相位图中P点的相位，找出其在右相位图的等相位线；

2.通过视觉***结构参数，计算得到P点在右相位图的极线；

3.等相位线与极线相交得到对应的匹配点P’。

三维复现采用公知的三角测量原理，根据立体匹配得到的左右相机匹配点对和左右相机的内外参数计算得到三维点云。

Claims (5)

1.一种用于强反射表面三维形貌测量的立体视觉检测方法，包括条纹投射与图像采集、相位解算、立体匹配和三维复现，其特征在于：所述的条纹投射与图像采集包括以下步骤：

(1)先投射亮均匀光，分别采用多个曝光时间拍摄图像，依次存入图像序列PJ中，再投射暗均匀光，分别采用多个曝光时间拍摄图像，依次存入图像序列PJ中；

(2)根据掩模图像求取算法，计算与步骤(1)中所拍摄的图像序列PJ相对应掩模图像序列Mask；

(3)先投射亮条纹，分别采用多个曝光时间拍摄采集载有条纹的强反射表面图像，依次存入图像序列P中，再投射暗条纹，分别采用多个曝光时间采集载有条纹的强反射表面图像，依次存入图像序列P中；

(4)采用图像合成算法，将步骤(3)中所拍摄的多个亮、暗条纹图像序列P，合成具有高动态范围的条纹图像PG。

2.根据权利要求1所述的一种用于强反射表面三维形貌测量的立体视觉检测方法，其特征在于：所述的步骤(1)中的亮均匀光的亮度与亮条纹最亮处的亮度相同，暗均匀光的亮度与暗条纹最亮处的亮度相同。

3.根据权利要求1所述的一种用于强反射表面三维形貌测量的立体视觉检测方法，其特征在于：所述的采用多个曝光时间拍摄，是按照曝光时间从长到短，依次拍摄。

4.根据权利要求1所述的一种用于强反射表面三维形貌测量的立体视觉检测方法，其特征在于：所述的步骤(2)中的掩模图像求取算法为，

当i＝1时，

当i＞1时，

式中，i、j为图像在图像序列PJ中的序号，是大于0的自然数，PJ_i、PJ_j为图像序列PJ中的第i、j幅图像，Mask_i为掩模图像序列中的第i幅掩模图像，Mask_i是与PJ_i相对应的掩模图像，PJ_i(x，y)、PJ_j(x，y)为图像PJ_i、PJ_j在坐标(x，y)处的灰度值，Mask_i(x，y)为与PJ_i(x，y)相对应的掩模图像在坐标(x，y)处的掩模值，MaxGray为掩模灰度阈值。

5.根据权利要求1所述的一种用于强反射表面三维形貌测量的立体视觉检测方法，其特征在于：所述的步骤(4)中的图像合成算法为，高动态范围的图像中任意点的灰度值PG(x，y)，依据以下公式计算得到，

$\mathrm{PG}(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Mask}}_i(x,y)\·P_i(x,y)$

式中，n为采用多个曝光时间拍摄亮、暗条纹的总次数，P_i(x，y)为第i幅图像P_i在点(x，y)处的灰度值，Mask_i(x，y)是与第i幅掩模图像Mask_i在点(x，y)的掩模值。

Images