CN114302067A - 不同反射率表面三维结构光测量的曝光值选择方法 - Google Patents

Abstract

本发明公开了一种不同反射率表面三维结构光测量的曝光值选择方法，其可避免区域过度曝光，可提高单一最佳曝光覆盖像素测量的准确性，该方法包括：图像采集，获得预测试图像，判断预测试图像中是否存在过曝光区域，若否，则停止，若是，则进行多重曝光的选择，多重曝光的选择包括：S1、曝光的初始化，S2、用像素滤波器选择多个曝光，S3、通过优化确定下一个曝光值，重复执行步骤S1～S3，直至预测试图像中的合格像素的比率大于等于95％。

Description

不同反射率表面三维结构光测量的曝光值选择方法

技术领域

本发明涉及机器视觉技术领域，具体为一种不同反射率表面三维结构光测量的曝光值选择方法。

背景技术

基于结构光的三维(SL3D)测量技术由于其高精度和全场景特性，被广泛应用于物体跟踪、基于视觉的机器人控制和质量检测中。在SL3D测量时，需将序列相位编码图案投射至目标物体表面，再采用3D传感器中的相机采集携带深度信息的变形条纹图案，然后采用图像解码和三角测量法来重构目标物体的三维点云。

目前，常采用SL3D测量技术对反射率变化大的物体表面进行测量。在测量这类物体时，表面反射率高的区域被饱和，而表面反射率低的区域则受到曝光不足的影响，如图1(a)。饱和和曝光不足都会造成重建的三维点云信息损失，如图1(b)。尽管物体可以被喷上一层薄薄的白色粉末来产生漫反射，但喷洒过程很耗时，而且会改变物体的表面属性。而高动态范围(HDR)技术可以避免物体表面属性被改变，但其需在多次曝光下测量物体，并通过图像融合将不同反射率的特征结合起来，如图1(c,d)，可见，在HDR测量中，曝光值的选择是非常重要的。

曝光值的选择主要包括定性选择、定量选择，其中，定性选择主要是根据可视化效果手动选择，但是定性的预测十分耗时，而且易受主观判断影响。因此，在基于HDR的SL3D测量方法中常采用定量选择相机曝光值的方式，但这种定量选择曝光值的方式需通过执行一个预分析程序来计算目标表面的反射率，这就需要采集不同投影强度的图像被采集，然后用所采集图像像素强度和投影强度计算表面反射率。像素强度随着投射强度的增加而线性增加，增加率被认为是像素位置的表面反射率，但对每个具有不同表面反射率的物体进行预分析较为困难，因此该方式对于批量的工业生产来说并不适用。

目前，还提出了多种基于度量的曝光选择方法，这些方法可以在动态照明条件下根据对拍摄图像的评估自动调整曝光值，而不需要预先分析。但这些方法中，需根据预先设定的图像质量指标对拍摄的图像进行评估，然后反复调整曝光，直到指标达到最大值，其目的是选择一个最佳曝光，以便于感兴趣目标被有效识别，例如用于自动驾驶的车道或标志识别。而基于HDR的SL3D计量学的目标是选择一些曝光值并重建一个点云，以准确测量物体的形状和尺寸。两者目标不同，因此，图像质量指标和单一最佳曝光度选择策略不适合用于基于HDR的SL3D计量学。

另外，由于大多数视觉算法是从富含梯度或富含熵的区域提取特征，因此曝光控制指标要基于梯度或熵的最大化，并通过强度调制指标来评估低光照条件下SL图像的相位编码信息。该指标假设相位编码信息随着强度调制而单调增加，强度调制指的是SL图像中编码模式的振幅。然而，当强度调制达到一定的阈值时，相位编码信息会在最大值上达到平稳。为了测量具有不同反射率的物体，则需要更大的曝光范围和更长的曝光时间，而更长的曝光时间会导致过度曝光。因此，在基于HDR的SL3D测量中，需要建立一个新的衡量标准来评估相位编码信息。此外，在现有的曝光控制方法中，要检测的物体(如车道或交通标志)通常只有较小的表面反射率变化范围；因此，可以在单一的最佳曝光中提取特征。不同的是，工业计量学的目标是测量表面反射率变化范围很广的工业部件，这就需要一种新的策略来确定多次曝光并能够测量单次曝光无法覆盖的像素。

发明内容

针对现有技术中存在的缺陷，本发明提供了一种不同反射率表面三维结构光测量的曝光值选择方法，其可避免区域过度曝光，可提高单一最佳曝光覆盖像素测量的准确性。

为实现上述目的，本发明采用如下技术方案：

一种不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，所述方法包括：图像采集，获得预测试图像；

判断采集到的预测试图像中，是否含有曝光过度区域，若否，则停止，若是，则进行多重曝光的选择；

所述多重曝光的选择包括：S1、曝光的初始化；S2、用像素滤波器选择多个曝光，S3、通过优化确定下一个曝光值，直至所述预测试图像中的合格像素的比率大于等于95％。

其进一步特征在于，

图像采集前，使用默认曝光值t_default，采集一帧图像作为所述预测试图像；

进一步的，判断采集到的预测试图像中，是否含有曝光过度区域，具体指：若曝光过度区域的像素数占图像总像素数的比率≥T₁，表明曝光过度，进入多重曝光的选择；

进一步的，多重曝光的选择步骤包括：

S1、曝光值初始化包括：逐渐调节所述曝光值t_default，使所述曝光值t_default降低，其中降低后的初始曝光值为t₁；

进一步的，S2、用像素滤波器选择多个曝光，所述多个曝光指降低后的曝光值，降低后的初始曝光值包括：t₁，t₂，……，t_k+1，其中k≥1采集所述曝光值t₁，t₂，……，t_k+1条件下相应的序列图像；

进一步的，S3、通过优化确定下一个曝光值，包括：S31在第k次曝光选择时，所述曝光值为t_k+1，此时采集12帧相位编码图像序列I^k；

S32、通过四步相移法以及所述相位编码图像序列I^k计算出强度调制图B^k；

S33、遍历所述强度调制图B^k，生成一个二进制掩膜图像M^k，将所述二进制掩膜图像M^k中大于或等于阈值T_new的像素数作为合格像素数；

S34、判断所述合格像素数的比率是否≥T₂，若是，则停止迭代，将曝光值为t₁,t₂,…,t_k时采集的所述序列图像进行图像融合，实现点云重构。若否，则进行S4～S5；

S4、所述二进制掩膜图像M^k和所述相位编码图像序列I^k的对应元素相乘，得到12帧过滤后的更新图像

S5、所述更新图像

中的像素被用来计算图像质量指标

同时使用牛顿优化方法确定下一次曝光值t_k+1，重复执行所述步骤S2～S3，直至所述预测试图像中的合格像素的比率大于等于95％。

进一步的，所述T₁为5％；

进一步的，所述阈值T_new的值为经验值9；

进一步的，步骤S5中，

其中，L,H分别为图像的长和宽，激活函数Ψ(A(x，y))∈[0，1)控制图像的权重，Θ(B(x，y))∈[0，1)是对B(x，y)的调制。λ∈(0，1]是下降系数，用于控制收敛的速度，k为整数；

进一步的，所述λ＝0.3。

采用本发明上述结构可以达到如下有益效果：本申请还提出了一个多重曝光的选择策略以测量那些不能被单一最佳曝光所覆盖的像素，其通过步骤S1～S3的重复执行直到大多数像素(即预测试图像中的合格像素的比率大于等于95％)被运算过，来实现多重曝光值的选择，从而确定最优曝光值。该曝光值选择方法简单，与15次曝光的HDR方法相比，本申请方法平均只需要3～4次曝光，并且能够获得相似的表面覆盖率和测量精度，从而节约了曝光选择的时间，提高了测量效率和精度。

附图说明

图1包括：(a)为一个表面反射率变化较大的工业部件(汽车冲压零件)的图像；

图1(b)为(a)中图像的三维重构图；

图1(c)为高动态范围(HDR)结合在多次曝光下拍摄的图像的不同反射率特征的效果图；

图1(d)为(c)中有适当曝光量时拍摄的图像和(c)中图像通过HDR方法重构后的点云效果图(插图)。

图2为目前常用的最佳曝光值确定方法流程图。

图3为本发明提出的多重曝光值选择方法流程图。

图4为目前常用的最佳曝光值确定方法确定的不同曝光值条件下的工业部件的效果图及重构后的点云示例图，其中，图4中(a)(b)(c)(d)为不同曝光值条件下拍摄的工业部件的效果图，图4中(e)为该4个曝光值下所拍摄图像融合并重构后的点云示例图。

图5为采用本发明方法计算出的不同曝光值条件下拍摄的工业部件(汽车冲压零件)的图像及点云重构后的点云示例图，其中，图5中(a)(b)(c)(d)为通过本发明方法求出的不同曝光值并拍摄的工业部件的效果图，图5中(e)为该4个曝光值下所拍摄图像融合并重构后的点云示例图。

图6为用本发明方法与HDR方法的对比示例图，其中，图6中(a)为待拍摄的工业部件的图像，图6中(b)为采用15次曝光的HDR方法，图像融合、重构后的工业部件点云示例图，图6中(c)为采用本发明方法计算出的4次曝光值条件下，通过图像融合、重构后获得的工业部件的点云示例图。

具体实施方式

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

图2给出了一种目前常用的最佳曝光值确定方法，该方法包括图像采集：K1、在曝光值为t_k时，采集序列图像I_k；K2、判断序列图像的质量是否合格，若是，K3、则可以直接进行三维点云重构，若否，K4、则通过Q值的最大化求解，计算曝光值t_k+1，返回步骤K1，在曝光值为t_k+1时，采集序列图像I_k+1，判断图像质量是否合格，若否，重复步骤K4～K2，直至图像质量合格，其中，K4的Q值的计算方式为

采用上述方法对图1(a)所示图像进行曝光选择及处理，获得图1(b)所示的三维点云重构图，从图1(b)可以看出，对应图1(a)中曝光过度和曝光不足的区域都有信息丢失，从而影响了后续像素测量的准确性。

针对上述问题，本发明提供了一种不同反射率表面三维结构光测量的曝光值选择方法的具体实施例，参考图3，该方法包括：

步骤一、图像采集，获得预测试图像，具体采集方式为：测量前，使用相机的默认曝光值t_default，采集一帧图像作为预测试图像。

步骤二、判断采集到的预测试图像中，是否含有曝光过度区域，若否，则停止，若是，则进行多重曝光的选择，具体地：若曝光过度区域的像素数占图像总像素数的比率≥5％，表明曝光过度，进入步骤三多重曝光的选择；

步骤三、多重曝光的选择包括：S1、曝光的初始化，包括：逐渐调节曝光值t_default，使曝光值t_default降低，其中降低后的初始曝光值为t₁；

S2、用像素滤波器选择多个曝光，多个曝光指降低后的曝光值，降低后的初始曝光值包括：t₁，t₂，……t_k+1，其中k≥1，采集曝光值t₁，t₂，……t_k+1条件下相应的序列图像；

S3、通过优化确定下一个曝光值；重复执行步骤S1～S3，直至预测试图像中的合格像素的比率大于等于95％，具体包括：S31在第k次曝光选择时，曝光值为t_k+1，此时采集12帧相位编码图像序列I^k；

S32、通过四步相移法以及相位编码图像序列I^k计算出强度调制图B^k；

S33、遍历强度调制图B^k，生成一个二进制掩膜图像M^k，将二进制掩膜图像M^k中大于或等于阈值T_new的像素数作为合格像素数，本实施例中T_new为经验值9；

S34、判断合格像素数的比率是否≥95％，若是，则停止迭代，将曝光值为t₁,t₂,…,t_k时采集的序列图像进行图像融合，实现点云重构。若否，则进行S4～S5；

S4、二进制掩膜图像M^k和相位编码图像序列I^k的对应元素相乘，得到12帧过滤后的更新图像

S5、更新图像

中的像素被用来计算图像质量指标

同时使用牛顿优化方法确定下一次曝光值t_k+1。该步骤S5中，

其中，L,H分别为图像的长和宽，激活函数Ψ(A(x，y))∈[0，1)控制图像的权重，Θ(B(x，y))∈[0，1)是对B(x，y)的调制。λ∈(0，1]是下降系数，λ＝0.3，用于控制收敛的速度。重复执行上述步骤S2～S3，直至预测试图像中的合格像素的比率大于等于95％.

本申请提出了一个新的图像质量指标Q_new，其中引入了一个激活函数Ψ(A(x，y))∈[0，1)来重新分配强度调制的权重，当强度调制达到一定的阈值时，其权重被抑制以避免区域过度曝光。本申请还提出了一个多重曝光的选择策略以测量那些不能被单一最佳曝光所覆盖的像素，其中所提出的图像质量指标和一个像素过滤步骤S33用于计算下一个最佳曝光值，并通过步骤S4来定位待测量的候选像素，通过步骤S4定位时，因为乘以了二进制掩膜图像，所以相乘后的图像中，要么是0，要么是1，此时值为1的即为候选像素，这个过程反复进行，直到大多数像素(即预测试图像中的合格像素的比率大于等于95％)被运算过。

本申请方法与单次最佳曝光方法相比，提高了表面覆盖率，减少了细节特征丢失，同时降低了测量误差，如图4、图5所示，图4为目前常用的最佳曝光值确定方法确定的不同曝光值条件下拍摄的工业部件的效果图及重构后的点云示例图，其中图4(a)(b)(c)(d)分别为曝光时间为32ms、41ms、49ms、58ms时的工业部件的图像，图4中(e)为该4个曝光时间下所拍摄图像融合并重构后的点云示例图，从该图4(e)可以看出，三维重构图保留了工业部件的较多细节特征，但过曝光区域和曝光不足区域仍有部分特征缺失，影响了后续测量精度。

图5为本发明方法计算出的不同曝光值条件下拍摄的工业部件的图像及点云重构后的点云示例图，其中图5(a)(b)(c)(d)分别为曝光时间为16ms、29ms、52ms、80ms时拍摄的工业部件的图像，图5中(e)为该4个曝光时间下所拍摄图像融合并重构后的点云示例图，从该图5(e)可以看出，该三维重构图较为完整的保留了工业部件的细节特征，与图4(e)所示的点云图对比可以看出，采用本申请方法后，工业部件的高反光区域的细节特征被保留，采用本申请多重曝光值的选择方法确定的最优曝光值条件所拍摄的图像，能够获得更高的表面覆盖率和测量精度。

本申请方法与15次曝光的HDR方法相比，参考图6，图6为采用本发明方法与HDR方法的对比示例图，其中，图6(a)为待拍摄工件的实物图，图6(b)为采用HDR方法计算出的最佳曝光值条件获得的工业部件的点云重构示例图，图6(c)为采用本发明方法计算出的最佳曝光值条件获得的工业部件的点云重构示例图，图6(b)与图6(c)对比可以看出，采用本申请方法与HDR方法，能够获得相似的表面覆盖率和测量精度，但本申请方法平均只需要3～4次曝光即可获得最佳曝光值，而HDR方法则需要15次曝光，从而节约了曝光选择的时间，提高了测量效率和精度。

以上的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，所述方法包括：图像采集，获得预测试图像；

判断所述预测试图像中是否存在过曝光区域，若否，则停止，若是，则进行多重曝光的选择；

所述多重曝光的选择包括：S1、曝光的初始化；S2、用像素滤波器选择多个曝光，S3、通过优化确定下一个曝光值，直至所述预测试图像中的合格像素的比率大于等于95％。

2.根据权利要求1所述的不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，采集前，使用默认曝光值t_default，采集一帧图像作为所述预测试图像。

3.根据权利要求1或2所述的不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，判断所述预测试图像中是否存在过曝光区域，具体包括：若曝光过度区域的像素数占图像总像素数的比率≥T₁，表明曝光过度，进入多重曝光的选择。

4.根据权利要求3所述的不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，多重曝光的选择步骤包括：

S1、曝光值初始化，包括：逐渐调节所述曝光值t_default，使所述曝光值t_default降低，其中降低后的初始曝光值为t₁。

5.根据权利要求4所述的不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，S2、用像素滤波器选择多个曝光，所述多个曝光是指降低后的曝光值，降低后的初始曝光值包括：t₁，t₂，……，t_k+1，其中k≥1采集所述曝光值t₁，t₂，……，t_k+1条件下相应的序列图像。

6.根据权利要求5所述的不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，S3、通过优化确定下一个曝光值，包括：S31在第k次曝光选择时，所述曝光值为t_k+1，此时采集12帧相位编码图像序列I^k；

S32、通过四步相移法以及所述相位编码图像序列I^k计算出调制强度图B^k；

S33、遍历所述调制强度图B^k，生成一个二进制掩膜图像M^k，将所述二进制掩膜图像M^k中大于或等于阈值T_new的像素数作为合格像素数；

S34、判断所述合格像素数的比率是否≥T2，若是，则停止迭代，将曝光值为t₁,t₂,…,t_k时采集的所述序列图像进行图像融合，实现点云重构。若否，则进行S4～S5。

7.根据权利要求6所述的不同反射率表面三维结构光测量的曝光值选择方法，其特征在于，S4、所述二进制掩膜图像M^k和所述相位编码图像序列I^k的对应元素相乘，得到12帧过滤后的更新图像

S5、所述更新图像

中的像素被用来计算图像质量指标

同时使用牛顿优化方法确定下一次曝光值t_k+1，重复执行所述步骤S2～S3，直至所述预测试图像中的合格像素的比率大于等于95％。

8.根据权利要求7所述的不同反射率表面三维结构光测量的曝光值选择方法，步骤S5中，图像质量指标

的计算方式为：

其中，L,H分别为图像的长和宽，激活函数Ψ(A(x，y))∈[0，1)控制图像的权重，Θ(B(x,y))∈[0,1)是对B(x，y)的调制，λ∈(0，1]是下降系数，用于控制收敛的速度。

9.根据权利要求8所述的不同反射率表面三维结构光测量的曝光值选择方法，所述T₁为5％，所述阈值T_new的值为经验值9，所述λ＝0.3。

Images