CN109916336B - 基于光谱调制与多光谱成像的高动态范围三维测量方法 - Google Patents

Abstract

本发明公开了基于光谱调制与多光谱成像的高动态范围三维测量方法，包括以下步骤：构建包含投影单元和成像单元的条纹投影***，通过***标定获取***参数；投影单元生成并投影多幅相移条纹图案到待测物体表面，成像单元获取被物体反射的多光谱条纹图像序列；基于多光谱条纹图像序列，对每个光谱通道图像进行像素饱和判断；基于饱和判断结果进行多通道条纹图像融合，获取融合条纹图像序列；基于融合条纹图像序列进行包裹相位的计算，并通过相位展开算法，获取绝对相位信息；基于***参数和绝对相位，恢复被测物体的三维形貌。本发明在单次曝光下就可以快速实现高动态范围的条纹成像与三维测量，避免了传统多曝光方法的多次拍摄，提高了测量效率。

Description

基于光谱调制与多光谱成像的高动态范围三维测量方法

技术领域

本发明涉及光学测量技术领域，具体的说是涉及一种基于光谱调 制与多光谱成像的高动态范围三维测量方法。

背景技术

结构光三维测量方法属于主动式光学测量技术，具有结构简单、 测量方便、速度快、精度高等特点，在工业检测、逆向工程、以及虚 拟现实等诸多领域均得到了广泛的应用与研究。尽管结构光三维测量 技术已经非常成熟，但是测量高动态范围的物体仍然是一个非常棘手 的问题。例如金属零件、瓷器文物等物体表面反射率变化范围较大， 若直接对这类零部件进行三维测量，则会存在高反炫光效应问题，其 对测量结果的影响包含两个方面：(1)高亮区域存在过饱和现象，导致 相位与深度信息无法准确提取；(2)低亮区域条纹对比度下降，导致相 位误差增加与测量精度降低。

目前，针对高反炫光效应问题有如下几种解决方法，分别是基于 曝光量调节的方法、基于自适应投影强度的测量方法以及基于偏振光 调制的方法。基于曝光量调节的方法通过改变相机光圈或曝光时间， 采集一系列不同曝光量的条纹图像，然后逐像素选择最亮且非饱和的 像素合成得到高信噪比的条纹图像，并基于此进行相位解算与三维重 构。该方法由于需要使用较多不同的曝光量，因而存在耗时过长的问 题，不适合动态场景测量；基于自适应投影强度的测量方法，通过投 影序列不同光强图案来建立光亮表面的投影-成像模型，然后自动预 测并调节每个像素点的最佳投射灰度值，从而克服被测物体表面反射率以及环境光照的影响。此类方法具有适应度强、条纹质量高等优势， 然而由于需要逐级进行亮度调节与优化，并且需要进行投影仪-相机 的像素匹配，因此，也存在投影图案数量多与测量时间长的问题。基 于偏振光调制的方法在投影光路与成像光路加入偏振镜，通过调节两 者之间的夹角实现高反光的抑制。该方法能够较好的去除镜面反射光 线，但是对于漫反射物体的高动态范围测量仍存在局限。

发明内容

为解决上述背景技术中提出的问题，本发明的目的在于提供一种 基于光谱调制与多光谱成像的高动态范围三维测量方法，可以方便有 效地对动态场景进行高动态范围的三维测量。

为实现上述目的，本发明采取的技术方案为：

本发明提供了一种基于光谱调制与多光谱成像的高动态范围三 维测量方法，包括以下步骤：

步骤一、构建一套包含投影单元和多光谱成像单元的条纹投影系 统，并通过现有的***标定方法对条纹投影***进行标定，并获取条 纹投影***参数；

步骤二、通过投影单元生成并投影多幅相移条纹图案到待测物体 表面；同时通过成像单元获取被待测物体表面反射的多光谱条纹图像 序列；

步骤三、基于步骤二获得的多光谱条纹图像序列的图像强度I_k,n， 其中，k代表多光谱图像的图像通道序号，n代表按相移排序的序号； 对每个光谱通道图像进行像素饱和判断得到非饱和图像，得到最亮非 饱和光谱通道序号k_max；

步骤四、基于步骤三的饱和判断结果所得最亮非饱和光谱通道序 号k_max，进行多通道条纹图像融合，获取高质量的融合条纹图像序列 I_n；

步骤五、基于步骤四获取的融合条纹图像序列I_n，采用相移法 进行包裹相位的计算；并通过相位展开算法，获取绝对相位信息；

步骤六、基于步骤一获得的条纹投影***参数和步骤五获得的绝 对相位，恢复出被测物体的三维形貌。

上述技术方案中，所述条纹投影***还包含数据处理***，所述 投影单元包括投影光源、数字微镜器件、投影镜头和滤光片，所述投 影光源通过数字微镜器件开启进入投影镜头，并通过滤光片滤光后投 射到待测物体表面；

所述多光谱成像单元为多光谱相机。

上述技术方案中，所述投影光源采用单个或多个单色光源。

上述技术方案中，所述多光谱条纹图像序列的图像强度I_k,n数学 表达式为：

I_k,n(x,y)＝∫_λL(λ)R(λ)C(λ)dλ (1)

其中，k代表多光谱图像的图像通道序号；n代表按相移排序的 序号；λ代表不同的波长；L(λ)代表投影光束通过单色滤波调制后 的光谱曲线分布；R(λ)代表调制后的投影光束到达待测物体表面的 反射光束，包含物体表面的反射光谱特征；C(λ)代表反射光束经过多光谱相机成像单元调制后的光谱曲线。

上述技术方案中，步骤三中，像素饱和判断的具体方法为：

(3-1)对步骤二获得的多光谱条纹图像序列的图像强度I_k,n求k 个通道光谱图像的过饱和掩模M_k，过饱和掩模M_k的计算公式为：

当多光谱条纹图像序列的图像强度I_k,n中像素值大于预设阈值 的像素，称为过饱和像素；在过饱和掩模中，过饱和像素对应位置的 像素值设为0，其他位置设为1；其中，预设阈值取值范围为250～255；

(3-2)将k个通道的多光谱条纹图像序列的图像强度I_k,n乘以 对应通道的过饱和掩模M_k，得到其非饱和图像；对于每个像素，按 亮度高低对各个光谱通道进行排序，找到其最亮非饱和光谱通道序号 k_max。

上述技术方案中，步骤四中，融合条纹图像序列I_n的计算公式 为：

上述技术方案中，步骤五中，绝对相位的计算方法为：

(5-1)获取相移为δ_n的n幅正弦条纹图像的光强分布，得到理 想状态下的光强分布为：

I_n(x,y)＝A(x,y)+B(x,y)cos(φ+δ_n),n＝1,2,3,…,N (4)

其中，A(x,y)是平均光强，B(x,y)是调制光强，φ(x,y)是待求的相 对相位；

(5-2)通过最小二乘算法求解出包裹相位，即

其中，φ(x,y)由于反正切函数的性质不具有连续性；

(5-3)为了移除包裹相位的间断点，采用三波长时间相位展开 方法获取条纹级次信息k(x,y)，进而获取连续绝对相位分布：

φ(x,y)＝φ(x,y)+k*2π (6)。

与现有技术相比，本发明的有益效果是：

利用光谱调制与多光谱成像，在单次曝光的情况下就可以快速实 现高动态范围的条纹成像与三维测量，避免了传统多曝光方法的多次 拍摄，提高了测量效率。此外，本发明方法硬件实现简单，光谱调制 与多光谱成像较容易实现，从而可以方便地对高动态范围物体进行三 维测量。

附图说明

图1为本发明基于光谱调制与多光谱成像的高动态范围三维测 量方法的流程示意图；

图2为本发明实施实例中所构建结构光***的原理示意图；

图3为本发明实施实例中投影光束通过单色滤波调制后的光谱 曲线分布；

图4为本发明实施实例中反射光束经过多光谱相机成像单元调 制后的光谱曲线；

图5为本发明实施实例中不同光谱通道的光强分布；

图6为本发明实施实例中对手机金属背面单个光谱通道的三维 重建结果。其中(a)-(d)代表所拍摄的四个代表性通道4，5，6，7的条 纹图像；(e)-(h)代表其对应的三维重建结果；(i)-(l)代表其对应的细部 放大图；

图7为本发明实施实例中对手机金属背面的多光谱融合三维重 建结果。其中(a)代表手机金属背面的高动态范围融合条纹图像；(b) 代表手机背面的高反效应；(c)-(d)代表其对应的三维重建结果和细节 图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明 白了解，下面结合附图和具体实施方式，进一步阐述本发明是如何实 施的。

具体实施例：

如图1所示，本实施例提供了一种基于光谱调制与多光谱成像的 高动态范围三维测量方法，包括以下步骤：

步骤一、构建一套条纹投影***，如图2所示，包含投影单元、 多光谱成像单元和计算机数据处理***。通过现有的***标定方法分 别对条纹投影***中的投影单元和多光谱成像单元进行标定。具体 的，多光谱成像单元为多光谱相机，采用的相机光谱范围为400-700nm，包含8个通道。投影单元为投影仪，具体的，投影仪包 括投影光源、数字微镜器件、投影镜头和滤光片，投影光源为具备 R/G/B三色LED光源，可以采用单色光源或通过调制实现单色照明。 数字微镜器件是光开关的一种，利用旋转反射镜实现光开关的开合， 开闭时间稍长，为微秒量级。作用过程十分简单，光从光纤中出来， 射向DMD的反射镜片，DMD打开的时候，光可经过对称光路进入 到另一端光纤；当DMD关闭的时候，即DMD的反射镜产生一个小 的旋转，光经过反射后，无法进入对称的另一端，也就达到了光开关 关闭的效果。投影光源通过数字微镜器件开启或闭合来实现是否进入 投影镜头，并通过滤光片滤光后投射到待测物体表面。

条纹投影***标定方法参见张松(S.Zhang,"Novel method for structuredlight system calibration."Optical Engineering 45.8(2006):083601-083601)和张正友(Z.Zhang,“A flexible new technique for camera calibration.”IEEETransactions on pattern analysis andmachine intelligence.22(11),1330-1334(2000))。

步骤二、通过投影单元生成多幅相移条纹图案序列并采用投影单 元中的单个或多个单色光源进行条纹投影到待测物体表面，同时通过 多光谱相机获取多个通道的多光谱条纹图像序列。多光谱条纹图像序 列的图像强度I_k,n可以表示为：

I_k,n(x,y)＝∫_λL(λ)R(λ)C(λ)dλ (1)

k代表多光谱图像的图像通道序号；n代表按相移排序的序号； λ代表不同的波长；L(λ)代表投影光束通过单色滤波调制后的光谱 曲线分布，如附图3所示，单色光源一般呈窄带频谱分布；R(λ)代 表调制后的投影光束到达待测物体表面的反射光束，包含物体表面的 反射光谱特征；C(λ)代表反射光束经过多光谱相机成像单元调制后 的光谱曲线，如附图4所示，不同光谱通道具有不同的中心波长。最 终，基于本实施例提出的方法，多光谱相机获得的强度分布如附图5 所示，可以看到不同光谱通道可以获得不同光强的图像。

步骤三，对步骤二获得的多光谱条纹图像序列的图像强度I_k,n， 求k个通道光谱图像的过饱和掩模M_k。当多光谱条纹图像序列的图 像强度I_k,n中像素值大于预设阈值的像素，称为过饱和像素。在过饱 和掩模中，过饱和像素对应位置的像素值设为0，其他位置设为1。 建议预设阈值取值范围为250～255。

将k个通道的多光谱条纹图像序列的图像强度I_k,n乘以对应通 道的过饱和掩模M_k，得到其非饱和图像；对于每个像素，按亮度高 低对各个光谱通道进行排序，找到其最亮非饱和光谱通道序号k_max。

步骤四，基于步骤三的最亮非饱和通道序号信息k_max进行图像融 合，获取高质量的融合条纹图像序列I_n，即

步骤五，对获取的融合条纹图像序列I_n采用多步相移法计算相 对相位。

(5-1)对于相移为δ_n的n幅正弦条纹图像，其理想状态下的光 强分布为

I_n(x,y)＝A(x,y)+B(x,y)cos(φ+δ_n),n＝1,2,3,…,N (4)

其中，A(x,y)是平均光强，B(x,y)是调制光强，Φ(x,y)是待求的相 对相位。

(5-2)通过最小二乘算法求解出包裹相位，即

其中，Φ(x,y)由于反正切函数的性质不具有连续性。

(5-3)为了移除包裹相位的间断点，采用三波长时间相位展开 方法获取条纹级次信息k(x,y)，进而获取连续绝对相位分布。

φ(x,y)＝φ(x,y)+k*2π (6)

步骤六，最后，基于条纹投影***标定参数，恢复出被测物体的 三维形貌。

如图6所示，被测对象一个金属手机反面。未采用本实施例所述 的基于光谱调制与多光谱成像的高动态范围三维测量方法，由于金属 的镜面反射特性，直接投影相移光栅到其表面上时，会导致相机某些 通道采集得到的图像中存在大量的光强饱和像素点，出现如图中 6(a)-(d)所示的高光区域。由于饱和像素点丢失了相位信息，这导致通 过相移算法解出的绝对相位与三维数据在高光区域有很大的误差，如 图6(e)-(h)所示。此外，对于表面暗部区域，在某些通道则存在条纹 对比度低的问题，会导致恢复出来的相位信息与三维数据误差较大， 如图6(i)-(l)所示。

将本实施例所述的基于光谱调制与多光谱成像的高动态范围三 维测量方法应用到该物体的测量，通过多光谱通道的融合得到高质量 的条纹图像如图7(a)所示，图7(b)为物体表面反射率分布。可以看出 原有的饱和像素点已被全部去除，高光区域消失，同时暗部区域的光 栅条纹对比度仍然比较好。使用步骤五中的相移算法解出绝对相位， 最后恢复出的三维形貌如图7(c)和7(d)所示，可以看出因光强饱和导 致的孔洞误差已经全部被去除，并且暗部区域也得到了较好质量的三 维数据。这说明利用本发明方法得到的重构结果明显具有更高的动态 范围，物体表面的暗部区域和高光区域均得到了较好的测量。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限 制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技 术人员应当理解，可以对本发明的技术方案进行修改或者等同替换， 而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利 要求范围中。

Claims (7)

1.基于光谱调制与多光谱成像的高动态范围三维测量方法，其特征在于，包括以下步骤：

步骤一、构建一套包含投影单元和多光谱成像单元的条纹投影***，并对条纹投影***进行标定，获取条纹投影***参数；

步骤二、通过投影单元生成并投影多幅相移条纹图案到待测物体表面；同时通过成像单元获取被待测物体表面反射的多光谱条纹图像序列；

步骤三、基于步骤二获得的多光谱条纹图像序列的图像强度I_k,n，其中，k代表多光谱图像的图像通道序号，n代表按相移排序的序号；对每个光谱通道图像进行像素饱和判断得到非饱和图像，得到最亮非饱和光谱通道序号k_max；

步骤四、基于步骤三的饱和判断结果所得最亮非饱和光谱通道序号k_max，进行多通道条纹图像融合，获取高质量的融合条纹图像序列I_n；

步骤五、基于步骤四获取的融合条纹图像序列I_n，采用相移法进行包裹相位的计算；并通过相位展开算法，获取绝对相位信息；

步骤六、基于步骤一获得的条纹投影***参数和步骤五获得的绝对相位，采用相位深度关联模型恢复出被测物体的三维形貌。

2.根据权利要求1所述的基于光谱调制与多光谱成像的高动态范围三维测量方法，其特征在于，所述条纹投影***还包含数据处理***，所述投影单元为投影仪，所述投影仪包括投影光源、数字微镜器件、投影镜头和滤光片，所述投影光源通过数字微镜器件开启进入投影镜头，并通过滤光片滤光后投射到待测物体表面；

所述多光谱成像单元为多光谱相机。

3.根据权利要求2所述的基于光谱调制与多光谱成像的高动态范围三维测量方法，其特征在于，所述投影光源采用单个或多个单色光源。

4.根据权利要求1所述的基于光谱调制与多光谱成像的高动态范围三维测量方法，其特征在于，所述多光谱条纹图像序列的图像强度I_k,n的数学表达式为：

I_k,n(x,y)＝∫_λL(λ)R(λ)C(λ)dλ (1)

其中：

k代表多光谱图像的图像通道序号；

n代表按相移排序的序号；

λ代表不同的波长；

L(λ)代表投影单色光源的光谱曲线分布；

R(λ)代表调制后的投影光束到达待测物体表面的反射光束，包含物体表面的反射光谱特征；

C(λ)代表反射光束经过多光谱相机成像单元调制后的光谱曲线。

5.根据权利要求1所述的基于光谱调制与多光谱成像的高动态范围三维测量方法，其特征在于，步骤三中，像素饱和判断的具体方法为：

(3-1)对步骤二获得的多光谱条纹图像序列的图像强度I_k,n，求k个通道光谱图像的过饱和掩模M_k，过饱和掩模M_k的计算公式为：

公式中，“thresh”表达的物理含义为图像饱和度阈值的预设阈值；

当多光谱条纹图像序列的图像强度I_k,n中像素值大于预设阈值的像素，称为过饱和像素；在过饱和掩模中，过饱和像素对应位置的像素值设为0，其他位置设为1；其中，预设阈值取值范围为250～255；

(3-2)将k个通道的多光谱条纹图像序列的图像强度I_k,n乘以对应通道的过饱和掩模M_k，得到其非饱和图像；对于每个像素，按亮度高低对各个光谱通道进行排序，找到其最亮非饱和光谱通道序号k_max。

6.根据权利要求1所述的基于光谱调制与多光谱成像的高动态范围三维测量方法，其特征在于，步骤四中，融合条纹图像序列I_n的计算公式为：

7.根据权利要求1所述的基于光谱调制与多光谱成像的高动态范围三维测量方法，其特征在于，

步骤五中，绝对相位的计算方法为：

(5-1)获取相移为δ_n的n幅正弦条纹图像的光强分布，得到理想状态下的光强分布：

I_n(x,y)＝A(x,y)+B(x,y)cos(φ+δ_n),n＝1,2,3,…,N (4)

其中，A(x,y)是平均光强，B(x,y)是调制光强，φ(x,y)是待求的相对相位；

(5-2)通过最小二乘算法求解出包裹相位，即

其中，φ(x,y)由于反正切函数的性质不具有连续性；

(5-3)为了移除包裹相位的间断点，采用相位展开方法获取条纹级次信息k(x,y)，进而获取连续绝对相位分布：

φ(x,y)＝φ(x,y)+k*2π (6)。