CN111189417B - 基于高频图案干涉的二进制光栅图像投影反光抑制方法 - Google Patents

Abstract

本发明公开了一种基于高频图案干涉的二进制光栅图像投影反光抑制方法。生成用于反光抑制的多幅高频图案；生成用于三维形貌测量的二进制光栅，对二进制光栅进行取反操作生成反向二进制光栅；生成多幅相干二进制光栅；通过投影仪投影进而相机采集的多幅相干二进制光栅的投影图像作为输出图像，将所有输出图像按照一定方式进行合成处理，获得一幅反光抑制后的输出图像，即作为需投影的二进制光栅图像反光抑制后的结果。本发明对二进制光栅投影法三维测量中，由于反光所导致的错误测量结果进行有效消除，提高基于二进制光栅投影法的三维形貌测量精度。

Description

基于高频图案干涉的二进制光栅图像投影反光抑制方法

技术领域

本发明涉及主动式三维形貌测量领域，主要涉及到基于二进制光栅投影法的逆向工程中，利用高频图案干涉对分布在被测物体表面的反光区域进行去除，尤其涉及一种基于高频图案干涉的二进制光栅图像投影反光抑制方法。

背景技术

二进制光栅投影法是一种结构光三维测量技术，具有测量速度快、测量精度高等优势，近年来已发展成为结构光三维测量的主要技术之一。

在二进制光栅投影法的实际应用中，需要对被测物体投影呈周期分布的光栅场，物体的形貌高度蕴含在光栅场的分布中。通过相机采集光栅场的分布，并通过二进制阈值分割进行解编码，获得物体的形貌高度信息。受到被测物体反射特性以及投影面光源分布特性的影响，光栅容易在被测物体表面形成高亮度的反光区域，干扰阈值分割结果，影响解编码精度，降低三维形貌测量精度，甚至造成三维形貌测量结果在反光区域出现空洞和缺失。

现有抑制二进制光栅投影法中反光区域的方法，主要从避免反光区域的产生和克服反光区域影响两方面展开。在避免反光区域产生的方面，冯维等人通过插值预测查找算法，求得最佳投影灰度值，降低光栅投影的强度，一定程度地避免反光现象的发生。在克服反光区域影响的方面，Budianto等人根据光栅投影的分布特性，通过图像修复的方式，对反光区域中缺失的光栅信息进行复原，克服反光区域对光栅投影和三维测量精度的影响。

上述现有方法存在的问题主要有：

其一，现有避免反光区域产生的方法，基于降低光栅投影的强度实现；在实际测量中，降低光栅投影的强度的同时会降低相机采集光栅场的质量，并增大背景光强的投影光栅场的干扰，导致三维测量精度的降低；此外，仅通过降低光栅投影的强度，难以抑制过于强烈的反光现象，且依赖于较为复杂的拟合算法确定光栅投影强度降低的程度，方法的效率和操作的便利性有待提高；

其二，现有克服反光区域影响的方法，由于其利用反光区域附近未受反光干扰的光栅信息作为依据，实现对反光区域中缺失光栅信息的估计和修复，由于估计结果不可避免地存在误差，所以在抑制反光的同时，图像修复过程可能破坏光栅场地分布，引入附加测量误差。

发明内容

针对上述背景技术中存在的问题，本发明提出了一种基于高频图案干涉的二进制光栅图像投影反光抑制方法，通过高频图案干涉，生成干涉二进制光栅；通过投影干涉二进制光栅，将反光成分从输出图像中分离，从而实现反光抑制，有效地消除反光区域对二进制光栅场分布的影响，提高基于二进制光栅投影法三维形貌测量的精度。

如图2所示，本发明所采用的技术方案是：

步骤1)，生成用于反光抑制的多幅高频图案；

步骤2)，生成用于三维形貌测量的二进制光栅，二进制光栅是采用二进制0-1编码条纹编码构成的光栅，对二进制光栅进行取反操作生成反向二进制光栅，所述反向二进制光栅用于反光抑制；

步骤3)，生成多幅相干二进制光栅，相干二进制光栅是通过将高频图案中的编码值和二进制光栅/反向二进制光栅中的编码值进行干涉操作所得，所述相干二进制光栅用于反光抑制；

步骤4)，通过投影仪投影进而相机采集的多幅相干二进制光栅的投影图像作为输出图像，将所有输出图像按照一定方式进行合成处理，获得一幅反光抑制后的输出图像，即作为需投影的二进制光栅图像反光抑制后的结果，实现了对二进制光栅投影所对应的输出图像的反光抑制。

所述反光抑制，是抑制投影用于三维形貌测量的二进制光栅时，在输出图像中出现的反光区域。所述反光区域，是光栅光源照射至待测物体表面所产生的反射光积聚在某一特定位置所形成的高亮度区域。上述高频图案、反向二进制光栅、相干二进制光栅均用于实现反光抑制。

所述步骤1)中，高频图案是采用二进制0-1编码方式阵列编码构成的图案，高频图案中的编码值在水平方向和竖直方向上均存在高频周期变化；多幅高频图案满足如下条件：多幅高频图案具有相同的行数和列数，且对于每一个位置的像素点，多幅高频图案在这一像素点处的编码值不全为0也不全为1。

所述步骤2)中的取反操作是对二进制光栅中的所有编码值进行“非”逻辑运算，即将编码值为0的元素置为1，将编码值为1的元素置为0。

所述步骤3)中，多幅高频图案分别与二进制光栅进行干涉操作，得到多幅正向相干二进制光栅，多幅高频图案分别与反向二进制光栅进行干涉操作，得到多幅反向相干二进制光栅，由多幅正向相干二进制光栅和多幅反向相干二进制光栅共同构成多幅相干二进制光栅；所述的干涉操作，是针对每一行/列均采用表1所示的干涉逻辑运算进行遍历，将位于中相同位置的二进制元素p₁和p₂进行如表1所示的干涉逻辑运算：

表1

上表中，p₁是位于高频图案中第x行、第y列的编码值，p₂是位于二进制光栅/反向二进制光栅中第x行、第y列的编码值，⊙是干涉逻辑运算符，p₁(x,y)⊙p₂(x,y)表示干涉逻辑运算的输出结果，将输出结果作为相干二进制光栅中第x行、第y列的编码值。

如图4所示，对于和高频图案发生干涉的光栅，上述干涉逻辑操作保证：干涉操作前的光栅中编码值为0的像素点，在干涉运算后仍为0；干涉操作前的光栅中编码值为1的像素点，在干涉操作后的编码值取决于高频图案中位于该像素点处的编码值，即，若高频图案在该像素点处的编码值为1，则干涉操作所得结果为1；若高频图案在该像素点处的编码值为0，则干涉操作所得结果为0。结合步骤1)中所述的多幅高频图案之间的特点，对于每一个在二进制光栅中编码值为1的像素点，多幅正向/反向相干二进制光栅中在这一像素点处的编码值不全为0也不全为1；对于每一个在二进制光栅中编码值为0的像素点，多幅正向相干二进制光栅中在这一像素点处的编码值全为0。

结合图4以及上述干涉操作的原理，干涉操作所得的相干光栅中的编码值在水平方向/竖直方向上同样存在高频周期变化。因此，相干光栅的投影结果同样满足光强分解公式。基于此，在步骤4)中充分利用光强分解公式实现反光抑制。

所述步骤4)中，采用光栅投影***，光栅投影***包括投影仪(1)、相机(2)和待测物体(3)，投影仪(1)和相机(2)分别置于待测物体(3)上方的两侧，投影仪(1)的镜头和相机(2)的镜头均朝向待测物体(3)；将相干二进制光栅输入投影仪(1)投影到待测物体(3)上，相机(2)采集相干二进制光栅投影到待测物体(3)后的图像作为输出图像。

所述步骤4)中，对输出图像的合成处理，针对每一行/列均采用以下方式进行遍历，具体为：

步骤4.1)，正向相干二进制光栅输入到投影仪(1)投影到待测物体(3)上被相机(2)采集获得输出图像，将正向相干二进制光栅所对应的N幅输出图像表示为

反向相干二进制光栅输入到投影仪(1)投影到待测物体(3)上被相机(2)采集获得输出图像，将反向相干二进制光栅所对应的N幅输出图像表示为

对于输出图像中的每一个像素点(x,y)，进行如下处理获得用于后续反光抑制的正向辅助图像A⁺和反向辅助图像A^-：

其中，(x,y)是输出图像中位于第x行、第y列的像素点；max[…]表示取方括号内所有灰度值的最大值；

结合图3和光强分解公式，以正向辅助图像A⁺为例，对上式的计算原理解释如下：

对于每一个在二进制光栅中编码值为1的像素点，多幅正向相干二进制光栅中在这一像素点处的编码值不全为0也不全为1。编码值为0表示位于编码像素点处的光源关闭，编码值为1表示位于该编码像素点处的光源开启。上述像素点处所产生的光源保证：对于被测物体表面可能被光源照射的任何一个场景点(x,y)，多幅正向相干二进制光栅所产生的多个光源可能直接照射该场景点(如图3(b)左图所示)，也可能不直接照射该场景点(如图3(b)右图所示)，且上述两种情况必然均存在。如图3(b)左图所示，对于直接照射的情况，输出图像中位于该场景点处的光强I₊(x,y)＝I_d(x,y)+I_g(x,y)；如图3(b)右图所示对于不直接照射的情况，输出图像中位于该场景点处的光强I_-(x,y)＝I_g(x,y)；且必然有I₊(x,y)>I₊(x,y)。因此，在正向相干二进制光栅所对应的N幅输出图像中，通过如下取最大值和最小值的方式计算I₊(x,y)和I_-(x,y)：

根据上式，通过如下计算去除反光成分、保留直接成分，计算正向辅助图像A⁺，实现反光抑制：

A⁺(x,y)＝I_d(x,y)＝I₊(x,y)-I_-(x,y)

反向辅助图像A^-的计算原理可以此类推，在此不再赘述。

步骤4.2)，将正向辅助图像A⁺与反向辅助图像A^-进行差分运算，获得反光抑制后的输出图像R，差分运算是指对于输出图像中的每一个像素点(x,y)，表示为：

R(x,y)＝A⁺(x,y)-A^-(x,y)。

上述处理的作用：其一，能增大输出图像的对比度，提高后续对输出图像进行二进制阈值分割的鲁棒性；其二，由于正向辅助图像和反向辅助图像中位于相同像素点(x,y)处的背景光强是相同的，因此，能抵消背景光强对输出图像的影响，进一步提高后续对输出图像进行二值化阈值分割的鲁棒性。

本发明将二进制光栅场在输出图像中所反映出的光强，线性分解为两种成分：直接成分I_d和反光成分I_g，如图3(a)所示。所述反光成分是光栅光源照射至待测物体表面，经过至少两次反射的多束反射光，积聚在被测物体表面某一特定区域所形成的高亮度的光强成分，如图3(a)中A点处的反射光的成分中，即包括光路为O_p-A-O_c直接成分I_d，也包括路为O_p-B-A-O_c反光成分I_g。反光成分是导致出现反光区域的原因。所述直接成分是光栅光源直接照射至待测物体表面，只经过一次反射的一束反射光，所形成的光强成分。

本发明通过实验发现，对于水平/竖直方向存在高频明暗变化的光栅，输出图像中位于第x行、第y列的像素点处的光强I(x,y)符合如下光强分解公式，如图3(a)所示：

I(x,y)＝I_d(x,y)+I_g(x,y)

本发明通过投影多幅干涉二进制光栅，对二进制光栅场照射至被测物体表面所产生的直接成分I_d和反光成分I_g进行标定，从光强I中去除反光成分I_g，保留直接成分I_d，进而实现反光抑制。

本发明的有益效果是：

其一，本发明通过多幅投影相干二进制光栅，将输出图像中导致反光的反光成分进行分离，保留反光抑制后的直接成分，仅通过简单地取最大值、取最小值以及减法运算，即可实现反光抑制，避免了传统方法为降低光栅投影光强所需进行的复杂拟合算法，也避免了传统方法对反光区域进行图像复原所需进行的复杂修复算法，提高了反光抑制的效率和便利性，同时也保证了反光抑制的效果。

其二，本发明避免了基于图像复原的反光抑制方法对光栅场所引入的附加误差，保证了反光抑制后基于二进制光栅投影法的三维形貌测量的精度。

其三，本发明可以消除背景光强所产生的反光现象，并可以在存在强烈的反光现象时实现反光抑制，克服了基于降低投影光强的反光抑制方法的局限性。

综合以上，本发明对相机采集的二进制光栅投影的输出图像中存在的反光现象实现有效抑制，提高了基于二进制光栅投影的三维形貌测量的精度。

附图说明

图1为本发明投影光栅***布置连接示意图；

图2是本发明实现反光抑制的流程图；

图3(a)是本发明对反光现象所建立的模型图，图3(b)光强分解原理图；

图4是本发明的一个实施例中，所用高频图案、二进制条纹以及相干二进制条纹的示意图；图4(a)为6幅高频图案，构成多幅高频图案；图4(b)表示高频图案与二进制条纹进行干涉操作，获得相干二进制条纹。

图5本发明的一个实施例中，反光抑制前后输出图像的对比图；图5(a)是本发明的一个实施例中，相机采集的二进制光栅投影后未经过反光抑制的输出图像；图5(b)是本发明的一个实施例中，运用本发明所述方法对图5(a)中所示结果进行反光抑制，所得的经过反光抑制后的输出图像；

图6本发明的一个实施例中，反光抑制前后三维形貌测量结果的对比图。图6(a)是未经过反光抑制的输出图像所得的三维形貌测量结果，图6(b)是运用本发明方法所得经过反光抑制后的输出图像所得的三维形貌测量结果。

图中：投影仪1、相机2、待测物体3。

具体实施方式

下面结合图和实例对本发明进行进一步描述。

具体实施方式采用图1所示的光栅投影***，光栅投影***包括投影仪1、相机2和待测物体3，投影仪1和相机2分别置于待测物体3上方的两侧，投影仪1的镜头和相机2的镜头均朝向待测物体3；将相干二进制光栅输入投影仪1投影到待测物体3上，相机2采集相干二进制光栅投影到待测物体3后的图像作为输出图像。

本发明实施例如下：

步骤1)，生成多幅高频图案；所述高频图案是采用二进制0-1编码方式、用于反光抑制的图案，且高频图案中的编码值在水平方向和竖直方向上均存在高频周期变化。如图4(a)所示，在该实施例中，高频图案由若干大小相等的正方形区域构成，每个正方形区域由若干编码为全0或全1的像素点构成，编码为全0的正方形区域表现为白色方块，编码为全1的正方形区域表现为黑色方块。正方形区域的边长为3个像素。在水平方向上，高频图案中表现出黑色方块和白色方块的高频交替分布。将第一幅高频图案分别向右和向下进行整体平移，每次平移距离为1个像素，连续进行多次平移，可以获得6幅互不相同高频图案，平移的次数是正方形区域的边长的两倍；上述6幅高频图案共同构成多幅高频图案。多幅高频图案是后续生成相干二进制光栅的基础。

图4(a)中所示的多幅高频图案满足如下条件：多幅高频图案具有相同的行数和列数，且相邻两幅高频图案的编码值在水平方向/竖直方向存在同方向的、1个像素距离的平移，对于每一个特定位置的像素点，多幅高频图案在这一像素点处的编码值不全为0也不全为1；

步骤2)，对二进制光栅进行取反操作，生成反向二进制光栅；所述二进制光栅，是一种采用二进制0-1编码、用于三维形貌测量的光栅；所述取反操作，对二进制光栅中的所有编码值进行“非”逻辑运算，即将编码值为0的元素置为1，将编码值为1的元素置为0；所述反向二进制光栅用于反光抑制；

步骤3)，将高频图案中的编码值和二进制光栅/反向二进制光栅中的编码值进行干涉操作，生成多幅相干二进制光栅，干涉操作的示意图如图4(b)所示。

多幅高频图案分别与二进制光栅进行干涉操作，得到多幅正向相干二进制光栅；多幅高频图案分别与反向二进制光栅进行干涉操作，得到多幅反向相干二进制光栅；多幅正向相干二进制光栅和多幅反向相干二进制光栅，共同构成多幅相干二进制光栅；

所述步骤3)中的干涉操作，是针对每一行/列均采用表1所示的干涉逻辑运算进行遍历，将位于中相同位置的二进制元素p₁和p₂进行如表1所示的干涉逻辑运算：

表1

上表中，p₁是位于高频图案中第x行、第y列的编码值，p₂是位于二进制光栅/反向二进制光栅中第x行、第y列的编码值，⊙是干涉逻辑运算符，p₁(x,y)⊙p₂(x,y)表示干涉逻辑运算的输出结果，将输出结果作为相干二进制光栅中第x行、第y列的编码值。

步骤4)，通过投影仪投影、相机采集多幅相干二进制光栅的投影图像作为输出图像，将所有输出图像按照一定方式进行合成处理，获得一幅反光抑制后的输出图像，实现对二进制光栅投影所对应的输出图像的反光抑制；

所述反光抑制，是抑制投影用于三维形貌测量的二进制光栅时，在输出图像中出现的反光区域。所述反光区域，是光栅光源照射至待测物体表面所产生的反射光积聚在某一特定位置所形成的高亮度区域。上述高频图案、反向二进制光栅、相干二进制光栅均用于实现反光抑制。

所述步骤4)中对输出图像的合成处理，针对每一行/列均采用以下方式进行遍历，包括：

步骤4.1)，将正向相干二进制光栅所对应的N幅输出图像表示为

将反向相干二进制光栅所对应的N幅输出图像表示为

对于输出图像中的每一个像素点(x,y)，进行如下计算，获得用于后续反光抑制的正向辅助图像A⁺，和反向辅助图像A^-。

其中，(x,y)是输出图像中位于第x行、第y列的像素点；max[…]表示取方括号内所有灰度值的最大值；

结合图3和光强分解公式，以正向辅助图像A⁺为例，对上式的计算原理解释如下：

对于每一个在二进制光栅中编码值为1的像素点，多幅正向相干二进制光栅中在这一像素点处的编码值不全为0也不全为1。编码值为0表示位于编码像素点处的光源关闭，编码值为1表示位于该编码像素点处的光源开启。上述像素点处所产生的光源保证：对于被测物体表面可能被光源照射的任何一个场景点(x,y)，多幅正向相干二进制光栅所产生的多个光源可能直接照射该场景点(如图3(b)左图所示)，也可能不直接照射该场景点(如图3(b)右图所示)，且上述两种情况必然均存在。如图3(b)左图所示，对于直接照射的情况，输出图像中位于该场景点处的光强I₊(x,y)＝I_d(x,y)+I_g(x,y)；如图3(b)右图所示对于不直接照射的情况，输出图像中位于该场景点处的光强I_-(x,y)＝I_g(x,y)；且必然有I₊(x,y)>I₊(x,y)。因此，在正向相干二进制光栅所对应的N幅输出图像中，通过如下取最大值和最小值的方式计算I₊(x,y)和I_-(x,y)：

根据上式，通过如下计算去除反光成分、保留直接成分，计算正向辅助图像A⁺，实现反光抑制：

A⁺(x,y)＝I_d(x,y)＝I₊(x,y)-I_-(x,y)

反向辅助图像A^-的计算原理可以此类推，在此不再赘述。

步骤4.2)，将正向辅助图像A⁺，与反向辅助图像A^-进行差分运算，获得反光抑制后的输出图像R；所述差分运算，是指对于输出图像中的每一个像素点(x,y)，进行如下计算：

R(x,y)＝A⁺(x,y)-A^-(x,y)

为表明本发明对二进制光栅图像投影的反光抑制效果，以陶瓷碗为待测物体，通过投影仪投影、通过相机采集所获得二进制光栅投影如图5(a)所示。采用本发明所述方法，对图5(a)中所示结果进行反光抑制，所得反光抑制后的输出图像如图5(b)所示。与图5(a)相对应的，反光抑制前，所得的陶瓷碗的三维形貌测量结果如图6(a)所示。与图5(b)相对应的，利用本发明所述方法进行反光抑制后，所得的陶瓷碗的三维形貌结果如图6(b)所示。

在图5(a)中，未经过反光抑制时，在陶瓷碗的碗底处分布有明显的反光圈，在陶瓷碗的碗壁、碗沿处分布有明显的反光斑点。经过反光抑制后，在图5(b)中，上述反光圈和反光斑点被显著地去除，表明了本发明实现反光抑制的有效性。

在图6(a)中，未经过反光抑制时，所得的三维形貌测量结果在反光区域出现明显的空洞、缺失现象。经过反光抑制后，在图6(b)中，所得三维形貌测量结果未出现空洞、缺失现象，提高了基于二进制光栅投影的三维形貌测量精度，扩大了基于二进制光栅投影的三维形貌测量的适应性。

Claims (5)

1.一种基于高频图案干涉的二进制光栅图像投影反光抑制方法，其特征在于，包括如下步骤：

步骤1)，生成用于反光抑制的多幅高频图案；

步骤2)，生成用于三维形貌测量的二进制光栅，二进制光栅是采用二进制0-1编码条纹编码构成的光栅，对二进制光栅进行取反操作生成反向二进制光栅；

步骤3)，生成多幅相干二进制光栅，相干二进制光栅是通过将高频图案中的编码值和二进制光栅/反向二进制光栅中的编码值进行干涉操作所得；

步骤4)，通过投影仪投影进而相机采集的多幅相干二进制光栅的投影图像作为输出图像，将所有输出图像按照一定方式进行合成处理，获得一幅反光抑制后的输出图像，即作为需投影的二进制光栅图像反光抑制后的结果，实现了对二进制光栅投影所对应的输出图像的反光抑制；

所述步骤3)中，多幅高频图案分别与二进制光栅进行干涉操作，得到多幅正向相干二进制光栅，多幅高频图案分别与反向二进制光栅进行干涉操作，得到多幅反向相干二进制光栅，由多幅正向相干二进制光栅和多幅反向相干二进制光栅共同构成多幅相干二进制光栅；所述的干涉操作，是针对每一行/列均采用表1所示的干涉逻辑运算进行遍历，将位于中相同位置的二进制元素p₁和p₂进行如表1所示的干涉逻辑运算：

表1

上表中，p₁是位于高频图案中第x行、第y列的编码值，p₂是位于二进制光栅/反向二进制光栅中第x行、第y列的编码值，⊙是干涉逻辑运算符，p₁(x,y)⊙p₂(x,y)表示干涉逻辑运算的输出结果，将输出结果作为相干二进制光栅中第x行、第y列的编码值。

2.根据权利要求1所述的一种基于高频图案干涉的二进制光栅图像投影反光抑制方法，其特征在于：所述步骤1)中，高频图案是采用二进制0-1编码方式阵列编码构成的图案，高频图案中的编码值在水平方向和竖直方向上均存在高频周期变化；多幅高频图案满足如下条件：多幅高频图案具有相同的行数和列数，且对于每一个位置的像素点，多幅高频图案在这一像素点处的编码值不全为0也不全为1。

3.根据权利要求1所述的一种基于高频图案干涉的二进制光栅图像投影反光抑制方法，其特征在于：所述步骤2)中的取反操作是对二进制光栅中的所有编码值进行“非”逻辑运算，即将编码值为0的元素置为1，将编码值为1的元素置为0。

4.根据权利要求1所述的一种基于高频图案干涉的二进制光栅图像投影反光抑制方法，其特征在于：所述步骤4)中，采用光栅投影***，光栅投影***包括投影仪(1)、相机(2)和待测物体(3)，投影仪(1)和相机(2)分别置于待测物体(3)上方的两侧，投影仪(1)的镜头和相机(2)的镜头均朝向待测物体(3)；将相干二进制光栅输入投影仪(1)投影到待测物体(3)上，相机(2)采集相干二进制光栅投影到待测物体(3)后的图像作为输出图像。

5.根据权利要求1所述的一种基于高频图案干涉的二进制光栅图像投影反光抑制方法，其特征在于：所述步骤4)中，具体为：

步骤4.1)，将正向相干二进制光栅所对应的N幅输出图像表示为

将反向相干二进制光栅所对应的N幅输出图像表示为

对于输出图像中的每一个像素点(x,y)，进行如下处理获得用于后续反光抑制的正向辅助图像A⁺和反向辅助图像A^-：

其中，(x,y)是输出图像中位于第x行、第y列的像素点；max[…]表示取方括号内所有灰度值的最大值；

步骤4.2)，将正向辅助图像A⁺与反向辅助图像A^-进行差分运算，获得反光抑制后的输出图像R，差分运算是指对于输出图像中的每一个像素点(x,y)，表示为：

R(x,y)＝A⁺(x,y)-A^-(x,y)。

Images