CN113074667B - 基于标志点的全局绝对相位对齐方法、存储介质和*** - Google Patents

Abstract

本发明公开了一种基于标志点的全局绝对相位对齐方法、存储介质和***，方法适用于采用空间相位展开算法进行相位解包裹场合，***采用该方法输出了三维信息，主要解决了如何对齐测量平面相位与投影仪像平面全局绝对相位的问题。主要步骤包括：在投射条纹图像时，额外投射一幅标志点图像；通过阈值分割、边缘提取、最小外接矩形方法，提取出标志点中心；根据已有的测量平面解包裹相位图，得到该测量平面上标志点位置的相位级次k_i，(i＝1,2,3…)；已知在投影仪中，标志点处的全局绝对相位级次为j，记Δk＝j‑k，将测量平面解包裹相位图上所有像素点的条纹级次都加上Δk，即可使得测量平面相位与全局绝对相位对齐。本发明只需一幅标志点图像即可使得测量平面相位与全局绝对相位对齐，准确性高，兼具鲁棒性与效率。

Description

基于标志点的全局绝对相位对齐方法、存储介质和***

技术领域

本发明涉及结构光智能三维测量领域，尤其涉及一种基于标志点的全局绝对相位对齐方法、存储介质和***。

背景技术

结构光测量***主要由结构光投射装置、摄像机、图像采集及处理***组成。测量原理是想被测物体投射一定结构的光模型，如点光源、线光源、十字光条、正弦光栅和编码光等，结构光受被测物体表面信息的调制而发生形变，利用图像传感器记录变形的结构光条纹图像，并结合***的结构参数来获取物体的三维信息。结构光测量***具有便携性好、操控性高、测量速度快、测量精度高等优点，已成为多行业测量的首选技术。

其中，数字光栅投影轮廓术(Fringe Projection Profilometry，FPP)作为最具代表性的结构光投影技术，具有成本低、检测精度高、测量速度快等优点。通常测量流程如下：首先，投影仪投射条纹图像到被测物体表面，相机采集经过物体调制后的条纹图像；对采集到的图像进行分析，恢复出物体表面条纹图像的绝对相位；根据三角测量原理，对物体表面进行三维重建。常用的条纹分析法包括傅里叶变换法、小波变换法、相移法等。其中相位测量轮廓术(Phase Measuring Profilometry，PMP)是目前得到广泛应用的结构光投影测量技术。然而，上述条纹分析方法只能得到条纹的包裹相位，需要对该包裹相位图进行进一步解包裹，才能恢复出物体表面条纹的绝对相位。

通常，相位展开方法有空间相位展开法和时间相位展开法两种。时间相位展开法的基本思想是让投影的结构光频率随时间变化，形成时间轴上的序列，每个像素点沿着时间轴进行解包裹，实现各个像素点之间互相独立的相位展开。因此，时间相位展开方法能够很好地恢复相位，但是由于需要捕获更多的图像，降低了测量速度。空间相位展开只需要一幅包裹相位图，利用相邻相位点的不连续性，通过相加或相减条纹级次求得展开后的连续相位。空域解包裹算法速度快，因此十分适用于对检测速度有要求的在线测量场景。

在结构光测量***中，由于成像***的限制，投影仪投射条纹图像的中心部分成像质量较好，而四周较差。因此一般情况下相机的视野只覆盖投影仪投射条纹的中间一部分。由于空域解包裹是根据相邻相位点的不连续性对相位进行恢复的，因此根据空域解包裹法求出的相位并不是全局绝对相位。因此，需要对空域解包裹后得到的相位图进行重新或进一步展开，以得到与投影仪像平面条纹级次相匹配的全局绝对相位。

数字光栅投影轮廓术大多采用投影仪(DLP)来投射条纹图像，再利用傅里叶变换轮廓术(Fourier Transform Profilometry，FTP)或相位测量轮廓术(Phase MeasuringProfilometry，PMP)求解包裹相位。由于数字投影设备的限制，投射到测量平面上的条纹成像质量中心较好，四周较差。为提高结构光测量***的测量精度，通常使相机的成像范围局限于投射条纹的中心部分。而空域解包裹是根据相邻相位点的不连续性对相位进行恢复的，因此根据空域解包裹法求出的相位并不是全局绝对相位，如图1所示。为得到全局绝对相位，需要对空域解包裹后的相位进行进一步展开。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于标志点的全局绝对相位对齐方法、存储介质和***，其能解决如何对齐测量平面相位与投影仪像平面全局绝对相位的问题。

本发明的目的采用以下技术方案实现：

一种基于标志点的全局绝对相位对齐方法，方法包括以下步骤：

步骤1：投影仪投射光栅条纹图像，测量平面空域解包裹相位图。

步骤2：投影仪投射一幅与光栅条纹图像的条纹方向一致的标志点图像，且所有标志点均位于同一个相位级次内。

步骤3：相机拍摄投影仪打在物体表面的标志点图像。

步骤4：对步骤3采集到的标志点图像进行处理，获得所有标志点中心坐标位置。

步骤5：提取所有标志点的中心位置，记为(x_i,y_i),(i＝1,2,3…)。

步骤6：根据步骤1已有的测量平面空域解包裹相位图，求出所有标志点中心位置处的相位级次k_i(i＝1,2,3…)，因标志点图像与光栅条纹图像的条纹方向一致，有k₁＝k₂＝k₃＝…＝k_i，(i＝1,2,3…)，记为k。而标志点所在位置的全局绝对相位级次应为j。

步骤7：记Δk＝j-k，将测量平面解包裹相位图上所有像素点的条纹级次都加上Δk，即可使得测量平面相位与全局绝对相位对齐。

优选的，标志点图像的所有标志点形状和大小相同，且标志点的最大外径不超过投影仪像平面一个包裹相位周期。

优选的，所述标志点的形状为圆形、菱形、正方形、长方形、三角形或星形。

优选的，在步骤4中，所有标志点中心坐标位置获得方法包括：

S41，通过阈值分割算法，提取出标志点区域。

S42，通过边缘检测算法，提取出标志点的轮廓。

S43，通过寻找轮廓的最小外接矩形，得到最小外接矩形的中心点，即标志点中心位置。

优选的，在步骤1中，光栅条纹图像由计算机控制和传递给投影仪投射，且投射的光栅条纹图像数量为N，N为大于等于2的正整数。

本发明还提供了一种计算机可读存储介质，在计算机可读存储介质上存储有计算机指令，所述指令在计算机上运行时，使得计算机执行前述的方法。

本发明还提供了一种基于标志点的结构光测量***，***包括计算机、相机、和投影仪，所述计算机与相机和投影仪电讯连接。所述计算机包括预存储模块、中继存储模块、图像处理模块和图像输出模块。

其中，在所述预存储模块中存储光栅条纹图像、标志点图像、RGB彩色图像和***参数，并将光栅条纹图像、标志点图像、RGB彩色图像发送给投影仪投影，将***参数发送给图像处理模块。

其中，在所述中继存储模块中存储由相机采集经投影仪投射图像后的待测物照片。

其中，图像处理模块对采集的待测物照片进行图像数据处理，运行前述的方法进行全局绝对相位对齐，再结合***参数计算三维坐标，形成三维点云。

其中，图像输出模块将图像处理模块获得的三维点云输出。

优选的，***的图像处理模块还包括将RGB彩色图像投射后获得彩色图片提取对应点处的RGB值，并赋给三维坐标，以此获得彩色纹理，形成彩色的三维点云。

优选的，计算机还包括点云过滤模块，通过所述点云过滤模块对形成的三维点云进行点云滤波，以此对点云曲面重建，输出过滤后的三维点云。

优选的，***采用去噪和消冗处理对三维点云进行滤波。

相比现有技术，本发明的有益效果在于：上述方法和***，适用范围广、效率高且鲁棒性好。解决了如何对齐测量平面相位与投影仪像平面全局绝对相位的问题。

附图说明

图1为像平面空域解包裹相位与全局绝对相位示意图；

图2为投影仪像平面上条纹图像；

图3为设计的标志点图像；

图4为相机采集到的标志点图像；

图5为对齐前相机解包裹相位；

图6为对齐后的全局绝对相位；

图7为本发明一种基于标志点的结构光测量***示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

设计原理：一种基于标志点的全局相位对齐方法。标志点如图3所示，标志点的直径应小于一个相位周期，且所有标志点位置全都位于同一个相位级次中。记标志点在投影仪像平面上的绝对级次为j，可求出标志点在相机像平面上的绝对级次为k，求两者之间的差值，根据该差值对解包裹相位进行对齐即可得到全局绝对相位。

实施例一

一种基于标志点的全局绝对相位对齐方法，方法包括以下步骤。

步骤1：投影仪投射光栅条纹图像(参见图2的条纹图像)，测量平面空域解包裹相位图。

其中，光栅条纹图像由计算机控制和传递给投影仪投射，且投射的光栅条纹图像数量为N，N为大于等于2的正整数。一个实施例中优选为三组12幅，每组4幅光栅条纹图像。

步骤2：投影仪投射一幅与光栅条纹图像的条纹方向一致的标志点图像，且所有标志点均位于同一个相位级次内。图3为投影仪像平面上标志点图像，如图3所示，所有标志点均位于同一全局绝对相位级次。

因为所有标志点均位于同一个相位级次内，因此，所有标志点区域的相位级次均相等，记标志点在投影仪像平面条纹图像上的全局绝对相位级次为j。

进一步的，标志点图像的所有标志点形状和大小相同，且标志点的最大外径不超过投影仪像平面一个包裹相位周期。

其中，标志点的形状可以为圆形、菱形、正方形、长方形、三角形或星形，优选为圆形的轮廓形状。

步骤3：相机拍摄投影仪打在物体表面的标志点图像。拍摄得到的标志点图像如图4所示。

步骤4：对步骤3采集到的标志点图像进行处理，获得所有标志点中心坐标位置。

在步骤4中，所有标志点中心坐标位置获得方法包括：

S41，通过阈值分割算法，提取出标志点区域。

S42，通过边缘检测算法，提取出标志点的轮廓。

S43，通过寻找轮廓的最小外接矩形，得到最小外接矩形的中心点，即标志点中心位置。

标志点区域的提取、标志点轮廓的提取、标志点中心位置的获得方法不限于上述的算法和方法，也可以采用现有技术中能够获得的任何可用算法和方法。

步骤5：提取所有标志点的中心位置，记为(x_i,y_i),(i＝1,2,3…)。

步骤6：根据步骤1已有的测量平面空域解包裹相位图，求出所有标志点中心位置处的相位级次k_i(i＝1,2,3…)，因标志点图像与光栅条纹图像的条纹方向一致，有k₁＝k₂＝k₃＝…＝k_i，(i＝1,2,3…)，记为k。而标志点所在位置的全局绝对相位级次应为j。

步骤7：记Δk＝j-k，将测量平面解包裹相位图上所有像素点的条纹级次都加上Δk，即可使得测量平面相位与全局绝对相位对齐。

如图5所示，为对齐前空域解包裹后的相位值，显然，该相位值起点为零。图6为对齐后的全局绝对相位值。

实施例二

一种计算机可读存储介质，在计算机可读存储介质上存储有计算机指令，所述指令在计算机上运行时，使得计算机执行前述的方法。其中，所述方法请参见前述部分的详细介绍，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

前述指令用计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

实施例三

一种基于标志点的结构光测量***，***包括计算机1、相机2、和投影仪3，所述计算机与相机和投影仪电讯连接。所述计算机包括预存储模块、中继存储模块、图像处理模块和图像输出模块。

其中，在所述预存储模块中存储光栅条纹图像、标志点图像、RGB彩色图像和***参数，并将光栅条纹图像、标志点图像、RGB彩色图像发送给投影仪投影，将***参数发送给图像处理模块。

所述***参数由相机2预先标定获得，可采用现有的标定方法获得，包括内部参数和外部参数，形成参数矩阵给图像处理模块。

其中，在所述中继存储模块中存储由相机采集经投影仪投射图像后的待测物照片。

其中，图像处理模块对采集的待测物照片进行图像数据处理，运行前述的方法进行全局绝对相位对齐，再结合***参数计算三维坐标，形成三维点云。

其中，图像输出模块将图像处理模块获得的三维点云输出。

实施例四

***的图像处理模块还包括将RGB彩色图像投射后获得彩色图片提取对应点处的RGB值，并赋给三维坐标，以此获得彩色纹理，形成彩色的三维点云。

实施例五

计算机还包括点云过滤模块，通过所述点云过滤模块对形成的三维点云进行点云滤波，以此对点云曲面重建，输出过滤后的三维点云。

优选的，***采用去噪和消冗处理对三维点云进行滤波。

实施例六

***的图像处理模块还包括***精度评估单元，使用前述标定出的***参数计算出标定三维坐标，与测量计算的三维坐标进行对比，获得平面测量误差和球体空间误差(球心距、单个球的球面误差)，以此对前面的三维点云输出结果进行精度评估。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于标志点的全局绝对相位对齐方法，其特征在于，方法包括以下步骤：

步骤1：投影仪投射光栅条纹图像，测量平面空域解包裹相位图；

步骤2：投影仪投射一幅与光栅条纹图像的条纹方向一致的标志点图像，且所有标志点均位于同一个相位级次内，所述标志点的直径小于所述投影仪投射得到的平面空域解包裹相位的一个相位周期；

步骤3：相机拍摄投影仪打在物体表面的标志点图像；

步骤4：对步骤3采集到的标志点图像进行处理，获得所有标志点中心坐标位置；

步骤5：提取所有标志点的中心位置，记为(x_i,y_i),(i＝1,2,3…)；

步骤6：根据步骤1已有的测量平面空域解包裹相位图，求出所有标志点中心位置处的相位级次k_i(i＝1,2,3…)，因标志点图像与光栅条纹图像的条纹方向一致，有k₁＝k₂＝k₃＝…＝k_i，(i＝1,2,3…)，记为k；而标志点所在位置的全局绝对相位级次应为j；

步骤7：记Δk＝j-k，将测量平面解包裹相位图上所有像素点的条纹级次都加上Δk，即可使得测量平面相位与全局绝对相位对齐。

2.根据权利要求1所述的基于标志点的全局绝对相位对齐方法，其特征在于：

标志点图像的所有标志点形状和大小相同，且标志点的最大外径不超过投影仪像平面一个包裹相位周期。

3.根据权利要求2所述的基于标志点的全局绝对相位对齐方法，其特征在于：所述标志点的形状为圆形、菱形、正方形、长方形、三角形或星形。

4.根据权利要求1所述的基于标志点的全局绝对相位对齐方法，其特征在于：

在步骤4中，所有标志点中心坐标位置获得方法包括：

S41，通过阈值分割算法，提取出标志点区域；

S42，通过边缘检测算法，提取出标志点的轮廓；

S43，通过寻找轮廓的最小外接矩形，得到最小外接矩形的中心点，即标志点中心位置。

5.根据权利要求1所述的基于标志点的全局绝对相位对齐方法，其特征在于：

在步骤1中，光栅条纹图像由计算机控制和传递给投影仪投射，且投射的光栅条纹图像数量为N，N为大于等于2的正整数。

6.一种计算机可读存储介质，其特征在于：在计算机可读存储介质上存储有计算机指令，所述指令在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的方法。

7.一种基于标志点的结构光测量***，其特征在于：***包括计算机、相机和投影仪，所述计算机与相机和投影仪电讯连接；

所述计算机包括预存储模块、中继存储模块、图像处理模块和图像输出模块；

其中，在所述预存储模块中存储光栅条纹图像、标志点图像、RGB彩色图像和***参数，并将光栅条纹图像、标志点图像、RGB彩色图像发送给投影仪投影，将***参数发送给图像处理模块；

其中，在所述中继存储模块中存储由相机采集经投影仪投射图像后的待测物照片；

其中，图像处理模块对采集的待测物照片进行图像数据处理，运行权利要求1-5所述的方法进行全局绝对相位对齐，再结合***参数计算三维坐标，形成三维点云；

其中，图像输出模块将图像处理模块获得的三维点云输出。

8.根据权利要求7所述的***，其特征在于：

***的图像处理模块还包括将RGB彩色图像投射后获得彩色图片提取对应点处的RGB值，并赋给三维坐标，以此获得彩色纹理，形成彩色的三维点云。

9.根据权利要求7或8所述的***，其特征在于：计算机还包括点云过滤模块，通过所述点云过滤模块对形成的三维点云进行点云滤波，以此对点云曲面重建，输出过滤后的三维点云。

10.根据权利要求9所述的***，其特征在于：***采用去噪和消冗处理对三维点云进行滤波。

Images