CN106530315B - 中小型物体全角度下目标提取***及方法 - Google Patents

Abstract

本发明涉及一种中小型物体全角度下目标提取***及方法，本目标提取***包括：以待测物为中心设有若干立体视觉图像传感器模块对待测物进行全角度拍摄，并且将图像发送至图像处理器模块；所述图像处理器模块适于通过图像对待测物进行目标提取，以获得全角度下的目标图像；本发明采用立体视觉图像传感器模块和光源组成合理的空间布局，针对中小型物体，可有效实现对待测物的全角度测量；可以根据待测物的几何特点，增加或减少立体视觉图像传感器模块与光源的数量，以更好的配合待测物体从需要的方位对待测物进行目标提取。

Description

中小型物体全角度下目标提取***及方法

技术领域

本发明涉及目标提取与三维测量技术领域，是一种针对中小型物体进行全角度下目标纹理与轮廓提取的装置和方法。

背景技术

光学非接触式三维测量技术一般需要在全角度范围内对待测物进行测量(此处全角度指以待测物为中心的4π立体角)，以得到完整的待测物三维轮廓，其一般采用图像传感器进行测量，为减小噪声或提高计算速度等目的，需要在图像中提取待测目标。

在图像中进行待测目标的提取，根据主要技术路线可分为基于全局的提取方法、基于边缘的提取方法和基于区域的提取方法等三大类。基于全局的提取算法(如灰度门限法)，通过图像总体特征(如灰度直方图)对图像进行阈值分割，以提取出待测目标。基于边缘的提取方法，首先使用边缘提取算子进行边界提取，在此基础上再进行目标提取。基于区域的提取算法(如分水岭算法等)，基于局部特征(如灰度、灰度矩等)进行目标提取。

这些算法在应用中，容易受到环境中的光照、阴影、复杂背景等不可控制因素的影响，目标提取的鲁棒性受到限制。为了快速、准确地提取待测目标，一般辅以主动光照明，减少环境中不可控因素的影响。照明时按照光源与图像传感器的相对位置，分为明场照明和暗场照明等方式。其中明场照明可以有效地突出待测物表面纹理信息，但是不利于提取待测物边缘信息；暗场照明能够突出待测物的边缘轮廓，但是会丢失待测物表面的纹理信息。

目前，一些三维测量设备中已采用暗场照明以提高图像中待测目标提取的鲁棒性，如脚型轮廓测量仪，但该装置只实现了某一方位下的待测目标轮廓的提取。此外，为实现全角度下待测目标的表面纹理与边缘轮廓信息提取，一些装置将待测物置于旋转装置上，通过待测物或测量探头不断旋转，实现全角度测量，但是此类方法引入旋转机构，大大增加了装置的复杂性；同时受限于旋转速度等因素，无法实时对被测物进行目标提取或三维测量。

发明内容

本发明的目的是提供一种目标提取***及方法，以解决目前全角度目标提取中结构复杂、测量效率低的技术问题。

为了解决上述技术问题，本发明提供了一种目标提取***，包括：以待测物为中心设有若干立体视觉图像传感器模块对待测物进行全角度拍摄，并且将图像发送至图像处理器模块；所述图像处理器模块适于通过图像对待测物进行目标提取，以获得全角度下的目标图像。

进一步，立体视觉图像传感器模块为六个，且分别位于待测物上、下，左、右和前、后六个方位；所述立体视觉图像传感器模块包括：两个构成双目的图像传感器，位于双目之间设有光源；所述图像处理器模块适于控制各立体视觉图像传感器模块中的光源组合点亮或关闭，以拍摄待测物相应方向的照明图像。

进一步，各立体视觉图像传感器模块中的光源组合点亮或关闭，即

所有光源分别点亮，依次拍摄待测物各个方向上的明场照明图像；

左、右和前、后四个方位的光源均点亮，上、下两个方位的光源关闭，通过上、下立体视觉图像传感器模块拍摄待测物在上、下方向上的暗场照明图像；

上、下和前、后四个方位的光源均点亮，左、右两个方位的光源关闭，通过左、右立体视觉图像传感器模块拍摄待测物在左、右方向上的暗场照明图像；

上、下和左、右四个方位的光源均点亮，前、后两个方位的光源关闭，通过前、后立体视觉图像传感器模块拍摄待测物在前、后方向上的暗场照明图像；其中

将各照明图像发送至图像处理器模块。

进一步，所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合，以得到同时包含纹理信息与轮廓信息的待测物提取图像；通过获取各角度的待测物提取图像，以得到全角度下的目标图像。

进一步，所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，即

使用边缘提取算子对暗场照明图像进行预处理，得到含噪声的边缘图像；

使用种子填充法找到边缘图像中的所有边缘轮廓，并去除长度较短的轮廓线，同时判定闭合轮廓；

选取边缘图像的边界点作为起始种子点，使用区域生长算法依次标记所有连通区域；

将起始连通区域涂黑，作为第一级连通区域；下一级连通区域涂白；如此交替直至所有连通区域都被访问，以形成待测物的黑白掩模图像。

又一方面，本发明还提供了一种目标提取方法，包括如下步骤：

步骤S1，获得待测物全角度拍摄图像；以及

步骤S2，根据待测物各角度的图像提取出全角度下的目标图像。

进一步，所述步骤S1中获得待测物全角度拍摄的方法包括：

以待测物为中心设有若干立体视觉图像传感器模块对待测物进行全角度拍摄；以及

步骤S2中根据待测物各角度的图像提取出全角度下的目标图像的方法包括：

通过图像处理器模块根据多个图像对待测物进行目标提取，以获得全角度下的目标图像；其中

立体视觉图像传感器模块为六个，且分别位于待测物上、下，左、右和前、后六个方位；

所述立体视觉图像传感器模块包括：两个构成双目的图像传感器，且位于双目之间设有光源；

所述图像处理器模块适于控制各立体视觉图像传感器模块中的光源组合点亮或关闭，以拍摄待测物相应方向的照明图像。

进一步，各立体视觉图像传感器模块中的光源组合点亮或关闭的方式包括：

所有光源分别点亮，依次拍摄待测物各个方向上的明场照明图像；

左、右和前、后四个方位的光源均点亮，上、下两个方位的光源均关闭，通过上、下立体视觉图像传感器模块拍摄待测物在上、下方向上的暗场照明图像；

上、下和前、后四个方位的光源均点亮，左、右两个方位的光源关闭，通过左、右立体视觉图像传感器模块拍摄待测物在左、右方向上的暗场照明图像；

上、下和左、右四个方位的光源均点亮，前、后两个方位的光源关闭，通过前、后立体视觉图像传感器模块拍摄待测物在前、后方向上的暗场照明图像；其中

将各照明图像发送至图像处理器模块。

进一步，通过图像处理器模块根据多个图像对待测物进行目标提取，以获得全角度下的目标图像，即

所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合，以得到同时包含纹理信息与轮廓信息的待测物提取图像；

通过获取各角度的待测物提取图像，以得到全角度下的目标图像。

进一步，通过暗场照明图像得到黑白掩模图像的方法包括：

步骤S21，使用边缘提取算子对暗场照明图像进行预处理，得到含噪声的边缘图像；

步骤S22，使用种子填充法找到边缘图像中的所有边缘轮廓，并去除长度较短的轮廓线，同时判定闭合轮廓；

步骤S23，待测物均位于边缘图像中央区域，选取边缘图像的边界点作为起始种子点，使用区域生长算法依次标记所有连通区域；

步骤S24，将起始连通区域涂黑，作为第一级连通区域；下一级连通区域涂白；如此交替直至所有连通区域都被访问，以形成待测物的黑白掩模图像。

本发明的有益效果是：

(1)本发明采用立体视觉图像传感器模块和光源组成合理的空间布局，针对中小型物体，可有效实现对待测物的全角度测量；可以根据待测物的几何特点，增加或减少立体视觉图像传感器模块与光源的数量，以更好的配合待测物体从需要的方位对待测物进行目标提取。

(2)光源的亮暗可控，通过快速序列闪光，结合立体视觉图像传感器的同步抓拍，可在不明显损失测量速度的前提下，将明场与暗场照明有机结合，实现全角度下待测目标表面纹理与边缘轮廓的同步提取。

(3)本发明的目标提取***无运动机构，不会引入额外的机械误差等。

(4)通过主动光照明的方式提高了目标和背景的对比度，结合提出的一系列处理算法，能极大提高目标提取的稳定性。

(5)由于采用固定功率的光源，算法参数无需每次测量时人工调校，使用方便。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的目标提取***的结构示意图；

图2是本发明的工作流程图；

图3是明场照明图像示例；

图4是暗场照明图像示例；

图5是初始的边缘图像；

图6是处理后的边缘图像；

图7是黑白掩模图像；

图8是最终提取结果。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

本发明提出了一种针对中小型物体的全角度目标提取***及方法，其合理设计图像传感器与光源的布局，并通过快速序列闪光拍照的方式实现明场与暗场照明方式的结合，根据图像特性提出一套目标提取的算法；该装置和方法稳定高效，同时提取被测目标的表面纹理与边缘轮廓信息，在三维测量领域具有非常广泛的应用。

实施例1

本实施例1提供了一种目标提取***，包括：以待测物为中心设有若干立体视觉图像传感器模块对待测物进行全角度拍摄，并且将图像发送至图像处理器模块；所述图像处理器模块适于通过图像对待测物进行目标提取，以获得全角度下的目标图像。

所述立体视觉图像传感器模块的个数和位置可根据待测物的具体特性进行更改，具体的，立体视觉图像传感器模块的数量，可根据被测物的几何特性，增加或减少；增加或减少的规律为：若待测物在上、下，左、右和前、后六个方向中的某一个方向上表面积较小，则可移除该方位上的立体视觉图像传感器模块；若待测物在上、下，左、右和前、后六个方向中的某两个方向间的朝向上，表面积较大，则在此朝向的方位上增加立体视觉图像传感器模块。

作为目标提取***的一种可选的实施方式：

在图1中101、102、103、104、105、106分别为上、下、左、右、前、后位置的立体视觉图像传感器模块；401为待测物体；201、211、202、212、203、213、204、214、205、215、206、216均为图像传感器，301、302、303、304、305、306分别为光源。

立体视觉图像传感器模块为六个，且分别位于待测物上、下，左、右和前、后六个方位；所述立体视觉图像传感器模块包括：两个构成双目的图像传感器，位于双目之间设有光源；所述图像处理器模块适于控制各立体视觉图像传感器模块中的光源组合点亮或关闭，以拍摄待测物相应方向的照明图像。

其中，光源例如但不限于采用LED光源，且光源的发光角度与图像传感器的视场角相等或接近，以提高照明效率。

LED光源的开关可由图像处理器模块程序化控制，快速开启或关闭，即控制各个LED光源依次组合闪烁，同时所有图像传感器模块同步拍摄待测物的明场照明图像和暗场照明图像。

各立体视觉图像传感器模块中的光源组合点亮或关闭，即所有光源分别点亮，则依次拍摄待测物六个方向上的明场照明图像；左、右和前、后四个方位的光源均点亮，上、下两个方位的光源关闭，通过上、下立体视觉图像传感器模块拍摄待测物在上、下方向上的暗场照明图像；上、下和前、后四个方位的光源均点亮，左、右两个方向上的光源关闭，通过左、右立体视觉图像传感器模块拍摄待测物在左、右方向上的暗场照明图像；上、下和左、右四个方位的光源均点亮，前、后两个方向上的光源关闭，通过前、后立体视觉图像传感器模块拍摄待测物在前、后方向上的暗场照明图像；其中将各照明图像发送至图像处理器模块。

其中，由于一立体视觉图像传感器模块中含有两图像传感器，因此，对于各立体视觉图像传感器模块的每次拍摄均获得两张图像，故上述光源组合点亮或关闭拍摄后，获得12幅明场照明图像、12幅暗场照明图像。

所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合，以得到同时包含纹理信息与轮廓信息的待测物提取图像；通过获取各角度的待测物提取图像，以得到全角度下的目标图像。

所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，并使用边缘提取算子对暗场照明图像进行预处理，得到含噪声的边缘图像；使用种子填充法找到边缘图像中的所有边缘轮廓，并去除长度较短的轮廓线，同时判定闭合轮廓；选取边缘图像的边界点作为起始种子点，使用区域生长算法依次标记所有连通区域；将起始连通区域涂黑，作为第一级连通区域；下一级连通区域涂白；如此交替直至所有连通区域都被访问，以形成待测物的黑白掩模图像。

实施例2

如图2所示，在实施例1基础上，本实施例2提供过了一种目标提取方法，包括如下步骤：

步骤S1，获得待测物全角度拍摄图像；以及

步骤S2，根据待测物各角度的图像提取出全角度下的目标图像。

具体的，所述步骤S1中获得待测物全角度拍摄的方法包括：

以待测物为中心设有若干立体视觉图像传感器模块对待测物进行全角度拍摄。

具体的，步骤S2中根据待测物各角度的图像提取出全角度下的目标图像的方法包括：通过图像处理器模块根据多个图像对待测物进行目标提取，以获得全角度下的目标图像。

其中立体视觉图像传感器模块例如但不限于六个，且分别位于待测物上、下，左、右和前、后六个方位；立体视觉图像传感器模块的数量，可根据被测物的几何特性，增加或减少；增加或减少的规律为：若待测物在上、下，左、右和前、后六个方向中的某一个方向上表面积较小，则可移除该方位上的立体视觉图像传感器模块；若待测物在上、下，左、右和前、后六个方向中的某两个方向间的朝向上，表面积较大，则在此朝向的方位上增加立体视觉图像传感器模块。

所述立体视觉图像传感器模块包括：两个构成双目的图像传感器，以及位于双目之间的光源；所述图像处理器模块适于控制各立体视觉图像传感器模块中的光源组合点亮或关闭，以拍摄待测物相应方向的照明图像。

各立体视觉图像传感器模块中的光源组合点亮或关闭包括如下四种方式：

方式一：所有光源分别点亮，依次拍摄待测物六个方向上的明场照明图像；

方式二：左、右和前、后四个方位的光源均点亮，上、下两个方向的光源关闭，通过上、下立体视觉图像传感器模块拍摄待测物在上、下方向上的暗场照明图像；

方式三：上、下和前、后四个方位的光源均点亮，左、右两个方向的光源关闭，通过左、右立体视觉图像传感器模块拍摄待测物在左、右方向上的暗场照明图像；

方式四：前、后和左、右四个方位的光源均点亮，前、后两个方向的光源关闭，通过前、后立体视觉图像传感器模块拍摄待测物在前、后方向上的暗场照明图像；其中将各照明图像发送至图像处理器模块。

通过图像处理器模块根据多个图像对待测物进行目标提取，以获得全角度下的目标图像，即

所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合，以得到同时包含纹理信息与轮廓信息的待测物提取图像；

通过获取各角度的待测物提取图像，以得到全角度下的目标图像。

通过暗场照明图像得到黑白掩模图像的方法包括：

步骤S21，使用边缘提取算子对暗场照明图像进行预处理，得到含噪声的边缘图像；

步骤S22，使用种子填充法找到边缘图像中的所有边缘轮廓，并除长度较短的轮廓线，同时判定闭合轮廓；

步骤S23，待测物均位于边缘图像中央区域，选取边缘图像的边界点作为起始种子点，使用区域生长算法依次标记所有连通区域；

步骤S24，将起始连通区域涂黑，作为第一级连通区域；下一级连通区域涂白；如此交替直至所有连通区域都被访问，以形成待测物的黑白掩模图像。

具体的，使用边缘提取算子，此处使用Canny算子对暗场照明图像(如图4所示)进行预处理，得到含噪声的边缘图像(如图5所示，黑色为背景，白色为边缘)；

使用种子填充法对边缘图像进一步处理，找到图像中的所有边缘轮廓，并统计这些轮廓的像素长度；并去除轮廓线长度较短(如小于50像素)的轮廓线；

进一步的，判断这些轮廓是否为闭合轮廓。具体为，对该轮廓上的所有像素点，依次进行8连通区域内连通点个数的统计。若不存在连通点个数为1的点，判断该轮廓为闭合轮廓；否则为非闭合轮廓。

得益于暗场照明，有效的图像轮廓均为闭合轮廓(如图6所示)。

由于待测物均位于图像中央区域内，选取图像边界点作为起始种子点，使用区域生长算法依次标记所有连通区域；

将起始连通区域涂黑，作为第一级连通区域；下一级连通区域涂白(下一级连通区域指与上一级连通区域相邻的连通区域，待测物形状复杂时，可能存在多个同一级的连通区域)；如此交替直至所有连通区域都被访问过，形成待测物的黑白掩模图像(如图7所示)；

将同一图像传感器拍摄的明场照明图像(如图3所示例)，与使用暗场照明图像处理后得到的黑白掩模图像进行融合(如使用与运算)，得到同时包含纹理信息与轮廓信息的待测物提取图像(如图8所示)。

对所有图像传感器的12幅明场照明图像均进行上述融合的操作，完成在全角度下包含纹理与边缘信息的待测物目标提取，实现全角度下的目标图像。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种目标提取***，其特征在于，包括：

以待测物为中心设有若干立体视觉图像传感器模块对待测物进行全角度拍摄，并且将图像发送至图像处理器模块；

所述图像处理器模块适于通过图像对待测物进行目标提取，以获得全角度下的目标图像；

立体视觉图像传感器模块为六个，且分别位于待测物上、下，左、右和前、后六个方位；

所述立体视觉图像传感器模块包括：两个构成双目的图像传感器，位于双目之间设有光源；

所述图像处理器模块适于控制各立体视觉图像传感器模块中的光源组合点亮或关闭，以拍摄待测物相应方向的照明图像；

各立体视觉图像传感器模块中的光源组合点亮或关闭，即

所有光源分别点亮，依次拍摄待测物各个方向上的明场照明图像；

左、右和前、后四个方位的光源均点亮，上、下两个方位的光源关闭，通过上、下立体视觉图像传感器模块拍摄待测物在上、下方向上的暗场照明图像；

上、下和前、后四个方位的光源均点亮，左、右两个方位的光源关闭，通过左、右立体视觉图像传感器模块拍摄待测物在左、右方向上的暗场照明图像；

上、下和左、右四个方位的光源均点亮，前、后两个方位的光源关闭，通过前、后立体视觉图像传感器模块拍摄待测物在前、后方向上的暗场照明图像；其中

将各照明图像发送至图像处理器模块；

所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，并将同一图像传感器拍摄的明场照明图像与黑白掩模图像进行融合，以得到同时包含纹理信息与轮廓信息的待测物提取图像；

通过获取各角度的待测物提取图像，以得到全角度下的目标图像；

所述图像处理器模块适于通过暗场照明图像得到黑白掩模图像，即

使用边缘提取算子对暗场照明图像进行预处理，得到含噪声的边缘图像；

使用种子填充法找到边缘图像中的所有边缘轮廓，并去除长度较短的轮廓线，同时判定闭合轮廓；

选取边缘图像的边界点作为起始种子点，使用区域生长算法依次标记所有连通区域；

将起始连通区域涂黑，作为第一级连通区域；下一级连通区域涂白；如此交替直至所有连通区域都被访问，以形成待测物的黑白掩模图像；以及

所述判定闭合轮廓是对该轮廓上的所有像素点依次进行各连通区域内连通点个数的统计，若不存在连通点个数为1的点，判断该轮廓为闭合轮廓；否则为非闭合轮廓。

2.一种应用于如权利要求1所述目标提取***的目标提取方法，包括如下步骤：

步骤S1，获得待测物全角度拍摄图像；以及

步骤S2，根据待测物各角度的图像提取出全角度下的目标图像。

3.根据权利要求2所述的目标提取方法，其特征在于，

所述步骤S1中获得待测物全角度拍摄的方法包括：

以待测物为中心设有若干立体视觉图像传感器模块对待测物进行全角度拍摄；以及

步骤S2中根据待测物各角度的图像提取出全角度下的目标图像的方法包括：

通过图像处理器模块根据多个图像对待测物进行目标提取，以获得全角度下的目标图像；其中

立体视觉图像传感器模块为六个，且分别位于待测物上、下，左、右和前、后六个方位；

所述立体视觉图像传感器模块包括：两个构成双目的图像传感器，且位于双目之间设有光源；

所述图像处理器模块适于控制各立体视觉图像传感器模块中的光源组合点亮或关闭，以拍摄待测物相应方向的照明图像。