CN108876852B - 一种基于3d视觉的在线实时物体识别定位方法 - Google Patents

Abstract

本发明涉及一种基于3D视觉的物体识别定位方法，具备适应性强、速度快、正确率高、精度高的优点。步骤包括：用多个虚拟相机拍摄模型(目标物体)，获取单侧视图集；对离线单侧视图点云集和在线场景点云分别基于局部点云分布特点提取特征；匹配特征并进行霍夫投票实现粗匹配；ICP细匹配；校验结果。该方法通过将模型提取单侧视图集提高了识别正确率，避免使用不稳定的颜色信息扩大了应用范围，能够实现对工业领域金属工件的识别定位。

Description

一种基于3D视觉的在线实时物体识别定位方法

技术领域

本发明涉及一种基于3D视觉的在线实时物体识别定位方法，属于机器视觉领域。

背景技术

随着机器人技术的发展和RGB-D图像采集设备的普及，为机器人安装眼睛使其能根据不同的应用环境智能进行自主操作，比如完成物品分拣、加工等任务，具有广泛的应用需求。为实现这一目标，首先需要突破的关键技术是基于RGB-D图像的物体识别与定位技术，需要克服的难点包括噪声、低精度、遮挡和杂乱等。

基于RGB-D图像的物体识别与定位方法可以分为两类，即基于全局特征和局部特征的方法，基于局部特征的方法可以有效克服遮挡，我们的方法属于这类方法。这类方法的通常的步骤是：(1)在目标物体模型上提取一些局部特征，构建模型特征库；(2)用在线采集的场景图像上提取的局部特征匹配模型特征库；(3)根据对应的局部的位置和姿态信息，利用霍夫投票获得模型在场景中的位置姿态假设；(4)对假设进行验证从而获得最终结果。

在线采集的场景图像中往往包含自遮挡、噪声、变形和颜色变化，尤其是自遮挡现象，使得位于场景图像中的模型局部表面相对于原始的模型发生了根本性的变化。传统的方法通过改进特征描述方法来克服这种差异，比如ROPS方法通过间隔一定角度绕三轴旋转局部表面并结合统计原理来构建特征描述。当这些方法面临形状复杂自遮挡较多的模型时，识别和定位准确率大幅下降。局部特征的描述方法对识别的效果有很大影响，传统的方法为获得高正确率使用复杂的特征提取方法，导致在线应用时速度慢。在一些工业领域的应用场景下，面临颜色信息的缺失，导致一些依赖于颜色的传统的识别定位方法失效。

发明内容

针对上述技术不足，本发明的目的提供一种基于3D视觉的在线实时物体识别定位方法。该方法可以克服噪声、变形、自遮挡和颜色缺失，实现准确率高、速度快、精度高的物体识别定位。

本发明解决其技术问题所采用的技术方案是：一种基于3D视觉的在线实时物体识别定位方法，包括以下步骤：

1)采用多个虚拟相机拍摄模型，生成单侧视图集；

2)对离线生成的单侧视图集和在线采集的场景点云分别进行预处理后提取特征，然后进行物体识别定位。

所述采用多个虚拟相机拍摄模型，生成单侧视图集包括以下步骤：

以物体模型的重心为中心，距离中心设定距离，生成设定数量的虚拟相机，所述虚拟相机朝向中心并均匀分布在球表面；

将模型点云投影到二维平面，根据深度信息滤除不可见面，每个虚拟相机获取模型点云的一副单侧视图，构成单侧视图集。

所述单侧视图为RGB-D图像或点云。

所述提取特征包括如下步骤：

对于一幅单侧视图或者场景点云，以参考点P为中心取半径R邻域内的点云作为支撑点，对支撑点求取局部参考坐标系，针对关键点将支撑点位置和法线变换到参考坐标系下求取特征。

所述对支撑点求取局部参考坐标系包括以下步骤：

以参考点P点为坐标原点，基于PCA求取的最小特征值对应的特征向量为Z轴，并将Z轴的正方向转换到与相机拍摄视角一致，以所有支撑点的平均法线为AN轴，以Z轴与AN轴的叉乘为X轴，以Z轴与X轴的叉乘获得的方向为Y轴。

所述关键点通过以下步骤得到：

由PCA求取的特征值由大到小排列为a1>a2>a3，当a1与a2的比值小于固定阈值t时，该P点为非关键点；否则，为关键点。

将支撑点位置和法线变换到参考坐标系下求取特征包括以下步骤：将转换后的支撑点向局部参考坐标系的XOY平面上投影，在XOY平面上画k*k的格子，统计落入每个格子内的点的平均法线方向，连接成(k-2)*(k-2)*3的特征向量。

所述进行物体识别定位包括以下步骤：

为每个场景特征找到最近的模型特征，用对应的点和位置求出物体一个可能姿态，根据场景特征集获得的所有可能姿态在六维空间中进行投票，由投票空间中的汇聚点确定出物***姿的多个假设，最后验证去除错误假设，完成物体的识别定位。

本发明具有以下有益效果及优点：

1.本发明方法提出了一种基于3D立体视觉的物体识别定位方法，准确率高、速度快、精度高、适应性强。可以应用于工业领域，为机器人操作提供立体视觉反馈，实现对工件的加工、分拣等操作。

2.本发明方法通过对模型提取单侧视图，而后进行识别定位，大幅提高了正确率。

3.本发明方法提出的局部参考坐标系的提取方法具备很强的稳定性，提高了正确率。

4.本发明方法提出的局部特征描述方法运算复杂度低，速度快。

附图说明

图1是离线建立模型特征库流程图；

图2是在线识别定位流程图；

图3是粗匹配流程图；

图4是计算特征流程图；

图5a是多视角模型点云立体图；

图5b是多视角模型点云侧视图；

图5c是多视角模型点云正视图；

图5d是多视角模型点云俯视图；

图6a是多视角单侧点云立体图；

图6b是多视角单侧点云侧视图；

图6c是多视角单侧点云正视图；

图6d是多视角单侧点云俯视图；

图7是支撑域示意图；

图8a是多视角支撑点云立体图；

图8b是多视角支撑点云侧视图；

图8c是多视角支撑点云正视图；

图8d是多视角支撑点云俯视图；

图9是计算局部参考坐标系示意图；

图10a是多视角局部参考坐标系下的支撑点云立体图；

图10b是多视角局部参考坐标系下的支撑点云侧视图；

图10c是多视角局部参考坐标系下的支撑点云正视图；

图10d是多视角局部参考坐标系下的支撑点云俯视图；

图11是计算高维特征向量示意图；

图12a是多视角场景点云立体图；

图12b是多视角场景点云侧视图；

图12c是多视角场景点云正视图；

图12d是多视角场景点云俯视图；

图13a是多视角带标识的场景点云立体图；

图13b是多视角带标识的场景点云侧视图；

图13c是多视角带标识的场景点云正视图；

图13d是多视角带标识的场景点云俯视图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

一种基于3D视觉的在线实时物体识别定位方法，包括以下步骤：

(a)模拟用3D相机采集场景图像的过程，用多个虚拟相机从不同方向拍摄模型，生成单侧视图集。

(b)对离线生成的单侧视图集和在线采集的场景点云分别进行预处理后提取特征，再进行物体识别或姿态估计。

在(a)步骤中，3D相机可以为能获取空间点云的任意设备，例如双目立体视觉***、kinect、激光扫描***、结构光扫描等。

在(a)步骤中，用多个虚拟相机从不同方向拍摄模型，生成单侧视图集是指根据计算机图形学原理，用仿真的方式，从不同视角，可能为确定的距离或不同的距离获取到单侧视图集。单侧视图可以是RGB-D图像，也可以是点云。

在(b)步骤中，物体识别或定位：为每个场景特征找到最近的模型特征，用对应的点和位置求出物体一个可能姿态，根据场景特征集获得的所有可能姿态在六维空间中进行投票，由投票空间中的汇聚点确定出物***姿的多个假设，通过最后的验证阶段去除错误假设，完成定位。

对于所要解决的问题可以进行如下描述：对于给定的模型点云，如图5a～图5d所示，需要在场景点云(如图12a～图12d中所示)识别定位到该模型，输出位置与姿态。其中模型点云来自于高精度的扫描设备，场景点云由RGB-D相机实时在线采集，为便于观察点云，提供了多视角下的点云图像，图5a～图5d、图12a～图12d和图13a～图13d，其中图13a～图13d中标注出了模型在场景中的真实位置以便于观察。

基于3D视角的在线实时物体识别定位方法分为离线阶段和在线阶段。为了获得高的在线识别定位速度，所有不依赖于实时采集的场景图像的信息和处理步骤需要在离线阶段完成。

如图1所示，为离线阶段的处理流程。以模型的重心为中心，距离中心一定距离(比如1米)，生成一定数量的虚拟相机(比如512个)，这些虚拟相机朝向中心均匀分布在球表面。应用计算机图形学，将模型点云投影到二维平面，根据深度信息滤除不可见面，可以由一个虚拟相机获取模型点云的一副单侧视图。如图6a～图6d所示，自遮挡现象导致单侧视图点云表面与模型点云原始表面有一定的区别，正是这些区别导致传统方法实际应用于在线识别定位时准确率低。对于每幅单侧视图，进行预处理后提取特征，将特征存入特征库。

预处理步骤包含点云常用处理方法，包括降采样、平滑、求取法线等。

提取特征的方法，如图4所示。首先要选取参考点集，参考点集可以是经预处理步骤处理后的全部点，也可以用其他方式选取，比如对点集进行均匀采样作为参考点集。而后以每个参考点P为中心，R为半径取支撑域点集Q。如图7所示，为参考点P的支撑域，将支撑域内的点云提取出来，从不同视角观察如图8a～图8d所示，正是自遮挡现象产生点云表面的不连续。针对支撑点集计算局部参考坐标系，如图9所示，以参考点P点为坐标原点，基于PCA求取的最小特征值对应的特征向量为Z轴，并将Z轴的正方向转换到与相机拍摄视角一致，以所有支撑点的平均法线为AN轴，以Z轴与AN轴的叉乘为X轴方向，以Z轴与X轴的叉乘获得的方向为Y轴方向。用该方法建立的局部参考坐标系，比传统方法稳定，实际应用中获得更高的正确率。由PCA求取的特征值由大到小排列为a1>a2>a3，当a1与a2的比值小于固定阈值t时(比如t＝1.1)，该局部表面有较强对称性不利于识别定位，为非关键点。针对关键点，将支撑点集Q中每一点的坐标转换到局部参考坐标系下的相对于中心P点的相对坐标获得点集Q’，如图10a～图10d所示。针对Q’计算特征具体步骤为：支撑点向局部参考坐标系的XOY平面上投影，在XOY平面上画k*k的格子，统计落入每个格子内的点的平均法线方向，用3*3的格子进行平滑操作(即再次求平均)，连接成(k-2)*(k-2)*3的特征向量。如图11所示，每个三角形处可以求得一个单位的平均法线向量，对应的区域为虚圆形覆盖的区域，将所有平均法线向量连接成特征向量。应用autoencoder方法对获得的高维特征进行压缩，获得低维的特征，实际应用中将147维的特征压缩为75维。使用该方法提取特征运算复杂度低，实际应用时速度快且正确率高。

如图2所示，为在线阶段的处理流程。首先对场景点云进行与模型单侧视图点云相同的预处理；而后进行粗匹配，获得模型在场景中的粗略位置；根据已知的粗略位置执行ICP细匹配，获得精确位置姿态；最后按照精确位置姿态将模型投影到场景3D图像上，以模型与场景重合的点数为依据对结果进行验证，去除得分(重合率)低的错误匹配。

如图3所示，粗匹配的流程为：首先对场景点云提取特征，方法如前所述；应用最近邻查找方法在模型特征库中找到与场景特征最近的模型特征；由与特征关联的点和局部参考坐标系信息在六维姿态空间中进行霍夫投票，在误差范围内(比如旋转小于0.01弧度，位置偏差小于0.005米)票数超过阈值(比如10票)的六维空间位置(汇聚点)为获得的粗匹配结果。

Claims (6)

1.一种基于3D视觉的在线实时物体识别定位方法，其特征在于包括以下步骤：

1)采用多个虚拟相机拍摄模型，生成单侧视图集；

2)对离线生成的单侧视图集和在线采集的场景点云分别进行预处理后提取特征，然后进行物体识别定位；

所述提取特征包括如下步骤：

对于一幅单侧视图或者场景点云，以参考点P为中心取半径R邻域内的点云作为支撑点，对支撑点求取局部参考坐标系，针对关键点将支撑点位置和法线变换到参考坐标系下求取特征；

所述对支撑点求取局部参考坐标系包括以下步骤：

以参考点P点为坐标原点，基于PCA求取的最小特征值对应的特征向量为Z轴，并将Z轴的正方向转换到与相机拍摄视角一致，以所有支撑点的平均法线为AN轴，以Z轴与AN轴的叉乘为X轴，以Z轴与X轴的叉乘获得的方向为Y轴。

2.根据权利要求1所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述采用多个虚拟相机拍摄模型，生成单侧视图集包括以下步骤：

以物体模型的重心为中心，距离中心设定距离，生成设定数量的虚拟相机，所述虚拟相机朝向中心并均匀分布在球表面；

将模型点云投影到二维平面，根据深度信息滤除不可见面，每个虚拟相机获取模型点云的一副单侧视图，构成单侧视图集。

3.根据权利要求2所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述单侧视图为RGB-D图像或点云。

4.根据权利要求1所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述关键点通过以下步骤得到：

由PCA求取的特征值由大到小排列为a1>a2>a3，当a1与a2的比值小于固定阈值t时，该P点为非关键点；否则，为关键点。

5.根据权利要求1所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于将支撑点位置和法线变换到参考坐标系下求取特征包括以下步骤：将转换后的支撑点向局部参考坐标系的XOY平面上投影，在XOY平面上画k*k的格子，统计落入每个格子内的点的平均法线方向，连接成(k-2)*(k-2)*3的特征向量。

6.根据权利要求1所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述进行物体识别定位包括以下步骤：

为每个场景特征找到最近的模型特征，用对应的点和位置求出物体一个可能姿态，根据场景特征集获得的所有可能姿态在六维空间中进行投票，由投票空间中的汇聚点确定出物***姿的多个假设，最后验证去除错误假设，完成物体的识别定位。

Images