CN105139416A - 一种基于图像信息和深度信息的物体识别方法 - Google Patents

Abstract

本发明提供了一种基于图像信息和深度信息的物体识别方法，该方法处理的数据是RGB信息和深度信息的结合，通过这种包含大量有效信息的数据提取全面的有效特征，从而精确识别目标物体。该方法包括，投影的三维坐标的变换的步骤，以及模板匹配的步骤。本发明直接用通用的模板来匹配识别物体，不用添加其它设备来确定物体的位置，模板匹配的过程中计算量小，实现了快速数据处理。

Description

一种基于图像信息和深度信息的物体识别方法

技术领域

本发明涉及利用视觉传感器识别物体的方法，特别是红外传感器扫描深度信息以及计算机视觉技术在机器人识别物体的方面的应用。

背景技术

物体识别技术涉及计算机视觉及图像处理，主要用于对图像或视频信息中的对象(如人、车辆、货物等)进行检测。

目前的物体识别与测量方法常用的包括三维激光非接触式扫描测量、坐标机接触式测量、光学视觉测量等方法。这些方法或存在设备成本高、速度慢、环境条件要求高等不足。

比如用RFID的改造，这种改造需要对每一个托盘添加一个RFID收发的器件，因为一个库房有成千上万个托盘，不可能每一个托盘都安装这样的设备，那样做的成本过高；而且稳定性不好，如果有一个接收器不能正常工作，整个流程就会无法运转。如果在每个托盘上添加上二维码进行定位，那么首先安装二维码的工作量是巨大的，另外，安装的二维码有可能从托盘上脱落，使得识别过程无法进行；第三，二维码的尺寸过大的情况下会影响叉头叉货的空间，使插货的难度增大；第四，安装定位的二维码的精度必须得十分的高，因为这个精度直接影响识别的精度，而其给在托盘上安装二维码的过程增加了十分大的难度。

由此，本领域需要一种改进的物体识别方法，以克服上述现有技术中的各项不足。

发明内容

本发明的目的在于提供一种基于深度信息的物体识别算法

本发明通过以下技术方案实现。

一种基于图像信息和深度信息的物体识别方法，包括：

点云平面分割的步骤，从多信息传感器读取点云数据，对点云进行分割，将传感器传回的三维点云信息视野中较大的平面全部提取出来；

第一物体边缘检测的步骤，检测出第一物体边缘的位置；

第二物体匹配定位的步骤，在所述点云平面分割结果的基础上完成第二物体的检测和定位。

优选地，所述点云平面分割的步骤进一步包括：

获得有序点云，所述有序点云指的是点云有类似图像的结构，各个点的相邻关系与图像中像素间的相邻关系类似，是显式已知的；

按照点的相邻关系，划分为一系列的子窗口；

计算每个子窗口中包含点集的几何形状，包括平面的和非平面的；

用区域增长算法将相邻且在同一平面的子窗口聚类为一个大的平面。

优选地，所述第一物体边缘检测的步骤进一步包括：

在点云平面分割结果的基础上，提取出第一物体左右边缘的点，并用随机抽样一致性(RANSAC)算法在三维空间中拟合左右边缘的直线，从而得到第一物体左右边缘的直线方程。

优选地，所述第二物体匹配定位的步骤进一步包括：

在点云平面分割结果的基础上完成托盘的检测和定位，将第一物体和第二物体所在的平面从三维空间投影到二维空间，投影方向为此平面的法线方向；

投影后将平面进行网格化，如果平面投影后占用了某个方格，则此方格赋值为1，否则赋值为0，由此可以与所述第二物体的模板进行匹配。

优选地，所述从三维空间投影到二维空间的过程进一步包括坐标旋转变换、球面坐标系转直角坐标系，以及透视投影。

优选地，所述模板进行匹配的过程中，已知投影后得到的图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像。

优选地，所述投影后得到的图为8位图像，尺寸为W×H个像素，所述模板T的尺寸m×n个像素，叠放在投影后得到的图上平移，模板覆盖的区域叫子图S^ij，其中i，j为子图左上角在投影后得到的图上的坐标，搜索范围是：

1≤i≤W-M

1≤j≤H-N

通过比较T和S^ij的相似性，完成模板匹配过程。

优选地，衡量模板T和子图S^i，j的匹配程度使用测度为：

$D(i,j)={\Σ}_{m=1}^M{\Σ}_{n=1}^N{\[S^{i,j}\left(m,n\right)-T\left(m,n\right)\]}^2---\left(1\right)$

或者

$D(i,j)={\Σ}_{m=1}^M{\Σ}_{n=1}^N|S^{i,j}\left(m,n\right)-T\left(m,n\right)|---\left(2\right)$

通过得到的D(i，j)的值来判断模板匹配是否成功，D(i，j)的值是表示模板和传感器返回的图像的匹配的距离；若D(i，j)在一定的范围内，表示模板匹配成功。

优选地，所述第一物体是货物，所述第二物体是托盘。

通过以上技术方案，本发明与现有技术相比具有以下优点：

1、直接用通用的模板来匹配识别托盘：不用添加外来设备来确定货物和托盘的位置，可以自动识别托盘的位置，因为很多的专利的方法都是添加了其他的辅助设备来定位托盘的位置，比如RFID和定位二维码来确定要叉货的托盘的位置，这些仪器需要精准的添加到目标托盘上，而且添加的位置直接影响了以后使用的识别精度

2、快速的处理过程：快速模式匹配算法，因为通过CMOS红外传感器返回的深度信息的数据量是巨大的，每秒有30帧的图像，每张图片有2359296个8位的数值，所以计算机每秒处理的数据量是巨大的，从而所需的处理的时间也是非常长的，所以必须通过优化算法来实现快速的图像处理，本发明的算法通过红外传感器的三维坐标系原点到目标物体的三维坐标系原点的反馈回来的数据，对扫描后的目标物体的三维数据进行了投影变换，把目标物体的三维数据投影到一个固定的标准平面上，这个平面比原始数据的平面的尺寸小了很多，从而在模板匹配的过程中计算量就会减小很多，这样数据处理速度就会加快

3、特征提取：只需从3D信息中提取货物与托盘的深度信息和模板的数据进行比对，用对比出的模板距离来判断识别是否成功，同时更换新的目标模板的过程也非常简单，只需修改目标模板的参数就可以识别红外传感器的三维坐标系原点到目标物体的三维坐标系原点的6个自由度的信息

4、高精度：红外传感器的三维坐标系原点到目标物体的三维坐标系原点的X，Y，Z距离测量精度可以达到厘米级别，红外传感器的三维坐标系原点到目标物体的三维坐标系的X，Y，Z平面的夹角信息也可以达到分的级别

5、三维信息：可以识别红外传感器的三维坐标系原点到目标物体的三维坐标系原点的X，Y，Z得距离的信息，也可以识别红外传感器的三维坐标系原点到目标物体的三维坐标系X，Y，Z平面的夹角信息

6、通用性：因为使用的识别的目标托盘是有国家的标准的，所以通用性很好，到每个库房都可以用

7、不用进行预先的改造工作，用托盘作模板，程序识别托盘的时候都是用托盘的物理尺寸，这些尺寸都有国家标准，会给整个库房的每一个托盘识别带来了巨大的便利

附图说明

图1是本发明的平面分割算法流程图。

图2是方差在三个维度上的大小对比对应点集的分布形状示意图。

图3是三维正态分布中三个维度方差不同造成其形状不同示意图。

图4是本发明的托盘定位算法流程图。

图5是球面坐标系转直角坐标系示意图。

图6是透视变换中屏幕位置示意图。

图7是本发明的模板匹配过程示意图。

图8是托盘的模板尺寸示意图。

具体实施方式

本发明的物体识别方法流程包括以下步骤：

1.点云平面分割：

图1所示的是平面分割算法流程图，这一步骤对点云进行分割，将传感器传回的三维点云信息视野中较大的平面全部提取出来，例如墙面、地面、货物表面等。核心思想是获得的有序点云(有序点云指的是点云有类似图像的结构，各个点的相邻关系与图像中像素间的相邻关系类似，是显式已知的)按照点的相邻关系，划分为一系列的子窗口(sub-windows)。然后计算每个sub-window中包含点集的几何形状，包括平面的和非平面的。然后用区域增长算法将相邻且在同一平面的sub-window聚类为一个大的平面。

其中具体流程说明如下。

(1)数据信息获取

从多信息传感器读取点云数据，其中多信息传感器是能够获取多种数据信息的传感器。优选地，所述多信息传感器包括用于获取图像RGB信息传感器，例如CMOS摄像头，以及用于获取深度信息的传感器，例如红外传感器。图1所示的实施例中所使用的多信息传感器为Kinect2.0。

(2)判断一个sub-window内的点构成什么形状

如图1中所示，假设每个sub-window中的点集符合正态分布，因为点云是三维的，所以正态分布也是三维的。在这个假设下，可以计算sub-window中三维正态分布的两个参数，即均值和方差。显然，均值和方差都是三维的。此时，方差在三个维度上的大小对比对应点集的分布形状。如图2所示，当三个维度上的方差大小比较接近时，点集构成一个球形；当有一个维度上的方差远大于另外两个维度时，点集构成一个线形；当有一个维度上的方差远远小于另外两个维度时，点集构成平面。

假设sub-window中的点集为 为列向量，其几何中心为

$\stackrel{\→}{m}=\frac{1}{N}\underset{k=0}{\overset{N}{\Σ}}{\stackrel{\→}{p}}_k$

方差为

$C=\frac{1}{N}\underset{k=0}{\overset{N}{\Σ}}({\stackrel{\→}{p}}_k-\stackrel{\→}{m}){\left({\stackrel{\→}{p}}_k-\stackrel{\→}{m}\right)}^T$

对C进行谱分解(有时称特征值分解或特征分解)，可以得到C的三个特征值，根据主成分分析原理能够得出结论，这三个特征值分别对应三个正交维度的方差。因此，可以根据这三个特征值的大小关系判断某个sub-window中点集的形状。

图2中的(a)是一维正态分布及其对应的概率密度函数；(b)是二维正态分布；(3)是三维正态分布。

图3三维正态分布中三个维度方差不同造成其形状不同示意图。其中，左图表示三个维度有相似的方差，表现出来的形状是球形；中图表示当一个维度的方差远大于其他两个维度时，表现出来的形状为线形；右图表示当一个维度的方差远小于其他两个维度时，表现出来的形状是平面。

(3)判断sub-window点集的局部平面度

步骤(1)中已经谈到如何判断sub-window中点集的形状，当sub-window中的点集构成平面时，可以进一步计算最小的方差与另外两个方差之间的比值，其中较大的比值越小，则平面度越好。

假设C的三个特征值从小到大分别为λ₁＜λ₂＜λ₃，则越小，则局部平面度越好。

(4)区域增长算法中如何判断相邻sub-window是否在同一平面，有三个判断准则：

a.相邻sub-window的几何中心到当前平面的距离是否小于给定阈值；

b.相邻sub-window局部平面与当前平面法线之间的夹角是否给定阈值；

c.将相邻sub-window加入到当前平面后平面拟合的标准差是否小于给定阈值；

只要三个阈值中有一个不满足条件，则相邻sub-window不能被增长到当前平面。

2.货物边缘检测

这一步骤给出货物边缘的位置。在平面分割结果的基础上，提取出货物左右边缘的点，并用随机抽样一致性(RANSAC)算法在三维空间中拟合左右边缘的直线，从而得到货物左右边缘的直线方程。

3.托盘匹配定位

图4所示的是托盘定位算法流程图。这一步骤在平面分割结果的基础上完成托盘的检测和定位，主要目的是将托盘和货物所在的平面从三维空间投影到二维空间，投影方向为此平面的法线方向。投影后将平面进行网格化，每个网格的大小为1cm*1cm，如果平面投影后占用了某个方格，则此方格赋值为1，否则赋值为0，这种赋值方法可以与托盘的模板进行匹配。

下面介绍的三维坐标变换过程。

1.坐标旋转变换

处理坐标旋转需要用到旋转变换公式如下：

$R_x=\left|\begin{array}{cccc}1& 0& 0& 0\\ 0& cos\mathrm{\θ}& \sin \mathrm{\θ}& 0\\ 0& -\sin \mathrm{\θ}& cos\mathrm{\θ}& 0\\ 0& 0& 0& 0\end{array}\right|$

$R_y=\left|\begin{array}{cccc}cos\mathrm{\θ}& 0& -\sin \mathrm{\θ}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\θ}& 0& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right|$

$R_z=\left|\begin{array}{cccc}cos\mathrm{\θ}& \sin \mathrm{\θ}& 0& 0\\ -\sin \mathrm{\θ}& cos\mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right|$

2.球面坐标系转直角坐标系：

如图5所示，P点的球坐标为(γ，θ，φ)。γ是原点至P点之间的距离。φ是线OP在xy-面的投影线与正x-轴之间的夹角。θ为原点到点P的连线与正z-轴之间的天顶角。

3.透视投影：

以上方的三维坐标系(x，y，z)为例，如图6所示，假设观察点设置在(1000，0，0)的A点上，而目标点B设置在(x＜0，y＞0，z＞0)的区域内，并且设B点的坐标为Xb，Yb，Zb；设B点在YOZ平面上的投影的坐标是(0，Y’b.Z’b)，那么通过画图，可以得到一个公式：

$\begin{array}{cc}\frac{1000}{1000-Xb}=\frac{Z^{\&prime;}b}{Zb}& (Xb<0)\end{array}$

这样就得到了Z’b(投影点的z坐标)和目标点B的原始Zb坐标之间和Xb坐标之间的关系；同理：

$\begin{array}{cc}\frac{1000}{-Xb}=\frac{Y^{\&prime;}b}{Yb-Y^{\&prime;}b}& (Xb<0)\end{array}$

图7描述本发明的模板匹配过程。模板匹配是数字图像处理的重要组成部分之一。把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准，或根据已知模式到另一幅图中寻找相应模式的处理方法就叫做模板匹配。

简单而言，模板就是一幅已知的小图像。模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。以8位图像(其1个像素由1个字节描述)为例，模板T(m×n个像素)叠放在被搜索图S(W×H个像素)上平移，模板覆盖被搜索图的那块区域叫子图S^ij。i，j为子图左上角在被搜索图S上的坐标。搜索范围是：

1≤i≤W-M

1≤j≤H-N

通过比较T和S^ij的相似性，完成模板匹配过程。衡量模板T和子图S^i，j的匹配程度，可用下列两种测度：

$D(i,j)={\&Sigma;}_{m=1}^M{\&Sigma;}_{n=1}^N{\&lsqb;S^{i,j}\left(m,n\right)-T\left(m,n\right)\&rsqb;}^2---\left(1\right)$

或者

$D(i,j)={\&Sigma;}_{m=1}^M{\&Sigma;}_{n=1}^N|S^{i,j}\left(m,n\right)-T\left(m,n\right)|---\left(2\right)$

通过得到的D(i，j)的值来判断模板匹配是否成功，D(i，j)的值是表示模板和我们传感器返回的图像的匹配的距离，最好的情况下是D(i，j)＝0，表示模板和传感器返回的图像完全匹配，但是实际情况没有这样的理想状态，所以给定D(i，j)在一定的范围内，表示模板匹配成功。

图8所示的是几种托盘的模板尺寸，包括两种木质托盘，以及三种塑料托盘。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应该了解本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的范围内。

Claims (9)

1.一种基于图像信息和深度信息的物体识别方法，包括：

点云平面分割的步骤，从多信息传感器读取点云数据，对点云进行分割，将传感器传回的三维点云信息视野中较大的平面全部提取出来；

第一物体边缘检测的步骤，检测出第一物体边缘的位置；

第二物体匹配定位的步骤，在所述点云平面分割结果的基础上完成第二物体的检测和定位。

2.根据权利要求1所述的方法，其特征在于，所述点云平面分割的步骤具体包括：

获得有序点云，所述有序点云指的是点云有类似图像的结构，各个点的相邻关系与图像中像素间的相邻关系类似，是显式已知的；

按照点的相邻关系，划分为一系列的子窗口；

计算每个子窗口中包含点集的几何形状，包括平面的和非平面的；

用区域增长算法将相邻且在同一平面的子窗口聚类为一个大的平面。

3.根据权利要求1所述的方法，其特征在于，所述第一物体边缘检测的步骤具体包括：

在点云平面分割结果的基础上，提取出第一物体左右边缘的点，并用随机抽样一致性(RANSAC)算法在三维空间中拟合左右边缘的直线，从而得到第一物体左右边缘的直线方程。

4.根据权利要求1所述的方法，其特征在于，所述第二物体匹配定位的步骤具体包括：

在点云平面分割结果的基础上完成托盘的检测和定位，将第一物体和第二物体所在的平面从三维空间投影到二维空间，投影方向为此平面的法线方向；

投影后将平面进行网格化，如果平面投影后占用了某个方格，则此方格赋值为1，否则赋值为0，由此可以与所述第二物体的模板进行匹配。

5.根据权利要求4所述的方法，其特征在于，所述从三维空间投影到二维空间的过程进一步包括坐标旋转变换、球面坐标系转直角坐标系，以及透视投影。

6.根据权利要求4所述的方法，其特征在于，所述模板进行匹配的过程中，已知投影后得到的图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像。

7.根据权利要求6所述的方法，其特征在于，所述投影后得到的图为8位图像，尺寸为W×H个像素，所述模板T的尺寸m×n个像素，叠放在投影后得到的图上平移，模板覆盖的区域叫子图S^ij，其中i，j为子图左上角在投影后得到的图上的坐标，搜索范围是：

1≤i≤W-M

1≤j≤H-N

通过比较T和S^ij的相似性，完成模板匹配过程。

8.根据权利要求7所述的方法，其特征在于，衡量模板T和子图S^i，j的匹配程度使用测度为：

$D(i,j)={\mathrm{\&Sigma;}}_{m=1}^M{\mathrm{\&Sigma;}}_{n=1}^N{\&lsqb;S^{i,j}(m,n)-T(m,n)\&rsqb;}^2---\left(1\right)$

或者

$D(i,j)={\mathrm{\&Sigma;}}_{m=1}^M{\mathrm{\&Sigma;}}_{n=1}^N|S^{i,j}(m,n)-T(m,n)|---\left(2\right)$

通过得到的D(i，j)的值来判断模板匹配是否成功，D(i，j)的值是表示模板和传感器返回的图像的匹配的距离；若D(i，j)在一定的范围内，表示模板匹配成功。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述第一物体是货物，所述第二物体是托盘。