CN107563388A - 一种基于深度信息预分割的卷积神经网络物体识别方法 - Google Patents

Abstract

本发明涉及一种基于深度信息预分割的卷积神经网络物体识别方法，包括以下步骤：步骤1：采集场景的深度图像和彩色图像；步骤2：从场景的深度图像中分割出物体的深度图像；步骤3：根据物体的深度图像的分割范围，从场景的彩色图像中分割出物体的彩色图像；步骤4：对分割好的彩色图像进行填充处理；步骤5：将填充好的彩色图像输入到卷积神经网络进行识别，输出识别结果。本发明的基于深度信息预分割的卷积神经网络物体识别方法，可以识别复杂图片中的多个物体，训练速度快、识别速度快，对硬件要求低，可减少卷积神经网络过拟合。

Description

一种基于深度信息预分割的卷积神经网络物体识别方法

技术领域

本发明涉及图像处理和物体识别技术领域，具体涉及一种基于深度信息预分割的卷积神经网络物体识别方法。

背景技术

物体的计算机解释对于机器人学、人工智能等方面的应用具有关键性的作用。将传感器采集的物体图像转化为人类可理解的信息(如文字、声音、影像等)是前科学研究的热点。

现行的物体识别方法主要是对单纯的RGB图像进行识别。这种识别方式可能会将图像的全局特征当作局部特征，从而出现过拟合现象而降低物体的识别率。另一种新型识别方法是将物体的RGB和深度图像一同放入卷积及神经网络进行训练和识别。这种方法的识别度较第一种方法高，但是在对于多物体的训练与识别中计算量过大。

针对目前图像识别中存在的问题，我们提出新的算法，在提高识别率的同时减少了计算量。

发明内容

本发明针对现有技术的不足提供一种基于深度信息预分割和卷积神经网络的物体识别方法，可以识别复杂图片中的多个物体，识别速度快，可减少卷积神经网络过拟合的发生。

本发明提供一种基于深度信息预分割的卷积神经网络物体识别方法，包括以下步骤：

步骤1：采集场景的深度图像和彩色图像；

步骤2：从场景的深度图像中分割出物体的深度图像；

步骤3：根据物体的深度图像的分割范围，从场景的彩色图像中分割出物体的彩色图像；

步骤4：对分割好的彩色图像进行填充和缩放处理；

步骤5：将填充好的彩色图像输入到卷积神经网络进行识别，输出识别结果。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤1具体为：

同一时刻采集同一场景的深度图像和彩色图像，图像采集设备可以为Kinect设备或多目摄像头。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤2具体为：

步骤2.1：采用大津算法将场景的深度图像分为前景和背景，前景代表目标物体，其深度在一定范围内；

步骤2.2：采用种子区域生长算法，将目标物体的深度图像从场景的深度图像中分割出来。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤2.2具体为：

步骤2.2.1：在前景的深度范围内随机选出五个像素点作为种子点；

步骤2.2.2：对每个种子点周围的8个像素点就进行遍历，当灰度变化小于4时该像素点同化为种子点；

步骤2.2.3：重复步骤2.2.2直到图片上所有的像素点被分为种子点和非种子点；

步骤2.2.4：将种子点构成的图像分割出来即获得物体的深度图像。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤3具体为：

场景的彩色图像与深度图像的像素点一一对应，可根据物体的深度图像的分割位置对应到场景的彩色图像上，进而将物体的彩色图像分割出来。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤4包括：

步骤4.1：设定填充区域的RGB颜色值，将分割好的彩色图像的宽高比填充至1:1；

步骤4.2：采用双线性差值算法将填充后的彩色图像调整为规定的尺寸。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤4.1中设定填充区域的RGB颜色值可采用以下几种方法：

a.将物品的边缘像素点的RGB颜色值取均值操作，将该颜色称为边缘平均值，填充区域的RGB颜色值为边缘平均值的反色；

b.设置填充区域的RGB颜色值为(0，0，0)，即填充黑色；

c.设置填充区域的RGB颜色值为(255，255，255)，即填充白色。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤5包括：

步骤5.1：构建卷积神经网络模型；

步骤5.2：采集多种物体的图像构成训练集对卷积神经网络模型进行训练；

步骤5.3：将填充好的彩色图像输入到训练好的卷积神经网络模型进行识别，并输出结果。

在本发明的基于深度信息预分割的卷积神经网络物体识别方法中，步骤5.1中构建卷积神经网络为包含20个隐含层的神经网络，具体为：

第一层为卷积层conv1，conv1中有64个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第二层为卷积层conv2，conv2中有64个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第三层为池化层subsampling1层，在池化的过程中使用最大池化操作；

第四层为卷积层conv3，conv3中有128个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第五层为卷积层conv4，conv4中有128个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第六层为池化层subsampling2层，在池化的过程中使用最大池化操作；

第七层为卷积层conv5，conv5中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第八层为卷积层conv6，conv6中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第九层为卷积层conv7，conv7中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十层为池化层subsampling3层，在池化的过程中使用最大池化操作；

第十一层为卷积层conv8，conv8中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十二层为卷积层conv9，conv9中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十三层为卷积层conv10，conv10中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十四层为池化层subsampling4层，在池化的过程中使用最大池化操作；

第十五层为卷积层conv11，conv11中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十六层为卷积层conv12，conv12中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十七层为卷积层conv13，conv13中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十八为池化层subsampling5层，在池化的过程中使用最大池化操作；

第十九层为全连接层Fc采用average pooling，以此提高神经网络的训练和预测速度；

第二十层为分类层Softmax，将全连接层Fc输出的特征向量输入分类层，得到识别物体的分类标签，计算出每种分类标签的概率，并将最大概率的标签输出。

本发明的基于深度信息预分割的卷积神经网络物体识别方法，可以识别复杂图片中的多个物体，降低了所需的训练量、识别速度快，对硬件要求低，可减少卷积神经网络过拟合。

附图说明

图1是本发明的一种基于深度信息预分割的卷积神经网络物体识别方法的流程图；

图2是本发明的卷积神经网络的结构示意图。

具体实施方式

本发明提供了一种基于深度信息预分割的卷积神经网络物体识别方法，如图1所示，识别方法包括以下步骤：

步骤1：采集场景的深度图像和彩色图像；

步骤2：从场景的深度图像中分割出物体的深度图像；

步骤3：根据物体的深度图像的分割范围，从场景的彩色图像中分割出物体的彩色图像；

步骤4：对分割好的彩色图像进行填充和缩放处理；

步骤5：将填充好的彩色图像输入到卷积神经网络进行识别，输出识别结果。

步骤1具体为：

同一时刻采集同一场景的深度图像和彩色图像，图像采集设备可以为Kinect设备或多目摄像头。

彩色图像可由摄像头获得，深度图像的采集方法包括不限于以下几种：1.通过副摄像头采集辅助图像然后进行模式匹配，可得到物体在双目摄像头中的两个不同的坐标，从而结合双摄像头之间的距离利用几何关系计算得到深度图像。这种方法价格低廉精度较低，且难以分辨超过五米的物体。2.通过激光雷达高速旋转的同时进行扫描，得到某个周围物体到传感器的距离，在无人驾驶汽车上这一技术得到了广泛的使用，例如，2015年12月10日，百度无人驾驶汽车实际上路测试成功，其车身上采用的Velodyne HDL-64E就是这样的激光雷达技术。类似的技术价格非常高昂，一台设备的价格可以达到数十万人民币。3.采用微软公司的Kinect等商用设备。采用双摄像头结合红外摄像头的方式获得深度信息。这种方式在价格和精度之间达到了较好的平衡，但存在算法非公开的问题。

图像的深度信息由两个摄像头采集然后计算得到，而色彩信息在其中一个摄像头的位置采集，且两者的像素点并非一一对应，需要经过某种矫正算法来将深度图像和彩色图像对齐，以微软Kinect为例，其配套的软件开发包中有相应的函数对两图像进行对齐对应处理。

步骤2具体为：

步骤2.1：采用大津算法将场景的深度图像分为前景和背景，前景代表目标物体，其深度在一定范围内；

此时前景的深度在一定的范围内，譬如目标物体作为前景被大津算法分割出来，该目标物体距离传感器的距离在35cm-42cm之间，称该距离为前景距离范围。但是因为图片中有其他的噪声距离传感器也在前景距离范围以内，我们将37cm对应的灰度值这个值作为种子生长的种子值。

步骤2.2：采用种子区域生长算法，将目标物体的深度图像从场景的深度图像中分割出来，具体为：

步骤2.2.1：在前景的深度范围内随机选出五个像素点作为种子点；

步骤2.2.2：对每个种子点周围的8个像素点就进行遍历，当灰度变化小于4时该像素点同化为种子点；

步骤2.2.3：重复步骤2.2.2直到图片上所有的像素点被分为种子点和非种子点；

步骤2.2.4：将种子点构成的图像分割出来即获得物体的深度图像。

在深度图像分割过程中我们会多次使用大津算法来将图片进行分割，并对每一个分割的结果进行区域生长算法以去掉不相关的信息，如一个两个杯子放在桌面上，区域生长算法可以将两个杯子进行分割。

步骤3具体为：

场景的彩色图像与深度图像的像素点一一对应，可根据物体的深度图像的分割位置对应到场景的彩色图像上，进而将物体的彩色图像分割出来。

在经过大津法和种子区域生长法分割之后的图像比例大小不一，但本发明用到的卷积神经网络需要图片的尺寸比例统一为：宽224像素，高224像素。所以我们对图像进行下述两个操作，填充和缩放。

步骤4对分割好的彩色图像进行填充和缩放处理具体包括：

步骤4.1：设定填充区域的RGB颜色值，将分割好的彩色图像的宽高比填充至1:1；

步骤4.1中设定填充区域的RGB颜色值可采用以下几种方法：

a.将物品的边缘像素点的RGB颜色值取均值操作，将该颜色称为边缘平均值，填充区域的RGB颜色值为边缘平均值的反色；

b.设置填充区域的RGB颜色值为(0，0，0)，即填充黑色；

c.设置填充区域的RGB颜色值为(255，255，255)，即填充白色。

进行填充，假设该图片的长宽为(w，h)，若w>h，将图片填充成(w，w)；若w<h，将图片填充成(h，h)。

步骤4.2：采用双线性差值算法将填充后的彩色图像调整为规定的尺寸。

本实施例中，将已经完成填充的长宽为(x，x)的图像缩放到(224，244)。

图像处理完成后，将图像的每一个像素点按照从左到右，从上到下的顺序依次按行输入到卷积神经网络中进行图像识别。步骤5包括：

步骤5.1：构建卷积神经网络模型；

具体实施时，构建卷积神经网络为包含20个隐含层的神经网络，具体为：

第一层为卷积层conv1，conv1中有64个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第二层为卷积层conv2，conv2中有64个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第三层为池化层subsampling1层，在池化的过程中使用最大池化操作；

第四层为卷积层conv3，conv3中有128个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第五层为卷积层conv4，conv4中有128个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第六层为池化层subsampling2层，在池化的过程中使用最大池化操作；

第七层为卷积层conv5，conv5中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第八层为卷积层conv6，conv6中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第九层为卷积层conv7，conv7中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十层为池化层subsampling3层，在池化的过程中使用最大池化操作；

第十一层为卷积层conv8，conv8中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十二层为卷积层conv9，conv9中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十三层为卷积层conv10，conv10中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十四层为池化层subsampling4层，在池化的过程中使用最大池化操作；

第十五层为卷积层conv11，conv11中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十六层为卷积层conv12，conv12中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十七层为卷积层conv13，conv13中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十八为池化层subsampling5层，在池化的过程中使用最大池化操作；

第十九层为全连接层Fc采用average pooling，以此提高神经网络的训练和预测速度；

第二十层为分类层Softmax，将全连接层Fc输出的特征向量输入分类层，得到识别物体的分类标签，计算出每种分类标签的概率，并将最大概率的标签输出。

步骤5.2：采集多种物体的图像构成训练集对卷积神经网络模型进行训练；

步骤5.3：将填充好的彩色图像输入到训练好的卷积神经网络模型进行识别，并输出结果。

本发明使用Image-Net预训练完的卷积层权重，以此提高泛化性能。

以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，包括以下步骤：

步骤1：采集场景的深度图像和彩色图像；

步骤2：从场景的深度图像中分割出物体的深度图像；

步骤3：根据物体的深度图像的分割范围，从场景的彩色图像中分割出物体的彩色图像；

步骤4：对分割好的彩色图像进行填充和缩放处理；

步骤5：将填充好的彩色图像输入到卷积神经网络进行识别，输出识别结果。

2.如权利要求1所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤1具体为：

同一时刻采集同一场景的深度图像和彩色图像，图像采集设备可以为Kinect设备或多目摄像头。

3.如权利要求1所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤2具体为：

步骤2.1：采用大津算法将场景的深度图像分为前景和背景，前景代表目标物体，其深度在一定范围内；

步骤2.2：采用种子区域生长算法，将目标物体的深度图像从场景的深度图像中分割出来。

4.如权利要求3所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤2.2具体为：

步骤2.2.1：在前景的深度范围内随机选出五个像素点作为种子点；

步骤2.2.2：对每个种子点周围的8个像素点就进行遍历，当灰度变化小于4时该像素点同化为种子点；

步骤2.2.3：重复步骤2.2.2直到图片上所有的像素点被分为种子点和非种子点；

步骤2.2.4：将种子点构成的图像分割出来即获得物体的深度图像。

5.如权利要求1所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤3具体为：

场景的彩色图像与深度图像的像素点一一对应，可根据物体的深度图像的分割位置对应到场景的彩色图像上，进而将物体的彩色图像分割出来。

6.如权利要求1所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤4包括：

步骤4.1：设定填充区域的RGB颜色值，将分割好的彩色图像的宽高比填充至1:1；

步骤4.2：采用双线性差值算法将填充后的彩色图像调整为规定的尺寸。

7.如权利要求6所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤4.1中设定填充区域的RGB颜色值可采用以下几种方法：

a.将物品的边缘像素点的RGB颜色值取均值操作，将该颜色称为边缘平均值，填充区域的RGB颜色值为边缘平均值的反色；

b.设置填充区域的RGB颜色值为(0，0，0)，即填充黑色；

c.设置填充区域的RGB颜色值为(255，255，255)，即填充白色。

8.如权利要求1所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤5包括：

步骤5.1：构建卷积神经网络模型；

步骤5.2：采集多种物体的图像构成训练集对卷积神经网络模型进行训练；

步骤5.3：将填充好的彩色图像输入到训练好的卷积神经网络模型进行识别，并输出结果。

9.如权利要求8所述的基于深度信息预分割的卷积神经网络物体识别方法，其特征在于，步骤5.1中构建卷积神经网络为包含20个隐含层的神经网络，具体为：

第一层为卷积层conv1，conv1中有64个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第二层为卷积层conv2，conv2中有64个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第三层为池化层subsampling1层，在池化的过程中使用最大池化操作；

第四层为卷积层conv3，conv3中有128个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第五层为卷积层conv4，conv4中有128个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第六层为池化层subsampling2层，在池化的过程中使用最大池化操作；

第七层为卷积层conv5，conv5中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第八层为卷积层conv6，conv6中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第九层为卷积层conv7，conv7中有256个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十层为池化层subsampling3层，在池化的过程中使用最大池化操作；

第十一层为卷积层conv8，conv8中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十二层为卷积层conv9，conv9中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十三层为卷积层conv10，conv10中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十四层为池化层subsampling4层，在池化的过程中使用最大池化操作；

第十五层为卷积层conv11，conv11中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十六层为卷积层conv12，conv12中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十七层为卷积层conv13，conv13中有512个3*3的滤波器进行步长为1像素的卷积操作同时在进行卷积之前存在着边缘填充Padding操作在卷积结束后通过一个非线性激活层ReLU函数作为激活函数；

第十八为池化层subsampling5层，在池化的过程中使用最大池化操作；

第十九层为全连接层Fc采用average pooling，以此提高神经网络的训练和预测速度；

第二十层为分类层Softmax，将全连接层Fc输出的特征向量输入分类层，得到识别物体的分类标签，计算出每种分类标签的概率，并将最大概率的标签输出。