CN108596256B - 一种基于rgb-d物体识别分类器构造方法 - Google Patents

Abstract

本发明提出一种新的基于RGB‑D物体识别分类器构造方法，主要解决现有的RGB‑D数据库规模小的问题以及训练的RGB‑D分类器对于数据库中存在的稀有物体识别准确率不高的问题，包括：采集物体的RGB模态图片以及同一位姿下的depth模态图片，依次提取出RGB模态图片的特征以及相应的depth模态图片的特征，然后依次人工对采集的RGB模态图片以及depth模态图片进行分析，并加之标签。通过将RGB模态特征以及depth模态特征结合起来一同构建物体分类器。本发明可以应用在物体识别应用上，通过对当前物体进行RGB和depth模态数据采样，可以有效的对当前物体进行类别识别。

Description

一种基于RGB-D物体识别分类器构造方法

技术领域

本发明属于计算机应用技术领域，具体涉及一种基于RGB-D物体识别分类器构造方法。

背景技术

自从1946年2月14日在费城开始运行的ENIAC计算机发明以来，一些具有超前意识的研究者和用户就在思考和讨论计算机是否可以向人一样具有独立自主的思考以及解决问题的能力，这个也就是所谓早期人工智能。那么到底如何判断机器是否拥有了智能，计算机科学家和密码学的先驱图灵在《计算机器与智能》文献中提出了“图灵测试”这一概念，即如果计算机能在5分钟内回答人类测试者提出的一系列问题，且其中的回答超过30％让测试者认为是由人类回答而不是计算机回答的，则电脑就通过了测试。人工智能的终极目标是将人类从繁杂、危险、重复、单调等工作中解放出来，改善人们的生活，推进人类盛会的发展。生物学家研究，人类接受外界信息超过80％都是来源于人的双眼，那么相对于计算机的研究，机器视觉就显得尤为的重要。物体识别任务是机器视觉中最基础也是最重要的任务之一。

对于物体的识别，现有的技术可以大致分成三类：(1)基于RGB的物体识别。这种方法是提取RGB模态数据的特征信息，通过将提取的特征RGB特征信息输入到特定的分类器中进行物体的识别。(2)基于depth的物体识别。这种方法是提取depth模态数据的特征信息，通过将提取的depth特征信息输入到特定的分类器中进行物体的识别。(3)基于RGB和depth两种模态信息结合的方式，通过将RGB数据和depth数据融合成4通道的图片数据然后提取特征，或者通过对RGB模态数据和depth模态数据分别提取特征，然后将两者结合起来给分类器进行物体的识别。

申请号为CN201510402298.3的专利公开一种RGB-D图像分类方法及***，主要使用的是基于现在非常流行的深度学习卷积神经网络CNN的方法来提取RGB和depth的特征，再人为拼接在一起，然后通过字典学习的方式训练一个SVM。由于CNN网络是一种数据驱动的方法，也就是说需要大量的带有标签的训练数据，而现有的RGB-D带有标签的分类数据集相较于RGB标签数据集非常的小，不足以支撑本发明提出的CNN网络的训练过程，容易导致非常严重的过拟合问题；同时由于现实世界中很多情况是稀有的，比如说水果商店中买卖的苹果，有些苹果由于被贴上了大量的商标，大面积被遮挡，这种情况对于我们收集的RGB-D数据集来说基本上是很难见到的，这种长尾情况导致了我们构造的RGB-D分类器解决这种情况下的分类情况不是很理想。

基于上述，提供一种新的基于RGB-D模态数据的物体识别方法，以解决现有的RGB-D数据库规模小的问题以及训练的RGB-D分类器对于数据库中存在的稀有物体识别准确率不高的问题，则成为本发明所面临的重要课题。

发明内容

本发明针对目前现有的RGB-D的数据库不足以支撑深度神经网络的训练而容易导致过拟合，同时大规模的数据库均存在着很严重的长尾分布的问题，提出一种新的基于RGB-D物体识别分类器构造方法，其方案如下：

一种基于RGB-D物体识别分类器构造方法，包括如下步骤：

步骤一、构建RGB-D物体识别数据库

其中RGB模态数据记为

depth模态数据记为

步骤二、对采集的RGB-D图片进行识别分类，人为标定每一张图片的类别，c^*∈{1,2,...,C}，其中C表示的我们采集的图片的类别总数；

步骤三、利用T＝{t,s,r,c}四个变换操作对采集的图片进行变换；为每张图片创建一个代理类，得到RGB模态代理类训练集

和depth模态代理类训练集

其中t操作表示的是对图片进行垂直的和水平的移动，s表示对图片进行尺寸的变换操作，r表示对图片进行旋转操作，c表示对图片进行颜色变换操作；

步骤四、网络训练过程，利用采集的RGB模态数据

所创建的代理类

训练物体识别的RGB网络；对输入到RGB训练网络中的图片进行预处理，通过将输入到网络中的图片中最具判别区域进行有选择的遮挡，将这个处理后的图片输入到网络中训练RGB网络；

步骤五、网络训练过程，利用采集的depth模态数据

所创建的代理类

训练物体识别的depth网络，对于depth模态数据，采用与RGB模态数据相同的预处理操作，将处理后的图片输入到depth训练网络中用以训练depth网络；

步骤六、网络训练过程，通过分类器融合方法将RGB网络和depth网络融合在一起，构造成RGB-D物体识别网络；

步骤七、网络推理过程，利用RGB-D物体识别网络中的RGB网络对RGB模态数据进行特征的提取；

步骤八、利用RGB-D物体识别网络中的depth网络对depth模态数据进行特征的提取；

步骤九、通过分类器层面的融合，将提取的RGB特征和depth特征融合在一起，融合后的特征记为f_rgbd；

步骤十、将融合后的特征f_rgbd送入到分类器classifier_rgbd中进行物体的识别。

进一步地，所述步骤七中利用RGB网络对RGB模态数据进行特征提取的过程如下：首先将采集的图片归一化处理，然后将归一化后的图片送入到5层的卷积网络中，卷积后接一个池化层，得到特征图，将得到的特征图输入到三层全连接网络中，得到的特征图f_rgb。

进一步地，所述步骤八中利用depth网络对depth模态数据进行特征提取的过程如下：首先将采集的图片归一化成大小一致，然后将这归一化后的图片送入到5层的卷积网络中，通过5层的多层感知机得到输入到网络中的特征图的热图区域，通过随机的选择热图中三分之一的区域中进行遮挡，将这个遮挡后的图片输入到池化层中，得到特征图，将得到的特征图输入到两层全连接网络中，获得特征图f_depth。

进一步地，所述步骤九中将提取的两种模态特征融合起来构造融合特征f_rgbd，融合的方法为：将得到的f_rgb和f_depth按照通道维度拼接在一起，如果是卷积层，则利用公式：

来计算，其中l表示的是第l层网络，feature_l表示的第l层的特征图，stride_l表示的是卷积核移动的步长大小；如果是池化层，则利用公式

来计算，其中kernel表示池化层的池化核大小。

进一步地，所述步骤十中，分类器的分类计算如下：抽取一个测试样本的融合特征，输入到分类器中，训练好的分类器通过SoftMax对输入的RGB-D物体图像返回C个数值，然后通过计算哪一个数值最大来预测该物体所属的类别。

与现有技术相比，本发明的优点和积极效果在于：

本发明提供一种新的基于RGB-D的物体分类器的构造方法，能够根据采集到的多模态信息分析采集物体所属的类别，并且在训练的时候考虑到多模态信息之间的特点。大多数物体分类器利用RGB纹理信息，通过对RGB图像提取特征进行分类器的训练，但是实际情况是现实中存在着很多仅靠纹理是很难解决的情况，例如颜色相近的两个马克杯，通过纹理很难将两者区分开来，但是由于杯子和杯子之间存在着距离的关系，可以通过两个杯子之间的深度关系将两个杯子区分开来。而本发明通过考虑将RGB特征信息和depth特征信息融合起来进行联合训练物体分类器，更加符合实际情况。

具体实施方式

本发明提出一种基于RGB-D的物体识别的分类器构造方法，主要使用的方法是基于现在非常流行的深度学习卷积神经网络CNN，提出一种对抗学习的模块，通过人为的构造的分类器提供难以分类的样本(本文中使用的方法是人为遮挡图片中最具判别性区域，举个例子如果想识别一张图片中的动物是不是狗，那么对于狗来说最具判别性区域就是狗头，那么我们人为的将狗的头部进行遮挡)，利用这种人为制造困难实例增加了分类器的训练的困难度，这样就使得训练出来的分类器更具有判别性，同时也就更加鲁棒。另外，提出来的方法是一种端到端的方法，不需要分段优化，可以从头到尾的直接优化。

为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合实施例对本发明做进一步说明。

本实施例提出一种基于RGB-D物体识别的分类器构造方法，包括：

步骤一：构建RGB-D物体识别数据库；

本步骤利用微软深度传感器Kinect V1对室内一般办公物品进行采集，将物品放在一个旋转平台上，每5度对物品采集一次，构成RGB-D物体识别数据库

其中RGB模态数据记为

depth模态数据记为

步骤二、通过人工对采集的RGB-D图片进行识别分类，人为标定每一张图片的类别，c^*∈{1,2,...,C}，其中C表示的我们采集的图片的类别总数；

步骤三、利用T＝{t,s,r,c}四个变换操作对采集的图片进行变换，其中t操作表示的是对图片进行垂直的和水平的平移，s表示的是一个尺度因子，将图片的大小乘以这个尺度因子，达到图片尺寸的变换操作，r表示的是对图片进行旋转操作，c表示的是一个颜色变换操作。通过上述的四个操作，为每张图片创建一个代理类，得到RGB模态代理类训练集

和depth模态代理类训练集

本步骤为每一张采集的图片创建代理类的过程如下：第一种t操作，水平、垂直方向变换大小为t∈(-0.2,0.2)，第二种s操作，图片大小变换的区间为s∈(0.5,1),第三种r操作，图像旋转((-20,20)之间的一个随机数值)，第四种c操作，颜色变换(将RGB图片转换到HSV颜色空间，对于S和V分量，pow(x,a’)*b’+c’，其中pow代表是幂指数运算，x表示的当前S和V的分量值，a’是(0.25，4)之间的一个随机数，b’是(0.7,2.1)之间的一个随机数，c’是(-0.25,0.25)之间的一个随机数，对于H分量y*d’+e’，其中y表示的当前H分量，d’是(0.7,1.4)之间的一个数值，e’是(-0.1,0.1)之间的一个数值)。

本步骤主要解决应对小样本数据集容易过拟合的问题，通过对已有的RGB-D数据集进行本发明提出来的四种变换的组合，可以对每张图片生成一个代理类，每个代理类共有一个标签数据，这样可以在不增加人力成本的基础上解决数据集扩大的问题。该步骤中需要重点考率每张图片生成的代理类中图片的数量对于网络训练的影响，代理类图片数量太少的话，依然容易导致过拟合的现象的产生，代理类图片数量太多的话，图片之间的相似度过高，容易导致数据之间的信息冗余，不利用图片有效特征的提取；

步骤四、网络训练过程，利用采集的RGB模态数据

所创建的代理类

训练物体识别的RGB网络。由于现实情况比我们采样的训练数据复杂很多，为了使得我们训练的RGB网络可以很好的处理现实情况中复杂的情况，我们对输入到RGB训练网络中的图片进行预处理，通过将输入到网络中的图片的最具判别区域进行有选择的遮挡，将这个处理后的图片输入到网络中训练RGB网络；

本实施例采用的是最直观、简单的人为制造训练困难样本的方法，当然也可采用其他方法，比如说在运行的过程中遮挡特定层中特征图的最具判别性区域。

步骤五、网络训练过程，利用采集的depth模态数据

所创建的代理类

训练物体识别的depth网络，对于depth模态数据我们采用与RGB模态数据相同的预处理操作，将处理后的图片输入到depth训练网络中用以训练depth网络；

步骤六、网络训练过程，通过分类器融合方法将RGB网络和depth网络融合在一起，构造成RGB-D物体识别网络；

步骤七、网络推理过程，利用RGB-D物体识别网络中的RGB网络对RGB模态数据进行特征的提取；

首先将采集的图片归一化成大小一致s×s(s表示的是一个固定值，无实际含义，在本实施例中将图片归一化成257*257)，然后将这归一化后的图片送入到5层的卷积网络中，第一个卷积层核大小为11×11，卷积核个数为96个，第二个卷积核大小为5×5，卷积核个数为256，第三个卷积核大小为3×3，卷积核大小为384，第四个卷积核大小为3×3，卷积核大小为384，第五个卷积核大小为3×3，卷积核大小为256，该层卷积后接一个池化层(pooling)，得到特征图记为fm_rgb，将得到fm_rgb输入到三层全连接网络中，第一个全连接层输出大小为4096，第二层全连接层输出大小为4096，经过这两层全连接网络后得到的特征图为f_rgb。

步骤八、利用RGB-D物体识别网络中的depth网络对depth模态数据进行特征的提取；

首先将采集的图片归一化成大小一致s×s，然后将这归一化后的图片送入到5层的卷积网络中，第一个卷积层核大小为11×11，卷积核个数为96个，第二个卷积核大小为5×5，卷积核个数为256，第三个卷积核大小为3×3，卷积核大小为384，第四个卷积核大小为3×3，卷积核大小为384，第五个卷积核大小为3×3，卷积核大小为256，将该层得到的特征图输入到5层卷积网络中，每层卷积网络的卷积核为3×3，通过这5层的多层感知机我们可以得到输入到网络中的特征图的热图区域，我们通过随机的选择热图中三分之一的区域中进行遮挡，将这个遮挡后的图片输入到下面一个池化层中，得到特征图记为fm_depth，将得到fm_rgb输入到两层全连接网络中，第一个全连接层输出大小为4096，第二层全连接层输出大小为4096，经过这两层全连接网络后得到的特征图为f_depth。

步骤九、通过分类器层面的融合，将提取的RGB特征和depth特征融合在一起，融合后的特征记为f_rgbd，具体如下：

将上述得到的f_rgb和f_depth按照通道维度拼接在一起，即假设由步骤七得到的特征图f_rgb的维度是n×h×w×c，其中n代表的是一次性输入到网络中图片的个数，h代表的是输入到该层网络中特征图的长度，w表示的输入该层网络中特征图的宽度，c代表的是输入到该层网络中特征图的通道数。对于网络的第一层也就是网络的输入层来说，其中n根据自己的硬件条件而设定(n≥1)，h和w根据输入网络中的图片的大小而定，如果输入网络的是RGB图像，那么c＝3,如果是灰度图或者depth图片则c＝1。之后每一层的n保持不变，c的大小由上一层的卷积核个数而定，h和w根据上一网络层的性质而决定，如果是卷积层，则利用公式：

来计算。其中l表示的是第l层网络，feature_l表示的第l层的特征图，stride_l表示的是卷积核移动的步长大小。如果是池化层，则利用公式：

其中kernel表示池化层的池化核大小。h和w分别是计算所得的feature_l+1的第二维和第三维。将f_rgb和f_depth根据第四维连接起来。

步骤十、将融合后的特征f_rgbd送入到分类器classifier_rgbd中进行物体的识别。

将步骤九中得到的特征图输入到SoftMax分类器中进行分类器的训练。至此基于RGB-D的物体识别分类器就构造出来了。分类结果计算如下：抽取一个测试样本的融合特征，输入到分类器中，训练好的RGB-D分类器通过SoftMax会对输入的RGB-D物体图像返回C个数值，最后通过比较这C个数值哪个数值最大，数值最大的那个数字所对应的类别就是该测试样本所属的类别。

本发明的执行环境采用一台3.3中央处理器和8G字节内存的酷睿双核计算机，同时为了加速物体识别网络的训练和推理过程，我们采用了4块英伟达GeForce GTX 1080TIGPU显卡来做加速计算。同时采用C++和python语言编制了基于RGB-D物体识别分类器的构造程序，当然还可以采用其他的执行环境，在此不再赘述。

本发明主要研究在小规模RGB-D数据集上如何对物体识别深度神经网络进行训练而不过拟合，通过提出一系列变换规则，然后将这些变换规则应用到训练样本图像块中，对于每个样本数据生成一个代理类，用以支撑深度神经网络在小规模数据集上进行训练。针对处理数据集存在的长尾分布的问题，即有些样本情况过于稀有，训练集中对于该类稀有样本数量不足以支撑深度神经网络学习这种类型样本，通过提出一种对抗学习网络解决数据集中存在的硬实例识别准确率低下的问题。通过以上两种方法提高构造的物体识别网络的准确性和鲁棒性。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (3)

1.一种基于RGB-D物体识别分类器构造方法，其特征在于、包括如下步骤：

步骤一、构建RGB-D物体识别数据库

其中RGB模态数据记为

depth模态数据记为

步骤二、对采集的RGB-D图片进行识别分类，人为标定每一张图片的类别，c^*∈{1,2,...,C}，其中C表示的我们采集的图片的类别总数；

步骤三、利用T＝{t,s,r,c}四个变换操作对采集的图片进行变换；为每张图片创建一个代理类，得到RGB模态代理类训练集

和depth模态代理类训练集

其中t操作表示的是对图片进行垂直的和水平的移动，s表示对图片进行尺寸的变换操作，r表示对图片进行旋转操作，c表示对图片进行颜色变换操作；

步骤四、网络训练过程，利用采集的RGB模态数据

所创建的代理类

训练物体识别的RGB网络；对输入到RGB训练网络中的图片进行预处理，通过将输入到网络中的图片中最具判别区域进行有选择的遮挡，将这个处理后的图片输入到网络中训练RGB网络；

步骤五、网络训练过程，利用采集的depth模态数据

所创建的代理类

训练物体识别的depth网络，对于depth模态数据，采用与RGB模态数据相同的预处理操作，将处理后的图片输入到depth训练网络中用以训练depth网络；

步骤六、网络训练过程，通过分类器融合方法将RGB网络和depth网络融合在一起，构造成RGB-D物体识别网络；

步骤七、网络推理过程，利用RGB-D物体识别网络中的RGB网络对RGB模态数据进行特征的提取；

步骤八、利用RGB-D物体识别网络中的depth网络对depth模态数据进行特征的提取；

步骤九、通过分类器层面的融合，将提取的RGB特征和depth特征融合在一起，融合后的特征记为f_rgbd；

步骤十、将融合后的特征f_rgbd送入到分类器classifier_rgbd中进行物体的识别；

所述步骤七中利用RGB网络对RGB模态数据进行特征提取的过程如下：首先将采集的图片归一化处理，然后将归一化后的图片送入到5层的卷积网络中，卷积后接一个池化层，得到特征图，将得到的特征图输入到三层全连接网络中得到特征图f_rgb；

所述步骤八中利用depth网络对depth模态数据进行特征提取的过程如下：首先将采集的图片归一化成大小一致，然后将这归一化后的图片送入到5层的卷积网络中，通过5层的多层感知机得到输入到网络中的特征图的热图区域，通过随机的选择热图中三分之一的区域中进行遮挡，将这个遮挡后的图片输入到池化层中，得到特征图，将得到的特征图输入到两层全连接网络中，获得特征图f_depth。

2.根据权利要求1所述的基于RGB-D物体识别分类器构造方法，其特征在于：所述步骤九中将提取的两种模态特征融合起来构造融合特征f_rgbd，融合的方法为：将得到的f_rgb和f_depth按照通道维度拼接在一起，如果是卷积层，则利用公式：

来计算卷积层后的特征图的h和w，其中l表示的是第l层网络，feature_l表示的第l层的特征图，stride_l表示的是卷积核移动的步长大小；如果是池化层，则利用公式

来计算，池化层后的特征图的h和w，其中kernel表示池化层的池化核大小；h代表的是输入到该层网络中特征图的长度，w表示的输入该层网络中特征图的宽度。

3.根据权利要求2所述的基于RGB-D物体识别分类器构造方法，其特征在于：所述步骤十中，分类器的分类计算如下：抽取一个测试样本的融合特征，输入到分类器中，训练好的分类器通过SoftMax对输入的RGB-D物体图像返回C个数值，然后通过计算哪一个数值最大来预测该物体所属的类别。