CN110222712A - 一种基于深度学习的多专项目标检测算法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多专项目标检测算法，所述目标检测算法的检测模型框架主要包括RoI生成模块和多专项通道模块；所述目标检测算法通过多尺度滑动窗口和选择性搜索得到增广的RoI集，还以穷举的方式接手多尺度滑动窗口生成密集的RoI集；所述目标检测算法通过设计多专项通道网络，每个专项通道网络负责检测一种类型的RoI，每个专项网络都有相同形式的全连接层。本发明利用了两种策略来提升性能，这两种策略在不同的方面增强了检测模型的性能，设计了与形状类别相关的多专项通道检测；使用选择性搜索进一步生成增广的RoI数据集提供给网络进行训练。

Description

一种基于深度学习的多专项目标检测算法

技术领域

本发明涉及目标检测算法，具体涉及一种基于深度学习的多专项目标检测算法。

背景技术

目前，目标检测作为计算机视觉中经典的研究内容之一，在研究领域得到越来越多的关注。一般来说，目标检测使用独特的形状模式作为证据，以找到图像中的感兴趣的目标。目标检测模型是在这些形状模式上进行训练的，这些形状模式显示出不同目标的类别。然而，对于单个模型来说，准确地识别所有的外型是相当麻烦的，因为根据目标的基本形状以及不同的姿势和视角，在图像中目标的显示有很大的区别。因此，传统的目标检测方法往往采用混合多个分类器的方法，每个分类器只与相对应的形状图案相关联，以便更好地捕捉目标的形状。在引入卷积神经网络之前，HOG-SVM、DPM等非卷积神经网络的目标检测方法被广泛用于将感兴趣区域(RoI)分类到相应的目标类别。

在过去几年中，人们多次尝试使用卷积神经网路进行目标检测，其中最突出的方法是R-CNN以及基于R-CNN而改进的主流方法。R-CNN依靠启发式选择难负样本的策略来提高性能，而后也有学者利训练迭代过程中在线困难样本挖掘，在每次训练迭代中自动选择具有高优化损失的困难样本来提高检测性能。

发明内容

本发明的主要目的在于提供一种基于卷积神经网络的目标检测方法，采用了多个专项通道进行检测。

本发明采用的技术方案是：一种基于深度学习的多专项目标检测算法，所述目标检测算法的检测模型框架主要包括RoI生成模块和多专项通道模块；其中的数据集能提高网络模型的检测精度和鲁棒性；

所述RoI生成模块的功能为：所述目标检测算法通过多尺度滑动窗口和选择性搜索得到增广的RoI集，在通过选择性搜索生成相对稀疏的RoI集的基础上，还以穷举的方式接手多尺度滑动窗口生成密集的RoI集；

所述多专项通道模块的功能为：所述目标检测算法不采用单通道的RoI检测网络流形，而是通过设计多专项通道网络，每个专项通道网络负责检测一种类型的RoI，每个专项网络都有相同形式的全连接层；

所述目标检测算法采用三种RoI形状，分别是水平伸长，正方形和垂直伸长，根据多尺度滑动窗口寻找具有不同纵横比的区域，使用了高宽比为[3∶1，1∶1，1∶3]的比例来覆盖正方形和细长的目标。

进一步地，所述基于深度学习的多专项目标检测算法还包括：对于每一个纵横比例r，多尺度搜索从宽度(w)和高度(h)的初始化窗口大小开始，使得以及其中W和H分别为输入图像的宽度和高度；滑动步长设定为0.25×min(w，h)；在图像滑动具有特定比例的窗口后，将窗口大小除以2^(1/4)，然后再次滑动窗口；保证了每四次迭代后窗户的大小减少一半；重复这个过程，直到min(h，w)小于25像素。

更进一步地，所述基于深度学习的多专项目标检测算法还包括：对于每个RoI，其对应的从RoI池化层输出的特征图被输入到指定的专项通道中。

更进一步地，所述基于深度学***伸长，正方形或垂直伸长中选择一个形状类别进行标记，并用以下公式表示RoI的纵横比：

θ＝log₂(w/h)

其中w和h分别表示RoI的宽度和高度；在训练过程中，通过上述公式，将所有θ值大于或者等于0的RoIs分配给H的专项通道，当θ值处于[-1，+1]之间时，将处于这个阈值之间的RoIs分配给S的专项通道；当θ值小于或等于0时，分配给V专项通道，在这样的分配原则下，RoI能分为多个类别。

更进一步地，所述基于深度学习的多专项目标检测算法还包括：为了使RoI只分配给一个专项通道进行测试，保证分配原则没有重叠区域，设置如下公式：

更进一步地，所述基于深度学习的多专项目标检测算法还包括：

在整个训练过程中，权重为W的网络通过最小损失函数L(W)进行优化，L(W)是正则化函数R(W)以及其余两项代价函数之和，每对损失函数都与网络中的一个专项检测通道相连；对于每一个专项通道e，一个softmax损失L_softmax和L1smooth损失L_smooth分别用于目标分类和RoI检测框回归，总的损失函数为：

其中，

p＝(p₀，...，p_K)指对于每个RoI在K种类别中的离散概率分布，u为真实目标检测种类。

本发明的优点：

本发明利用了两种策略来提升性能，这两种策略在不同的方面增强了检测模型的性能：设计了与形状类别相关的多专项通道检测；使用选择性搜索进一步生成增广的RoI数据集提供给网络进行训练。

使用专项通道检测模型可以更好地估计变化较大的复合数据(如高斯混合模型)的概率分布。在图像领域，目标的外观会根据它们的形状、姿态和视角是显出很大的变化，因此使用专项通道对不同形状类别的目标进行检测能有效地提高模型的检测精度。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的一种基于深度学习的多专项目标检测算法框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，如图1所示，一种基于深度学习的多专项目标检测算法，所述目标检测算法的检测模型框架主要包括RoI生成模块和多专项通道模块；其中的数据集能提高网络模型的检测精度和鲁棒性；在面对复杂的数据时网络模型仍能保持高检测精度。

所述RoI生成模块的功能为：所述目标检测算法通过多尺度滑动窗口和选择性搜索得到增广的RoI集，在通过选择性搜索生成相对稀疏的RoI集的基础上，还以穷举的方式接手多尺度滑动窗口生成密集的RoI集；

所述多专项通道模块的功能为：所述目标检测算法不采用单通道的RoI检测网络流形，而是通过设计多专项通道网络，每个专项通道网络负责检测一种类型的RoI，每个专项网络都有相同形式的全连接层；

专项通道是指通过给定RoI的形状和比例进行匹配执行，所述目标检测算法采用三种RoI形状，分别是水平伸长，正方形和垂直伸长，根据多尺度滑动窗口寻找具有不同纵横比的区域，使用了高宽比为[3∶1，1∶1，1∶3]的比例来覆盖正方形和细长的目标。

所述基于深度学习的多专项目标检测算法还包括：对于每一个纵横比例r，多尺度搜索从宽度(w)和高度(h)的初始化窗口大小开始，使得以及其中W和H分别为输入图像的宽度和高度；滑动步长设定为0.25×min(w，h)；在图像滑动具有特定比例的窗口后，将窗口大小除以2^(1/4)，然后再次滑动窗口；保证了每四次迭代后窗户的大小减少一半；重复这个过程，直到min(h，w)小于25像素。

所述基于深度学习的多专项目标检测算法还包括：

对于每个RoI，其对应的从RoI池化层输出的特征图被输入到指定的专项通道中。

所述基于深度学习的多专项目标检测算法还包括：

RoI生成以后，将每个RoI按照其形状类别分别输入三个专项通道中的一个；每个RoI根据纵横比在水平伸长，正方形或垂直伸长中选择一个形状类别进行标记，并用以下公式表示RoI的纵横比：

θ＝log₂(w/h)

其中w和h分别表示RoI的宽度和高度；在训练过程中，通过上述公式，将所有θ值大于或者等于0的RoIs分配给H的专项通道，当θ值处于[-1，+1]之间时，将处于这个阈值之间的RoIs分配给S的专项通道；当θ值小于或等于0时，分配给V专项通道，在这样的分配原则下，RoI能分为多个类别。H代表horizontally elongated，S代表square-like，V代表vertically elongated。

所述基于深度学习的多专项目标检测算法还包括：

为了在训练过程中让多个专项通道负责RoI，这些RoI可以跨不同类别共享。而在测试过程中，为了使RoI只分配给一个专项通道进行测试，必须保证分配原则没有重叠区域，根据该原则，设置如下公式：

为了使RoI只分配给一个专项通道进行测试，保证分配原则没有重叠区域，设置如下公式：

所述基于深度学习的多专项目标检测算法还包括：

在整个训练过程中，权重为W的网络通过最小损失函数L(W)进行优化，L(W)是正则化函数R(W)以及其余两项代价函数之和，每对损失函数都与网络中的一个专项检测通道相连；对于每一个专项通道e，一个softmax损失L_softmax和L1smooth损失L_smooth分别用于目标分类和RoI检测框回归，总的损失函数为：

其中，

p＝(p₀，...，p_K)指对于每个RoI在K种类别中的离散概率分布，u为真实目标检测种类。

本发明的一种新的基于卷积神经网络的目标检测方法，采用了多个专项通道进行检测，称为基于深度学习的多专项目标检测算法。

生成RoI的传统方法之一是使用多尺度滑动窗口来进行密集的搜索，为了避免多余的计算复杂度，搜索空间被限制在一个规则的网格和一组固定的比例和纵横比。后续有一些方法通过引入objectness的概念，采用相对稀疏的搜索方法来代替密集搜索，有学者使用一个objectness-quality的函数丢弃了其检测分数在某一阈值一下的子搜索空间，还有学者通过引入一种通用的objectness量度，以估计一个区域使用显著性、颜色对比度、边缘密度和边界信息包含任何类别的目标的可能性。在Faster R-CNN中则是通过引入一个区域提议网络RPN，该网路基于objectness生成RoI。而本方法则是综合了上述提到的多尺度滑动窗口以及基于objectness的选择性搜索两种方法的特点来设计RoI生成器。

以往的目标检测算法的架构都是基于单一的通道流形来处理每个感兴趣的区域(RoI)。然而，与这些方法不同，多专项的目标检测算法配备了多个通道流形，其中每一个专项通道用来处理特定类型的RoI。在多专项目标检测算法的体系结构中，感兴趣区域(RoI)首先根据纵横比被分为三个基本的目标形状类别：水平伸长，正方形和垂直伸长。然后由专门处理相应形状类别的专项通道对每个RoI进行处理，每个专项通道都是通过接连几个全连接层来构建的，所有的专项通道之前都有一个RoI池化层和一组共享的卷积层。同时，本算法也专注于扩充训练数据来训练算法模型，更多的训练数据可以更好地提高模型的检测精度，一种方法是通过组合多个数据集来扩充训练数据，而本方法没有采用这种方法，而是通过为每张图像生成更多的RoI来获取更多的训练数据。

R-CNN以及在它基础上发展的许多主流目标检测算法，利用选择性搜索在每张图像上生成大约2000个RoI。而在本方法中，采用了多尺度滑动窗口搜索策略以及利用选择性搜索来获得增广的RoI。选择性搜索提供的增广RoI集在训练多专项目标检测算法方面有着重要的补充作用：

选择性搜索可以对目标的多个相邻区域进行定位，这些区域承载着可供训练的有价值的视觉内容，其中大部分是选择性搜索所遗漏的。

无论是正样本还是负样本，都可以获得大量的感兴趣区域，为卷积神经网络的训练提供了丰富的信息来源。

本发明利用了两种策略来提升性能，这两种策略在不同的方面增强了检测模型的性能：设计了与形状类别相关的多专项通道检测；使用选择性搜索进一步生成增广的RoI数据集提供给网络进行训练。

使用专项通道检测模型可以更好地估计变化较大的复合数据(如高斯混合模型)的概率分布。在图像领域，目标的外观会根据它们的形状、姿态和视角是显出很大的变化，因此使用专项通道对不同形状类别的目标进行检测能有效地提高模型的检测精度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的多专项目标检测算法，其特征在于，所述目标检测算法的检测模型框架主要包括RoI生成模块和多专项通道模块；其中的数据集能提高网络模型的检测精度和鲁棒性；

所述RoI生成模块的功能为：所述目标检测算法通过多尺度滑动窗口和选择性搜索得到增广的RoI集，在通过选择性搜索生成相对稀疏的RoI集的基础上，还以穷举的方式接手多尺度滑动窗口生成密集的RoI集；

所述多专项通道模块的功能为：所述目标检测算法不采用单通道的RoI检测网络流形，而是通过设计多专项通道网络，每个专项通道网络负责检测一种类型的RoI，每个专项网络都有相同形式的全连接层；

所述目标检测算法采用三种RoI形状，分别是水平伸长，正方形和垂直伸长，根据多尺度滑动窗口寻找具有不同纵横比的区域，使用了高宽比为[3:1,1:1,1:3]的比例来覆盖正方形和细长的目标。

2.根据权利要求1所述的基于深度学习的多专项目标检测算法，其特征在于，还包括：

对于每一个纵横比例r，多尺度搜索从宽度(w)和高度(h)的初始化窗口大小开始，使得以及其中W和H分别为输入图像的宽度和高度；滑动步长设定为0.25×min(w,h)；在图像滑动具有特定比例的窗口后，将窗口大小除以2^(1/4)，然后再次滑动窗口；保证了每四次迭代后窗户的大小减少一半；重复这个过程，直到min(h,w)小于25像素。

3.根据权利要求2所述的基于深度学习的多专项目标检测算法，其特征在于，还包括：

对于每个RoI，其对应的从RoI池化层输出的特征图被输入到指定的专项通道中。

4.根据权利要求1所述的基于深度学习的多专项目标检测算法，其特征在于，还包括：

RoI生成以后，将每个RoI按照其形状类别分别输入三个专项通道中的一个；每个RoI根据纵横比在水平伸长，正方形或垂直伸长中选择一个形状类别进行标记，并用以下公式表示RoI的纵横比：

θ＝log₂(w/h)

其中w和h分别表示RoI的宽度和高度；在训练过程中，通过上述公式，将所有θ值大于或者等于0的RoIs分配给H的专项通道，当θ值处于[-1,+1]之间时，将处于这个阈值之间的RoIs分配给S的专项通道；当θ值小于或等于0时，分配给V专项通道，在这样的分配原则下，RoI能分为多个类别。

5.根据权利要求4所述的基于深度学习的多专项目标检测算法，其特征在于，还包括：

为了使RoI只分配给一个专项通道进行测试，保证分配原则没有重叠区域，设置如下公式：

6.根据权利要求1所述的基于深度学习的多专项目标检测算法，其特征在于，还包括：

在整个训练过程中，权重为W的网络通过最小损失函数L(W)进行优化，L(W)是正则化函数R(W)以及其余两项代价函数之和，每对损失函数都与网络中的一个专项检测通道相连；对于每一个专项通道e，一个softmax损失L_softmax和L1smooth损失L_smooth分别用于目标分类和RoI检测框回归，总的损失函数为：

其中， p＝(p₀,…,p_K)指对于每个RoI在K种类别中的离散概率分布，u为真实目标检测种类。