CN111414910B - 基于双重卷积神经网络的小目标增强检测方法和装置 - Google Patents

Abstract

一种基于双重卷积神经网络的小目标增强检测方法，既能提升检测准确性，又能保持与通用检测模型相近的检测速度。检测方法级联双重卷积神经网络，第一重卷积神经网络采用兼顾目标定位和目标识别功能的MobileNet‑SSD网络，并以较低的置信度阈值筛选出候选目标，较低的阈值可以确保小目标不漏检；第二重卷积神经网络根据第一轮检测得到候选目标区域，逐个截取图片子块，采用只含目标识别功能的MobileNet网络，并以较高的置信度阈值筛选出目标，较高的阈值可以确保小目标不错检。通过本发明提出的两轮增强检测方法，可以提升小目标的检测准确性，降低目标错检率和漏检率。

Description

基于双重卷积神经网络的小目标增强检测方法和装置

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于双重卷积神经网络的小目标增强检测方法和装置。

背景技术

目标检测是计算机视觉的一项基础技术，该技术在给定的一副图像中，实现对目标所在区域的定位并识别出目标的类别信息。在实际图像中，目标的尺寸变化范围很大，摆放目标的角度、姿态、在图像中的位置都不一样，目标之间可能还有重叠现象，这使得目标检测的难度变得很大。目前学术和工业界出现的目标检测算法主要分成两类：

传统基于人工规则提取特征的方法，采用基于滑动窗口的区域选择策略，采用HOG算子提取目标特征向量，典型算法是：级联Cascade+HOG+Haar/SVM以及上述方法的诸多改进、优化。其主要问题：基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；手工设计的特征对于多样性的变化没有很好的鲁棒性。

近年基于卷积神经网络自动提取特征的方法，其中又经历了两个阶段发展。第一阶段是候选区域+深度学习分类的两步法，通过提取候选区域，并对相应区域进行以深度学习方法为主的分类的方案，如：R-CNN、Fast R-CNN、Faster R-CNN等系列方法。R-CNN方法有效地改善了传统方法的两个问题；卷积神经网络CNN方法，替代手工特征，提升了算法的鲁棒性。Faster R-CNN虽然速度有所改进，但是速度上并不能满足实时的要求，而且需要训练多个神经网络模型。于是，卷积神经网络发展到一个全新的阶段，第二个阶段是基于深度学习回归的一步法，这类算法不需要单独提取候选区域，而是把区域的识别也放到深度学习中，实现了端到端的目标检测，如：YOLO/SSD/MobileNet-SSD等方法。其中，MobileNet-SSD把SSD的前端VGG特征提取网络替换为MobileNet，MobileNet是Google提出的适用于手机端目标识别的卷积神经网络模型。

小目标检测在深度学习卷积神经网络模型中一直是一个难题。目标检测算法从传统到深度学习经历了一系列的改进，在目标检测准确性和实时性取得了长足的发展，但仍然存在小目标识别准确性差的问题。小目标有两种定义方式，一种是相对尺寸大小，如目标尺寸的长宽是原图像尺寸的0.1，即可认为是小目标，另外一种是绝对尺寸的定义，即尺寸小于32*32像素的目标即可认为是小目标，本发明采用第一种定义。早期的小目标检测方法大多数是基于通用的面向常规中大型目标的方法，如经典的单步方法SSD，两步法FasterR-CNN等，这些方法主要是针对通用目标数据集来设计的解决方案，擅长检测中大型目标，因此对于图像中的小目标来说，检测效果不是很理想。

近年提出了利用多层特征图的第二种方法，对小目标检测的效果产生了显著的提升，多层特征图方法分为以下3类：特征金字塔、RNN思想、逐层预测。特征金字塔：参考多尺度特征图的特征信息，同时兼顾了较强的语义特征和位置特征。该方法的优势在于，多尺度特征图是卷积神经网络中固有的过渡模块，堆叠多尺度特征图对于算法复杂度的增加微乎其微。逐层预测：该方法对于卷积神经网络的每层特征图输出进行一次预测，最后综合考量得出结果。同样，该方法也需要极高的硬件性能。RNN思想：参考了RNN算法中的门限机制、长短期记忆等，同时记录多层次的特征信息。但RNN固有的缺陷是训练速度较慢。

上述两大类现有技术中，第一类采用MobileNet-SSD等面向常规中大型目标的通用检测模型，存在小目标检测准确性低，容易导致错检或漏检的问题。第二类采用多层特征图的方法，因为增加了特征图，大大增加了训练和推理时间，影响算法的实时性。

发明内容

本发明提供了一种基于双重卷积神经网络的小目标增强检测方法和装置，解决了上述技术问题，既能提升检测准确性，又能保持与通用检测模型相近的检测速度。

本发明提供的一种基于双重卷积神经网络的小目标增强检测方法，具体技术方案包括以下步骤：

第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络；

第一重卷积神经网络检测结果以较低的置信度阈值(0.01-0.1)筛选出候选目标区域，较低的阈值可以确保小目标不漏检；

根据第一重卷积神经网络得到候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，把小目标变成像素占比较高的目标，图片子块送入第二重卷积神经网络；

第二重卷积神经网络采用只含目标识别功能的缩小版MobileNet识别网络；

第二重卷积神经网络以较高的置信度阈值(0.85-0.95)筛选出目标，较高的阈值可以确保小目标不错检。

本发明的有益效果在于，采用双重卷积神经网络进行目标检测，相对于网络缩小因子a默认为1.0的标准版MobileNet-SSD网络，不降低检测速度的同时，提升了小目标的检测准确率，以Pascal VOC数据集中的类别bottle为例，AP提升40％。

附图说明

图1为本发明基于双重卷积神经网络的小目标增强检测方法流程图。

具体实施方式

下文中，结合附图和实施例对本发明作进一步阐述。

本实施例提供的一种基于双重卷积神经网络的小目标增强检测方法，将待检测图片送入双重卷积神经网络，最终得到目标列表，包括目标位置和类别。本发明流程如图1所示，具体实现步骤如下：

本发明双重卷积神经网络包括第一重卷积神经网络和第二重卷积神经网络，第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，即网络缩小因子a从标准版MobileNet-SSD的1.0降低为0.5，缩小版检测网络的检测时间是基准检测网络的1/4；

待测图片送入第一重卷积神经网络执行推理过程，第一重卷积神经网络输出检测的结果，在结果队列中，检测目标按置信度概率值从高到低排序，以较低的置信度阈值(0.1)筛选出候选目标；

根据第一重卷积神经网络得到候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，把像素占比较小(＜1％)的小目标变成像素占比较高(＞50％)的大目标，图片子块送入第二重卷积神经网络；

第二重卷积神经网络采用只含目标识别功能的MobileNet识别网络，识别网络的计算时间是基准检测网络1/8，假设第二重卷积神经网络识别4个目标，识别计算时间1/2。

将目标像素占比较高的图像子块逐个送入第二重卷积神经网络执行推理过程，得到按置信度概率值从高到低排序的目标队列，以较高的置信度阈值(0.85-0.95)筛选出目标，即如果目标队列某个目标的置信度高于阈值，则图像子块确认是目标；否则不是目标。

双重卷积神经网络总共计算时间占基准检测网络的3/4(1/4+1/2)，以上第二重卷积网络采用网络缩小因子为1.0的标准版MobileNet，如果第二重卷积网络也采用缩小版MobileNet，比如网络缩小因子设为0.5，可以进一步提升识别目标的数量。

本发明实施例采用双重卷积神经网络进行目标检测，相对于网络缩小因子a默认为1.0的MobileNet-SSD网络，不降低检测速度的同时，提升了小目标的检测准确率，以Pascal VOC数据集中的类别bottle为例，测试集所有样本的平均精度(AP)值提升40％。

本实施例还提供了一种基于双重卷积神经网络的小目标增强检测装置，检测装置包括：包括第一重卷积神经网络单元和第二重卷积神经网络单元。

第一重卷积神经网络单元采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，筛选出候选目标区域，通过对筛选出的候选目标区域逐个截取目标图片子块，从而提升目标像素占比，形成高像素占比目标图片子块，将高像素占比目标图片子块送入第二重卷积神经网络单元；

第二重卷积神经网络单元采用只含目标识别功能的缩小版MobileNet识别网络，对高像素占比目标图片进行目标识别，筛选出目标。

较佳地，所述第一重卷积神经网络单元通过设置低置信度阈值筛选出候选目标区域，所述低置信度阈值的范围为0.01-0.1。

较佳地，所述第二重卷积神经网络单元通过设置高置信度阈值筛选出目标，所述高置信度阈值的范围为0.85-0.95。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。

一种存储器，存储器存储有计算机程序，计算机程序执行如下步骤：

第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，第一重卷积神经网络通过设置低置信度阈值筛选出候选目标区域；

根据第一重卷积神经网络筛选出的候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，形成高像素占比目标图片子块，将高像素占比目标图片子块送入第二重卷积神经网络；

第二重卷积神经网络采用只含目标识别功能的缩小版MobileNet识别网络，对高像素占比目标图片进行目标识别，通过设置高置信度阈值筛选出目标。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，所述方法包括以下步骤：

第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，第一重卷积神经网络通过设置低置信度阈值筛选出候选目标区域；

根据第一重卷积神经网络筛选出的候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，形成高像素占比目标图片子块，将高像素占比目标图片子块送入第二重卷积神经网络；

第二重卷积神经网络采用只含目标识别功能的缩小版MobileNet识别网络，对高像素占比目标图片进行目标识别，通过设置高置信度阈值筛选出目标。

2.如权利要求1所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第一重卷积神经网络设置的低置信度阈值的范围为0.01-0.1。

3.如权利要求2所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第二重卷积神经网络设置的高置信度阈值的范围为0.85-0.95。

4.如权利要求3所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第二重卷积神经网络筛选出的目标包括目标位置和目标类别。

5.如权利要求4所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，缩小版MobileNet-SSD检测网络的网络缩小因子a设为0.5。

6.如权利要求5所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第一重卷积神经网络设置的低置信度阈值为0.1。

7.一种基于双重卷积神经网络的小目标增强检测装置，其特征在于，所述检测装置包括第一重卷积神经网络单元和第二重卷积神经网络单元；

第一重卷积神经网络单元采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，筛选出候选目标区域，通过对筛选出的候选目标区域逐个截取目标图片子块，从而提升目标像素占比，形成高像素占比目标图片子块，将高像素占比目标图片子块送入第二重卷积神经网络单元；

第二重卷积神经网络单元采用只含目标识别功能的缩小版MobileNet识别网络，对高像素占比目标图片进行目标识别，筛选出目标。

8.如权利要求7所述的一种基于双重卷积神经网络的小目标增强检测装置，其特征在于，所述第一重卷积神经网络单元通过设置低置信度阈值筛选出候选目标区域，所述低置信度阈值的范围为0.01-0.1。

9.如权利要求8所述的一种基于双重卷积神经网络的小目标增强检测装置，其特征在于，所述第二重卷积神经网络单元通过设置高置信度阈值筛选出目标，所述高置信度阈值的范围为0.85-0.95。

10.一种存储器，所述存储器存储有计算机程序，其特征在于，所述计算机程序执行如下步骤：

第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，第一重卷积神经网络通过设置低置信度阈值筛选出候选目标区域；

根据第一重卷积神经网络筛选出的候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，形成高像素占比目标图片子块，将高像素占比目标图片子块送入第二重卷积神经网络；

第二重卷积神经网络采用只含目标识别功能的缩小版MobileNet识别网络，对高像素占比目标图片进行目标识别，通过设置高置信度阈值筛选出目标。

Images