CN110348384A - 一种基于特征融合的小目标车辆属性识别方法 - Google Patents

一种基于特征融合的小目标车辆属性识别方法 Download PDF

Info

Publication number
CN110348384A
CN110348384A CN201910627627.2A CN201910627627A CN110348384A CN 110348384 A CN110348384 A CN 110348384A CN 201910627627 A CN201910627627 A CN 201910627627A CN 110348384 A CN110348384 A CN 110348384A
Authority
CN
China
Prior art keywords
target
convolutional layer
layer
branch
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910627627.2A
Other languages
English (en)
Other versions
CN110348384B (zh
Inventor
宫华
张勇
刘芳
雷鸣
许可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 53 Research Institute
Shenyang Ligong University
Original Assignee
CETC 53 Research Institute
Shenyang Ligong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 53 Research Institute, Shenyang Ligong University filed Critical CETC 53 Research Institute
Priority to CN201910627627.2A priority Critical patent/CN110348384B/zh
Publication of CN110348384A publication Critical patent/CN110348384A/zh
Application granted granted Critical
Publication of CN110348384B publication Critical patent/CN110348384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及目标属性识别技术领域,提供一种基于特征融合的小目标车辆属性识别方法。首先构造基于特征融合的小目标车辆属性识别网络,包括特征金字塔网络、区域提名网络、小尺寸目标级联网络;然后将待检测交通图像输入特征金字塔网络,生成包含低层边缘细节信息、中层堆叠融合尺度信息、高层语义信息的特征图并对其堆叠融合,得到多尺度特征图;将多尺度特征图输入区域提名网络,生成包含目标的候选框;再将多尺度特征图与候选框同时输入小尺寸目标定位网络,输出目标坐标信息,根据该信息剪切目标;最后将剪切出的目标输入小尺寸目标分类网络,识别并输出目标及其类别。本发明能够提高对小尺寸目标属性识别的准确性、降低误识别率与漏识别率。

Description

一种基于特征融合的小目标车辆属性识别方法
技术领域
本发明涉及目标属性识别技术领域,特别是涉及一种基于特征融合的小目标车辆属性识别方法。
背景技术
目标属性识别的主要功能是对输入的图像,从中识别并定位出人们感兴趣的目标,并对该目标进行属性预测,包含目标位置以及分类情况等信息。目前目标属性识别技术已经广泛应用于智能城市交通***,可以有效地缓解交管部门对各路段交通疏导的压力。
目前,传统的目标属性识别方法包括基于像素点特征的目标属性识别方法、基于特征描述的目标属性识别方法、基于传统模式识别的目标属性识别方法以及基于视频诊检差分的目标属性识别方法等。
上述传统的目标属性识别方法在识别泛化能力以及识别准确率等方面都有较大缺陷,现有技术中更多的是使用基于卷积神经网络的图像处理方法对图像进行目标属性识别,该方法在很多情况下都能达到非常优异的效果。但是当输入的图像存在较多的小尺寸目标即待识别目标尺寸占整个图像比例小于一定阈值或待识别目标像素面积小于一定阈值时,容易极大程度上不能对目标进行精确定位甚至无法识别出待检测目标,进而无法进行目标的属性识别。目前现有技术中对基于卷积神经网络的目标属性识别方法进行了大量的改进,如:减小特征提取部分的卷积神经网络层数、减少池化层的使用等。这些方法减少了待识别目标的信息丢失情况,但是也减少了图像的高层语义信息的提取,对检测精度造成了一定的影响。
在输入图像中,当目标整体面积小于一定阈值时,深层的卷积神经网络以及下采样操作会进一步减小目标在特征图中的面积,在不断的尺度缩小的过程中,小尺寸目标会最终变成仅包含几个像素点的信息甚至整个目标的信息丢失。考虑到深层卷积神经网络提取到的目标高层语义信息与浅层神经网络提取到的边缘细节信息同样重要,现有技术通过引入特征金字塔网络对多层信息进行融合,从而达到丰富图像信息的目的。
同时,在输入图像中,当目标面积占整个输入图像面积的比例低于一定阈值时,图像的复杂背景就会对目标属性识别产生负面影响。针对该问题,现有技术通过构建包括小尺寸目标定位网络和小尺寸目标分类网络的小尺寸目标级联网络,能够对区域提名网络输出的图像进行定位,并对定位后的小尺寸目标根据坐标信息进行剪切,对剪切出的目标进行进一步的目标属性识别,达到提高目标属性识别率的效果。
同时,传统基于卷积神经网络的目标属性识别方法中使用的ReLU激活函数和传统的损失函数在训练时易造成梯度消失的问题或类别不均造成分类差异大的问题,现有技术中通过引入PReLU激活函数或Focal Loss损失函数,来减小过拟合现象,以有效地减少上述问题。
然而,现有的小目标属性识别方法都没有将特征金字塔网络与定位分类级联网络相结合并应用PReLU和FocalLoss进行小目标属性识别,当存在小尺寸目标即待识别目标面积小于一定阈值或待识别目标面积占整个图像面积的比例小于一定阈值时,不能准确地定位出目标甚至丢失目标,造成了较为严重的误识别和漏识别现象。
发明内容
针对现有技术存在的问题,本发明提供一种基于特征融合的小目标车辆属性识别方法,能够提高对小尺寸目标属性识别的准确性、降低误识别率与漏识别率。
本发明的技术方案为:
一种基于特征融合的小目标车辆属性识别方法,其特征在于,包括下述步骤:
步骤1:构造基于特征融合的小目标车辆属性识别网络;所述基于特征融合的小目标车辆属性识别网络包括特征金字塔网络、区域提名网络、小尺寸目标级联网络;
所述特征金字塔网络包括自底向上的路径、横向连接路径、自顶向下的路径;
所述自底向上的路径为卷积神经网络的前向传播结构,所述自底向上的路径包括6层卷积核大小为3×3的卷积层及大小均为2×2的第一下采样层、第二下采样层;第一卷积层、第二卷积层均有64个卷积核,第三卷积层、第四卷积层均有128个卷积核,第五卷积层、第六卷积层均有256个卷积核,第一卷积层、第二卷积层、第一下采样层、第三卷积层、第四卷积层、第二下采样层、第五卷积层、第六卷积层依次连接;
所述横向连接路径包括金字塔第一分支、金字塔第二分支、金字塔第三分支;所述金字塔第一分支包括依次连接的大小为2×2的第三下采样层、卷积核大小均为3×3的第七卷积层、第八卷积层;所述金字塔第二分支包括依次连接的卷积核大小均为3×3的第九卷积层、第十卷积层;所述金字塔第三分支包括依次连接的大小为2×2的上采样层、卷积核大小均为3×3的第十一卷积层、第十二卷积层;所述第三下采样层、第九卷积层、上采样层分别连接在第一卷积层、第三卷积层、第六卷积层之后,所述第七卷积层、第九卷积层、第十一卷积层的卷积核数量分别与第一卷积层、第三卷积层、第六卷积层的卷积核数量相同,所述第八卷积层、第十卷积层、第十二卷积层的卷积核数量分别为32、64、128;
所述自顶向下的路径包括对金字塔第一分支、金字塔第二分支、金字塔第三分支输出的特征图的堆叠融合;
所述区域提名网络包括卷积核数量为224且卷积核大小为3×3的第十三卷积层及区域提名网络分类分支、区域提名网络回归分支;所述区域提名网络分类分支包括依次连接的卷积核数量为18且卷积核大小为1×1的第十四卷积层和第一softmax分类器,所述区域提名网络回归分支包括卷积核数量为36且卷积核大小为1×1的第十五卷积层;所述第十三卷积层均与第十四卷积层、第十五卷积层连接;
所述小尺寸目标级联网络包括小尺寸目标定位网络、小尺寸目标分类网络;
所述小尺寸目标定位网络包括依次连接的7×7大小的ROI池化层和尺度均为4096的第一全连接层、第二全连接层,所述第二全连接层后接小尺寸目标定位网络分类分支、小尺寸目标定位网络回归分支,所述小尺寸目标定位网络分类分支包括依次连接的尺度为2的第三全连接层、第二softmax分类器,所述小尺寸目标定位网络回归分支包括尺度为8的第四全连接层;
所述小尺寸目标分类网络包括依次连接的特征提取部分、分类部分;所述特征提取部分包括依次连接的卷积核数量为256且卷积核大小为5×5的第十六卷积层、大小为2×2的第四下采样层、卷积核数量为512且卷积核大小为5×5的第十七卷积层、大小为2×2的第五下采样层、数据重组reshape层、卷积核数量为8192且卷积核大小为1×1的第十八卷积层、尺度为300的第五全连接层,所述分类部分包括第三softmax分类器;
其中,所述特征金字塔网络及小尺寸目标分类网络的卷积层的激活函数均为PReLU激活函数,所述区域提名网络及小尺寸目标分类网络的softmax层的损失函数均为Focal Loss损失函数;
步骤2:将待检测交通图像输入所述特征金字塔网络中,金字塔第一分支、金字塔第二分支、金字塔第三分支分别生成包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图,对包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图进行堆叠融合,得到多尺度特征图;所述待检测交通图像为包括小尺寸目标的交通图像,目标为车辆;
步骤3:将多尺度特征图输入所述区域提名网络中,生成包含目标的候选框;
步骤4:将多尺度特征图与候选框同时输入所述小尺寸目标定位网络,输出待检测交通图像中目标的坐标信息;
步骤5:根据目标的坐标信息,将待检测交通图像中的目标剪切出来;
步骤6:将剪切出的目标输入到所述小尺寸目标分类网络中,所述特征提取部分对所述目标进行特征提取,所述第三softmax分类器对目标进行分类,识别并输出待检测交通图像中的目标及目标的类别。
所述PReLU激活函数为
其中,x为卷积层输出的特征向量或矩阵,ai为自适应学习参数,ai的大小由反向更新学习来调整,ai的梯度导数公式为
ε为损失函数,xi为第i个卷积核的输出,ai的反向更新规则公式为
μ为动量,α为学习率。
所述Focal Loss损失函数为
其中,γ为常量;xi为全连接层第i个元素的输出值,xj为全连接层第j个元素的输出值;为目标属于第i类的概率。
本发明的有益效果为:
(1)本发明将特征金字塔网络和卷积神经网络应用到小尺寸目标的属性识别中,构建了包括自底向上的路径、横向连接路径、自顶向下的路径,其中横向连接路径的金字塔第一分支、金字塔第二分支、金字塔第三分支分别生成包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图,并将输入图像的高层语义信息和低层边缘细节信息进行堆叠融合,减少小尺寸目标经过卷积层后特征减少甚至消失所产生的负面影响。
(2)本发明同时引入包括小尺寸目标定位网络和小尺寸目标分类网络的小尺寸目标级联网络、PReLU激活函数及Focal Loss损失函数,能够有效地降低复杂背景对小尺寸目标的负面影响,同时减少训练时梯度消失的问题与类别不均造成分类差异大的问题,提高对小尺寸目标属性识别的准确性,降低误识别率与漏识别率。
附图说明
图1为本发明基于特征融合的小目标车辆属性识别方法的流程图;
图2为本发明中基于特征融合的小目标车辆属性识别网络的结构图;
图3为具体实施方式中单独级联目标检测方法对小尺寸目标的识别情况示意图;
图4为具体实施方式中本发明基于特征融合的小目标车辆属性识别方法对小尺寸目标的识别情况示意图。
具体实施方式
下面将结合附图和具体实施方式,对本发明作进一步描述。
如图1所示,为本发明基于特征融合的小目标车辆属性识别方法的流程图。本发明的基于特征融合的小目标车辆属性识别方法,其特征在于,包括下述步骤:
步骤1:构造基于特征融合的小目标车辆属性识别网络,如图2所示;所述基于特征融合的小目标车辆属性识别网络包括特征金字塔网络、区域提名网络、小尺寸目标级联网络。
所述特征金字塔网络包括自底向上的路径、横向连接路径、自顶向下的路径;
所述自底向上的路径为卷积神经网络的前向传播结构,所述自底向上的路径包括6层卷积核大小为3×3的卷积层及大小均为2×2的第一下采样层、第二下采样层;第一卷积层、第二卷积层均有64个卷积核,第三卷积层、第四卷积层均有128个卷积核,第五卷积层、第六卷积层均有256个卷积核,第一卷积层、第二卷积层、第一下采样层、第三卷积层、第四卷积层、第二下采样层、第五卷积层、第六卷积层依次连接;
所述横向连接路径包括金字塔第一分支、金字塔第二分支、金字塔第三分支;所述金字塔第一分支包括依次连接的大小为2×2的第三下采样层、卷积核大小均为3×3的第七卷积层、第八卷积层;所述金字塔第二分支包括依次连接的卷积核大小均为3×3的第九卷积层、第十卷积层;所述金字塔第三分支包括依次连接的大小为2×2的上采样层、卷积核大小均为3×3的第十一卷积层、第十二卷积层;所述第三下采样层、第九卷积层、上采样层分别连接在第一卷积层、第三卷积层、第六卷积层之后,所述第七卷积层、第九卷积层、第十一卷积层的卷积核数量分别与第一卷积层、第三卷积层、第六卷积层的卷积核数量相同,所述第八卷积层、第十卷积层、第十二卷积层的卷积核数量分别为32、64、128;
其中,为保证特征图数量一致,第七卷积层、第九卷积层、第十一卷积层的卷积核数量分别与横向连接路径前的卷积核数量保持相同;为了保证在自顶向下的路径中的特征图尺度一致,分别在金字塔第一分支、金字塔第三分支中加入2×2大小的下采样层和上采样层;
所述自顶向下的路径包括对金字塔第一分支、金字塔第二分支、金字塔第三分支输出的特征图的堆叠融合。
所述区域提名网络包括卷积核数量为224且卷积核大小为3×3的第十三卷积层及区域提名网络分类分支、区域提名网络回归分支;所述区域提名网络分类分支包括依次连接的卷积核数量为18且卷积核大小为1×1的第十四卷积层和第一softmax分类器,所述区域提名网络回归分支包括卷积核数量为36且卷积核大小为1×1的第十五卷积层;所述第十三卷积层均与第十四卷积层、第十五卷积层连接。
所述小尺寸目标级联网络包括小尺寸目标定位网络、小尺寸目标分类网络;
所述小尺寸目标定位网络包括依次连接的7×7大小的ROI池化层和尺度均为4096的第一全连接层、第二全连接层,所述第二全连接层后接小尺寸目标定位网络分类分支、小尺寸目标定位网络回归分支,所述小尺寸目标定位网络分类分支包括依次连接的尺度为2的第三全连接层、第二softmax分类器,所述小尺寸目标定位网络回归分支包括尺度为8的第四全连接层;
所述小尺寸目标分类网络包括依次连接的特征提取部分、分类部分;所述特征提取部分包括依次连接的卷积核数量为256且卷积核大小为5×5的第十六卷积层、大小为2×2的第四下采样层、卷积核数量为512且卷积核大小为5×5的第十七卷积层、大小为2×2的第五下采样层、数据重组reshape层、卷积核数量为8192且卷积核大小为1×1的第十八卷积层、尺度为300的第五全连接层,所述分类部分包括第三softmax分类器。其中,与数据重组reshape层连接用于匹配向下输入图像的维度。
其中,所述特征金字塔网络及小尺寸目标分类网络的卷积层的激活函数均为PReLU激活函数,所述区域提名网络及小尺寸目标分类网络的softmax层的损失函数均为Focal Loss损失函数。
所述PReLU激活函数为
其中,x为卷积层输出的特征向量或矩阵,ai为自适应学习参数,ai的大小由反向更新学习来调整,ai的梯度导数公式为
ε为损失函数,xi为第i个卷积核的输出,ai的反向更新规则公式为
μ为动量,α为学习率。
所述Focal Loss损失函数为
其中,γ为常量;xi为全连接层第i个元素的输出值,xj为全连接层第j个元素的输出值;为目标属于第i类的概率。
步骤2:将待检测交通图像输入所述特征金字塔网络中,金字塔第一分支、金字塔第二分支、金字塔第三分支分别生成包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图,对包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图进行堆叠融合,得到多尺度特征图;所述待检测交通图像为包括小尺寸目标的交通图像,目标为车辆;
步骤3:将多尺度特征图输入所述区域提名网络中,生成包含目标的候选框;
步骤4:将多尺度特征图与候选框同时输入所述小尺寸目标定位网络,输出待检测交通图像中目标的坐标信息;
步骤5:根据目标的坐标信息,将待检测交通图像中的目标剪切出来;
步骤6:将剪切出的目标输入到所述小尺寸目标分类网络中,所述特征提取部分对所述目标进行特征提取,所述第三softmax分类器对目标进行分类,识别并输出待检测交通图像中的目标及目标的类别。
本实施例中,待检测交通图像包括从COCO数据集中选取的包括小尺寸目标的交通图像并对其重新标注,还包括少量北理数据集的样本。共3549张包括小尺寸目标的交通图像作为测试样本,共16052个车辆目标。其中,有4952个轿车目标,6882个人目标,444个大货车目标,534个小货车目标,541个小客车目标,1423个越野车目标,1276个公交车目标。占图像面积小于2.4%的小尺寸目标共10133个,占总目标数的63%。
本实施例中,使用硬件环境为基于Nvidia Geforce GTX1060GPU,软件环境为基于Ubuntu***下的Caffe深度学习框架、使用CUDA8.0和cuDNN6.0。其中,GPU用于加速网络训练,CUDA以及cuDNN提供用于深度学习的数学计算库。
分别选用未改进的网络(Net-A)、不使用特征金字塔结构的网络(Net-B)、使用特征金字塔结构并将金字塔第一、第二分支分别连接在第二、第四卷积层后且在分支上使用5×5大小卷积核的网络(Net-C)、使用特征金字塔结构并将金字塔第一、第二分支分别连接在第二、第四卷积层后且在分支上使用两个3×3大小卷积核的网络(Net-D)、使用特征金字塔结构并将金字塔第一、第二分支分别连接在第一、第三卷积层后且在分支上使用5×5大小卷积核的网络(Net-E)、使用特征金字塔结构并将金字塔第一、第二分支分别连接在第一、第三卷积层后且在分支上使用两个3×3大小卷积核的网络(Net-F)进行定位网络的测试。同时使用R-CNN、Fast R-CNN、Faster R-CNN、未使用特征金字塔的级联网络(CS-CNN)和使用上述定位网络中在表1效果最好的Net-F作为级联定位网络的级联网络(CS-CNN-GJ)。通过评判精确率和召回率来评估定位网络误识别和漏识别情况,以及使用精确率来评判在不同车型上的目标属性识别效果分别如下表1和表2所示。
表1
由表1可以看出,采用特征金字塔结构的网络Net-C、Net-D、Net-E、Net-F定位方法的精确率和召回率均明显高于不采用特征金字塔结构的网络Net-A、Net-B,同时本发明中将金字塔第一、第二分支分别连接在第一、第三卷积层后且在分支上使用两个3×3大小卷积核的Net-F定位网络的效果明显高于其他定位网络,说明本发明采用的网络Net-F有效地减少了属性识别中定位的误识别数和漏识别数。
表2
由表2可以看出,在不同车型上的目标属性识别效果中,效果最明显的为小货车,本发明采用的CS-CNN-GJ的目标属性识别效果相比于CS-CNN提高了21.64%,相对于R-CNN系列中效果最好的Faster R-CNN提高了25.24%。在总体情况下CS-CNN-GJ的目标属性识别效果相比于CS-CNN提高了17.21%,相对于R-CNN、Fast R-CNN、Faster R-CNN的效果分别提高了32.46%、23.44%和19.29%。可见,采用本发明的方法在小尺寸目标属性识别中无论对于经典的目标属性识别算法如R-CNN系列还是对于基本的级联网络模型来说都具有较高的检测精度。
如图3和图4所示,分别为本实施例中单独级联目标检测方法、本发明基于特征融合的小目标车辆属性识别方法对小尺寸目标的识别情况示意图。在图3(a)中,图左侧轿车上方将建筑识别成了车,这是典型的误识别现象;图3(b)中,图上部的轿车目标较小,没有将其检测出,这是典型的漏识别现象。在图4(a)中,没有将建筑物识别成车;在图4(b)中,检测出了小目标车辆。可见,本发明基于特征融合的小目标车辆属性识别方法对小尺寸目标属性识别的准确性相对于单独级联目标检测方法要高很多,本发明对小尺寸目标属性识别的误识别率与漏识别率相对于单独级联目标检测方法均有明显减少。本发明的方法有效地降低了定位时的误识别率与漏识别率,并有效地提高了目标检测算法的准确率。
显然,上述实施例仅仅是本发明的一部分实施例,而不是全部的实施例。上述实施例仅用于解释本发明,并不构成对本发明保护范围的限定。基于上述实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等,均落在本发明要求的保护范围内。

Claims (3)

1.一种基于特征融合的小目标车辆属性识别方法,其特征在于,包括下述步骤:
步骤1:构造基于特征融合的小目标车辆属性识别网络;所述基于特征融合的小目标车辆属性识别网络包括特征金字塔网络、区域提名网络、小尺寸目标级联网络;
所述特征金字塔网络包括自底向上的路径、横向连接路径、自顶向下的路径;
所述自底向上的路径为卷积神经网络的前向传播结构,所述自底向上的路径包括6层卷积核大小为3×3的卷积层及大小均为2×2的第一下采样层、第二下采样层;第一卷积层、第二卷积层均有64个卷积核,第三卷积层、第四卷积层均有128个卷积核,第五卷积层、第六卷积层均有256个卷积核,第一卷积层、第二卷积层、第一下采样层、第三卷积层、第四卷积层、第二下采样层、第五卷积层、第六卷积层依次连接;
所述横向连接路径包括金字塔第一分支、金字塔第二分支、金字塔第三分支;所述金字塔第一分支包括依次连接的大小为2×2的第三下采样层、卷积核大小均为3×3的第七卷积层、第八卷积层;所述金字塔第二分支包括依次连接的卷积核大小均为3×3的第九卷积层、第十卷积层;所述金字塔第三分支包括依次连接的大小为2×2的上采样层、卷积核大小均为3×3的第十一卷积层、第十二卷积层;所述第三下采样层、第九卷积层、上采样层分别连接在第一卷积层、第三卷积层、第六卷积层之后,所述第七卷积层、第九卷积层、第十一卷积层的卷积核数量分别与第一卷积层、第三卷积层、第六卷积层的卷积核数量相同,所述第八卷积层、第十卷积层、第十二卷积层的卷积核数量分别为32、64、128;
所述自顶向下的路径包括对金字塔第一分支、金字塔第二分支、金字塔第三分支输出的特征图的堆叠融合;
所述区域提名网络包括卷积核数量为224且卷积核大小为3×3的第十三卷积层及区域提名网络分类分支、区域提名网络回归分支;所述区域提名网络分类分支包括依次连接的卷积核数量为18且卷积核大小为1×1的第十四卷积层和第一softmax分类器,所述区域提名网络回归分支包括卷积核数量为36且卷积核大小为1×1的第十五卷积层;所述第十三卷积层均与第十四卷积层、第十五卷积层连接;
所述小尺寸目标级联网络包括小尺寸目标定位网络、小尺寸目标分类网络;
所述小尺寸目标定位网络包括依次连接的7×7大小的ROI池化层和尺度均为4096的第一全连接层、第二全连接层,所述第二全连接层后接小尺寸目标定位网络分类分支、小尺寸目标定位网络回归分支,所述小尺寸目标定位网络分类分支包括依次连接的尺度为2的第三全连接层、第二softmax分类器,所述小尺寸目标定位网络回归分支包括尺度为8的第四全连接层;
所述小尺寸目标分类网络包括依次连接的特征提取部分、分类部分;所述特征提取部分包括依次连接的卷积核数量为256且卷积核大小为5×5的第十六卷积层、大小为2×2的第四下采样层、卷积核数量为512且卷积核大小为5×5的第十七卷积层、大小为2×2的第五下采样层、数据重组reshape层、卷积核数量为8192且卷积核大小为1×1的第十八卷积层、尺度为300的第五全连接层,所述分类部分包括第三softmax分类器;
其中,所述特征金字塔网络及小尺寸目标分类网络的卷积层的激活函数均为PReLU激活函数,所述区域提名网络及小尺寸目标分类网络的softmax层的损失函数均为FocalLoss损失函数;
步骤2:将待检测交通图像输入所述特征金字塔网络中,金字塔第一分支、金字塔第二分支、金字塔第三分支分别生成包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图,对包含低层边缘细节信息的特征图、包含中层堆叠融合尺度信息的特征图、包含高层语义信息的特征图进行堆叠融合,得到多尺度特征图;所述待检测交通图像为包括小尺寸目标的交通图像,目标为车辆;
步骤3:将多尺度特征图输入所述区域提名网络中,生成包含目标的候选框;
步骤4:将多尺度特征图与候选框同时输入所述小尺寸目标定位网络,输出待检测交通图像中目标的坐标信息;
步骤5:根据目标的坐标信息,将待检测交通图像中的目标剪切出来;
步骤6:将剪切出的目标输入到所述小尺寸目标分类网络中,所述特征提取部分对所述目标进行特征提取,所述第三softmax分类器对目标进行分类,识别并输出待检测交通图像中的目标及目标的类别。
2.根据权利要求1所述的基于特征融合的小目标车辆属性识别方法,其特征在于,所述PReLU激活函数为
其中,x为卷积层输出的特征向量或矩阵,ai为自适应学习参数,ai的大小由反向更新学习来调整,ai的梯度导数公式为
ε为损失函数,xi为第i个卷积核的输出,ai的反向更新规则公式为
μ为动量,α为学习率。
3.根据权利要求1所述的基于特征融合的小目标车辆属性识别方法,其特征在于,所述Focal Loss损失函数为
其中,γ为常量;xi为全连接层第i个元素的输出值,xj为全连接层第j个元素的输出值;为目标属于第i类的概率。
CN201910627627.2A 2019-07-12 2019-07-12 一种基于特征融合的小目标车辆属性识别方法 Active CN110348384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910627627.2A CN110348384B (zh) 2019-07-12 2019-07-12 一种基于特征融合的小目标车辆属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910627627.2A CN110348384B (zh) 2019-07-12 2019-07-12 一种基于特征融合的小目标车辆属性识别方法

Publications (2)

Publication Number Publication Date
CN110348384A true CN110348384A (zh) 2019-10-18
CN110348384B CN110348384B (zh) 2022-06-17

Family

ID=68175914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910627627.2A Active CN110348384B (zh) 2019-07-12 2019-07-12 一种基于特征融合的小目标车辆属性识别方法

Country Status (1)

Country Link
CN (1) CN110348384B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807523A (zh) * 2019-10-23 2020-02-18 中科智云科技有限公司 相似目标的检测模型生成方法及设备
CN111429403A (zh) * 2020-02-26 2020-07-17 北京航空航天大学杭州创新研究院 一种基于机器视觉的汽车齿轮成品缺陷检测方法
CN111461221A (zh) * 2020-04-01 2020-07-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向自动驾驶的多源传感器融合目标检测方法和***
CN111553277A (zh) * 2020-04-28 2020-08-18 电子科技大学 一种引入一致性约束的中文签名鉴定方法及终端
CN111950551A (zh) * 2020-08-14 2020-11-17 长春理工大学 一种基于卷积神经网络的目标检测方法
CN111950478A (zh) * 2020-08-17 2020-11-17 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法
US11462029B2 (en) * 2020-12-07 2022-10-04 Shenzhen Deeproute.Ai Co., Ltd Object detection network and method
CN115170894A (zh) * 2022-09-05 2022-10-11 深圳比特微电子科技有限公司 一种烟火检测的方法及装置
CN116071707A (zh) * 2023-02-27 2023-05-05 南京航空航天大学 一种机场特种车辆识别方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络
CN109859190A (zh) * 2019-01-31 2019-06-07 北京工业大学 一种基于深度学习的目标区域检测方法
CN109886245A (zh) * 2019-03-02 2019-06-14 山东大学 一种基于深度学习级联神经网络的行人检测识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络
CN109859190A (zh) * 2019-01-31 2019-06-07 北京工业大学 一种基于深度学习的目标区域检测方法
CN109886245A (zh) * 2019-03-02 2019-06-14 山东大学 一种基于深度学习级联神经网络的行人检测识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王飞等: ""基于融合FPN 和Faster R⁃CNN 的行人检测算法"", 《数据采集与处理》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807523A (zh) * 2019-10-23 2020-02-18 中科智云科技有限公司 相似目标的检测模型生成方法及设备
CN110807523B (zh) * 2019-10-23 2022-08-05 中科智云科技有限公司 相似目标的检测模型生成方法及设备
CN111429403A (zh) * 2020-02-26 2020-07-17 北京航空航天大学杭州创新研究院 一种基于机器视觉的汽车齿轮成品缺陷检测方法
CN111429403B (zh) * 2020-02-26 2022-11-08 北京航空航天大学杭州创新研究院 一种基于机器视觉的汽车齿轮成品缺陷检测方法
CN111461221A (zh) * 2020-04-01 2020-07-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向自动驾驶的多源传感器融合目标检测方法和***
CN111553277B (zh) * 2020-04-28 2022-04-26 电子科技大学 一种引入一致性约束的中文签名鉴定方法及终端
CN111553277A (zh) * 2020-04-28 2020-08-18 电子科技大学 一种引入一致性约束的中文签名鉴定方法及终端
CN111950551A (zh) * 2020-08-14 2020-11-17 长春理工大学 一种基于卷积神经网络的目标检测方法
CN111950551B (zh) * 2020-08-14 2024-03-08 长春理工大学 一种基于卷积神经网络的目标检测方法
CN111950478B (zh) * 2020-08-17 2021-07-23 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法
CN111950478A (zh) * 2020-08-17 2020-11-17 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法
US11462029B2 (en) * 2020-12-07 2022-10-04 Shenzhen Deeproute.Ai Co., Ltd Object detection network and method
CN115170894A (zh) * 2022-09-05 2022-10-11 深圳比特微电子科技有限公司 一种烟火检测的方法及装置
CN115170894B (zh) * 2022-09-05 2023-07-25 深圳比特微电子科技有限公司 一种烟火检测的方法及装置
CN116071707A (zh) * 2023-02-27 2023-05-05 南京航空航天大学 一种机场特种车辆识别方法及***
CN116071707B (zh) * 2023-02-27 2023-11-28 南京航空航天大学 一种机场特种车辆识别方法及***

Also Published As

Publication number Publication date
CN110348384B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110348384A (zh) 一种基于特征融合的小目标车辆属性识别方法
CN106910186A (zh) 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN104850845B (zh) 一种基于非对称卷积神经网络的交通标志识别方法
CN112446388A (zh) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及***
CN103886308B (zh) 一种使用聚合通道特征和软级联分类器的行人检测方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN106980858A (zh) 一种语言文本检测与定位***及应用该***的语言文本检测与定位方法
CN107239736A (zh) 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN106778835A (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN109800628A (zh) 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN108520516A (zh) 一种基于语义分割的桥梁路面裂缝检测和分割方法
CN108427912A (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
CN107463892A (zh) 一种结合上下文信息和多级特征的图像中行人检测方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN106897738A (zh) 一种基于半监督学习的行人检测方法
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN110717493B (zh) 一种基于深度学习的含堆叠字符的车牌识别方法
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN110321967A (zh) 基于卷积神经网络的图像分类改进算法
CN109559297A (zh) 一种基于三维区域生成网络的肺结节检测的方法
CN107085723A (zh) 一种基于深度学习模型的车牌字符整体识别方法
CN101667245A (zh) 基于支持向量新颖检测分类器级联的人脸检测方法
CN106934355A (zh) 基于深度卷积神经网络的车内手检测方法
CN107038442A (zh) 一种基于深度学习的车牌检测和整体识别方法
CN110197259A (zh) 基于小批量数据集与深度学习算法的晶圆缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant