CN113326858A - 一种多特征提取网络的目标检测方法 - Google Patents
一种多特征提取网络的目标检测方法 Download PDFInfo
- Publication number
- CN113326858A CN113326858A CN202010128994.0A CN202010128994A CN113326858A CN 113326858 A CN113326858 A CN 113326858A CN 202010128994 A CN202010128994 A CN 202010128994A CN 113326858 A CN113326858 A CN 113326858A
- Authority
- CN
- China
- Prior art keywords
- network
- feature extraction
- classification regression
- training
- candidate region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000007812 deficiency Effects 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims abstract description 3
- 238000012360 testing method Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种多特征提取网络的目标检测方法,搭建网络结构,针对FasterR‑CNN算法不足,为候选区域生成网络和分类回归网络设置独立的特征提取网络,使候选区域生成网络学习的特征由FPN提取且不会进入到分类回归网络中,分类回归网络学习的特征由CNN提取,初始化特征提取网络,然后对候选区域网络和分类回归网络进行一定标准差高斯分布随机初始化,训练网络模型程中需要分为候选区域生成子网络和分类回归子网络两个子网络进行训练,下载台标数据集,该数据集包括多种目标类别,通过选用多特征提取网络的输出作为输入,极大提高了网络的性能。
Description
技术领域
本发明涉及目标检测算法的优化领域技术领域,特别是,涉及一种多特征提取网络的目标检测方法。
背景技术
目前,在Faster R-CNN算法中,Faster R-CNN网络需要对整体的输入图像进行特征提取,并对其进行候选区域的生成与分类。候选区域生成网络和分类回归网络共享同一个特征提取网络,特征提取网络输出的特征将不加区分地直接送到候选区域生成网络和分类回归网络中。候选区域生成主要区分背景与目标之间的差异;分类回归网络主要区分不同目标之间的特征差异。令二者共用同一个特征提取网络的输出作为输入,会对网络的性能造成一定程度的影响。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
因此,本发明要解决的技术问题在于克服现有技术中共用同一个特征提取网络的输出作为输入,会对网络的性能造成一定程度影响的缺陷,从而提供一种多特征提取网络的目标检测方法。
为解决上述技术问题,本发明提供如下技术方案:一种多特征提取网络的目标检测方法,包括:
搭建网络结构;
初始化FPN特征提取网络;
训练网络模型;
下载台标数据库;
对比两种模型的检测结果。
作为本发明所述多特征提取网络的目标检测方法的一种优选方案,其中:搭建网络结构,针对FasterR-CNN算法不足,为候选区域生成网络和分类回归网络设置独立的特征提取网络,使候选区域生成网络学习的特征由FPN提取且不会进入到分类回归网络中,分类回归网络学习的特征由CNN提取。
作为本发明所述多特征提取网络的目标检测方法的一种优选方案,其中:初始化特征提取网络,然后对候选区域网络和分类回归网络进行一定标准差的高斯分布随机初始化。
作为本发明所述多特征提取网络的目标检测方法的一种优选方案,其中:训练网络模型的过程中需要分为候选区域生成子网络和分类回归子网络两个子网络进行训练。
作为本发明所述多特征提取网络的目标检测方法的一种优选方案,其中:下载台标数据库,包括多个卫星卫视及网络卫视的台标,样本随机分为训练集和测试集。
作为本发明所述多特征提取网络的目标检测方法的一种优选方案,其中:对比两种模型的检测结果,经过多特征提取网络改进的算法比传统Faster RCNN算法的准确率有一定的提升。
本发明的有益效果:
本发明提供一种多特征提取网络的目标检测方法,通过选用多特征提取网络的输出作为输入,极大提高了网络的性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为多特征提取网络的目标检测算法流程图;
图2位多特征提取网络的目标检测算法具体细节流程图;
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
本实施例提供一种多特征提取网络的目标检测方法,
步骤一:搭建网络结构,针对FasterR-CNN算法不足,为候选区域生成网络和分类回归网络设置相对独立的特征提取网络,使候选区域生成网络学习的特征由FPN提取,分类回归网络学习的特征由CNN提取;
步骤二:下载台标数据库,共有10个类,包括中央1-5,北京,天津,东方等多个卫星卫视及网络卫视的台标。共八千张样本随机分为训练集(70%)和测试集(30%);
步骤三:初始化FPN特征提取网络,设置网络参数,训练搭建的网络模型;
步骤四:在此数据集上进行验证;
步骤五:对比两种模型的检测结果,经过多特征提取网络改进的算法比传统Faster RCNN算法的准确率提升了1.6%左右
进一步,所述步骤1中,FPN在提取图像特征时主要分为三个部分:自底向上的线路,自顶向下的线路,横向连接。自底向上的线路即CNN的前向卷积过程。在前向过程中,通过卷积运算来提取图像特征,通过池化操作(最大值池化、平均值池化等)构建下采样层来降低特征的尺寸和防止过拟合。这样就形成了一系列特征图(feature map)。feature map的大小在经过某些层后会改变,而在经过其他一些层的时候不会改变,将不改变featuremap大小的层归为一个stage,因此每次抽取的特征都是每个stage的最后一个层输出,这样就构成了特征金字塔。我们利用这一部分作为分类回归网络的特征提取网络。自顶向下的过程采用上采样进行,上采样一般采用内插值方法,即在原有特征图像像素的基础上在像素点之间采用合适的插值算法***新的元素,从而将高层特征图扩大为和下一层特征图具有相同大小的尺寸,进而向下融合。横向连接则是将上采样的结果和自底向上生成的相同大小的feature map进行一维卷积后融合。首先将卷积神经网络生成的对应层的特征图进行1×1的卷积,融合之后还会再采用3*3的卷积核对每个融合结果进行卷积,目的是消除上采样的混叠效应。最终生成的feature map结果和原来自底向上的卷积结果一一对应。
本文设计的FasterR-CNN算法首先使用FPN进行特征提取,然后将提取的特征图送入RPN网络。RPN网络即是候选区域生成网络,它首先在提取的特征图上为每一个特征点配备9种(3种比例×3种面积)矩形框(anchors)作为初始检测框;接着使用Softmax多任务分类器判断anchors里哪些是存在检测目标的positive anchors,初步提取出positiveanchors作为候选区域;再利用多任务损失函数,如下:
其中,pi是第i个anchor是否是一个目标的可能性。如果anchor为正,标签P*就是1(目标),反之P*为0(背景)。Ti为向量,表示对预测窗口进行校准的四个参数化坐标。Lcls是分类损失,Lreg是回归损失,两者结合形成损失函数L。利用L进行边界框回归修正anchors获得精确的预测窗口(proposals)。Rol池化层收集输入的feature maps和proposals,综合这些信息后提取proposal feature maps,和CNN提取的feature maps一起送入后续的分类回归网络——全连接层(Classification)判定目标类别。全连接层利用proposal featuremaps计算proposal的类别,同时再次进行边界框回归获得检测框最终的精确位置。
进一步,所述步骤3中,首先搭建训练平台环境:使用python3.7作为编程语言,操作***Ubuntu16.04;GPU,驱动cuda10.0,软件为pytorch1.0+pycharm。将学习率定位0.001,训练次数为100;对台标数据库的5600张训练集数据作归一化处理为大小1280*720像素,将归一预处理后的样本输入到该网络输入层。运行代码,当网络达到训练次数时停止训练。
进一步,所述步骤4中,按照步骤3的方法训练传统的Faster RCNN网络,将测试台标数据集依次输入训练好的两个网络模型中进行验证测试,采用的评价指标为准确率(式二)
P=TP/(TP+FP)
其中TP为检测出正例,FP为未检测出或检测错误的正例;即检测为正例的样本占正例样本的比例。
进一步,所述步骤5中,检测及对比结果:
多任务特征提取网路Faster RCNN的检测结果:
传统Faster RCNN的检测结果:
由上述两份表格可知,多特征提取网络的目标检测方法,通过选用多特征提取网络的输出作为输入,经过多特征提取网络改进的算法比传统Faster RCNN算法的准确率提升了1.6%左右。
重要的是,应注意,在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案,但参阅此公开内容的人员应容易理解,在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下,许多改型是可能的(例如,各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如,温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如,示出为整体成形的元件可以由多个部分或元件构成,元件的位置可被倒置或以其它方式改变,并且分立元件的性质或数目或位置可被更改或改变。因此,所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中,任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构,且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下,可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此,本发明不限制于特定的实施方案,而是扩展至仍落在所附的权利要求书的范围内的多种改型。
此外,为了提供示例性实施方案的简练描述,可以不描述实际实施方案的所有特征(即,与当前考虑的执行本发明的最佳模式不相关的那些特征,或于实现本发明不相关的那些特征)。
应理解的是,在任何实际实施方式的开发过程中,如在任何工程或设计项目中,可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的,但对于那些得益于此公开内容的普通技术人员来说,不需要过多实验,所述开发努力将是一个设计、制造和生产的常规工作。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种多特征提取网络的目标检测方法,其特征在于:包括,
搭建网络结构;
初始化FPN特征提取网络;
训练网络模型;
下载台标数据库;
对比两种模型的检测结果。
2.根据权利要求1所述多特征提取网络的目标检测方法,其特征在于:搭建网络结构,针对FasterR-CNN算法不足,为候选区域生成网络和分类回归网络设置独立的特征提取网络,使候选区域生成网络学习的特征由FPN提取且不会进入到分类回归网络中,分类回归网络学习的特征由CNN提取。
3.根据权利要求1所述多特征提取网络的目标检测方法,其特征在于:初始化特征提取网络,然后对候选区域网络和分类回归网络进行一定标准差的高斯分布随机初始化。
4.根据权利要求1所述多特征提取网络的目标检测方法,其特征在于:训练网络模型的过程中需要分为候选区域生成子网络和分类回归子网络两个子网络进行训练。
5.根据权利要求1所述多特征提取网络的目标检测方法,其特征在于:下载台标数据库,包括多个卫星卫视及网络卫视的台标,样本随机分为训练集和测试集。
6.根据权利要求1所述多特征提取网络的目标检测方法,其特征在于:对比两种模型的检测结果,经过多特征提取网络改进的算法比传统Faster RCNN算法的准确率有一定的提升。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010128994.0A CN113326858B (zh) | 2020-02-28 | 2020-02-28 | 一种多特征提取网络的目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010128994.0A CN113326858B (zh) | 2020-02-28 | 2020-02-28 | 一种多特征提取网络的目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113326858A true CN113326858A (zh) | 2021-08-31 |
CN113326858B CN113326858B (zh) | 2023-08-22 |
Family
ID=77412723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010128994.0A Active CN113326858B (zh) | 2020-02-28 | 2020-02-28 | 一种多特征提取网络的目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113326858B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
CN109977780A (zh) * | 2019-02-26 | 2019-07-05 | 广东工业大学 | 一种基于深度学习算法的硅藻的检测与识别方法 |
CN110175993A (zh) * | 2019-05-27 | 2019-08-27 | 西安交通大学医学院第一附属医院 | 一种基于FPN的Faster R-CNN肺结核征象检测***及方法 |
-
2020
- 2020-02-28 CN CN202010128994.0A patent/CN113326858B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
CN109977780A (zh) * | 2019-02-26 | 2019-07-05 | 广东工业大学 | 一种基于深度学习算法的硅藻的检测与识别方法 |
CN110175993A (zh) * | 2019-05-27 | 2019-08-27 | 西安交通大学医学院第一附属医院 | 一种基于FPN的Faster R-CNN肺结核征象检测***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113326858B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN106778605B (zh) | 导航数据辅助下的遥感影像道路网自动提取方法 | |
CN111369572B (zh) | 一种基于图像修复技术的弱监督语义分割方法和装置 | |
CN110032998B (zh) | 自然场景图片的文字检测方法、***、装置和存储介质 | |
CN105975913B (zh) | 一种基于自适应聚类学习的道路网提取的方法 | |
KR102104605B1 (ko) | 인공지능 기반 플랜트 도면 내 심볼 자동인식 방법 및 장치 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN111368703A (zh) | 一种基于fpn的台标检测与识别的方法 | |
CN113449594A (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
CN107680113A (zh) | 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法 | |
CN112686104B (zh) | 基于深度学习的多声部乐谱识别方法 | |
CN111798409A (zh) | 一种基于深度学习的pcb缺陷数据生成方法 | |
CN110929621B (zh) | 一种基于拓扑信息细化的道路提取方法 | |
CN110807485B (zh) | 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法 | |
CN113159045A (zh) | 一种结合图像预处理与卷积神经网络的验证码识别方法 | |
CN112836735A (zh) | 一种优化的随机森林处理不平衡数据集的方法 | |
JP2008251029A (ja) | 文字認識装置、ナンバープレート認識システム | |
CN111723852A (zh) | 针对目标检测网络的鲁棒训练方法 | |
CN113763364B (zh) | 一种基于卷积神经网络的图像缺陷检测方法 | |
CN114550134A (zh) | 基于深度学习的交通标志检测与识别方法 | |
Carneiro et al. | Grapevine variety identification through grapevine leaf images acquired in natural environment | |
CN111145314A (zh) | 一种结合地名标注的扫描电子地图地名符号的提取方法 | |
CN115482463B (zh) | 一种生成对抗网络矿区土地覆盖识别方法及*** | |
CN113326858A (zh) | 一种多特征提取网络的目标检测方法 | |
Karakış et al. | Analysis of segmentation parameters in ecognition software using high resolution quickbird ms imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |