CN113159063B - 一种基于改进的RetinaNet小目标检测方法 - Google Patents
一种基于改进的RetinaNet小目标检测方法 Download PDFInfo
- Publication number
- CN113159063B CN113159063B CN202110344831.0A CN202110344831A CN113159063B CN 113159063 B CN113159063 B CN 113159063B CN 202110344831 A CN202110344831 A CN 202110344831A CN 113159063 B CN113159063 B CN 113159063B
- Authority
- CN
- China
- Prior art keywords
- detection
- layer
- feature
- convolution
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000010790 dilution Methods 0.000 description 3
- 239000012895 dilution Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进RetinaNet的小目标检测技术。该发明在许多基于深度学习的目标检测模型都具有一定的实用性,该专利以行人与车辆检测为说明案例。行人与车辆的检测在计算机视觉的实际较为广泛,且两类目标都呈现出目标尺寸下、检测场景复杂的特点。针对检测场景复杂的问题,在RetinaNet模型结构中的FPN加入了多层融合模块,多层融合可以一定程度解决特征金字塔结构中顶层语义信息被稀释的问题;针对小目标的问题,由于多尺度检测中小目标在特征层的选择灵活性较低,较大程度上依赖金字塔底层的细节信息,利用超分辨SR技术对底层特征信息进行补偿,使底层的细节信息和纹理信息等更加丰富。基于改进后的RetinaNet算法模型能够精准识别小尺寸目标,且模型也取得较高检测精度。
Description
技术领域
本发明涉及深度学习中的目标检测领域,针对小目标检测尤其是行人与车辆检测技术。
背景技术
随着计算机视觉技术的发展与硬件设备性能的提高,目标检测技术在生产生活运用度大幅提高,特别是行人与车辆检测是当今最为常见的检测运用场景。如图1所示,行人与车辆两类目标在实际检测场景出通常呈现出目标尺寸小、场景环境复杂的特点,传统依靠人眼对监控视频进行定位与排查效率低下,且准确度不高,易出现漏检误检等现象。此外人眼筛查无法满足实时监控与检测的要求。因此行人与车辆检测就显得十分重要。
常见的检测算法通常分为以下几类:
(1)基于人工提取特征的目标检测算法:该类算法主要包括HOG、SIFT、SURF以及DPM等;
(2)基于卷积神经网络的目标检测算法:该类算法又可细分为两类,一类为单阶段目标检测算法,包括SSD、YOLOV3、RetinaNet等;另一类则是双阶段检测算法,包括SPPNet以及RCNN系列模型。
随着深度学习的不断进步和发展,其在生产生活等领域的应用越来越广泛,尤其是目标检测技术,出现了一批性能优秀的检测框架,但对于小目标及复杂场景的检测一致是该领域的一大难题。复杂场景精测结果不理想及小目标检测精度低的根本原因在于不同尺度的特征金字塔层级中的信息没有得到高效合理地利用。本发明对常见的FPN特征金字塔结构进行优化,并对小目标检测进行特殊改进,本发明在各类检测算法中具有一定的通用性。
发明内容
为了克服上述现有技术的不足,本发明提出了一种基于改进的RetinaNet小目标检测技术。该技术引用了深度学习中性能较强的目标检测框架RetinaNet,并针对特征稀释和小目标问题进行了进一步的改进。
本发明所采用的技术方案是:
步骤1:特征提取主干网络采用Resnet-101,包括Conv1、Conv2_x、Conv3_xConv4_x、Conv5_x(简记C1,C2,C3,C4,C5)五个不同尺度的采样层,将每层最后一个残差块的输出特征图利用1×1的卷积进行通道数统一,统一后的特征图分别记为M2,M3,M4,M5;
步骤2:将M5经过3×3卷积消除融合带来的混叠效应,生成特征金字塔的最顶层特征层,记作P5,将M5经两倍上采样,与M4逐像素相加,再经过3×3卷积消除融合带来的混叠效应生成特征图,记为P4。
步骤3:该步骤为专利的核心步骤之一,将C5和C4经过1×1卷积处理后的特征层将其尺寸改变直与C3一致大小,并与C3进行通道拼接得到全新的多层特征F3,并将通道重新排列,然后利用1×1卷积减少特征通道数,并将其与经过上采样的M4逐像素相加融合,得到P3;
步骤4:将P3通过语义内容提取器进行提取,将提取到的特征信息通过接着通过亚像素卷积操作可以将内容提取器提取到的特征的分辨率提升一倍,其尺寸大小在亚像素卷积操作完成后与M2的尺寸大小一致,接着将P3与M2进行融合得到P2,通过纹理提取器进行进一步提取,并与亚像素卷积的输出结果进行融合,得到最终的P2;
步骤5:在FPN上每个检测层分别对应一个检测子网络,子网络包含两个分支,分别用于分类与回归,每个检测层分别使用1:1、1:2、2:1三种长宽比及三种尺寸的anchor,即9种anchor,检测时每一层只选取分数最高的1000个实例做NMS来完成最终的检测。
与现有技术相比,本发明的有益效果是:
(1)特征信息利用更高充分,能够更好的提升模型检测精度;
(2)补偿金字塔底层特征的信息量,能够更好的定位与识别小目标。
附图说明
图1为:行人车辆场景示意图。
图2为:RetinaNet模型结构图。
图3为:FPN结构图。
图4为:改进后的RetinaNet结构图。
图5为:多层融合结构示意图。
图6为:超分辨SR构建底层特征示意图。
图7为:算法检测效果对比图。
具体实施方式
下面结合附图对本发明进一步说明。
RetinaNet网络结构如图2所示,采用Resnet-101作为骨干网络,并加入FPN特征金字塔结构,并在每一层级设置用于分类与位置回归的检测子网络。FPN结构如图3所示,在生成特征图的卷积网络中,生成底层特征图的神经元所叠加的前置计算较少,在原图上的感受野小,更注重保留图像的边缘、纹理等细节信息,而生成高层特征的神经元所叠加的前置计算较多,在原图上的感受野大,更注重保留图像的语义信息。高层特征经过多次下采样,一般会忽略较多的细节信息。
RetinaNet是对conv2_x、conv3_x、conv4_x、conv5_x进行进一步处理得到的特征金字塔结构,首先利用1×1卷积进行通道数统一,再通过自顶向下的方向通过侧向连接和二倍上采样得到M5,M4,M3,M2,最终利用3×3卷积生成消除混叠效应得到最终的特征金字塔。这一过程中,非相邻层的特征无法沟通交流,顶层传递至底层时特征已被融合稀释了数次。此外,小目标在检测过程中灵活性低,一般都依赖底层特征进行检测,因此底层特征的信息丰富度决定了小目标检测的精确度。
本发明对RetinaNet中的FPN结构进行了进一步改进,如图4所示,首先利用多层融合方式在自顶向下传输过程中将顶层原始信息进行保留,将原始的C5和C4层的信息与融合信息M4进行融合生成P3,再利用超分辨SR方法构建出小目标信息补偿模块,融合P3和M2得到用于小目标检测的P2层。
具体方法
(1)C5经过1×1卷积进行通道数统一得到M5,对经过3×3卷积处理得到P5。将M5二倍上采样,与同样经过1×1卷积处理的C4的输出进行融合得到M4,通过3×3卷积消除叠堆效应得到P4,即P5和P4的生成方式与原始FPN中的方式不变,因为自顶向下过程中这两层不存在特征稀释现象;
(2)如图5所示,将C5和C4经过1×1卷积处理后的特征层分别进行两次和一次双线性插值,并与C3进行通道拼接得到全新的多层特征F3,并将通道重新排列与混洗,然后利用1×1卷积减少特征通道数,并将其与经过上采样的M4逐像素相加融合,得到P3;
(3)如图6所示,将P3通过语义内容提取器进行提取,将提取到的特征信息通过接着通过亚像素卷积操作可以将内容提取器提取到的特征的分辨率提升一倍,其尺寸大小在亚像素卷积操作完成后与M2的尺寸大小一致,接着将P3与M2进行融合得到P2,通过纹理提取器进行进一步提取,并与亚像素卷积的输出结果进行融合,得到最终的P2。
这样改进的好处有两个方面,一方面,特征稀释和跨层无法交流的问题得到解决,对于小目标的检测不仅需要参考底层细节信息还需要考虑顶层语义信息,综合多个尺度的信息才能小目标所属类别和方位,多层融合生成P3的方式不仅保留了原始自顶向下的融合路径,还将顶层原始信息保存下来,多层拼接与融合后得到的特征信息更加丰富可靠。另一方面,利用使用带有大量区域细节信息的大规模SR特征来分离小目标和中等目标,更有利于小目标的检测。且高分辨率的特征图生成依赖的是CNN产生的原始特征图而不是其他不可信任的来源。
完成特征金字塔的构建后,在每一层级中密集铺设9种尺寸的anchor,共包含1:1、1:2、2:1三种长宽比,每种比例的尺寸又分为20、21/3、22/3,每个anchor关联一个独立的K维向量(K为类别数)和4维边框回归向量,当IOU大于0.5时anchor和Ground truth相关联,当IOU小于0.4则作为北京,每个锚框至多关联一个Ground truth,K维向量中,关联的类别值为1,其余为0。在金字塔每一层即分别设置两个并行的FCN子网络用于边框回归与分类,分类子网络对于给定的金字塔层级输出的C个通道的Feature Map,子网络使用4个3×3的卷积层,每层的通道数依然是C,接着是一个ReLU激活层;然后跟一个通道数为KA(K是类别数,A是anchor数)的3×3的卷积层;最后使用sigmoid激活函数。边框回归子网络大致相同,只是需要将最后一层通道数设置为4A个。
图7为算法模型检测效果的对比图,其中(a)为原始待检测图像,(b)和(c)分别为原始RetinaNet算法检测结果与改进FPN后的RetinaNet检测结果,可以发现,原始RetinaNet模型中对小目标存在一定的漏检情况,而改进后的检测算法将漏检目标很好的检测出来。
以上所述,仅为本发明的具体实施方式,本说明中所公开的任一特征,除非特别叙述,均可被其他等效或者具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征或/和步骤外,均可以任何方式组合。
Claims (2)
1.一种基于改进的RetinaNet小目标检测方法,其特征在于,包括以下步骤:
步骤1:特征提取主干网络采用Resnet-101,包括Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x五个不同尺度的采样层,把这五个采样层分别记为C1、C2、C3、C4、C5,将每层最后一个残差块的输出特征图利用1×1的卷积进行通道数统一,统一后的特征图分别记为M2,M3,M4,M5;
步骤2:将M5经过3×3卷积消除融合带来的混叠效应,生成特征金字塔的最顶层特征层,记作P5,将M5经两倍上采样,与M4逐像素相加,再经过3×3卷积消除融合带来的混叠效应生成特征图,记为P4;
步骤3:将C5和C4经过1×1卷积处理后的特征层分别进行两次和一次双线性插值,将其尺寸改变为与C3一致大小,并与C3进行通道拼接得到全新的多层特征F3,并将通道重新排列,然后利用1×1卷积减少特征通道数,并将其与经过上采样的M4逐像素相加融合,得到P3;
步骤4:将P3通过语义内容提取器进行提取,将提取到的特征信息通过亚像素卷积操作将内容提取器提取到的特征的分辨率提升一倍,其尺寸大小在操作完成后与M2的尺寸大小一致,接着将P3与M2进行融合得到P2,通过纹理提取器进行提取,并与亚像素卷积的输出结果进行融合,得到最终的P2;
步骤5:在FPN上每个检测层分别对应一个检测子网络,子网络包含两个分支,分别用于分类与回归,每个检测层分别使用1:1、1:2、2:1三种长宽比及三种尺寸的anchor,即9种anchor,检测时每一层只选取分数最高的1000个实例做NMS来完成最终的检测。
2.如权利要求1所述方法,其特征在于,步骤3中的尺寸改变方法为双线性插值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110344831.0A CN113159063B (zh) | 2021-03-30 | 2021-03-30 | 一种基于改进的RetinaNet小目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110344831.0A CN113159063B (zh) | 2021-03-30 | 2021-03-30 | 一种基于改进的RetinaNet小目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113159063A CN113159063A (zh) | 2021-07-23 |
CN113159063B true CN113159063B (zh) | 2022-11-18 |
Family
ID=76885952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110344831.0A Active CN113159063B (zh) | 2021-03-30 | 2021-03-30 | 一种基于改进的RetinaNet小目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113159063B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113902792B (zh) * | 2021-11-05 | 2024-06-11 | 长光卫星技术股份有限公司 | 基于改进RetinaNet网络的建筑物高度检测方法、***和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019223254A1 (zh) * | 2018-05-21 | 2019-11-28 | 北京亮亮视野科技有限公司 | 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法 |
CN111275171A (zh) * | 2020-01-19 | 2020-06-12 | 合肥工业大学 | 一种基于参数共享的多尺度超分重建的小目标检测方法 |
CN111524135A (zh) * | 2020-05-11 | 2020-08-11 | 安徽继远软件有限公司 | 基于图像增强的输电线路细小金具缺陷检测方法及*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8749635B2 (en) * | 2009-06-03 | 2014-06-10 | Flir Systems, Inc. | Infrared camera systems and methods for dual sensor applications |
US10824862B2 (en) * | 2017-11-14 | 2020-11-03 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
CN108288075B (zh) * | 2018-02-02 | 2019-06-14 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
CN110298402A (zh) * | 2019-07-01 | 2019-10-01 | 国网内蒙古东部电力有限公司 | 一种小目标检测性能优化方法 |
CN110659664B (zh) * | 2019-08-02 | 2022-12-13 | 杭州电子科技大学 | 一种基于ssd的高精度识别小物体的方法 |
CN111008562B (zh) * | 2019-10-31 | 2023-04-18 | 北京城建设计发展集团股份有限公司 | 一种特征图深度融合的人车目标检测方法 |
CN111209887B (zh) * | 2020-01-15 | 2023-04-07 | 西安电子科技大学 | 针对小目标检测的ssd模型优化方法 |
CN111950612B (zh) * | 2020-07-30 | 2021-06-01 | 中国科学院大学 | 基于fpn的融合因子的弱小目标检测方法 |
CN111967538B (zh) * | 2020-09-25 | 2024-03-15 | 北京康夫子健康技术有限公司 | 应用于小目标检测的特征融合方法、装置、设备以及存储介质 |
CN112465752A (zh) * | 2020-11-16 | 2021-03-09 | 电子科技大学 | 一种基于改进的Faster R-CNN小目标检测方法 |
-
2021
- 2021-03-30 CN CN202110344831.0A patent/CN113159063B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019223254A1 (zh) * | 2018-05-21 | 2019-11-28 | 北京亮亮视野科技有限公司 | 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法 |
CN111275171A (zh) * | 2020-01-19 | 2020-06-12 | 合肥工业大学 | 一种基于参数共享的多尺度超分重建的小目标检测方法 |
CN111524135A (zh) * | 2020-05-11 | 2020-08-11 | 安徽继远软件有限公司 | 基于图像增强的输电线路细小金具缺陷检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113159063A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023056889A1 (zh) | 模型训练和场景识别方法、装置、设备及介质 | |
CN111259905B (zh) | 一种基于下采样的特征融合遥感图像语义分割方法 | |
CN109902732B (zh) | 车辆自动分类方法及相关装置 | |
CN107767384B (zh) | 一种基于对抗训练的图像语义分割方法 | |
CN110120011B (zh) | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 | |
CN110210608B (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
CN106709511A (zh) | 基于深度学习的城市轨道交通全景监控视频故障检测方法 | |
CN111428781A (zh) | 遥感影像地物分类方法及*** | |
CN110569875B (zh) | 一种基于特征复用的深度神经网络目标检测方法 | |
CN111626300A (zh) | 基于上下文感知的图像语义分割模型及建模方法 | |
CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
CN112036260B (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及*** | |
CN110097110B (zh) | 一种基于目标优化的语义图像修复方法 | |
CN113362242B (zh) | 基于多特征融合网络的图像修复方法 | |
WO2024040973A1 (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 | |
CN104616026A (zh) | 一种面向智能视频监控的监控场景类型辨识方法 | |
CN113159063B (zh) | 一种基于改进的RetinaNet小目标检测方法 | |
CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及*** | |
CN111105354A (zh) | 基于多源深度残差网络的深度图像超分辨率方法及装置 | |
CN117078516B (zh) | 基于残差混合注意力的矿井图像超分辨率重建方法 | |
CN113362239A (zh) | 一种基于特征交互的深度学习图像修复方法 | |
CN116188882A (zh) | 融合自注意力和多路路径图卷积的点云上采样方法及*** | |
CN110765845B (zh) | 一种基于视频的行为识别方法 | |
CN111681176B (zh) | 自适应卷积的残差修正单幅图像去雨方法 | |
CN114494284A (zh) | 一种基于显式监督区域关系的场景解析模型及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |