CN110619356B - 基于区域建议注意力的目标检测方法 - Google Patents

基于区域建议注意力的目标检测方法 Download PDF

Info

Publication number
CN110619356B
CN110619356B CN201910802929.9A CN201910802929A CN110619356B CN 110619356 B CN110619356 B CN 110619356B CN 201910802929 A CN201910802929 A CN 201910802929A CN 110619356 B CN110619356 B CN 110619356B
Authority
CN
China
Prior art keywords
classification
characteristic
spectrum
spectrums
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910802929.9A
Other languages
English (en)
Other versions
CN110619356A (zh
Inventor
李宏亮
杨健榜
王晓朋
罗鹏飞
陶聚
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910802929.9A priority Critical patent/CN110619356B/zh
Publication of CN110619356A publication Critical patent/CN110619356A/zh
Application granted granted Critical
Publication of CN110619356B publication Critical patent/CN110619356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于区域建议注意力的目标检测方法，针对RefineDet特征判别力不足的问题，将ARM生成的有无目标的分类结果特征谱作为区域建议注意力与ODM的多分类特征谱通过点乘的方式进行融合，在优化后的多分类特征谱中突出目标区域的显著性。本发明优化了多分类特征谱的判别力，提升了后续进行的RefineDet目标检测的分类效果，从而有效减少误检、漏检情况，提升目标检测的准确率。相比于现有RefineDet算法，能够在不增加参数的基础上，有效地提升目标检测的分类精度。

Description

基于区域建议注意力的目标检测方法
技术领域
本发明涉及目标检测技术。
背景技术
目标检测和图像分类、分割是计算机视觉的三大任务。目标检测是许多进阶视觉任务的先决条件，如：关系识别、场景解析、实例分割等等。当下，目标检测也被很多公司用到了造福民生的实际任务中，例如：智慧交通、安防、智能眼镜、自动驾驶等。由于目标检测的重大意义，大量科研人员投入到目标检测的研究上来，为目标检测的发展做出了巨大的贡献。随着计算机算力的大大提升，深度学习的蓬勃发展，目标检测迎来一个又一个里程碑式的提升。尽管如此，现有方法的检测准确率还是较低，实际使用中容易出现误检和漏检。因此目标检测还需要科研人员继续为之付出努力，提升其性能。
由于R-CNN系列的横空出世，宣布目标检测进入深度学习时代，主要可以分为两大类：(1)Two-Stage的目标检测方法，其先生成目标候选区域，然后再对候选区域进行回归和分类，典型代表是R-CNN(Regions with Convolutional Neural Network))系列算法，如R-CNN，Fast R-CNN，Faster R-CNN等；(2)One-Stage的目标检测算法，其不会产生候选框，直接生成目标的类别及坐标位置，典型算法如YOLO(You Only Look Once)、SSD(Single ShotMultiBox Detector)。RefineDet(Single-Shot Refinement Neural Network for ObjectDetection)是将前两类算法结合起来的One-Stage的方法。目标检测主要性能指标包括：检测精度和速度，检测精度又包括定位精度和分类精度。在实际使用中RefineDet算法在检测速度和定位精度表现较好，但是在分类精度上表现有待提高。
发明内容
本发明所要解决的技术问题是，提供一种优化RefineDet算法，提升分类效果的目标检测方法。
本发明为解决上述技术问题所采用的技术方案是，基于区域建议注意力的目标检测方法，包括以下步骤：
1)将待检测图像输入RefineDet网络，其ARM模块经卷积得到尺寸从大到小的N层0/1分类特征谱，N层不同尺寸的0/1分类特征谱经二分类处理后得到相应的N层分类结果特征谱；
2)ODM模块得到尺寸从小到大的N层多分类特征谱；
3)ODM模块将N层升维后的分类结果特征谱分别与相同尺寸的多分类特征谱通过哈达马积的方式进行融合，得到N层优化后的多分类特征谱；所述升维是指将分类结果特征谱升维到与多分类特征谱的通道数相同；
4)ODM模块将优化后的多分类特征谱用于后续RefineDet网络的目标定位和目标分类。
ARM是一个二分类模块，专注于有/无目标的检测。ODM是一个多分类模块，专注于所有类别的检测。本发明针对RefineDet特征判别力不足的问题，将ARM(AnchorRefinement Module)生成的有无目标的分类结果特征谱作为区域建议注意力与ODM(Object Detection Module)的多分类特征谱通过点乘的方式进行融合，在优化后的多分类特征谱中突出目标区域的显著性。
本发明的有益效果是，优化多分类特征谱的判别力，提升后续进行的RefineDet目标检测的分类效果，从而有效减少误检、漏检情况，提升目标检测的准确率。相比于现有RefineDet算法，能够在不增加参数的基础上，有效地提升目标检测的分类精度。
附图说明
图1：本发明流程图；
图2：多分类特征谱优化示意图。
具体实施方式
实施例在TITAN Xp服务器上进行实现，RefineDet目标检测网络包括ARM模块与ODM模块，模块中的特征谱均为不同尺寸的4层。如图1所示，主要包括几个步骤，ARM模块根据4层不用尺寸的0/1分类特征谱获得有无目标的分类结果特征谱即区域建议注意力。ODM模块生成4层多分类特征谱，将分类结果特征谱升维到256个通道与多分类特征谱相匹配，采用Hadamard积方式将同尺寸的分类结果特征谱和多分类特征谱进行融合，将融合后的特征谱作为优化的多分类特征谱进入后续目标的定位和分类处理，得到目标检测结果。
具体的，ODM模块生成多分类特征谱的方法是：ODM模块将ARM模块中各层0/1分类特征谱进行通道数匹配，将进行通道数匹配后最小尺寸的0/1分类特征谱作为ODM模块中最小尺寸的多分类特征谱，最小尺寸的多分类特征作为第1层多分类特征经3次上采样依次得到第2到第4层上采样特征谱；将尺寸相同的第n-1层上采样特征谱与其尺寸相同的通道数匹配后0/1分类特征谱相加后得到的特征谱作为第n层多分类特征谱；n＝2,3,4；所述通道数匹配为使得0/1分类特征谱的通道数与多分类特征谱的通道数相同的处理。
多分类特征谱优化的具体步骤如图2所示：
步骤一：
第1步：对待检测图像Image送入RefineDet目标检测网络进行处理，先经过ARM模块的多层卷积核得到尺寸从大到小的4层0/1分类特征谱Conv4-3、Conv5-3、fc7、Conv6-2；Conv4-3和Conv5-3的通道数均为512，fc7的通道数为1024，Conv6-2的通道数为256；4层不同尺寸的0/1分类特征谱经二分类处理后得到相应的4层分类结果特征谱，4层分类结果特征谱的通道数为2；在实际处理中，分类结果特征谱只取有目标的那1个通道的特征谱，所以输出至ODM模块的分类结果特征谱的通道数是1。
第2步：ODM模块将ARM模块中最小尺寸的0/1分类特征谱作为ODM模块中最小尺寸的多分类特征谱(第1层多分类特征谱)通过3次上采样得到尺寸从小到大的第2至4层多分类特征谱。除了第1层多分类特征谱P6外，其他第n层(n＝2,3,4)的多分类特征谱P5，P4，P3为：相同尺寸的0/1分类特征谱经降维(降维到256个通道)后与上采样后的第n-1层多分类特征谱相加后得到。
步骤二：
第1步：将4个不同尺寸的分类结果特征谱用1x1的卷积核从1个通道升维到256个通道；实施例中升维与降维操作的目的都是为了使得从ARM输出的特征谱与ODM的特征谱的通道数匹配。
第3步：将上一步得到的4个进行通道数匹配后的分类结果特征谱Conf3、Conf4、Conf5、Conf6和对应的尺寸相同的4层多分类特征谱一一进行点对点相乘(Hadamard积)式的融合，得到优化后的多分类特征谱P3′＝Conf3*P3、P4′＝Conf4*P4、P5′＝Conf5*P5、P6′＝Conf6*P6。

Claims (2)

1.基于区域建议注意力的目标检测方法，其特征在于，包括以下步骤：
1)将待检测图像输入RefineDet网络，其ARM模块经卷积得到尺寸从大到小的N层0/1分类特征谱，N层不同尺寸的0/1分类特征谱经二分类处理后得到相应的N层分类结果特征谱；
2)ODM模块得到尺寸从小到大的N层多分类特征谱；
3)ODM模块将N层升维后的分类结果特征谱分别与相同尺寸的多分类特征谱通过哈达马积的方式进行融合，得到N层优化后的多分类特征谱；所述升维是指将分类结果特征谱升维到与多分类特征谱的通道数相同；
4)ODM模块将优化后的多分类特征谱用于后续RefineDet网络的目标定位和目标分类；
其中，步骤2)具体为：ODM模块将ARM模块中各层0/1分类特征谱进行通道数匹配，将进行通道数匹配后最小尺寸的0/1分类特征谱作为ODM模块中最小尺寸的多分类特征谱，最小尺寸的多分类特征作为第1层多分类特征经N-1次上采样依次得到第2到第N层上采样特征谱；将尺寸相同的第n-1层上采样特征谱与其尺寸相同的通道数匹配后0/1分类特征谱相加后得到的特征谱作为第n层多分类特征谱；n＝2,…,N；所述通道数匹配为使得0/1分类特征谱的通道数与多分类特征谱的通道数相同的处理。
2.如权利要求1所述方法，其特征在于，N＝4。
CN201910802929.9A 2019-08-28 2019-08-28 基于区域建议注意力的目标检测方法 Active CN110619356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802929.9A CN110619356B (zh) 2019-08-28 2019-08-28 基于区域建议注意力的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802929.9A CN110619356B (zh) 2019-08-28 2019-08-28 基于区域建议注意力的目标检测方法

Publications (2)

Publication Number Publication Date
CN110619356A CN110619356A (zh) 2019-12-27
CN110619356B true CN110619356B (zh) 2023-03-28

Family

ID=68922540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802929.9A Active CN110619356B (zh) 2019-08-28 2019-08-28 基于区域建议注意力的目标检测方法

Country Status (1)

Country Link
CN (1) CN110619356B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126514A (zh) * 2020-03-30 2020-05-08 同盾控股有限公司 图像多标签分类方法、装置、设备及介质
CN112446372B (zh) * 2020-12-08 2022-11-08 电子科技大学 基于通道分组注意力机制的文本检测方法
CN112733792B (zh) * 2021-01-21 2024-07-05 高新兴科技集团股份有限公司 一种基于监控视频的倒地行为检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046701A (zh) * 2015-07-08 2015-11-11 安徽大学 一种基于构图线的多尺度显著目标检测方法
CN109035251A (zh) * 2018-06-06 2018-12-18 杭州电子科技大学 一种基于多尺度特征解码的图像轮廓检测方法
CN109308458A (zh) * 2018-08-31 2019-02-05 电子科技大学 一种基于特征谱尺度变换提升小目标检测精度的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101036150B (zh) * 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046701A (zh) * 2015-07-08 2015-11-11 安徽大学 一种基于构图线的多尺度显著目标检测方法
CN109035251A (zh) * 2018-06-06 2018-12-18 杭州电子科技大学 一种基于多尺度特征解码的图像轮廓检测方法
CN109308458A (zh) * 2018-08-31 2019-02-05 电子科技大学 一种基于特征谱尺度变换提升小目标检测精度的方法

Also Published As

Publication number Publication date
CN110619356A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110619356B (zh) 基于区域建议注意力的目标检测方法
Wang et al. Improved YOLOv5 network for real-time multi-scale traffic sign detection
US10657364B2 (en) System and method for deep network fusion for fast and robust object detection
Cheng et al. Improved SSD network for fast concealed object detection and recognition in passive terahertz security images
Zhang et al. ReYOLO: A traffic sign detector based on network reparameterization and features adaptive weighting
Chen et al. Research on YOLOv7-based defect detection method for automotive running lights
US20240037911A1 (en) Image classification method, electronic device, and storage medium
Lu et al. Improving 3d vulnerable road user detection with point augmentation
Mo et al. PVDet: Towards pedestrian and vehicle detection on gigapixel-level images
Arshad Object Detection in Last Decade-A Survey
Wu et al. L4Net: An anchor‐free generic object detector with attention mechanism for autonomous driving
Velayudhan et al. Transformers for imbalanced baggage threat recognition
Sun et al. SES-YOLOv8n: automatic driving object detection algorithm based on improved YOLOv8
Hu et al. Near‐infrared road‐marking detection based on a modified faster regional convolutional neural network
US10346716B2 (en) Fast joint template machining
Yahia et al. Off-lexicon online Arabic handwriting recognition using neural network
CN110674845A (zh) 一种结合多感受野注意与特征再校准的菜品识别方法
Rawat et al. Surveillance System using Moving Vehicle Number Plate Recognition
She et al. Improved traffic sign detection model based on YOLOv7-Tiny
Chai et al. 3D gesture recognition method based on faster R-CNN network
Wang et al. A convolutional neural network combined with aggregate channel feature for face detection
CN109308458B (zh) 一种基于特征谱尺度变换提升小目标检测精度的方法
Yuan et al. Improved SSD for Door Panel Missed Installations Inspection Using PASSD
Jin et al. EEFDet: an efficient and effective face detector for lightweight, fast, and accurate face detection
Li et al. Real-time detection algorithm for non-motorized vehicles based on D-YOLO model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant