CN109308458B - 一种基于特征谱尺度变换提升小目标检测精度的方法 - Google Patents

一种基于特征谱尺度变换提升小目标检测精度的方法 Download PDF

Info

Publication number
CN109308458B
CN109308458B CN201811010695.6A CN201811010695A CN109308458B CN 109308458 B CN109308458 B CN 109308458B CN 201811010695 A CN201811010695 A CN 201811010695A CN 109308458 B CN109308458 B CN 109308458B
Authority
CN
China
Prior art keywords
characteristic spectrum
spectrum
target detection
characteristic
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811010695.6A
Other languages
English (en)
Other versions
CN109308458A (zh
Inventor
李宏亮
何慕威
刘玮
孙旭
廖加竞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811010695.6A priority Critical patent/CN109308458B/zh
Publication of CN109308458A publication Critical patent/CN109308458A/zh
Application granted granted Critical
Publication of CN109308458B publication Critical patent/CN109308458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征谱尺度变换提升小目标检测精度的方法，属于目标检测技术领域。本发明在传统目标检测算法SSD的基础上，通过对特征谱通道、宽和高的重组操作，将深层特征谱的宽和高放大一倍，然后将得到的新的特征谱与浅层特征谱进行级联组合得到新的特征谱，在此基础上预测目标的位置和类别。本发明不用通过额外的计算，将特征谱用重组的方式进行尺度变换放大，实现小目标检测效果的提升。相比传统的SSD检测方法，该方案能够更有效地提升小目标检测的精度，同时对于较大目标也能保持很好的精度效果。

Description

一种基于特征谱尺度变换提升小目标检测精度的方法
技术领域
本发明属于目标检测技术领域，具体涉及一种基于目标检测网络特征谱尺度变换方法。
背景技术
目标检测是计算机视觉领域中一个基础性的研究课题，目标检测是大量高级视觉任务的必备前提，包括活动或事件识别、场景内容理解等。而且目标检测也被应用到很多实际任务,例如智能视频监控，基于内容的图像检索，机器人导航和增强现实等。目标检测对计算机视觉领域和实际应用具有重要意义，在过去几十年里激励大批研究人员密切关注并投入研究。而且随着强劲的机器学习理论和特征分析技术的发展，近十几年目标检测课题相关的研究活动有增无减，每年都有最新的研究成果和实际应用发表和公布。尽管如此，当前方法的检测准确率仍然较低，特别是小目标的检测效果不太理想，不能应用于实际通用的检测任务。因此，目标检测还远未被完美解决，仍旧是重要的挑战性的研究课题。
目前主流的目标检测算法主要是基于深度学习模型，其可以分成两大类：(1)两阶段的检测算法，其将检测问题划分为两个阶段，首先产生候选区域，然后对候选区域分类，这类算法的典型代表是基于候选框提取的R-CNN(Regions with Convolutional NeuralNetwork)系列算法，如R-CNN，Fast R-CNN，Faster R-CNN等；(2)一阶段检测算法，其不需要候选框提取阶段，直接产生物体的类别概率和位置坐标值，比较典型的算法如YOLO(YouOnly Look Once)和SSD(Single Shot MultiBox Detector)。目标检测模型的主要性能指标是检测精度和速度，对于检测精度，目标检测要考虑物体的定位准确性，而不单单是分类准确度。在实际应用中，SSD算法在检测速度和精度上虽然都有较好的效果，但是SSD算法对于小目标的检测效果并不好，本发明旨在优化目标检测SSD算法，提升小目标的检测效果。
发明内容
本发明的发明目的在于：针对传统的目标检测算法SSD采用在特征谱上直接预测目标的类别和位置所存在的缺陷，本发明在SSD方法的特征谱的基础上，采用尺度变换的方法将特征谱尺度放大并进行特征谱融合，然后再进行目标预测。
本发明的基于特征谱尺度变换提升小目标检测精度的方法，包括下列步骤：
步骤1：对待检测图像进行SSD方法的目标检测处理，得到浅层到深层的特征谱，其中后一层特征谱的宽和高是前一层特征谱宽和高的一半；
步骤2：对得到非首层的特征谱进行尺度进行变换处理：
步骤201：在待变换特征谱的谱通道维度上，将通道数C按顺序划分成C/4组子通道，得到C/4个维度为4*W*H的子特征谱，其中W表示特征谱的宽，H表示特征谱的高；
步骤202：在每个子特征谱上将每个4*1*1的区域按照顺序转换为1*2*2维度；
步骤203：将每个子特征谱上转换好的1*2*2特征按照原来相对位置关系组合得到一个新的维度大小为1*(W*2)*(H*2)的子特征谱；
步骤204：将C/4个子特征谱按顺序进行级联组合，得到维度大小为(C/4)*(W*2)*(H*2)的特征谱；
步骤3：对变换后的特征谱，与其上一层特征谱在通道谱通道维度上进行级联组合，得到新的特征谱；
基于所述新的特征谱，对指定的小目标进行目标检测，获取目标检测结果。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明所提出的基于一种基于特征谱尺度变换的方法能够有效地提升小目标检测的精度，在传统目标检测算法SSD的基础上，通过对特征谱通道、宽和高的重组操作，将深层特征谱的宽和高放大一倍，然后将得到的新的特征谱与浅层特征谱进行级联组合得到新的特征谱，在此基础上预测目标的位置和类别。本发明不用通过额外的计算，将特征谱用重组的方式进行尺度变换放大，实现小目标检测效果的提升。相比传统的SSD检测方法，该方案能够更有效地提升小目标检测的精度，同时对于较大目标也能保持很好的精度效果。
附图说明
图1：本发明特征谱尺度变换方法图；
图2：本发明特征谱融合的预测流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明在SSD方法获得的特征谱的基础上，采用尺度变换的方法将特征谱尺度放大并进行特征谱融合，然后再进行目标预测，具体实现步过程如下：
首先，对待检测图像进行SSD方法的目标检测处理，得到浅层到深层的特征谱，例如对于6层输出的SSD方法，对应的浅层到深层的特征谱依次为n1,n2,n3,n4,n5,n6；
然后对得到的非首层的特征谱的尺度进行变换处理(即尺度变换对象为第k层，其中k≠1)，其本质上是一种特征谱通道、宽和高的重组操作。以特征谱的维度为512*19*19为例，经过尺度变换操作，本发明可以得到维度为128*38*38的新的特征谱，参见图1，具体操作为：
用C*W*H表示待变换特征谱的维度，其中C表示通道数，W表示宽、H表示高；
本发明在特征谱通道维度的通道数C上按照尺度因子4进行划分，即将C个通道在通道维度按从左往右顺序划分成C/4组子通道，得到C/4个维度为4*W*H的子特征谱；
然后在每个子特征谱上，将每个4*1*1的区域的值在通道维度按从左往右的顺序，依次放在矩阵
Figure BDA0001785020610000031
中的r1,r2,r3,r4位置，由此转换为1*2*2维度的特征；再在每个子特征谱上，将转换好的1*2*2特征按照原特征谱的宽W和高H上的相对位置关系拼接起来得到一个维度大小为1*(W*2)*(H*2)的子特征谱，最后将C/4个子特征谱按从左往右顺序进行组合，得到维度大小为(C/4)*(W*2)*(H*2)的特征谱，即完成特征谱尺度的变换。
与采用反卷积和线性插值的方法放大特征谱不同，本发明的尺度变换的方法没有进行额外的计算，只是将特征谱上的维度信息进行了重新的排列组合，没有增加额外的计算量，不会降低目标检测方法的运行速度，同时能够很好的保持特征谱的语义信息。
在完成对指定特征谱的尺度变换后，将变换后的特征谱与当前层的前一层特征谱进行特征谱的融合处理。例如，本发明将深层特征谱n6变换得到的特征谱与前一层的浅层特征谱n5进行重组得到新的特征谱。深层特征谱n6的宽和高是前一层浅层特征谱n5宽和高的一半，即
Figure BDA0001785020610000032
因此浅层特征谱n5的维度为C5n*W5n*H5n，深层特征谱n6经过尺度变换得到的特征谱的维度为(C6n/4)*(W6n*2)*(H6n*2)，因此两组特征谱的宽和高一样，故本发明在特征谱的通道这个维度上进行级联，即得到新的特征谱，维度为(C5n+C6n/4)*W5n*H5n，新的特征谱融合了更多的语义信息，因此对于小目标的信息具有更好的表征。本发明利用新的特征谱进行预测目标的位置和类别。
然后再对融合特征谱进行目标检测处理，具体检测方式可采用任一惯用技术，本发明对此不做限定。
实施例
在基于SSD方法进行目标检测时，通过对最后一层的特征谱的目标检测处理，可以得到待检测目标的位置和类别；为了提升对部分小目标的检测精度，本发明对最后一层的特征谱进行尺度变换处理(维度为C*W*H)，实现对指定小目标的精细化处理，参见图2，具体处理步骤包括：
步骤S1：在待变换特征谱的谱通道维度上，将通道数C按顺序划分成C/4组子通道，得到C/4个维度为4*W*H的子特征谱；
步骤S2：在每个子特征谱上将每个4*1*1的区域按照顺序转换为1*2*2维度；
步骤S3：将每个子特征谱上转换好的1*2*2特征按照原来相对位置关系组合得到一个新的维度大小为1*(W*2)*(H*2)的子特征谱；
步骤S4：将C/4个子特征谱按顺序进行级联组合，得到维度大小为(C/4)*(W*2)*(H*2)的特征谱。
步骤S5：对进行变换的特征谱的上一层浅层特征谱，其维度为C1*W*H，用C2*W*H表示变换后的特征维度，对两者在通道谱通道维度上进行级联组合，即得到新的特征谱；
步骤S6：利用新的特征谱，对指定小目标进行目标检测，获取目标检测结果。例如预测指定小目标的的目标位置和类别。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于特征谱尺度变换提升小目标检测精度的方法，其特征在于，包括下列步骤：
步骤1：对待检测图像进行SSD方法的目标检测处理，得到浅层到深层的特征谱，其中后一层特征谱的宽和高是前一层特征谱宽和高的一半；
步骤2：对得到非首层的特征谱进行尺度进行变换处理：
步骤201：在待变换特征谱的谱通道维度上，将通道数C按顺序划分成C/4组子通道，得到C/4个维度为4*W*H的子特征谱，其中W表示特征谱的宽，H表示特征谱的高；
步骤202：在每个子特征谱上将每个4*1*1的区域按照顺序转换为1*2*2维度：将每个4*1*1的区域的值在通道维度按从左往右的顺序，依次放在矩阵
Figure FDA0003301355510000011
中的r1,r2,r3,r4位置；
步骤203：将每个子特征谱上转换好的1*2*2特征按照原来相对位置关系组合得到一个新的维度大小为1*(W*2)*(H*2)的子特征谱；
步骤204：将C/4个子特征谱按顺序进行级联组合，得到维度大小为(C/4)*(W*2)*(H*2)的特征谱；
步骤3：对变换后的特征谱，与其上一层特征谱在通道谱通道维度上进行级联组合，得到新的特征谱；
基于所述新的特征谱，对指定的小目标进行目标检测，获取目标检测结果。
CN201811010695.6A 2018-08-31 2018-08-31 一种基于特征谱尺度变换提升小目标检测精度的方法 Active CN109308458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811010695.6A CN109308458B (zh) 2018-08-31 2018-08-31 一种基于特征谱尺度变换提升小目标检测精度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811010695.6A CN109308458B (zh) 2018-08-31 2018-08-31 一种基于特征谱尺度变换提升小目标检测精度的方法

Publications (2)

Publication Number Publication Date
CN109308458A CN109308458A (zh) 2019-02-05
CN109308458B true CN109308458B (zh) 2022-03-15

Family

ID=65224699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811010695.6A Active CN109308458B (zh) 2018-08-31 2018-08-31 一种基于特征谱尺度变换提升小目标检测精度的方法

Country Status (1)

Country Link
CN (1) CN109308458B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619356B (zh) * 2019-08-28 2023-03-28 电子科技大学 基于区域建议注意力的目标检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095836A (zh) * 2014-05-14 2015-11-25 中国科学院深圳先进技术研究院 一种基于Gabor特征的皮肤纹理检测方法及装置
CN106419909A (zh) * 2016-09-12 2017-02-22 西安电子科技大学 特征重组和小波变换的多类运动想象脑电信号分类方法
CN107527031A (zh) * 2017-08-22 2017-12-29 电子科技大学 一种基于ssd的室内目标检测方法
CN107564009A (zh) * 2017-08-30 2018-01-09 电子科技大学 基于深度卷积神经网络的室外场景多目标分割方法
CN107689036A (zh) * 2017-09-01 2018-02-13 深圳市唯特视科技有限公司 一种基于深度双边学习的实时图像增强方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN108460403A (zh) * 2018-01-23 2018-08-28 上海交通大学 一种图像中多尺度特征融合的目标检测方法与***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095836A (zh) * 2014-05-14 2015-11-25 中国科学院深圳先进技术研究院 一种基于Gabor特征的皮肤纹理检测方法及装置
CN106419909A (zh) * 2016-09-12 2017-02-22 西安电子科技大学 特征重组和小波变换的多类运动想象脑电信号分类方法
CN107527031A (zh) * 2017-08-22 2017-12-29 电子科技大学 一种基于ssd的室内目标检测方法
CN107564009A (zh) * 2017-08-30 2018-01-09 电子科技大学 基于深度卷积神经网络的室外场景多目标分割方法
CN107689036A (zh) * 2017-09-01 2018-02-13 深圳市唯特视科技有限公司 一种基于深度双边学习的实时图像增强方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN108460403A (zh) * 2018-01-23 2018-08-28 上海交通大学 一种图像中多尺度特征融合的目标检测方法与***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Feature-Fused SSD: Fast Detection for Small Objects;Guimei Cao等;《Ninth International Conference on Graphic and Image Processing (ICGIP 2017)》;20180410;1-8 *
监控视频中的快速多目标检测与跟踪研究;郭会文;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20140515(第05期);I138-2763 *
自然场景下多目标的检测方法研究;何慕威;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20191215(第12期);I138-636 *

Also Published As

Publication number Publication date
CN109308458A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
Chen et al. Saliency detection via the improved hierarchical principal component analysis method
Mao et al. Finding every car: a traffic surveillance multi-scale vehicle object detection method
Ren et al. A novel squeeze YOLO-based real-time people counting approach
Chen et al. An improved Yolov3 based on dual path network for cherry tomatoes detection
CN112906718A (zh) 一种基于卷积神经网络的多目标检测方法
CN110288017B (zh) 基于动态结构优化的高精度级联目标检测方法与装置
CN112837297B (zh) 一种渐进式多尺度的颅面骨骨折检测方法
CN112215079B (zh) 一种全局多阶段目标跟踪方法
CN116402850A (zh) 一种面向智能驾驶的多目标跟踪方法
Yu et al. Background subtraction based on GAN and domain adaptation for VHR optical remote sensing videos
CN105825201A (zh) 视频监控中的运动目标跟踪方法
Wang et al. Global contextual guided residual attention network for salient object detection
Gayathri et al. Improved fuzzy-based SVM classification system using feature extraction for video indexing and retrieval
CN109308458B (zh) 一种基于特征谱尺度变换提升小目标检测精度的方法
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
CN111488839B (zh) 一种目标检测方法和目标检测***
Xiang et al. Double-branch fusion network with a parallel attention selection mechanism for camouflaged object detection
Singh et al. A deep learning approach for human face sentiment classification
Li et al. PFYOLOv4: An improved small object pedestrian detection algorithm
Liang et al. Transformed dynamic feature pyramid for small object detection
CN111489361A (zh) 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
Li et al. Application of deep convolutional neural network under region proposal network in patent graphic recognition and retrieval
CN114882403B (zh) 基于渐进注意力超图的视频时空动作定位方法
Liu et al. Idan: Image difference attention network for change detection
CN116597419B (zh) 一种基于参数化互近邻的车辆限高场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant