CN114648736A - 基于目标检测的鲁棒工程车辆识别方法及*** - Google Patents

基于目标检测的鲁棒工程车辆识别方法及*** Download PDF

Info

Publication number
CN114648736A
CN114648736A CN202210538060.3A CN202210538060A CN114648736A CN 114648736 A CN114648736 A CN 114648736A CN 202210538060 A CN202210538060 A CN 202210538060A CN 114648736 A CN114648736 A CN 114648736A
Authority
CN
China
Prior art keywords
correction
attention
feature map
network
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210538060.3A
Other languages
English (en)
Other versions
CN114648736B (zh
Inventor
王中元
李云浩
陈世杰
邵振峰
何政
邓练兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210538060.3A priority Critical patent/CN114648736B/zh
Publication of CN114648736A publication Critical patent/CN114648736A/zh
Application granted granted Critical
Publication of CN114648736B publication Critical patent/CN114648736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于目标检测的鲁棒工程车辆识别方法及***，首先采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；然后将获取的增强特征图输入位置检测网络从而预测目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的目标位置和类型。本发明能够在拥有复杂场景变化的电网监控视频中准确地检测出场景中存在的工程车辆的位置和类型，从而提供一种自动化的外破行为监控手段，减少人力成本，保障电网***安全。

Description

基于目标检测的鲁棒工程车辆识别方法及***
技术领域
本发明属于计算机视觉技术领域，涉及一种计算机辅助工程车辆检测方法及***，具体涉及一种基于目标检测的鲁棒工程车辆识别方法及***。
技术背景
电力资源的运输有赖于建立安全强大的电网***，现实中户外输电线路往往存在诸多安全隐患。其中，施工车辆造成外部破坏是最常见的人为不安全因素，比如挖掘机违章施工破坏高压电线杆、起重机操作不当误触高压电线等。为了避免这些事故的发生，相关部门在电网输电线路上安置了许多监控摄像头，但是仅凭人力监控，其成本和因疏忽造成的后果都是难以承受的。若能将目标检测技术应用于视频监控，利用算法自动分析识别监控场景中的工程车辆，以此减少人力成本，消除人为疏忽导致的误报、漏报，提供一种事故发生前提前给出警示、事故发生时协助处理、事故发生后方便及时取证的措施，保障电网的稳定运行。
目标检测是计算机视觉和数字图像处理的一个热门方向。近几年，目标检测领域出现了不使用锚框而基于关键点或基于中心点进行检测的新思路。CornerNet首次将目标检测视为关键点检测和组合任务，通过热力图来定位目标所处的矩形区域的左上角点和右下角点这一对关键点，然后进行关键点组合配对，进而得到目标边界框；而ExtremeNet则检测目标的最上点、最下点、最左点和最右点这四个极值点以及中心点共五个关键点，通过中心点对四个极值点进行分组，进而得到目标的位置预测；CenterNet则将目标检测任务直接简化为先采用关键点检测的方式预测目标边界框的几何中心点，然后回归边界框的尺寸，从而定位目标；CenterNet2通过集成CenterNet到两阶段架构中，并采用概率优化目标进行训练，结合了无锚框单阶段算法和两阶段算法的优势，加快了两阶段算法的推理时间，并使得模型的检测精度得到大大提升。
真实场景下的电网输送线路监控视频中，图像的场景或背景十分复杂，可能会涉及不同的天气、光照等条件，并且受制于不同摄像头多样化的软、硬件参数，捕获的图像在视角、清晰度、分辨率等方面不尽相同，图像中不同目标实例的尺度也相差巨大。除此之外，极大极小物体、受遮挡物体以及多个物体重叠或分布密集的问题非常棘手，而工程车辆本身还存在形态多变的特点。如何克服这些问题，以较高精度检测和识别出工程车辆，并得到一个鲁棒的检测识别***，是现有技术面临的难题。
发明内容
为了解决上述技术问题，本发明结合基于中心域的目标检测算法，提供了一种基于目标检测的鲁棒工程车辆识别方法及***。
本发明的方法所采用的技术方案是：一种基于目标检测的鲁棒工程车辆识别方法，包括以下步骤：
步骤1：采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；
步骤2：将步骤1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
本发明的***所采用的技术方案是：一种基于目标检测的鲁棒工程车辆识别***，包括以下模块：
模块1，用于采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；
模块2，用于将模块1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
与现有的检测方法相比，本发明具有以下的优点与积极效果：
（1）本发明中的特征提取操作分为提取和增强两个部分，增强操作使得提取出的特征更为精确有效，为后续模块提供了有效的参考信息，此外使用级联位置修正和类别预测模块对预测的类别和位置进行多次调整，检测精度更高。
（2）本发明应用了无锚框的检测算法，不需要针对与锚框相关的诸多参数进行调参，并且减少了在图像上密集铺设锚框带来的额外计算量和推理时间。
（3）本发明的方法对极大极小目标以及形变复杂目标有更好的效果。
附图说明
图1：本发明实施例的方法流程图。
图2：本发明实施例的多尺度特征提取网络结构图。
图3：本发明实施例的特征增强网络结构图。
图4：本发明实施例的位置增检测网络结果图。
图5：本发明实施例的位置修正和类别预测网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于目标检测的鲁棒工程车辆识别方法，包括以下步骤：
步骤1：采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；
本实施例中，步骤1的具体实现包括以下子步骤：
步骤1.1：将待识别视频帧图像
Figure 826611DEST_PATH_IMAGE001
输入多尺度特征提取网络，其中 尺度
Figure 212593DEST_PATH_IMAGE002
，从而得到一组不同尺度的原始特征图
Figure 851384DEST_PATH_IMAGE003
，Ch为 通道数；本实施例中Ch取值为256；
步骤1.2：将原始特征图
Figure 715435DEST_PATH_IMAGE003
逐尺度输入基于注意力机制的特征增强 网络，增强特征图中的感兴趣区域响应，得到一组增强特征图
Figure 123283DEST_PATH_IMAGE004
。
步骤2：将步骤1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
本实施例中，步骤2的具体实现包括以下子步骤：
步骤2.1：将增强特征图逐一输入基于CenterNet改进的具有高召回率和强可靠前 背景分类能力的位置检测网络，从而得到N对（数量可能很大）输入图像对应的位置预测图
Figure 414587DEST_PATH_IMAGE005
和关键点热力图
Figure 478358DEST_PATH_IMAGE006
，此处位置预测图每个位置对应一个 位置预测值
Figure 270733DEST_PATH_IMAGE007
分别表示目标中心点到外接矩形左上右下四条边的距离，关键点 热力图每个位置指示图像对应位置存在工程车辆目标关键点的置信度；
步骤2.2：从关键点定位热力图中提取具有峰值响应的K（较大的一个整数）个位置 作为预测的工程车辆目标的中心域关键点
Figure 408454DEST_PATH_IMAGE008
，由这些关键点与对应的位置预 测值
Figure 995293DEST_PATH_IMAGE009
计算得到K个可能包含任意一种工程车辆的矩形预测区域
Figure 218464DEST_PATH_IMAGE010
的位置，使用D-IoU NMS过滤部分低质量预测结果，得到不超过M个矩形 预测区域；其中，M为预设值；
Figure 548951DEST_PATH_IMAGE011
分别表示矩形预测区域的左上角点坐标
Figure 541178DEST_PATH_IMAGE012
和宽
Figure 830077DEST_PATH_IMAGE013
高
Figure 540544DEST_PATH_IMAGE014
，
Figure 409142DEST_PATH_IMAGE015
，
Figure 521455DEST_PATH_IMAGE016
；本实 施例中，M在训练和推理时取值分别为4000和1000；
步骤2.3：根据步骤2.2中计算的矩形预测区域，裁剪并池化步骤1中得到的增强特征图，得到统一尺寸的仅含矩形感兴趣区域的特征图；本实施例中，裁剪后的增强特征图尺寸为14×14；
步骤2.4：将步骤2.3中得到的特征图输入级联位置修正和类别预测网络，得到定 位精度感知分类置信度
Figure 653359DEST_PATH_IMAGE017
和位置修正值
Figure 975756DEST_PATH_IMAGE018
，这里的N cls 表示工程车辆类别数，
Figure 788991DEST_PATH_IMAGE019
表示对矩形区域
Figure 886303DEST_PATH_IMAGE020
左上角坐标和宽高的修 正值；本实施例中，定位精度感知分类置信度为三次修正所得的平均值。
步骤2.4中级联位置修正和类别预测网络第一次修正时预测的位置修正值应用于 步骤2.2中得到的矩形预测区域
Figure 126792DEST_PATH_IMAGE021
，第二次修正时将第二次预测的位置 修正值应用于第一次修正后的矩形预测区域，第三次修正时将第三次预测的位置修正值应 用于第二次修正后的矩形预测区域。然后对最后一次修正后的结果使用D-IoUNMS过滤冗余 的矩形预测区域，之后通过置信度阈值屏蔽低于阈值的矩形预测区域，得到最终的输入图 像中所有工程车辆的检测结果，即工程车辆类型和其所处的矩形区域位置。本实施例中，D- IoUNMS过滤后剩余矩形预测区域的最大数量在训练和推理阶段分别设置为2000和256；置 信度阈值为0.6。
请见图2，本实施例采用的多尺度特征提取网络，由深度卷积神经网络和多尺度特征融合层组成；深度卷积神经网络的最后6层输出通过卷积后生成通道数相同的特征图C2、C3、C4、C5、C6、C7；C7、C6经过多尺度特征融合层后输出P7、P6；P5由P6上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C5和P6作为输入，生成施加注意力后的特征图；P4由P5上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C4和P5作为输入，生成施加注意力后的特征图；P3由P4上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C3和P4作为输入，生成施加注意力后的特征图；P2由P3上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C2和P3作为输入，生成施加注意力后的特征图。
请见图3，本实施例采用的特征增强网络，包括注意力门模块，跨层融合尺度感知注意力模块、空间感知自注意力模块、任务感知通道注意力模块；
本实施例的特征增强网络，以多尺度特征提取网络输出的P2、P3、P4、P5、P6、P7作为输入，获取中间结果A2、A3、A4、A5、A6、A7；其中，A2和A7直接由P2和P7得来；A3由A2下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P3和下层特征图A2作为输入，生成施加注意力后的特征图；A4由A3下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P4和下层特征图A3作为输入，生成施加注意力后的特征图；A5由A4下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P5和下层特征图A4作为输入，生成施加注意力后的特征图；A6由A5下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P6和下层特征图A5作为输入，生成施加注意力后的特征图；中间结果A2、A3、A4、A5、A6、A7经过串联的跨层融合尺度感知注意力模块、空间感知自注意力模块和任务感知通道注意力模块，得到最终输出特征图F2、F3、F4、F5、F6、F7。
请见图4，本实施例采用的位置检测网络，输入数据依次经过可变形卷积块、动态线性修改单元、卷积块、卷积块、可变形卷积块和动态线性修改单元后，输出分别经过两路，一路输入卷积块、Scale层后获得位置预测图，一路经过卷积块后获得关键点热力图。
本实施的位置检测网络，以特征增强网络输出的增强特征图作为输入，生成位置预测图和关键点热力图。位置预测图和关键点热力图尺寸同输入的增强特征图，前者给出输入特征图中每个关键点位置对应的工程车辆目标的位置预测值，后者预测输入特征图中每个位置存在工程车辆目标关键点的置信度。通过关键点热力图上的峰值响应点可以得到工程车辆关键点所在的位置，结合位置预测图给出的相应位置预测值，从而得到疑似包含工程车辆目标的矩形预测区域的位置。
请见图5，本实施例采用的位置修正和类别预测网络，包括依次连接的第一修正模块、第二修正模块和第三修正模块，所述第一修正模块、第二修正模块和第三修正模块均由裁剪与池化层、定位感知类别预测分支和位置修正分支组成；
本实施例的位置修正和类别预测网络，输入为位置预测网络输出的矩形预测区域和特征增强网络输出的增强特征图；在第一修正模块中进行第一次修正时，先通过矩形预测区域裁剪出增强特征图的子区域，再将其池化为统一尺寸的特征图，输入定位感知类别预测分支和位置修正分支，得到定位感知分类置信度和位置修正值，将位置修正值应用于矩形预测区域，得到新的修正后的矩形预测区域；第二修正模块中进行第二次修正、第三修正模块中进行第三次修正与第一修正模块中进行第一次修正同理；最终的定位感知分类置信度为三次修正所得置信度的平均值，本实施例的位置修正和类别预测网络的最终检测结果为最后一次修正后的结果。
本实施例的多尺度特征提取网络，是训练好多尺度特征提取网络；其训练过程包括以下步骤：
（1）构建自监督训练正样本对；
针对无标注的自监督训练数据，在每一轮迭代训练的过程中，随机不放回抽取N张 图片作为一组，组中每张图像随机进行以下数据增广操作两次，包括裁剪、变色、遮挡和旋 转，形成一对正样本图像
Figure 670906DEST_PATH_IMAGE022
，从而获得一组正样本图像对
Figure 22253DEST_PATH_IMAGE023
；其中，
Figure 171474DEST_PATH_IMAGE024
和
Figure 707498DEST_PATH_IMAGE025
就是每张图像随机增广两次得到的图像对；
（2）将得到的正样本图像对
Figure 614274DEST_PATH_IMAGE023
输入多尺度特征提取网络中，得到一 组正样本特征图对
Figure 628366DEST_PATH_IMAGE026
，再将该组特征图对一一输入由全连接层和线性修正单 元构成的表征映射层，得到一组正样本表征对
Figure 569777DEST_PATH_IMAGE027
；其中，S表示多尺度特征提取 网络中不同尺度特征图的数量；
（3）自监督训练多尺度特征提取网络；
对于每个尺度，所有正样本表征对分别计算两两相似度，然后求平均；共N对表征对，2N个表征向量；
每个尺度分别计算正样本表征对两两相似度损失如下：
Figure 276702DEST_PATH_IMAGE028
；
其中，
Figure 936354DEST_PATH_IMAGE029
为指示函数，当k=i时取0，否则取1；
Figure 754137DEST_PATH_IMAGE030
为表征对
Figure 284476DEST_PATH_IMAGE031
的余弦相似度，
Figure 162302DEST_PATH_IMAGE032
是一个超参数；
最终对比自监督学习的前置任务损失函数为：
Figure 371566DEST_PATH_IMAGE033
；
最大化对比损失函数，获得训练好的多尺度特征提取网络。
本实施例中，多尺度特征提取网络、特征增强网络、位置检测网络和级联位置修正和类别预测网络，为一训练好的整体网络；
（1）构建训练数据集：
针对有标注的训练数据，随机进行一系列随机数据增强处理，得到增广的训练数据集；
（2）训练整体网络：
本实施例整体网络的训练目标如下：
Figure 868407DEST_PATH_IMAGE034
；
式中，
Figure 643465DEST_PATH_IMAGE035
为前景类别训练目标，
Figure 567558DEST_PATH_IMAGE036
为背景训练目标；C k 表示工程车辆类别，
Figure 60856DEST_PATH_IMAGE037
表示背景类，
Figure 423705DEST_PATH_IMAGE038
表示位置检测网络产生的是前景矩形区域，
Figure 194215DEST_PATH_IMAGE039
表示位置检 测网络产生的是背景矩形区域；
本实施例的位置检测网络的损失函数为：
Figure 148264DEST_PATH_IMAGE040
；
其中，l loc 为Distance-IoU损失，l hm 为二分类focal损失，下标
Figure 4225DEST_PATH_IMAGE041
表示预测值对应 的真实标签值；box表示位置检测网络得到的矩形区域预测值，hm表示位置检测网络预测的 关键点热力图；
本实施例的级联位置修正和类别预测网络的损失函数为：
Figure 233081DEST_PATH_IMAGE042
；
其中，K表示修正次数；l cls 为softmax交叉熵损失，l reg 为smoothL1损失，下标
Figure 920414DEST_PATH_IMAGE041
表 示预测值对应的真实标签值；cls表示定位感知类别预测分支产生的定位精度和类别联合 预测值，delta表示位置修正分支预测的位置修正值。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于目标检测的鲁棒工程车辆识别方法，其特征在于，包括以下步骤：
步骤1：采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；
步骤2：将步骤1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
2.根据权利要求1所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤1中所述多尺度特征提取网络，由深度卷积神经网络和多尺度特征融合层组成；所述深度卷积神经网络的最后6层输出通过卷积后生成通道数相同的特征图C2、C3、C4、C5、C6、C7；C7、C6经过所述多尺度特征融合层后输出P7、P6；P5由P6上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C5和P6作为输入，生成施加注意力后的特征图；P4由P5上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C4和P5作为输入，生成施加注意力后的特征图；P3由P4上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C3和P4作为输入，生成施加注意力后的特征图；P2由P3上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C2和P3作为输入，生成施加注意力后的特征图。
3.根据权利要求2所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤1中所述特征增强网络，包括注意力门模块，跨层融合尺度感知注意力模块、空间感知自注意力模块、任务感知通道注意力模块；
所述特征增强网络，以所述多尺度特征提取网络输出的P2、P3、P4、P5、P6、P7作为输入，获取中间结果A2、A3、A4、A5、A6、A7；其中，A2和A7直接由P2和P7得来；A3由A2下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P3和下层特征图A2作为输入，生成施加注意力后的特征图；A4由A3下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P4和下层特征图A3作为输入，生成施加注意力后的特征图；A5由A4下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P5和下层特征图A4作为输入，生成施加注意力后的特征图；A6由A5下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P6和下层特征图A5作为输入，生成施加注意力后的特征图；中间结果A2、A3、A4、A5、A6、A7经过串联的跨层融合尺度感知注意力模块、空间感知自注意力模块和任务感知通道注意力模块，得到最终输出特征图F2、F3、F4、F5、F6、F7。
4.根据权利要求1所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤2中所述位置检测网络，输入数据依次经过可变形卷积块、动态线性修改单元、卷积块、卷积块、可变形卷积块和动态线性修改单元后，输出分别经过两路，一路输入卷积块、Scale层后获得位置预测图，一路经过卷积块后获得关键点热力图。
5.根据权利要求1所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤2中所述位置修正和类别预测网络，包括依次连接的第一修正模块、第二修正模块和第三修正模块，所述第一修正模块、第二修正模块和第三修正模块均由裁剪与池化层、定位感知类别预测分支和位置修正分支组成；
所述位置修正和类别预测网络，输入为位置预测网络输出的矩形预测区域和特征增强网络输出的增强特征图；在第一修正模块中进行第一次修正时，先通过矩形预测区域裁剪出增强特征图的子区域，再将其池化为统一尺寸的特征图，输入定位感知类别预测分支和位置修正分支，得到定位感知分类置信度和位置修正值，将位置修正值应用于矩形预测区域，得到新的第一次修正后的矩形预测区域；第二修正模块中进行第二次修正、第三修正模块中进行第三次修正与第一修正模块中进行第一次修正同理，但输入为前一次修正后的矩形预测区域和特征增强网络输出的增强特征图；最终的定位感知分类置信度为三次修正所得置信度的平均值，所述位置修正和类别预测网络的最终检测结果为最后一次修正后的结果。
6.根据权利要求1-5任意一项所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：将待识别视频帧图像
Figure 946DEST_PATH_IMAGE001
输入多尺度特征提取网络，其中尺度
Figure 203258DEST_PATH_IMAGE002
，从而得到一组不同尺度的原始特征图
Figure 845592DEST_PATH_IMAGE003
，Ch为通道 数；
步骤1.2：将原始特征图
Figure 449748DEST_PATH_IMAGE003
逐尺度输入基于注意力机制的特征增强网 络，增强特征图中的感兴趣区域响应，得到一组增强特征图
Figure 152125DEST_PATH_IMAGE004
。
7.根据权利要求1-5任意一项所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于，步骤2的具体实现包括以下子步骤：
步骤2.1：将增强特征图
Figure 859310DEST_PATH_IMAGE004
逐一输入位置检测网络，得到关键点热力图
Figure 39756DEST_PATH_IMAGE005
和位置预测图
Figure 498419DEST_PATH_IMAGE006
；
步骤2.2：从关键点定位热力图中提取具有峰值响应的K个位置作为预测的工程车辆目 标的中心域关键点
Figure 106118DEST_PATH_IMAGE007
，由这些关键点与对应的位置预测值
Figure 486284DEST_PATH_IMAGE008
计算 得到K个可能包含任意一种工程车辆的矩形预测区域
Figure 329475DEST_PATH_IMAGE009
的位置，使用 D-IoU NMS过滤部分低质量预测结果，得到不超过M个矩形预测区域；其中，M为预设值；
Figure 49169DEST_PATH_IMAGE010
分别表示矩形预测区域的左上角点坐标
Figure 952403DEST_PATH_IMAGE011
和宽
Figure 491969DEST_PATH_IMAGE012
高
Figure 342113DEST_PATH_IMAGE013
，
Figure 40948DEST_PATH_IMAGE014
，
Figure 990449DEST_PATH_IMAGE015
；
步骤2.3：根据步骤2.2中计算的矩形预测区域，裁剪并池化步骤1中得到的增强特征图，得到统一尺寸的仅含矩形感兴趣区域内特征的特征图；
步骤2.4：将步骤2.3中得到的特征图输入级联位置修正和类别预测网络，得到定位精 度感知分类置信度
Figure 876366DEST_PATH_IMAGE016
和位置修正值
Figure 202305DEST_PATH_IMAGE017
，这 里的N cls 表示工程车辆类别数，
Figure 693329DEST_PATH_IMAGE018
表示对矩形区域
Figure 938366DEST_PATH_IMAGE019
左上角坐标和宽高的修正值；
步骤2.4中级联位置修正和类别预测网络第一次修正时预测的位置修正值应用于步骤 2.2中得到的矩形预测区域
Figure 452524DEST_PATH_IMAGE020
，第二次修正时将第二次预测的位置修正 值应用于第一次修正后的矩形预测区域，第三次修正时将第三次预测的位置修正值应用于 第二次修正后的矩形预测区域；然后对最后一次修正后的结果使用D-IoUNMS过滤冗余的矩 形预测区域，之后通过置信度阈值屏蔽低于阈值的矩形预测区域，得到最终的输入图像中 所有工程车辆的检测结果，即工程车辆类型和其所处的矩形区域位置。
8.一种基于目标检测的鲁棒工程车辆识别***，其特征在于，包括以下模块：
模块1，用于采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；
模块2，用于将模块1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
CN202210538060.3A 2022-05-18 2022-05-18 基于目标检测的鲁棒工程车辆识别方法及*** Active CN114648736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210538060.3A CN114648736B (zh) 2022-05-18 2022-05-18 基于目标检测的鲁棒工程车辆识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210538060.3A CN114648736B (zh) 2022-05-18 2022-05-18 基于目标检测的鲁棒工程车辆识别方法及***

Publications (2)

Publication Number Publication Date
CN114648736A true CN114648736A (zh) 2022-06-21
CN114648736B CN114648736B (zh) 2022-08-16

Family

ID=81997214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210538060.3A Active CN114648736B (zh) 2022-05-18 2022-05-18 基于目标检测的鲁棒工程车辆识别方法及***

Country Status (1)

Country Link
CN (1) CN114648736B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173423A (zh) * 2023-08-09 2023-12-05 山东财经大学 图像小目标检测方法、***、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2780595A1 (en) * 2011-06-22 2012-12-22 Roman Palenychka Method and multi-scale attention system for spatiotemporal change determination and object detection
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
WO2021120157A1 (en) * 2019-12-20 2021-06-24 Intel Corporation Light weight multi-branch and multi-scale person re-identification
CN114332780A (zh) * 2021-11-30 2022-04-12 无锡数据湖信息技术有限公司 一种针对小目标的交通人车非目标检测方法
CN114332620A (zh) * 2021-12-30 2022-04-12 杭州电子科技大学 基于特征融合和注意力机制的机载图像车辆目标识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2780595A1 (en) * 2011-06-22 2012-12-22 Roman Palenychka Method and multi-scale attention system for spatiotemporal change determination and object detection
WO2021120157A1 (en) * 2019-12-20 2021-06-24 Intel Corporation Light weight multi-branch and multi-scale person re-identification
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN114332780A (zh) * 2021-11-30 2022-04-12 无锡数据湖信息技术有限公司 一种针对小目标的交通人车非目标检测方法
CN114332620A (zh) * 2021-12-30 2022-04-12 杭州电子科技大学 基于特征融合和注意力机制的机载图像车辆目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ASHISH SINHA 等；: "《Multi-scale self-guided attention for medical image segmentation》", 《ARXIV:1906.02849V3》 *
CHI ZHANG 等: "《CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning》", 《IEEE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173423A (zh) * 2023-08-09 2023-12-05 山东财经大学 图像小目标检测方法、***、设备及介质

Also Published As

Publication number Publication date
CN114648736B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN110232380B (zh) 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111402248B (zh) 一种基于机器视觉的输电线路导线缺陷检测方法
Tan et al. Automatic detection of sewer defects based on improved you only look once algorithm
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN110346699B (zh) 基于紫外图像处理技术的绝缘子放电信息提取方法及装置
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及***
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN113111727A (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN113920097A (zh) 一种基于多源图像的电力设备状态检测方法及***
CN112766137A (zh) 一种基于深度学习的动态场景异物入侵检测方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及***
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
Leach et al. Data augmentation for improving deep learning models in building inspections or postdisaster evaluation
CN113192057A (zh) 目标检测方法、***、设备及存储介质
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN115346206B (zh) 基于改进超分辨的深度卷积特征识别的车牌检测方法
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质
CN113505860B (zh) 盲区检测训练集的筛选方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant