CN113435266B - 基于极值点特征增强的fcos智能目标检测方法 - Google Patents

基于极值点特征增强的fcos智能目标检测方法 Download PDF

Info

Publication number
CN113435266B
CN113435266B CN202110641861.8A CN202110641861A CN113435266B CN 113435266 B CN113435266 B CN 113435266B CN 202110641861 A CN202110641861 A CN 202110641861A CN 113435266 B CN113435266 B CN 113435266B
Authority
CN
China
Prior art keywords
point
extreme
offset
points
fcos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110641861.8A
Other languages
English (en)
Other versions
CN113435266A (zh
Inventor
丁颜玉
陈剑
卢贵主
林娴静
曾淼旺
刘婵梓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN202110641861.8A priority Critical patent/CN113435266B/zh
Publication of CN113435266A publication Critical patent/CN113435266A/zh
Application granted granted Critical
Publication of CN113435266B publication Critical patent/CN113435266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于极值点增强的FCOS智能目标检测方法，构建极值点特征增强FCOS检测器，检测器的检测头Head架构为讲FPN中输出都各层特征图输入到回归子网络和分类子网络，最终的总损失为定位损失、分类损失和极值点损失三者之和；通过建立的极值点特征增强FCOS检测器检测图像中的目标。本发明通过更有效的极值点边界特征提取策略来增强点特征并进一步提高目标检测性能。

Description

基于极值点特征增强的FCOS智能目标检测方法
技术领域
本发明涉及一种智能目标检测方法，特别是一种基于极值点特征增强的FCOS智能目标检测方法，属于人工智能计算机视觉领域。
背景技术
目标检测是人工智能计算机视觉中具有挑战性的任务，其要求算法针对图像中的每个目标预测具有类别标签的边界框。所有目前主流的检测器，如Faster R-CNN，SSD和YOLO系列算法等都依赖于一组预定义的锚框，长期以来人们一直认为锚框的使用是目标检测器成功的关键。尽管基于锚的检测器取得了巨大的成功，但是依然存在一些缺点：1、检测性能对尺寸，纵横比和锚框数量等超参数敏感。例如，在RetinaNet中，根据COCO基准，改变这些超参数会影响AP性能达到4％左右。因此，基于锚的检测器需要仔细调整超参数。2、即使经过精心设计，由于锚框的比例和纵横比保持固定，检测器难以处理具有较大形状变化的候选目标，特别是难以检测小目标。预定义的锚框也降低了检测器的泛化能力，因为在新的具有不同目标尺寸或纵横比的检测任务中需要重新设计锚框。3、为了实现高召回率，检测器需要在输入图像上密集地放置锚框(例如，在特征金字塔网络(FPN)中需在图像上放置超过180K的锚框)。大多数这些锚框在训练期间被标记为负样本，大量的负样本加剧了训练过程中正、负样本之间的不平衡。
如上所述，基于锚框的设计导致过多的超参数，通常需要仔细调整这些超参数才能获得良好的性能。除了上述锚形状的超参数之外，基于锚的检测器还需要其它超参数来将每个锚框标记为正样本，忽略样本或负样本。在以往的设计中，通常在锚框和标注框之间使用交并比(IOU)来标记它们(例如，如果其IOU在[0.5～1]之间则为正样本锚)。这些超参数对最终检测精度有很大影响，需要进行启发式调整。无锚检测器则通过消除锚框来减少超参数并降低复杂度。最近流行的无锚检测器是FCOS检测器，FCOS利用标注框中的所有点来预测边界框，并且通过“中心度”分支来抑制低质量预测框。通过消除预定义锚框，FCOS检测器完全避免了复杂的IOU计算，以及训练期间锚框和真实框之间的匹配计算，将总训练内存占用减少了2倍左右。此外FCOS避免了与锚框相关的所有超参数，这些参数通常对最终检测性能非常敏感，FCOS能够实现单阶段无锚检测，显著减少了设计超参数的数量，使检测器的训练变得简单直观。凭借唯一的后处理非最大抑制(NMS)，FCOS可以提高检测精度并优于以往基于锚的单阶段检测器。
尽管FCOS检测器显著减少了超参数并提升了检测精度，但在FCOS检测器的特征表示中，基于单点的特征表示缺乏整体目标的显式特征表示，需要进行特征增强。然而，从整个标注框中提取特征是不必要和多余的。
发明内容
本发明所要解决的技术内容是提供一种基于极值点特征增强的FCOS智能目标检测方法，通过更有效的极值点边界特征提取策略来进一步提高目标检测性能。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于极值点特征增强的FCOS智能目标检测方法，其特征在于包含以下步骤：
步骤一：构建极值点特征增强FCOS检测器，检测器的检测头Head架构为讲FPN中输出都各层特征图输入到回归子网络和分类子网络，最终的总损失为定位损失、分类损失和极值点损失三者之和；
步骤二：通过步骤一建立的极值点特征增强FCOS检测器检测图像中的目标。
进一步地，所述回归子网络具体为
经过4个【256,3*3,256】卷积之后得到回归特征reg_feat，回归特征reg_feat进一步经过1个【256,3*3,256】卷积和1个【256,3*3,8】卷积得到极值点Offset；然后将回归特征reg_feat和偏移Offset输入到【256,3*3,256】可变形卷积，并经过【256,3*3,4】卷积得到预测框坐标。
进一步地，所述极值点Offset的回归目标Offset_Target是来自标注极值点相对基准点的偏移，通过训练Offset与Offset_Target之间的极值点损失来学习Offset。
进一步地，所述分类子网络具体为
经过4个【256,3*3,256】卷积之后得到分类特征cls_feat，然后将分类特征cls_feat和偏移Offset输入到【256,3*3,256】可变形卷积cls_dcn_feat，cls_dcn_feat并经过【256,3*3,81】卷积得到预测的分类得分，cls_dcn_feat同时经过【256,3*3,1】卷积得到预测的中心度分数。
进一步地，所述标注极值点相对基准点的偏移计算过程为
目标实例的极值点为4个点，分别为最左点，最上点，最右点，最下点，其坐标分别为(xl,yl),(xt,yt),(xr,yr),(xb,yb)；
极值点直接转换为两个角点所有构成的边界框，两个角点即左上角点和右下角点(x1,y1)和(x2,y2)，对应极值点中的坐标为(xl,yt),和(xr,yb)；
对于极值点标注信息的获取，采用ExtremeNet检测器中的转换方法，从COCO实例分割Mask标注中提取极值点标注信息，然后经过尺寸缩放Resize和随机水平翻转Flip处理转换得到检测器网络中的极值点标注信息gt_extremes；
把标注框以及标注极值点分配到基准点，将标注框及标注极值点分配到基准点之后，进一步计算极值点到基准点的偏移。
进一步地，对于边界框上极值点不唯一的情况，直接取最左偏上点，最上篇右点，最右篇下点，最下偏左点，形成首尾相接的形式。
进一步地，所述把标注框以及标注极值点分配到基准点都分配方法为FCOS检测器把标注框分配到标注框区域内的所有基准点，并结合中心度Centerness来进行权重调整Reweight。
进一步地，所述进一步计算极值点到基准点的偏移具体过程为
在标准的FCOS检测器中，计算边界框4个边界到基准点的距离(l，t，r，b)，分别表示左边界，上边界，右边界和下边界的距离；
距离(l，t，r，b)的具体计算方法如下：
l＝x-x1
t＝y-y1
r＝x2-x
b＝y2-x
其中(x，y)为基准点坐标，而(x1，y1)和(x2，y2)表示边界框左上角点和右下角点坐标；
将边界框左上角点右下角点(x1，y1)，(x2，y2)改写为(xl，yt)，(xr，yb)，则求边界框到基准点的距离(l，t，r，b)变为：
l＝x-xl
t＝y-yt
r＝xr-x
b＝yb-y
目标实例的4个极值点表示为(xl，yl)，(xt，yt)，(xr，yr)，(xb，yb)，可以看出边界框两个角点的4个值【(xl，yt)，(xr，yb)】，实则包含在4个极值点的8个值中；为了训练学习极值点8个值剩余4个值【yl，xt，yr，xb】，设计其回归目标为【lh，tw，rh，bw】，
具体计算方法如下：
lh＝yl_y
tw＝xt-x
rh＝yr-y
bw＝xb-x
目标实例的4个极值点的坐标如下：
极左点：(xl，yl)
极顶点：(xt，yt)
极右点：(xr，yr)
极底点：(xb，yb)
可计算目标实例4个极值点到基准点的偏移Offset如下：
极左点offset：(offset_lx，offset_ly)＝(xl，yl)-(x，y)＝【(xl-x)，(yl-y)】＝(-l，lh)
极顶点offset：(offset_tx，offset_ty)＝(xt，yt)-(x，y)＝【(Xt-x)，(yt-y)】＝(tw，-t)
极右点offset：(offset_rx，offset_ry)＝(xr，yr)-(x，y)＝【(xr-x)，(yr-y)】＝(r，rh)
极底点offset：(offset_bx，offset_by)＝(xb，yb)-(x，y)＝【(xb-x)，(yb-y)】＝(bw，b)
用这4个极值点offset作为可变形卷积DCN的4个偏移输入，DCN的其余5个偏移都设置为0，即指向基准点。
本发明与现有技术相比，具有以下优点和效果：本发明通过更有效的极值点边界特征提取策略来增强点特征并进一步提高目标检测性能；本发明针对非显示极值点问题和量化误差问题进行改进，通过显式极值点标注信息去学习极值点的准确位置，并通过可变形卷积提取极值点处的特征来增强单点特征，有利于获取关键特征信息并提升分类和定位精度；通过利用极值点偏移和特征图做可变形卷积运算，可在提取单点特征的基础上增加了目标实例极值点处的特征，实现了单点特征的极值点关键特征增强，进而提高了目标检测的精度。
附图说明
图1是本发明的基于极值点特征增强的FCOS智能目标检测方法的检测器架构图。
图2是本发明实施例的目标实例极值点示意图。
图3是本发明实施例的边界框角点坐标与极值点坐标的对应关系示意图。
图4是本发明实施例的两种极值点处理方法示意图。
图5是本发明实施例的边界框4个边界到基准点的距离示意图。
图6是本发明实施例的4个极值点到基准点的偏移示意图。
图7是现有技术的标准FCOS检测器的架构图。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
如图7所示，是标准FCOS目标检测器的架构图。FCOS是一种先进的单阶段无锚检测器，通过去除预定义的锚框，FCOS完全的避免了关于锚框的复杂运算，例如训练过程中计算交并比IOU，并且避免了和锚框有关且对最终检测结果非常敏感的超参数，从而节省了训练内存占用并提升了检测精度。对于无锚的FCOS检测器，如果降采样的尺度过大，那么网络无法召回在最顶层特征图上没有位置编码的目标初始框，因此FCOS采用了基于FPN的多尺度策略。如图所示，其中C3，C4和C5表示主干网络的特征图，P3到P7是用于最终预测的特征层次，H*W是特征图的高度和宽度。'/s'(s＝8,16,…,128)是特征图级别与输入图像的下采样比率。FCOS检测器使用了{P3,P4,P5,P6,P7}这五个尺度的特征图。其中P3、P4、P5由主干CNNs网络的特征层C3、C4、C5经过一个1*1的卷积得到的，而P6、P7则是对P5进行了步长为2的卷积操作得到，相当于降采样操作。最终对这五个尺度都做逐像素回归。
如图1所示，本发明的基于极值点特征增强的FCOS智能目标检测方法，包含如下步骤：
步骤一：构建极值点特征增强FCOS检测器，检测器的检测头Head架构为讲FPN中输出都各层特征图输入到回归子网络和分类子网络，最终的总损失为定位损失、分类损失和极值点损失三者之和；
步骤二：通过步骤一建立的极值点特征增强FCOS检测器检测图像中的目标。
本发明的极值点特征增强FCOS检测器：
标准的FCOS通过特征图网格单点特征来预测边界框预测，单点特征虽然使用方便，但缺少明确的边界信息，难以进行精确定位。后续BorderDet检测器发现了极值点附近的特征非常重要，具有很丰富的关键特征信息，提取极值点附近的特征有助于提升分类和回归精度。我们知道FCOS是基于单个基准点上的特征(单点特征)进行分类和回归预测，而BorderDet在FCOS的单点特征的基础上进一步融合额外的4个隐式极值点特征，从而增强了关键特征信息并提升了检测精度。
但BorderDet依然存在其局限性，其极值点特征并不是通过显式的去学习极值点位置得来的，而是先在初始预测框边界线上寻找热图热力值最高的位置，并认为该位置就是该边界上的极值点。这种认定极值点位置的方法有些含糊不清，只是一种直观的感受，难以覆盖数据集中所有可能的场景。并且在寻找边界线极值点过程中设置量化采样点数量为N＝10，容易造成不可忽略的量化误差，特别是对于大尺寸目标实例。
本发明针对非显示极值点问题和量化误差问题进行改进，通过显式极值点标注信息去学习极值点的准确位置，并通过可变形卷积提取极值点处的特征来增强单点特征，有利于获取关键特征信息并提升分类和定位精度。
极值点特征增强FCOS检测器的架构的主干网络和FPN特征金字塔与标准FCOS一致，主要区别在于检测头Head，本发明提出的检测头Head架构如下图所示。首先FPN中输出的各层特征图输入到回归子网络和分类子网络。
对于回归子网络：经过4个【256,3*3,256】卷积之后得到回归特征reg_feat，reg_feat进一步经过1个【256,3*3,256】卷积和1个【256,3*3,8】卷积得到极值点Offset。其中极值点Offset的回归目标Offset_Target是来自标注极值点相对基准点的偏移，通过训练Offset与Offset_Target之间的极值点损失(使用Smooth L1 Loss)来学习Offset。然后将回归特征reg_feat和偏移Offset输入到【256,3*3,256】可变形卷积，并经过【256,3*3,4】卷积得到预测框坐标。
对于分类子网络：类似的经过4个【256,3*3,256】卷积之后得到分类特征cls_feat，然后将分类特征cls_feat和偏移Offset输入到【256,3*3,256】可变形卷积cls_dcn_feat，cls_dcn_feat并经过【256,3*3,81】卷积得到预测的分类得分，cls_dcn_feat同时经过【256,3*3,1】卷积得到预测的中心度分数。
对于定位和分类的损失训练方法同FCOS一致，最终的总损失为定位损失、分类损失和极值点损失三者之和。因此，通过利用极值点偏移和特征图做可变形卷积运算，可在提取单点特征的基础上增加了目标实例极值点处的特征，实现了单点特征的极值点关键特征增强，进而提高了目标检测的精度。
对于极值点特征增强型FCOS检测器的架构和工作流程中极值点相对基准点的偏移Offset的计算具体过程如下：
目标实例的极值点为4个点，如图2所示，分别为最左点，最上点，最右点，最下点，其坐标分别为(xl,yl),(xt,yt),(xr,yr),(xb,yb)；
极值点直接转换为两个角点所有构成的边界框，两个角点即左上角点和右下角点(x1,y1)和(x2,y2)，对应极值点中的坐标为(xl,yt),和(xr,yb)，如图3所示。
对于边界框上极值点不唯一的情况，比如矩形状的平板电视机，其整个左边都是其最左点。这种情况下有两种解决方案，如图4所示。方案A：直接取最左偏上点，最上偏左点，最右篇下点，最下偏右点。这样4个极值点就退化成了两个角点。方案B：直接取最左偏上点，最上篇右点，最右篇下点，最下偏左点，这样形成了首尾相接的形式。为了使极值点更好的覆盖目标实例，我们采用第二种方法来进行处理。
对于极值点标注信息的获取，采用ExtremeNet检测器中的转换方法，从COCO实例分割Mask标注中提取极值点标注信息，然后经过尺寸缩放Resize和随机水平翻转Flip处理转换得到检测器网络中的极值点标注信息gt_extremes；
接下来需要把标注框以及标注极值点分配到基准点。分配方法有多种，FCOS检测器把标注框分配到标注框区域内的所有基准点，并结合中心度Centerness来进行权重调整Reweight。Foveabox检测器则是把一个标注框分配到标注框中心子区域内的基准点，并去掉了中心度Centerness权重调整机制，简化了网络结构并降低了计算复杂度。而CenterNet检测器(ObjectAs Point)和Reppoints检测器则是把标注框分配到离标注框中心点最近的单个基准点上，这样可进一步简化网络和降低计算量，但同时也会造成正样本数量过少的问题。在本发明中我们将采用FCOS的方法，即把标注框和标注极值点分配到标注框区域内的所有基准点。
将标注框及标注极值点分配到基准点之后，进一步计算极值点到基准点的偏移。具体过程为
在标准的FCOS检测器中，计算边界框4个边界到基准点的距离(l，t，r，b)，分别表示左边界，上边界，右边界和下边界的距离；如图5所示。
距离(l，t，r，b)的具体计算方法如下：
l＝x-x1
t＝y-y1
r＝x2-x
b＝y2-x
其中(x，y)为基准点坐标，而(x1，y1)和(x2，y2)表示边界框左上角点和右下角点坐标；
将边界框左上角点右下角点(x1，y1)，(x2，y2)改写为(xl，yt)，(xr，yb)，则求边界框到基准点的距离(l，t，r，b)变为：
l＝x-xl
t＝y-yt
r＝xr-x
b＝yb-y
目标实例的4个极值点表示为(xl，yl)，(xt，yt)，(xr，yr)，(xb，yb)，可以看出边界框两个角点的4个值【(xl，yt)，(xr，yb)】，实则包含在4个极值点的8个值中；为了训练学习极值点8个值剩余4个值【yl，xt，yr，xb】，设计其回归目标为【lh，tw，rh，bw】，如图6所示。
具体计算方法如下：
lh＝yl-y
tw＝xt-x
rh＝yr-y
bw＝xb-x
目标实例的4个极值点的坐标如下：
极左点：(xl，yl)
极顶点：(xt，yt)
极右点：(xr，yr)
极底点：(xb，yb)
可计算目标实例4个极值点到基准点的偏移Offset如下：
极左点offset：(offset_lx，offset_ly)＝(xl，yl)-(x，y)＝【(xl-x)，(yl-y)】＝(-l，lh)
极顶点offset：(offset_tx，offset_ty)＝(xt，yt)-(x，y)＝【(xt-x)，(yt-y)】＝(tw，-t)
极右点offset：(offset_rx，offset_ry)＝(xr，yr)-(x，y)＝【(xr-x)，(yr-y)】＝(r，rh)
极底点offset：(offset_bx，offset_by)＝(xb，yb)-(x，y)＝【(xb-x)，(yb-y)】＝(bw，b)
用这4个极值点offset作为可变形卷积DCN的4个偏移输入，DCN的其余5个偏移都设置为0，即指向基准点。这样可同时在基准点处和4个极值点处提取关键特征信息，从而提升目标检测分类和回归精度。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (3)

1.一种基于极值点特征增强的FCOS智能目标检测方法，其特征在于包含以下步骤：
步骤一：构建极值点特征增强FCOS检测器，检测器的检测头Head架构为讲FPN中输出都各层特征图输入到回归子网络和分类子网络，最终的总损失为定位损失、分类损失和极值点损失三者之和；
所述回归子网络具体为
经过4个【256,3*3,256】卷积之后得到回归特征reg_feat，回归特征reg_feat进一步经过1个【256,3*3,256】卷积和1个【256,3*3,8】卷积得到极值点Offset；然后将回归特征reg_feat和偏移Offset输入到【256,3*3,256】可变形卷积，并经过【256,3*3,4】卷积得到预测框坐标；
所述极值点Offset的回归目标Offset_Target是来自标注极值点相对基准点的偏移，通过训练Offset与Offset_Target之间的极值点损失来学习Offset；
所述分类子网络具体为
经过4个【256,3*3,256】卷积之后得到分类特征cls_feat，然后将分类特征cls_feat和偏移Offset输入到【256,3*3,256】可变形卷积cls_dcn_feat，cls_dcn_feat并经过【256,3*3,81】卷积得到预测的分类得分，cls_dcn_feat同时经过【256,3*3,1】卷积得到预测的中心度分数；
所述标注极值点相对基准点的偏移计算过程为
目标实例的极值点为4个点，分别为最左点，最上点，最右点，最下点，其坐标分别为(xl,yl),(xt,yt),(xr,yr),(xb,yb)；
极值点直接转换为两个角点所有构成的边界框，两个角点即左上角点和右下角点(x1,y1)和(x2,y2)，对应极值点中的坐标为(xl,yt),和(xr,yb)；
对于极值点标注信息的获取，采用ExtremeNet检测器中的转换方法，从COCO实例分割Mask标注中提取极值点标注信息，然后经过尺寸缩放Resize和随机水平翻转Flip处理转换得到检测器网络中的极值点标注信息gt_extremes；
把标注框以及标注极值点分配到基准点，将标注框及标注极值点分配到基准点之后，进一步计算极值点到基准点的偏移；
所述进一步计算极值点到基准点的偏移具体过程为
在标准的FCOS检测器中，计算边界框4个边界到基准点的距离(l,t,r,b)，分别表示左边界，上边界，右边界和下边界的距离；
距离(l,t,r,b)的具体计算方法如下：
l＝x-x1
t＝y-y1
r＝x2-x
b＝y2-x
其中(x,y)为基准点坐标，而(x1,y1)和(x2,y2)表示边界框左上角点和右下角点坐标；
将边界框左上角点右下角点(x1,y1),(x2,y2)改写为(xl,yt),(xr,yb)，则求边界框到基准点的距离(l,t,r,b)变为：
l＝x-xl
t＝y-yt
r＝xr-x
b＝yb-y
目标实例的4个极值点表示为(xl,yl),(xt,yt),(xr,yr),(xb,yb)，可以看出边界框两个角点的4个值【(xl,yt),(xr,yb)】，实则包含在4个极值点的8个值中；为了训练学习极值点8个值剩余4个值【yl,xt,yr,xb】，设计其回归目标为【lh,tw,rh,bw】，
具体计算方法如下：
lh＝yl-y
tw＝xt-x
rh＝yr-y
bw＝xb-x
目标实例的4个极值点的坐标如下：
极左点：(xl,yl)
极顶点：(xt,yt)
极右点：(xr,yr)
极底点：(xb,yb)
可计算目标实例4个极值点到基准点的偏移Offset如下：
极左点offset：(offset_lx,offset_ly)＝(xl,yl)-(x,y)＝【(xl-x),(yl-y)】＝(-l,lh)
极顶点offset：(offset_tx,offset_ty)＝(xt,yt)-(x,y)＝【(xt-x),(yt-y)】＝(tw,-t)
极右点offset：(offset_rx,offset_ry)＝(xr,yr)-(x,y)＝【(xr-x),(yr-y)】＝(r,rh)
极底点offset：(offset_bx,offset_by)＝(xb,yb)-(x,y)＝【(xb-x),(yb-y)】＝(bw,b)
用这4个极值点offset作为可变形卷积DCN的4个偏移输入，DCN的其余5个偏移都设置为0，即指向基准点；
步骤二：通过步骤一建立的极值点特征增强FCOS检测器检测图像中的目标。
2.根据权利要求1所述的基于极值点特征增强的FCOS智能目标检测方法，其特征在于：对于边界框上极值点不唯一的情况，直接取最左偏上点，最上篇右点，最右篇下点，最下偏左点，形成首尾相接的形式。
3.根据权利要求1所述的基于极值点特征增强的FCOS智能目标检测方法，其特征在于：所述把标注框以及标注极值点分配到基准点都分配方法为FCOS检测器把标注框分配到标注框区域内的所有基准点，并结合中心度Centerness来进行权重调整Reweight。
CN202110641861.8A 2021-06-09 2021-06-09 基于极值点特征增强的fcos智能目标检测方法 Active CN113435266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110641861.8A CN113435266B (zh) 2021-06-09 2021-06-09 基于极值点特征增强的fcos智能目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110641861.8A CN113435266B (zh) 2021-06-09 2021-06-09 基于极值点特征增强的fcos智能目标检测方法

Publications (2)

Publication Number Publication Date
CN113435266A CN113435266A (zh) 2021-09-24
CN113435266B true CN113435266B (zh) 2023-09-01

Family

ID=77755498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110641861.8A Active CN113435266B (zh) 2021-06-09 2021-06-09 基于极值点特征增强的fcos智能目标检测方法

Country Status (1)

Country Link
CN (1) CN113435266B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082903B (zh) * 2022-08-24 2022-11-11 深圳市万物云科技有限公司 非机动车违停识别方法、装置、计算机设备及存储介质
CN116152258B (zh) * 2023-04-23 2023-07-04 广东电网有限责任公司佛山供电局 一种输电线路绝缘子缺陷检测方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126472A (zh) * 2019-12-18 2020-05-08 南京信息工程大学 一种基于ssd改进的目标检测方法
CN111445497A (zh) * 2020-02-25 2020-07-24 华中科技大学 一种基于尺度上下文回归的目标追踪与跟随方法
CN112084869A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于紧致四边形表示的建筑物目标检测方法
CN112149620A (zh) * 2020-10-14 2020-12-29 南昌慧亦臣科技有限公司 基于无锚点的自然场景文字区域检测模型的构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830205B (zh) * 2018-06-04 2019-06-14 江南大学 基于改进全卷积网络的多尺度感知行人检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126472A (zh) * 2019-12-18 2020-05-08 南京信息工程大学 一种基于ssd改进的目标检测方法
CN111445497A (zh) * 2020-02-25 2020-07-24 华中科技大学 一种基于尺度上下文回归的目标追踪与跟随方法
CN112084869A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于紧致四边形表示的建筑物目标检测方法
CN112149620A (zh) * 2020-10-14 2020-12-29 南昌慧亦臣科技有限公司 基于无锚点的自然场景文字区域检测模型的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
复杂场景下基于增强YOLOv3的船舶目标检测;聂鑫;刘文;吴巍;;计算机应用(第09期);全文 *

Also Published As

Publication number Publication date
CN113435266A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
Vargas-Muñoz et al. Correcting rural building annotations in OpenStreetMap using convolutional neural networks
CN113378686B (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN113435266B (zh) 基于极值点特征增强的fcos智能目标检测方法
CN103337052B (zh) 面向宽幅遥感影像的自动几何纠正方法
CN111783523B (zh) 一种遥感影像旋转目标检测方法
CN111462222B (zh) 待侦测物体储量确定方法、装置、设备及介质
CN111291714A (zh) 一种基于单目视觉和激光雷达融合的车辆检测方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN111259808A (zh) 一种基于改进ssd算法的交通标识的检测识别方法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取***
CN110516528A (zh) 一种基于运动背景下的动目标检测和跟踪方法
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN113642571A (zh) 一种基于显著性注意力机制的细粒度图像识别方法
CN112396701A (zh) 卫星图像的处理方法、装置、电子设备和计算机存储介质
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
US20210304411A1 (en) Map construction method, apparatus, storage medium and electronic device
CN114943888A (zh) 基于多尺度信息融合的海面小目标检测方法、电子设备及计算机可读介质
CN117593548A (zh) 基于加权注意力机制去除动态特征点的视觉slam方法
CN110874170A (zh) 一种图像区域修正方法、图像分割方法及装置
CN117291790A (zh) 一种sar图像配准方法、装置、设备及介质
CN106228553A (zh) 高分辨率遥感图像阴影检测装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant