CN110532894A - 基于边界约束CenterNet的遥感目标检测方法 - Google Patents

基于边界约束CenterNet的遥感目标检测方法 Download PDF

Info

Publication number
CN110532894A
CN110532894A CN201910718858.4A CN201910718858A CN110532894A CN 110532894 A CN110532894 A CN 110532894A CN 201910718858 A CN201910718858 A CN 201910718858A CN 110532894 A CN110532894 A CN 110532894A
Authority
CN
China
Prior art keywords
network
constraint
boundary constraint
training sample
centernet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910718858.4A
Other languages
English (en)
Other versions
CN110532894B (zh
Inventor
冯婕
曾德宁
李迪
焦李成
张向荣
曹向海
刘若辰
尚荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201910718858.4A priority Critical patent/CN110532894B/zh
Publication of CN110532894A publication Critical patent/CN110532894A/zh
Application granted granted Critical
Publication of CN110532894B publication Critical patent/CN110532894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于边界约束CenterNet的遥感目标检测方法，用于解决现有技术中存在密集小目标的检测精度和召回率较低的技术问题，实现步骤为：获取训练样本集；构建边界约束CenterNet网络；获取训练样本集的预测标签和嵌入向量；计算边界约束CenterNet网络的损失；对边界约束CenterNet网络进行训练；基于训练好的边界约束CenterNet网络获取目标检测结果。本发明通过角点约束池化层在受约束的池化区域内进行最大池化，提取目标周围精细特征，有效提高密集小目标的检测精度和召回率，同时利用边界约束卷积网络生成的边界约束标签约束预测框，得到更准确的目标预测框，进一步提高目标的检测精度。

Description

基于边界约束CenterNet的遥感目标检测方法
技术领域
本发明属于机器视觉技术领域，涉及一种图像目标检测方法，具体涉及一种基于边界约束CenterNet的目标检测方法，可用于光学遥感图像中的目标检测。
背景技术
目标检测方法是机器视觉领域的核心研究内容之一，它是一种通过提取、处理图像特征对图像中所有感兴趣的目标进行回归和分类，确定它们的位置及其类别的技术，广泛应用于光学遥感图像中的目标检测。目标检测方法的技术指标有检测精度、召回率和检测速度等，在遥感图像中，受图像分辨率的影响，其中有着大量的密集小目标存在，这些密集小目标由于自身图像分辨率低，占整幅图像中的比例小，使得在实现快速定位检测目标时，很难准确的检测到密集小目标的存在，影响检测精度和召回率。
目标检测方法分为单阶段目标检测方法和两阶段目标检测方法，单阶段目标检测方法又可分为两类：基于回归目标矩形框和基于回归目标关键点的单阶段目标检测方法，其中，基于回归目标矩形框的单阶段目标检测方法直接回归目标矩形框，并对矩形框分类，得到目标的位置及其类别，该方法在设计网络时需要设置很多网络超参数，使得设计网络的过程变得复杂，同时它需要在不同尺度下做预测，造成网络训练速度慢和检测速度慢。
基于回归目标关键点的单阶段目标检测方法是回归目标关键点，然后基于关键点的位置和类别，得到目标的位置及其类别，该方法不需要设置网络超参数和多尺度预测，具有网络超参数少、训练速度快和检测速度快的优点，但仅根据两个对角点得到的目标预测框，会存在很多错检目标，同时采用角点全局池化提取到的特征不利于检测密集小目标。例如Kaiwen Duan等人在其发表的论文《CenterNet:Keypoint Triplets for objectDetection》(arXiv:1904.08189)中，提出了基于回归两个对角点与中心点的目标检测算法，该方法通过级联的角点全局池化层，生成质量较好的左上角点、右下角点和中心点，利用左上角点、右下角点和中心点得到目标的预测框，并将目标预测框的位置和类别作为目标的位置及其类别。该方法加入中心点的思想，提升了检测精度和召回率，但其存在不足之处在于，由于采用的角点全局池化是进行特征图全局池化，提取了全局的特征信息，影响了密集小目标的检测精度和召回率，且因为两个对角点会错误匹配而生成虚假目标预测框，影响了目标的检测精度。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种基于边界约束CenterNet的目标检测方法，用于解决现有技术中存在密集小目标的检测精度和召回率较低的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集：
将从光学遥感图像数据集中随机选取的N幅像素大小为W×H×c的图像作为训练样本集，其中，N≥1000；
(2)构建边界约束CenterNet网络：
(2a)构建特征提取网络、边界约束卷积网络和关键点生成网络，其中：
特征提取网络包括级联堆叠的多个卷积层、多个下采样层和多个上采样层；边界约束卷积网络包括多个级联堆叠的卷积层；关键点生成网络包括并行连接的对角点边界约束网络和中心点边界约束网络，其中，对角点边界约束网络和中心点边界约束网络，分别由用于提取深层语义特征的多个卷积层，以及用于对待池化特征图进行关键点边界约束池化的多个角点约束池化层级联堆叠而成；
(2b)将特征提取网络的输出作为边界约束卷积网络以及关键点生成网络的输入，将边界约束卷积网络的输出作为关键点生成网络的角点约束池化层的池化核，得到边界约束CenterNet网络；
(3)获取训练样本集的预测标签z1和嵌入向量e：
将训练样本集输入至边界约束CenterNet网络，得到训练样本集的预测标签z1和训练样本集的嵌入向量e，其中，z1包括边界约束预测标签、热图预测标签和偏移值预测标签；
(4)计算边界约束CenterNet网络的损失L：
计算训练样本集的预测标签z1和真实标签z1'的损失L1，同时计算训练样本集的嵌入向量e的距离损失L2，并将L1和L2之和作为边界约束CenterNet网络的损失L：L＝L1+L2；
(5)对边界约束CenterNet网络进行训练：
利用梯度下降方法，并通过L对边界约束CenterNet网络进行迭代k次优化训练，得到训练好的边界约束CenterNet网络，其中k≥5000；
(6)基于训练好的边界约束CenterNet网络获取目标检测结果：
(6a)将与训练样本同类型的待检测图像输入到训练好的边界约束CenterNet网络中，得到待检测图像的边界约束预测标签Z1、热图预测标签Z2、偏移值预测标签Z3和嵌入向量E；
(6b)根据Z2、Z3和E生成目标预测框，并通过Z1对目标预测框的置信度s进行约束，得到约束后置信度s'，并将s'＞sth的目标预测框的位置和类别作为目标的位置及其类别，其中，sth为置信度阈值，对s的约束公式为：
其中，α为约束率，s'为约束后置信度，wt与wb分别是Z1中上角点和下角点的宽度约束值，ht与hb分别为Z1中上角点和下角点的高度约束值，tx与ty为目标预测框的两个对角点中上角点的(x,y)坐标，bx与by为目标预测框的两个对角点中下角点的(x,y)坐标。
本发明与现有技术相比，具有如下优点：
1.本发明构建了边界约束CenterNet网络，在获取关键点特征时，构建了角点约束池化层，通过约束池化区域范围，使得提取到的目标特征更加精细，充分利用目标周围的特征进行检测，获得准确的目标位置及其类别，克服了现有技术中因提取了特征图中全局特征导致密集小目标检测效果差的问题，有效提高了密集小目标的检测精度和召回率。
2.本发明构建了边界约束CenterNet网络，充分利用边界约束卷积网络生成的边界约束预测标签，对虚假目标预测框进行约束，剔除虚假目标预测框，得到更加准确的目标预测框，解决了现有技术中因两个对角点错误匹配导致检测精度低的问题，进一步提高了目标检测精度。
附图说明
图1是本发明的实现流程图；
图2是本发明和现有技术目标检测结果的仿真对比图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明的实施步骤如下：
步骤1)获取训练样本集：
将从光学遥感图像数据集中随机选取的N幅像素大小为W×H×c的图像作为训练样本集，其中，N＝10000，W＝H＝511,c＝3；
步骤2)构建边界约束CenterNet网络：
(2a)构建特征提取网络、边界约束卷积网络和关键点生成网络，其中：
特征提取网络，包括依次层叠的第一输入层、第一下采样卷积层、第一卷积层、第二下采样卷积层、第二卷积层、第三下采样卷积层、第四下采样卷积层、第五下采样卷积层、第三卷积层、第一上采样卷积层、第二上采样卷积层和第三上采样卷积层；
边界约束卷积网络，包括依次层叠的第二输入层、第四卷积层、第五卷积层；
关键点生成网络，其中对角点边界约束网络，包括并行排布的第一角点约束池化层和第二角点约束池化层，其中第一角点约束池化层连接第六卷积层，第二角点约束池化层连接第七卷积层；中心点边界约束网络，包括依次层叠的第三角点约束池化层、第八卷积层、第四角点约束池化层、第九卷积层；
为了提高了对密集小目标的检测精度和召回率，构建角点约束池化层，约束池化区域范围，提取到目标周围的精细特征，充分利用目标周围的特征进行检测；其中，第一角点约束池化层、第三角点约束池化层为左上角点的池化层，第二角点约束池化层、第四角点约束池化层为右下角点的池化层，最大池化公式分别为：
其中，分别为池化后左上角点和右下角点在(x,y)坐标上的特征，ti,j为待池化特征图的(i,j)坐标的特征，wkt与wkb分别为上角点和下角点的宽度池化核的值，hkt与hkb分别为上角点和下角点的高度池化核的值；
(2b)将特征提取网络的输出作为边界约束卷积网络以及关键点生成网络的输入，将边界约束卷积网络的输出作为关键点生成网络的角点约束池化层的池化核，得到边界约束CenterNet网络；
步骤3)获取训练样本集的预测标签z1和嵌入向量e：
(3a)通过特征提取网络对训练样本集进行提取特征，得到训练样本集的特征图A；
(3b)通过边界约束卷积网络对A进行特征映射，得到训练样本集的边界约束预测标签；
(3c)将A作为关键点生成网络的输入，以训练样本集的边界约束预测标签作为关键点生成网络中角点约束池化层的池化核对A进行池化，得到训练样本集的热图预测标签、训练样本集的偏移值预测标签、以及训练样本集的嵌入向量e，并将训练样本集的边界约束预测标签、热图预测标签和偏移值预测标签组成训练样本集的预测标签z1；
步骤4)计算边界约束CenterNet网络的损失L：
(4a)计算训练样本集的预测标签z1和真实标签z1'的损失L1，同时计算训练样本集的嵌入向量e的距离损失L2，计算公式分别为：
L1＝Lk1+Lk2+Lk3
其中，Lk1为边界约束损失，Lk2为热图损失，Lk3为偏移值损失，N3为训练样本集中目标的个数，为训练样本集的嵌入向量中第k个目标的上角点对应的嵌入向量，为训练样本集的嵌入向量中第k个目标的下角点对应的嵌入向量，Lk1、Lk2和Lk3的计算公式分别为：
其中，W＝H＝511，bcij为z1中边界约束预测标签中坐标为(c,i,j)的值，bc'ij为z1'中边界约束真实标签中坐标为(c,i,j)的值，N1、N2分别为边界约束真实标签中的所有元素中大于0的个数和等于0的个数；C＝12为目标类别个数，N3为训练样本集中目标的个数，β＝4，ycij为z1中热图预测标签中坐标为(c,i,j)的值，y'cij为z1'中热图真实标签中坐标为(c,i,j)的值；ocij为z1中偏移值预测标签中坐标为(c,i,j)的值，o'cij为z1'中偏移值真实标签中坐标为(c,i,j)的值；
(4b)将L1和L2之和作为边界约束CenterNet网络的损失L：L＝L1+L2；
步骤5)对边界约束CenterNet网络进行训练：
利用梯度下降方法，并通过L对边界约束CenterNet网络进行迭代k次优化训练，得到训练好的边界约束CenterNet网络，其中k＝150000；
步骤6)基于训练好的边界约束CenterNet网络获取目标检测结果：
(6a)将与训练样本同类型的待检测图像输入到训练好的边界约束CenterNet网络中，得到待检测图像的边界约束预测标签Z1、热图预测标签Z2、偏移值预测标签Z3和嵌入向量E；
(6b1)根据热图预测标签Z2中所有的上角点位置和下角点位置，合成多个水平矩形框，保留其中包含热图预测标签Z2中心点的水平矩形框，并计算其置信度s1：
s1＝(st+sb+sc)/3
其中，st、sb和sc分别为修正前水平矩形框上角点的置信度、下角点的置信度和中心点的置信度；
(6b2)根据偏移值预测标签Z3的值对水平矩形框进行修正，得到修正后水平矩形框，修正公式为：
其中，(x',y')为水平矩形框的(x,y)坐标，(x”,y”)为修正后水平矩形框的(x,y)坐标，分别为在Z3中(x,y)坐标上的偏移值预测标签；
(6b2)根据嵌入向量E对修正后水平矩形框进行过滤，将|et'-e'b|＜eth的修正后水平矩形框的置信度置零，保留s1＞sth的修正后水平矩形框，得到置信度为s的目标预测框，其中，et'和e'b分别为修正后水平矩形框的上角点和下角点在嵌入向量E中的嵌入向量，eth＝1，sth＝0.4。
(6b3)为了进一步提高目标检测精度，通过Z1对目标预测框的置信度s进行约束，降低虚假目标预测框的置信度，得到约束后置信度s'，并将s'＞sth的目标预测框的位置和类别作为目标的位置及其类别，获得更准确的目标检测结果，其中，sth＝0.4，对s的约束公式为：
其中，α＝1为约束率，s'为约束后置信度，wt与wb分别是Z1中上角点和下角点的宽度约束值，ht与hb分别为Z1中上角点和下角点的高度约束值，tx与ty为目标预测框的两个对角点中上角点的(x,y)坐标，bx与by为目标预测框的两个对角点中下角点的(x,y)坐标。
下面结合仿真实验对本发明的效果作进一步的说明。
1.仿真条件：
仿真实验的硬件测试平台是：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存48GB，显卡为Nvidia GTX1080Ti 11G，软件平台为：Windows 10操作***和python 3.6。
2.仿真内容与结果分析：
对本发明和现有技术的CenterNet目标检测方法的检测结果进行对比仿真，其结果如图2所示。
参照图2，图2(a)来自VisDrone 2019数据集中的测试集的图像，图2(b)为图2(a)测试图像的参考位置及其类别，图2(c)为采用现有技术的CenterNet目标检测方法对图2(a)的仿真实验结果图，图2(d)为采用本发明方法对图2(a)的仿真实验结果图。
比较图2(c)和图2(d)可以看出：本发明与现有技术的CenterNet目标检测方法相比，对于图像的密集小目标本发明基本能检测出来，而且错误预测框少，说明本发明对密集小目标的检测效果更好，检测精度和召回率更高。
为了对两种方法的性能进行评价,同时利用六个评价指标(AP,AP50,AP70,AR100,AR500，Time)对检测结果进行评价，具体如下：
AP表示与真实框的交并比在[0.50,0.95]区间内的预测框的平均检测精度，值越大，说明检测效果越好；AP50表示与真实框的交并比为0.50的预测框的平均检测精度，值越大，说明检测效果越好；AP70表示与真实框的交并比为0.70的预测框的平均检测精度，值越大，说明检测效果越好；AR100表示与100个真实框的交并比在[0.50,0.95]区间内的预测框的平均召回率，值越大，说明检测效果越好；AR500表示与500个真实框的交并比在[0.50,0.95]区间内的预测框的平均召回率，值越大，说明检测效果越好；Time表示算法从图像输入到检测结果输出之间的时间，值越小，说明检测速度越快。
由仿真2得到的目标检测的各项指标与现有技术的参数对照表如下：
算法 AP AP<sup>50</sup> AP<sup>70</sup> AR<sup>100</sup> AR<sup>500</sup> Time
现有技术 0.221 0.410 0.208 0.269 0.311 150ms
本发明 0.240 0.437 0.228 0.297 0.336 100ms
由平均精确度和平均召回率与现有技术的参数对照表可以看出，本发明对比现有技术，平均精度提高了2个百分点，平均召回率提高了2.5个百分点，速度提升了50ms。
综上所述，本发明提出的基于边界约束CenterNet的目标检测方法，构建基于边界约束的角点约束池化层，约束池化区域范围，提取到目标周围的精细特征，有效提高密集小目标的检测精度和召回率，同时利用边界约束卷积网络生成的边界约束预测标签过滤掉虚假预测框，得到更准确地目标预测框，有效的提高目标的检测精度。

Claims (6)

1.一种基于边界约束CenterNet的遥感目标检测方法，其特征在于，包括如下步骤：
(1)获取训练样本集：
将从光学遥感图像数据集中随机选取的N幅像素大小为W×H×c的图像作为训练样本集，其中，N≥1000；
(2)构建边界约束CenterNet网络：
(2a)构建特征提取网络、边界约束卷积网络和关键点生成网络，其中：
特征提取网络包括级联堆叠的多个卷积层、多个下采样层和多个上采样层；边界约束卷积网络包括多个级联堆叠的卷积层；关键点生成网络包括并行连接的对角点边界约束网络和中心点边界约束网络，其中，对角点边界约束网络和中心点边界约束网络，分别由用于提取深层语义特征的多个卷积层，以及用于对待池化特征图进行关键点边界约束池化的多个角点约束池化层级联堆叠而成；
(2b)将特征提取网络的输出作为边界约束卷积网络以及关键点生成网络的输入，将边界约束卷积网络的输出作为关键点生成网络的角点约束池化层的池化核，得到边界约束CenterNet网络；
(3)获取训练样本集的预测标签z1和嵌入向量e：
将训练样本集输入至边界约束CenterNet网络，得到训练样本集的预测标签z1和训练样本集的嵌入向量e，其中，z1包括边界约束预测标签、热图预测标签和偏移值预测标签；
(4)计算边界约束CenterNet网络的损失L：
计算训练样本集的预测标签z1和真实标签z′1的损失L1，同时计算训练样本集的嵌入向量e的距离损失L2，并将L1和L2之和作为边界约束CenterNet网络的损失L：L＝L1+L2；
(5)对边界约束CenterNet网络进行训练：
利用梯度下降方法，并通过L对边界约束CenterNet网络进行迭代k次优化训练，得到训练好的边界约束CenterNet网络，其中k≥5000；
(6)基于训练好的边界约束CenterNet网络获取目标检测结果：
(6a)将与训练样本同类型的待检测图像输入到训练好的边界约束CenterNet网络中，得到待检测图像的边界约束预测标签Z1、热图预测标签Z2、偏移值预测标签Z3和嵌入向量E；
(6b)根据Z2、Z3和E生成目标预测框，并通过Z1对目标预测框的置信度s进行约束，得到约束后置信度s'，并将s'＞sth的目标预测框的位置和类别作为目标的位置及其类别，其中，sth为置信度阈值，对s的约束公式为：
其中，α为约束率，s'为约束后置信度，wt与wb分别是Z1中上角点和下角点的宽度约束值，ht与hb分别为Z1中上角点和下角点的高度约束值，tx与ty为目标预测框的两个对角点中上角点的(x,y)坐标，bx与by为目标预测框的两个对角点中下角点的(x,y)坐标。
2.根据权利要求1所述的基于边界约束CenterNet的目标检测方法，其特征在于，步骤(2a)中所述的特征提取网络、边界约束卷积网络和关键点生成网络，具体结构分别为：
特征提取网络，包括依次层叠的第一输入层、第一下采样卷积层、第一卷积层、第二下采样卷积层、第二卷积层、第三下采样卷积层、第四下采样卷积层、第五下采样卷积层、第三卷积层、第一上采样卷积层、第二上采样卷积层和第三上采样卷积层；
边界约束卷积网络，包括依次层叠的第二输入层、第四卷积层、第五卷积层；
关键点生成网络，其中对角点边界约束网络，包括并行排布的第一角点约束池化层和第二角点约束池化层，其中第一角点约束池化层连接第六卷积层，第二角点约束池化层连接第七卷积层；中心点边界约束网络，包括依次层叠的第三角点约束池化层、第八卷积层、第四角点约束池化层、第九卷积层。
3.根据权利要求1所述的基于边界约束CenterNet的目标检测方法，其特征在于，步骤(2a)中所述的对待池化特征图进行关键点边界约束池化，具体步骤为：将角点约束池化层的池化核的值作为待池化特征图池化区域的大小，并在池化区域内进行最大池化，获得池化后的池化特征图。
4.根据权利要求1所述的基于边界约束CenterNet的目标检测方法，其特征在于，步骤(3)中所述的训练样本集的预测标签z1和训练样本集的嵌入向量e，其获取过程步骤为：
(3a)通过特征提取网络对训练样本集进行提取特征，得到训练样本集的特征图A；
(3b)通过边界约束卷积网络对A进行特征映射，得到训练样本集的边界约束预测标签；
(3c)将A作为关键点生成网络的输入，以训练样本集的边界约束预测标签作为关键点生成网络中角点约束池化层的池化核对A进行池化，得到训练样本集的热图预测标签、训练样本集的偏移值预测标签、以及训练样本集的嵌入向量e，并将训练样本集的边界约束预测标签、热图预测标签和偏移值预测标签组成训练样本集的预测标签z1。
5.根据权利要求1所述的基于边界约束CenterNet的目标检测方法，其特征在于，步骤(4)中所述的训练样本集的预测标签z1和真实标签z′1的损失L1，以及训练样本集的嵌入向量e的距离损失L2，计算公式分别为：
L1＝Lk1+Lk2+Lk3
其中，Lk1为边界约束损失，Lk2为热图损失，Lk3为偏移值损失，N3为训练样本集中目标的个数，为训练样本集的嵌入向量中第k个目标的上角点对应的嵌入向量，为训练样本集的嵌入向量中第k个目标的下角点对应的嵌入向量，Δ为实验设置的超参数；Lk1、Lk2和Lk3的计算公式分别为：
其中，W和H分别为图像的宽和高，bcij为z1中边界约束预测标签中坐标为(c,i,j)的值，b′cij为z′1中边界约束真实标签中坐标为(c,i,j)的值，N1、N2分别为边界约束真实标签中的所有元素中大于0的个数和等于0的个数；C为目标类别个数，N3为训练样本集中目标的个数，β为实验设置的超参数，ycij为z1中热图预测标签中坐标为(c,i,j)的值，y'cij为为z′1中热图真实标签中坐标为(c,i,j)的值；ocij为z1中偏移值预测标签中坐标为(c,i,j)的值，o'cij为为z′1中偏移值真实标签中坐标为(c,i,j)的值。
6.根据权利要求1所述的基于边界约束CenterNet的目标检测方法，其特征在于，步骤(6b)中所述的根据热图预测标签Z2、偏移值预测标签Z3和嵌入向量E生成目标预测框，具体步骤为：
(6b1)根据热图预测标签Z2中所有的上角点位置和下角点位置，合成多个水平矩形框，保留其中包含热图预测标签Z2中心点的水平矩形框，并计算所保留水平矩形框的置信度s1：
s1＝(st+sb+sc)/3
其中，st、sb和sc分别为水平矩形框中的上角点的置信度、下角点的置信度和中心点的置信度；
(6b2)根据偏移值预测标签Z3的值对水平矩形框进行修正，得到修正后水平矩形框，修正公式为：
其中，(x',y')为水平矩形框的(x,y)坐标，(x”,y”)为修正后水平矩形框的(x,y)坐标，分别为在Z3中(x,y)坐标上的偏移值预测标签；
(6b2)根据嵌入向量E对修正后水平矩形框进行过滤，将|e′t-e'b|＜eth的修正后水平矩形框的置信度置零，保留s1＞sth的修正后水平矩形框，得到置信度为s的目标预测框，其中，e′t和e'b分别为修正后水平矩形框的上角点和下角点在嵌入向量E中的嵌入向量，eth为距离阈值。
CN201910718858.4A 2019-08-05 2019-08-05 基于边界约束CenterNet的遥感目标检测方法 Active CN110532894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910718858.4A CN110532894B (zh) 2019-08-05 2019-08-05 基于边界约束CenterNet的遥感目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910718858.4A CN110532894B (zh) 2019-08-05 2019-08-05 基于边界约束CenterNet的遥感目标检测方法

Publications (2)

Publication Number Publication Date
CN110532894A true CN110532894A (zh) 2019-12-03
CN110532894B CN110532894B (zh) 2021-09-03

Family

ID=68661423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910718858.4A Active CN110532894B (zh) 2019-08-05 2019-08-05 基于边界约束CenterNet的遥感目标检测方法

Country Status (1)

Country Link
CN (1) CN110532894B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111553348A (zh) * 2020-04-26 2020-08-18 中南大学 一种基于centernet的anchor-based目标检测方法
CN111640089A (zh) * 2020-05-09 2020-09-08 武汉精立电子技术有限公司 一种基于特征图中心点的缺陷检测方法及装置
CN111652106A (zh) * 2020-05-28 2020-09-11 韶关学院 一种目标监控方法、装置、电子设备及其储存介质
CN111753732A (zh) * 2020-06-24 2020-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于目标中心点的车辆多目标跟踪方法
CN111832479A (zh) * 2020-07-14 2020-10-27 西安电子科技大学 基于改进的自适应锚点r-cnn的视频目标检测方法
CN111915628A (zh) * 2020-06-24 2020-11-10 浙江大学 一种基于预测目标密集边界点的单阶段实例分割方法
CN111931764A (zh) * 2020-06-30 2020-11-13 华为技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN112257609A (zh) * 2020-10-23 2021-01-22 重庆邮电大学 一种基于自适应关键点热图的车辆检测方法及装置
CN112270278A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于关键点的蓝顶房检测方法
CN112336342A (zh) * 2020-10-29 2021-02-09 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备
CN112364734A (zh) * 2020-10-30 2021-02-12 福州大学 基于yolov4和CenterNet的异常着装检测方法
CN112580529A (zh) * 2020-12-22 2021-03-30 上海有个机器人有限公司 移动机器人感知识别方法、装置、终端及存储介质
CN112884742A (zh) * 2021-02-22 2021-06-01 山西讯龙科技有限公司 一种基于多算法融合的多目标实时检测、识别及跟踪方法
WO2021160184A1 (en) 2020-02-14 2021-08-19 Huawei Technologies Co., Ltd. Target detection method, training method, electronic device, and computer-readable medium
CN114463255A (zh) * 2021-12-23 2022-05-10 国网江苏省电力有限公司电力科学研究院 一种基于无锚点机制的螺丝脱落检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018111940A1 (en) * 2016-12-12 2018-06-21 Danny Ziyi Chen Segmenting ultrasound images
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及***、存储介质、电子设备
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110008882A (zh) * 2019-03-28 2019-07-12 华南理工大学 基于掩模与边框相似性损失的车辆检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018111940A1 (en) * 2016-12-12 2018-06-21 Danny Ziyi Chen Segmenting ultrasound images
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及***、存储介质、电子设备
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110008882A (zh) * 2019-03-28 2019-07-12 华南理工大学 基于掩模与边框相似性损失的车辆检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIWEN DUAN: ""CenterNet: Keypoint Triplets for Object Detection"", 《ARXIV》 *
胡翔云: ""变分法遥感影像人工地物自动检测"", 《测绘学报》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111242088B (zh) * 2020-01-22 2023-11-28 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
WO2021160184A1 (en) 2020-02-14 2021-08-19 Huawei Technologies Co., Ltd. Target detection method, training method, electronic device, and computer-readable medium
EP4104096A4 (en) * 2020-02-14 2023-07-19 Huawei Technologies Co., Ltd. TARGET DETECTION METHOD, TRAINING METHOD, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIA
CN111553348A (zh) * 2020-04-26 2020-08-18 中南大学 一种基于centernet的anchor-based目标检测方法
CN111640089B (zh) * 2020-05-09 2023-08-15 武汉精立电子技术有限公司 一种基于特征图中心点的缺陷检测方法及装置
CN111640089A (zh) * 2020-05-09 2020-09-08 武汉精立电子技术有限公司 一种基于特征图中心点的缺陷检测方法及装置
CN111652106A (zh) * 2020-05-28 2020-09-11 韶关学院 一种目标监控方法、装置、电子设备及其储存介质
CN111652106B (zh) * 2020-05-28 2024-02-02 韶关学院 一种目标监控方法、装置、电子设备及其储存介质
CN111915628A (zh) * 2020-06-24 2020-11-10 浙江大学 一种基于预测目标密集边界点的单阶段实例分割方法
CN111915628B (zh) * 2020-06-24 2023-11-24 浙江大学 一种基于预测目标密集边界点的单阶段实例分割方法
CN111753732A (zh) * 2020-06-24 2020-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于目标中心点的车辆多目标跟踪方法
CN111931764A (zh) * 2020-06-30 2020-11-13 华为技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN111931764B (zh) * 2020-06-30 2024-04-16 华为云计算技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN111832479A (zh) * 2020-07-14 2020-10-27 西安电子科技大学 基于改进的自适应锚点r-cnn的视频目标检测方法
CN111832479B (zh) * 2020-07-14 2023-08-01 西安电子科技大学 基于改进的自适应锚点r-cnn的视频目标检测方法
CN112257609A (zh) * 2020-10-23 2021-01-22 重庆邮电大学 一种基于自适应关键点热图的车辆检测方法及装置
CN112336342A (zh) * 2020-10-29 2021-02-09 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备
CN112336342B (zh) * 2020-10-29 2023-10-24 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备
CN112364734A (zh) * 2020-10-30 2021-02-12 福州大学 基于yolov4和CenterNet的异常着装检测方法
CN112270278A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于关键点的蓝顶房检测方法
CN112580529A (zh) * 2020-12-22 2021-03-30 上海有个机器人有限公司 移动机器人感知识别方法、装置、终端及存储介质
CN112884742B (zh) * 2021-02-22 2023-08-11 山西讯龙科技有限公司 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN112884742A (zh) * 2021-02-22 2021-06-01 山西讯龙科技有限公司 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN114463255A (zh) * 2021-12-23 2022-05-10 国网江苏省电力有限公司电力科学研究院 一种基于无锚点机制的螺丝脱落检测方法
CN114463255B (zh) * 2021-12-23 2024-07-12 国网江苏省电力有限公司电力科学研究院 一种基于无锚点机制的螺丝脱落检测方法

Also Published As

Publication number Publication date
CN110532894B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN110532894A (zh) 基于边界约束CenterNet的遥感目标检测方法
CN110287932B (zh) 基于深度学习图像语义分割的道路阻断信息提取方法
CN110276269B (zh) 一种基于注意力机制的遥感图像目标检测方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN109118564A (zh) 一种基于融合体素的三维点云标记方法和装置
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
Liu et al. Spatial feature fusion convolutional network for liver and liver tumor segmentation from CT images
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
CN106934795A (zh) 一种混凝土桥梁裂缝的自动检测方法和预测方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN109284704A (zh) 基于cnn的复杂背景sar车辆目标检测方法
CN109800629A (zh) 一种基于卷积神经网络的遥感图像目标检测方法
CN110473196A (zh) 一种基于深度学习的腹部ct图像目标器官配准方法
CN106530271B (zh) 一种红外图像显著性检测方法
US20200380696A1 (en) System and method for automatic segmentation of muscles from high-resolution mri using 3d deep convolutional neural network
CN107274399A (zh) 一种基于Hession矩阵和三维形状指数的肺结节分割方法
CN110232387A (zh) 一种基于kaze-hog算法的异源图像匹配方法
CN110399800A (zh) 基于深度学习vgg16框架的车牌检测方法及***、存储介质
CN108122221A (zh) 弥散加权成像图像中脑缺血区域的分割方法及装置
CN109461163A (zh) 一种用于磁共振标准水模的边缘检测提取算法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN108460336A (zh) 一种基于深度学习的行人检测方法
CN110533025A (zh) 基于候选区域提取网络的毫米波人体图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant