CN115330876B - 基于孪生网络和中心位置估计的目标模板图匹配定位方法 - Google Patents

基于孪生网络和中心位置估计的目标模板图匹配定位方法 Download PDF

Info

Publication number
CN115330876B
CN115330876B CN202211131672.7A CN202211131672A CN115330876B CN 115330876 B CN115330876 B CN 115330876B CN 202211131672 A CN202211131672 A CN 202211131672A CN 115330876 B CN115330876 B CN 115330876B
Authority
CN
China
Prior art keywords
graph
template
network
real
target template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211131672.7A
Other languages
English (en)
Other versions
CN115330876A (zh
Inventor
郑永斌
任强
徐婉莹
白圣建
孙鹏
朱笛
杨东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202211131672.7A priority Critical patent/CN115330876B/zh
Publication of CN115330876A publication Critical patent/CN115330876A/zh
Application granted granted Critical
Publication of CN115330876B publication Critical patent/CN115330876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理和深度学习技术领域，具体涉及一种基于孪生网络和中心位置估计的目标模板图匹配定位方法，包括如下步骤：S1构建目标模板图匹配定位网络；S2训练目标模板图匹配定位网络；S3应用训练好的目标模板图匹配定位网络模型进行目标模板图匹配定位。与传统模板匹配方法相比，本发明提供的基于孪生网络和中心位置估计的目标模板图匹配定位方法，能够充分利用深度孪生网络强大的特征提取与表征能力以及中心位置估计网络的高精度定位能力，在涵盖异源、尺度、旋转、视角等大差异的训练图像集基础上，通过训练得到应对上述复杂差异的目标模板图匹配定位网络模型，具体实施示例表明本方法具有良好的鲁棒性和定位准确性。

Description

基于孪生网络和中心位置估计的目标模板图匹配定位方法
技术领域
本发明属于图像处理和深度学习技术领域，具体涉及一种基于孪生网络和中心位置估计的目标模板图匹配定位方法。
背景技术
目标模板图匹配定位是指预先给定目标的模板图，通过特征提取、相似性度量、最大相似位置搜索等步骤，在成像设备获取的实时图中精确定位出模板图中心对应的位置。它是计算机视觉和目标识别领域中的一项基础技术，在遥感、医学图像处理、视频监控、成像制导等多种任务中有着广泛的应用。在具体应用中，由于实时图和模板图获取的成像设备不同，拍摄时间、拍摄视角、光照条件等获取条件不同，实时图与目标模板图之间往往存在异源、旋转、视角、噪声等较大差异，这给目标模板图的精确定位带来了巨大挑战。
Barbara Zitova′和Jan Flusser发表的论文“Image Registration Methods:ASurvey”(Image and Vision Computing,2003,21(11):977-1000)将模板图匹配定位任务分为四个要素，即特征提取、相似性度量、搜索空间和搜索方法。传统目标模板匹配定位方法提取的特征是手工设计特征，采用简单的相似性度量，导致特征提取与相似性度量能力较弱，难以应对上述问题的挑战。另外，传统方法的搜索空间是平移、尺度、旋转等维度的耦合，搜索到的匹配位置容易陷入局部最优值，导致目标模板图定位不准确甚至定位错误。深度学习所具有的强大的特征提取与利用能力为提升目标模板图匹配定位性能提供了新的技术途径。Qiang Ren等发表的论文“A Robust and Accurate End-to-End TemplateMatching Method Based on the Siamese Network”(IEEE Geoscience and RemoteSensing Letters,2022.01，19:1-5)提出一种基于孪生网络的端到端模板匹配方法，该方法将模板匹配任务作为模板分类和位置回归进行处理，提高了模板匹配定位应对异源、旋转、视角、噪声等较大差异的鲁棒性。但该方法在模板图定位时采用了矩形定位框密集预测的方法，即对模板图中心位置的定位是通过对模板边界框的预测间接实现的，导致模板图的定位精度和鲁棒性仍然受到异源、尺度、视角差异等因素的影响。
发明内容
针对现有目标模板图匹配定位方法存在的问题，本发明提供了一种基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，该方法借助于深度孪生网络强大的特征提取与表征能力，以及模板图中心位置估计网络的高精度，能有效提高复杂情况下目标模板图匹配定位的准确性和鲁棒性。
为实现上述目的，本发明提供了如下方案，一种基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，包括如下步骤：
S1构建目标模板图匹配定位网络
所述目标模板图匹配定位网络由特征提取孪生网络、深度相关卷积网络和中心位置估计网络三个部分依次级联构成，输入为模板图T和实时图S，其中T和S的尺寸分别为m×m和n×n，m、n均为正整数且n＞m；输出为单通道的热力图Phm，记其尺寸为mh×mh，mh为正整数，热力图上某坐标处的热力值越大，说明该坐标是模板图中心在实时图上位置的可能性越大。具体如下：
S1.1构建特征提取孪生网络，提取输入模板图和实时图的特征信息
所述特征提取孪生网络由两个参数共享、结构相同的卷积神经网络级联构成，分别以模板图T和实时图S作为输入，输出为模板图特征图f(T)和实时图特征图f(S)，其中f(T)的尺寸为m1×m1×d，f(S)的尺寸为n1×n1×d，其中m1表示f(T)的长度和宽度、n1表示f(S)的长度和宽度、d表示通道数，m1、n1、d均为正整数。
所述卷积神经网络是在标准ResNet网络(He K.，Zhang X.，Ren S.，Sun J.DeepResidual Learning for Image Recognition[C]//IEEE Conference on ComputerVision&Pattern Recognition.IEEE Computer Society,2016.)基础上修改得到，所做的具体修改如下：
(1)在标准的ResNet网络的第三、四、五层增加3×3卷积，实现特征降维，得到的特征图分别记为
Figure BDA0003848241690000021
和
Figure BDA0003848241690000022
(2)对特征图
Figure BDA0003848241690000023
进行3×3反卷积，得到的特征图拼接在特征图
Figure BDA0003848241690000026
后，然后对拼接得到的特征图进行3×3卷积，得到特征图
Figure BDA0003848241690000024
(3)对特征图
Figure BDA0003848241690000025
进行3×3反卷积，得到的特征图拼接在特征图
Figure BDA0003848241690000027
后，得到最终的输出：模板图特征图f(T)和实时图特征图f(S)。
S1.2利用深度相关卷积网络，将提取到的模板图特征图f(T)和实时图特征图f(S)进行融合
所述深度相关卷积网络以S1.1中提取到的模板图特征图f(T)和实时图特征图f(S)作为输入，以f(T)作为卷积核与f(S)进行深度相关卷积运算，输出为二者融合之后的相关特征图fFusion，其尺寸为(m1+1)×(m1+1)×d；
S1.3构建中心位置估计网络，计算单通道热力图
所述中心位置估计网络由三个3×3反卷积层和一个3×3卷积层级联构成，其中：每个3×3反卷积层的通道数为d、步长为s，s为正整数；3×3卷积层的通道数为d，步长为1。
该中心位置估计网络以S1.2中融合后的相关特征图fFusion作为输入，输出为单通道热力图Phm，尺寸为mh×mh，mh＝m1·s3。记px,y为热力图Phm上(x,y)位置处的热力值，1≤x,y≤mh，则px,y的取值范围为[0,1]。
S2训练目标模板图匹配定位网络
S2.1制作训练图像集
S2.1.1针对房屋、道路、桥梁、车辆、舰船、飞机等各种类型的目标，在不同时间段用可见光相机和红外相机分别从不同距离、不同视角、不同位置处拍摄，获得大量图像；
S2.1.2从采集的图像中制作ntrain对由模板图和实时图组成的图像对，其中ntrain≥40000。具体制作方法为：在某张图像中剪切包含某目标的图像块，缩放成m×m大小，选做模板图，m为正整数；在其它图像中剪切包含同一目标的图像块，将图像块缩放成n×n大小，选做实时图，n为正整数。
S2.1.3将制作的ntrain对图像作为训练图像集。
从上述训练图像集制作过程可以看出，模板图与实时图之间存在异源、尺度、旋转、视角等显著差异。
S2.2标定训练图像集
在标定所述训练图像集中的由模板图和实时图组成的图像对时，首先需要标定出模板图中心在实时图上的坐标cref＝(xref,yref)，然后将其映射到热力图上的坐标(xhm,yhm)，即计算模板图中心在热力图上的对应位置，具体计算方法为
Figure BDA0003848241690000031
其中
Figure BDA0003848241690000032
表示向下取整操作。
在获得模板图中心在热力图上的对应坐标后，接下来生成这对训练样本对应的热力图标签
Figure BDA0003848241690000033
区别于直接将正样本记为“1”、负样本记为“0”的标定方法，本步骤采用高斯核加权的方式来标定热力图，目的是为了控制负样本在损失函数中所占比重，减轻正负样本不平衡造成的影响，具体标定方法如下：
Figure BDA0003848241690000034
其中：
Figure BDA0003848241690000035
表示在热力图标签
Figure BDA0003848241690000036
的(x,y)位置处具体标定的热力值，x、y的取值范围为[1,mh]；σp是一个与模板图大小相关的超参数，本发明取
Figure BDA0003848241690000037
计算所有(x,y)位置的热力值，得到针对该训练样本标定的热力图标签
Figure BDA0003848241690000038
S2.3设计损失函数
设计训练所使用的损失函数如下：
Figure BDA0003848241690000039
其中：px,y表示利用S1中目标模板图匹配定位网络计算出的模板图中心位于实时图(x,y)位置处的热力值(置信度)，
Figure BDA00038482416900000310
表示S2.2中为训练样本标定的热力图
Figure BDA00038482416900000311
在位置(x,y)处的热力值，α和β是可调整的超参数，本发明中取α＝2，β＝4。
S2.4利用S2.1采集的训练图像集和S2.2标定后的训练图像集，使用随机梯度下降(SGD)(LeCun Y,Boser B,Denker J S,et al.Backpropagation applied to handwrittenzip code recognition[J].Neural computation,1989,1(4):541-551.)法进行网络训练，即通过最小化S2.3中设计的损失函数，得到训练好的目标模板图匹配定位网络模型。
S3应用训练好的目标模板图匹配定位网络模型进行目标模板图匹配定位
具体流程如下：
S3.1将待匹配定位的模板图T(大小m×m)和实时图S(大小n×n)输入S2.4中训练好的目标模板图匹配定位网络模型；
S3.2通过该目标模板图匹配定位网络模型计算输出热力图Phm；
S3.3寻找热力图Phm上的极大值，记极大值点的坐标记为(xmax,ymax)；
S3.4将(xmax,ymax)代入如下公式，定位出目标模板图中心在实时图上的位置(u,v)：
Figure BDA0003848241690000041
与传统模板匹配方法相比，本发明提供的基于孪生网络和中心位置估计的目标模板图匹配定位方法，能够充分利用深度孪生网络强大的特征提取与表征能力以及中心位置估计网络的高精度定位能力，在涵盖异源、尺度、旋转、视角等大差异的训练图像集基础上，通过训练得到应对上述复杂差异的目标模板图匹配定位网络模型，具体实施示例表明本方法具有良好的鲁棒性和定位准确性。
附图说明
图1为本发明所提出的一种基于孪生网络和中心位置估计的目标模板图匹配定位方法的网络结构示意图；
图2为本发明所设计的基于ResNet18的新型特征提取网络结构示意图；
图3为本发明训练图像集中的模板图和实时图示例；
图4为本发明提供的一些模板匹配结果。
具体实施方式
下面结合附图和具体实施例对本发明进行进一步说明。
本发明提供的基于孪生网络和中心位置估计的目标模板图匹配定位方法，包括以下步骤：
S1构建目标模板图匹配定位网络
所述目标模板图匹配定位网络由特征提取孪生网络、深度相关卷积网络和中心位置估计网络三个部分依次级联构成。图1为整个网络的具体结构示意图。实施实例中，该网络输入为127×127大小的模板图T和255×255大小的实时图S；输出为尺寸为129×129大小的单通道热力图。
S1.1构建特征提取孪生网络，提取输入模板图和实时图的特征信息
所述特征提取孪生网络由两个参数共享、结构相同的卷积神经网络级联构成，分别以模板图T和实时图S作为输入，输出为模板图特征图f(T)和实时图特征图f(S)。实施示例中m1＝16，n1＝32，d＝128，即：f(T)的尺寸为16×16×128，f(S)的尺寸为32×32×128。
如图2所示，所述卷积神经网络是在标准ResNet网络基础上修改得到，所做的具体修改如下：
(1)在标准的ResNet网络的第三、四、五层增加3×3卷积，实现特征降维，得到的特征图分别记为
Figure BDA0003848241690000051
和
Figure BDA0003848241690000052
(2)对特征图
Figure BDA0003848241690000053
进行3×3反卷积，得到的特征图拼接在特征图
Figure BDA0003848241690000054
后，然后对拼接得到的特征图进行3×3卷积，得到特征图
Figure BDA0003848241690000055
(3)对特征图
Figure BDA0003848241690000056
进行3×3反卷积，得到的特征图拼接在特征图
Figure BDA0003848241690000057
后，得到最终的输出：模板图特征图f(T)和实时图特征图f(S)。
实施实例中选择ResNet 18网络，3×3卷积的通道数为128、步长为1，3×3反卷积的通道数为128、步长为2。
S1.2利用深度相关卷积网络，将提取到的模板图特征图f(T)和实时图特征图f(S)进行融合
所述深度相关卷积操作的输入是f(T)和f(S)，将f(T)作为卷积核与f(S)进行深度卷积运算，输出为二者融合之后的相关特征图fFusion。实施实例中fFusion的尺寸为17×17×128。
S1.3构建中心位置估计网络，计算热力图
所述中心位置估计网络由三个3×3反卷积层和一个3×3卷积层级联构成，输入为fFusion，输出为单通道热力图Phm。实施实例中每个3×3反卷积层的通道数为128、步长为2，3×3卷积层的通道数为128、步长为1，输出Phm的尺寸为129×129。
S2训练目标模板图匹配定位网络
S2.1制作训练图像集
本实施实例使用大疆M300无人机携带禅思H20云台相机，从空中拍摄地面的可见光照片和红外照片，按照前文步骤S2.1提供的方法制作40000对模板图和实时图作为训练图像集，模板图和实时图的尺寸分别为127×127和255×255像素。
S2.2标定训练图像集
S2.1.1针对每对训练样本，标定出模板图中心在实时图上的坐标cref＝(xref,yref)；
S2.1.2计算模板图中心在热力图上的对应位置，实施实例中计算方法为
Figure BDA0003848241690000058
其中
Figure BDA0003848241690000059
表示向下取整操作。
S2.1.3在获得模板图中心在热力图上的对应坐标后，接下来生成这对训练样本对应的热力图标签
Figure BDA00038482416900000510
实施实例中
Figure BDA00038482416900000511
上每个(x,y)位置处标定的热力值计算如下：
Figure BDA0003848241690000061
其中，1≤x,y≤129，
Figure BDA0003848241690000062
是一个与模板图大小相关的超参数。
S2.3设计损失函数
设计训练所使用的损失函数如下：
Figure BDA0003848241690000063
其中：px,y表示利用S1中目标模板图匹配定位网络计算出的模板图中心位于实时图(x,y)位置处的热力值(置信度)，
Figure BDA0003848241690000064
表示S2.2中为训练样本标定的热力图
Figure BDA0003848241690000065
在位置(x,y)处的热力值，α和β是可调整的超参数，本实施实例中取α＝2,β＝4。
S2.4利用采集的训练图像集和标定的数据，使用随机梯度下降(SGD)(法进行网络训练，即通过最小化S2.3中设计的损失函数，得到训练好的目标模板图匹配定位网络模型。实施实例中对模型训练时，batch_size设置为128(GPU数量为4，每个GPU上加载32对图像)，参数Momentum和weight_decay分别设置为0.9和0.001。模型共训练20个epochs，在前5个epochs中，学习率从0.001等间隔增大到到0.005，在后15个epochs中，学习率从0.005等对数间隔衰减到0.0005。
S3应用训练好的目标模板图匹配定位网络模型，进行目标模板图匹配定位
具体流程如下：
S3.1将待匹配定位的模板图T(大小127×127)和实时图S(大小256×256)输入S2.4中训练好的的目标模板图匹配定位网络模型；
S3.2通过该目标模板图匹配定位网络模型计算输出热力图Phm；
S3.3寻找热力图Phm上的极大值，记极大值点的坐标记为(xmax,ymax)；
S3.4将(xmax,ymax)代入如下公式，定位出目标模板图中心在实时图上的位置(u,v)：
Figure BDA0003848241690000066
为对本发明提供的模板匹配方法进行定性评估，本实施实例中使用大疆M300无人机携带禅思H20云台相机，从空中拍摄地面的可见光照片和红外照片，制作350对由模板图与实时图组成的图像对，构建测试数据集，记作Hard350。测试数据集中模板图与实时图之间存在旋转、视角、遮挡、异源(可见光与红外)等较大差异，且没有出现在训练集中。本实施实例中使用基于中心误差定义的平均中心误差(MCE)和匹配成功率(SR)作为评价指标，其中SR2表示的是将中心误差小于2像素定义为匹配成功时得到的匹配成功率。
表1给出的是本发明提供的方法与现有的一些典型模板匹配方法在测试数据集上的对比结果，其中典型代表算法包括归一化互相关(NCC)、归一化互信息(NMI)、基于SIFT的图像匹配算法和基于HOG(Histogram of Oriented Gridients)的图像匹配算法，表中Ours表示本发明提供的方法。从表1的结果对比中可以看出：相较于传统的模板匹配方法，本发明提供的方法能够大幅度提高复杂环境下模板匹配的准确性和鲁棒性。
表1不同方法在Easy150和Hard350数据集上的测试结果
Figure BDA0003848241690000071
图4给出的是使用本发明提供的方法在异源、视角差异、旋转差异以及尺度差异干扰下得到的一些目标模板图匹配定位结果。从图中可以看到，本发明所提供的目标模板图匹配定位方法在复杂挑战情况下依然具有良好的性能。
综上，本发明提供的基于孪生网络和中心位置估计的目标模板图匹配定位方法，在复杂挑战情况下具有良好的目标模板图匹配定位准确性和鲁棒性。

Claims (5)

1.一种基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于，该方法包括如下步骤：
S1构建目标模板图匹配定位网络
所述目标模板图匹配定位网络由特征提取孪生网络、深度相关卷积网络和中心位置估计网络三个部分依次级联构成，输入为模板图T和实时图S，其中T和S的尺寸分别为m×m和n×n，m、n均为正整数且n＞m；输出为单通道的热力图Phm，记其尺寸为mh×mh，mh为正整数，具体如下：
S1.1构建特征提取孪生网络，提取输入模板图和实时图的特征信息
所述特征提取孪生网络由两个参数共享、结构相同的卷积神经网络级联构成，分别以模板图T和实时图S作为输入，输出为模板图特征图f(T)和实时图特征图f(S)，其中f(T)的尺寸为m1×m1×d，f(S)的尺寸为n1×n1×d，其中m1表示f(T)的长度和宽度、n1表示f(S)的长度和宽度、d表示通道数，m1、n1、d均为正整数；
所述卷积神经网络是在标准ResNet网络基础上修改得到，所做的具体修改如下：
(1)在标准的ResNet网络的第三、四、五层增加3×3卷积，实现特征降维，得到的特征图分别记为
Figure FDA0004084072410000011
和
Figure FDA0004084072410000012
(2)对特征图
Figure FDA0004084072410000013
进行3×3反卷积，得到的特征图拼接在特征图
Figure FDA0004084072410000014
后，然后对拼接得到的特征图进行3×3卷积，得到特征图
Figure FDA0004084072410000015
(3)对特征图
Figure FDA0004084072410000016
进行3×3反卷积，得到的特征图拼接在特征图
Figure FDA0004084072410000017
后，得到最终的输出：模板图特征图f(T)和实时图特征图f(S)；
S1.2利用深度相关卷积网络，将提取到的模板图特征图f(T)和实时图特征图f(S)进行融合
所述深度相关卷积网络以S1.1中提取到的模板图特征图f(T)和实时图特征图f(S)作为输入，以f(T)作为卷积核与f(S)进行深度相关卷积运算，输出为二者融合之后的相关特征图fFusion，其尺寸为(m1+1)×(m1+1)×d；
S1.3构建中心位置估计网络，计算单通道热力图
所述中心位置估计网络由三个3×3反卷积层和一个3×3卷积层级联构成，其中：每个3×3反卷积层的通道数为d、步长为s，s为正整数；3×3卷积层的通道数为d，步长为1；
该中心位置估计网络以S1.2中融合后的相关特征图fFusion作为输入，输出为单通道热力图Phm，尺寸为mh×mh，mh＝m1·s3；记px,y为热力图Phm上(x,y)位置处的热力值，1≤x≤mh，1≤y≤mh，则px,y的取值范围为[0,1]；
S2训练目标模板图匹配定位网络
S2.1制作训练图像集
S2.1.1针对房屋、道路、桥梁、车辆、舰船、飞机各种类型的目标，在不同时间段用可见光相机和红外相机分别从不同距离、不同视角、不同位置处拍摄，获得大量图像；
S2.1.2从采集的图像中制作ntrain对由模板图和实时图组成的图像对；
S2.1.3将制作的ntrain对图像作为训练图像集；
S2.2标定训练图像集
在标定所述训练图像集中的由模板图和实时图组成的图像对时，首先需要标定出模板图中心在实时图上的坐标cref＝(xref,yref)，然后将其映射到热力图上的坐标(xhm,yhm)，即计算模板图中心在热力图上的对应位置，具体计算方法为
Figure FDA0004084072410000021
其中
Figure FDA00040840724100000210
表示向下取整操作；
在获得模板图中心在热力图上的对应坐标后，接下来生成由模板图和实时图组成的图像对对应的热力图标签
Figure FDA0004084072410000022
本步骤采用高斯核加权的方式来标定热力图，具体标定方法如下：
Figure FDA0004084072410000023
其中：
Figure FDA0004084072410000024
表示在热力图标签
Figure FDA0004084072410000025
的(x,y)位置处具体标定的热力值，x、y的取值范围为[1,mh]；σp是一个与模板图大小相关的超参数；计算所有(x,y)位置的热力值，得到针对该训练样本标定的热力图标签
Figure FDA0004084072410000026
S2.3设计损失函数
设计训练所使用的损失函数如下：
Figure FDA0004084072410000027
其中：px,y表示利用S1中目标模板图匹配定位网络计算出的模板图中心位于实时图(x,y)位置处的热力值，
Figure FDA0004084072410000028
表示S2.2中为训练样本标定的热力图
Figure FDA0004084072410000029
在位置(x,y)处的热力值，α和β是可调整的超参数；
S2.4利用S2.1采集的训练图像集和S2.2标定后的训练图像集，使用随机梯度下降法进行网络训练，即通过最小化S2.3中设计的损失函数，得到训练好的目标模板图匹配定位网络模型；
S3应用训练好的目标模板图匹配定位网络模型进行目标模板图匹配定位
具体流程如下：
S3.1将待匹配定位的大小为m×m的模板图T和大小为n×n的实时图S输入S2.4中训练好的目标模板图匹配定位网络模型；
S3.2通过该目标模板图匹配定位网络模型计算输出热力图Phm；
S3.3寻找热力图Phm上的极大值，记极大值点的坐标记为(xmax,ymax)；
S3.4将(xmax,ymax)代入如下公式，定位出目标模板图中心在实时图上的位置(u,v)：
Figure FDA0004084072410000031
2.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：S2.1.2中，由模板图和实时图组成的图像对的数量ntrain≥40000。
3.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：S2.1.2中，制作ntrain对由模板图和实时图组成的图像对的方法为：在某张图像中剪切包含某目标的图像块，缩放成m×m大小，选做模板图，m为正整数；在其它图像中剪切包含同一目标的图像块，将图像块缩放成n×n大小，选做实时图，n为正整数。
4.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：S2.2中，与模板图大小相关的超参数
Figure FDA0004084072410000032
5.一种根据权利要求1所述基于深度孪生网络和中心位置估计的目标模板图匹配定位方法，其特征在于：S2.3中，可调整的超参数α和β的取值分别为α＝2，β＝4。
CN202211131672.7A 2022-09-15 2022-09-15 基于孪生网络和中心位置估计的目标模板图匹配定位方法 Active CN115330876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211131672.7A CN115330876B (zh) 2022-09-15 2022-09-15 基于孪生网络和中心位置估计的目标模板图匹配定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211131672.7A CN115330876B (zh) 2022-09-15 2022-09-15 基于孪生网络和中心位置估计的目标模板图匹配定位方法

Publications (2)

Publication Number Publication Date
CN115330876A CN115330876A (zh) 2022-11-11
CN115330876B true CN115330876B (zh) 2023-04-07

Family

ID=83929989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211131672.7A Active CN115330876B (zh) 2022-09-15 2022-09-15 基于孪生网络和中心位置估计的目标模板图匹配定位方法

Country Status (1)

Country Link
CN (1) CN115330876B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861595B (zh) * 2022-11-18 2024-05-24 华中科技大学 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN116260765B (zh) * 2023-05-11 2023-07-18 中国人民解放军国防科技大学 一种大规模动态路由网络数字孪生建模方法
CN118279398A (zh) * 2024-06-03 2024-07-02 四川中科友成科技有限公司 红外图像目标定位方法、装置、设备、介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245678A (zh) * 2019-05-07 2019-09-17 华中科技大学 一种异构孪生区域选取网络及基于该网络的图像匹配方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846593B2 (en) * 2018-04-27 2020-11-24 Qualcomm Technologies Inc. System and method for siamese instance search tracker with a recurrent neural network
CN109191491B (zh) * 2018-08-03 2020-09-08 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及***
CN112069896B (zh) * 2020-08-04 2022-12-02 河南科技大学 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN113705731A (zh) * 2021-09-23 2021-11-26 中国人民解放军国防科技大学 一种基于孪生网络的端到端图像模板匹配方法
CN114022729A (zh) * 2021-10-27 2022-02-08 华中科技大学 基于孪生网络和监督训练的异源图像匹配定位方法和***
CN114581678A (zh) * 2022-03-15 2022-06-03 中国电子科技集团公司第五十八研究所 一种模板特征匹配的自动跟踪与重识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245678A (zh) * 2019-05-07 2019-09-17 华中科技大学 一种异构孪生区域选取网络及基于该网络的图像匹配方法

Also Published As

Publication number Publication date
CN115330876A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN115330876B (zh) 基于孪生网络和中心位置估计的目标模板图匹配定位方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及***
CN106529538A (zh) 一种飞行器的定位方法和装置
CN104881029B (zh) 基于一点ransac和fast算法的移动机器人导航方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN105701827A (zh) 可见光相机与红外相机的参数联合标定方法及装置
CN107909018B (zh) 一种稳健的多模态遥感影像匹配方法和***
CN104268880A (zh) 基于特征和区域匹配相结合的深度信息获取方法
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN109308715A (zh) 一种基于点特征和线特征结合的光学图像配准方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及***
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN117218201A (zh) Gnss拒止条件下无人机影像定位精度提升方法及***
CN110120013A (zh) 一种点云拼接方法及装置
O'Byrne et al. A comparison of image based 3D recovery methods for underwater inspections
CN108335328B (zh) 摄像机姿态估计方法和摄像机姿态估计装置
CN113658147A (zh) 一种基于深度学习的工件尺寸测量装置及方法
CN104392209B (zh) 一种目标与背景的图像复杂度评价方法
CN109740405B (zh) 一种非对齐相似车辆前窗差异信息检测方法
CN113034398A (zh) 基于人工智能的城市测绘果冻效应消除方法与***
CN114120129B (zh) 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN110135474A (zh) 一种基于深度学习的倾斜航空影像匹配方法和***
CN115202477A (zh) 基于异构孪生网络的ar观景互动方法及***
CN115588033A (zh) 基于结构提取的合成孔径雷达与光学图像配准***及方法
CN113554754A (zh) 一种基于计算机视觉的室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant