CN117078756A - 一种基于场景检索匹配的机载对地目标精确定位方法 - Google Patents

一种基于场景检索匹配的机载对地目标精确定位方法 Download PDF

Info

Publication number
CN117078756A
CN117078756A CN202311033473.7A CN202311033473A CN117078756A CN 117078756 A CN117078756 A CN 117078756A CN 202311033473 A CN202311033473 A CN 202311033473A CN 117078756 A CN117078756 A CN 117078756A
Authority
CN
China
Prior art keywords
image
feature
reference base
matching
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311033473.7A
Other languages
English (en)
Inventor
闫丽阳
宋瑞丽
宋科
李传广
芦秋迪
张森
邵晓晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception World Beijing Information Technology Co ltd
Original Assignee
Perception World Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception World Beijing Information Technology Co ltd filed Critical Perception World Beijing Information Technology Co ltd
Priority to CN202311033473.7A priority Critical patent/CN117078756A/zh
Publication of CN117078756A publication Critical patent/CN117078756A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于场景检索匹配的机载对地目标精确定位方法，该方法以先验基准底图(带有精确地理坐标)和数字高程模型为支撑，利用机载光电平台实时获取对地目标观测的光学影像，然后与先验基准底图进行实时的场景检索、精确匹配与影像配准校正，实现机载对地观测影像的精确地理编码，完成对地目标的精确定位，该方法不依赖卫星导航信号和光电测量平台，定位精度主要依赖于先验基准底图的图像空间分辨率，能够达到米级的绝对定位精度。

Description

一种基于场景检索匹配的机载对地目标精确定位方法
技术领域
本发明涉及航空测量定位技术领域，特别地，涉及航空(或无人机)机载对地目标定位方法领域。
背景技术
目前常用的航空(或无人机)机载对地目标定位方法是利用机载光电平台实现观测目标定位，该方法是在依托机载导航***确定机载光电平台自身位姿的前提下，机载光电平台锁定感兴趣的地面目标，以激光测距仪得到平台与目标之间的相对距离，经过换算获得地面目标的精确位置。但无人机坐标、姿态角、航向角及光电吊舱俯仰角、方位角、激光测距值等诸多参数也形成了复杂的误差源，使得目标绝对定位精度较差。除此之外，航空机载对地目标定位严重依赖卫星导航，在卫星导航面临着信号干扰、欺骗、地理环境和频谱干扰时，航空飞机(或无人机)自身定位将会出现大幅偏差，也使得对目标定位精度大幅降低或失效。
发明内容
为解决以上问题，本发明了提供了一种基于场景检索匹配的机载对地目标精确定位方法，该方法以先验基准底图(带有精确地理坐标)和数字高程模型为支撑，利用机载光电平台实时获取对地目标观测的光学影像，然后与先验基准底图进行实时的场景检索、精确匹配与影像配准校正，实现机载对地观测影像的精确地理编码，完成对地目标的精确定位，该方法不依赖卫星导航信号和光电测量平台，定位精度主要依赖于先验基准底图的图像空间分辨率，能够达到米级的绝对定位精度。
本发明提供了一种基于场景检索匹配的机载对地目标精确定位方法,包括以下步骤：
(1)对先验基准底图进行预处理：先验基准底图为采用卫星正射影像图或者无人机正射影像图，预处理包括：对航空飞行区域的先验基准底图进行切片，完成先验基准底图的瓦片金字塔构建；
(2)基于先验基准底图的瓦片金字塔构建先验基准底图的瓦片特征库：采用基于注意力机制的深度局部卷积网络ALCNN提取瓦片影像的具有辨别力、鲁棒性、跨模态的深度局部特征，生成局部特征描述子，利用特征聚合方式构建瓦片影像的全局特征向量，并对影像特征高维向量数据进行降维，最后实现所有瓦片的批量特征向量库构建；
其中基于注意力机制的深度局部卷积网络ALCNN为利用残差网络结构为基础，利用注意力机制来对获取的局部特征进行概率打分，实现对关键点的筛选；
经过前向训练，输出关键点及关键点概率得分以及关键点描述子的深度局部特征；
(3)提取机载对地观测影像的特征并筛选先验基准底图特征：根据接入的实时获取的对地观测影像或视频，按照步骤(2)的方法对该影像或视频进行深度局部特征提取与表征，构建全局特征向量，后根据获取该影像时飞机概略经纬度坐标位置P，对先验基准底图瓦片特征库的特征进行筛选，选择以P为圆心，半径为R范围内的特征,R不小于100千米；
(4)进行机载对地观测影像的特征检索匹配：在步骤(3)筛选出的先验基准底图特征里进行机载影像特征的检索匹配，采用基于PQ乘积量化和倒排IVF乘积量化的航空影像高维特征检索技术，通过哈希编码算法进行优化，计算对地观测影像的全局特征向量Qd与瓦片特征向量库Qj中向量的汉明距离，选取汉明距离小于阈值S的若干特征对应的基准瓦片，实现机载对地观测影像的特征检索匹配；
(5)进行机载对地观测影像与先验基准底图的精确匹配：以步骤(2)中基于注意力机制的深度局部卷积网络ALCNN提取的对地观测影像以及先验基准底图的局部特征描述子及关键点，采用基于深度特征的跨视角影像精确匹配方法，对得到的关键点及描述子进行交叉匹配学习，获得关键点的精确匹配；后通过自适应阈值法和卷积网络实现粗差点剔除；最后利用所述精确匹配以及粗差点剔除后的同名点，采用仿射不变性构造同名点的描述区域，最终完成目标关键点的精确匹配；
深度特征的跨视角影像精确匹配方法是对对地观测影像E以及先验基准底图影像G的特征点进行特征匹配建模，假设影像E,G中分别有EM、GN个特征点，则主要为这两组关键点构建一个软分配矩阵利用卷积神经网络方法对该软分配矩阵进行学习，其中损失函数的公式如下：
其中loss为损失函数的值，其中(i,j)∈U为匹配的真值点，Hi,j为对应真值点匹配的软分配矩阵，I为EM中的特征点，但在GN中没有对应的真值点，为EM中的特征点匹配到GN中点的软分配矩阵，J为GN中的特征点，但在EM中没有对应的真值点，/>为GN中的特征点匹配到EM中点的软分配矩阵，logHi,j、/> 为分配矩阵求对数。
(6)利用步骤(5)获得的机载对地观测影像对应的先验基准底图的同名点和该区域的数字高程模型，得到同名点的精确三维地理坐标：所述先验基准底图的同名点平面地理坐标已知，用机载对地观测影像的成像模型或多项式模型，对机载对地观测影像进行几何纠正配准，完成机载对地观测影像的精确地理编码，实现对地观测影像上任意目标的精确定位。
在可选的实施例中，所述步骤2中，输出的关键点为该点的横纵坐标像素值，关键点概率得分为0到1之间的概率值，关键点描述子为256维的特征向量。
在可选的实施例中，所述网络结构为：首先对输入的宽W，高H的三通道影像W*H*3进行3*3卷积操作，后利用BatchNormalization归一化层对卷积后的特征图进行数据归一化操作，后对归一化后的特征图经过4层残差块操作后输入到注意力机制层中,其中每层残差块中卷积核的通道数分别为32，64，128，256，每经过一个残差块后，输出影像大小变为输入影像大小的1/2,即：
其中，w[u,v,c]为卷积核的参数值，u，v为卷积核大小，c为卷积核通道数，a代表输入图像，ai与aj代表输入图像的像素值，ac为输入图像的通道数，b代表输出图像，bi与bj代表输出图像的像素值，bc为输出图像的通道数。
在可选的实施例中，所述残差块是将某一层的特征图m直接跳过多层输入到后边层，同时与经过多层权重层处理的特征图F(m)相加后输入到后续网络中，即后续网络的输入为F(m+1)＝F(m)+m，网络中权重层的参数由反向传播过程中的损失函数逐渐迭代更新。
在可选的实施例中，所述注意力机制层为每个关键点(x,y,D)学习一个概率得分函数∝((x,y,D)；θ)，θ是概率得分函数∝(·)的参数，该参数初始值为随机值，后经过网络前向与后向的传播，不断迭代以趋于稳定，关键点(x,y,D)中，(x,y)表示像素坐标，D对应关键点的描述子，整个训练过程是一个不断迭代的过程，最终输出满足概率得分阈值T的若干关键点即深度局部特征点。
在可选的实施例中，在获得瓦片影像的深度局部特征后，利用特征聚合方式构建瓦片的全局特征Q，对得到的全局特征Q利用PCA方式进行降维，最后利用降维后的特征向量构建特征向量库；
特征聚合具体公式如下：
其中W表示聚类权重矩阵，∝((xi,yi,Di)；θ)表示该瓦片影像第i关键点的概率得分，Di表示第i关键点的特征描述子即特征向量，n表示关键点的总个数，Q即聚类得到的全局特征。
在可选的实施例中，所述降维具体为：假设总瓦片个数为m，未降维前的全局特征矩阵即为m行l列的矩阵A，其中l为全局特征Q的维度，对矩阵A中的每一行进行零均值化，求取矩阵A的协方差矩阵后计算协方差矩阵B的特征值及对应的特征向量，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；Y＝PA即为降维到K维后的数据。
在可选的实施例中，所述步骤4中汉明距离的计算公式如下：
其中m为特征向量库中特征向量的总个数，Qd为对地观测影像的全局特征向量，为特征向量库中第i个特征向量值，score即为汉明距离的得分。
在可选的实施例中，在步骤2中获取该影像时飞机概略经纬度坐标位置P由惯性导航获得。
与现有技术比较，本发明的发明点及技术效果如下：
1、本发明的精确定位方法以先验基准底图(带有精确地理坐标)和数字高程模型为支撑，利用机载光电平台实时获取对地目标观测的光学影像，然后与先验基准底图进行实时的场景检索、精确匹配与影像配准校正，实现机载对地观测影像的精确地理编码，完成对地目标的精确定位，该方法不依赖卫星导航信号和光电测量平台，定位精度主要依赖于先验基准底图的图像空间分辨率，能够达到米级的绝对定位精度。
2、在精确匹配的过程中通过自适应阈值法和卷积网络实现粗差点剔除，提高关键点匹配精度
3、深度特征的跨视角影像精确匹配时，利用卷积神经网络方法对该软分配矩阵进行学习，设计了损失函数的公式，损失函数的值通过增大误匹配点之间的损失函数得分来进一步优化真值匹配点，最终实现真值点之间的匹配，提高匹配精度。
4、基于注意力机制的深度局部卷积网络ALCNN中，利用该残差网络可以有效克服由于网络深度加深而产生的学习效率变低与准确率无法提升的问题。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中的基于场景检索匹配的机载对地目标精确定位方法的流程图；
图2是本发明实施例中的ALCNN网络结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于场景检索匹配的机载对地目标精确定位方法，该方法以先验基准底图(带有精确地理坐标)和数字高程模型为支撑，利用机载光电平台实时获取对地目标观测的光学影像，然后与先验基准底图进行实时的场景检索、精确匹配与影像配准校正，实现机载对地观测影像的精确地理编码，完成对地目标的精确定位，该方法不依赖卫星导航信号和光电测量平台，定位精度主要依赖于先验基准底图的图像空间分辨率，能够达到米级的绝对定位精度。
该方法的主要步骤如下，请参考图1：
(1)对先验基准底图进行预处理。先验基准底图采用卫星正射影像图或者无人机正射影像图，为了实现快速检索匹配的目的，首先对航空飞行区域的先验基准底图进行切片，完成先验基准底图的瓦片金字塔构建；
(2)构建先验基准底图的瓦片特征库。采用基于注意力机制的深度局部卷积网络ALCNN提取瓦片影像的具有辨别力、鲁棒性、跨模态的深度局部特征，然后根据局部特征描述子，利用特征聚合方式构建瓦片影像的全局特征，并对影像特征高维向量数据进行降维，最后实现所有瓦片的批量特征向量库构建；
其中基于注意力机制的深度局部卷积网络ALCNN主要利用残差网络结构为基础，后利用注意力机制来对获取的局部特征进行概率打分，以此实现对关键点的筛选，其主要网络结构如图2所示，其中W为输入影像宽，H为输入影像高，n为输出关键点个数。
首先对输入的宽W，高H的三通道影像W*H*3进行3*3卷积操作，后利用BatchNormalization归一化层对卷积后的特征图进行数据归一化操作，后对归一化后的特征图经过4层残差块操作后输入到注意力机制层中,其中每层残差块中卷积核的通道数分别为32，64，128，256，每经过一个残差块后，输出影像大小变为输入影像大小的1/2,即
其中，w[u,v,c]为卷积核的参数值，u，v为卷积核大小，c为卷积核通道数，a代表输入图像，ai与aj代表输入图像的像素值，ac为输入图像的通道数，b代表输出图像，bi与bj代表输出图像的像素值，bc为输出图像的通道数。
最终经过前向训练，输出关键点及关键点概率得分以及关键点描述子等深度局部特征，输出的关键点为该点的横纵坐标像素值，关键点概率得分为0到1之间的概率值，关键点描述子为256维的特征向量。
残差块主要是将某一层的特征图m直接跳过多层输入到后边层，同时与经过多层权重层处理的特征图F(m)相加后输入到后续网络中，即后续网络的输入为F(m+1)＝F(m)+m，网络中权重层的参数由反向传播过程中的损失函数逐渐迭代更新。利用该残差网络可以有效克服由于网络深度加深而产生的学习效率变低与准确率无法提升的问题。
注意力机制层为每个关键点(x,y,D)学习一个概率得分函数∝((x,y,D)；θ)，θ是概率得分函数∝(·)的参数，该参数初始值为随机值，后经过网络前向与后向的传播，不断迭代以趋于稳定，关键点(x,y,D)中，(x,y)表示像素坐标，D对应关键点的描述子，整个训练过程是一个不断迭代的过程，最终输出满足概率得分阈值T的若干关键点即深度局部特征点。
在获得瓦片影像的深度局部特征后，利用特征聚合方式构建瓦片的全局特征Q，其具体公式如下：
其中W表示聚类权重矩阵，∝((xi,yi,Di)；θ)表示该瓦片影像第i关键点的概率得分，Di表示第i关键点的特征描述子即特征向量，n表示关键点的总个数，Q即聚类得到的全局特征。
最后对得到的全局特征Q利用PCA方式进行降维，假设总瓦片个数为m，未降维前的全局特征矩阵即为m行l列的矩阵A，其中l为全局特征Q的维度，对矩阵A中的每一行进行零均值化，求取矩阵A的协方差矩阵后计算协方差矩阵B的特征值及对应的特征向量，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；Y＝PA即为降维到K维后的数据。最后利用降维后的特征向量构建特征向量库。
(3)机载对地观测影像的特征提取与先验基准底图特征的筛选。根据接入的实时获取的对地观测影像(或视频)，按照(2)的方法对该影像进行深度局部特征提取与表征，构建全局特征向量等。然后根据获取该影像时飞机概略经纬度坐标位置P(由惯性导航获得)，对先验基准底图瓦片特征库的特征进行筛选，选择以P为圆心，半径为R范围内的特征,R不小于100千米；
(4)机载对地观测影像的特征检索匹配。在(3)筛选出的先验基准底图特征里进行机载影像特征的检索匹配，采用基于PQ乘积量化和倒排(IVF)乘积量化的航空影像高维特征检索技术，通过哈希编码算法进行优化，计算对地观测影像的全局特征向量Qd与特征向量库Qj中向量的汉明距离，选取汉明距离小于阈值S的若干特征对应的基准瓦片，实现机载对地观测影像的特征检索匹配；其中汉明距离的计算公式如下：
其中m为特征向量库中特征向量的总个数，Qd为对地观测影像的全局特征向量，为特征向量库中第i个特征向量值，score即为汉明距离的得分。
(5)机载对地观测影像与先验基准底图的精确匹配。以(2)中基于注意力机制的深度局部卷积网络ALCNN提取的对地观测影像以及先验基准底图的局部特征描述子及关键点，采用基于深度特征的跨视角影像精确匹配方法，对得到的关键点及描述子进行交叉匹配学习，获得关键点的精确匹配。后通过自适应阈值法和卷积网络实现粗差点剔除，提高关键点匹配精度。最后利用精确匹配以及粗差点剔除后的同名点，采用仿射不变性构造同名点的描述区域，最终完成目标关键点的精确匹配；
其中深度特征的跨视角影像精确匹配方法主要是对对地观测影像E以及先验基准底图影像G的特征点进行特征匹配建模，假设影像E,G中分别有EM、GN个特征点，则主要为这两组关键点构建一个软分配矩阵利用卷积神经网络方法对该软分配矩阵进行学习，其中损失函数的设计如下公式所示：
其中loss为损失函数的值，通过增大误匹配点之间的损失函数得分来进一步优化真值匹配点，最终实现真值点之间的匹配，提高匹配精度。其中(i,j)∈U为匹配的真值点，Hi,j为对应真值点匹配的软分配矩阵，I为EM中的特征点，但在GN中没有对应的真值点，为EM中的特征点匹配到GN中点的软分配矩阵，J为GN中的特征点，但在EM中没有对应的真值点，/>为GN中的特征点匹配到EM中点的软分配矩阵，logHi,j、/>为分配矩阵求对数。
(6)利用(5)获得的机载对地观测影像对应的先验基准底图的同名点(平面地理坐标已知)和该区域的数字高程模型，则可以得到同名点的精确三维地理坐标，然后利用机载影像的成像模型或多项式模型，对机载影像进行几何纠正配准，完成机载对地观测影像的精确地理编码，即实现了对地观测影像上任意目标的精确定位。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。
可以理解，除了上述内容，还包括一些常规结构和常规方法，由于这些内容都是公知的，不再赘述。但这并不意味着本发明不存在这些结构和方法。
本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (9)

1.一种基于场景检索匹配的机载对地目标精确定位方法,其特征在于，包括以下步骤：
(1)对先验基准底图进行预处理：先验基准底图为采用卫星正射影像图或者无人机正射影像图，预处理包括：对航空飞行区域的先验基准底图进行切片，完成先验基准底图的瓦片金字塔构建；
(2)基于先验基准底图的瓦片金字塔构建先验基准底图的瓦片特征库：采用基于注意力机制的深度局部卷积网络ALCNN提取瓦片影像的具有辨别力、鲁棒性、跨模态的深度局部特征，生成局部特征描述子，利用特征聚合方式构建瓦片影像的全局特征向量，并对影像特征高维向量数据进行降维，最后实现所有瓦片的批量特征向量库构建；
其中基于注意力机制的深度局部卷积网络ALCNN为利用残差网络结构为基础，利用注意力机制来对获取的局部特征进行概率打分，实现对关键点的筛选；
经过前向训练，输出关键点及关键点概率得分以及关键点描述子的深度局部特征；
(3)提取机载对地观测影像的特征并筛选先验基准底图特征：根据接入的实时获取的对地观测影像或视频，按照步骤(2)的方法对该影像或视频进行深度局部特征提取与表征，构建全局特征向量，后根据获取该影像时飞机概略经纬度坐标位置P，对先验基准底图瓦片特征库的特征进行筛选，选择以P为圆心，半径为R范围内的特征,R不小于100千米；
(4)进行机载对地观测影像的特征检索匹配：在步骤(3)筛选出的先验基准底图特征里进行机载影像特征的检索匹配，采用基于PQ乘积量化和倒排IVF乘积量化的航空影像高维特征检索技术，通过哈希编码算法进行优化，计算对地观测影像的全局特征向量Qd与瓦片特征向量库Qj中向量的汉明距离，选取汉明距离小于阈值S的若干特征对应的基准瓦片，实现机载对地观测影像的特征检索匹配；
(5)进行机载对地观测影像与先验基准底图的精确匹配：以步骤(2)中基于注意力机制的深度局部卷积网络ALCNN提取的对地观测影像以及先验基准底图的局部特征描述子及关键点，采用基于深度特征的跨视角影像精确匹配方法，对得到的关键点及描述子进行交叉匹配学习，获得关键点的精确匹配；后通过自适应阈值法和卷积网络实现粗差点剔除；最后利用所述精确匹配以及粗差点剔除后的同名点，采用仿射不变性构造同名点的描述区域，最终完成目标关键点的精确匹配；
深度特征的跨视角影像精确匹配方法是对对地观测影像E以及先验基准底图影像G的特征点进行特征匹配建模，假设影像E,G中分别有EM、GN个特征点，则主要为这两组关键点构建一个软分配矩阵利用卷积神经网络方法对该软分配矩阵进行学习，其中损失函数的公式如下：
其中loss为损失函数的值，其中(i,j)∈U为匹配的真值点，Hi,j为对应真值点匹配的软分配矩阵，I为EM中的特征点，但在GN中没有对应的真值点，为EM中的特征点匹配到GN中点的软分配矩阵，J为GN中的特征点，但在EM中没有对应的真值点，/>为GN中的特征点匹配到EM中点的软分配矩阵，logHi,j、/> 为分配矩阵求对数；
(6)利用步骤(5)获得的机载对地观测影像对应的先验基准底图的同名点和该区域的数字高程模型，得到同名点的精确三维地理坐标：所述先验基准底图的同名点平面地理坐标已知，用机载对地观测影像的成像模型或多项式模型，对机载对地观测影像进行几何纠正配准，完成机载对地观测影像的精确地理编码，实现对地观测影像上任意目标的精确定位。
2.根据权利要求1所述的定位方法，其特征在于，所述步骤2中，输出的关键点为该点的横纵坐标像素值，关键点概率得分为0到1之间的概率值，关键点描述子为256维的特征向量。
3.根据权利要求1所述的定位方法，其特征在于，所述网络结构为：首先对输入的宽W，高H的三通道影像W*H*3进行3*3卷积操作，后利用BatchNormalization归一化层对卷积后的特征图进行数据归一化操作，后对归一化后的特征图经过4层残差块操作后输入到注意力机制层中,其中每层残差块中卷积核的通道数分别为32，64，128，256，每经过一个残差块后，输出影像大小变为输入影像大小的1/2,即：
其中，w[u,v,c]为卷积核的参数值，u，v为卷积核大小，c为卷积核通道数，a代表输入图像，ai与aj代表输入图像的像素值，ac为输入图像的通道数，b代表输出图像，bi与bj代表输出图像的像素值，bc为输出图像的通道数。
4.根据权利要求3所述的定位方法，其特征在于，所述残差块是将某一层的特征图m直接跳过多层输入到后边层，同时与经过多层权重层处理的特征图F(m)相加后输入到后续网络中，即后续网络的输入为F(m+1)＝F(m)+m，网络中权重层的参数由反向传播过程中的损失函数逐渐迭代更新。
5.根据权利要求2所述的定位方法，其特征在于，所述注意力机制层为每个关键点(x,y,D)学习一个概率得分函数∝((x,y,D)；θ)，θ是概率得分函数∝(·)的参数，该参数初始值为随机值，后经过网络前向与后向的传播，不断迭代以趋于稳定，关键点(x,y,D)中，(x,y)表示像素坐标，D对应关键点的描述子，整个训练过程是一个不断迭代的过程，最终输出满足概率得分阈值T的若干关键点即深度局部特征点。
6.根据权利要求5所述的定位方法，其特征在于，在获得瓦片影像的深度局部特征后，利用特征聚合方式构建瓦片的全局特征Q，对得到的全局特征Q利用PCA方式进行降维，最后利用降维后的特征向量构建特征向量库；
特征聚合具体公式如下：
其中W表示聚类权重矩阵，∝((xi,yi,Di)；θ)表示该瓦片影像第i关键点的概率得分，Di表示第i关键点的特征描述子即特征向量，n表示关键点的总个数，Q即聚类得到的全局特征。
7.根据权利要求6所述的定位方法，其特征在于，所述降维具体为：假设总瓦片个数为m，未降维前的全局特征矩阵即为m行l列的矩阵A，其中l为全局特征Q的维度，对矩阵A中的每一行进行零均值化，求取矩阵A的协方差矩阵后计算协方差矩阵B的特征值及对应的特征向量，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；Y＝PA即为降维到K维后的数据。
8.根据权利要求1所述的定位方法，其特征在于，所述步骤4中汉明距离的计算公式如下：
其中m为特征向量库中特征向量的总个数，Qd为对地观测影像的全局特征向量，为特征向量库中第i个特征向量值，score即为汉明距离的得分。
9.根据权利要求1所述的定位方法，其特征在于，在步骤2中获取该影像时飞机概略经纬度坐标位置P由惯性导航获得。
CN202311033473.7A 2023-08-16 2023-08-16 一种基于场景检索匹配的机载对地目标精确定位方法 Pending CN117078756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311033473.7A CN117078756A (zh) 2023-08-16 2023-08-16 一种基于场景检索匹配的机载对地目标精确定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311033473.7A CN117078756A (zh) 2023-08-16 2023-08-16 一种基于场景检索匹配的机载对地目标精确定位方法

Publications (1)

Publication Number Publication Date
CN117078756A true CN117078756A (zh) 2023-11-17

Family

ID=88710928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311033473.7A Pending CN117078756A (zh) 2023-08-16 2023-08-16 一种基于场景检索匹配的机载对地目标精确定位方法

Country Status (1)

Country Link
CN (1) CN117078756A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274391A (zh) * 2023-11-23 2023-12-22 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274391A (zh) * 2023-11-23 2023-12-22 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法
CN117274391B (zh) * 2023-11-23 2024-02-06 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Similar Documents

Publication Publication Date Title
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN108428220B (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
US11335059B2 (en) Method and arrangement for providing a 3D model
CN111291768B (zh) 图像特征匹配方法及装置、设备、存储介质
CN111505662B (zh) 一种无人驾驶车辆定位方法及***
CN117078756A (zh) 一种基于场景检索匹配的机载对地目标精确定位方法
CN112580546B (zh) 一种用于无人机图像和卫星图像跨视角图像匹配方法
CN114241464A (zh) 基于深度学习的跨视角影像实时匹配地理定位方法及***
CN112489099A (zh) 点云配准方法、装置、存储介质及电子设备
US9372081B2 (en) Method and system for geo-referencing at least one sensor image
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN113835078B (zh) 基于局部三维栅格的信号级联合检测方法及装置
CN111222586B (zh) 一种基于三维倾斜模型视角的倾斜影像匹配方法及装置
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
Ghinamo et al. The MPEG7 visual search solution for image recognition based positioning using 3D models
CN114780758A (zh) 一种基于立体测图卫星影像的影像控制点库的构建方法
CN114706087A (zh) 一种三维成像声呐点云的水下地形匹配定位方法及***
CN116363196A (zh) 基于多类型地图的融合定位方法及电子设备
Tang et al. Automatic geo‐localization framework without GNSS data
RU2787946C1 (ru) Способ определения координат объектов и их распознавания
CN118225087A (zh) 卫星导航拒止条件下飞行器的自主绝对定位与导航方法
CN113543307B (zh) 视觉信息特征指纹库构建方法、定位方法及装置
CN114693984A (zh) 一种利用空间显著性筛选关键点的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination