CN117274391A - 一种基于图神经网络的数字地图匹配目标定位方法 - Google Patents
一种基于图神经网络的数字地图匹配目标定位方法 Download PDFInfo
- Publication number
- CN117274391A CN117274391A CN202311566300.1A CN202311566300A CN117274391A CN 117274391 A CN117274391 A CN 117274391A CN 202311566300 A CN202311566300 A CN 202311566300A CN 117274391 A CN117274391 A CN 117274391A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- digital map
- measured
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 229920001651 Cyanoacrylate Polymers 0.000 claims description 4
- 239000004830 Super Glue Substances 0.000 claims description 4
- 238000003707 image sharpening Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000002834 transmittance Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于图神经网络的数字地图匹配目标定位方法，属于目标定位领域，包括：获取数据集和实测图像，数据集包括待测区域的数字地图图像和数字高程模型文件；基于地球椭球模型，对待测目标的位置进行初步解算，得出大致位置，并在数据集中查找与实测图像对应的目标数字地图图像和目标数字高程模型文件；通过暗通道去雾算法和直方图增强算法对实测图像进行预处理；通过图像正射变换将预处理后的实测图像转化为正下视视角的目标图像；通过基于图神经网络的匹配算法对目标文件和目标图像进行匹配得出精确位置。本申请提供的方法可应用于远距离、大倾角、高空飞行的侦测条件下大型无人机目标定位。
Description
技术领域
本申请涉及一种基于图神经网络的数字地图匹配目标定位方法，属于目标定位领域。
背景技术
在无人机目标定位技术领域，存在利用图像匹配进行定位的方法，主要是利用FAST、SURF等传统特征点匹配算法将实测图像与参考图像进行匹配，以此来获取精确的目标位置信息。这种方法在近距离、倾角小、低空飞行的侦测条件下可以取得较好的效果，但当其应用于大型无人机的光电平台时，其远距离、大倾角、高空飞行的侦测条件往往使得匹配成功率很低。这就亟需开发出一种新的适用于大型无人机光电平台的图像匹配目标定位方法。
传统的图像匹配目标定位方法主要有问题：一方面，当进行高空远距离侦测时，图像清晰度由于受到多方面的影响（没达到调焦的最佳状态、有雾、能见度低等）而变得较差，同时参考图像的非实时性导致实测图像与参考图像中的一些景观不一致，这些因素使得实测图像与参考图像中对应的特征点可能很少；另一方面，对于倾角很大的实测图像，由于其视角与参考图像（一般采用正下视视角的图像）差异很大，传统的匹配算法在这种情况下匹配成功率很低。以上两点限制了以往方法在大型无人机定位中的应用。
发明内容
本申请的目的在于提供一种基于图神经网络的数字地图匹配目标定位方法，大幅度地提升图像匹配成功率及对目标的定位精度，适用于大型无人机的光电平台。
为实现上述目的，本申请第一方面提供了一种基于图神经网络的数字地图匹配目标定位方法，包括：
获取数据集和实测数据，其中，所述数据集包括待测区域的数字地图图像和数字高程模型文件，所述实测数据包括飞行过程中包含待测目标的实测图像；
基于地球椭球模型，对所述待测目标的位置进行初步解算，得出所述待测目标的大致位置；
根据所述大致位置，在所述数据集中查找与所述实测图像对应的目标文件，所述目标文件包括目标数字地图图像和目标数字高程模型文件；
通过暗通道去雾算法和直方图增强算法对所述实测图像进行预处理；
通过图像正射变换将预处理后的实测图像转化为正下视视角的目标图像；
通过基于图神经网络的匹配算法对所述目标文件和所述目标图像进行匹配，得出所述待测目标的精确位置。
在一种实施方式中，所述获取数据集包括：
获取包含待测区域的数字地图并将其切割成一组预设分辨率的数字地图图像，其中各数字地图图像中每个像元均表示预设的经纬范围；
根据所述数字地图图像，对标准数字高程模型文件进行剪裁拼接，得到与各数字地图图像的预设分辨率一一对应的数字高程模型文件，并对各数字高程模型文件的经纬范围进行标注，得到所述数据集。
在一种实施方式中，所述实测数据还包括：与所述实测图像对应时刻的位置和姿态角信息；
获取实测数据包括：
在飞行过程中，当视场中出现待测目标时，利用光电平台采集实测图像；
利用惯性导航设备和编码器采集与所述实测图像对应时刻的位置和姿态角信息。
在一种实施方式中，所述对所述待测目标的位置进行初步解算包括：
基于地球椭球模型，利用采集到的位置和姿态角信息及待测目标在实测图像中的像素位置对所述待测目标的位置进行初步解算并得出所述待测目标的大致位置，其中，所述大致位置包括所述待测目标大致的经纬度和高度。
在一种实施方式中，所述在所述数据集中查找与所述实测图像对应的目标文件包括：
根据所述大致位置，判断所述数据集中是否存在经纬范围符合预设条件的数字地图图像，若是，则判定其为与所述实测图像对应的目标数字地图图像，同时找出与所述目标数字地图图像经纬范围相同的目标数字高程模型文件。
在一种实施方式中，所述通过暗通道去雾算法和直方图增强算法对所述实测图像进行预处理包括：
通过暗通道去雾算法对所述实测图像进行去雾处理，并采用图像锐化算法进行进一步处理；
采用CLAHE算法以直方图均衡化的方式对进一步处理后的实测图像进行增强。
在一种实施方式中，所述通过图像正射变换将预处理后的实测图像转化为正下视视角的目标图像包括：
根据所述实测数据计算正射变换矩阵，计算预处理后的实测图像中每个像素对应的物点位置在地图坐标系的坐标，并基于所述正射变换矩阵进行正射变换，得到正下视视角的目标图像。
在一种实施方式中，所述通过基于图神经网络的匹配算法对所述目标文件和所述目标图像进行匹配包括：
将所述目标图像缩放至与所述目标文件分辨率相同的缩放图像，设置初始参数并利用基于图神经网络的SuperGlue特征点匹配算法将所述缩放图像与所述目标文件进行匹配，得到一组匹配对的像素坐标；
当匹配对小于预设数目，则修改所述初始参数并进行重新匹配；当匹配对大于预设数目，通过匹配对计算单应性矩阵，根据单应性矩阵解算出待测目标在目标数字地图图像中的相应像素坐标，通过目标数字地图图像的经纬范围得出待测目标的具体经纬度，同时通过目标数字高程模型文件获取待测目标的高程信息。
本申请第二方面提供了一种电子设备，包括：存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述第一方面或者上述第一方面的任一实施方式中的步骤。
本申请第三方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现上述第一方面或者上述第一方面的任一实施方式中的步骤。
由上可见，本申请提供了一种基于图神经网络的数字地图匹配目标定位方法，通过增加图像预处理、图像正射变换步骤及应用基于图神经网络的匹配算法，大幅度地提升图像匹配成功率，适用于大型无人机的光电平台，实现远距离、大倾角、高空飞行的侦测条件下大型无人机目标定位，在大倾角远距离下也能够获得很精准的定位结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数字地图匹配目标定位方法的流程示意图；
图2为本申请实施例提供的一种图像预处理及正射变换流程图；
图3为本申请实施例提供的一种匹配算法中迭代流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其它情况下，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
实施例一
本申请实施例提供了一种基于图神经网络的数字地图匹配目标定位方法，如图1所示，该方法包括：
S100获取数据集和实测数据，其中，所述数据集包括待测区域的数字地图图像和数字高程模型文件，所述实测数据包括飞行过程中包含待测目标的实测图像；
可选的，所述获取数据集包括：获取包含待测区域的数字地图并将其切割成一组预设分辨率的数字地图图像，其中各数字地图图像中每个像元均表示预设的经纬范围；根据所述数字地图图像，对标准数字高程模型文件进行剪裁拼接，得到与各数字地图图像的预设分辨率一一对应的数字高程模型文件，对各数字高程模型文件的经纬范围进行标注，并根据经纬范围进行编号，得到所述数据集。
在一种实施方式中，将包含待测区域的数字地图切割成一组预设分辨率为1280×960的数字地图图像，其中每个像元表示0.00001°的经纬范围，大约需50×50张数字地图图像。同时制作相应的数字高程模型文件，由于数字高程模型文件默认分辨率为3601×3601，需裁剪拼接以适应数字地图图像的分辨率，得到与数字地图图像经纬范围一致的1280×960的文件，制作出50×50个与各数字地图图像一一对应的数字高程模型文件，对每个数字高程模型文件的经纬范围进行标注并最终集成到一个数据集中。
可选的，所述获取实测数据包括：在飞行过程中，当视场中出现待测目标（简称目标）时，利用光电平台采集实测图像，并利用惯性导航设备和编码器采集与当前实测图像对应时刻的位置和姿态角信息。
在一种实施方式中，在飞行过程中，可通过用光电平台搭载的航空相机拍摄实测图像并用记录仪进行存储，并采集惯性导航设备和编码器的位置和姿态角信息，其中，在采集数据之前，必须将实测图像和其他设备的时序保持对准状态，采集经过时序对准的惯性导航设备和编码器的位置和姿态角信息。
S200基于地球椭球模型，对所述待测目标的位置进行初步解算，得出所述待测目标的大致位置；
可选的，所述对所述待测目标的位置进行初步解算包括：基于地球椭球模型，利用采集到的位置和姿态角信息及待测目标在实测图像中的像素位置对所述待测目标的位置进行初步解算并得出所述待测目标的大致位置，其中，所述大致位置包括所述待测目标大致的经纬度和高度。
在一种实施方式中，目标在探测器上的投影点在相机坐标系下的像素坐标为：
其中为探测器的像元尺寸，/>为图像横轴相对于中心的偏移量，/>为图像纵轴相对于中心的偏移量，/>为成像***的焦距。
将目标的投影点转换为在地球直角坐标系下的坐标/>：
其中，为相机坐标系到飞机坐标系的转换，/>为飞机坐标系到地理坐标系的转换，/>为地理坐标系到地球直角坐标系的转换。
其中，为绕飞机坐标系z轴的旋转矩阵，/>为平台方位角，/>为绕飞机坐标系y轴的旋转矩阵，/>为平台俯仰角，/>为绕导航坐标系z轴的旋转矩阵，/>为飞机航向角，/>为绕导航坐标系y轴的旋转矩阵，/>为飞机俯仰角，/>为绕飞机坐标系x轴的旋转矩阵，/>为飞机横滚角，/>、/>、/>、/>为导航坐标系到地球直角坐标系的四个旋转矩阵，/>为飞机高度，/>为飞机纬度，/>为飞机经度，/>为地球椭球卯酉圈曲率半径，e为地球椭球第一偏心率；
为相机原点在地球直角坐标系下的坐标，应满足：
其中，为飞机高度，/>，/>为飞机经纬度；
对于理想光学***，物点、像点、投影中心三点共线。即目标在目标投影点与相机坐标系的原点连接的直线上。因此目标在地球直角坐标系下的坐标应满足：
飞机高度采用待测区域的平均海拔，则目标在地球直角坐标系下的坐标应满足
其中，/>分别为飞机高度/>所对应的地球椭球的长半轴和短半轴，其中a=6378137m，为地球椭球的长半轴。通过地球椭球模型联立方程即可得到目标在地球直角坐标系下的坐标值/>。再变换成大地坐标系下的值，即目标的大致位置。
S300根据所述大致位置，在所述数据集中查找与所述实测图像对应的目标文件，所述目标文件包括目标数字地图图像和目标数字高程模型文件；
可选的，所述在所述数据集中查找与所述实测图像对应的目标文件包括：
根据所述大致位置，判断所述数据集中是否存在经纬范围符合预设条件的数字地图图像，若是，则判定其为与所述实测图像对应的目标数字地图图像，同时找出与所述目标数字地图图像经纬范围相同的目标数字高程模型文件。
在一种实施方式中，根据目标的大致位置在数据集中寻找相应的文件。判断数据集中各数字地图图像标注的经纬范围是否符合以下条件：
其中，为单张地图中的最小纬度，/>为单张地图中的最大纬度，/>为单张地图中的最小经度，/>为单张地图中的最大经度；若符合，则判定其为实测图像对应的目标数字地图图像，同时找出与目标数字地图图像经纬范围相同的目标数字高程模型文件。
进一步的，还可根据实际情况确定是否需要将目标数字地图图像相邻的地图纳入考虑范围，如果满足：
则需要增加对应目标数字地图图像上方、下方、左侧和右侧的数字地图图像和相应的数字高程模型文件，其中，为单张地图中的最大海拔高度，/>为单张地图中的最小海拔高度，/>为计算得出的目标高度，/>为平台方位角，/>为平台俯仰角，/>为飞机航向角，/>为地球赤道周长；
S400通过暗通道去雾算法和直方图增强算法对所述实测图像进行预处理；
可选的，如图2所示，所述通过暗通道去雾算法和直方图增强算法对所述实测图像进行预处理包括：通过暗通道去雾算法对所述实测图像进行去雾处理，并采用图像锐化算法进行进一步处理；采用CLAHE算法以直方图均衡化的方式对进一步处理后的实测图像进行增强。
在一种实施方式中，用改进版的快速暗通道方法，能实时的进行图像去雾处理。首先根据有雾图像（即实测图像）得到暗通道图，然后根据暗通道图估算透射率和大气光并细化透射率，最后通过雾天退化模型复原清晰的去雾图像。具体的，假设已经取得大气光值A，且在滤波窗口范围内透射率/>不变，对公式两侧同时除以A并做最小值运算，可得：
其中，表示RGB三通道，/>为有雾图像的暗通道值，/>为理论上的彩色还原图像，/>为彩色有雾图像；
接着使用最小值滤波：
根据暗通道先验理论可得暗通道图为：
综合上述公式得到：
上述公式中引入一个常量参数，求出最终透射率为：
在实际操作中，一般采用给透射率设置一个下限阈值/>，如果求取的透射率小于阈值/>，则令/>。最终图像复原公式为：
其中，为理论上的还原图像，/>为有雾图像，通过以上步骤可得到去雾后的图像。
在一种实施方式中，接下来用多细节层图像锐化算法对去雾后的图像进行进一步处理。首先用5×5的高斯滤波处理去雾后的图像，得到基础层1；用21×21的高斯滤波处理图像，得到基础层2；用差值法处理原图像和基础层1，得到细节层1；用差值法处理原图像和基础层2，得到细节层2；通过以下公式将原图像和细节层1和2进行融合处理，得到锐化后的图像：
其中，为最终得到的锐化后的图像，/>为原图像（即去雾后的图像），表示基础层1，/>表示基础层2。
在一种实施方式中，最后应用CLAHE算法进行直方图均衡化的增强处理。首先计算原图像的的累积分布函数（CDF），/>为对应于亮度值/>的归一化直方图分布，然后对比累积直方图均衡化，以此提升图像的对比度。具体步骤如下：
CLAHE算法即限制对比度自适应直方图均衡化算法。考虑一个离散灰度图像，其大小为/>像素，其中H为像素的高度，W为像素的宽度，其中。/>是最大亮度。/>是亮度/>的出现次数，/>是图像中像素的总个数。定义对应于归一化直方图分布/>的累积分布函数，记为/>：同时构建一个/>的变换，以产生新的图像/>。其中，/>和/>都是亮度值。设/>表示对应于亮度值/>的归一化直方图分布/>的CDF。使变换函数/>满足：
由上式可进一步得出
上式表明对比度增益，与输入中相应亮度的概率成正比。通过以上步骤来提升图像的对比度增益。
S500通过图像正射变换将预处理后的实测图像转化为正下视视角的目标图像；
可选的，根据所述实测数据计算正射变换矩阵，计算预处理后的实测图像中每个像素对应的物点位置在地图坐标系的坐标，并基于所述正射变换矩阵进行正射变换，得到正下视视角的目标图像。
在一种实施方式中，如图2所示，结合位置和姿态信息，像元尺寸以及焦距对预处理后的实测图像计算正射变换矩阵并进行图像正射变换。具体的，将地图坐标系中的一点和图像（即预处理后的实测图像）平面上理想像点/>建立以下关系：
式中，s为任意收缩因子，表示摄像机内方位元素，按下式计算：
其中，，/>表示单个像素的物理尺寸，单位为μm；F为摄像机的焦距，单位为mm；为图像主点坐标，单位为pixel；/>为摄像机外方位元素，表示从地图坐标系到相机坐标系的转换关系，按下式计算：
其中， 为地理坐标系与地图坐标系之间的偏移量，/>，，/>为平台方位角，/>为平台俯仰角，/>为飞机俯仰角，/>为飞机航向角，/>为飞机横滚角；
通过变换进一步得到
其中用下面的公式得到
根据以上公式可解得所需的正射变换矩阵，计算出实测图像每个像素对应的物点位置在地图坐标系的坐标并将实测图像转换为正下视视角的图像。其中，根据拍摄实测图像对应的GPS位置计算该时刻实测图像地理坐标系与地图坐标系之间的偏移量 ，计算实测图像位置在地球直角坐标系下的坐标：
式中，，/>为飞机的经纬度坐标，/>为其高程，地球椭球的长半轴/>，地球椭球的短半轴b=6356752m，地球椭球第一偏心率e=/>，地球椭球卯酉圈曲率半径N=/>，/>在地图坐标系中的坐标可按下式计算：
式中，为地图坐标系原点在地球直角坐标系中的坐标，/>为从地球直角坐标系到地图坐标系的旋转矩阵，按下式计算：
式中，为地图坐标系原点的经纬度坐标。
S600通过基于图神经网络的匹配算法对所述目标文件和所述目标图像进行匹配，得出所述待测目标的精确位置。
可选的，如图3所示，通过将待测目标所在的目标图像像素点与数字地图图像中相应的经纬度对应确定目标经纬度，并通过相应的数字高程模型确定目标经纬对应的海拔高度。具体的，将目标图像缩放至分辨率为1280×960的图像，并与目标文件一起写进SuperGlue算法程序中。利用基于图神经网络的SuperGlue特征点匹配算法，在设置关键点检测置信度阈值、迭代次数等初始参数后，将缩放后的图像与数字地图图像进行匹配，得到一组匹配对（即匹配特征点）的像素坐标。如果匹配对数量小于预设数目，则修改设置特征点检测置信度阈值、迭代次数等初始参数并进行重新匹配，直至匹配对数量大于预设数目。在算法程序中设置合适的阈值，剔除匹配置信度小于此阈值的匹配特征点，用保留下来的匹配特征点计算单应性矩阵，再利用单应性矩阵解算出目标在数字地图中的相应像素坐标，并通过数字地图图像的经纬范围换算出目标的具体经纬度，同时通过比对相应的数字高程模型文件获取目标的高程信息。
在一种应用场景中，设置NMS半径、关键点检测置信度阈值和迭代次数初始值分别为2、0.001和10后开始与对应数字地图匹配，得出一组匹配对的像素坐标。设置匹配置信度阈值为0.85，如果大于此阈值的匹配对小于4个，则修改NMS半径、关键点检测置信度阈值和迭代次数三个参数，修改范围分别为2—5、0.001—0.01和10—20，并重新进行匹配。当得到大于4对的匹配对时，通过这些匹配对算出单应性矩阵，并最终找出目标对应的精确经纬度，进而在相应的数字高程模型文件中找到精准的海拔高度。
由上可见，本申请实施例提供了一种基于图神经网络的数字地图匹配目标定位方法，通过增加图像预处理、图像正射变换步骤及应用基于图神经网络的匹配算法，大幅度地提升图像匹配成功率，适用于大型无人机的光电平台，实现远距离、大倾角、高空飞行的侦测条件下大型无人机目标定位，在大倾角远距离下也能够获得很精准的定位结果。
实施例二
本申请实施例提供了一种电子设备，该电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其中，存储器用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器和处理器通过总线连接。具体地，处理器通过运行存储在存储器的上述计算机程序时实现上述实施例一中的任一步骤。
应当理解，在本申请实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器、快闪存储器和随机存储器，并向处理器提供指令和数据。存储器的一部分或全部还可以包括非易失性随机存取存储器。
应当理解，上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例所提供的方法及其细节举例可结合至实施例提供的装置和设备中，相互参照，不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于图神经网络的数字地图匹配目标定位方法，其特征在于，包括：
获取数据集和实测数据，其中，所述数据集包括待测区域的数字地图图像和数字高程模型文件，所述实测数据包括飞行过程中包含待测目标的实测图像；
基于地球椭球模型，对所述待测目标的位置进行初步解算，得出所述待测目标的大致位置；
根据所述大致位置，在所述数据集中查找与所述实测图像对应的目标文件，所述目标文件包括目标数字地图图像和目标数字高程模型文件；
通过暗通道去雾算法和直方图增强算法对所述实测图像进行预处理；
通过图像正射变换将预处理后的实测图像转化为正下视视角的目标图像；
通过基于图神经网络的匹配算法对所述目标文件和所述目标图像进行匹配，得出所述待测目标的精确位置。
2.如权利要求1所述的数字地图匹配目标定位方法，其特征在于，所述获取数据集包括：
获取包含待测区域的数字地图并将其切割成一组预设分辨率的数字地图图像，其中各数字地图图像中每个像元均表示预设的经纬范围；
根据所述数字地图图像，对标准数字高程模型文件进行剪裁拼接，得到与各数字地图图像的预设分辨率一一对应的数字高程模型文件，并对各数字高程模型文件的经纬范围进行标注，得到所述数据集。
3.如权利要求2所述的数字地图匹配目标定位方法，其特征在于，所述实测数据还包括：与所述实测图像对应时刻的位置和姿态角信息；
获取实测数据包括：
在飞行过程中，当视场中出现待测目标时，利用光电平台采集实测图像；
利用惯性导航设备和编码器采集与所述实测图像对应时刻的位置和姿态角信息。
4.如权利要求3所述的数字地图匹配目标定位方法，其特征在于，所述对所述待测目标的位置进行初步解算包括：
基于地球椭球模型，利用采集到的位置和姿态角信息及待测目标在实测图像中的像素位置对所述待测目标的位置进行初步解算并得出所述待测目标的大致位置，其中，所述大致位置包括所述待测目标大致的经纬度和高度。
5.如权利要求2-4任一项所述的数字地图匹配目标定位方法，其特征在于，所述在所述数据集中查找与所述实测图像对应的目标文件包括：
根据所述大致位置，判断所述数据集中是否存在经纬范围符合预设条件的数字地图图像，若是，则判定其为与所述实测图像对应的目标数字地图图像，同时找出与所述目标数字地图图像经纬范围相同的目标数字高程模型文件。
6.如权利要求1-4任一项所述的数字地图匹配目标定位方法，其特征在于，所述通过暗通道去雾算法和直方图增强算法对所述实测图像进行预处理包括：
通过暗通道去雾算法对所述实测图像进行去雾处理，并采用图像锐化算法进行进一步处理；
采用CLAHE算法以直方图均衡化的方式对进一步处理后的实测图像进行增强。
7.如权利要求1-4任一项所述的数字地图匹配目标定位方法，其特征在于，所述通过图像正射变换将预处理后的实测图像转化为正下视视角的目标图像包括：
根据所述实测数据计算正射变换矩阵，计算预处理后的实测图像中每个像素对应的物点位置在地图坐标系的坐标，并基于所述正射变换矩阵进行正射变换，得到正下视视角的目标图像。
8.如权利要求1-4任一项所述的数字地图匹配目标定位方法，其特征在于，所述通过基于图神经网络的匹配算法对所述目标文件和所述目标图像进行匹配包括：
将所述目标图像缩放至与所述目标文件分辨率相同的缩放图像，设置初始参数并利用基于图神经网络的SuperGlue特征点匹配算法将所述缩放图像与所述目标文件进行匹配，得到一组匹配对的像素坐标；
当匹配对小于预设数目，则修改所述初始参数并进行重新匹配；当匹配对大于预设数目，通过匹配对计算单应性矩阵，根据单应性矩阵解算出待测目标在目标数字地图图像中的相应像素坐标，通过目标数字地图图像的经纬范围得出待测目标的具体经纬度，同时通过目标数字高程模型文件获取待测目标的高程信息。
9.一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311566300.1A CN117274391B (zh) | 2023-11-23 | 2023-11-23 | 一种基于图神经网络的数字地图匹配目标定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311566300.1A CN117274391B (zh) | 2023-11-23 | 2023-11-23 | 一种基于图神经网络的数字地图匹配目标定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274391A true CN117274391A (zh) | 2023-12-22 |
| CN117274391B CN117274391B (zh) | 2024-02-06 |
Family
ID=89208531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311566300.1A Active CN117274391B (zh) | 2023-11-23 | 2023-11-23 | 一种基于图神经网络的数字地图匹配目标定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274391B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056605A (zh) * | 2016-05-26 | 2016-10-26 | 西安空间无线电技术研究所 | 一种基于图像匹配的在轨高精度图像定位方法 |
| CN107490364A (zh) * | 2017-09-01 | 2017-12-19 | 中国科学院长春光学精密机械与物理研究所 | 一种大角度倾斜成像航空相机对地目标定位方法 |
| CN112419374A (zh) * | 2020-11-11 | 2021-02-26 | 北京航空航天大学 | 一种基于图像配准的无人机定位方法 |
| WO2021121306A1 (zh) * | 2019-12-18 | 2021-06-24 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法和*** |
| CN115527128A (zh) * | 2022-07-22 | 2022-12-27 | 北方信息控制研究院集团有限公司 | 基于语义分割的航拍图像快速定位方法 |
| CN115630236A (zh) * | 2022-10-19 | 2023-01-20 | 感知天下(北京)信息科技有限公司 | 无源遥感影像的全球快速检索定位方法、存储介质及设备 |
| CN116045921A (zh) * | 2023-01-09 | 2023-05-02 | 国家石油天然气管网集团有限公司 | 基于数字高程模型的目标定位方法、装置、设备及介质 |
| CN117073669A (zh) * | 2023-08-18 | 2023-11-17 | 武汉华中天经通视科技有限公司 | 一种飞行器定位方法 |
| CN117078756A (zh) * | 2023-08-16 | 2023-11-17 | 感知天下(北京)信息科技有限公司 | 一种基于场景检索匹配的机载对地目标精确定位方法 |
-
2023
- 2023-11-23 CN CN202311566300.1A patent/CN117274391B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056605A (zh) * | 2016-05-26 | 2016-10-26 | 西安空间无线电技术研究所 | 一种基于图像匹配的在轨高精度图像定位方法 |
| CN107490364A (zh) * | 2017-09-01 | 2017-12-19 | 中国科学院长春光学精密机械与物理研究所 | 一种大角度倾斜成像航空相机对地目标定位方法 |
| WO2021121306A1 (zh) * | 2019-12-18 | 2021-06-24 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法和*** |
| CN112419374A (zh) * | 2020-11-11 | 2021-02-26 | 北京航空航天大学 | 一种基于图像配准的无人机定位方法 |
| CN115527128A (zh) * | 2022-07-22 | 2022-12-27 | 北方信息控制研究院集团有限公司 | 基于语义分割的航拍图像快速定位方法 |
| CN115630236A (zh) * | 2022-10-19 | 2023-01-20 | 感知天下(北京)信息科技有限公司 | 无源遥感影像的全球快速检索定位方法、存储介质及设备 |
| CN116045921A (zh) * | 2023-01-09 | 2023-05-02 | 国家石油天然气管网集团有限公司 | 基于数字高程模型的目标定位方法、装置、设备及介质 |
| CN117078756A (zh) * | 2023-08-16 | 2023-11-17 | 感知天下(北京)信息科技有限公司 | 一种基于场景检索匹配的机载对地目标精确定位方法 |
| CN117073669A (zh) * | 2023-08-18 | 2023-11-17 | 武汉华中天经通视科技有限公司 | 一种飞行器定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘侃 等: "海鹰智库丛书 电子信息技术篇", 北京理工大学出版社, pages: 76 - 80 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274391B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kedzierski et al. | Radiometric quality assessment of images acquired by UAV’s in various lighting and weather conditions | |
| EP3876189A1 (en) | Geographic object detection device, geographic object detection method, and geographic object detection program | |
| CN110926475B (zh) | 一种无人机航点生成方法、装置及电子设备 | |
| CN111080526A (zh) | 航拍图像的农田面积的测算方法、装置、设备及介质 | |
| CN112016478B (zh) | 一种基于多光谱图像融合的复杂场景识别方法及*** | |
| CN112967344B (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| KR20110082903A (ko) | 항공사진의 정사보정 및 최적화된 정사영상 제작 방법 | |
| CN115661262A (zh) | 内外参标定方法、装置及电子设备 | |
| US20220074743A1 (en) | Aerial survey method, aircraft, and storage medium | |
| CN112330576A (zh) | 车载鱼眼摄像头畸变矫正方法、装置、设备及存储介质 | |
| CN111583119B (zh) | 一种正射影像拼接方法、设备以及计算机可读介质 | |
| CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及*** | |
| CN117274391B (zh) | 一种基于图神经网络的数字地图匹配目标定位方法 | |
| CN113570554A (zh) | 一种基于场景深度的单幅图像能见度检测方法 | |
| CN116402693B (zh) | 一种基于遥感技术的市政工程图像处理方法及装置 | |
| CN111582296B (zh) | 一种遥感图像综合匹配方法、装置、电子设备及存储介质 | |
| CN114445583A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
| US20230368357A1 (en) | Visibility measurement device | |
| CN114387532A (zh) | 边界的识别方法及其装置、终端、电子设备和无人设备 | |
| CN112163562B (zh) | 一种影像重叠区域计算方法、装置、电子设备及存储介质 | |
| CN107025636A (zh) | 结合深度信息的图像去雾方法及装置和电子装置 | |
| CN114897968B (zh) | 车辆视野的确定方法、装置、计算机设备、存储介质 | |
| CN113870365B (zh) | 相机标定方法、装置、设备以及存储介质 | |
| CN111612828A (zh) | 一种遥感图像纠正匹配方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |