CN112419374B - 一种基于图像配准的无人机定位方法 - Google Patents

一种基于图像配准的无人机定位方法 Download PDF

Info

Publication number
CN112419374B
CN112419374B CN202011252158.XA CN202011252158A CN112419374B CN 112419374 B CN112419374 B CN 112419374B CN 202011252158 A CN202011252158 A CN 202011252158A CN 112419374 B CN112419374 B CN 112419374B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
image
shot
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011252158.XA
Other languages
English (en)
Other versions
CN112419374A (zh
Inventor
百晓
张鹏程
张亮
刘祥龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011252158.XA priority Critical patent/CN112419374B/zh
Publication of CN112419374A publication Critical patent/CN112419374A/zh
Application granted granted Critical
Publication of CN112419374B publication Critical patent/CN112419374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种图像配准的无人机定位方法，包括(1)无人机拍摄图像预处理，从无人机搭载的高度传感器获取无人机的飞行高度，从搭载的航向传感器获取无人机的飞行方向，根据卫星地图图像的标记信息得到无人机拍摄图像与卫星地图的空间分辨率差异与方向差异，对拍摄图像进行旋转变换与尺度变换，使其与地图图像具有一致的方向和尺度；(2)无人机拍摄图像的关键点检测；(3)对无人机拍摄图像中检测出的关键点，提取其SIFT特征；(4)无人机拍摄图像与地图图像的特征匹配，得到两图像中关键点图像坐标的对应关系；(5)估计无人机拍摄图像到卫星地图图像的空间变换，结合地图的地理信息得到无人机拍摄图像中心点的经纬度作为无人机当前的经纬度坐标。

Description

一种基于图像配准的无人机定位方法
技术领域
本发明涉及在GPS失效情况下基于视觉的无人机定位方法，具体涉及一种通过无人机视角图像与卫星地图图像配准的无人机定位方法。
背景技术
无人机具有低功耗、低成本、灵活、可扩展的优点，已广泛应用于摄影、航空测绘、农业、救援和物流等任务中。在执行具体任务的过程中，无人机的定位是无人机控制与决策的基础。当前无人机平台大多数都配备机载摄像头与GPS芯片，同时可搭载IMU、机载罗盘、气压计等传感器，用于无人机感知环境与检测自身状态。在通常情况下，无人机可通过GPS等专用硬件进行定位，而在特殊环境下，当GPS信号不可用或出现硬件故障时，要保障无人机当前任务的顺利执行，需要更稳定的定位方法，结合无人机搭载的传感器平台，基于视觉的空中无人机定位方法能够有效地实现定位目的，提高无人机***的稳定性与可靠性。
图像配准是计算机视觉中的典型问题，给定两幅图像，图像配准通过寻找一种空间变换将一幅图像映射到另一幅图像上，使得两图像中对应于空间中同一位置的点可以一一对应起来。在实际中，通常采用单应矩阵(Homography)描述两图像间的空间变换，通过单应矩阵与一幅图像中点的齐次坐标相乘得到对应点在另一图像中的齐次坐标。图像配准常用关键点特征匹配算法实现，对要进行配准的图像A与图像B，估计A到B的空间变换，首先检测两图像中的关键点，即对图像变换具有稳定性、在图像场景中具有显著性的像素点；对检测出的关键点，提取其邻域信息构建固定长度的向量作为该点的特征描述；对图像A中的关键点特征，根据特征向量的距离查找其在图像B关键点特征中的k个近邻，通过显著性测试去除A中显著性不佳的关键点及其特征，对A中剩余的关键点及其特征，选择k个近邻中的最近邻为最终匹配点；根据图像A中剩余关键点与图像B中关键点的匹配关系，使用RANSAC算法或直接线性变换进行拟合，估计图像A变换到图像B的单应矩阵。在基于图像配准的空中无人机定位方法中，将无人机对地面拍摄的图像与带有地理信息的卫星地图图像进行配准，求解出高精度的单应矩阵即可实现无人机的定位。
近年来，国内外许多研究团队提出了基于视觉的空中无人机定位方法。基于视觉的无人机定位问题首先被视作图像检索问题，需要建立大规模带有地理信息的图像数据库，将无人机拍摄图像进行处理提取其特征，根据特征相似度在数据库中检索最相似的图像，再进行精准的图像匹配，这一方法需要构建高质量、大规模的数据库，数据库的存储也需要较大的空间。相比于图像检索方式，将无人机对地拍摄图像与区域卫星地图进行配准更加高效，而在使用图像配准中的SIFT、SURF等算法直接进行无人机拍摄图像与区域的卫星地图配准时，卫星地图与无人机拍摄图像存在较大的尺度差与旋转角度，且整个区域的卫星地图包含的丰富纹理引入了大量噪声，算法不能为无人机拍摄图像中的关键点找到其在卫星地图中正确的匹配点，因而产生了coarse-to-fine的定位方法，先对无人机在区域中的位置进行粗略估计，再对粗略位置所在的小区域进行图像配准。2018年法国的AhmedNassar等、2019年美国的Hunter Goforth等均采取了基于视觉里程计的coarse-to-fine无人机视觉定位方法，在起飞时需要知道无人机的初始定位并拍摄初始位置图像，且要求无人机在飞行过程中不断拍摄地面图像，拍摄的帧与帧之间必须存在有效的重叠，通过帧与帧之间的图像配准累积对无人机位置的估计得到粗略定位，在粗略定位的区域进行精细的图像配准。Ahmed Nassar等通过SIFT算法估计帧与帧之间的变换，通过语义分割后的物体几何形状匹配实现精准匹配，需要有效的空中视角图像语义分割模型支撑。HunterGoforth等使用预训练的神经网络估计帧与帧之间的变换，通过优化方法更新帧与帧以及帧与地图图像间的变换，提高了估计的精度，但未摆脱使用视觉里程计的限制，在实际应用中仍存在很大的局限。
发明内容
本发明解决的问题：由于无人机拍摄图像与卫星地图图像之间存在较大的尺度差异与旋转角度，且卫星地图图像包含的丰富纹理引入了大量噪声，通过传统的关键点特征直接对无人机拍摄图像与整个区域的卫星地图图像进行配准时，算法难以为无人机拍摄图像中的关键点得到其在卫星地图中的正确匹配点，无法求出有效的单应矩阵；coarse-to-fine的视觉定位方法依赖于视觉里程计不断累积对无人机位置的估计，需要通过两阶段、多次图像配准实现无人机的定位，在应用中存在局限。本发明结合无人机硬件平台搭载的传感器，提供了一种对无人机拍摄图像与完整区域卫星地图图像进行一次配准实现无人机视觉定位的方法。
本发明的技术解决方案包括如下步骤：
(1)无人机拍摄图像预处理。无人机拍摄图像与卫星地图图像在方向和尺度上存在巨大差异，仅通过特征的不变性不能有效处理这些差异，需要通过减小两图像的差异来实现无人机拍摄图像到卫星地图图像的有效配准，结合无人机平台所搭载的简单传感器，从气压计等传感器可读取无人机的飞行高度，从机载罗盘等传感器可读取无人机的飞行方向，卫星地图图像的空间分辨率与标准方向已知，由无人机的飞行高度与方向可估计无人机拍摄图像与卫星地图图像间的旋转角度与尺度差距，通过旋转变换与缩放变换可将无人机拍摄图像与卫星地图图像进行对齐，有效减小两图像的尺度差与旋转差，提高图像配准的稳定性与准确度；
(2)无人机拍摄图像关键点检测。经过预处理的无人机图像与卫星地图图像在尺度与方向上大致对齐，两图像中物体的边缘以及物体内各部分的边缘具有显著的对应关系，超像素算法SEEDS可以将图像划分为若干均质的超像素，超像素的边界与图像中物体或物体内各部分的边缘重合，同时由于两图像的尺度经过校正，空间分辨率基本一致，SEEDS算法在两图像中同一物体上产生的超像素边缘点存在准确的对应关系，通过关联这些关键点的坐标可以估计出准确的图像变换关系；
(3)无人机拍摄图像关键点特征提取。步骤(2)在无人机拍摄图像与卫星地图图像中检测出了大量关键点，关联两图像中的关键点即可估计两图像间的变换关系。两图像中关键点的关联度通过关键点特征的相似度衡量，使用SIFT特征描述提取图像中关键点邻域的外观信息，SIFT特征具有一定的旋转不变性与尺度不变性，对步骤(1)中的预处理误差具有一定的容忍度，提供了稳定有效的关键点特征描述；
(4)无人机拍摄图像与卫星地图图像的特征匹配，对两图像中提取出的关键点特征集合，使用SuperGlue算法进行特征匹配，通过图神经网络聚合关键点特征，为每个关键点生成包含关键点外观信息、关键点空间位置信息、邻接关键点信息的特征描述，相比仅使用关键点外观特征进行匹配，聚合的关键点特征包含了更丰富的关键点信息，在特征匹配中具有更好的显著性。对聚合得到的关键点特征，构建相似度矩阵，使用Sinkhorn算法迭代优化关联关系，得到两图像中关键点的最优匹配结果；
(5)估计无人机拍摄图像到地图图像的空间变换。两图像的空间变换关系使用单应矩阵描述，步骤(4)确定了根据特征匹配所得到的两图像中点的对应关系，使用RANSAC算法求解对关键点对应关系拟合最好的单应矩阵，RANSAC算法对噪声稳定，可以过滤错误匹配，输出准确的单应矩阵。根据RANSAC估计的单应矩阵，计算无人机拍摄图像的中心在地图图像中的坐标，结合地图的地理信息得到该点的经纬度作为无人机当前的经纬度坐标。
与现有技术相比，本发明对无人机拍摄图像进行简单预处理后直接与地图图像进行配准，不同于coarse-to-fine的无人机视觉定位方法，不需要给定无人机的初始位置，不需要通过视觉里程计或IMU等传感器对累积对无人机位置的粗略估计，只通过一次图像配准即可完成无人机的视觉定位，有效降低了基于图像配准的空中无人机定位方法的使用限制。
附图说明
图1为基于图像配准的无人机定位方法流程图；
图2为无人机飞行高度与拍摄图像空间分辨率的关系示意图；
图3为图像关键点检测结果示意图；
图4为SuperGlue特征匹配算法流程图。
具体实施方式
为了使本方法的目的、技术方案及优点更加清楚明白，以下结合附图及实施例进行进一步详细说明。
如图1所示，本发明基于图像配准的无人机定位方法包括如下步骤：
(1)无人机拍摄图像预处理，从无人机搭载的高度传感器获取无人机的飞行高度，从无人机搭载的航向传感器获取无人机的飞行方向，根据卫星地图图像的标记信息得到无人机拍摄图像与卫星地图的空间分辨率差异与方向差异，对无人机拍摄图像进行旋转变换与尺度变换，使其与地图图像具有一致的方向和尺度；
(2)无人机拍摄图像的关键点检测，使用SEEDS超像素分割算法对预处理后的无人机拍摄图像进行分割产生超像素划分，选择各个超像素的边界点作为关键点；
(3)无人机拍摄图像的关键点特征提取，对无人机拍摄图像中检测出的关键点，提取其SIFT特征；
(4)无人机拍摄图像与地图图像的特征匹配，对两图像中提取的关键点特征集合，使用SuperGlue算法进行特征匹配，由特征的对应关系得到两图像中关键点图像坐标的对应关系；
(5)估计无人机拍摄图像到卫星地图图像的空间变换，根据特征匹配所得到的两图像中点的对应关系，使用RANSAC算法求解无人机拍摄图像变换到卫星地图图像的单应矩阵，计算无人机拍摄图像的中心在地图图像中的坐标，结合地图的地理信息得到该点的经纬度作为无人机当前的经纬度坐标。
根据步骤(1)，卫星地图图像的空间分辨率与标准方向是已知的，对飞行中的无人机，通过读取传感器信息可以确定其航向角，通过旋转无人机拍摄的图像即可使其与地图的方向对齐。无人机拍摄图像的空间分辨率则可以通过其飞行高度进行计算，如图2，对无人机搭载的同一摄像头，在不同的飞行高度竖直向下拍摄地面图像时，摄像头的视野存在相似关系，即：
Figure BDA0002771939130000051
其中h1、h2为无人机的不同飞行高度(单位：米)，a1、a2为无人机在不同飞行高度下拍摄图像的空间长度(单位：米)，b1、b2为无人机在不同飞行高度下拍摄图像的空间宽度(单位：米)。对该摄像头，预先在给定高度下进行测试，确定其在给定高度下拍摄图像的空间分辨率，在飞行中定位时，读取无人机的飞行高度，根据相似关系计算无人机拍摄图像的空间分辨率，对无人机拍摄图像进行缩放使其达到与卫星地图图像一致的空间分辨率。
根据步骤(2)，图像中物体的边缘以及物体内部各部分的边缘可以作为有效的关键点用于图像配准，如图3，SEEDS超像素分割算法将图像分割成若干个均质的超像素，超像素的边界与图像中物体及其内部各部分的边缘吻合，经过步骤(1)，两图像具有一致的尺度与方向，SEEDS算法在两图像中划分的超像素边界点具有准确的对应关系。SEEDS算法接受参数设置算法产生的超像素数量，在本发明的关键点检测步骤中，根据图像大小计算此参数，设置此参数的值为：
Figure BDA0002771939130000052
其中hi、wi为图像的高与宽(单位：像素)，
Figure BDA0002771939130000053
为向下取整运算。对卫星地图图像，在无人机起飞前进行图像关键点检测，在无人机飞行过程中始终使用首次检测出的关键点集合，不再进行重复检测，每次进行无人机定位时，只对预处理后的无人机拍摄图像进行关键点检测，两图像关键点检测中使用相同方法设置SEEDS算法的参数，确保对算法同一物体产生相同的超像素划分。
根据步骤(3)，对图像中检测出的关键点提取其SIFT特征，SIFT特征在关键点的邻域计算图像梯度方向，构建包含邻域信息的特征描述，具有一定的旋转不变性与尺度不变性，对预处理的误差具有一定的容错能力。对卫星地图图像，在无人机起飞前，经关键点检测后，预先提取其在关键点处的SIFT特征并保存，在无人机飞行过程中始终使用初次提取的SIFT特征集合，不再进行重复计算。在飞行中进行定位时，仅对无人机拍摄的地面图像进行关键点检测，提取其在关键点处的SIFT特征集合。
根据步骤(4)，对两图像中提取的SIFT特征集合进行匹配，如图4，在两图像内关键点及两图像间的关键点之间建立边构成图，图的节点特征由关键点的图像坐标与SIFT特征描述组成，SuperGlue算法使用图神经网络对图中各节点的特征进行聚合，综合关键点邻域外观、空间位置、相邻关键点信息进行特征变换，更新节点特征，得到显著性更高的关键点特征。记无人机拍摄图像中关键点的数量为M，卫星地图图像中关键点的数量为N，计算两图像中关键点特征的两两相似度，建立M×N的相似度矩阵，使用Sinkhorn算法进行迭代优化，最大迭代次数T设置为100，得到M×N的关联矩阵，关联矩阵的每一行表示无人机拍摄图像中对应点的特征与卫星地图图像中各关键点特征的关联度，根据关联矩阵的值为无人机拍摄图像中关键点选择其在卫星地图图像中关联度最高的关键点作为匹配点。
根据步骤(5)，使用RANSAC算法对步骤(4)得到的关键点图像坐标的对应关系进行拟合，给定RANSAC算法的误差阈值为1像素，最大迭代次数为2048，求解对关键点匹配结果拟合效果最好的单应矩阵，将该单应矩阵作为无人机拍摄图像到卫星地图图像的空间变换关系。以无人机拍摄图像的中心点经纬度为无人机当前位置的经纬度，根据单应矩阵求解该点在卫星地图图像中的坐标，根据卫星地图的经纬度标记，计算该中心点的经纬度。
通过上述步骤，本发明结合无人机搭载的简单传感器，减少了无人机拍摄图像与卫星地图图像配准中，卫星地图图像包含的大量噪声对配准结果的影响；相比于coarse-to-fine的视觉定位方法，不依赖于视觉里程计或IMU等硬件对无人机位置进行粗略估计，且只需要一次图像配准即可确定无人机在区域中的位置，减小了无人机视觉定位方法在应用中的局限。本发明未详细阐述的部分属于本领域的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于图像配准的无人机定位方法，其特征在于，包括如下步骤：
(1)无人机拍摄图像预处理，从无人机搭载的高度传感器获取无人机的飞行高度，从无人机搭载的航向传感器获取无人机的飞行方向，根据卫星地图图像的标记信息得到无人机拍摄图像与卫星地图图像的空间分辨率差异与方向差异，对无人机拍摄图像进行旋转变换与尺度变换，使其与卫星地图图像具有一致的方向和尺度；
(2)无人机拍摄图像的关键点检测，使用SEEDS超像素分割算法对预处理后的无人机拍摄图像进行分割产生超像素划分，选择各个超像素的边界点作为关键点；
(3)无人机拍摄图像的关键点特征提取，对无人机拍摄图像中检测出的关键点，提取其SIFT特征；
(4)无人机拍摄图像与卫星地图图像的特征匹配，对两图像中提取的关键点特征集合，使用SuperGlue算法进行特征匹配，由特征的对应关系得到两图像中关键点图像坐标的对应关系；
(5)估计无人机拍摄图像到卫星地图图像的空间变换，根据特征匹配所得到的两图像中点的对应关系，使用RANSAC算法求解无人机拍摄图像变换到卫星地图图像的单应矩阵，计算无人机拍摄图像的中心在卫星地图图像中的坐标，结合卫星地图图像的地理信息得到该点的经纬度作为无人机当前的经纬度坐标；
所述步骤(1)具体包括：
卫星地图图像的空间分辨率与标准方向是已知的，对飞行中的无人机，通过读取传感器信息确定其航向角，通过旋转无人机拍摄的图像使其与卫星地图图像的方向对齐；无人机拍摄图像的空间分辨率则通过其飞行高度进行计算，对无人机搭载的同一摄像头，在不同的飞行高度竖直向下拍摄地面图像时，摄像头的视野存在相似关系，即：
Figure FDA0003930382200000011
其中h1、h2为无人机的不同飞行高度，a1、a2为无人机在不同飞行高度下拍摄图像的空间长度，b1、b2为无人机在不同飞行高度下拍摄图像的空间宽度；对该摄像头，预先在给定高度下进行测试，确定其在给定高度下拍摄图像的空间分辨率，在飞行中定位时，读取无人机的飞行高度，根据相似关系计算无人机拍摄图像的空间分辨率，对无人机拍摄图像进行缩放使其达到与卫星地图图像一致的空间分辨率；
所述步骤(2)关键点检测具体包括：
图像中物体的边缘以及物体内部各部分的边缘作为有效的关键点用于图像配准，利用SEEDS超像素分割算法将图像分割成若干个均质的超像素，超像素的边界与图像中物体及其内部各部分的边缘吻合，经过步骤(1)，两图像具有一致的尺度与方向，SEEDS算法在两图像中划分的超像素边界点具有准确的对应关系，SEEDS算法接受参数设置算法产生的超像素数量，在关键点检测步骤中，根据图像大小计算此参数，设置此参数的值为
Figure FDA0003930382200000021
其中hi、wi为图像的高与宽，
Figure FDA0003930382200000022
为向下取整运算；
所述步骤(3)具体包括：
对图像中检测出的关键点提取其SIFT特征，对卫星地图图像，在无人机起飞前，经关键点检测后，预先提取其在关键点处的SIFT特征并保存，在无人机飞行过程中始终使用初次提取的SIFT特征集合，不再进行重复计算，在飞行中进行定位时，仅对无人机拍摄的地面图像进行关键点检测，提取其在关键点处的SIFT特征集合。
2.根据权利要求1所述的一种基于图像配准的无人机定位方法，其特征在于，对卫星地图图像，在无人机起飞前进行图像关键点检测，在无人机飞行过程中始终使用首次检测出的关键点集合，不再进行重复检测，每次进行无人机定位时，只对预处理后的无人机拍摄图像进行关键点检测，两图像关键点检测中使用相同方法设置SEEDS算法的参数，确保对算法同一物体产生相同的超像素划分。
3.根据权利要求1所述的一种基于图像配准的无人机定位方法，其特征在于，所述步骤(4)具体包括：
对两图像中提取的SIFT特征集合进行匹配，在两图像内关键点及两图像间的关键点之间建立边构成图，图的节点特征由关键点的图像坐标与SIFT特征描述组成，SuperGlue算法使用图神经网络对图中各节点的特征进行聚合，综合关键点邻域外观、空间位置、相邻关键点信息进行特征变换，更新节点特征，得到显著性更高的关键点特征，记无人机拍摄图像中关键点的数量为M，卫星地图图像中关键点的数量为N，计算两图像中关键点特征的两两相似度，建立M×N的相似度矩阵，使用Sinkhorn算法进行迭代优化，最大迭代次数为T，得到M×N的关联矩阵，关联矩阵的每一行表示无人机拍摄图像中对应点的特征与卫星地图图像中各关键点特征的关联度，根据关联矩阵的值为无人机拍摄图像中关键点选择其在卫星地图图像中关联度最高的关键点作为匹配点。
4.根据权利要求1所述的一种基于图像配准的无人机定位方法，其特征在于，所述步骤(5)具体包括：
使用RANSAC算法对步骤(4)得到的关键点图像坐标的对应关系进行拟合，给定RANSAC算法的误差阈值，以及最大迭代次数，求解对关键点匹配结果拟合效果最好的单应矩阵，将该单应矩阵作为无人机拍摄图像到卫星地图图像的空间变换关系，选择无人机拍摄图像的中心点经纬度为无人机当前位置的经纬度，根据单应矩阵求解该点在卫星地图图像中的坐标，根据卫星地图的经纬度范围，计算该中心点的经纬度。
CN202011252158.XA 2020-11-11 2020-11-11 一种基于图像配准的无人机定位方法 Active CN112419374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011252158.XA CN112419374B (zh) 2020-11-11 2020-11-11 一种基于图像配准的无人机定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011252158.XA CN112419374B (zh) 2020-11-11 2020-11-11 一种基于图像配准的无人机定位方法

Publications (2)

Publication Number Publication Date
CN112419374A CN112419374A (zh) 2021-02-26
CN112419374B true CN112419374B (zh) 2022-12-27

Family

ID=74781858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011252158.XA Active CN112419374B (zh) 2020-11-11 2020-11-11 一种基于图像配准的无人机定位方法

Country Status (1)

Country Link
CN (1) CN112419374B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113432594A (zh) * 2021-07-05 2021-09-24 北京鑫海宜科技有限公司 一种基于地图与环境的无人机自动导航***
CN113838126B (zh) * 2021-09-27 2022-05-10 广州赋安数字科技有限公司 一种视频监控和无人机的图像对齐方法
CN114201633B (zh) * 2022-02-17 2022-05-17 四川腾盾科技有限公司 一种用于无人机视觉定位的自适应卫星图像生成方法
CN114612788B (zh) * 2022-03-22 2023-04-07 东北林业大学 基于神经网络的城市景观植物多样性监测方法
CN115495611B (zh) * 2022-11-18 2023-03-24 中国电子科技集团公司第五十四研究所 一种面向无人机自主定位的空间场景检索方法
CN115861591B (zh) * 2022-12-09 2024-02-02 南京航空航天大学 基于transformer关键纹理编码匹配的无人机定位方法
CN117253029A (zh) * 2023-09-07 2023-12-19 北京自动化控制设备研究所 基于深度学习的图像匹配定位方法及计算机设备
CN117274391B (zh) * 2023-11-23 2024-02-06 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法
CN109460046A (zh) * 2018-10-17 2019-03-12 吉林大学 一种无人机自然地标识别与自主着陆方法
CN110111372A (zh) * 2019-04-16 2019-08-09 昆明理工大学 基于sift+ransac算法的医学图像配准和融合方法
CN110569861A (zh) * 2019-09-01 2019-12-13 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN111028292A (zh) * 2019-12-13 2020-04-17 中国电子科技集团公司第二十研究所 一种亚像素级图像匹配导航定位方法
US20200226352A1 (en) * 2012-06-13 2020-07-16 San Diego State University Research Foundation Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
CN111666882A (zh) * 2020-06-08 2020-09-15 武汉唯理科技有限公司 一种手写体***提取方法
CN111780764A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200226352A1 (en) * 2012-06-13 2020-07-16 San Diego State University Research Foundation Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法
CN109460046A (zh) * 2018-10-17 2019-03-12 吉林大学 一种无人机自然地标识别与自主着陆方法
CN110111372A (zh) * 2019-04-16 2019-08-09 昆明理工大学 基于sift+ransac算法的医学图像配准和融合方法
CN110569861A (zh) * 2019-09-01 2019-12-13 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN111028292A (zh) * 2019-12-13 2020-04-17 中国电子科技集团公司第二十研究所 一种亚像素级图像匹配导航定位方法
CN111666882A (zh) * 2020-06-08 2020-09-15 武汉唯理科技有限公司 一种手写体***提取方法
CN111780764A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A novel approach for coarse-to-fine windthrown tree extraction based on unmanned aerial vehicle images;Duan FuZhou 等;《remote sensing》;20170524;全文 *
基于SIFT特征的无人机航拍图像拼接;乔文治;《教练机》;20111231;第9-12页 *
基于SIFT算法的无人机视觉导航研究;刘学等;《无线电工程》;20170505(第05期);第19-22页 *
基于摄像测量的无人机对地面目标精确定位关键技术研究;龙古灿;《中国优秀博硕士学位论文全文数据库(博士) 工程科技Ⅱ辑》;20190115;全文 *

Also Published As

Publication number Publication date
CN112419374A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419374B (zh) 一种基于图像配准的无人机定位方法
Nassar et al. A deep CNN-based framework for enhanced aerial imagery registration with applications to UAV geolocalization
US8437501B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
CN105352509B (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
Dabeer et al. An end-to-end system for crowdsourced 3D maps for autonomous vehicles: The mapping component
US11748449B2 (en) Data processing method, data processing apparatus, electronic device and storage medium
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
CN107560603A (zh) 一种无人机倾斜摄影测量***及测量方法
CN113340312A (zh) 一种ar室内实景导航方法及***
Müller et al. Squeezeposenet: Image based pose regression with small convolutional neural networks for real time uas navigation
Chen et al. Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles
CN113838129B (zh) 一种获得位姿信息的方法、装置以及***
Hou et al. UAV pose estimation in GNSS-denied environment assisted by satellite imagery deep learning features
Majdik et al. Micro air vehicle localization and position tracking from textured 3d cadastral models
Zahedian et al. Localization of autonomous vehicles: proof of concept for a computer vision approach
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
Tsao et al. Stitching aerial images for vehicle positioning and tracking
CN117073669A (zh) 一种飞行器定位方法
Zhang et al. An UAV navigation aided with computer vision
Shukla et al. Automatic geolocation of targets tracked by aerial imaging platforms using satellite imagery
Han et al. Uav vision: Feature based accurate ground target localization through propagated initializations and interframe homographies
Chen et al. An oblique-robust absolute visual localization method for GPS-denied UAV with satellite imagery
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant