CN116664855A - 适用于行星探测车影像的深度学习三维稀疏重建方法及*** - Google Patents

适用于行星探测车影像的深度学习三维稀疏重建方法及*** Download PDF

Info

Publication number
CN116664855A
CN116664855A CN202310587367.7A CN202310587367A CN116664855A CN 116664855 A CN116664855 A CN 116664855A CN 202310587367 A CN202310587367 A CN 202310587367A CN 116664855 A CN116664855 A CN 116664855A
Authority
CN
China
Prior art keywords
points
image
dimensional
key
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310587367.7A
Other languages
English (en)
Inventor
鄢建国
钟佳耿
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202310587367.7A priority Critical patent/CN116664855A/zh
Publication of CN116664855A publication Critical patent/CN116664855A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于行星探测车影像的深度学习三维稀疏重建方法及***，包括：步骤一，导入预处理后的行星探测车影像以及其他辅助数据；步骤二，对导入的每张影像进行关键点的提取与描述，得到包含有每张影像上的关键点的二维图像坐标以及对应的描述子的关键点集；步骤三，对关键点进行匹配，在互有重叠的影像中提取同名点，将错误的同名点剔除同时匹配上更多的正确的同名点；步骤四，利用关键点的坐标以及匹配所得的同名点对应关系，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。本发明结合深度神经网络技术进行精确可靠的同名点提取用于稀疏三维重建，能够显著地提高行星地表三维重建的稳定性。

Description

适用于行星探测车影像的深度学习三维稀疏重建方法及***
技术领域
本发明属于行星三维重建技术领域，特别是涉及一种适用于行星探测车影像的深度学习三维稀疏重建方法及***。
背景技术
利用行星探测车采集的影像来构建行星精确的三维地形模型，是研究行星地形最直接最有效的方法之一，同时也是行星探测车定位和导航的重要组成部分，该三维重建结果将为控制点研究、高精度测绘以及后续多方面的探测任务提供基础数据。目前，基于摄影测量的三维重建技术已广泛应用于行星地形测绘，然而，由于行星探测车影像通常具有纹理弱、光照变化大的特点，因此难以提取到可靠的关键点，三维重建很容易会失败，导致无法进行后续的地形分析。
先前的研究人员使用运动恢复结构算法来处理行星影像，用于估计相机位姿或生成摄影测量产品，例如正射影像和数字高程模型等。运动恢复结构方法的必要步骤之一是同名点匹配，其目的是使用具有不变性的局部特征方法从两个或多个图像中识别并对应具有相同或相似结构的点，同名点匹配的准确性直接影响到三维重建的准确性。然而由于行星表面影像的纹理既不丰富也不清晰，缺乏明显可辨识特征，并且亮度变化会很大，会对图像匹配的鲁棒性提出了巨大挑战。
传统手工提取的局部特征方法通常分为两个阶段，首先检测关键点，然后为每个关键点计算局部描述符，其中最为典型与常用的是SIFT算法。这些方法通过先验知识设置了多种筛选与描述关键点的标准，但由于过于依赖人类经验，因而难以适应不同的场景，一旦遇到无法应对的场景，调整参数就变得很复杂。当成像条件发生剧烈变化，或纹理过于均匀时，这些局部特征方法的准确性和可靠性将受到严重影响。
发明内容
本发明的目的是实现对行星地形的高精度鲁棒的稀疏三维重建，设计了一个新型的、融合了注意力机制的深度神经网络，用于影像关键点的提取与描述，再结合鲁棒的粗差剔除方法，得到精确可靠的同名点，再利用增量式运动恢复结构技术，对影像进行配准，最后通过光束法平差技术解算物方三维点坐标以及相机的位置与姿态。
基于上述技术问题，本发明采用如下技术方案：
一种适用于行星探测车影像的深度学习三维稀疏重建方法，包括如下步骤：
步骤一，导入预处理后的行星探测车影像以及其他辅助数据；
步骤二，采用融合了注意力机制的深度卷积神经网络DPFeat，对导入的每张影像进行关键点的提取与描述，得到一个关键点集，其包含有每张影像上的关键点的二维图像坐标以及对应的描述子；
步骤三，根据关键点的二维图像坐标以及描述子信息对关键点进行匹配，从而在互有重叠的影像中提取同名点，并且将错误的同名点剔除同时匹配上更多的正确的同名点；
步骤四，利用关键点的坐标以及匹配所得的同名点对应关系，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。
进一步地，步骤一中，需要将探测车数据由发布时的原始格式转化成常用的图像格式，同时一并导入从其他数据源获取的相机位置、姿态、内部参数信息作为初始值用于重建。
进一步地，所述步骤二中，用于提取和描述关键点的深度卷积神经网络DPFeat，其主干网络将L2-Net中的上采样层替换为了空洞卷积，图像在经过主干网络处理后会生成两个分支，一个用于生成关键点的图像坐标，另一个用于生成关键点对应的描述子，每一个分支都融合注意力机制，提高能起关键作用的特征图的权重，降低无关特征图的权重，实现对高维特征图的高效利用。
进一步地，DPFeat网络的两个分支在网络训练时分别通过损失函数进行监督，包括相似性损失、极值损失与可靠性损失。
进一步地，相似性损失公式如下：
其中，I和I′分别代表两张图像，U代表两张图像之间同名点对应关系，P代表一个包含相互重叠的图块的集合，p代表集合中的一个图块，i，j分别代表图块p中一个像素对应的横纵坐标，S为网络生成的图像I的关键点的概率图，S′U代表图像I′关键点的概率图在根据U变换后的概率图，cosim函数通过余弦计算输入量的相似性，越大则说明越相似，为关键点的概率也越高，损失值就越低；
极值损失公式如下：
其中N代表邻域大小，Sij代表关键点概率图上横纵坐标分别为i和j的点的值，max和mean函数分别用于求最大值和平均值，该点差异越大，则极值损失越小；
可靠性损失公式如下：
其中B代表一批里图块的数量，R代表可靠性图，Rij代表可靠性图上横纵坐标分别为i和j的点的值，pij代表图块p上横纵坐标分别为i和j的点的值，为一个可微的用于监督学习描述子的函数。
进一步地，步骤三中，利用改进后的粗差剔除方法将错误的同名点剔除，
其中改进后的粗差剔除方法具体为：
首先对图像进行归一化处理，然后将图像分成多个块，计算每个块内匹配结果的可靠性，将每个块内的正常值和粗差分别归类，然后进行粗差的合并，最终实现剔除粗差。
进一步地，所述步骤四中，基于增量式运动恢复结构技术，使用光束法平差技术，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。
进一步地，其中增量式运动恢复结构技术首先选择两个相邻的图像进行初始化，然后使用与已配准的图像中的三角点的关键点匹配关系将其他图像配准到当前模型，新配准的图像不仅覆盖现有的物方点，而且通过三角测量增加了覆盖范围，在此基础上利用光束法平差优化计算结果，同时剔除离群的测量值；在迭代计算之后，输出精确的物方点坐标以及相机的位置和姿态信息。
本发明还提供一种适用于行星探测车影像的深度学习三维稀疏重建***，包括：
影像即数据导入模块，其用于导入预处理后的行星探测车影像以及其他辅助数据；
关键点提取与描述模块，其采用融合了注意力机制的深度卷积神经网络DPFeat，对导入的每张影像进行关键点的提取与描述，得到一个关键点集，其包含有每张影像上的关键点的二维图像坐标以及对应的描述子；
关键点匹配模块，其根据关键点的位置以及描述子信息对关键点进行匹配，从而在互有重叠的影像中提取同名点，并且将错误的同名点剔除同时匹配上更多的正确的同名点；
解算模块，其利用关键点的坐标以及匹配所得的同名点对应关系，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。
进一步地，所述***用于应对行星探测车影像数据纹理弱、光照变化大的问题，实现行星地表的稀疏三维重建以及相机位置和姿态的解算。
与现有技术相比，本发明具有如下有益效果：
本发明设计了一个新型的、融合了注意力机制的深度神经网络用于影像关键点的提取与描述，同时利用鲁棒的粗差剔除方法以得到精确可靠的同名点，再通过增量式运动恢复结构技术，对影像进行配准，借助光束法平差技术解算物方三维点坐标以及相机的位置与姿态，实现对行星地形的高精度鲁棒的稀疏三维重建，解决了传统的特征提取与匹配方法在处理行星探测车影像时因弱纹理、变化光照等因素而失效，进而导致三维重建失败的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍：
图1为本发明实施例的适用于行星探测车影像的深度学习三维稀疏重建方法效果图；
图2为本发明实施例与适用于行星探测车影像的深度学习三维稀疏重建方法示意图；
图3为本发明实施例中深度神经网络DPFeat的网络结构示意图，
图4为本发明实施例与通用方法在影像同名点提取任务的效果对比图；
图5为本发明实施例与通用方法在影像同名点匹配任务的效果对比图；
图6为本发明实施例与通用方法在行星表面稀疏三维重建任务的效果对比图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。
本发明提出将深度神经网络和增量式运动恢复结构技术运用在行星探测车影像三维稀疏重建中。具体来讲，设计了一个新型的、融合了注意力机制的深度神经网络，用于影像关键点的提取与描述，再结合鲁棒的粗差剔除方法，即使是在纹理弱、光照变化强烈的探测车影像上也能得到精确可靠的同名点，再通过增量式运动恢复结构技术对影像逐一配准，进行三角测量以及光束法平差，最终恢复出相机的位姿与姿态以及物方点的三维坐标，如图1所示。这种重建方式的优势在于全自动处理，只需输入某一区域互有重叠的影像，无需其他的信息，就能直接恢复出相机的位置与姿态，解算出相机的内参，以及精确可靠的地面点三维坐标，为后续的其他处理与分析提供数据基础。
因此，本发明提出的关键改进在于：针对传统的特征提取与匹配方法在处理行星探测车影像时因弱纹理、变化光照等因素而失效的问题，设计一个用于影像关键点提取与描述的深度神经网络，利用深度卷积网络泛化能力强的特点，从探测车影像上提取足量的、可靠的关键点；再利用基于先验信息的粗差剔除方法，将图像对准确地匹配；最后利用基于摄影测量原理的增量式运动恢复结构技术，通过迭代计算优化，得到相机位姿和参数，以及三维地形结构。
实施例1
参见图2，实施例提供一种适用于行星探测车影像的深度学习三维稀疏重建方法，包括如下步骤：
步骤一：导入预处理后的行星探测车影像以及其他辅助数据：行星探测车影像发布时的格式并非常用的图像格式，因此需要借助相关的处理方法，将影像转换成常用的图像格式；此外，可能包含有其他的辅助数据，例如相机角度、高度、焦距等信息，可以在后续解算时作为初始值。
步骤二：对于导入的每张探测车影像，用深度卷积神经网络DPFeat进行关键点的提取与描述，得到一个关键点的集合，包含有每张影像上的关键点的二维图像坐标，以及对应的描述子。
如图3所示，DPFeat是一个深度卷积神经网络，其主干网络基于L2-Net网络，将其中的上采样层替换为了空洞卷积，有利于获得更稀疏的预测值；主干网络之后是两个分支网络，一个用于生成关键点的图像坐标，另一个用于生成关键点对应的描述子，每一个分支网络都在卷积网络的基础上融合了注意力机制，提高能起关键作用的特征图的权重，降低无关特征图的权重，实现对高维特征图的高效利用，最终达到在行星探测车影像这种弱纹理、光照变化强的图像上提取到足够的、可靠的关键点的目的。
在分支网络中融合注意力机制，是因为普通的卷积本身很难对特征图之间的通道关系进行建模，而注意机制具有良好的通用性和效率。对于一个维度为W×H×C的特征图γ，其中W为宽度，H为高度，C为通道数，首先通过全局平均池化层，得到一个维度为(1×1×C)的张量z，这样可以使网络能够收集全局信息；然后，基于全局信息生成不同通道的权重，对通道进行加权处理。
DPFeat网络的两个分支在网络训练时会分别通过损失函数进行监督，包括相似性损失、极值损失与可靠性损失：
相似性损失公式如下：
其中，I和I′分别代表两张图像，U代表两张图像之间同名点对应关系，P代表一个图块，S为网络生成的图像I的关键点的概率图，S′U代表图像I′关键点的概率图在根据U变换后的概率图，cosim函数通过余弦计算输入量的相似性，越大则说明越相似，为关键点的概率也越高，损失值就越低；
极值损失公式如下：
其中N代表邻域大小，max和mean函数分别用于求最大值和平均值，该点差异越大，则极值损失越小；
可靠性损失公式如下：
其中B代表一批里图块的数量，R代表可靠性图，为一个可微的用于监督学习描述子的函数。
利用DPFeat网络，能够从纹理稀疏的探测车影像上提取到大量的、分布合理的关键点，如图4所示，通用方法提取的关键点集中在影像纹理丰富的区域，分布不均匀，这会增加匹配和解算的难度以及不稳定性；而本发明中提出的改进算法，能够在整张影像上提取到均匀的关键点，即使是在缺乏纹理的平坦地面，也能够得到数量可观的关键点，能够使三维重建过程更稳定。
步骤三：根据关键点的位置以及描述子信息对关键点进行匹配，从而在互有重叠的影像中提取同名点，并且利用改进后的粗差剔除方法，将错误的同名点剔除同时匹配上更多的正确的同名点。
实施例在步骤三中，首先对图像进行归一化处理，然后将图像分成多个块，计算每个块内匹配结果的可靠性，将每个块内的正常值和粗差分别归类，然后进行粗差的合并，最终实现剔除粗差。
图5中展示了采用通用方法和本发明提出的方法分别进行关键点提取与匹配的结果。通用算法不仅特征点点位不均匀，而且匹配错误很多；使用本发明提出的改进算法，不仅能够提取出更多且分布更加合理的关键点，而且关键点匹配的准确率也要显著由于通用方法，能够为三维重建提供极大帮助。
步骤四：在步骤三得到关键点及匹配结果的基础上，增量式运动恢复结构技术首先选择两个相邻的图像进行初始化，然后使用与已配准的图像中的三角点的关键点匹配关系将其他图像配准到当前模型，新配准的图像不仅覆盖现有的物方点，而且通过三角测量增加了覆盖范围，在此基础上利用光束法平差优化计算结果，同时剔除离群的测量值；在迭代计算之后，输出精确的物方点坐标以及相机的位置和姿态信息。
图6中展示了采用通用方法和本发明提出的方法分别用行星探测车影像进行稀疏三维重建的结果。通用算法重建出的结果中存在较多的粗差，导致部分相机的位置和姿态被错误地估计，并且由于匹配成功的关键点较少，因此三维重建结果有很多区域明显不完整，整体较为稀疏；使用本发明提出的改进算法来进行三维重建时，所有相机的位置与姿态均能被正确地估计，同时由于使用了基于深度学习的关键点提取与描述算法，得到了更加密集的同名点结果，最终三维重建结果也更稠密。
通过以上流程，本发明实现了关键改进：
步骤二到四中所述的适用于行星探测车影像的深度学习三维稀疏重建方法，解决了传统的特征提取与匹配方法在处理行星探测车影像时因弱纹理、变化光照等因素而失效，进而导致三维重建失败的问题，实现了对行星地形的高精度鲁棒的稀疏三维重建，能够为行星探测任务提供可靠数据基础。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
实施例2
本实施例提供一种适用于行星探测车影像的深度学习三维稀疏重建***，包括：
影像即数据导入模块，其用于导入预处理后的行星探测车影像以及其他辅助数据；
关键点提取与描述模块，其采用融合了注意力机制的深度卷积神经网络DPFeat，对导入的每张影像进行关键点的提取与描述，得到一个关键点集，其包含有每张影像上的关键点的二维图像坐标以及对应的描述子；
关键点匹配模块，其根据关键点的位置以及描述子信息对关键点进行匹配，从而在互有重叠的影像中提取同名点，并且将错误的同名点剔除同时匹配上更多的正确的同名点；
解算模块，其利用关键点的坐标以及匹配所得的同名点对应关系，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。
上述实施例中的***用于应对行星探测车影像数据纹理弱、光照变化大的问题，实现行星地表的稀疏三维重建以及相机位置和姿态的解算。
在一些可能的实施例中，提供一种适用于行星探测车影像的深度学习三维稀疏重建***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法。
在一些可能的实施例中，提供一种适用于行星探测车影像的深度学习三维稀疏重建***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法。
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (10)

1.一种适用于行星探测车影像的深度学习三维稀疏重建方法，其特征在于，包括如下步骤：
步骤一，导入预处理后的行星探测车影像以及其他辅助数据；
步骤二，采用融合了注意力机制的深度卷积神经网络DPFeat，对导入的每张影像进行关键点的提取与描述，得到一个关键点集，其包含有每张影像上的关键点的二维图像坐标以及对应的描述子；
步骤三，根据关键点的二维图像坐标以及描述子信息对关键点进行匹配，从而在互有重叠的影像中提取同名点，并且将错误的同名点剔除同时匹配上更多的正确的同名点；
步骤四，利用关键点的坐标以及匹配所得的同名点对应关系，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。
2.根据权利要求1所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法，其特征在于：步骤一中，需要将探测车数据由发布时的原始格式转化成常用的图像格式，同时一并导入从其他数据源获取的相机位置、姿态、内部参数信息作为初始值用于重建。
3.根据权利要求1所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法，其特征在于：所述步骤二中，用于提取和描述关键点的深度卷积神经网络DPFeat，其主干网络将L2-Net中的上采样层替换为了空洞卷积，图像在经过主干网络处理后会生成两个分支，一个用于生成关键点的图像坐标，另一个用于生成关键点对应的描述子，每一个分支都融合注意力机制，提高能起关键作用的特征图的权重，降低无关特征图的权重，实现对高维特征图的高效利用。
4.根据权利要求3所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法，其特征在于：DPFeat网络的两个分支在网络训练时分别通过损失函数进行监督，包括相似性损失、极值损失与可靠性损失。
5.根据权利要求4所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法，其特征在于：
相似性损失公式如下：
其中，I和I′分别代表两张图像，U代表两张图像之间同名点对应关系，P代表一个图块，S为网络生成的图像I的关键点的概率图，S′U代表图像I′关键点的概率图在根据U变换后的概率图，cosim函数通过余弦计算输入量的相似性，越大则说明越相似，为关键点的概率也越高，损失值就越低；
极值损失公式如下：
其中N代表邻域大小，Sij代表关键点概率图上横纵坐标分别为i和j的点的值，max和mean函数分别用于求最大值和平均值，该点差异越大，则极值损失越小；
可靠性损失公式如下：
其中B代表一批里图块的数量，R代表可靠性图，Rij代表可靠性图上横纵坐标分别为i和j的点的值，pij代表图块p上横纵坐标分别为i和j的点的值，为一个可微的用于监督学习描述子的函数。
6.根据权利要求1所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法，其特征在于：步骤三中，利用改进后的粗差剔除方法将错误的同名点剔除，其中改进后的粗差剔除方法具体为：
首先对图像进行归一化处理，然后将图像分成多个块，计算每个块内匹配结果的可靠性，将每个块内的正常值和粗差分别归类，然后进行粗差的合并，最终实现剔除粗差。
7.根据权利要求1所述的一种适用于行星探测车影像的深度学***差技术，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。
8.根据权利要求7所述的一种适用于行星探测车影像的深度学习三维稀疏重建方法，其特征在于：
其中增量式运动恢复结构技术首先选择两个相邻的图像进行初始化，然后使用与已配准的图像中的三角点的关键点匹配关系将其他图像配准到当前模型，新配准的图像不仅覆盖现有的物方点，而且通过三角测量增加了覆盖范围，在此基础上利用光束法平差优化计算结果，同时剔除离群的测量值；在迭代计算之后，输出精确的物方点坐标以及相机的位置和姿态信息。
9.一种适用于行星探测车影像的深度学习三维稀疏重建***，其特征在于，包括：
影像即数据导入模块，其用于导入预处理后的行星探测车影像以及其他辅助数据；
关键点提取与描述模块，其采用融合了注意力机制的深度卷积神经网络DPFeat，对导入的每张影像进行关键点的提取与描述，得到一个关键点集，其包含有每张影像上的关键点的二维图像坐标以及对应的描述子；
关键点匹配模块，其根据关键点的位置以及描述子信息对关键点进行匹配，从而在互有重叠的影像中提取同名点，并且将错误的同名点剔除同时匹配上更多的正确的同名点；
解算模块，其利用关键点的坐标以及匹配所得的同名点对应关系，解算出精确物方三维点坐标以及相机的位置与姿态，进而恢复出地形的三维结构。
10.根据权利要求9所述的一种行星探测车影像的深度学习三维稀疏重建***，其特征在于：用于应对行星探测车影像数据纹理弱、光照变化大的问题，实现行星地表的稀疏三维重建以及相机位置和姿态的解算。
CN202310587367.7A 2023-05-23 2023-05-23 适用于行星探测车影像的深度学习三维稀疏重建方法及*** Pending CN116664855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310587367.7A CN116664855A (zh) 2023-05-23 2023-05-23 适用于行星探测车影像的深度学习三维稀疏重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310587367.7A CN116664855A (zh) 2023-05-23 2023-05-23 适用于行星探测车影像的深度学习三维稀疏重建方法及***

Publications (1)

Publication Number Publication Date
CN116664855A true CN116664855A (zh) 2023-08-29

Family

ID=87719949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310587367.7A Pending CN116664855A (zh) 2023-05-23 2023-05-23 适用于行星探测车影像的深度学习三维稀疏重建方法及***

Country Status (1)

Country Link
CN (1) CN116664855A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132973A (zh) * 2023-10-27 2023-11-28 武汉大学 一种地外行星表面环境重建与增强可视化方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132973A (zh) * 2023-10-27 2023-11-28 武汉大学 一种地外行星表面环境重建与增强可视化方法及***
CN117132973B (zh) * 2023-10-27 2024-01-30 武汉大学 一种地外行星表面环境重建与增强可视化方法及***

Similar Documents

Publication Publication Date Title
CN111144388B (zh) 一种基于单目影像的道路标志标线的更新方法
WO2023045455A1 (zh) 基于分支重构配准的非合作目标三维重建方法
CN104574347A (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN113506342B (zh) 一种基于多相机全景视觉的slam全向回环校正方法
CN116485856B (zh) 一种基于语义分割的无人机图像地理配准方法及相关设备
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及***
CN112712589A (zh) 一种基于激光雷达和深度学习的植株3d建模的方法和***
CN116664855A (zh) 适用于行星探测车影像的深度学习三维稀疏重建方法及***
CN113406659A (zh) 一种基于激光雷达信息的移动机器人位置重识别方法
CN110942102B (zh) 一种概率松弛核线匹配方法及***
CN111664845B (zh) 交通标志定位、视觉地图制作方法及装置、定位***
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN112734818B (zh) 基于残差网络和sift的多源高分辨率遥感图像自动配准方法
CN117765039A (zh) 点云粗配准方法、装置及设备
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN116524382A (zh) 一种桥梁转体合拢准确性检验方法***、设备
CN114563000B (zh) 一种基于改进型激光雷达里程计的室内外slam方法
Zhong et al. A deep learning-based local feature extraction method for improved image matching and surface reconstruction from Yutu-2 PCAM images on the Moon
CN111127474B (zh) 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination