CN116563377A - 一种基于半球投影模型的火星岩石测量方法 - Google Patents

一种基于半球投影模型的火星岩石测量方法 Download PDF

Info

Publication number
CN116563377A
CN116563377A CN202310611126.1A CN202310611126A CN116563377A CN 116563377 A CN116563377 A CN 116563377A CN 202310611126 A CN202310611126 A CN 202310611126A CN 116563377 A CN116563377 A CN 116563377A
Authority
CN
China
Prior art keywords
mars
camera
coordinate system
rock
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310611126.1A
Other languages
English (en)
Inventor
刘雨
郑殿
魏琳慧
吕炜琨
望育梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310611126.1A priority Critical patent/CN116563377A/zh
Publication of CN116563377A publication Critical patent/CN116563377A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于半球投影模型的火星岩石测量方法，属于场景重建领域；具体为：首先，利用双目相机对火星地表进行拍摄，从相机原理和火星车机械原理分别进行建模，建立每张图像的像素点与真实火星地表的对应关系；以及相机在火星全局坐标系中的位姿信息；然后，对各图像进行内参解析，校正失真并对双目相机的左右图像对进行行对应后，基于匹配特征点计算视差图。接着，利用现有火星表面影像分割数据集中的岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘，利用视差滤波算法对当前视差图进行优化；同时，结合不同相机的位姿，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布。本发明提高了视差估计精度。

Description

一种基于半球投影模型的火星岩石测量方法
技术领域
本发明属于场景重建领域，涉及立体图像匹配、三维场景建模以及火星岩石检测等技术，具体是一种基于半球投影模型的火星岩石测量方法。
背景技术
火星是与地球最相似的行星，是人类深空探测的重点。许多火星探测任务已经收集了火星相关的数据集。在火星场景中，岩石是主要的物体之一，广泛的分布在火星表面。对火星岩石的检测和测量是火星探测计划的重要基础，确定火星岩石的大小、距离和分布等信息是火星地面探测的前提之一，可以为探测器着陆、火星车行驶以及路径选择等任务，提供保障和支持。另一方面，岩石的信息有助于判断火星地址的演变过程，可以为水资源分布和地理变迁等研究提供数据，为确定火星地表环境的演化过程提供支持。
现有的测量方法主要关注火星场景的单个特征，数据间缺乏验证。火星岩石检测任务通常基于遥感数据或地面数据，由于分辨率的限制，遥感数据很难检测到火星地表的细节特征，对火星岩石的测量主要基于地面数据。但是，地面数据主要由载荷相机收集，多数火星探测任务都配备了双目相机，基于双目立体图像的火星测距方法是确定火星地表特征未知的主要方法，但现有的双目视差匹配算法如BM、SGB等不足以支持高精度的火星岩石测量需求。
在火星大场景下，确定岩石与岩石之间的位置关系是一项挑战，对其大小和分布关系的研究是目前相关技术的空白。火星场景的复杂性导致相机的采样模式是不规则的，收集的数据是离散的，很难在统一的场景下恢复火星岩石的大小和位置等信息。另一方面，现有技术在火星岩石测量上的准确度不高，面对火星纹理复杂、纹理重复或光照不理想等情况时性能有待提升，相应的测量技术并未针对岩石进行优化，导致岩石区域部分的测量精度不满足任务需求。
现有技术未从大场景的模式下进行火星岩石的测量，也并未针对岩石进行优化。如文献
中的方法对巡视探测器导航地形重建工作中的影像匹配进行了研究，对月球环境下的地形重建提出改进动态规划匹配算法，但其无法满足火星场景下的岩石测量需求。在文献[2]中提出的方法利用火星轨道器多源遥感影像数据，构建了火星表面形貌精细建模与自动分类，结合摄影测量法与明暗恢复形状法，研究制作了“天问一号”着陆区域的高分辨率三维地形，但没有对岩石进行测量，且分辨率不足以满足地面任务需求。
综上，现有的技术并没有针对“火星岩石测量”提出针对性的技术路线或解决方案，导致立体匹配等通用技术得到的火星岩石的测量结果有待提升。
[1]Li M L,Liu S C,Peng S.Improved dynamic programming in the lunarterrain reconstruction[J].Opto-Electron Eng,2013,40:6–11
[2]LIU S C，TONG X H，LIU S J，et al.Topography modeling,mapping andanalysis of China’s first Mars mission Tianwen-1landing area from remotesensing images[J].Journal of Deep Space Exploration，2022，9(3)：338-347.
发明内容
本发明提出了一种基于半球投影模型的火星岩石测量方法，通过关注火星特征的连贯性和全局性，采用投影模型(PM)建立火星全局坐标系，以支持高精度的、像素级的火星岩石定位，通过视差滤波算法WLS对视差进行优化，提高了视差估计的精度，结合语义分割算法提取弱纹理场景下的火星特征，从而在三维环境中恢复火星特征，具有精度更好的优势。
所述基于半球投影模型的火星岩石测量方法，包括以下步骤：
步骤一、利用双目相机对火星地表进行拍摄，每一个时刻同一个物体分别对应着左右两张图像；
步骤二、对所拍摄的每一张图像分别进行解析，以相机光轴为拍摄方向，在相机的视场角范围内，计算当前图像中各像素在火星三维场景中的对应位置，建立像素点与真实火星地表的对应关系；
针对像素坐标系中的目标点P，位置为(u,v)；将其转换到图像坐标系的投影，如下：
(xi,yi)为目标点P在图像坐标系中的对应位置，其中(u0,v0)是图像中心点坐标，(dx,dy)表示相机光敏元件上像素的大小。
然后，将图像坐标系转换到相机坐标系，表示为:
(xc，yc，zc)为相机坐标系中目标点P的坐标，f为相机的焦距；
最后，从相机坐标系转换到世界坐标系，表示为:
(xw，yw，zw)为世界坐标系中目标点P的坐标，其中R是旋转矩阵，代表光轴在世界坐标系中与初始时刻之间的旋转，t是世界坐标系原点到相机光心的平移向量，0T是三维列向量，R，t，共同描述像素点在相机坐标系和世界坐标系之间的转换关系。
最后，结合相机参数，恢复当前图像中物体在火星地表场景中的真实位置，像素对应关系如下：
步骤三、计算相机的旋转矩阵和平移向量，求得相机在火星全局坐标系中的位姿信息；
定义火星全局坐标系绕z-y-x轴的顺序，旋转各自的角度与火星车本体坐标系重合，得到旋转矩阵R1表示为：
绕z轴旋转偏航角为θ3，绕y轴旋转俯仰角为θ2，绕x轴旋转滚动角为θ1；
同理，得到火星车本体坐标系旋转到火星车桅杆坐标系的旋转矩阵R2；
火星车桅杆坐标系旋转到火星车相机平台坐标系的旋转矩阵R3；
联合R1、R2、R3三个旋转矩阵可得相机姿态，结合火星车的里程计和尺寸，求得相机在火星全局坐标系中的位姿信息。
从火星坐标系的原点到相机中心的平移向量t为:
t＝t1+R1t2
t1是火星坐标系原点到漫游者中心的向量，t2是漫游者坐标系原点到相机中心的向量；
步骤四、对建立了像素点与真实火星地表的对应关系的各图像，通过解析图像内参，对每张图像的失真分别进行校正，选出同一物体的左右图像进行行对应，使其位于同一平面上；
具体为：
首先，根据相机焦距、成像原点和畸变系数等内参数据对像素进行重投影，解决由于相机透镜带来的畸变误差，从而进行校正；
针对同一物体的左右图像校正后，根据两图像对之间的旋转矩阵和平移向量等外参数据，对图像进行行对准，使两幅图像的对极线恰好在同一水平线上。
步骤五、针对位于同一平面上的左右图像，利用立体视觉匹配检测两张图像重叠区域的匹配特征点，基于匹配特征点计算视差图。
立体视觉匹配检测采用尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)和快速旋转定向(ORB)等特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。
将校正后的左右图像作为SGBM算法的输入，根据双目相机数据确定视差图，左右图像平面上的映射点P分别用Pleft和Pright表示。视差d是Pleft和Pright的列坐标之差，进行迭代求解。
步骤六、对现有火星表面影像分割数据集中，采用语义分割法检测出岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘；
首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学习的语义分割模型、阴影法、或手工标记的方法进行岩石分割，得到岩石像素分布的范围并生成掩膜。掩膜的选定方式为在图像中选定岩石区域像素，对其进行遮挡，得到目标区域图像。
根据语义分割得到的岩石掩膜，确定图像中岩石区域的像素分布范围，获得视差图中岩石区域的视差。
步骤七、根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对当前视差图进行优化；
根据岩石像素的位置，在视差图中找到对应像素的分布方位和其分布边界，并采用加权最小二乘滤波算法对视差图进行滤波。
给定视差图g，其大小为n*m，滤波后的视差图为u，则损失函数为：
其中Ax，Ay为以ax，ay为对角元素的对角矩阵，d′x，d′y为前向差分矩阵，和/>是后向差分算子。λ是尺度因子，λ越大则平滑效果越强。
步骤八、以相机在火星全局坐标系中的位姿信息为基准，结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布。
岩石到相机的深度Z，根据三角形相似原理，公式如下：
b为双目相机的基线，即左右相机光心之间的距离；f为相机的焦距。
根据语义分割掩膜边缘信息，计算岩石的大小。
本发明的优点在于：
1)一种基于半球投影模型的火星岩石测量方法，用于天问一号地形导航相机的火星车相机姿态描述，通过对导航相机的姿态进行建模，恢复数据和场景的对应关系，确定岩石在三维场景中的位置，满足大尺度下特征定位和测量的需求。
2)一种基于半球投影模型的火星岩石测量方法，提出基于半球投影模型获取相机的外部参数获取方法，能够在大数据量的场景下对图像进行预处理，获取图像之间的位置关系，初步矫正图像以及匹配特征点，得到匹配度较好的双目相机数据。
3)一种基于半球投影模型的火星岩石测量方法，设计了适用于火星岩石的视差匹配以及滤波模块，能够在大尺度场景下准确地测量火星岩石的距离和大小、提高了相关测量的精度；能在多个场景下恢复火星岩石的分布，为火星地表探测提供支持。
附图说明
图1为本发明一种基于半球投影模型的火星岩石测量方法流程图；
图2为本发明从火星车机械原理进行建模的示意图；
图3为本发明像素从图像坐标系，相机坐标系以及世界坐标系的转换示意图；
图4为本发明从火星车机械原理进行建模，建立的半球模型的示意图；
图5为本发明基于双目相机匹配数据进行视图差的示意图。
具体实施方式
下面结合附图，对本发明的实施方式做详细、清楚的描述。
为了获取岩石在火星场景中的分布信息，现有的技术没有从全局上考虑信息提取，本发明一种基于半球投影模型的火星岩石测量方法，采用半球投影模型可以获取全局信息，采用滤波算法可以提升匹配的精度。具体是通过关注火星特征的连贯性和全局性，采用投影模型(PM)建立火星全局坐标系，根据相机的位置和姿态、桅杆的旋转角度、火星车的位置和姿态等信息，使多个场景下的火星岩石能够被统一的描述在火星全局坐标系中，以支持高精度的、像素级的火星岩石定位。采用SGBM算法进行视差匹配，通过视差滤波算法WLS对视差进行优化，达到了提高视差估计精度的效果，结合语义分割算法提取弱纹理场景下的火星特征，从而在三维环境中恢复火星特征，具有为火星地表探测提供支持的科研意义。
所述一种基于半球投影模型的火星岩石测量方法，如图1所示，具体步骤如下：
步骤一、利用双目相机对火星地表进行拍摄，每一个时刻同一个物体分别对应着左右两张图像；
步骤二、对所拍摄的每一张图像分别进行解析，利用半球投影模型确定像素点与真实火星表面的对应关系；
该步骤从相机原理和机械原理进行建模，具体过程为：
步骤101、基于导航地形相机的参数，通过图像解析拍摄时相机的空间位置和姿态角信息。针对祝融号的机械结构和相机的搭载方式提出解析方法；
如图2所示，在采集火星图像时，相机、相机平台、桅杆和火星车本体都有一定的旋转和位移。祝融号火星车工作时，首先将桅杆机械臂向上展开至垂直位置，然后云台进行上下俯仰，最后机械臂左右偏航，完成对科学探测点的序列成像。为描述当前图像的成像过程，需根据当前的火星车坐标、桅杆角度、相机高度位置、及相机拍摄方向确定当前相机的成像姿态。
步骤102、利用所提取的相机信息对图像进行投影，根据导航地形相机位置确定投影源，计算相机在该位置下的拍摄范围；
如图3所示，(u,v)为目标点P在像素坐标系中的对应位置，(xi,yi)为目标点P在图像坐标系中的对应位置，其中(u0,v0)是图像中心的主点，(dx,dy)表示导航地形相机光敏元件上像素的大小。像素坐标系到图像坐标系的投影可表示为:
(xc，yc，zc)为相机坐标系中P点的坐标，f为导航地形相机的焦距，从图像坐标系到相机坐标系的转换可表示为:
(xw，yw，zw)为世界坐标系中P点的坐标，从相机坐标系到世界坐标系的变换表示为:
其中R是旋转矩阵，代表光轴在世界坐标系中与初始时刻之间的旋转，t是世界坐标系原点到相机光心的平移向量，0T是三维列向量，R和t，共同描述像素点在相机坐标系和世界坐标系之间的转换关系。
计算以地形导航相机光轴为拍摄方向，在导航地形相机的视场角范围内的相机成像范围，计算像素在火星三维场景中的对应位置，建立像素与真实火星地表的对应关系。
步骤103、结合相机参数，将像素从像素坐标系依次转化到图像坐标系、相机坐标系和世界坐标系进行转换，恢复图像中物体在火星地表场景中的真实位置，像素对应关系如下：
步骤104、图像中的每个像素都被投影到世界坐标***中，通过投影确定图像分布的大致范围以及不同图像间是否有重叠。
步骤三、计算相机的旋转矩阵和平移向量，求得相机在火星全局坐标系中的位姿信息，为立体视觉匹配提供初始位置；
该步骤从火星车机械原理进行建模；根据半球投影模型计算相机的旋转矩阵R、平移向量t等外部参数，并用于立体视觉匹配中，基于祝融号机械结构和相机安装方式，建立半球模型，如图4所示：具体为：
定义火星全局坐标系绕z-y-x轴的顺序，旋转一定的角度与火星车本体坐标系重合，绕z轴旋转偏航角为θ3，绕y轴旋转俯仰角为θ2，绕x轴旋转滚动角为θ1，得到旋转矩阵R1表示为：
同理，得到火星车本体坐标系旋转到火星车桅杆坐标系的旋转矩阵R2；
火星车桅杆坐标系旋转到火星车相机平台坐标系的旋转矩阵R3；
联合R1、R2、R3三个旋转矩阵可得导航地形相机姿态，结合火星车的里程计和尺寸，求得相机在火星全局坐标系中的位姿信息。
从火星坐标系的原点到相机中心的平移向量t为:
t＝t1+R1t2
t1是火星坐标系原点到漫游者中心的向量，t2是漫游者坐标系原点到相机中心的向量；火星车坐标系相对于火星坐标系的旋转矩阵是R1。
步骤四、利用立体视觉匹配的方法，基于半球投影模型计算双目相机间的旋转矩阵和平移向量计算图像的外参，解析图像内参，对图像失真进行校正，使左右图像位于同一平面上；利用立体匹配检测出左右图像的相关匹配点，基于匹配特征点计算视差图。
对建立了像素点与真实火星地表的对应关系的各图像，通过解析图像内参，对每张图像的失真分别进行校正，选出同一部位的左右图像，使其位于同一平面上；
校正后左右图像对中的两幅图像在同一平面上，但不同的图像对之间关系不在同一直线上。本步骤首先对每一幅图像进行校正，然后选出双目图像进行行对应；即校正的对象是每一张图像，行对应的对象是选出的双目图像对。
具体为：
首先根据相机焦距、成像原点、畸变系数等的内参数据分别对左右图像进行校正，消除左右视图的畸变。其次，根据相机左右图像对之间的旋转矩阵和平移向量等外参数据对双目图像进行行对准。
根据相机内参矩阵，对像素进行重投影，解决由于相机透镜带来的畸变误差。畸变分为径向畸变和切向畸变，径向畸变是由透镜形状导致的，是透镜自身形状对光线传播的影响，切向畸变是由透镜与成像平面位置不平行所导致的，这会使线穿过透镜投影到成像平面时的位置发生变化。
把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。以上步骤使相机左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐，减少求解视差的计算过程。
步骤五、针对位于同一平面上的左右图像，利用立体视觉匹配检测两张图像重叠区域的特征点进行匹配，基于匹配特征点计算视差图。
通过立体校正恢复图像的失真，使相同的点基本上在同一条线上；对两张照片重叠区域的特征点进行检测和匹配，匹配使用尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)和快速旋转定向(ORB)等特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。
基于双目像机匹配数据进行视差图估计，如图5所示：
双目相机光心之间的距离为基线b，左右图像都位于在Ow-XwYwZw坐标系中。相机之间的光轴Zleft和Zright彼此平行，左右图像平面上的映射点P分别用Pleft和Pright表示。视差d是Pleft和Pright的列坐标之差，进行迭代求解。
将半球投影模型校正后的左右图像作为SGBM算法的输入，根据双目相机数据确定视差图。
步骤六、对现有火星表面影像分割数据集中，采用语义分割法检测出岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘；
首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学习的语义分割模型、阴影法、或手工标记的方法进行岩石分割，得到岩石像素分布的范围并生成掩膜。掩膜的选定方式为在图像中选定岩石区域像素，对其进行遮挡，得到目标区域图像。
本方法采用的是火星表面影像分割数据集TWMARS，该数据集为本团队基于“天问一号”数据集制作的岩石分割数据集，可为视差图中岩石边缘提取和定位提供依据。
根据语义分割得到的岩石掩膜，确定图像中岩石区域的像素分布范围，获得视差图中岩石区域的视差。
步骤七、根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对当前视差图进行优化；
根据岩石像素的位置，在视差图中找到对应像素的分布方位和其分布边界，并采用加权最小二乘滤波算法对视差图进行滤波。给定视差图g，其大小为n*m，滤波后的视差图为u，则损失函数为：
其中Ax，Ay为以ax，ay为对角元素的对角矩阵，d′x，d′y为前向差分矩阵，和/>是后向差分算子；λ是尺度因子，λ越大则平滑效果越强。
滤波使视差图中岩石部分的视差变化较为平滑，且能较好体现出掩膜的轮廓。
步骤八、以相机在火星全局坐标系中的位姿信息为基准，结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布。
因为测量岩石的得到的结果是相对于当前相机位置的，需要通过相机的之间的位置求出不同图像中岩石的相对位置。
基于立体视觉的成像原理和三角测量原理，根据双目相机基线、焦距等信息计算岩石的距离和大小。左右照片之间的视差d与深度Z成反比，根据三角形相似原理，可以建立如下关系:
其中根据视差d、基线b和焦距f，可以计算出从岩石到相机的深度Z。Z是像素到导航地形中心的距离。根据语义分割掩膜边缘信息，计算岩石的大小。
本发明能有效地获取大场景下的岩石分布信息；高效快速的对双目数据进行校正等预处理工作；并优化岩石部分的匹配精度，获取更准确的岩石大小和距离信息。
首先，利用半球投影模型对相机姿态进行建模，并确定像素点与真实火星表面的对应关系，确定图像分布的大致范围以及不同图像间是否有重叠。
具体来说，对祝融号导航地形相机的图像进行解析，得到拍摄图像时相机的空间位置、姿态角等信息；利用所提取的信息对图像进行投影，建立像素与真实火星地表的对应关系。结合相机参数，依次对像素坐标系、图像坐标系、相机坐标系和世界坐标系进行转换，将恢复图像中物体在火星地表场景中的真实位置；图像中的每个像素都被投影到世界坐标***中，通过投影确定火星图像的位置和覆盖范围。
然后，利用立体视觉匹配的方法，基于半球投影模型计算双目相机间的旋转矩阵和平移向量计算图像的外参，解析图像内参，对图像失真进行校正，使左右图像位于同一平面上；利用立体匹配检测出左右图像的相关匹配点，基于匹配特征点计算视差图。
具体来说，通过立体矫正恢复图像的失真，使相同的点基本上在同一条线上；对两张照片重叠区域的特征点进行检测和匹配，使用尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)和快速旋转定向(ORB)等特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。基于双目像机匹配数据进行视差图估计，在这一阶段，将半球投影模型校正后的图像作为SGBM算法的输入数据，根据双目摄像机数据确定视差图。创新点为采用提出的半球投影模型获取相机的外部参数，对图像进行预处理，得到匹配度较好的双目相机数据。
最后，结合语义分割等方法检测出的石头轮廓，在视差图中确定岩石的像素位置和分布边缘；根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对视差图进行优化；结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定岩石的分布。
具体来说：首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学***滑，且较好的体现出掩饰的轮廓。基于立体视觉的成像原理和三角测量原理，根据双目相机基线、焦距等信息计算岩石的距离和大小。结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定岩石的分布。创新点为针对火星岩石数据特点，设计了视差滤波模块，提高了岩石的测量精度。
实施例：
步骤1：基于C++语言和OpenCV库，在计算机设备上对火星原始数据进行解析，提取得到导航地形相机各帧数据参数，包括拍摄时间、拍摄位置、拍摄姿态角(偏航、俯仰、翻滚)、相机参数(焦距、像素大小、感光元件尺寸、光轴方向)、旋转角度等。
步骤2：由相机提取出的参数进行投影，根据火星车的拍摄位置、火星车的旋转方向、桅杆的姿态角、相机平台的俯仰角、火星车的尺寸、安装结构等信息建立半球投影模型，计算图像覆盖范围，投影到火星地表模型上。
步骤3：根据半球投影模型计算双目相机数据之间的旋转矩阵、平移向量等外参信息，对图像进行校正，使相同特征点在对应图像上处于同一水平位置。
步骤4：根据立体视差匹配原理计算双目数据的视差图，采用SGBM算法匹配特征点，获取特征点的视素距离，计算图像的视差。
步骤5：根据岩石识别与分割结果，针对视差图中岩石部分进行优化，采用最小加权二乘滤波算法对视差图进行优化，保存图像边缘信息，平滑岩石区域像素。
步骤6：基于三角测量原理计算岩石的位置和大小，根据不同相机之间的位置进行验证。
如表1所示，本方法测量的岩石c～f的距离分别为9.877m、6.377m、5.208m和10.820m，与主流的测量方法和测量结果相符。从表中可以看到本发明的测量精度为毫米，优于目前的测量方法。
表1
如表2所示，本方法测量的岩石c的大小为(3.470m,1.130m)，岩石d的大小为(0.110m,0.144m)，岩石e的大小为(0.178m,0.109m)，与主流的测量方法和测量结果相符。从表中可以看到本发明的测量精度为毫米，优于目前的测量方法。
表2
/>

Claims (6)

1.一种基于半球投影模型的火星岩石测量方法，其特征在于，包括以下步骤：
步骤一、利用双目相机对火星地表进行拍摄，每一个时刻同一个物体分别对应着左右两张图像；
步骤二、对所拍摄的每一张图像分别进行解析，以相机光轴为拍摄方向，在相机的视场角范围内，计算当前图像中各像素在火星三维场景中的对应位置，建立像素点与真实火星地表的对应关系；
步骤三、计算相机的旋转矩阵和平移向量，求得相机在火星全局坐标系中的位姿信息；
定义火星全局坐标系绕z-y-x轴的顺序，旋转各自的角度与火星车本体坐标系重合，得到旋转矩阵R1表示为：
绕z轴旋转偏航角为θ3，绕y轴旋转俯仰角为θ2，绕x轴旋转滚动角为θ1；
同理，得到火星车本体坐标系旋转到火星车桅杆坐标系的旋转矩阵R2；
火星车桅杆坐标系旋转到火星车相机平台坐标系的旋转矩阵R3；
联合R1、R2、R3三个旋转矩阵可得相机姿态，结合火星车的里程计和尺寸，求得相机在火星全局坐标系中的位姿信息；
从火星坐标系的原点到相机中心的平移向量t为:
t＝t1+R1t2
t1是火星坐标系原点到漫游者中心的向量，t2是漫游者坐标系原点到相机中心的向量；
步骤四、对建立了像素点与真实火星地表的对应关系的各图像，通过解析图像内参，对每张图像的失真分别进行校正，选出同一物体的左右图像进行行对应，使其位于同一平面上；
步骤五、针对位于同一平面上的左右图像，利用立体视觉匹配检测两张图像重叠区域的匹配特征点，基于匹配特征点计算视差图；
将校正后的左右图像作为SGBM算法的输入，根据双目相机数据确定视差图，左右图像平面上的映射点P分别用Pleft和Pright表示。视差d是Pleft和Pright的列坐标之差，进行迭代求解；
步骤六、对现有火星表面影像分割数据集中，采用语义分割法检测出岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘；
步骤七、根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对当前视差图进行优化；
步骤八、以相机在火星全局坐标系中的位姿信息为基准，结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布；
岩石到相机的深度Z，根据三角形相似原理，公式如下：
b为双目相机的基线，即左右相机光心之间的距离；f为相机的焦距；
根据语义分割掩膜边缘信息，计算岩石的大小。
2.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤二具体为：
针对像素坐标系中的目标点P，位置为(u,v)；将其转换到图像坐标系的投影，如下：
(xi,yi)为目标点P在图像坐标系中的对应位置，其中(u0,v0)是图像中心点坐标，(dx,dy)表示相机光敏元件上像素的大小；
然后，将图像坐标系转换到相机坐标系，表示为:
(xc，yc，zc)为相机坐标系中目标点P的坐标，f为相机的焦距；
最后，从相机坐标系转换到世界坐标系，表示为:
(xw，yw，zw)为世界坐标系中目标点P的坐标，其中R是旋转矩阵，代表光轴在世界坐标系中与初始时刻之间的旋转，t是世界坐标系原点到相机光心的平移向量，0T是三维列向量，R，t，共同描述像素点在相机坐标系和世界坐标系之间的转换关系；
最后，结合相机参数，恢复当前图像中物体在火星地表场景中的真实位置，像素对应关系如下：
3.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤四具体为：首先，根据相机焦距、成像原点和畸变系数内参数据对像素进行重投影，解决由于相机透镜带来的畸变误差，从而进行校正；
针对同一物体的左右图像校正后，根据两图像对之间的旋转矩阵和平移向量等外参数据，对图像进行行对准，使两幅图像的对极线恰好在同一水平线上。
4.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤五中，立体视觉匹配检测采用尺度不变特征变换、加速鲁棒特征和快速旋转定向特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。
5.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤六中，首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学习的语义分割模型、阴影法、或手工标记的方法进行岩石分割，得到岩石像素分布的范围并生成掩膜；
根据语义分割得到的岩石掩膜，确定图像中岩石区域的像素分布范围，获得视差图中岩石区域的视差。
6.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤七中，根据岩石像素的位置，在视差图中找到对应像素的分布方位和其分布边界，并采用加权最小二乘滤波算法对视差图进行滤波；
给定视差图g，其大小为n*m，滤波后的视差图为u，则损失函数为：
其中Ax，Ay为以ax，ay为对角元素的对角矩阵，d′x，d′y为前向差分矩阵，和/>是后向差分算子；λ是尺度因子，λ越大则平滑效果越强。
CN202310611126.1A 2023-05-26 2023-05-26 一种基于半球投影模型的火星岩石测量方法 Pending CN116563377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310611126.1A CN116563377A (zh) 2023-05-26 2023-05-26 一种基于半球投影模型的火星岩石测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310611126.1A CN116563377A (zh) 2023-05-26 2023-05-26 一种基于半球投影模型的火星岩石测量方法

Publications (1)

Publication Number Publication Date
CN116563377A true CN116563377A (zh) 2023-08-08

Family

ID=87496393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310611126.1A Pending CN116563377A (zh) 2023-05-26 2023-05-26 一种基于半球投影模型的火星岩石测量方法

Country Status (1)

Country Link
CN (1) CN116563377A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132973A (zh) * 2023-10-27 2023-11-28 武汉大学 一种地外行星表面环境重建与增强可视化方法及***
CN118038098A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、存储介质及程序产品

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132973A (zh) * 2023-10-27 2023-11-28 武汉大学 一种地外行星表面环境重建与增强可视化方法及***
CN117132973B (zh) * 2023-10-27 2024-01-30 武汉大学 一种地外行星表面环境重建与增强可视化方法及***
CN118038098A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
Cheng et al. 3D building model reconstruction from multi-view aerial imagery and lidar data
JP4719753B2 (ja) 異種センサ統合モデリングによるデジタル写真測量方法及びその装置
CN111080627A (zh) 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN112927360A (zh) 一种基于倾斜模型与激光点云数据融合的三维建模方法和***
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、***及应用
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合***及方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
Gao et al. Ground and aerial meta-data integration for localization and reconstruction: A review
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN109671109B (zh) 密集点云生成方法及***
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
CN114170284B (zh) 基于主动标志点投射辅助的多视图点云配准方法
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及***
Wu Photogrammetry: 3-D from imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination