CN110264572A - 一种融合几何特性与力学特性的地形建模方法及*** - Google Patents

一种融合几何特性与力学特性的地形建模方法及*** Download PDF

Info

Publication number
CN110264572A
CN110264572A CN201910544272.0A CN201910544272A CN110264572A CN 110264572 A CN110264572 A CN 110264572A CN 201910544272 A CN201910544272 A CN 201910544272A CN 110264572 A CN110264572 A CN 110264572A
Authority
CN
China
Prior art keywords
semantic
terrain
mechanical characteristic
fusion
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910544272.0A
Other languages
English (en)
Other versions
CN110264572B (zh
Inventor
丁亮
邓宗全
周如意
高海波
丰文浩
徐鹏
李楠
刘振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910544272.0A priority Critical patent/CN110264572B/zh
Publication of CN110264572A publication Critical patent/CN110264572A/zh
Priority to PCT/CN2019/125875 priority patent/WO2020253171A1/zh
Priority to US16/826,326 priority patent/US11195329B2/en
Application granted granted Critical
Publication of CN110264572B publication Critical patent/CN110264572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种融合几何特性与力学特性的地形建模方法及***，涉及环境建模技术领域，包括获取探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义分割，融合语义分割结果和同一时刻所述深度图像包含的深度信息，生成语义点云；将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息更新至所述对应栅格；根据所述语义信息进行地面力学特性计算，将计算结果更新至所述对应栅格，生成地形模型。本发明在地形因子中加入力学特性参数，创新地从几何特性与力学特性两个维度进行地形表征。本发明利用视觉感知的方式提前推断未接触区域的地面承压特性和剪切特性，扩大了感知范围。

Description

一种融合几何特性与力学特性的地形建模方法及***
技术领域
本发明涉及环境建模技术领域，具体而言，涉及一种融合几何特性与力学特性的地形建模方法及***。
背景技术
随着科技的发展和进步，人类已开始向其他星球展开科学探测研究。但随着星球探测任务要求日益提高、探测环境日趋复杂，单纯的地形几何信息已经难以满足星球车适应环境的需求。例如火星表面崎岖不平，松软沙地遍布，星球车曾多次因地面非几何特性引发沉陷或打滑事故，阻碍了探测活动的顺利进行。可见地面力学特性已成为影响星球车运动状态的重要因素。
地形地图作为地形信息的集中表达，为星球探测多个任务环节提供环境基础。为了规划更安全的可通行路径，设计更适应环境的控制策略，进行更高保真度的运动仿真，以轮-地相互作用模型为基础，以地面力学参数为已知条件的地面力学理论已渗透到越来越多的任务环节。因此，亟需提出包含几何特性和力学特性的地形模型及其构建方法，以保障基于地面力学的方法能够可靠应用。
发明内容
有鉴于此，本发明旨在提供一种融合几何特性与力学特性的地形建模方法及***，解决现有的环境建模方法缺乏对力学特性这一层面信息的考虑问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供一种融合几何特性与力学特性的地形建模方法，其包括：
获取探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成语义点云；
将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息更新至所述对应栅格；
根据所述语义信息进行地面力学特性计算，将计算结果更新至所述对应栅格，生成地形模型。
本发明通过分层的形式，创新地从几何与力学特性两个维度进行地形表征，根据表现地形要素不同将地形模型分为几何特性层和力学特性层。在地形因子中加入地面力学特性参数，便于在仿真中利用轮-地相互作用进行星球车的运动模拟。
示例性地，所述进行地形语义分割包括：
采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
分别统计所述训练集的RGB三通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行数据增强处理，并修正其对应的所述掩码标签；
构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述彩色图像进行所述地形语义分割。
本发明基于深度学习和语义地图构建技术，进行新型数字地形模型的构建，实现高精度的建模。
示例性地，所述语义信息包括经过所述地形语义分割后得到的置信度较高的多种地形类别及其对应概率。
本发明的语义信息便于对地形特征的提取，保证语义分割的准确度。
示例性地，所述融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成语义点云包括：
将所述彩色图像中每个像素的所述语义信息和同一时刻所述深度图像包含的深度信息相结合；
利用星球车所携带相机的位姿信息进行坐标转换，生成所述地图坐标系下的所述语义点云。
本发明结合语义分割图像和深度图像生成带有语义分割结果的点云，能更好的传递地形信息至所建模型。
示例性地，所述利用相机位姿信息进行坐标转换，生成所述地图坐标系下的所述语义点云包括：
将深度相机坐标系下的三维点云映射到同一时刻的彩色相机坐标系下，形成彩色相机坐标系下的彩色三维点云；
将所述彩色三维点云经星球车基底坐标系转换到所述地图坐标系下。
本发明经坐标转换后将语义点云转换至地图坐标系中，可更准确的构建地形模型。
示例性地，所述彩色相机坐标系和所述深度相机坐标系与星球车本体固连，所述星球车基底坐标系随所述星球车位姿变化而变化，其坐标原点在所述地图坐标系的XY平面上的投影与所述地图坐标系的原点重合。
本发明设置多个坐标系进行语义点云转换与映射，实现更准确的模型生成方法。
示例性地，所述将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息赋予所述对应栅格包括：当不同时刻的语义点云对应同一栅格时，所述栅格中所包含的所述高程值和所述语义信息通过数据融合进行更新。
本发明通过不断获取新的语义点云扩展栅格地图大小，通过地图更新以保证准确度。
示例性地，所述高程值通过求取所述多个语义点云包含的高程值的平均值进行更新。
本发明可保证更高精确度的地形重建，以实现高效的地形建模。
示例性地，所述语义信息通过贝叶斯更新规则将所述多个语义点云包含的地形类别及其置信度进行更新。
本发明通过数据融合的方式对栅格属性进行更新，保证地形重建的准确性。
示例性地，所述语义信息通过以下步骤进行更新：若两个语义点云的最大置信度对应类别相同，则更新后的地形类别不变，对应更新后的置信度为两者置信度的平均值；若两个语义点云的最大置信度对应类别不同，则保留置信度较大的地形类别为更新后的地形类别，对应更新后的置信度为对应较大置信度的数倍。
本发明保证概率较高的地形类别识别结果得到保存，可提高建模精度。
示例性地，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
结合所述语义信息进行带有安全系数的力学特性数值估计，将估计结果赋予所述对应栅格，生成所述地形模型。
本发明通过概率方法，估计具有一定安全系数的地面力学特性参数，保证所建模型的可靠性。
示例性地，所述地面力学特性统计数据包括地形类别、等效刚度模量和等效摩擦模量。
本发明仅用等效刚度模量和等效摩擦模量两个参量统一地表征多地形的力学特性，满足不同地形下轮-地相互作用模型的表征需求。
示例性地，所述结合所述语义信息进行带有安全系数的力学特性数值估计包括：
分别计算等效刚度模量Ks的安全系数S(Ks)和等效摩擦模量的安全系数
其中，ci表示所述地形语义分割结果中第i种地形类别所对应的置信度，Fi(Ks)表示所述等效刚度模量的累积分布函数，表示所述等效摩擦模量的累积分布函数。
本发明可提前估计未接触区域的地面承压和剪切特性，扩大了感知范围。
示例性地，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
根据地形类别的对应置信度对不同地形类别的等效刚度模量和等效摩擦模量的值进行加权计算，将计算结果赋予所述对应栅格，生成所述地形模型。
本发明采用不同的方案获取力学特性参数的估算值，保证准确度的同时减小计算量。
示例性地，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
采用拟合得到的均值作为等效刚度模量和等效摩擦模量的估计值，将所述估计值赋予所述对应栅格，生成所述地形模型。
本发明可通过较为简洁的方式获取力学特性参数，保证较小的计算量和模型的简洁性。
示例性地，所述地面力学特性统计数据包括地形类别、Bekker承压特性模型中的内聚力模量、摩擦模量和沉陷指数，以及Janosi剪切特性模型中的内聚力、内摩擦角和剪切弹性模量。
本发明采用多种力学特性参数表征地形的力学特性，提高模型的准确度。
示例性地，所述进行地形语义分割包括：
采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
分别统计所述训练集中彩色图像和深度图像结合后生成的RGBD四通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行增强处理，同时修正其对应的所述掩码标签；
构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述彩色图像进行所述地形语义分割。
本发明借助深度图像区分开视觉上相似、空间位置上显著差异的地形区域，进一步提升地形语义分割效果，从而提高建模精度。
本发明还提供一种融合几何特性与力学特性的地形建模方法，其包括：
向目标区域发射激光并通过接收器接收，得到所述目标区域的带有三维坐标信息的点云数据，获取所述目标区域的彩色图像并通过语义分割，经坐标转化与所述点云相数据结合，生成语义点云；
将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息赋予所述对应栅格；
根据所述语义信息进行地面力学特性估计，将估计结果赋予所述对应栅格，生成地形模型。
本发明通过激光雷达获取三维点云，可更高效的实现地形几何特性的提取。
本发明还提供一种融合几何特性与力学特性的地形建模方法，其包括：
获取探测区域的彩色图像和深度图像，将所述彩色图像与同一时刻的所述深度图像相结合，经坐标转换后生成点云；
将所述点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述点云中的高程值更新至所述对应栅格；
对所述彩色图像进行地面力学特性计算得到地面力学特性估计值，将所述估计值赋予所述对应栅格，生成地形模型。
本发明直接对彩色图像进行端到端的地面力学特性推断，每张图像获得像素级别的地面力学特性估计值，可更高效的获得地面力学特性层，加快建模速度。
第二方面，本发明提供一种融合几何特性与力学特性的地形建模***，其包括：
语义点云生成模块，用于获取探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成语义点云；
几何特性获取模块，用于将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值赋予所述对应栅格；
力学特性获取模块，用于将所述语义点云中的语义信息赋予所述对应栅格，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格；
地形模型生成模块，用于结合几何特性获取模块和所述力学特性获取模块的结果生成地形模型。
本发明将地面力学特性作为地形因子的一部分，从地面几何特性和力学特性两个层面表征地形。基于生成的该地形模型对星球车进行路径规划或运动控制，将使星球车具有更好的地形适应能力，有利于充分发挥其移动性能，减少由地面非几何特性引起的车辆沉陷事故。
第三方面，本发明提供一种计算机可读存储介质，其包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的融合几何特性与力学特性的地形建模方法。
附图说明
图1所示为本发明实施例构建的地形模型的原理示意图；
图2所示为本发明实施例融合几何特性与力学特性的地形建模方法的原理图；
图3所示为本发明实施例融合几何特性与力学特性的地形建模方法的流程示意图；
图4所示为本发明实施例生成语义分割模型的流程示意图；
图5所示为本发明实施例地图构建相关坐标系的示意图；
图6所示为本发明实施例坐标映射及坐标系之间的转换关系示意图；
图7所示为本发明实施例语义点云的数据结构示意图；
图8所示为本发明实施例根据地面力学特性统计数据拟合分布函数的示意图；
图9所示为本发明另一实施例语义融合方法的流程示意图；
图10所示为本发明实施例融合力学特性和几何特性的地形建模***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
在地形感知方面，现有的星球环境模型通常以数字地形高程图(DigitalElevation Model，DEM)形式呈现，主要反映地形几何特征。应用时可通过地形统计分析的方式提取坡度、粗糙度、起伏度等基本地形因子，对多种障碍信息进行融合来构建地形可通行性代价函数，以反映地形可通行性状况。但在实际星球环境下，星球车可能在表面平坦的松软沙地中发生打滑沉陷，却又可能在表面凸起的坚硬石堆中安全爬坡通过。由此可见，仅包含地形几何特性的地形模型无法全面反映地形的松软崎岖特性，已经难以满足星球车对环境感知的信息需求，无法更好地发挥星球车的移动性能。因此，现有的地图模型及地形非几何特性感知方法对于星球车来说在适应性和准确性方面都没有达到令人满意的程度。
实施例1：
图1所示为本发明实施例构建的地形模型的原理示意图，该模型为分层结构，由地形几何特性层和力学特性层组成。其中，几何特性层用来表现地形表面的几何属性，由地表三维坐标表示；力学特性层用来表现地形表面的力学属性，包括刚度特性层和摩擦特性层，分别由地面的等效刚度模量Ks和等效摩擦模量来表征地表基质在法向上的承压特性和切向上的剪切特性。因此，本发明实施例构建的地形模型融合了地形几何特性和力学特性，其可表达为地表高程z、等效刚度模量Ks和等效摩擦模量关于平面坐标x，y两个自变量的连续函数。其中，高程为地理空间中的第三维坐标，等效刚度模量Ks以及等效摩擦模量分别为该空间坐标点在法向和切向上的力学属性。
在本发明实施例中，其对应的地形模型为连续模型离散化后的表现形式，表示为某一地形区域D上包含五个地形因子的有限序列：
其中，(xi,yi)∈D表示平面坐标，zi、Ksi、分别表示(xi,yi)对应的高程值、等效刚度模量值和等效摩擦模量值。特别地，当该序列中各向量的平面点位呈规则栅格排列时，其平面坐标(xi,yi)可省略，此时地形模型就简化为三元素向量序列：
从广义上讲，地形模型由地表规则栅格单元构成的多通道张量进行表征。其中，记规则栅格中第i行、第j列的单元为Ci,j，每个单元格均包含多个地形因子，即地表基质在几何特性和力学特性方面的基本参数。因此，每个单元中地形因子可表示为Ci,j＝(Gi,j,Mi,j)，其中，Gi,j是由高程值z表示的几何因子，Mi,j表示与第i行、第j列的单元相关联的力学因子。单元格中的因子数与多通道张量的通道数相同。地形模型还包括三角网等其他数字表示形式，栅格中任意一点的几何或力学特性值可通过插值等方法进行计算。地形模型中的地形几何因子和力学因子是表征地形几何特性和力学特性的基本参量，在其几何特性和力学特性表征方面具有主导作用，其他地形要素可由这些参量直接或间接导出。例如几何要素可派生出坡度、坡向等信息，力学要素可派生出车轮沉陷量、车轮滑转率等信息。
图2所示为本发明实施例融合几何特性与力学特性的地形建模方法的原理图。图3所示为本发明实施例融合几何特性与力学特性的地形建模方法的流程示意图，包括步骤S1～S3。下面结合图2和图3对本发明的一个具体实施例1进行描述。
在步骤S1中，通过导航相机获取场景彩色图像数据和深度图像数据，对同一时刻的彩色图像数据和深度图像数据进行如下处理：对探测区域的彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和深度图像包含的深度信息，将二维图像(即彩色图像)中每个像素的语义信息映射到三维坐标系中，生成语义点云。在本发明实施例中，通过RGB-D相机获取彩色图像数据流和深度图像数据流。
对彩色图像进行地形语义分割借鉴了计算机视觉领域最新的语义分割研究成果，以力学特性差异显著的多种地形为分割对象，基于机器学习算法训练分类器，对导航相机采集的周围环境彩色图像进行地形分类。即通过加载学习训练得到的语义分割模型，输入采集到的原始彩色图像，输出像素级别的地形分类结果，即每个像素的预测结果表示为该像素隶属于不同类别地形的概率，其概率之和为1。
所述语义分割模型基于卷积神经网络(CNN)针对特定分割对象生成。其中，输入彩色图像中的每个像素通过训练后的语义分割模型得到类别标签，在本发明实施例中，地形环境中的材料类别分为沙子、岩石、砾石、基岩和未知地形。在本发明其他实施例中，地形环境中的材料类别可设置为其他不同类别，并不以此为限。图4所示为本发明实施例生成语义分割模型的流程示意图，包括训练数据准备步骤、图像预处理步骤以及模型参数训练步骤，具体如下步骤a～步骤c：
步骤a：在模拟地形上，利用星球车视觉***采集地形图像作为数据源。利用软件对所采集图像中的目标地形进行标注并生成对应掩码标签，目标地形包含沙子、岩石、砾石和基岩四种基本类型，其余难辨别地形均标记为未知地形。将标注后的图像以4:1的比例随机分成训练集和验证集。
步骤b：分别统计训练集的RGB三通道的均值和方差，对每张输入图像进行数据归一化处理，并通过随机裁剪、随机翻转、随机旋转、随机缩放、颜色跳动以及噪声扰动、模糊增强等多种数据增强方法对训练集中的原始彩色图像进行增强处理，同时修正其对应的掩码标签，以扩增数据集大小。
其中，修正对应的掩码标签具体是指，若对原始彩色图像进行随机裁剪增强处理，则其对应的掩码标签也应进行相同大小的裁剪修正；若对原始彩色图像进行随机翻转增强处理，则其对应的掩码标签也应进行相同的翻转修正；若对原始彩色图像进行随机旋转增强处理，则其对应的掩码标签也应进行相同的旋转修正；若对原始彩色图像进行随机缩放增强处理，则其对应掩码标签也应以相同的缩放比例进行缩放修正；若对原始彩色图像进行颜色跳动数据增强处理，则其对应掩码标签不变；若对原始彩色图像进行噪声扰动、模糊增强处理，则其对应掩码标签不变。多种数据增强处理方式随机选择并且可在原始彩色图像上叠加进行，则其对应掩码标签也依次叠加对应修正方法进行处理。
步骤c：构建卷积神经网络，进行语义分割模型训练。加载Pascal VOC预训练模型的权值，以此初始化相同的特征层，不同特征层则采用零值进行权值初始化。通过随机梯度下降法对网络在自建训练集上进行网络参数的微调。将模型训练至收敛，并通过不断调整训练参数选择精度最高的模型作为语义分割模型用于地形分割应用。
将彩色图像的地形语义分割结果与同一时刻的深度图像相结合，由深度图像获取相对于平面图像各像素点的三维坐标，即点云。地形语义分割结果根据x，y坐标与点云一一对应，由此得到视野范围内各像素点相对于相机坐标系的带有语义信息的点云。再利用相机位姿信息进行坐标转换，生成地图坐标系下的语义点云。
在本发明实施例中，建立如附图5所示的地图构建相关坐标系。其中，彩色相机坐标系ΣC和深度相机坐标系ΣD与星球车本体固连，星球车基底坐标系ΣB随星球车位姿变化而变化，但其坐标原点在地图坐标系ΣM的XY平面上的投影与地图坐标系ΣM的原点重合。记深度相机坐标系ΣD到彩色相机坐标系ΣC之间的转换矩阵为彩色相机坐标系ΣC到星球车基底坐标系ΣB的转换矩阵为星球车基底坐标系ΣB到地图坐标系ΣM的转换矩阵为彩色图像数据流中每帧图像上的每个像素可解析为彩色图像坐标平面上的(xc,yc,R,G,B)数据队列，深度图像数据流中每帧图像的每个像素可解析为深度图像坐标平面上的(xd,yd,zd)数据队列。
整个坐标映射过程及各坐标系之间的转换关系如附图6所示。首先，以(xc,yc)为线索将深度相机坐标系ΣD下的坐标映射到彩色相机坐标系ΣC下，形成彩色相机坐标系下的(xc,yc,zc,R,G,B)数据形式的彩色三维点云。然后，将彩色三维点云借助星球车基底坐标系ΣB转换到地图坐标系ΣM下。其中，深度相机坐标系ΣD到彩色相机坐标系ΣC的坐标转换为：
彩色相机坐标系ΣC到地图坐标系ΣM的转换矩阵为：
其中，以及三者均为空间坐标系之间的齐次转换矩阵，其可遵从统一的表达形式：
其中，R为3×3旋转矩阵，表示两个空间坐标系之间的旋转变换，P为3×1平移矢量，表示两个空间坐标系之间的平移变换。
若记：
则地图坐标系下ΣM的三维坐标(xm,ym,zm)通过以下方式进行转换：
则与(xc,yc,zc)坐标点关联的彩色信息跟随坐标转换对应到地图坐标系ΣM下的(xm,ym,zm)坐标点上，组成地图坐标系ΣM下的(xm,ym,zm,R,G,B)特征向量。
在本发明实施例中，语义点云包含几何信息和语义信息，其数据结构如图7(a)所示，包括几何信息即三维坐标(XYZ)、与文中所述(R,G,B)特征向量相对应的RGB三通道的彩色信息(RGB)、语义信息即所属地形类别(label1～label3)及其对应置信度(confidence1～confidence3)。其中，语义信息保存为概率最大的前若干种地形类别及其对应概率，在实施例1中可取5种地形类别中概率最高的前3种。
在本发明实施例中，地形类别示意性的仅划分为5类。但是当场景变得更加复杂，例如需要辨别泥质地表、土壤地表等多种地形类型，或者出现更细化的地形分割要求，例如需要区分不同粒度的沙子(粗砂和细沙)、不同形状的岩石(尖头岩石和圆头岩石)、不同大小的岩石(大型岩石和中小型岩石)、不同材质的砾石(玄武岩材质的砾石和花岗岩材质的砾石)等，则地形类别会相应增多。当地形类别增加到一定数量(例如20种)，若将所有的地形类别及其对应置信度均保存在语义点云中，则数据量将过于庞大而给处理过程带来困难。同时，仅置信度最大的前若干种地形类别及其对应置信度具有保存意义，其余地形对应置信度一般情况下趋近于零，逐一保存意义不大。此时仅在语义点云中保存置信度最大的前若干种地形类别及其对应置信度，将有效降低数据存储量，提高运算效率。
在步骤S2中，将语义点云映射至地图坐标系下的栅格地图中，生成对应栅格。并将语义点云中的高程值赋予对应栅格，形成地形模型的几何特性层。不同时刻的语义点云对应视野不同，通过坐标映射生成新的栅格，从而扩展所构建栅格地图的范围。其中，栅格即为地图坐标系下XY坐标经离散化后形成的规则网络。
当多个语义点云对应同一栅格时，栅格中所包含的高程值和语义信息需要通过数据融合进行更新。在本发明实施例中，多个语义点云包含的高程值通过求取均值进行融合，多个语义点云包含的语义类别及其概率通过贝叶斯更新规则进行融合。将融合结果进行归一化处理，取概率最大的若干种地形类别及其对应概率作为融合后的结果，作为属性赋予对应栅格。其中，语义信息的融合结果为若干种地形类别及其对应置信度，其置信度之和为1，根据置信度大小对其所对应的地形类别进行排序，取置信度最大的若干种地形类别及其置信度作为融合后的结果，保存为对应的栅格属性。
因为栅格由语义点云通过映射得到，其记录的语义信息数据类型应与语义点云相同，即若语义点云的语义信息中仅存储置信度最大的若干种地形类别及其对应置信度，则栅格地图中的每个栅格也根据置信度大小存储相同数量的地形类别及其对应置信度。
在步骤S3中，根据语义信息进行地面力学特性估计，并生成融合地形几何特性和力学特性的地形模型。具体为：根据地面力学特性统计数据拟合其分布函数，结合地形语义信息进行带有保守系数的力学特性数值估计，将结果赋予相应栅格，形成地形模型的力学特性层。结合步骤2中形成的地形模型的几何特性层，则构成如图1所示的融合地形几何特性和力学特性的地形模型。其中，力学特性数值包括等效刚度特性值和等效摩擦特性值。
下表所示为本发明实施例的力学特性统计数据表：
其中，每一条样本数据包含三个特征属性：地形类别Ti、等效刚度模量Ksi以及等效摩擦模量其中地形类别在本发明实施例中具体为沙地、砾石、岩石、基岩和其他地形类别。图8是拟合不同地形类别对应的等效刚度模量和等效摩擦模量分布函数的示意图，为对上述数据表进行进一步处理的效果呈现。具体处理为先对不同地形类别数据进行归类，然后对各地形类别的力学特性数据进行回归拟合，得出不同地形类别的力学特性分布函数。在本发明实施例中，以高斯函数拟合同一地形的等效刚度模量Ksi以及等效摩擦模量的数值分布，拟合函数随着统计数据的变化而更新。
其中，获取等效刚度模量Ksi以及等效摩擦模量的具体方法是：根据星球车行驶过程中利用在车轮上的力传感器上采集得到的车轮所受力和力矩的数据，借助轮-地相互作用模型，通过迭代拟合的方式对轮-地相互作用模型中的等效刚度模量Ksi以及等效摩擦模量两个参数进行辨识。随着在位测量的不断进行，新的辨识结果作为样本添加进数据库中。
对于每个像素，语义分割后得到像素点属于第i类地形Ti的置信度(即概率)ci。在实际应用中，地形表面越松软，则星球车在其上移动就越容易发生沉陷的危险。因此，基于实际地形种类的刚度值其对应的预测刚度值越小，说明预测的结果也越保守，则基于该结果对星球车进行路径规划或运动控制就越安全。具体来说，假设每种地形的等效刚度模量Ks的数值特征表现为某种概率分布fi(Ks)，如果第i类地形Ti的等效刚度模量预测值为Ks，则可由等效刚度模量对应的累积分布函数Fi(Ks)来表示推断的安全性，由安全系数S(Ks)表示。对于地形分类结果T，可以推断其等效刚度模量Ks的安全系数S(Ks)表示如下：
其中，ci表示地形语义分割结果中第i种地形类别所对应的概率值。因此，当给定一个安全系数S，不难找到一个等效刚度模量Ks与其对应。
在本发明一实施例中，假设某种地形的等效刚度模量呈现高斯分布则该地表的松软程度可推断为Ks，其对应的安全系数S(Ks)表示如下：
其中，Φi(Ks)是高斯误差函数，均值μi和方差σi 2可利用对星球车车轮走过的地形表面进行多次采样从而求取其参数。
同理，也可以使用相同的方法推断每个像素对应的等效摩擦模量。通过第i类地形Ti的等效摩擦模量的累积分布函数类似地，根据下式计算给定安全系数：
因此，可以找到一个对应的等效摩擦模量作为特性值，表示安全系数为S的等效摩擦模量大小。
在实施例1中通过设定安全系数S可衡量预测结果的安全性，可进行具有更高安全系数的地面力学特性参数估计。根据给定的安全系数S得到每个栅格对应的等效刚度模量和等效摩擦模量参数估计，即可得到对应栅格的力学特性参数，完成所有栅格的地面力学特性参数估计即形成力学特性层。再与步骤2得到的几何特性层相结合就可生成如图1所示的融合地形几何特性和力学特性的地形模型。
在本发明其他实施例中，通过步骤3拟合得到刚度模量和摩擦模量的函数，可直接采用拟合得到的均值作为等效刚度模量和等效摩擦模量的估计值。当取安全系数为0.5时，对应的参数估计值即为分布函数的均值，由此可直接采用拟合函数的均值作为对应参数的估计值。基于每个栅格融合后的语义信息进行概率最大的等效刚度模量和等效摩擦模量参数估计，即可得到对应栅格的力学特性参数，完成所有栅格的地面力学特性参数估计即形成力学特性层。再与步骤2得到的几何特性层相结合就可生成如图1所示的融合地形几何特性和力学特性的地形模型。
本发明实施例通过分层的形式，创新地从几何与力学特性两个维度进行地形表征，根据表现地形要素不同将地形分为地形几何特性层和力学特性层。在地形因子中加入地面力学特性参数，便于在仿真中利用轮-地相互作用进行星球车运动模拟。本发明还分别采用等效刚度模量Ks和等效摩擦模量来表征地面的在法向上的承压特性和切向上的剪切特性。仅用两个参量统一地表征多地形的力学特性，满足不同地形下轮-地相互作用模型的表征需求。
现有的地形特性感知通常采用本体传感器测量星球车车轮受力/力矩或机体加速度的情况来判断正在通过的地形的坡度、颠簸度等特性。但这种基于本体信号的感测方式仅在通过地形表面时才可获取信号，难以提前对地形情况进行预判。本发明实施例用视觉感知的方式进行地面力学特性的预测，通过创建地形类别及其对应地形属性表建立起视觉特征与触觉特征之间的桥梁，提前推断未接触区域的地面承压和剪切特性，扩大了感知范围；通过概率方法，预测具有一定安全系数的地面等效刚度模量和等效摩擦模量值，使得原本需要通过本体传感器对地面力学特性进行直接测量的过程，可以通过外部视觉传感器进行间接的特性预测，降低了直接接触未知地面对星球车带来的潜在危险，同时拓宽了感测范围。
以下给出本发明其他实施例，以便更好的描述本发明。
实施例2：
本实施例与实施例1相似，不同点是地形力学因子由Bekker承压特性模型中的kc、n和Janosi剪切特性模型中的c，K表示。其中，kc、n分别表示为内聚力模量、摩擦模量和沉陷指数；c，K分别表示内聚力、内摩擦角和剪切弹性模量。则地形模型表示为某一地形区域D上包含九个地形因子的有限序列：
类似的，相应的力学特性层也相应增加为六层，几何特性层层数不变。
实施例3：
本实施例与实施例1相似，不同点是采用双目相机获取深度图像。通过两个位置已经标定好的2D相机对同一环境进行拍摄获取图像数据流，根据同一时刻两个相机分别获得的图像帧，针对其内容进行像素点立体匹配，对周围环境进行深度计算，以获取深度图像。
实施例4：
本实施例与实施例1相似，不同点是采用基于结构光的相机获取深度图像。投影设备将结构光主动投射到被测物体上，摄像机拍摄在被测物体上形成的三维光图像，采集相位信息，经过运算单元处理后获得被测物体表面数据，获取深度图像。
实施例5：
本实施例与实施例1相似，不同点是语义点云通过激光雷达和彩色相机获取，激光雷达通过向目标区域发射激光并通过接收器接收，得到目标区域距离数据，通过处理可获取带有三维坐标信息的点云，彩色图像通过语义分割，借助坐标转化与点云相结合，生成带有语义信息的点云。
实施例6：
本实施例与实施例1相似，不同点是语义分割过程以RGBD四通道信息为输入。结合彩色图像和深度图像共同训练卷积神经网络，借助深度图像区分开视觉上相似、空间位置上显著差异的地形区域，进一步提升地形语义分割效果。
实施例7：
本实施例与实施例1相似，不同点是语义点云的数据结构及其对应的语义融合方法。其中，语义点云数据结构如附图7(b)所示，语义信息仅保存概率最大的一种地形类别及其置信度。对应的语义融合方法的流程示意图如图9所示，包括：若两个点云预测的最大概率对应类别相同，则融合后的地形类别不变，对应融合后的概率值为两者概率值的平均值；若两个点云预测的最大概率对应类别不同，则比较其对应概率值，保留概率值大的地形类别为融合类别，融合概率更新为对应概率的α倍。
实施例8：
本实施例与实施例1相似，不同点是在步骤S3的力学特性推断过程中，地面等效刚度模量和等效摩擦模量估计结果直接根据地形类别置信度对不同地形类别的等效刚度模量和等效摩擦模量特征值进行加权计算获得。具体地，等效刚度模量和等效摩擦模量预测值计算如下：
其中，ci代表地形语义分割结果中第i种地形类别所对应的概率值，分别代表第i种地形类别所对应的等效刚度模量、等效摩擦模量。
实施例9：
本实施例与实施例1相似，不同点是由相机采集的彩色图像不经过地形语义分割环节，直接对彩色图像进行端到端的地面力学特性估计，每张图像获得像素级别的地面力学特性估计值。其几何特性层还是通过映射不带有语义信息的点云的几何信息获得，进而生成融合地形几何特征和力学特征的地形模型。
图10所示为本发明实施例融合力学特性和几何特性的地形建模***的示意性框图，包括语义点云生成模块、几何特性获取模块、力学特性获取模块以及星球模型生成模块，其中，语义点云生成模块用于获取探测区域的彩色图像和深度图像，对彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和同一时刻深度图像包含的深度信息，生成语义点云；几何特性获取模块用于将语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将语义点云中的高程值赋予对应栅格；力学特性获取模块用于将所述语义点云中的语义信息赋予所述对应栅格，根据语义信息进行地面力学特性估计，将估计结果赋予对应栅格；星球模型生成模块用于结合几何特性获取模块和力学特性获取模块的结果生成地形模型。
本发明实施例将地面力学特性作为地形因子的一部分，从地面几何特性和力学特性两个层面表征地形。基于生成的该地形模型对星球车进行路径规划或运动控制，将使星球车具有更好的地形适应能力，有利于充分发挥其移动性能，减少由地面非几何特性引起的车辆沉陷事故。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所存储的计算机程序被处理器读取并运行时，可实现如上所述的融合几何特性与力学特性的地形建模方法。
尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (21)

1.一种融合几何特性与力学特性的地形建模方法，其特征在于，包括以下步骤：
获取探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成语义点云；
将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息更新至所述对应栅格；
根据所述语义信息进行地面力学特性计算，将计算结果更新至所述对应栅格，生成地形模型。
2.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述进行地形语义分割包括：
采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
分别统计所述训练集的RGB三通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行数据增强处理，并修正其对应的所述掩码标签；
构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述彩色图像进行所述地形语义分割。
3.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述语义信息包括经过所述地形语义分割后得到的置信度较高的多种地形类别及其对应概率。
4.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成语义点云包括：
将所述彩色图像中每个像素的所述语义信息和同一时刻所述深度图像包含的深度信息相结合；
利用星球车所携带相机的位姿信息进行坐标转换，生成所述地图坐标系下的所述语义点云。
5.根据权利要求4所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述利用相机位姿信息进行坐标转换，生成所述地图坐标系下的所述语义点云包括：
将深度相机坐标系下的三维点云映射到同一时刻彩色相机坐标系下，形成彩色相机坐标系下的彩色三维点云；
将所述彩色三维点云经星球车基底坐标系转换到所述地图坐标系下。
6.根据权利要求5所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述彩色相机坐标系和所述深度相机坐标系与星球车本体固连，所述星球车基底坐标系随所述星球车位姿变化而变化，其坐标原点在所述地图坐标系的XY平面上的投影与所述地图坐标系的原点重合。
7.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息赋予所述对应栅格包括：当不同时刻的语义点云对应同一栅格时，所述栅格中所包含的所述高程值和所述语义信息通过数据融合进行更新。
8.根据权利要求7所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述高程值通过求取所述多个语义点云包含的高程值的平均值进行更新。
9.根据权利要求7所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述语义信息通过数据融合进行更新包括：通过贝叶斯更新规则将所述多个语义点云包含的地形类别及其概率进行更新。
10.根据权利要求7所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述语义信息通过数据融合进行更新包括：若两个语义点云的最大概率对应类别相同，则更新后的地形类别不变，对应更新后的概率值为两者概率值的平均值；若两个语义点云的最大概率对应类别不同，则保留概率值大的地形类别为更新后的地形类别，对应更新后的概率为对应较大概率值的α倍。
11.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
结合所述语义信息进行带有安全系数的力学特性数值估计，将估计结果赋予所述对应栅格，生成所述地形模型。
12.根据权利要求11所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述地面力学特性统计数据包括地形类别、等效刚度模量和等效摩擦模量。
13.根据权利要求11所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述结合所述语义信息进行带有安全系数的力学特性数值计算包括：
分别计算等效刚度模量Ks的安全系数S(Ks)和等效摩擦模量的安全系数
其中，ci表示所述地形语义分割结果中第i种地形类别所对应的置信度，Fi(Ks)表示所述等效刚度模量的累积分布函数，表示所述等效摩擦模量的累积分布函数。
14.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
根据地形类别的对应概率对不同地形类别的等效刚度模量和等效摩擦模量的值进行加权计算，将计算结果赋予所述对应栅格，生成所述地形模型。
15.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
采用拟合得到的均值作为等效刚度模量和等效摩擦模量的估计值，将所述估计值赋予所述对应栅格，生成所述地形模型。
16.根据权利要求11所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述地面力学特性统计数据包括地形类别、Bekker承压特性模型中的内聚力模量、摩擦模量和沉陷指数，以及Janosi剪切特性模型中的内聚力、内摩擦角和剪切弹性模量。
17.根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其特征在于，所述进行地形语义分割包括：
采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
分别统计所述训练集中彩色图像和深度图像结合后生成的RGBD四通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行增强处理，同时修正其对应的所述掩码标签；
构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述彩色图像进行所述地形语义分割。
18.一种融合几何特性与力学特性的地形建模方法，其特征在于，包括以下步骤：
向目标区域发射激光并通过接收器接收，得到所述目标区域的带有三维坐标信息的点云数据，获取所述目标区域的彩色图像并通过语义分割，经坐标转化与所述点云数据相结合，生成语义点云；
将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息赋予所述对应栅格；
根据所述语义信息进行地面力学特性估计，将估计结果赋予所述对应栅格，生成地形模型。
19.一种融合几何特性与力学特性的地形建模方法，其特征在于，包括以下步骤：
获取探测区域的彩色图像和深度图像，将所述彩色图像与同一时刻的所述深度图像相结合，经坐标转换后生成点云；
将所述点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述点云中的高程值更新至所述对应栅格；
对所述彩色图像进行地面力学特性计算得到地面力学特性估计值，将所述估计值赋予所述对应栅格，生成地形模型。
20.一种融合几何特性与力学特性的地形建模***，其特征在于，包括：
语义点云生成模块，用于获取探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成语义点云；
几何特性获取模块，用于将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值赋予所述对应栅格；
力学特性获取模块，用于将所述语义点云中的语义信息赋予所述对应栅格，根据所述语义信息进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格；
地形模型生成模块，用于结合几何特性获取模块和所述力学特性获取模块的结果生成地形模型。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-17中任一项所述的融合几何特性与力学特性的地形建模方法。
CN201910544272.0A 2019-06-21 2019-06-21 一种融合几何特性与力学特性的地形建模方法及*** Active CN110264572B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910544272.0A CN110264572B (zh) 2019-06-21 2019-06-21 一种融合几何特性与力学特性的地形建模方法及***
PCT/CN2019/125875 WO2020253171A1 (zh) 2019-06-21 2019-12-17 一种融合几何特性与力学特性的地形建模方法及***
US16/826,326 US11195329B2 (en) 2019-06-21 2020-03-23 Terrain modeling method that fuses geometric characteristics and mechanical characteristics and computer readable storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910544272.0A CN110264572B (zh) 2019-06-21 2019-06-21 一种融合几何特性与力学特性的地形建模方法及***

Publications (2)

Publication Number Publication Date
CN110264572A true CN110264572A (zh) 2019-09-20
CN110264572B CN110264572B (zh) 2021-07-30

Family

ID=67920462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910544272.0A Active CN110264572B (zh) 2019-06-21 2019-06-21 一种融合几何特性与力学特性的地形建模方法及***

Country Status (3)

Country Link
US (1) US11195329B2 (zh)
CN (1) CN110264572B (zh)
WO (1) WO2020253171A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766793A (zh) * 2019-10-08 2020-02-07 北京地平线机器人技术研发有限公司 一种基于语义点云的地图构建方法及装置
CN110930064A (zh) * 2019-12-09 2020-03-27 山东大学 一种火星尘暴时空概率提取和着陆安全性评价的方法
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111043953A (zh) * 2019-10-17 2020-04-21 杭州电子科技大学 一种基于深度学习语义分割网络的二维相位解包裹方法
CN111426330A (zh) * 2020-03-24 2020-07-17 江苏徐工工程机械研究院有限公司 路径生成方法和设备、无人化运输***和存储介质
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及***
CN111462091A (zh) * 2020-04-02 2020-07-28 哈尔滨工业大学 一种探测设备的车轮检测方法及检测装置
CN112036275A (zh) * 2020-08-19 2020-12-04 华东师范大学 一种基于渐进式功能增强网络的物理模型材料识别方法
CN112034863A (zh) * 2020-09-21 2020-12-04 北京洛必德科技有限公司 地面性质信息的检测方法及装置、计算机设备
CN112037268A (zh) * 2020-09-02 2020-12-04 中国科学技术大学 一种动态场景下的基于概率传递模型的环境感知方法
WO2020253171A1 (zh) * 2019-06-21 2020-12-24 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及***
CN112124312A (zh) * 2020-09-23 2020-12-25 合肥工业大学 一种履带式拖拉机控制方法及控制***
CN112396039A (zh) * 2021-01-12 2021-02-23 之江实验室 一种基于邻域关系的火星栅格地形地图生成方法
CN112529953A (zh) * 2020-12-17 2021-03-19 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN112819833A (zh) * 2021-02-05 2021-05-18 四川大学 一种大场景点云语义分割方法
CN112966775A (zh) * 2021-03-24 2021-06-15 广州大学 建筑构件的三维点云分类方法、***、装置及存储介质
CN113298781A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN113436559A (zh) * 2021-05-19 2021-09-24 吉林大学 一种沙盘动态景观实时显示***及显示方法
WO2022067534A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 占据栅格地图的生成方法和装置
CN114742310A (zh) * 2022-04-22 2022-07-12 山东省人工智能研究院 基于轮地相互作用的地形可通过性地图构建方法
CN114970186A (zh) * 2022-06-08 2022-08-30 哈尔滨理工大学 一种复杂地形中探测器高保真动力学仿真***构建方法
CN117863190A (zh) * 2024-03-08 2024-04-12 广州小鹏汽车科技有限公司 足式机器人的移动控制方法及足式机器人

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112930554A (zh) * 2018-09-12 2021-06-08 丰田自动车欧洲公司 用于确定车辆环境的语义网格的电子设备、***和方法
CN110458895B (zh) * 2019-07-31 2020-12-25 腾讯科技（深圳）有限公司 图像坐标系的转换方法、装置、设备及存储介质
US11508042B1 (en) * 2020-01-29 2022-11-22 State Farm Mutual Automobile Insurance Company Imputation of 3D data using generative adversarial networks
FR3107359B1 (fr) * 2020-02-18 2022-02-25 Thales Sa Procede et dispositif de determination d'obstacles d'altitude
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN112861911B (zh) * 2021-01-10 2024-05-28 西北工业大学 一种基于深度特征选择融合的rgb-d语义分割方法
CN113128405B (zh) * 2021-04-20 2022-11-22 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法
CN113240678B (zh) * 2021-05-10 2023-05-30 青岛小鸟看看科技有限公司 平面信息检测方法及***
US11741621B2 (en) * 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information
CN113192196B (zh) * 2021-05-19 2022-06-14 北京理工大学 一种复杂行星表面模拟生成方法
CN113256712B (zh) * 2021-06-01 2023-04-18 北京有竹居网络技术有限公司 定位方法、装置、电子设备和存储介质
CN113379898B (zh) * 2021-06-17 2022-11-11 西安理工大学 一种基于语义分割的三维室内场景重建方法
CN113592891B (zh) * 2021-07-30 2024-03-22 华东理工大学 无人车可通行域分析方法及导航栅格地图制作方法
CN113537406B (zh) * 2021-08-30 2023-04-07 重庆紫光华山智安科技有限公司 一种图像自动数据增强方法、***、介质及终端
CN114120129B (zh) * 2021-11-30 2024-05-17 哈尔滨工业大学 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN114332228A (zh) * 2021-12-30 2022-04-12 高德软件有限公司 数据处理方法、电子设备及计算机存储介质
CN116679315A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 作业地形检测方法、装置及用于检测作业地形的工程设备
CN114812540B (zh) * 2022-06-23 2022-11-29 深圳市普渡科技有限公司 一种建图方法、装置和计算机设备
CN115661286A (zh) * 2022-10-27 2023-01-31 北京星天科技有限公司 矢量化海图绘制方法、装置及电子设备
CN115435793B (zh) * 2022-11-08 2023-02-17 西北工业大学 机器人路径规划方法及装置、存储介质、电子设备
CN115862014B (zh) * 2023-02-27 2023-04-28 中国地质大学（武汉） 矿区语义分割模型构建方法、装置及矿区语义分割方法
CN116258970B (zh) * 2023-05-15 2023-08-08 中山大学 一种融合遥感图像与点云数据的地理要素识别方法
CN117132727B (zh) * 2023-10-23 2024-02-06 光轮智能(北京)科技有限公司 一种地图数据获取方法、计算机可读存储介质及电子设备
CN118097362B (zh) * 2024-04-26 2024-07-05 西北工业大学 一种基于语义感知学习的多模态图像融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN109559320A (zh) * 2018-09-18 2019-04-02 华东理工大学 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
WO2014171988A2 (en) * 2013-01-29 2014-10-23 Andrew Robert Korb Methods for analyzing and compressing multiple images
CN103489218B (zh) * 2013-09-17 2016-06-29 中国科学院深圳先进技术研究院 点云数据质量自动优化方法及***
CN107403459A (zh) * 2016-05-20 2017-11-28 北京师范大学 真实地形快速建模方法和滑坡可视化技术
CN108257212A (zh) * 2016-12-29 2018-07-06 香港科技大学深圳研究院 一种用于三维城市模型的细节层次转换方法和***
CN107092020B (zh) * 2017-04-19 2019-09-13 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
US10796403B2 (en) * 2017-09-14 2020-10-06 The Regents Of The University Of Colorado, A Body Corporate Thermal-depth fusion imaging
CN110264572B (zh) * 2019-06-21 2021-07-30 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN109559320A (zh) * 2018-09-18 2019-04-02 华东理工大学 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTOPHER A. BROOKS: "Learning to Visually Predict Terrain Properties for Planetary Rovers", 《HTTP://DSPACE.MIT.EDU/HANDLE/1721.1/49557》 *
YANG GAO 等: "A survey on recent object detection techniques useful for monocular vision-based planetary terrain classification", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *
丁亮: "月/星球车轮地作用地面力学模型及其应用研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253171A1 (zh) * 2019-06-21 2020-12-24 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及***
CN110766793A (zh) * 2019-10-08 2020-02-07 北京地平线机器人技术研发有限公司 一种基于语义点云的地图构建方法及装置
CN110766793B (zh) * 2019-10-08 2023-06-30 北京地平线机器人技术研发有限公司 一种基于语义点云的地图构建方法及装置
CN111043953A (zh) * 2019-10-17 2020-04-21 杭州电子科技大学 一种基于深度学习语义分割网络的二维相位解包裹方法
CN111043953B (zh) * 2019-10-17 2021-07-27 杭州电子科技大学 一种基于深度学习语义分割网络的二维相位解包裹方法
CN110930064A (zh) * 2019-12-09 2020-03-27 山东大学 一种火星尘暴时空概率提取和着陆安全性评价的方法
CN110930064B (zh) * 2019-12-09 2023-04-25 山东大学 一种火星尘暴时空概率提取和着陆安全性评价的方法
CN110956651B (zh) * 2019-12-16 2021-02-19 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111426330A (zh) * 2020-03-24 2020-07-17 江苏徐工工程机械研究院有限公司 路径生成方法和设备、无人化运输***和存储介质
CN111462091A (zh) * 2020-04-02 2020-07-28 哈尔滨工业大学 一种探测设备的车轮检测方法及检测装置
CN111462091B (zh) * 2020-04-02 2023-06-06 哈尔滨工业大学 一种探测设备的车轮检测方法及检测装置
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及***
CN112036275A (zh) * 2020-08-19 2020-12-04 华东师范大学 一种基于渐进式功能增强网络的物理模型材料识别方法
CN112036275B (zh) * 2020-08-19 2023-02-03 华东师范大学 一种基于渐进式功能增强网络的物理模型材料识别方法
CN112037268A (zh) * 2020-09-02 2020-12-04 中国科学技术大学 一种动态场景下的基于概率传递模型的环境感知方法
CN112037268B (zh) * 2020-09-02 2022-09-02 中国科学技术大学 一种动态场景下的基于概率传递模型的环境感知方法
CN112034863A (zh) * 2020-09-21 2020-12-04 北京洛必德科技有限公司 地面性质信息的检测方法及装置、计算机设备
CN112124312A (zh) * 2020-09-23 2020-12-25 合肥工业大学 一种履带式拖拉机控制方法及控制***
CN112124312B (zh) * 2020-09-23 2022-02-15 合肥工业大学 一种履带式拖拉机控制方法及控制***
WO2022067534A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 占据栅格地图的生成方法和装置
CN112529953B (zh) * 2020-12-17 2022-05-03 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
WO2022127451A1 (zh) * 2020-12-17 2022-06-23 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN112529953A (zh) * 2020-12-17 2021-03-19 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN112396039B (zh) * 2021-01-12 2022-06-24 之江实验室 一种基于邻域关系的火星栅格地形地图生成方法
CN112396039A (zh) * 2021-01-12 2021-02-23 之江实验室 一种基于邻域关系的火星栅格地形地图生成方法
CN112819833B (zh) * 2021-02-05 2022-07-12 四川大学 一种大场景点云语义分割方法
CN112819833A (zh) * 2021-02-05 2021-05-18 四川大学 一种大场景点云语义分割方法
CN112966775B (zh) * 2021-03-24 2023-12-01 广州大学 建筑构件的三维点云分类方法、***、装置及存储介质
CN112966775A (zh) * 2021-03-24 2021-06-15 广州大学 建筑构件的三维点云分类方法、***、装置及存储介质
CN113436559A (zh) * 2021-05-19 2021-09-24 吉林大学 一种沙盘动态景观实时显示***及显示方法
CN113298781A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN113298781B (zh) * 2021-05-24 2022-09-16 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN114742310B (zh) * 2022-04-22 2022-09-16 山东省人工智能研究院 基于轮地相互作用的地形可通过性地图构建方法
CN114742310A (zh) * 2022-04-22 2022-07-12 山东省人工智能研究院 基于轮地相互作用的地形可通过性地图构建方法
CN114970186A (zh) * 2022-06-08 2022-08-30 哈尔滨理工大学 一种复杂地形中探测器高保真动力学仿真***构建方法
CN117863190A (zh) * 2024-03-08 2024-04-12 广州小鹏汽车科技有限公司 足式机器人的移动控制方法及足式机器人
CN117863190B (zh) * 2024-03-08 2024-07-19 广州小鹏汽车科技有限公司 足式机器人的移动控制方法及足式机器人

Also Published As

Publication number Publication date
US20200402300A1 (en) 2020-12-24
US11195329B2 (en) 2021-12-07
CN110264572B (zh) 2021-07-30
WO2020253171A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN110264572A (zh) 一种融合几何特性与力学特性的地形建模方法及***
Hu et al. Classification and mapping of urban canyon geometry using Google Street View images and deep multitask learning
CN111612059B (zh) 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN103400372B (zh) 一种基于Reeb图描述的三维拓扑信息提取方法
CN106814737A (zh) 一种基于啮齿类动物模型和RTAB‑Map闭环检测算法的SLAM方法
CN104406589B (zh) 一种飞行器穿越雷达区的飞行方法
CN105224935A (zh) 一种基于Android平台的实时人脸关键点定位方法
CN102324041B (zh) 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
KR20200043005A (ko) 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법
JP7464236B2 (ja) 複雑ネットワークによる自動運転車の複雑環境モデル、認知システム及び認知方法
CN110084211A (zh) 一种动作识别方法
CN109242019A (zh) 一种水面光学小目标快速检测与跟踪方法
Devogele et al. Optimized discrete fréchet distance between trajectories
CN114659530A (zh) 用于智能机器人路径规划的网格模型地图构建方法
CN113515131A (zh) 基于条件变分自动编码器的移动机器人避障方法及***
CN116482711A (zh) 一种用于着陆区自主选择的局部静态环境感知方法及装置
KR101155708B1 (ko) 컴퓨터를 이용한 항공기의 실시간 지형추종 비행경로 생성 방법
CN115185266A (zh) 一种基于地形可通过性的机器人控制方法及***
Wu et al. A non-rigid hierarchical discrete grid structure and its application to UAVs conflict detection and path planning
Zhao et al. Improving autonomous vehicle visual perception by fusing human gaze and machine vision
Mironova Use of fuzzy sets in modeling of GIS objects
Mandel et al. Resolution-adaptive quadtrees for semantic segmentation mapping in UAV applications
CN115619953A (zh) 一种面向崎岖地形的移动机器人地形建图方法及***
Cheng et al. Local perception-based intelligent building outline aggregation approach with back propagation neural network
Castagno et al. Map-based planning for small unmanned aircraft rooftop landing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant