CN113298781B - 一种基于图像和点云融合的火星表面三维地形检测方法 - Google Patents

一种基于图像和点云融合的火星表面三维地形检测方法 Download PDF

Info

Publication number
CN113298781B
CN113298781B CN202110565199.2A CN202110565199A CN113298781B CN 113298781 B CN113298781 B CN 113298781B CN 202110565199 A CN202110565199 A CN 202110565199A CN 113298781 B CN113298781 B CN 113298781B
Authority
CN
China
Prior art keywords
dimensional
point cloud
image
mars
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110565199.2A
Other languages
English (en)
Other versions
CN113298781A (zh
Inventor
高�浩
黄卫
胡海东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110565199.2A priority Critical patent/CN113298781B/zh
Publication of CN113298781A publication Critical patent/CN113298781A/zh
Application granted granted Critical
Publication of CN113298781B publication Critical patent/CN113298781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像和点云融合的火星表面三维地形检测方法，包括：获取火星表面待检测区域的图像数据；将待检测区域的图像数据作为已训练好的三维目标检测网络的输入；根据三维目标检测网络的输出，确定火星表面待检测区域的地形检测结果；将地形检测结果进行可视化输出；本发明通过深度学习的方法将图像和点云信息融合并利用起来，有效解决了火星表面目标地形三维空间检测的问题。

Description

一种基于图像和点云融合的火星表面三维地形检测方法
技术领域
本发明涉及一种基于图像和点云融合的火星表面三维地形检测方法，属于火星智能视觉三维目标检测识别技术领域。
背景技术
掌握火星的地貌地形是进行火星科学研究的基础之一，检测出火星地表物质组成与分布是掌握其地貌地形的重中之重。仅查看岩石的分布和物理性质，科学家就可以获得大量信息。所以，这就要求在火星车运动探测任务中，首先火星车需要对自身所处环境进行识别判断，通过相机等传感器获取信息，检测定位目标地形的空间信息和类别信息，然后才能继续规划路线确定行进的方向，使用探测器进行下一步的探测研究。
3D的目标检测相比于2D的目标检测有着明显的优势，要保证火星车安全行进，对特定目标地形进行进一步的勘测和研究，则需要该地形的三维位姿信息，而在图片中的二维位姿不带深度信息，传统的2D目标检测，是得到目标物体的类别，以及图像平面内的检测框，包含的参数有类别、检测框的中心坐标、长宽，这3组参数构成对目标物***置、大小等信息的描述。我们无法从2D图片中获得物体的绝对尺度和位置，没有办法有效避免碰撞，具有一定的安全隐患。因此，火星表面地形的3D目标检测在火星车的探测研究、运动、路径规划等方面发挥着及其重要的作用，对于火星表面的目标探索有着重要的意义。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于图像和点云融合的火星表面三维地形检测方法，基于点云和图像的三维地形检测的完整***流程，其中包含相机标定、数据采集、数据预处理、数据标注、二维图像地形检测，与三维地形检测、结果可视化，提高检测的自动化程度和精确度。
为达到上述目的，本发明是采用下述技术方案实现的：
本发明提供了一种基于图像和点云融合的火星表面三维地形检测方法，包括以下步骤：
获取火星表面待检测区域的图像数据；
将待检测区域的图像数据作为已训练好的三维目标检测网络的输入；
根据三维目标检测网络的输出，确定火星表面待检测区域的地形检测结果；
将地形检测结果进行可视化输出；
其中，所述火星表面待检测区域的图像数据通过小车机器人带动已标定的相机组在火星表面移动获取，所述相机组的标定包括利用标定板对深度相机进行标定并获取相机内参和相机外参；
所述相机组包括彩色相机和深度相机，所述图像数据包括RGB彩色图像和深度图像。
进一步的，所述三维目标检测网络的训练包括：
获取火星模拟场地的图像数据，即RGB彩色图像和深度图像；
将火星模拟场地的深度图像转换成三维点云，并对三维点云数据进行预处理操作；
对火星模拟场地的RGB彩色图像进行标注得到彩色图像数据集，对预处理后的三维点云数据进行标注得到三维点云数据集；
将彩色图形数据集作为二维目标检测网络的输入，对火星模拟场地进行检测并输出二维检测结果；
将二维检测结果和三维点云数据集作为输入，提取三维点云中目标区域的锥形点云；
将锥形点云作为三维目标检测网络的输入，对火星模拟场地进行检测并输出三维检测结果；
基于三维检测结果对三维目标检测网络进行迭代训练。
其中，所述火星模拟场地表面的图像数据通过小车机器人带动已标定的相机组在火星模拟场地移动获取。
进一步的，所述图像数据的获取包括：
调整相机组的采集角度和光照环境；按预设的参数和路线使用ros***控制小车机器人移动，相机组录制地形环境得到bag文件并传输保存，按照时间戳解析bag文件得到每一帧的RGB彩色图像和深度图像。
进一步的，所述深度图像转换成三维点云包括：
将相机内参作为坐标变换的约束调节将深度图像转换成三维点云，其公式如下：
Figure BDA0003080447250000031
其中，x，y，z是三维点云坐标，x′和y′是深度图像坐标，fx和fy为相机内参中的焦距，D为深度图像的深度值。
进一步的，所述三维点云坐标以pcd点云格式和二级制bin文件方式保存。
进一步的，所述将彩色图形数据集作为二维目标检测网络的输入并输出二维检测结果包括：
将彩色图像数据集输入到二维目标检测网络Yolov5中训练得到权重，并使用训练好的权重文件对目标区域进行预测和识别，得到目标区域在二维图像中的类别和位置，将类别和位置作为二维检测结果输出。
进一步的，所述将二维检测结果和三维点云数据集作为输入，提取三维点云中目标区域的锥形点云包括：
基于深度相机和彩色相机的坐标转换，将深度相机坐标系下的三维点云数据集转换为彩色相机坐标系下的二维图像；
以二维检测结果中的位置作为该二维图像中的目标区域，再基于深度相机和彩色相机的坐标转换，将目标区域内的二维图像转换为目标区域内的三维点云数据集，即锥形点云；
其中，深度相机和彩色相机坐标转换的公式如下：
Prgb＝RPir+T
其中，Prgb和Pir分别为彩色相机和深度相机下的投影坐标点，R、T为相机外参种的旋转矩阵和平移矩阵。
进一步的，所述对三维点云数据进行预处理包括格式转换和数据归一化；
所述对火星模拟场地的RGB彩色图像进行标注包括采用labelImg标注软件进行标注操作，所述标注包括位置和类别；
所述对预处理后的三维点云数据进行标注包括采用ros***进行标注操作，所述标注包括三维边界包围盒和空间位置。
进一步的，所述将锥形点云作为三维目标检测网络的输入，对火星模拟场地进行检测并输出三维检测结果包括：
采用改进的PointSIFT网络对锥形点云进行特征提取，从而进行三维语义分割；
使用T-Net子网络对分割得到的对象点云进行特征提取和预测，从而得到目标区域地形的空间位置；
使用盒回归子网络对分割得到的对象点云进行网络分类和回归，从而得到目标区域地形的三维边界包围盒；
将空间位置和三维边界包围盒作为三维检测结果输出。
进一步的，所述RGB彩色图像的尺寸为1920x1080像素，包括RGB三个通道；所述深度图像的尺寸为512x424像素，每个像素有16bit，占2个字节，通过像素表示深度数据，即实际距离，单位为毫米。
与现有技术相比，本发明所达到的有益效果：
本发明提供的一种基于图像和点云融合的火星表面三维地形检测方法，包含相机标定、数据采集、数据预处理、数据标注、二维图像地形检测与三维地形检测、结果可视化等子模块，融合图像和点云信息，使用神经网络相对于传统方法更加快速、准确和稳定的特性，提高地形检测的自动化程度和精确度；本发明通过深度学习的方法将图像和点云信息融合起来并应用在火星三维地形检测场景中，替换Frustum PointNets网络中原有的语义分割网络，使用改进的基于PointSIFT网络更加精确的实现点云语义分割，同时精简网络提高检测速度，保留T-Net网络和盒估计子网络实现目标空间定位与包围盒参数回归，最终得到目标地形的空间信息并结果可视化，有效解决了火星车在探测过程中火星表面地形检测和定位的问题。
附图说明
图1是本发明实施例提供的一种火星表面三维地形检测方法流程图；
图2是本发明实施例提供的数据采集装置结构示意图；
图3是本发明实施例提供的一种三维目标检测网络进行训练流程图；
图4是本发明中的改进的PointSIFT网络示意图；
图5为本发明中的三维目标检测网络结构图；
图中标记为：
1、转向轮，2、电机控制***，3、相机组，4、激光雷达。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本实施例提供一种基于图像和点云融合的火星表面三维地形检测方法，如图1所示，包括以下步骤：
步骤101、获取火星表面待检测区域的图像数据；
步骤102、将待检测区域的图像数据作为已训练好的三维目标检测网络的输入；
步骤103、根据三维目标检测网络的输出，确定火星表面待检测区域的地形检测结果；
步骤104、将地形检测结果进行可视化输出，包括将得到火星地形的空间位置和三维边界包围盒，分别在二维图像和三维点云中对预测的结果进行可视化。
如图2所示，火星表面待检测区域的图像数据通过小车机器人带动已标定的相机组在火星表面移动获取，相机组的标定包括利用标定板对深度相机进行标定并获取相机内参和相机外参；相机组包括彩色相机和深度相机，图像数据包括RGB彩色图像和深度图像。RGB彩色图像的尺寸为1920x1080像素，包括RGB三个通道；深度图像的尺寸为512x424像素，每个像素有16bit，占2个字节，通过像素表示深度数据，即实际距离，单位为毫米。
数据采集装置，利用标定板对相机组3进行标定，获取相机内外参数，调整相机组的采集角度和光照环境。使用小车机器人搭载相机组3在火星模拟场地采集原始数据，小车主要由转向轮1，底盘，电机控制***2，激光雷达4等组成。采集数据时，使用电机控制***2和激光雷达4等硬件设备，使用ros***实现对小车机器人的操控移动，使用相机组录制bag文件并实现数据的传输保存，按照时间戳解析bag文件完成数据的初步采集工作。
由上述步骤可知，首先需要对三维目标检测网络进行训练，如图3所示，其包括以下步骤：
步骤201、获取火星模拟场地的图像数据，即RGB彩色图像和深度图像；本实施例以某航天院火星模拟场地采集模拟火星地形为例，火星模拟场地的图像数据的获取与上述火星表面待检测区域的图像数据获取原理相同。
步骤202、将火星模拟场地的深度图像转换成三维点云，并对三维点云数据进行预处理操作，预处理包括格式转换和数据归一化；
深度图像转换成三维点云包括：将相机内参作为坐标变换的约束调节将深度图像转换成三维点云，其公式如下：
Figure BDA0003080447250000071
其中，x，y，z是三维点云坐标，x′和y′是深度图像坐标，fx和fy为相机内参中的焦距，D为深度图像的深度值，三维点云坐标以pcd点云格式和二级制bin文件方式保存。
步骤203、采用labelImg标注软件对火星模拟场地的RGB彩色图像进行标注得到彩色图像数据集，标注包括位置和类别，采用ros***对预处理后的三维点云数据进行标注得到三维点云数据集，标注包括三维边界包围盒和空间位置。
步骤204、将彩色图形数据集作为二维目标检测网络的输入，对火星模拟场地进行检测并输出二维检测结果；具体包括，将彩色图像数据集输入到二维目标检测网络Yolov5中训练得到权重，并使用训练好的权重文件对目标区域进行预测和识别，得到目标区域在二维图像中的类别和位置，将类别和位置作为二维检测结果输出。
Yolov5依然采用Yolov2中Multi-Scale Training的思想，每隔几次迭代后就会微调网络的输入尺寸。它使用了Darknet-53去除全连接层的前面52层。这样是为了：网络结构能在ImageNet上有好的分类结果，从而说明这个网路能学习到好的特征。Darknet-53相对于ResNet-152和ResNet-101，不仅在分类精度上相差不大，计算速度优于ResNet-152和ResNet-101，网络结构也更加简洁。Darknet-53采用了残差网络的跳层连接方式，性能优于ResNet-152和ResNet-101这两种深层网络的原因为:网络的基本单元的差异，网络层数越少，参数少，需要的计算量少。关于分类预测值，Yolov5采用Logistic函数代替了Softmax函数，使得各个分类相互独立，实现了类别解耦。关于位置预测值，Yolov5通常不会预测边界框中心的确切坐标，它预测的是与预测目标的网格单元左上角相关的偏移。
步骤205、将二维检测结果和三维点云数据集作为输入，提取三维点云中目标区域的锥形点云；具体包括：
将二维检测结果和三维点云数据集作为输入，提取三维点云中目标区域的锥形点云包括：
基于深度相机和彩色相机的坐标转换，将深度相机坐标系下的三维点云数据集转换为彩色相机坐标系下的二维图像；
以二维检测结果中的位置作为该二维图像中的目标区域，再基于深度相机和彩色相机的坐标转换，将目标区域内的二维图像转换为目标区域内的三维点云数据集，即锥形点云；
其中，深度相机和彩色相机坐标转换的公式如下：
Prgb＝RPir+T
其中，Prgb和Pir分别为彩色相机和深度相机下的投影坐标点，R、T为相机外参种的旋转矩阵和平移矩阵。
目标区域地形在二维图像上的候选框的中心像素位置边界框的大小，公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003080447250000092
Figure BDA0003080447250000091
其中，(bx,by)为需要预测的边界框的中心点坐标，bw为边界框的宽度，bh为边界框的高度，(tx,ty)是预测的边界框中心点坐标的坐标偏移值；tw和th是尺度缩放，分别经过sigmoid函数输出0-1之间的偏移量，tw与cx相加得到边界框中心点的X轴坐标，th与cy相加得到边界框中心点的Y轴坐标；(cx,cy)是相对于边界框左上角的位置坐标；pw、ph是预设的候选框映射到特征图中的宽和高，是手动设置的锚框的宽和锚框的高；tw与pw作用后得到边界框的宽度bw,th与ph作用后得到边界框的高度bh，再由如下公式获得候选框的左上和右下两个顶点坐标。
Figure BDA0003080447250000101
Figure BDA0003080447250000102
Figure BDA0003080447250000103
Figure BDA0003080447250000104
已知相机的投影矩阵，二维边界框就可以被提升到一个锥体，该锥体定义了对象的三维搜索。
步骤206、将锥形点云作为三维目标检测网络的输入，对火星模拟场地进行检测并输出三维检测结果，具体包括：
采用改进的PointSIFT网络对锥形点云进行特征提取，从而进行三维语义分割；
使用T-Net子网络对分割得到的对象点云进行特征提取和预测，从而得到目标区域地形的空间位置；
使用盒回归子网络对分割得到的对象点云进行网络分类和回归，从而得到目标区域地形的三维边界包围盒；
将空间位置和三维边界包围盒作为三维检测结果输出。
如图4所示，F-PointNet网络中语义分割网络结果直接影响到定位和包围盒回归的精度。因此，发明中使用基于PointSIFT的子网络进行点云语义分割可以更好的学习目标点云及其空间特征，可以提高点云分类精确度。PointSIFT的优势在于它考虑了点云的方向编码OE(orientation-encoding)和尺度感知(scale-awareness)。方向编码可以使点云能够感知不同方向下的信息，融合了点云周围的其他点云的特征。尺度感知可以使网络在学习过程中不断改变权重参数以学习最合适提取点云特征的尺寸。PointSIFT的基本模块是方向编码单元，它在8个方向(上、下、左、右、左上、左下、右上、右下)上提取特征。通过堆叠多个方向编码单元(orientation-encoding unit)，在不同层上的OE单元可以感知到不同尺度的信息，即具有了尺度感知的能力。同时网络使用了基于PointNet++网络中的SA(setabstraction)和FP(feature propagation)模块，主要任务分别是降采样和上采样。最后将解码器的输出接到全连接层，用于预测各个类的概率。
同时，由于输入是步骤三得到的视锥体，因此输入到语义分割网络的点云数量大大减少，同时为了增加网络整体的推断速度，使网络更加精简，通过模型压缩方法，使得语义分割分割网络在速度和精度上都有显著提升。具体来说，将原始点云作为网络输入，给定一个n×d矩阵作为输入，它描述了一个大小为n的点集，每个点具有d维特征，只考虑3D点的X、Y、Z坐标，那么d＝3。图3中，下面的层数就是对应的输出点集的形状。例如，第一层1024x64层意味着1024个点，每个点有64个特征通道。然后将PointSIFT模块的输出作为SA模块下采样阶段的输入，提取更高维特征。在上采样阶段，使用FP模块作为解码器，将其输出作为PointSIFT的输入，使点云网络学习在不同方向、不同尺度的特征信息。最后将解码器的输出连接到全连接层，用于预测各个类的概率。
如图5所示，在三维语义分割后，将每个点预测的一个概率分数，感兴趣对象的点云可以被提取分类。得到这些分割的目标点后，进一步对其坐标进行规格化，以提高算法的平移不变性。F-Pointnet通过用质心减去XYZ值来将点云转换为局部坐标，并通过一个轻量级的网络T-Net估计真实物体的中心。最后，F-PointNet网络通过盒回归点网和预处理点云转换的网络估算出对象面向任意方向的三维边界盒。对于给定的物体，在三维物体坐标下的物体点云，输出的不再是对象类得分，而是一个三维边框的参数。通过其中心(cx,cy,cz)、大小(h,w,l)等来参数化一个三维边界包围盒。
步骤207、基于三维检测结果对三维目标检测网络进行迭代训练。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，包括以下步骤：
获取火星表面待检测区域的图像数据；
将待检测区域的图像数据作为已训练好的三维目标检测网络的输入；
根据三维目标检测网络的输出，确定火星表面待检测区域的地形检测结果；
将地形检测结果进行可视化输出；
其中，所述火星表面待检测区域的图像数据通过小车机器人带动已标定的相机组在火星表面移动获取，所述相机组的标定包括利用标定板对深度相机进行标定并获取相机内参和相机外参；
所述相机组包括彩色相机和深度相机，所述图像数据包括RGB彩色图像和深度图像；
其中，所述三维目标检测网络的训练包括：
获取火星模拟场地的图像数据，即RGB彩色图像和深度图像；
将火星模拟场地的深度图像转换成三维点云，并对三维点云数据进行预处理操作；
对火星模拟场地的RGB彩色图像进行标注得到彩色图像数据集，对预处理后的三维点云数据进行标注得到三维点云数据集；
将彩色图形数据集作为二维目标检测网络的输入，对火星模拟场地进行检测并输出二维检测结果；
将二维检测结果和三维点云数据集作为输入，提取三维点云中目标区域的锥形点云；
将锥形点云作为三维目标检测网络的输入，对火星模拟场地进行检测并输出三维检测结果；
基于三维检测结果对三维目标检测网络进行迭代训练；
其中，所述火星模拟场地表面的图像数据通过小车机器人带动已标定的相机组在火星模拟场地移动获取；
其中，所述将锥形点云作为三维目标检测网络的输入，对火星模拟场地进行检测并输出三维检测结果包括：
采用改进的PointSIFT网络对锥形点云进行特征提取，从而进行三维语义分割；
使用T-Net子网络对分割得到的对象点云进行特征提取和预测，从而得到目标区域地形的空间位置；
使用盒回归子网络对分割得到的对象点云进行网络分类和回归，从而得到目标区域地形的三维边界包围盒；
将空间位置和三维边界包围盒作为三维检测结果输出；
其中，所述改进的PointSIFT网络包括依次连接的第一PointSIFT模块、第一SA模块、第二PointSIFT模块、第二SA模块、第一FP模块、第三PointSIFT模块、第二FP模块、第四PointSIFT模块以及全连接层；
所述第一PointSIFT模块、第二PointSIFT模块、第三PointSIFT模块以及第四PointSIFT模块均包括方向编码单元和尺度感知单元，所述方向编码单元和尺度感知单元用于在不同方向、不同尺度上提取特征；
所述第一SA模块、第二SA模块用于降采样，所述第一FP模块、第二FP模块用于上采样；所述全连接层用于接收处理后的特征信息。
2.根据权利要求1所述的一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，所述图像数据的获取包括：
调整相机组的采集角度和光照环境；按预设的参数和路线使用ros***控制小车机器人移动，相机组录制地形环境得到bag文件并传输保存，按照时间戳解析bag文件得到每一帧的RGB彩色图像和深度图像。
3.根据权利要求1所述的一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，所述深度图像转换成三维点云包括：
将相机内参作为坐标变换的约束调节将深度图像转换成三维点云，其公式如下：
Figure FDA0003736316580000031
其中，x，y，z是三维点云坐标，x′和y′是深度图像坐标，fx和fy为相机内参中的焦距，D为深度图像的深度值。
4.根据权利要求3所述的一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，所述三维点云坐标以pcd点云格式和二级制bin文件方式保存。
5.根据权利要求1所述的一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，所述将彩色图形数据集作为二维目标检测网络的输入并输出二维检测结果包括：
将彩色图像数据集输入到二维目标检测网络Yolov5中训练得到权重，并使用训练好的权重文件对目标区域进行预测和识别，得到目标区域在二维图像中的类别和位置，将类别和位置作为二维检测结果输出。
6.根据权利要求1所述的一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，所述将二维检测结果和三维点云数据集作为输入，提取三维点云中目标区域的锥形点云包括：
基于深度相机和彩色相机的坐标转换，将深度相机坐标系下的三维点云数据集转换为彩色相机坐标系下的二维图像；
以二维检测结果中的位置作为该二维图像中的目标区域，再基于深度相机和彩色相机的坐标转换，将目标区域内的二维图像转换为目标区域内的三维点云数据集，即锥形点云；
其中，深度相机和彩色相机坐标转换的公式如下：
Prgb＝RPir+T
其中，Prgb和Pir分别为彩色相机和深度相机下的投影坐标点，R、T为相机外参种的旋转矩阵和平移矩阵。
7.根据权利要求1所述的一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，
所述对三维点云数据进行预处理包括格式转换和数据归一化；
所述对火星模拟场地的RGB彩色图像进行标注包括采用labelImg标注软件进行标注操作，所述标注包括位置和类别；
所述对预处理后的三维点云数据进行标注包括采用ros***进行标注操作，所述标注包括三维边界包围盒和空间位置。
8.根据权利要求1所述的一种基于图像和点云融合的火星表面三维地形检测方法，其特征在于，所述RGB彩色图像的尺寸为1920x1080像素，包括RGB三个通道；所述深度图像的尺寸为512x424像素，每个像素有16bit，占2个字节，通过像素表示深度数据，即实际距离，单位为毫米。
CN202110565199.2A 2021-05-24 2021-05-24 一种基于图像和点云融合的火星表面三维地形检测方法 Active CN113298781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110565199.2A CN113298781B (zh) 2021-05-24 2021-05-24 一种基于图像和点云融合的火星表面三维地形检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110565199.2A CN113298781B (zh) 2021-05-24 2021-05-24 一种基于图像和点云融合的火星表面三维地形检测方法

Publications (2)

Publication Number Publication Date
CN113298781A CN113298781A (zh) 2021-08-24
CN113298781B true CN113298781B (zh) 2022-09-16

Family

ID=77324256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110565199.2A Active CN113298781B (zh) 2021-05-24 2021-05-24 一种基于图像和点云融合的火星表面三维地形检测方法

Country Status (1)

Country Link
CN (1) CN113298781B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078151B (zh) * 2022-01-19 2022-04-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN117944059B (zh) * 2024-03-27 2024-05-31 南京师范大学 基于视觉及雷达特征融合的轨迹规划方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及***
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及***
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113298781A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN110378196B (zh) 一种结合激光点云数据的道路视觉检测方法
US10915793B2 (en) Method and system for converting point cloud data for use with 2D convolutional neural networks
CN110706248A (zh) 一种基于slam的视觉感知建图算法及移动机器人
CN117441197A (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
CN113298781B (zh) 一种基于图像和点云融合的火星表面三维地形检测方法
CN108711172B (zh) 基于细粒度分类的无人机识别与定位方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与***
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN114359861B (zh) 基于视觉和激光雷达的智能车辆障碍物识别深度学习方法
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
Liao et al. Lr-cnn: Local-aware region cnn for vehicle detection in aerial imagery
Zhao et al. Improving autonomous vehicle visual perception by fusing human gaze and machine vision
CN117423077A (zh) Bev感知模型、构建方法、装置、设备、车辆及存储介质
Hadzic et al. Rasternet: Modeling free-flow speed using lidar and overhead imagery
CN112395956A (zh) 一种面向复杂环境的可通行区域检测方法及***
CN113836975A (zh) 基于yolov3的双目视觉无人机避障方法
Liu et al. A lightweight lidar-camera sensing method of obstacles detection and classification for autonomous rail rapid transit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant