CN115909025A - 一种小天体表面采样点地形视觉自主检测识别方法 - Google Patents

Abstract

本发明公开了小天体表面探测技术领域的一种小天体表面采样点地形视觉自主检测识别方法，通过机械臂***配置双目立体视觉相机，以实现对采样区域的视觉成像、以及对采样点地形的识别与测量，首先通过预处理算法来滤除图像中的噪声；然后对图像进行畸变校正，减少相机光学***带来的成像误差；接着对图像进行双目外极线校正后，将左目图像和右目图像进行匹配，获得稠密的视差图；对二维视差图逐点计算其在左目相机坐标系中的三维坐标，从而获得三维点云图；利用点云数据对整体地形态势进行感知；最后将地面所在平面区域内进行网格划分，计算滑动窗口内区域信息，并对其地形进行判断，从而可以筛选出机械臂上采样装置的可操作位置。

Description

一种小天体表面采样点地形视觉自主检测识别方法

技术领域

本发明属于小天体表面探测技术领域，尤其涉及一种小天体表面采样点地形视觉自主检测识别方法。

背景技术

通过采集小天体表面的岩石样品、分析其组成成分，能够探索太阳系形成乃至生命起源的线索。小天体探测器携带机械臂进行表面自主采样返回是一种重要手段。由于能源、推进等方面的限制，探测器在小天体上的附着任务时间较短。而小天体距离地球十分遥远，通信时延长，无法开展实时测控。因此，机械臂采样过程中必须依赖在轨全自主视觉图像处理来实现采样点地形的检测识别，以完成机械臂采样操作。

非合作目标的检测识别是空间视觉领域的难点问题之一，而作为采样对象的小天体表面岩石因其具有弱纹理高相似度的特点，则使其图像处理更加困难。样品岩石的图像在像素值上区别非常小，非常难于提取到特征。因此，对此类非结构化高相似度的岩石目标进行识别和测量，具有非常大的挑战性。文献(王亚林等，碎石堆构造小行星表面地形分析与仿真验证，深空探测学报，2019,6(5))对具有碎石堆构造特性的小行星表面地形特性进行研究，提出了一种生成小行星表面地形仿真模型的方法，对影响地形构造的石块幂律分布规律进行实验模拟，但并没有给出机械臂采样点的识别检测方法。发明专利CN111721302A公开了一种不规则小行星表面复杂地形特征识别与感知方法，利用深空探测器拍摄的光学图像，根据小行星表面地形特征的几何特点，能够检测并区分出陨石坑和岩石特征。该方法主要应用于深空探测器在轨的导航和避障，并不适用于着陆后基于近距离成像的采样点细致地形识别。

本发明针对小天体表面探测任务中机械臂采样点选取开展相关研究，提出一种基于双目立体视觉的采样点地形自主检测识别方法，在小天体表面探测任务中具有广泛的应用前景。

发明内容

本发明解决的技术问题是：针对作为采样对象的小天体表面岩石所具有的弱纹理高相似特点，提供了一种基于双目立体视觉的小天体表面采样点地形视觉自主检测识别方法，解决了一类小天体表面探测任务中，采样机械臂对表面采样点地形进行自主检测识别的问题。

本发明目的通过以下技术方案予以实现：

机械臂***配置双目立体视觉相机，两相机成像公共视场覆盖样品采集区域，以实现对采样区域的视觉成像、以及对采样点地形的识别与测量，其中机械臂***已经广泛应用，此为现有技术，在此不作具体阐述。双目相机配置主动照明光源，以保证在获得较好的成像效果。两台相机对采样区域进行同步成像，首先通过预处理算法来滤除图像中的噪声；然后对图像进行畸变校正，减少相机光学***带来的成像误差。接着对图像进行双目外极线校正后，将左目图像和右目图像进行匹配，获得稠密的视差图。对二维视差图逐点计算其在左目相机坐标系中的三维坐标，从而获得三维点云图。利用点云数据对整体地形态势进行感知。最后将地面所在平面区域内进行网格划分，计算滑动窗口内区域信息，并对其地形进行判断，从而可以筛选出机械臂上采样装置的可操作位置。

一种小天体表面采样点视觉自主检测识别方法，主要包括以下步骤：

(1)利用双目立体视觉相机对采样区域进行成像；保证左目相机、右目相机的公共视场能够覆盖采样区域；

(2)对左、右目相机采集到的原始图像进行预处理，通过适当的滤波算法来减少噪声的影响；

(3)对步骤(2)所得的滤波处理后的去噪图像进行畸变校正，减小相机光学***畸变带来的误差；

(4)对步骤(3)所得的畸变校正后的图像进行双目外极线校正，生成左目外极线校正图像和右目外极线校正图像；

(5)搜索左目图像在右目图像中的匹配点计算视差，从而获得稠密的视差图；

(6)对步骤(5)所得的二维视差图逐点计算其在左目相机坐标系中的三维坐标，从而获得三维点云图；

(7)利用点云数据对可视区域进行地面检测，确定采样区域内整体地形态势；

(8)在地面所在平面区域内进行网格划分，计算滑动窗口内区域信息，从而对其地形进行判断。

进一步地，所述步骤(2)中的预处理为通过对左目图像、右目图像进行中值滤波处理，滤波窗口大小为m×m，计算方法包括以下步骤：

A1)图像的宽高分别为W、H，扩充图像边界，图像宽高变为W+2×[m/2]、H+2×[m/2]，扩充的图像像素置为0；

A2)对于原始图像上一点(u_ori,v_ori)，其灰度值为I(u_ori,v_ori)，中值滤波计算公式如下：

其中G(u_f,v_f)为滤波后的像素灰度值，W为m×m的滤波模板，i、j表示模板W上像素点的坐标。

进一步地，所述步骤(3)中的畸变校正包括以下计算步骤：

畸变校正前图像第k个像素点二维像素齐次坐标：

畸变校正前图像第k个像素点二维物理齐次坐标：

其中矩阵A为相机的内参数矩阵，A^-1表示矩阵A的逆，

镜头畸变水平分量值：

镜头畸变垂直分量值：

其中

k₁、k₂、k₃为一、二、三阶径向畸变，p₁、p₂为一、二阶切向畸变，

则畸变校正后的第k个像素点的二维物理齐次坐标：

转换成二维像素齐次坐标：

进一步地，所述步骤(4)中，所述外极线校正的校正公式如下：

其中，[u_c v_c 1]^T为空间点在外极线校正前图像中的齐次像素坐标，[u v 1]^T为空间点在外极线校正后图像中的齐次像素坐标，M为相机的内参数矩阵，R为相机坐标系旋转矩阵，M′为校正后相机内参数矩阵，R_rec为校正后相机坐标系旋转矩阵，λ≠0是常数。

进一步地，所述步骤(5)中，利用块匹配方法搜索左目图像在右目图像中的匹配点计算视差，包括以下几个步骤：

B1)计算两个像素之间的差异，即对不同视差下的灰度相似性测量：

e(u,v,d)＝|G_L(u,v)-G_R(u-d,v)|  ⑦

其中G(u,v)为像素坐标系下坐标为(u,v)的像素点灰度值，d为视差。

B2)选取围绕匹配点的一个窗口作为相似性测量区域，其中对应像素为该窗口的中心点。在选取的窗口中，将对应像素的匹配代价做叠加运算，所得结果作为该点的匹配相似度测定值：

其中S为相似性测量区域，一般取n×n的矩形区域。

B3)在搜索范围内选取匹配代价叠加值最小的值所对应的点作为最终匹配点。

B4)对整幅图像进行逐像素求取视差，最终得到稠密的视差图。

进一步地，所述步骤(6)中，对于立体匹配计算得到的二维视差图中任一点(u,v)，其在左目相机坐标系中的三维坐标(X,Y,Z)计算公式为

其中，f_x、f_y为相机的等效焦距，u₀、v₀为主点像素坐标，B为基线长度。

进一步地，所述步骤(7)中，可视区域地面检测包括以下几个步骤：

C1)随机选取K个点拟合平面，设平面方程为Z＝AX+BY+C，则有

其中，(X_l,Y_l,Z_l)为第l个点的三维空间坐标。C2)用其余点验证平面拟合的效果，计算每个点到平面的距离：

设定平面度阈值T，统计在一组平面参数下到平面距离小于阈值T的点的个数N_c，进行多次循环获得N_c的最大值，同时取对应的平面作为可视区域地面。

进一步地，所述步骤(8)中，分区域对地形进行判断的过程包括以下几个步骤：

S1)参考采样装置的操作面积等来确定划分网格面积，将点云集合划分到p×q个网格区域。

S2)在每个网格区域中检索该区域内点到地面的距离值D_i，计算当前窗口的粗糙度。用直方图描述子表示，直方图H从0到最大距离D_max均分为若干等份，对距离进行统计。

S3)设定阈值及判定规则，根据粗糙度直方图来判断该区域地形是否可执行任务。

S4)设置滑动窗口和滑动步长，对于滑动窗口进行上述粗糙度计算，并判断滑动窗口是否可执行任务。

S5)标记出满足任务需求的网格区域，记录区域内部地形参数，形成可操作区域信息列表。

与现有技术相比，本发明的有益效果是：

一、本发明针对小天体表面采样点地形检测识别问题，提出了一种基于双目立体视觉的自主检测识别方法，有效解决了弱纹理高相似的小天体表面岩石自主检测识别问题；

二、本发明提供的小天体表面采样点地形检测识别方法，能够实现在轨全自主数据处理，有效解决了小天体探测任务中通信时延长，地面***无法进行实时处理的问题；

三、本发明所采用的视觉检测识别方法具有简洁、高效、可靠的特点，适合于计算资源较为匮乏的空间环境。

附图说明

图1为本发明双目立体相机配置结构示意图；

图2为本发明基于双目立体视觉的采样点地形自主检测识别方法流程图；

图3为本发明三维平面网格区域划分示意图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行具体说明。应当理解，以下文字仅仅用以描述本发明的一种或几种具体的实施方式，并不对本发明具体请求的保护范围进行严格限定。

实施例

如图1所示，双目立体相机配置在小天体探测器对地观测面上，对采样区域进行成像，以实现对采样区域内地形的检测识别。双目立体相机通过设计相机在整器的位置和姿态来保证获取最佳观测范围。双目立体相机配置主动光源，使其公共视场内的景物能够获得较好成像效果。双目立体相机通过同步采集保证左目相机、右目相机在同一时刻成像，以实现立体视觉计算。

如图2所示，基于双目立体视觉的采样点地形自主检测识别方法，主要包括以下步骤：

(1)对双目相机的图像进行预处理，以减少噪声的影响。针对样品岩石的成像特点，图像预处理对左目图像、右目图像进行了中值滤波处理，可以平滑数据并保留微小锐利的细节。滤波窗口大小为3×3，具体计算过程如下：

A1)图像的宽高分别为W、H，扩充图像边界，图像宽高变为W+2、H+2，扩充的图像像素置为0。

A2)对于原始图像上一点(u_ori,v_ori)，其灰度值为I(u_ori,v_ori)，3×3中值滤波计算公式如下：

其中G(u_f,v_f)为滤波后的像素灰度值，W为3×3的滤波模板，因此i、j均为区间[-1,1]上的整数。

(2)对左目滤波后图像、右目滤波后图像进行畸变校正，计算过程如下(以其中一目相机的图像为例)：

畸变校正前图像第k个像素点二维像素齐次坐标：

畸变校正前图像第k个像素点二维物理齐次坐标：

其中矩阵A为相机的内参数矩阵，A^-1表示矩阵A的逆。

镜头畸变水平分量值：

镜头畸变垂直分量值：

其中

k₁、k₂、k₃为一、二、三阶径向畸变，p₁、p₂为一、二阶切向畸变。

则畸变校正后的第k个像素点的二维物理齐次坐标：

转换成二维像素齐次坐标：

(3)对畸变校正后图像进行外极线校正，计算过程如下(以其中一目相机的图像为例)：

其中，[u_c v_c 1]^T为空间点在外极线校正前图像中的齐次像素坐标，[u v 1]^T为空间点在外极线校正后图像中的齐次像素坐标，M为相机的内参数矩阵，R为相机坐标系旋转矩阵，M′为校正后相机内参数矩阵，R_rec为校正后相机坐标系旋转矩阵，λ≠0是常数。

(4)对左目图像、右目图像中的同名点进行搜索匹配，计算过程如下：

B1)首先基于像素点计算两个像素间的差异：

e(u,v,d)＝|G_L(u,v)-G_R(u-d,v)|  ⑦

其中，G(u,v)为像素坐标系下坐标为(u,v)的像素点灰度值。

B2)选取围绕匹配点的一个窗口作为相似性测量区域，其中对应像素为该窗口的中心点。在选取的窗口中，将对应像素的匹配代价做叠加运算，所得结果作为该点的匹配相似度测定值：

其中S为相似性测量区域，一般取n×n的矩形区域，本实例根据试验图像的分辨率确定取n＝21。

B3)在搜索范围内选取匹配代价叠加值最小的值所对应的点作为最终匹配点；

B4)对整幅图像进行逐像素求取视差，最终得到稠密的视差图。

(5)对于立体匹配计算得到的二维视差图中任一点(u,v)，计算其在左目相机坐标系中的三维坐标(X,Y,Z)，计算公式为

其中，f_x、f_y为相机的等效焦距，u₀、v₀为主点像素坐标，B为基线长度。

(6)通过点云数据对可视区域进行地面检测，计算过程如下：

C1)随机选取K个点拟合平面，设平面方程为Z＝AX+BY+C，则有

其中，(X_l,Y_l,Z_l)为第l个点的三维空间坐标。

C2)用其余点验证平面拟合的效果，计算每个点到平面的距离：

设定平面度阈值T，统计在一组平面参数下到平面距离小于阈值T的点的个数N_c，进行多次循环获得N_c的最大值，同时取对应的平面作为可视区域地面。

(7)在地面所在平面区域内进行网格划分，并对其地形进行判断，计算过程如下：

S1)在检测到的平面内进行区域划分及滑动窗口预设，如图3所示。可根据采样装置的单点操作面积来确定网格化尺寸。譬如，若采样装置单点操作面积为100mm×100mm，双目立体相机公共视场1.2m×1.1m，可设置12×11个网格区域，每个网格尺寸设置为100mm×100mm。

S2)在每个网格区域中检索该区域内点到地面的距离值D_i，计算当前窗口的粗糙度，用直方图描述子表示，直方图H从0到最大距离D_max均分为15等份，对距离进行统计。

S3)设定直方图区间阈值及相应判定规则，根据粗糙度直方图判断该区域是否可执行某一类任务。

S4)设置滑动窗口和滑动步长，参考网格尺寸可设置滑动窗口为100mm×100mm，滑动步长50mm。对于滑动窗口进行上述粗糙度计算，并判断滑动窗口是否可执行任务。

S5)标记出满足任务需求的网格区域，记录区域内部地形参数，形成可操作区域信息列表。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本发明中未具体描述和解释说明的结构、装置以及操作方法，如无特别说明和限定，均按照本领域的常规手段进行实施。

Claims (8)

1.一种小天体表面采样点地形视觉自主检测识别方法，包括以下步骤：

(1)利用双目立体视觉相机对采样区域进行成像；保证左目相机、右目相机的公共视场能够覆盖采样区域；

(2)对左、右目相机采集到的原始图像进行预处理，通过滤波算法来减少噪声的影响；

(3)对步骤(2)所得的滤波处理后的去噪图像进行畸变校正，减小相机光学***畸变带来的误差；

(4)对步骤(3)所得的畸变校正后的图像进行双目外极线校正，生成左目外极线校正图像和右目外极线校正图像；

(5)搜索左目图像在右目图像中的匹配点计算视差，从而获得稠密的视差图；

(6)对步骤(5)所得的二维视差图逐点计算其在左目相机坐标系中的三维坐标，从而获得三维点云图；

(7)利用点云数据对可视区域进行地面检测，确定采样区域内整体地形态势；

(8)在地面所在平面区域内进行网格划分，计算滑动窗口内区域信息，从而对其地形进行判断。

2.根据权利要求1所述的一种小天体表面采样点地形视觉自主检测识别方法，其特征在于：所述步骤(2)中的预处理为通过对左目图像、右目图像进行中值滤波处理，滤波窗口大小为m×m，计算方法包括以下步骤：

A1)图像的宽高分别为W、H，扩充图像边界，图像宽高变为W+2×[m/2]、H+2×[m/2]，扩充的图像像素置为0；

A2)对于原始图像上一点(u_ori,v_ori)，其灰度值为I(u_ori,v_ori)，中值滤波计算公式如下：

其中G(u_f,v_f)为滤波后的像素灰度值，W为m×m的滤波模板，i、j表示模板W上像素点的坐标。

3.根据权利要求2所述的一种小天体表面采样点地形视觉自主检测识别方法，其特征在于：所述步骤(3)中的畸变校正包括以下计算步骤：

畸变校正前图像第k个像素点二维像素齐次坐标：

畸变校正前图像第k个像素点二维物理齐次坐标：

其中矩阵A为相机的内参数矩阵，A^-1表示矩阵A的逆，

镜头畸变水平分量值：

镜头畸变垂直分量值：

其中

k₁、k₂、k₃为一、二、三阶径向畸变，p₁、p₂为一、二阶切向畸变，

则畸变校正后的第k个像素点的二维物理齐次坐标：

转换成二维像素齐次坐标：

。

4.根据权利要求3所述的一种小天体表面采样点地形视觉自主检测识别方法，其特征在于：所述步骤(4)中，所述外极线校正的校正公式如下：

其中，[u_c v_c 1]^T为空间点在外极线校正前图像中的齐次像素坐标，[u v 1]^T为空间点在外极线校正后图像中的齐次像素坐标，M为相机的内参数矩阵，R为相机坐标系旋转矩阵，M′为校正后相机内参数矩阵，R_rec为校正后相机坐标系旋转矩阵，λ≠0是常数。

5.根据权利要求4所述的一种小天体表面采样点地形视觉自主检测识别方法，其特征在于：所述步骤(5)中，利用块匹配方法搜索左目图像在右目图像中的匹配点计算视差，包括以下几个步骤：

B1)计算两个像素之间的差异，即对不同视差下的灰度相似性测量：

e(u,v,d)＝|G_L(u,v)-G_R(u-d,v)| ⑦

其中G(u,v)为像素坐标系下坐标为(u,v)的像素点灰度值，d为视差。

B2)选取围绕匹配点的一个窗口作为相似性测量区域，其中对应像素为该窗口的中心点，在选取的窗口中，将对应像素的匹配代价做叠加运算，所得结果作为该点的匹配相似度测定值：

其中S为相似性测量区域，一般取n×n矩形区域。

B3)在搜索范围内选取匹配代价叠加值最小的值所对应的点作为最终匹配点；

B4)对整幅图像进行逐像素求取视差，最终得到稠密的视差图。

6.根据权利要求5所述的一种小天体表面采样点地形视觉自主检测识别方法，其特征在于：所述步骤(6)中，对于立体匹配计算得到的二维视差图中任一点(u,v)，其在左目相机坐标系中的三维坐标(X,Y,Z)计算公式为：

其中，f_x、f_y为相机的等效焦距，u₀、v₀为主点像素坐标，B为基线长度。

7.根据权利要求6所述的一种小天体表面采样点地形视觉自主检测识别方法，其特征在于：所述步骤(7)中，可视区域地面检测包括以下几个步骤：

C1)随机选取K个点拟合平面，设平面方程为Z＝AX+BY+C，则有

其中，(X_l,Y_l,Z_l)为第l个点的三维空间坐标。

C2)用其余点验证平面拟合的效果，计算每个点到平面的距离：

设定平面度阈值T，统计在一组平面参数下到平面距离小于阈值T的点的个数N_c，进行多次循环获得N_c的最大值，同时取对应的平面作为可视区域地面。

8.根据权利要求1所述的一种小天体表面采样点地形视觉自主检测识别方法，其特征在于：所述步骤(8)中，分区域对地形进行判断的过程包括以下几个步骤：

S1)参考采样装置的操作面积等来确定划分网格面积，将点云集合划分到p×q个网格区域；

S2)在每个网格区域中检索该区域内点到地面的距离值D_i，计算当前窗口的粗糙度，用直方图描述子表示，直方图H从0到最大距离D_max均分为若干等份，对距离进行统计；

S3)设定阈值及判定规则，根据粗糙度直方图来判断该区域地形是否可执行任务；

S4)设置滑动窗口和滑动步长，对于滑动窗口进行上述粗糙度计算，并判断滑动窗口是否可执行任务；

S5)标记出满足任务需求的网格区域，记录区域内部地形参数，形成可操作区域信息列表。

Images