CN113375676B - 一种基于脉冲神经网络的探测器着陆点定位方法 - Google Patents

Abstract

本发明公开了一种基于脉冲神经网络的探测器着陆点定位方法，包括以下步骤：对星体表面的陨石坑DEM数据进行预处理；采用基于人工神经网络模型ANN的U‑Net网络架构对训练集数据进行训练；将人工神经网络模型ANN的UNET转换为脉冲神经网络模型SNN的UNET模型；对图像进行编码，并采用基于SNN的UNET模型进行测试集检测；通过模板匹配算法，进行陨石坑匹配和定位，构建地形路标库，实现定位。本发明通过将脉冲神经网络首次应用于深空探测领域，通过识别陨石坑，实现探测器着陆点的定位。

Description

一种基于脉冲神经网络的探测器着陆点定位方法

技术领域

本发明属于航天器在深空探测任务中基于视觉的下降段自主导航技术领域，特别涉及一种基于脉冲神经网络的探测器着陆点定位方法。

背景技术

进入21世纪后，航天大国纷纷开展了一系列的深空探测任务，其中实现探测器在目标星体表面软着陆，确保设备和人员安全，是我国探索深空、发展航空航天技术的基础。通常情况下，探测器定位技术是通过地面测控站或者GNSS导航技术。然而在深空环境下，该技术存在较大的延迟，同时还会存在星体遮挡，阻断信号传输等问题，因此，自主安全着陆技术是未来探测器进行地外星体着陆的必要技术。

着陆点的精确定位是建立探测器工作坐标系的重要依据，为探测器后续导航以及科学探测提供位置信息，是探测器开展探测任务工作的重要前提。但由于地外天体的环境不可预知性，以及星体地面存在陨石坑或者岩石块等障碍物，都给探测器的安全着陆带来了巨大的挑战。目前常见的方法是：基于计算机视觉的着陆区定位技术，该技术在月球、火星、以及其他小行星探测任务中均得到应用。我国在嫦娥二号任务中利用降落相机图像、导航相机图像、以及数字正射影像对着陆点进行解算，但其定位结果是在探测器落月后数小时完成的；嫦娥三号结合甚长基线干涉测量技术进行着陆点定位；而嫦娥四号着陆区为月球背面，由于星体遮挡、传统测距、测速以及VLBI技术在探测器动力下降阶段无法使用，故采用计算机视觉方法在高精度图像和几何变换的基础上实现着陆区定位。但上述的方法都存在实时性问题。

与本发明最接近对方方法是基于地形路标库的着陆区定位技术，即通过卷积神经网络，识别下降阶段所获取的降落图像，通过识别图像中所包含的陨石坑以及岩石等障碍物，建立地形路标库，从而实现着陆点定位。但为提高模型的准确度，需要较深层的神经网络和大量数据集进行模型训练，会带来大量的能耗损失，同时也存在实时性问题。

发明内容

本发明提供一种基于脉冲神经网络的探测器着陆点定位方法，以解决目前已有的着陆点定位方法存在时延较大、准确度不高以及能耗较高的问题，通过使用脉冲神经网络，识别星体表面的陨石坑，从而实现着陆区定位。

为实现上述目的，本发明采用的技术方案为：

一种基于脉冲神经网络的探测器着陆点定位方法，包括以下步骤：

S1.对星体表面的陨石坑DEM数据进行预处理；

S2.采用基于人工神经网络模型(artificial neural network，ANN)的U-Net网络架构对训练集数据进行训练；

S3.将人工神经网络模型ANN的UNET转换为脉冲神经网络模型(SNN)的UNET模型；

S4.对图像进行编码，并采用基于SNN的UNET模型进行测试集检测；

S5.通过模板匹配算法，进行陨石坑匹配和定位，构建地形路标库，实现定位。

进一步的，所述步骤S1具体为：

S11.原始数据集为184320*61440像素，16bit/pixel，首先对其进行下采样(down-sampled)将其转换为92160*30720像素，8bit/pixel数据；

S12.将S11中的DEM图像随机裁剪成正方形区域，并通过下采样将其转为256*256像素的数据集；

S13.将S12中的图像进行正投影，并将其他部分用零填充；

S14.将S13中的图像进行线性缩放，提高图像对比度，得到输入数据集；

S15.根据陨石坑经纬度和半径信息，将其转换为256*256像素的输出标签。

进一步的，所述步骤S2具体为：

S21.将S14中构建的256*256位的像素数据集输入图像分割网络UNET中，网络左侧为编码层(encoder),右侧为解码层(decoder)；首先通过4个block1进行降采样，每个block1用3个有效卷积和1个max pooling降采样，得到特征图；后通过4个block2块进行上采样提高分辨率，后通过跳跃连接，将上采样结果和网络左侧编码层结果连接，实现深层次特征和浅层次的特征相结合，细化图像，得到特征图；

S22.对S21中得到的特征图进行预测，通过1*1的卷积核，判断当前位置是否是陨石坑边界，从而得到256*256位的像素值预测图(predicted mask)。但由于输出的结果并不包含陨石坑的位置和半径等信息，因此还需要S5中的模板匹配算法，将识别出来的陨石坑具体经纬度信息，从而构建地标库。

进一步的，所述步骤S3具体为：

S31.获取S22中训练好的UNET模型，为保证深层网络存在脉冲信号，需对模型权重W和偏置B通过放缩因子(scale)进行转换；假设UNET中有l层，其中l∈{1,2,3...l-1,l}，W^l _ann和b^l _ann为训练好的基于ANN网络第l层权值和偏置，W^l _snn和b^l _snn为缩放后的SNN网络第l层的权值和偏置，则获取每一层激活值为{a^l ₁,a^l ₂,a^l ₃...}，并记最大激活值为λ^l＝max{a^l ₁,a^l ₂,a^l ₃...},每一层的放缩因子为前一层的最大激活值与当前层的最大激活值之间的比值，即第l层的放缩因子scale^l为第l-1层的最大激活值λ^l-1除以第l层的最大激活值λ^l,scale^l＝λ^l-1/λ^l；则W^l _snn＝W^l _ann*scale^l，b^l _snn＝b^l _ann*λ^l；

S32.传统神经网络中每层的激活值在脉冲神经网络中需要进行编码，转换成离散的脉冲；在泄露发放积分神经元模型中(Leaky integrate fire,LIF)，假设总时间窗口为T，则第l层，第t时刻的电压值V_mem,j ^l(t)为前一时刻t-1的电压值V_mem,j ^l(t-1)和当前时刻t的输入电流z_j ^l(t)，即V_mem,j ^l(t)＝V_mem,j ^l(t-1)+z_j ^l(t)，其中：θ_i ^l(t)＝U(V_mem,i ^l(t)-V_th)，w_i,j ^l表示与第l层神经元j相连的神经元i的权重，其中i表示前一层神经元l-1中的神经元，θ_i ^l-1(t)表示表示在t时刻，第l-1层神经元i是否发放脉冲，V_th为阈值，U为阶跃函数，θ_i ^l(t)表示在t时刻，第l层神经元i是否发放脉冲，取值为0或1，当前电压值超过阈值V_th时，则θ_i ^l(t)为1，并将电压值复位至0,若当前电压值尚未达到阈值，则θ_i ^l(t)为0，电压值继续累积，直到能触发脉冲；

S33.在最后一层中，统计总时间窗口T每个输出神经元发放的脉冲总数，将脉冲总数转换为输出图像的像素值，即得到预测结果。

进一步的，所述步骤S4具体为：

S41.由于在脉冲神经网络中，输入以及每层的激活值是以脉冲信号的形式传播，故需要对输入图像进行编码；其中输入图像的编码常见的方式是泊松编码方式，即在一定长度的时间窗口T中，将每个像素对应的输入神经元发放的脉冲个数成泊松分布，公式为：其中：P表示在总时间窗口T内，发放k个脉冲的概率；X为发放k个脉冲的情况；k为激发脉冲的个数；μ为与像素值成正比的激发频率；e为自然对数的底数，此处取值2.718，则在总时间窗口T内，每次循环都以激发频率乘上每次模拟的时间步长dt的概率确定是否有脉冲发放,通常dt取1，最终形成频率编码；

S42.将输入脉冲序列传入脉冲化的UNET模型中，得到图像分割结果。

进一步的，所述步骤S5具体为：

S51.将S4中通过图像分割获得的陨石坑通过模板匹配算法(match-template)，获得当前陨石坑所在的位置和半径大小，即得到基于陨石坑的地标库，探测器通过识别当前所在的陨石坑信息，获取当前位置；

S52.通过对比所得的位置以及半径大小信息，筛选检测重复的陨石坑，完善基于陨石坑的路标库。

与现有技术相比，本发明具有以下有益效果：

本发明通过将脉冲神经网络首次应用于深空探测领域，通过识别陨石坑，实现探测器着陆点的定位。先对DEM图像进行处理，得到训练和测试所需要的图像和标签；然后使用训练集进行传统人工智能的UNET模型训练，并将训练好的UNET模型转换为脉冲神经网络版本(Spiking-UNET,SUNET)；最后使用模板匹配算法，找到每个陨石坑具体经纬度信息和半径大小，从而实现基于路标库的定位。本发明的好处在于脉冲神经网络是事件驱动机制，只有脉冲发放是才会有能耗的损失，故可以大量的降低能耗；同时实验表明,由于使用的卷积核为3*3，故UNET网络中对于半径较大的陨石坑检测效果较差，而SUNET可以解决这个问题，提高地形库的完整性和定位的准确性。

附图说明

图1为本发明的流程图。

图2为将CNN转换为SNN的流程图。

图3为基于脉冲神经网络的陨石坑检测网络SUNET模型图。

具体实施方式

下面结合实施例对本发明作更进一步的说明。

如图1所示，一种基于脉冲神经网络的深空探测器着陆点定位方法，包括以下步骤：

S1.对星体表面的陨石坑DEM数据进行预处理；

S11.原始数据集为184320*61440像素，16bit/pixel，首先对其进行下采样(down-sampled)将其转换为92160*30720像素，8bit/pixel数据；

S12.将S11中的DEM图像随机裁剪成正方形区域，并通过下采样将其转为256*256像素的数据集；

S13.将S12中的图像进行正投影，并将其他部分用零填充；

S14.将S13中的图像进行线性缩放，提高图像对比度，得到输入数据集；

S15.根据陨石坑经纬度和半径信息，将其转换为256*256像素的输出标签。

S2.采用基于人工神经网络模型(artificial neural network，ANN)的U-Net网络架构对训练集数据进行训练；

S21.将S14中构建的256*256位的像素数据集输入图像分割网络UNET中，网络左侧为编码层(encoder),右侧为解码层(decoder)。首先通过4个block1进行降采样，每个block1用3个有效卷积和1个max pooling降采样，得到特征图；后通过4个block2块进行上采样提高分辨率，后通过跳跃连接，将上采样结果和网络左侧编码层结果连接，实现深层次特征和浅层次的特征相结合，细化图像，得到特征图。

S22.对S21中得到的特征图进行预测，通过1*1的卷积核，判断当前位置是否是陨石坑边界，从而得到256*256位的像素值预测图(predicted mask)。但由于输出的结果并不包含陨石坑的位置和半径等信息，因此还需要S5中的模板匹配算法，将识别出来的陨石坑具体经纬度信息，从而构建地标库。

具体来讲，如图2所示，先训练基于传统神经网络的图像分割架构,然后在通过ANN到SNN的映射转换，将模型转为SNN架构。网络模型M的陨石坑分割模型的主体框架采用对图像分割具有较好效果的U-Net网络，其中包括4层向下采样，每一层中包含2个3*3的卷积核，进行特征提取，层与层进行2*2平均池化进行下采样。经过4层下采样后，通过4层上采样进行还原。层与层之间通过2*2的向上卷积，由于每次向上卷积中，会存在信息丢失，故通过skip connection进行信息补充，同时每一层中包含2个3*3的卷积核，最后一层输出对于的预测结果。将预测结果和标签数据进行比对，通过Dice损失函数其中：x表示预测值，y表示真实值，x∩y表示预测值和真实值相重合的部分，|x|+|y|表示预测值和真实值之和，则损失函数L值越小，则表示分割结果越精准，通过反向传播，不断调整权重，最终使得损失函数值最小，得到最终训练模型。

S3.将人工神经网络模型ANN的UNET转换为脉冲神经网络模型(SNN)的UNET模型；

S31.S31.获取S22中训练好的UNET模型，为保证深层网络存在脉冲信号，需对模型权重W和偏置B通过放缩因子(scale)进行转换；假设UNET中有l层，其中l∈{1,2,3...l-1,l}，W^l _ann和b^l _ann为训练好的基于ANN网络第l层权值和偏置，W^l _snn和b^l _snn为缩放后的SNN网络第l层的权值和偏置，则获取每一层激活值为{a^l ₁,a^l ₂,a^l ₃...}，并记最大激活值为λ^l＝max{a^l ₁,a^l ₂,a^l ₃...},每一层的放缩因子为前一层的最大激活值与当前层的最大激活值之间的比值，即第l层的放缩因子scale^l为第l-1层的最大激活值λ^l-1除以第l层的最大激活值λ^l,scale^l＝λ^l-1/λ^l；则W^l _snn＝W^l _ann*scale^l，b^l _snn＝b^l _ann*λ^l；

S32.传统神经网络中每层的激活值在脉冲神经网络中需要进行编码，转换成离散的脉冲；在泄露发放积分神经元模型中(Leaky integrate fire,LIF)，假设总时间窗口为T，则第l层，第t时刻的电压值V_mem,j ^l(t)为前一时刻t-1的电压值V_mem,j ^l(t-1)和当前时刻t的输入电流z_j ^l(t)，即V_mem,j ^l(t)＝V_mem,j ^l(t-1)+z_j ^l(t)，其中：θ_i ^l(t)＝U(V_mem,i ^l(t)-V_th)，w_i,j ^l表示与第l层神经元j相连的神经元i的权重，其中i表示前一层神经元l-1中的神经元，θ_i ^l-1(t)表示表示在t时刻，第l-1层神经元i是否发放脉冲，V_th为阈值，U为阶跃函数，θ_i ^l(t)表示在t时刻，第l层神经元i是否发放脉冲，取值为0或1，当前电压值超过阈值V_th时，则θ_i ^l(t)为1，并将电压值复位至0,若当前电压值尚未达到阈值，则θ_i ^l(t)为0，电压值继续累积，直到能触发脉冲；

S33.在最后一层中，统计总时间窗口T每个输出神经元发放的脉冲总数，将脉冲总数转换为输出图像的像素值，即可得到预测结果。

具体来讲，将传统神经网络模型转换为脉冲神经网络包括：图像脉冲化、权值映射、卷积层和上下采样层脉冲化，如图3所示。为避免网络中的脉冲过多或者多少，将权值进行映射。然后将DEM图像(input DEM)进行泊松编码，将其转换为脉冲输入网络。网络的左边进行图像压缩，一共包括4层，每一层包括2个卷积核，卷积核中的权值是S2中的权值进行映射获取的，在时间窗口T中，通过spiking-relu函数计算电压值判断该神经元在当前时刻是否发放脉冲进入下一层；层与层之间通过基于脉冲神经网络的平均采样，统计当前时刻的脉冲均值；网络的右边进行图像解码，同样包含4层，首先通过基于SNN的上采样层进行还原，为减少图像信息丢失，通过跳跃连接补充图像信息，最后输出预测结果(predictedmask)。

S4.对图像进行编码，并采用基于SNN的UNET模型进行陨石坑检测；

S41.由于在脉冲神经网络中，输入以及每层的激活值是以脉冲信号的形式传播，故需要对输入图像进行编码；其中输入图像的编码常见的方式是泊松编码方式，即在一定长度的时间窗口T中，将每个像素对应的输入神经元发放的脉冲个数成泊松分布，公式为：其中：P表示在总时间窗口T内，发放k个脉冲的概率；X为发放k个脉冲的情况；k为激发脉冲的个数；μ为与像素值成正比的激发频率；e为自然对数的底数，此处取值2.718，则在总时间窗口T内，每次循环都以激发频率乘上每次模拟的时间步长dt的概率确定是否有脉冲发放,通常dt取1，最终形成频率编码；。

S42.将输入脉冲序列传入脉冲化的UNET模型中，得到图像分割结果。

S5.通过模板匹配算法，进行陨石坑匹配和定位，构建地形路标库，实现定位。

S51.将S4中通过图像分割获得的陨石坑通过模板匹配算法(match-template)，获得当前陨石坑所在的位置和半径大小，即可得到基于陨石坑的地标库，探测器可以通过识别当前所在的陨石坑信息，获取当前位置。

S52.通过对比所得的位置以及半径大小信息，筛选检测重复的陨石坑，完善基于陨石坑的路标库。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于脉冲神经网络的探测器着陆点定位方法，其特征在于，包括以下步骤：

S1.对星体表面的陨石坑DEM数据进行预处理；

S2.采用基于人工神经网络模型ANN的U-Net网络架构对训练集数据进行训练；

S3.将人工神经网络模型ANN的UNET转换为脉冲神经网络模型SNN的UNET模型；

所述步骤S3中包括步骤S31，

S31.获取S2中训练好的UNET模型，为保证深层网络存在脉冲信号，需对模型权重W和偏置B通过放缩因子进行转换；假设UNET中有l层，其中l∈{1，2，3…l-1，l}，W^l _ann和b^l _ann为训练好的基于ANN网络第l层权值和偏置，W^l _snn和b^l _snn为缩放后的SNN网络第l层的权值和偏置，则获取每一层激活值为{a^l ₁,a^l ₂,a^l ₃...}，并记最大激活值为λ^l＝max{a^l ₁,a^l ₂,a^l ₃...},每一层的放缩因子为前一层的最大激活值与当前层的最大激活值之间的比值，即第l层的放缩因子scale^l为第l-1层的最大激活值λ^l-1除以第l层的最大激活值λ^l,scale^l＝λ^l-1/λ^l；则W^l _snn＝W^l _ann*scale^l，b^l _snn＝b^l _ann*λ^l；

S4.对图像进行编码，并采用基于SNN的UNET模型进行测试集检测；

S5.通过模板匹配算法，进行陨石坑匹配和定位，构建地形路标库，实现定位。

2.根据权利要求1所述的基于脉冲神经网络的探测器着陆点定位方法，其特征在于，所述步骤S1具体为：

S11.原始数据集为184320*61440像素，16bit/pixel，首先对其进行下采样down-sampled将其转换为92160*30720像素，8bit/pixel数据；

S12.将S11中的DEM图像随机裁剪成正方形区域，并通过下采样将其转为256*256像素的数据集；

S13.将S12中的图像进行正投影，并将其他部分用零填充；

S14.将S13中的图像进行线性缩放，提高图像对比度，得到输入数据集；

S15.根据陨石坑经纬度和半径信息，将其转换为256*256像素的输出标签。

3.根据权利要求2所述的基于脉冲神经网络的探测器着陆点定位方法，其特征在于，所述步骤S2具体为：

S21.将S14中构建的256*256位的像素数据集输入图像分割网络UNET中，网络左侧为编码层encoder,右侧为解码层decoder；首先通过4个block1进行降采样，每个block1用3个有效卷积和1个max pooling降采样，得到特征图；后通过4个block2块进行上采样提高分辨率，后通过跳跃连接，将上采样结果和网络左侧编码层结果连接，实现深层次特征和浅层次的特征相结合，细化图像，得到特征图；

S22.对S21中得到的特征图进行预测，通过1*1的卷积核，判断当前位置是否是陨石坑边界，从而得到256*256位的像素值预测图predicted mask；但由于输出的结果并不包含陨石坑的位置和半径信息，因此还需要S5中的模板匹配算法，将识别出来的陨石坑具体经纬度信息，从而构建地标库。

4.根据权利要求3所述的基于脉冲神经网络的探测器着陆点定位方法，其特征在于，所述步骤S3具体为：

S31.获取S22中训练好的UNET模型，为保证深层网络存在脉冲信号，需对模型权重W和偏置B通过放缩因子进行转换；假设UNET中有l层，其中l∈{1，2，3…l-1，l}，W^l _ann和b^l _ann为训练好的基于ANN网络第l层权值和偏置，W^l _snn和b^l _snn为缩放后的SNN网络第l层的权值和偏置，则获取每一层激活值为{a^l ₁,a^l ₂,a^l ₃...}，并记最大激活值为λ^l＝max{a^l ₁,a^l ₂,a^l ₃...},每一层的放缩因子为前一层的最大激活值与当前层的最大激活值之间的比值，即第l层的放缩因子scale^l为第l-1层的最大激活值λ^l-1除以第l层的最大激活值λ^l,scale^l＝λ^l-1/λ^l；则W^l _snn＝W^l _ann*scale^l，b^l _snn＝b^l _ann*λ^l；

S32.传统神经网络中每层的激活值在脉冲神经网络中需要进行编码，转换成离散的脉冲；在泄露发放积分神经元模型中，假设总时间窗口为T，则第l层，第t时刻的电压值V_mem,j ^l(t)为前一时刻t-1的电压值V_mem,j ^l(t-1)和当前时刻t的输入电流z_j ^l(t)，即V_mem,j ^l(t)＝V_mem,j ^l(t-1)+z_j ^l(t)，其中：θ_i ^l(t)＝U(V_mem,i ^l(t)-V_th)，w_i,j ^l表示与第l层神经元j相连的神经元i的权重，其中i表示前一层神经元l-1中的神经元，θ_i ^l-1(t)表示表示在t时刻，第l-1层神经元i是否发放脉冲，V_th为阈值，U为阶跃函数，θ_i ^l(t)表示在t时刻，第l层神经元i是否发放脉冲，取值为0或1，当前电压值超过阈值V_th时，则θ_i ^l(t)为1，并将电压值复位至0,若当前电压值尚未达到阈值，则θ_i ^l(t)为0，电压值继续累积，直到能触发脉冲；

S33.在最后一层中，统计总时间窗口T每个输出神经元发放的脉冲总数，将脉冲总数转换为输出图像的像素值，即得到预测结果。

5.根据权利要求4所述的基于脉冲神经网络的探测器着陆点定位方法，其特征在于，所述步骤S4具体为：

S41.由于在脉冲神经网络中，输入以及每层的激活值是以脉冲信号的形式传播，故需要对输入图像进行编码；其中输入图像的编码常见的方式是泊松编码方式，即在一定长度的时间窗口T中，将每个像素对应的输入神经元发放的脉冲个数成泊松分布，公式为：其中：P表示在总时间窗口T内，发放k个脉冲的概率；X为发放k个脉冲的情况；k为激发脉冲的个数；μ为与像素值成正比的激发频率；e为自然对数的底数，则在总时间窗口T内，每次循环都以激发频率乘上每次模拟的时间步长dt的概率确定是否有脉冲发放，dt取1，最终形成频率编码；

S42.将输入脉冲序列传入脉冲化的UNET模型中，得到图像分割结果。

6.根据权利要求5所述的基于脉冲神经网络的探测器着陆点定位方法，其特征在于，所述步骤S5具体为：

S51.将S4中通过图像分割获得的陨石坑通过模板匹配算法，获得当前陨石坑所在的位置和半径大小，即得到基于陨石坑的地标库，探测器通过识别当前所在的陨石坑信息，获取当前位置；

S52.通过对比所得的位置以及半径大小信息，筛选检测重复的陨石坑，完善基于陨石坑的路标库。