CN113067979A - 基于仿生式脉冲相机的成像方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于仿生式脉冲相机的成像方法、装置、设备及存储介质，所述方法包括:根据预设时间段内的多个脉冲阵列，得到重构的图像序列；根据光流法得到所述图像序列之间的相对运动关系；根据所述相对运动关系将所述图像序列进行运动对齐，得到不同帧各像素点间的对应关系；根据不同帧各像素点间的对应关系，对所述重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。根据本公开实施例提供的基于仿生式脉冲相机的成像方法，解决了传统相机难以对高速运动的物体进行清晰成像的问题，可以产生信噪比高、不模糊的图像。

Description

基于仿生式脉冲相机的成像方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于仿生式脉冲相机的成像方法、装置、设备及存储介质。

背景技术

传统数字相机通常以固定帧率进行拍摄成像，每一帧图像按照以下方式生成：在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和累计，曝光结束后经过模数转换得到该像素的光照总量。通常曝光时间的长度由光照强度决定，当光线较弱时往往需要增加曝光时间来抑制暗电流噪声的影响。这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。近年来，生物视网膜中央凹独特的神经元连接结构和神经节细胞的积分发放模型为视觉采样提供了新的思路。通过对视网膜中央凹的模拟和抽象，一种包含光感受器、积分器和阈值比较器的脉冲相机被提出。脉冲相机以脉冲阵列的形式表示视觉信息，能够持续记录光强的变化，不存在帧率和曝光时间的概念，突破了传统相机的局限性，既可以实现对高速运动的捕捉和记录，又可以重构出场景中纹理细节。

现有技术中，存在两种脉冲相机的重建算法，基于脉冲间隔的重建算法和基于时间窗平均的重建算法。其中，基于脉冲间隔的重建算法利用脉冲间隔随着光强的增加而减小这一特性，借助前后两个脉冲重构出一小段时间内的光强。该算法虽然能刻画出高速运动的轮廓，但重建信号通常不够稳定，在时间方向看像素值有明显的波动；基于时间窗平均的重建算法利用脉冲发放频率随着光强的增加而增加这一特性来估计时间窗内的平均光强。该算法虽然在一定程度上提高了重建图像的信噪比，但是当物体存在运动时，时间窗内的平均会导致重建图像存在运动模糊。

因此，现有技术中利用脉冲相机进行图像重建的方法，在高速运动场景下无法得到清晰的图像。

发明内容

本公开实施例提供了一种基于仿生式脉冲相机的成像方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种基于仿生式脉冲相机的成像方法,包括:

根据预设时间段内的多个脉冲阵列，得到重构的图像序列；

根据光流法得到图像序列之间的相对运动关系；

根据相对运动关系将图像序列进行运动对齐，得到不同帧各像素点间的对应关系；

根据不同帧各像素点间的对应关系，对重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。

在一个实施例中，根据预设时间段内的多个脉冲阵列，得到重构的图像序列之前，还包括：

根据预设时间段内的脉冲信号，获取待成像物体基于像素点的多个脉冲阵列。

在一个实施例中，根据预设时间段内的多个脉冲阵列，得到重构的图像序列，包括：

采用脉冲间隔算法重构出图像序列。

在一个实施例中，得到不同帧各像素点间的对应关系之后，还包括：

获取当前帧的像素点在其他帧图像上的对应像素点处的光强值。

在一个实施例中，获取当前帧的像素点在其他帧图像上的对应像素点处的光强值，包括：

若其他帧图像上的对应像素点为整像素点，则直接取对应像素点处的光强值；

若其他帧图像上的对应像素点为亚像素点，则通过插值法得到对应像素点处的光强值。

在一个实施例中，根据不同帧各像素点间的对应关系，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像，具体公式包括：

其中，I_k(x，y)表示第k帧图像内(x，y)像素点处的光强值，C表示正则化参数，

表示第t帧图像在重建第k帧图像时的滤波权重，

表示第k帧的像素点在其他帧图像上的对应像素点处的光强值，T表示图像的总帧数。

第二方面，本公开实施例提供了一种基于仿生式脉冲相机的成像装置,包括:

重构模块，用于根据预设时间段内的多个脉冲阵列，得到重构的图像序列；

光流估计模块，用于根据光流法得到图像序列之间的相对运动关系；

运动对齐模块，用于根据相对运动关系将图像序列进行运动对齐，得到不同帧各像素点间的对应关系；

成像模块，用于根据不同帧各像素点间的对应关系，对重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。

在一个实施例中，还包括：

获取模块，用于根据预设时间段内的脉冲信号，获取待成像物体基于像素点的多个脉冲阵列。

第三方面，本公开实施例提供了一种基于仿生式脉冲相机的成像设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的基于仿生式脉冲相机的成像方法。

第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种基于仿生式脉冲相机的成像方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的基于仿生式脉冲相机的成像方法，根据预设时间段内的多个脉冲阵列，得到重构的图像序列；根据光流法得到图像序列之间的相对运动关系；根据所述相对运动关系将图像序列进行运动对齐，得到不同帧各像素点间的对应关系；根据不同帧各像素点间的对应关系，对所述重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。该方法提出了沿物体运动轨迹对图像像素进行时间维度滤波，能够应用于高速运动的场景，产生信噪比高、不模糊的图像，实现较好的视觉效果，解决了现有技术中无法对高速运动的物体进行清晰成像的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种基于仿生式脉冲相机的成像方法的流程示意图；

图2是根据一示例性实施例示出的一种基于仿生式脉冲相机的成像方法的流程示意图；

图3是根据一示例性实施例示出的一种脉冲阵列的示意图；

图4是根据一示例性实施例示出的一种运动对齐的示意图；

图5是根据一示例性实施例示出的一种根据插值法计算光强的示意图；

图6是根据一示例性实施例示出的一种不同成像方法拍摄的成像图片的示意图；

图7是根据一示例性实施例示出的一种不同成像方法拍摄的成像图片的示意图；

图8是根据一示例性实施例示出的一种基于仿生式脉冲相机的成像装置的结构示意图；

图9是根据一示例性实施例示出的一种基于仿生式脉冲相机的成像设备的结构示意图；

图10是根据一示例性实施例示出的一种计算机存储介质的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

现有技术中，采用传统的数字相机进行拍摄成像，这种方法无法对高速运动的物体进行有效成像，往往导致高速运动的物体成像模糊。近年来，生物视网膜中央凹独特的神经元连接结构和神经节细胞的积分发放模型为视觉采样提供了新的思路。通过对视网膜中央凹的模拟和抽象，一种新型的仿生脉冲相机被提出。仿生脉冲相机能够持续记录光强的变化，不存在帧率和曝光时间的概念，突破了传统相机的局限性，既可以实现对高速运动的捕捉和记录，又可以重构出场景中纹理细节。

因此，本公开实施例利用仿生式脉冲相机产生脉冲阵列，利用脉冲阵列的时间方向相关性，提升重建图像的质量。本公开实施例中，首先根据脉冲阵列的特性对不同时刻的场景进行图像序列重建；而后在重建图像序列的基础上采用光流估计算法确定物体沿着时间方向的运动轨迹，沿着物体各自的运动轨迹对图像序列进行运动对齐；最后对重建图像序列进行时间维度的运动轨迹滤波以提升信号的稳定性，从而提升重建图像的质量，得到高速运动场景下清晰的图像。实现较好的视觉效果，解决了现有技术中无法对高速运动的物体进行清晰成像的问题。

下面将结合附图1-附图7，对本申请实施例提供的基于仿生式脉冲相机的成像方法进行详细介绍。参见图1，该方法具体包括以下步骤。

S101根据预设时间段内的多个脉冲阵列，得到重构的图像序列。

在一种可能的实现方式中，在执行步骤S101之前，还包括根据预设时间段内的脉冲信号，获取待成像物体基于像素点的多个脉冲阵列。

具体地，为了打破传统相机的局限，本公开实施例采用仿生式脉冲相机进行拍摄成像，仿生式脉冲相机中每个像素均包含光感受器、积分器和阈值比较器。其中，光感受器负责将光信号转换为电信号，积分器对转换后的光生电荷进行累积，阈值比较器以超高的频率反复地对累积的电荷进行比较，当累积后的电荷达到预设阈值时，该像素进行脉冲发放，并清空积分器。图3是一种脉冲阵列的示意图，如图3所示，脉冲相机以“H*W*T”脉冲阵列的形式表示视觉信息，“H*W”为脉冲相机的空间分辨率，“T”为采样次数。我们称作单个像素输出的信号序列为“脉冲序列”，脉冲阵列在某个时刻的截面为“脉冲矩阵”。脉冲阵列由“0”和“1”两种符号组成，其中“1”(实心点)表示在该时空位置处有脉冲发放；“0”表示该时空位置无脉冲发放。通过该仿生式脉冲相机，能够持续记录光强的变化，不存在帧率和曝光时间的概念，突破了传统相机的局限性。

进一步地，获取到待成像物体基于像素点的多个脉冲阵列之后，根据获取到的预设时间段内的多个脉冲阵列，重构出基本的图像序列。在一种可能的实现方式中，可以采用脉冲间隔算法重构出图像序列，也可以采用其他算法根据脉冲阵列估计出基本的重建图像序列。

在一个实施例中，采用脉冲间隔算法重构出图像序列，脉冲间隔为同一像素位置两个相邻脉冲所间隔的时间，等价于积分器累积得到后一个脉冲所用的积分时间。通常而言，强光照区域像素的积分器可以在较短的时间内将光生电荷累积到脉冲发放阈值，脉冲间隔较小；弱光照区域像素的积分器则要花费更长的时间将电荷累积到脉冲发放阈值，脉冲间隔较大。根据脉冲间的平均光强与脉冲间隔的大小成反比这一特性，重构出基本图像序列

根据该步骤，可以根据脉冲阵列，采用脉冲间隔算法重构出基本的图像序列。

S102根据光流法得到图像序列之间的相对运动关系。

在一种可能的实现方式中，利用Horn–Schunck等光流算法计算当前帧

与其前后r帧图像间的光流场，从而确定图像间的相对运动关系。

其中，计算光流场是为了找到图像序列间的对应关系。光流场可以理解为就是运动场，图像亮度模式的表观运动就是光流。

在一个示例性场景中，假设所拍摄场景中有一个三角形正在自由下落，那么保持相机不动的话，它在不同时刻所拍摄的图像中的位置不同，现在利用光流法来找到同一物体在不同图像上的对应关系，光流法大多基于光强一致性原理，即假设相同物体光强值一样。例如，第一张图的(x,y)点对应于第二张图的(x’,y’)点，UV_t^k(x,y)就是(x,y)点的光流(描述两帧间该点处的相对运动)。

S103根据相对运动关系将图像序列进行运动对齐，得到不同帧各像素点间的对应关系。

根据上述步骤，可以基于光强一致性假设，利用光流法求解两帧之间的光流(相对运动)，进一步地，基于光流(相对运动)，可以确定不同帧间图像的对应关系，即运动对齐。得到当前帧内每个像素点(x，y)在其他

帧上的对应位置

图4是运动对齐的示意图，如图4所示，自由下落的三角形在不同图像上的位置不同，基于光流信息我们可以确定图像间的对应关系，找到场景中同一物体点在不同时刻点图像上的位置，确定物体的运动轨迹。

在一个实施例中，得到不同帧各像素点间的对应关系之后，还包括：获取当前帧的像素点在其他帧图像上的对应像素点处的光强值。

具体地，若当前帧的像素点在其他帧图像上的对应像素点为整像素点，则直接取对应像素点处的光强值；若当前帧的像素点在其他帧图像上的对应像素点为亚像素点，则通过插值法得到对应像素点处的光强值。

图5是一种利用插值法计算光强值的示意图，如图5所示，假设运动对齐后，当前点在其他帧图像上的对应点未处于整数位置，那么需利用其周围整点上的光强值来估计出该点处的光强值。以双线性插值举例，p为非整数点，该点的光强值未知，那么可以利用其周围整点Q11,Q12,Q21,Q22上的亮度信息，来插值出P点的光强值。具体做法如下：

其中，f(.)表示某点的光强值。

S104根据不同帧各像素点间的对应关系，对重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。

在一种可能的实现方式中，根据不同帧各像素点间的对应关系，可得到物体的运动轨迹，沿着物体的运动轨迹对信号进行时间维度的滤波，并按下式更新第k帧内(x,y)像素点上的光强值。

其中，I_k(x，y)表示第k帧图像内(x，y)像素点处的光强值，C表示正则化参数，

表示第t帧图像在重建第k帧图像时的滤波权重，权重的选取随着两帧间时间间隔的增大而逐渐减小，可以采用下述表达式或其他类似表达式计算得出。

其中，σ的取值由时间窗口大小决定，设为σ＝(2*r+1)/3。

表示第k帧的像素点在其他帧图像上的对应像素点处的光强值，T表示图像的总帧数。

根据该步骤，可以对基本重建图像序列进行时间维度的运动轨迹滤波以提升信号的稳定性，从而提升重建图像的质量。其中，沿着时间维度的运动轨迹滤波实现了对脉冲阵列的时间相关性的利用，运动对齐保证了针对运动物体而言其所利用的时间方向相关性的准确性。

在一个示例性场景中，在脉冲相机所拍摄的真实脉冲阵列数据上进行实验，测试了本实施例在高速运动场景下的重建性能。图6是根据一示例性实施例示出的一种不同成像方法拍摄的以100km/h速度行驶的汽车的示意图。如图6所示，其中(a)是初始脉冲矩阵图像，(b)是脉冲间隔法重建的图像，(c)是本公开实施例重建的图像。由图片可知，根据本公开实施例的图像重建算法，可以得到高速行驶的汽车的清晰图像，实现较好的视觉效果。

图7是根据一示例性实施例示出的一种不同成像方法所拍摄的自由下落的布娃娃的示意图。其中(a)是初始脉冲矩阵图像，(b)是脉冲间隔法重建的图像，(c)是本实施例的重建结果。根据图像可知，本公开实施例能清晰地重建出场景中的运动细节，重建出的图像不仅避免了运动模糊而且具有高信噪比。

为了便于理解本申请实施例提供的基于仿生式脉冲相机的成像方法，下面结合附图2进行说明。如图2所示，该方法包括：

首先，采用仿生式脉冲相机进行拍摄成像，根据预设时间段内的脉冲信号，得到待成像物体基于像素点的多个脉冲阵列。然后根据多个脉冲阵列，采用脉冲间隔算法得到重构的图像序列。

进一步地，利用Horn–Schunck等光流估计算法计算当前帧与其前后帧图像间的光流场，从而确定图像间的相对运动关系。

根据上述步骤，可以基于光强一致性假设，利用光流法求解两帧之间的光流(相对运动)，进一步地，基于光流(相对运动)，可以确定不同帧间图像的对应关系，即运动对齐。得到当前帧内每个像素点(x，y)在其他

帧上的对应位置

得到不同帧各像素点间的对应关系之后，还包括：获取当前帧的像素点在其他帧图像上的对应像素点处的光强值。

最后，根据不同帧各像素点间的对应关系，可得到物体的运动轨迹，沿着物体的运动轨迹对信号进行时间维度的滤波，更新像素点的光强值以生成图像。

根据本公开实施例提供的基于仿生式脉冲相机的成像方法，能够应用于高速运动的场景，产生信噪比高、不模糊的图像，实现较好的视觉效果，解决了现有技术中无法对高速运动的物体进行清晰成像的问题。

本公开实施例还提供一种基于仿生式脉冲相机的成像装置，该装置用于执行上述实施例的基于仿生式脉冲相机的成像方法，如图8所示，该装置包括：

重构模块801，用于根据预设时间段内的多个脉冲阵列，得到重构的图像序列；

光流估计模块802，用于根据光流法得到图像序列之间的相对运动关系；

运动对齐模块803，用于根据相对运动关系将图像序列进行运动对齐，得到不同帧各像素点间的对应关系；

成像模块804，用于根据不同帧各像素点间的对应关系，对重建图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。

在一个实施例中，还包括：

获取模块，用于根据预设时间段内的脉冲信号，获取待成像物体基于像素点的多个脉冲阵列。

在一个实施例中，重构模块801具体用于采用脉冲间隔算法重构出图像序列。

在一个实施例中，还包括光强确定模块，用于在得到不同帧各像素点间的对应关系之后，获取当前帧的像素点在其他帧图像上的对应像素点处的光强值。

在一个实施例中，光强确定模块包括：

第一确定单元，用于当其他帧图像上的对应像素点为整像素点时，直接取对应像素点处的光强值；

第二确定单元，用于当其他帧图像上的对应像素点为亚像素点时，通过插值法得到对应像素点处的光强值。

在一个实施例中，成像模块804，具体用于通过下述公式成像：

其中，I_k(x，y)表示第k帧图像内(x，y)像素点处的光强值，C表示正则化参数，

表示第t帧图像在重建第k帧图像时的滤波权重，

表示第k帧的像素点在其他帧图像上的对应像素点处的光强值，T表示图像的总帧数。

需要说明的是，上述实施例提供的基于仿生式脉冲相机的成像装置在执行基于仿生式脉冲相机的成像方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于仿生式脉冲相机的成像装置与基于仿生式脉冲相机的成像方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

本公开实施例还提供一种与前述实施例所提供的基于仿生式脉冲相机的成像方法对应的电子设备，以执行上述基于仿生式脉冲相机的成像方法。

请参考图9，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图9所示，电子设备包括：处理器900，存储器901，总线902和通信接口903，处理器900、通信接口903和存储器901通过总线902连接；存储器901中存储有可在处理器900上运行的计算机程序，处理器900运行计算机程序时执行本申请前述任一实施例所提供的基于仿生式脉冲相机的成像方法。

其中，存储器901可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口903(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线902可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器901用于存储程序，处理器900在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的基于仿生式脉冲相机的成像方法可以应用于处理器900中，或者由处理器900实现。

处理器900可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器900中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器900可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器901，处理器900读取存储器901中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于仿生式脉冲相机的成像方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种与前述实施例所提供的基于仿生式脉冲相机的成像方法对应的计算机可读存储介质，请参考图10，其示出的计算机可读存储介质为光盘1000，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的基于仿生式脉冲相机的成像方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于仿生式脉冲相机的成像方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于仿生式脉冲相机的成像方法，其特征在于，包括：

根据预设时间段内的多个脉冲阵列，得到重构的图像序列；

根据光流法得到所述图像序列之间的相对运动关系；

根据所述相对运动关系将所述图像序列进行运动对齐，得到不同帧各像素点间的对应关系；

根据不同帧各像素点间的对应关系，对所述重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。

2.根据权利要求1所述的方法，其特征在于，根据预设时间段内的多个脉冲阵列，得到重构的图像序列之前，还包括：

根据预设时间段内的脉冲信号，获取待成像物体基于像素点的多个脉冲阵列。

3.根据权利要求1所述的方法，其特征在于，根据预设时间段内的多个脉冲阵列，得到重构的图像序列，包括：

采用脉冲间隔算法重构出所述图像序列。

4.根据权利要求1所述的方法，其特征在于，得到不同帧各像素点间的对应关系之后，还包括：

获取当前帧的像素点在其他帧图像上的对应像素点处的光强值。

5.根据权利要求4所述的方法，其特征在于，获取当前帧的像素点在其他帧图像上的对应像素点处的光强值，包括：

若其他帧图像上的对应像素点为整像素点，则直接取对应像素点处的光强值；

若其他帧图像上的对应像素点为亚像素点，则通过插值法得到对应像素点处的光强值。

6.根据权利要求1所述的方法，其特征在于，根据不同帧各像素点间的对应关系，对所述重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像，具体公式包括：

其中，I_k(x，y)表示第k帧图像内(x，y)像素点处的光强值，C表示正则化参数，

表示第t帧图像在重建第k帧图像时的滤波权重，

表示第k帧的像素点在其他帧图像上的对应像素点处的光强值，T表示图像的总帧数。

7.一种基于仿生式脉冲相机的成像装置，其特征在于，包括：

重构模块，用于根据预设时间段内的多个脉冲阵列，得到重构的图像序列；

光流估计模块，用于根据光流法得到所述图像序列之间的相对运动关系；

运动对齐模块，用于根据所述相对运动关系将所述图像序列进行运动对齐，得到不同帧各像素点间的对应关系；

成像模块，用于根据不同帧各像素点间的对应关系，对所述重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。

8.根据权利要求7所述的装置，其特征在于，还包括：

获取模块，用于根据预设时间段内的脉冲信号，获取待成像物体基于像素点的多个脉冲阵列。

9.一种基于仿生式脉冲相机的成像设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的基于仿生式脉冲相机的成像方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至6任一项所述的一种基于仿生式脉冲相机的成像方法。

Images