CN113329146B

CN113329146B - 一种脉冲相机模拟方法与装置

Info

Publication number: CN113329146B
Application number: CN202110447689.2A
Authority: CN
Inventors: 熊瑞勤; 赵菁; 黄铁军
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2021-04-25
Filing date: 2021-04-25
Publication date: 2022-06-03
Anticipated expiration: 2041-04-25
Also published as: CN113329146A

Abstract

本申请涉及计算成像技术领域，具体而言，本申请涉及一种脉冲相机模拟方法与装置。所述方法包括以下步骤：确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸；计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量；根据所述电子累积量，更新传感器每个像素上的电子总累积量；将所述电子总累积量与预设的阈值进行比较，如果达到或超过所述阈值则进行脉冲发放，并生成相应的脉冲序列；获取与脉冲序列相对应的基准图序列。本申请提出的方法与装置可以同时产生脉冲序列和其所对应的基准图像序列，从而为脉冲相机在算法原型、深度学习和算法基础测试等方面的技术提供了数据保障。

Description

一种脉冲相机模拟方法与装置

技术领域

本申请涉及计算成像技术领域，更为具体来说，本申请涉及一种脉冲相机模拟方法与装置。

背景技术

传统数字相机通常以固定帧率进行拍摄成像，每一帧图像按照以下方式生成：在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和电荷累积，曝光结束后经过模数转换得到该像素的光照总量。由于曝光时间窗内的信息叠加在一起进行记录，这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。

近年来，生物视网膜中央凹的神经元连接结构和神经节细胞的积分发放模型为视觉采样提供了新的思路。通过对视网膜中央凹的模拟和抽象，一种包含光感受器、积分器和阈值比较器的脉冲相机被提出。脉冲相机以脉冲阵列的形式表示视觉信息，能够持续记录光强的变化，不存在曝光时间窗口的概念，突破了传统相机的局限性，可以实现对高速运动的捕捉和记录。近年来，脉冲相机得到了广泛的关注，如基于脉冲相机的高速场景重建、高速运动物体识别及高速运动物体追踪等。

然而，当前阶段脉冲相机设备处于稀缺状态，且脉冲数据的采集过程较为费时，导致研究者无法轻易获得自己所需的脉冲数据；另一方面，目前已公开的脉冲数据相对有限，涵盖的场景也相对较少，并且这些数据不能提供所拍摄场景的真值(Ground Truth)图像。

因此，本申请提出一种改进的方法与装置，以至少部分地解决上述技术问题。

发明内容

为实现上述技术目的，本申请提供了一种脉冲相机模拟方法，包括以下步骤：

确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸；

计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量；

根据所述电子累积量，更新传感器每个像素上的电子总累积量；

将所述电子总累积量与预设的阈值进行比较，如果达到或超过所述阈值则进行脉冲发放，并生成相应的脉冲序列；

获取与脉冲序列相对应的基准图序列。

具体地，所述确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸，包括：

根据所采用的运动模型和参数，确定欲模拟的一个采样时间段内，各像素点的相对运动速度；

根据需要对场景捕捉的精细程度，初始化传感器像素的尺寸，所述传感器像素的尺寸为传感器像素与代表光学场景的图像或视频序列中像素边长的比值。

优选地，所述运动模型为平移、旋转或缩放。

进一步地，所述计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量，包括：

计算光学场景中各点对传感器各像素点在第k个光累积时段内的作用时间长度

其中，(x，y)表示光学场景中的点坐标，(r，c)代表传感器各像素点坐标，(u，v)为各像素点的相对运动速度，

为所述作用时间长度；

将所述光子累积量转换为电子累积量

其中，α为光电转换率，I_x，y为光学场景中(x，y)点处的亮度值，积分的区域对应传感器上一个像素的面积。

进一步地，所述根据所述电子累积量，更新传感器每个像素上的电子总累积量，方法为：

e_k(r，c)＝e_k-1(r，c)+Δ(r，c)。

进一步地，所述将所述电子总累积量与预设的阈值进行比较，如果达到或超过所述阈值则进行脉冲发放，包括：

若e_k(r,c)≥1，则脉冲帧相应像素置1，并清空积分器；

若e_k(r,c)<1，则脉帧冲相应像素置0，积分器状态保持不变。

进一步地，所述获取与脉冲序列相对应的基准图序列，包括：计算传感器像素对应于输入图像的区域，对所述区域的像素进行积分，算出各像素对应的光强真值，从而形成所述基准图序列。

具体地，所述积分根据感应面积进行像素加权求和。

本申请第二方面提供了一种脉冲相机模拟装置，所述装置执行如下步骤：

获取与脉冲序列相对应的基准图序列。

进一步地，所述装置模拟脉冲相机传感器，包括光感受器、积分器和阈值比较器。

本申请的有益效果为：本申请提出的脉冲相机模拟方法与装置可以同时产生脉冲序列和其所对应的基准图像序列，从而为脉冲相机在算法原型、深度学习和算法基础测试等方面的技术提供了数据保障。

附图说明

图1示出了本申请实施例1的方法流程示意图；

图2示出了本申请实施例2的一个方法效果图；

图3示出了本申请实施例2的另一个方法效果图；

图4示出了本申请实施例3的装置示意图；

图5示出了本申请一实施例所提供的一种电子设备的结构示意图；

图6示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

实施例1：

本实施例实施了一种脉冲相机模拟方法，如图1所示，包括以下步骤：

S1、确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸；

S2、计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量；

S3、根据所述电子累积量，更新传感器每个像素上的电子总累积量；

S4、将所述电子总累积量与预设的阈值进行比较，如果达到或超过所述阈值则进行脉冲发放，并生成相应的脉冲序列；

S5、获取与脉冲序列相对应的基准图序列。

确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸，包括：

优选地，运动模型为平移、旋转或缩放。

进一步地，计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量，包括：

为所述作用时间长度；

将光子累积量转换为电子累积量

根据所述电子累积量，更新传感器每个像素上的电子总累积量，方法为：

e_k(r,c))＝e_k-1(r,c)+Δ(r,c)。

进一步地，将所述电子总累积量与预设的阈值进行比较，如果达到或超过所述阈值则进行脉冲发放，包括：

若e_k(r,c)≥1，则脉冲帧相应像素置1，并清空积分器；

若e_k(r,c)<1，则脉帧冲相应像素置0，积分器状态保持不变。

进一步地，获取与脉冲序列相对应的基准图序列，包括：计算传感器像素对应于输入图像的区域，对所述区域的像素进行积分，算出各像素对应的光强真值，从而形成所述基准图序列，积分根据感应面积进行像素加权求和。

实施例2：

本实施例实施了一种脉冲相机模拟方法，具体执行下述步骤：

步骤一：参数初始化。根据所采用的运动模型(平移、旋转、缩放等等)和参数，确定所模拟的一个(极短的)采样时间段内，各像素点的相对运动速度(u，v)。根据需要对场景捕捉的精细程度，初始化传感器像素的尺寸s，即传感器像素与代表光学场景的图像或视频序列中像素边长的比值。

步骤二：计算当前模拟的第k个采样时段内，各像素的光子累积量。首先计算光学场景中各点对传感器各像素点在第k个光累积时段内的作用时间长度满足下述不等式

其中，(x，y)表示光学场景中的点坐标，(r，c)代表传感器各像素点坐标，

为所述作用时间长度；

将所述光子累积量转换为电子累积量

步骤三：模拟电子累积。根据当前采样时间段内的电子累积量，更新传感器每个像素上的电子总累积量，方法为：

e_k(r，c)＝e_k-1(r，c)+Δ(r，c)。

步骤四：阈值比较和脉冲发放。将当前的电信号与预设的阈值进行比较，若e_k(r，c)≥1，则脉冲帧相应像素置1，即M_k(r，c)＝1，说明此处产生了脉冲，同时清空积分器，即e_k(r,c)＝0；将当前的电信号与预设的阈值进行比较，若e_k(r,c)<1，则脉帧冲相应像素置0，积分器状态保持不变。

步骤五：提取传感器所覆盖的光照信息。确定当前传感器各个像素在光学场景图像上所覆盖的区域，并输出该区域内图像的平均亮度信息(按面积进行像素加权)，形成基准图像(Ground Truth)。具体而言，计算传感器像素对应于输入图像的所处位置和感应窗口，对该区域的像素进行积分(根据感应面积进行像素加权求和)可以算出各像素对应的光强真值，从而形成真值参考图像。

我们输入含有不同内容的图像作为外界光学场景，来测试本模拟器的性能，让其产生相应的脉冲图像序列。图2列出了本发明以“Window”图像作为光学场景，所产生的脉冲序列和基准图像序列。图3列出了本发明以“Motorbike”图像作为光学场景，所产生的脉冲序列和基准图像序列。实验结果表明本发明能根据输入图像产生相对真实的脉冲序列和其所对应的基准图像序列，从而为脉冲相机在算法原型、深度学习和算法基础测试等方面的技术提供了数据保障。

实施例3：

本实施例实施了一种脉冲相机模拟装置，如图4所示，一种脉冲相机模拟装置，该装置模拟脉冲相机传感器，包括光感受器、积分器和阈值比较器。再如图4所示，所述脉冲相机模拟装置执行以下步骤为：

捕捉光信号，计算场景图像上各点对传感器上各像素点的贡献时间，并根据光电转换率将光信号转为电信号；

不断累积电信号；

查看传感器各像素点电子累积量是否达到预设阈值，脉冲帧内该像素点记1，清空积分器，并发放脉冲。

请参考图5，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图5所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的脉冲相机模拟方法。

其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述脉冲相机模拟方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的脉冲相机模拟方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种实施前述脉冲相机模拟方法的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的脉冲相机模拟方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的空分复用光网络中量子密钥分发信道分配方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是，上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。