CN110809102B - 基于二值调制的成像加速方法及装置 - Google Patents

Abstract

本发明公开了一种基于二值调制的成像加速方法及装置，其中，方法包括以下步骤：获取特定二值调制图案；通过空间光调制器在单曝光时间内对场景进行特定二值调制，并通过传感器耦合采集单张图像；在频率域上对叠加的不同时刻图像进行反解，以从单张拍摄图像重建多帧场景图像。该方法能够有效加速传感器成像速度，提高拍摄视频的帧频；并可针对不同数值孔径的光学***设计不同的调制图案，实现不同的加速结果，并同时具有鲁棒、精确、高效的优点。

Description

基于二值调制的成像加速方法及装置

技术领域

本发明涉及计算摄像学中的场景计算重构技术领域，特别涉及一种基于二值调制的成像加速方法及装置。

背景技术

加速成像的研究一直是计算机视觉和计算机图形学的核心研究内容之一。

目前，当今时代科技快速发展，很多领域对于图像技术要求越来越高，其中视频拍摄对帧频的要求也越来越高，提出了对高帧频视频的更高的要求。因此对于图像帧频加速的技术研究日益深入。比如在图像研究领域，对物体高速运动过程的研究是十分重要的一部分，高速摄像的应用领域非常广泛，包括：火药***分析、弹道分析、******、子弹出膛，火箭发射，烟火分析、裂纹扩展的研究、抗震性能分析、仿真设备测试；运动动作姿态分析；冲线瞬间拍摄；羽毛球，网球，田径运动、焊缝检验和自动化生产线检测、喷射及粒子分析、安防、体育等各种生产以及科研领域的各种方面，用于拍摄这些高速过程的相机称为高速摄像机。

高速摄像机可以完整地记录高速运动物体的瞬态过程，然后通过专门的数字图像摄取***将目标转换成图像信号，最后将其送至专门的图像处理***常用的图像传感器类型有电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)两种：CCD，即“电荷耦合器件”，CCD传感器存储的电荷信息，需要在控制下一位一位地转移后读取，电荷信息转移和读取需要有时钟电路和电源进行配合；CMOS，即“互补金属氧化物半导体”，CMO传感器为光电二极管阵列，经过光电转换后直接产生电信号，利用X-Y寻址，因此信号读取十分简单，且能同时处理各个单元的图像信息，光电转换速度和电荷耦合器件相比要快得多，因此在高速摄像领域中，使用的图像传感器大多数为“互补金属氧化物半导体”传感器。

目前主要由发达国家生产和研发高速相机，国内对高速相机的开发和研究相对国外比较落后。并且，国外出口高速相机价格昂贵，对国内进口也存在一定的限制。因此需要积极开展对高速相机领域的研究，这对我国各领域的发展具有重要的意义。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于二值调制的成像加速方法，该方法能够有效加速传感器成像速度，提高拍摄视频的帧频；并可针对不同数值孔径的光学***设计不同的调制图案，实现不同的加速结果，并同时具有鲁棒、精确、高效的优点。

本发明的另一个目的在于提出一种基于二值调制的成像加速装置。

为达到上述目的，本发明一方面实施例提出了一种基于二值调制的成像加速方法，包括以下步骤：获取特定二值调制图案；通过空间光调制器在单曝光时间内对场景进行特定二值调制，并通过传感器耦合采集单张图像；在频率域上对叠加的不同时刻图像进行反解，以从所述单张拍摄图像重建多帧场景图像。

本发明实施例的基于二值调制的成像加速方法，利用二值调制器件的快速调制，在传感器单曝光时间内对快速动态场景进行二值调制耦合，并使用算法从单张拍摄图像中重建多帧动态场景图像，从而实现从一张拍摄图像重建多帧场景图像，达到加速成像的效果，进而能够有效加速传感器成像速度，提高拍摄视频的帧频；并可针对不同数值孔径的光学***设计不同的调制图案，实现不同的加速结果，并同时具有鲁棒、精确、高效的优点。

另外，根据本发明上述实施例的基于二值调制的成像加速方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述特定二值调制图案由多个基本单元重复排列生成，所述多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0。

进一步地，在本发明的一个实施例中，所述通过传感器耦合采集单张图像，包括：在傅里叶域上对场景不同时刻的多帧图像进行脉冲卷积并求和，得到所述单张图像。

进一步地，在本发明的一个实施例中，所述在频率域上对叠加的不同时刻图像进行反解，包括：将图像变换到所述傅里叶域，并根据所述特定二值调制图案的傅里叶频谱分布，以将不同脉冲位置处的复合子频谱分别取出，联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像。

进一步地，在本发明的一个实施例中，所述空间光调制器为薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD或微通道板空间光调制器MSLM。

为达到上述目的，本发明另一方面实施例提出了一种基于二值调制的成像加速装置，包括：获取模块，用于获取特定二值调制图案；调制模块，用于通过空间光调制器在单曝光时间内对场景进行特定二值调制，并通过传感器耦合采集单张图像；反解模块，用于在频率域上对叠加的不同时刻图像进行反解，以从所述单张拍摄图像重建多帧场景图像。

本发明实施例的基于二值调制的成像加速装置，利用二值调制器件的快速调制，在传感器单曝光时间内对快速动态场景进行二值调制耦合，并使用算法从单张拍摄图像中重建多帧动态场景图像，从而实现从一张拍摄图像重建多帧场景图像，达到加速成像的效果，进而能够有效加速传感器成像速度，提高拍摄视频的帧频；并可针对不同数值孔径的光学***设计不同的调制图案，实现不同的加速结果，并同时具有鲁棒、精确、高效的优点。

另外，根据本发明上述实施例的基于二值调制的成像加速装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述特定二值调制图案由多个基本单元重复排列生成，所述多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0。

进一步地，在本发明的一个实施例中，所述调制模块进一步用于在傅里叶域上对场景不同时刻的多帧图像进行脉冲卷积并求和，得到所述单张图像。

进一步地，在本发明的一个实施例中，所述反解模块进一步用于将图像变换到所述傅里叶域，并根据所述特定二值调制图案的傅里叶频谱分布，以将不同脉冲位置处的复合子频谱分别取出，联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像。

进一步地，在本发明的一个实施例中，所述空间光调制器为薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD或微通道板空间光调制器MSLM。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于二值调制的成像加速方法的流程图；

图2为根据本发明实施例的用于实现基于二值调制的成像加速方法的***结构示意图；

图3为根据本发明实施例的分别为经过低通滤波器后的原图以及重建出来的图像的效果图；

图4为根据本发明实施例的空间光调制器调制掩模的基本单元及其频域图像；

图5为根据本发明实施例的图像经过镜头以及空间光调制器调制后，在一个曝光时间内得到积分值及其频谱示意图；

图6为根据本发明实施例的基于二值调制的成像加速装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于二值调制的成像加速方法及装置，首先将参照附图描述根据本发明实施例提出的基于二值调制的成像加速方法。

图1是本发明一个实施例的基于二值调制的成像加速方法的流程图。

如图1所示，该基于二值调制的成像加速方法包括以下步骤：

在步骤S101中，获取特定二值调制图案。

其中，在本发明的一个实施例中，特定二值调制图案由多个基本单元重复排列生成，多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0。

可以理解的是，本发明实施例设计的特定二值调制图案由一系列基本单元重复排列，其基本单元结构为一个N*N(N＝2,3,4…)像素的单元，其中只有一个像素的灰度值为1，其余的像素值为0。

在步骤S102中，通过空间光调制器在单曝光时间内对场景进行特定二值调制，并通过传感器耦合采集单张图像。

可以理解的是，本发明实施例可以使用空间光调制器在单次曝光时间内对场景不同时刻的信息进行快速调制，且传感器采集单张复用耦合图像。

可选地，在本发明的一个实施例中，空间光调制器可以为薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD或微通道板空间光调制器MSLM。

可以理解的是，空间光调制器包括但不限于：薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD、微通道板空间光调制器MSLM等可以实现快速二值调制的器件。

进一步地，在本发明的一个实施例中，通过传感器耦合采集单张图像，包括：在傅里叶域上对场景不同时刻的多帧图像进行脉冲卷积并求和，得到单张图像。

可以理解的是，该步骤耦合采集过程等同于在傅里叶域上对场景多帧图像进行脉冲卷积并求和，从而可以采集单张复用耦合图像。

在步骤S103中，在频率域上对叠加的不同时刻图像进行反解，以从单张拍摄图像重建多帧场景图像。

在本发明的一个实施例中，在频率域上对叠加的不同时刻图像进行反解，包括：将图像变换到傅里叶域，并根据特定二值调制图案的傅里叶频谱分布，以将不同脉冲位置处的复合子频谱分别取出，联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像，从而实现在一个曝光时间内提高N*N倍帧频的目的。

综上，本发明实施例提出了一种鲁棒、精确、高效的二值调制的成像加速方法，适用于高速运动场景的计算采集及计算重构***，该方能够对曝光时间内N*N个时刻(N＝2、3、4)的图像进行调制，经过解耦后重建出多张图像，从而能够成倍地提高拍摄视频的帧频。

下面将通过具体实施例对基于二值调制的成像加速方法进行阐述，主要包含以下步骤：

(1)设计空间光调制器(DMD)的掩模：由一系列基本单元重复排列，其基本单元结构为一个N*N(N＝2,3,4…)像素的单元，其中只有一个像素的灰度值为1，其余的像素值为0。

(2)使空间光调制器在单次曝光时间内多次变换调制模板，从而实现对场景的调制，再在探测器上对单次曝光时间积分，获得调制后的场景图。

(3)对使用的空间光调制器的掩模进行傅里叶变换，计算掩模在傅里叶域上的系数，获得图像与不同频率脉冲卷积后的系数。

(4)对获得的调制后的场景图傅里叶变换，获得其频谱，将不同脉冲位置处的复合子频谱分别取出。

(5)联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像，从而实现在一个曝光时间内提高N*N倍帧频的目的。

结合图2所示，下面将通过一个具体示例对基于二值调制的成像加速方法进行进一步阐述，具体如下：

首先，不同时刻的图像在不同时刻通过不同数值孔径的镜头，场景通过镜头后通过空间光调制器DMD调制，再经过一次反射后，成像在探测器靶面上。

其次，探测器在曝光时间内积分获得经过空间光调制器调制后的场景图像(如图3)。如图4所示，图4为空间光调制器的调制模板，在一次曝光时间内，空间光调制器采用多种模板，每个模板为图4的重复排列。其中，图4的第一行从左向右依次为2*2、3*3、4*4掩模的基本单元，第二行分别为2*2，3*3，4*4的基本单元对应的频域图像。

然后，得到空间光调制器调制后的图像后，将已有图像变换到傅里叶域，其频率域的频谱为图5下方，该频谱代表着图像与脉冲卷积后的结果。该频谱为场景经过空间光调制后在频率域的显示。其中，图5的第一行从左向右依次为2*2，3*3，4*4的采集图像，第二行从左向右依次为2*2，3*3，4*4的采集图像对应的频谱。

最后，得到该频率域的数据后，再将不同脉冲位置处的复合子频谱分别取出，再联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像，从而实现在一个曝光时间内提高N*N倍帧频的目的。

根据本发明实施例提出的基于二值调制的成像加速方法，利用二值调制器件的快速调制，在传感器单曝光时间内对快速动态场景进行二值调制耦合，并使用算法从单张拍摄图像中重建多帧动态场景图像，从而实现从一张拍摄图像重建多帧场景图像，达到加速成像的效果，进而能够有效加速传感器成像速度，提高拍摄视频的帧频；并可针对不同数值孔径的光学***设计不同的调制图案，实现不同的加速结果，并同时具有鲁棒、精确、高效的优点。

其次参照附图描述根据本发明实施例提出的基于二值调制的成像加速装置。

图6是本发明一个实施例的基于二值调制的成像加速装置的结构示意图。

如图6所示，该基于二值调制的成像加速装置10包括：获取模块100、调制模块200和反解模块300。

其中，获取模块100用于获取特定二值调制图案；调制模块200用于通过空间光调制器在单曝光时间内对场景进行特定二值调制，并通过传感器耦合采集单张图像；反解模块300用于在频率域上对叠加的不同时刻图像进行反解，以从单张拍摄图像重建多帧场景图像。本发明实施例的装置10能够有效加速传感器成像速度，提高拍摄视频的帧频；并可针对不同数值孔径的光学***设计不同的调制图案，实现不同的加速结果，并同时具有鲁棒、精确、高效的优点。

进一步地，在本发明的一个实施例中，特定二值调制图案由多个基本单元重复排列生成，多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0。

进一步地，在本发明的一个实施例中，调制模块200进一步用于在傅里叶域上对场景不同时刻的多帧图像进行脉冲卷积并求和，得到单张图像。

进一步地，在本发明的一个实施例中，反解模块300进一步用于将图像变换到傅里叶域，并根据特定二值调制图案的傅里叶频谱分布，以将不同脉冲位置处的复合子频谱分别取出，联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像。

进一步地，在本发明的一个实施例中，空间光调制器为薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD或微通道板空间光调制器MSLM。

需要说明的是，前述对基于二值调制的成像加速方法实施例的解释说明也适用于该实施例的基于二值调制的成像加速装置，此处不再赘述。

根据本发明实施例提出的基于二值调制的成像加速装置，利用二值调制器件的快速调制，在传感器单曝光时间内对快速动态场景进行二值调制耦合，并使用算法从单张拍摄图像中重建多帧动态场景图像，从而实现从一张拍摄图像重建多帧场景图像，达到加速成像的效果，进而能够有效加速传感器成像速度，提高拍摄视频的帧频；并可针对不同数值孔径的光学***设计不同的调制图案，实现不同的加速结果，并同时具有鲁棒、精确、高效的优点。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于二值调制的成像加速方法，其特征在于，包括以下步骤：

获取特定二值调制图案，所述特定二值调制图案由多个基本单元重复排列生成，所述多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0；

通过空间光调制器在单曝光时间内对场景进行特定二值调制，并通过传感器耦合采集单张图像，所述通过传感器耦合采集单张图像，包括：在傅里叶域上对场景不同时刻的多帧图像进行脉冲卷积并求和，得到所述单张图像；以及

在频率域上对叠加的不同时刻图像进行反解，以从所述单张拍摄图像重建多帧场景图像，所述在频率域上对叠加的不同时刻图像进行反解，包括：将图像变换到所述傅里叶域，并根据所述特定二值调制图案的傅里叶频谱分布，以将不同脉冲位置处的复合子频谱分别取出，联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像。

2.根据权利要求1所述的方法，其特征在于，所述空间光调制器为薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD或微通道板空间光调制器MSLM。

3.一种基于二值调制的成像加速装置，其特征在于，包括：

获取模块，用于获取特定二值调制图案，所述特定二值调制图案由多个基本单元重复排列生成，所述多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0；

调制模块，用于通过空间光调制器在单曝光时间内对场景进行特定二值调制，并通过传感器耦合采集单张图像，所述调制模块进一步用于在傅里叶域上对场景不同时刻的多帧图像进行脉冲卷积并求和，得到所述单张图像；以及

反解模块，用于在频率域上对叠加的不同时刻图像进行反解，以从所述单张拍摄图像重建多帧场景图像，所述反解模块进一步用于将图像变换到所述傅里叶域，并根据所述特定二值调制图案的傅里叶频谱分布，以将不同脉冲位置处的复合子频谱分别取出，联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像。

4.根据权利要求3所述的装置，其特征在于，所述空间光调制器为薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD或微通道板空间光调制器MSLM。

Images