CN113645459B - 一种高动态3d成像方法及装置、电子设备、存储介质 - Google Patents

Abstract

本发明公开了一种高动态3D成像方法及装置、电子设备、存储介质，该方法包括：获取深度相机采集的一张目标场景的灰度信息；根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制；在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；根据所述若干张相位信息，获得目标场景的深度信息。本发明将深度相机和空间光调制器结合，依据灰度信息进行空间光调控获得均匀强度的成像图像，提升***的测量动态范围，避免多次曝光带来的帧率和时效性的缺失。

Description

一种高动态3D成像方法及装置、电子设备、存储介质

技术领域

本申请涉及成像技术领域，尤其涉及一种高动态3D成像方法及装置、电子设备、存储介质。

背景技术

深度相机可以用来感知环境的三维深度信息，因此被广泛应用于移动机器人导航，航天、航空，增强现实，测绘等领域。目前深度相机领域分为以结构光深度相机和飞行时间深度相机为代表的主动式深度相机和以双目相机为代表的被动式深度相机。相比于被动式深度相机，主动式深度相机不需要大量计算就可以获取真实环境的距离信息，并且获取的距离信息更为可靠。

目前主动式深度相机主要分为光飞行时间深度相机和结构光深度相机。以光飞行时间深度相机为例，光飞行时间深度相机主要存在空间感知时受反射光信号的强度影响，反射光信号的强度与目标物体的反射率和空间距离有关。有效的深度信息，一般要求反馈光信号强度不能过曝导致测距错误，同时也不能过低导致测距信息被噪声淹没。实现这种效果最常见的方法是进行多次曝光，但是多次曝光必然带来测量帧率和时效性的缺失。

发明内容

本申请实施例的目的是提供一种高动态3D成像方法及装置、电子设备、存储介质，以解决相关技术中存在的多次曝光带来的帧率和时效性的缺失的技术问题。

根据本申请实施例的第一方面，提供一种高动态3D成像方法，包括：

获取深度相机采集的一张目标场景的灰度信息；

根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制；

在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；

根据所述若干张相位信息，获得目标场景的深度信息。

根据本申请实施例的第二方面，提供一种高动态3D成像装置，包括：

第一获取模块，用于获取深度相机采集的一张目标场景的灰度信息；

控制模块，用于根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制；

第二获取模块，用于在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；

成像模块，用于根据所述若干张相位信息，获得目标场景的深度信息。

根据本申请实施例的第三方面，提供一种高动态3D成像装置，其特征在于，包括：

深度相机，用于采集一张目标场景的灰度信息，以及在被空间光调制器进行空间光调制后，采集若干张目标场景的相位信息；

空间光调制器，用于对所述深度相机进行空间光调制；

计算模块，用于获取所述深度相机采集的一张目标场景的灰度信息，根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制，在所述深度相机进行空间光调制后，获取所述深度相机采集的若干张目标场景的相位信息，根据所述若干张相位信息，获得目标场景的深度信息。

根据本申请实施例的第四方面，提供一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

根据本申请实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如第一方面所述方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本申请实施例将深度相机和空间光调制器结合进行空间深度感知，效率高、实现简单；采用空间光调制器进行空间照明调制，只需要采集单张图便可以获得高动态范围的深度信息，计算复杂度降低；本申请实施例可以在原始相位图上进行物理空间光调制，其优化测量范围可达2个数量级，同时不降低深度信息输出帧率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种高动态3D成像方法的流程图。

图2是根据一示例性实施例示出的步骤S14的流程图。

图3是根据一示例性实施例示出的一种高动态3D成像装置的结构示意图。

图4是根据一示例性实施例示出的一种高动态3D成像装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

图1是根据一示例性实施例示出的一种高动态3D成像方法的流程图，如图1所示，可以包括以下步骤：

步骤S11，获取深度相机采集的一张目标场景的灰度信息；

步骤S12，根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制；

步骤S13，在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；

步骤S14，根据所述若干张相位信息，获得目标场景的深度信息。

由上述实施例可知，本申请实施例将深度相机和空间光调制器结合进行空间深度感知，效率高、实现简单；采用空间光调制器进行空间照明调制，只需要采集单张图便可以获得高动态范围的深度信息，计算复杂度降低；本申请实施例可以在原始相位图上进行物理空间光调制，其优化测量范围可达2个数量级，同时不降低深度信息输出帧率。

在步骤S11的具体实施中，获取深度相机采集的一张目标场景的灰度信息；

具体地，将深度相机配置成灰度采集模式，即深度相机处于非解调曝光模式，同时深度相机的光源处于直流曝光模式，由对深度相机目标场景进行主动照明下进行成像，获得目标场景的灰度信息。本实例的所述深度相机包括成像镜头、照明光源以及深度传感器，所述照明光源布置在所述成像镜头旁，提供照明，所述深度传感器布置在所述成像镜头后。

获取深度相机采集的一张目标场景的灰度信息，将所采集的灰度信息传输至FPGA。

在步骤S12的具体实施中，根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制；

具体地，FPGA对所述灰度信息进行解析，得到视频信号，对所述视频信号进行调整，调整好的信号输入到所述空间光调制器中对所述深度相机进行空间光调制。通过空间光调制器可对所述深度相机曝光过度的区域降低光强透过率，对曝光缺乏的区域增加光强透过率，从而能够获得均匀曝光的目标场景图像。所述空间光调制器布置在所述深度传感器和所述成像镜头之间，所述FPGA与所述深度传感器相连，接收所述数字信号，将该数字信号转变为目标场景亮度信号，用以表征目标场景的照明情况。通过在深度传感器和成像镜头之间安置空间光调制器，实现整个成像区域的光调控，提高相机的动态范围。

所述空间光调制器可以采用液晶板、可调衰减片、DMD等，本实例以液晶板为例进行说明，FPGA将目标场景亮度信号输送至液晶板，所述液晶板输出的亮度信号分为行、场两个同步信号以及送至液晶驱动板的输入端视频信号，完成对液晶板的驱动和控制。通过独立控制每个像素的光强透过率来实现画幅透过率局部调控，液晶板像素与深度传感器像素相吻合且保持一一对应。从而液晶板可对每个像素点的光强进行实时调控，像素的实时调控强度由FPGA根据所述目标场景的灰度信息以及先设置的阈值进行控制和调整。

对所述视频信号进行调整包括矫正、增益和偏压的调整，调整好的信号输入到液晶驱动板中直接输入到液晶屏板，进行矫正的意义在于提高视频信号质量。

由于像素透过率调控原理的特殊性，需要在液晶板上显示一幅与原图像灰阶相反的灰度图像（对应的灰度信息）。原图像中比较亮的区域，液晶板相对应的区域的亮度就较低；原图像中比较黑的区域，液晶板相对应的区域的亮度就较高。由此来精确调节最终图像的每个像素点的灰度。

进一步地，为了尽可能准确地对光强信息进行调控，所述目标场景的灰度信息应当尽可能强，同时尽量不过曝地展现出来。

在步骤S13的具体实施中，在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；

具体地，在所述深度相机进行空间光调制后，将深度相机配置成深度采集模式，即深度相机处于解调曝光模式，同时深度相机的光源处于调制曝光模式，由此采集若干张目标场景的相位信息。

对于正弦调制的TOF相机，需要同时采集至少四张不同相位的相位图才可以反馈出目标场景的深度信息。对于方波调制的TOF相机，则需要采集至少三张目标场景的照度信息才可以计算出深度信息。

在步骤S14的具体实施中，根据所述若干张相位信息，获得目标场景的深度信息；

具体地，图2是根据一示例性实施例示出的步骤S14的流程图，参考图2，该步骤可以包括以下子步骤：

步骤S141，根据所述若干张相位信息，计算得到每个像素上光往返的相位差；

具体地，对于正弦调制的TOF相机，需要同时采集四张不同相位的相位图才可以反馈出目标场景的深度信息；对于方波调制的TOF相机，则需要采集三张目标场景的照度信息才可以计算出往返光的相位差；

步骤S142，根据所述相位差，反推得到光飞行时间；

具体地，光飞行时间t、相位差ΔΦ与调制频率f之间存在如下关系：

将相位差ΔΦ与调制频率f带入上面的公式，即可得到光飞行时间t。

步骤S143，根据所述光飞行时间，计算得到目标场景的深度信息。

具体地，光速与飞行时间乘积的一般即为目标点的深度值。

图3是根据一示例性实施例示出的一种高动态3D成像装置的结构示意图。如图3所示，本发明实施例还提供一种高动态3D成像装置，该装置可包括：

深度相机10，用于采集一张目标场景的灰度信息，以及在被空间光调制器进行空间光调制后，采集若干张目标场景的相位信息；

空间光调制器20，用于对所述深度相机进行空间光调制；

计算模块30，用于获取所述深度相机采集的一张目标场景的灰度信息，根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制，在所述深度相机进行空间光调制后，获取所述深度相机采集的若干张目标场景的相位信息，根据所述若干张相位信息，获得目标场景的深度信息。

具体地，所述深度相机10包括成像镜头11、照明光源12以及深度传感器13，所述照明光源12布置在所述成像镜头11旁，提供照明，所述深度传感器13布置在所述成像镜头11后。

所述空间光调制器20布置在所述深度传感器13和所述成像镜头11之间，所述计算模块30采用FPGA，本实例空间光调制器20选用液晶板为例进行说明，液晶板配备液晶驱动器，两者相连，所述FPGA分别与所述深度传感器13和液晶驱动器相连，通过在深度传感器13和成像镜头11之间安置液晶板，可实现整个成像区域的光调控，提高相机的动态范围。

关于上述实施例中的装置，其中深度相机10、空间光调制器20以及计算模块30执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种高动态3D成像装置框图。参照图4，该装置包括：

第一获取模块21，用于获取深度相机采集的一张目标场景的灰度信息；

控制模块22，用于根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制；

第二获取模块23，用于在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；

成像模块24，用于根据所述若干张相位信息，获得目标场景的深度信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种高动态3D成像方法。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的一种高动态3D成像方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种高动态3D成像方法，其特征在于，包括：

获取深度相机采集的一张目标场景的灰度信息；

根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制，以使得对所述深度相机曝光过度的区域降低光强透过率，对曝光缺乏的区域增加光强透过率；

在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；

根据所述若干张相位信息，获得目标场景的深度信息。

2.根据权利要求1所述的方法，其特征在于，获取深度相机采集的一张目标场景的灰度信息，包括：

获取深度相机采集的一张目标场景的灰度信息，其中所述深度相机处于非解调曝光模式，同时深度相机的光源处于直流曝光模式。

3.根据权利要求1所述的方法，其特征在于，根据所述灰度信息，通过空间光调制器对所述深度相机进行空间光调制，包括：

对所述灰度信息进行解析，得到视频信号，对所述视频信号进行调整，调整好的信号输入到所述空间光调制器中对所述深度相机进行空间光调制。

4.根据权利要求1所述的方法，其特征在于，在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息，包括：

获取深度相机采集的若干张目标场景的相位信息，其中所述深度相机处于解调曝光模式，同时所述深度相机的光源处于调制曝光模式。

5.根据权利要求1所述的方法，其特征在于，根据所述若干张相位信息，获得目标场景的深度信息，包括：

根据所述若干张相位信息，计算得到每个像素上光往返的相位差；

根据所述相位差，反推得到光飞行时间；

根据所述光飞行时间，计算得到目标场景的深度信息。

6.一种高动态3D成像装置，其特征在于，包括：

第一获取模块，用于获取深度相机采集的一张目标场景的灰度信息；

控制模块，用于根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制，以使得对所述深度相机曝光过度的区域降低光强透过率，对曝光缺乏的区域增加光强透过率；

第二获取模块，用于在所述深度相机进行空间光调制后，获取深度相机采集的若干张目标场景的相位信息；

成像模块，用于根据所述若干张相位信息，获得目标场景的深度信息。

7.根据权利要求6所述的装置，其特征在于，根据所述灰度信息，通过空间光调制器对所述深度相机进行空间光调制，包括：

对所述灰度信息进行解析，得到视频信号，对所述视频信号进行调整，调整好的信号输入到所述空间光调制器中对所述深度相机进行空间光调制。

8.一种高动态3D成像装置，其特征在于，包括：

深度相机，用于采集一张目标场景的灰度信息，以及在被空间光调制器进行空间光调制后，采集若干张目标场景的相位信息；

空间光调制器，用于对所述深度相机进行空间光调制，以使得对所述深度相机曝光过度的区域降低光强透过率，对曝光缺乏的区域增加光强透过率；

计算模块，用于获取所述深度相机采集的一张目标场景的灰度信息，根据所述灰度信息，控制空间光调制器对所述深度相机进行空间光调制，在所述深度相机进行空间光调制后，获取所述深度相机采集的若干张目标场景的相位信息，根据所述若干张相位信息，获得目标场景的深度信息。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。

Images