CN111427048B

CN111427048B - 一种ToF深度测量装置、控制方法及电子设备

Info

Publication number: CN111427048B
Application number: CN202010116700.2A
Authority: CN
Inventors: 王金拴; 王多勇; 李小龙
Original assignee: Orbbec Inc
Current assignee: Orbbec Inc
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2022-08-02
Anticipated expiration: 2040-02-25
Also published as: WO2021169531A1; CN111427048A

Abstract

本发明提供一种ToF深度测量装置、控制方法及电子设备，ToF深度测量装置包括发射模组，包括第一光源和第二光源；采集模组，包括RGB相机和ToF图像传感器，ToF图像传感器与发射模组连接；控制与处理电路，分别与所述发射模组以及所述采集模组连接，用于：提供激活信号至采集模组，使RGB相机产生同步信号、激活ToF图像传感器；根据所述同步信号生成触发信号和高/低电平信号分别提供给ToF图像传感器和发射模组，ToF图像传感器接收触发信号生成脉宽调制信号传输至发射模组。控制采集模组接收经反射回的光束并形成电信号；根据电信号计算相位差以获取距离。减小多路径干扰，可以测量远距离的物体。

Description

一种ToF深度测量装置、控制方法及电子设备

技术领域

本发明涉及深度测量技术领域，尤其涉及一种ToF深度测量装置、控制方法及电子设备。

背景技术

时间飞行（Time of Flight，ToF）深度测量装置是通过计算光束从被发射到经目标物体反射被接收的时间差或相位差来计算目标物体的距离，以获得目标物体的深度数据信息。基于ToF的深度测量装置已经在三维测量、手势控制、机器人导航、安防和监控等领域开始应用。

传统的ToF深度测量装置通常包含一个光源以及相机，光源向目标空间发射泛光光束以提供照明，相机则对反射回的泛光光束进行成像，深度测量装置通过计算光束由发射到反射接收所需要的时间来计算物体的距离。在利用传统的ToF深度测量装置进行距离感测时，一方面由于环境光干扰会影响测量的精度，比如当环境光强度较高甚至淹没光源的泛光时，将很难分辨出光源的光束以至于出现较大的测量误差；另一方面传统的ToF深度测量装置只能够测量近距离的物体。

现有技术中虽然已经有包含非泛光光源和泛光光源的ToF深度测量装置，但是其结构复杂，控制方法也比较复杂。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种ToF深度测量装置、控制方法及电子设备。

为了解决上述问题，本发明采用的技术方案如下所述：

一种ToF深度测量装置，包括：发射模组，包括第一光源和第二光源，用于向目标物体发出光束；采集模组，包括RGB相机和ToF图像传感器，用于接收经所述目标物体反射回的光束并形成电信号，所述ToF图像传感器与所述发射模组连接；控制与处理电路，分别与所述发射模组以及所述采集模组连接，用于：提供激活信号至所述RGB相机和所述ToF图像传感器，分别使所述RGB相机产生同步信号、激活所述ToF图像传感器；接收所述RGB相机根据所述激活信号生成的同步信号，并根据所述同步信号生成触发信号和高/低电平信号；提供所述触发信号至所述ToF图像传感器；提供所述高/低电平信号至所述第一光源和所述第二光源以开启或关闭所述第一光源或所述第二光源；其中，所述ToF图像传感器接收所述触发信号生成脉宽调制信号，并将所述脉宽调制信号传输至所述发射模组，以控制所述第一光源和/或所述第二光源向所述目标物体发出光束；控制所述采集模组接收经所述目标物体反射回的光束并形成电信号；根据所述电信号计算相位差以获取所述目标物体的距离；

在本发明的一种实施例中，所述第一光源为散斑光源，用于发出斑点光束；所述第二光源为泛光光源，用于发出泛光光束。所述散斑光源包括独立开启或同步开启的第一散斑光源和第二散斑光源；所述第一散斑光源和所述第二散斑光源的斑点密度不同。所述斑点光束中的斑点是规则排列的。

本发明还提供一种控制ToF深度测量装置的方法，包括：S1：提供激活信号至采集模组的RGB相机和ToF图像传感器，所述激活信号分别使所述RGB相机生成同步信号，激活所述ToF图像传感器；S2：接收所述RGB相机根据所述激活信号生成的所述同步信号，并根据所述同步信号生成触发信号和高/低电平信号；S3：提供所述触发信号至所述ToF图像传感器，提供所述高/低电平信号至发射模组的第一光源和第二光源以开启或关闭所述第一光源或所述第二光源；S4：控制所述ToF图像传感器接收所述触发信号生成脉宽调制信号，并将所述脉宽调制信号传输至所述发射模组，用于控制所述第一光源和/或所述第二光源向目标物体发出光束；S5：控制所述采集模组接收经所述目标物体反射回的光束并形成电信号；S6：根据所述电信号计算相位差以获取所述目标物体的距离。

在本发明的一种实施例中，所述第一光源为散斑光源，用于发出斑点光束；所述第二光源为泛光光源，用于发出泛光光束。控制所述散斑光源的第一散斑光源和第二散斑光源独立开启或同步开启；所述第一散斑光源和所述第二散斑光源的斑点密度不同。控制所述散斑光源中斑点密度小的散斑光源单独发出光束用于远距测量；控制所述散斑光源中斑点密度大的散斑光源单独发出光束用于近距测量；控制所述第一散斑光源和所述第二散斑光源同时发出光束用于现密集投影。

在本发明的另一种实施例中，控制所述第一光源发出斑点光束以及所述第二光源发出泛光光束用于密集投影。

本发明再提供一种电子设备，包括如上任一所述的ToF深度测量装置。

本发明的有益效果为：提供一种ToF深度测量装置、控制方法及电子设备，通过设置包括第一光源和第二光源的发射模组，以及包括RGB相机和ToF图像传感器的采集装置，以及与发射模组和采集模组配合使用的控制与处理电路，过滤由多路径产生的信号，从而提高有效信号的信噪比，以减小多路径干扰，并且可以测量远距离的物体。

附图说明

图1是本发明实施例中一种ToF深度测量装置的结构示意图。

图2是本发明实施例中又一种ToF深度测量装置的结构示意图。

图3是本发明实施例中一种控制ToF深度测量装置的方法示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为本发明一个实施例中一种ToF深度测量装置10的结构示意图。ToF深度测量装置10包括发射模组11、采集模组12以及分别与发射模组11和采集模组12连接的控制与处理电路13。发射模组11用于向目标物体20发出光束；采集模组12用于接收经目标物体20反射回的光束，并形成电信号；控制与处理电路13根据该电信号计算相位差以获取目标物体20的距离。

发射模组11包括光源以及光源驱动器(图中未示出)等。光源可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。

采集模组12包括ToF图像传感器、透镜单元、还可以包含滤光片(图中未示出)，透镜单元接收并将由目标物体20反射回的至少部分光束成像在至少部分ToF图像传感器上，滤光片需选择与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。ToF图像传感器可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器，阵列大小代表着该深度相机的分辨率，比如320x240等。一般地，与TOF图像传感器连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。

一般地，ToF图像传感器包括至少一个像素，与传统的仅用于拍照的图像传感器相比，这里每个像素则包含两个以上的抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括2个抽头，在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光子，用于接收光信号并转换成电信号。

控制与处理电路13可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中时，智能终端中的处理电路可以作为该控制与处理电路13的至少一部分。

控制与处理电路13用于提供光源发射激光时所需的发射信号，光源在发射信号的控制下向目标物体20发射光束。

此外，控制与处理电路13还提供ToF图像传感器各像素中各抽头的解调信号(采集信号)，抽头在解调信号的控制下采集由包含目标物体20反射回的反射的光束所产生的电信号。该电信号与反射光束的强度相关，控制与处理电路13随后对该电信号进行处理并计算出相位差以获得目标物体20的距离。

图2为本发明一个实施例中又一种ToF深度测量装置30的结构示意图。ToF深度测量装置30包括发射模组11、采集模组12以及分别与发射模组11和采集模组12连接的控制与处理电路13。发射模组11包括第一光源111和第二光源112，用于向目标物体20发出光束；采集模组12包括RGB相机121和ToF图像传感器122，用于接收经目标物体20反射回的光束并形成电信号，且ToF图像传感器122与发射模组11连接；控制与处理电路13，分别与发射模组11以及采集模组12连接，用于分别提供激活信号14至RGB相机121和ToF图像传感器122，激活信号14激活ToF图像传感器122，和，接收RGB相机121根据激活信号14生成的同步信号15并根据同步信号15生成触发信号16和高/低电平信号18，以及，提供触发信号16至ToF图像传感器122，和，提供高/低电平信号18至第一光源111和/或第二光源112以开启或关闭第一光源111和/或第二光源112。其中，ToF图像传感器122接收触发信号16生成脉宽调制信号17，并将脉宽调制信号17传输至发射模组11，用于控制第一光源111和/或第二光源112发出光束。

可以理解的是，RGB相机121接收到激活信号14以后曝光，曝光产生同步信号15传输给控制与处理电路13，控制与处理电路13接收同步信号15并根据同步信号15生成触发信号16和高/低电平信号18。其中，高/低电平信号18用于根据具体需求同步或独立开启或关闭第一光源111或第二光源112。

在本发明的另一个实施例中，控制与处理电路13提供激活信号14至RGB相机121和ToF图像传感器122，激活信号14用于激活ToF图像传感器122，该激活信号14为I2C。RGB相机121接收激活信号14生成同步信号15，该同步信号15为sync，用于同步控制与处理电路13。控制与处理电路13接收同步信号15后，根据应用场景，决定是否要修改ToF图像传感器122的配置参数，比如帧率、曝光时间等，然后，控制与处理电路13根据同步信号15生成触发信号16和高/低电平信号18，该触发信号16为trig，并提供触发信号16至ToF图像传感器122，和，提供高/低电平信号18至第一光源111和第二光源112以同步或独立开启或关闭第一光源111或第二光源112。ToF图像传感器122接收触发信号16生成脉宽调制信号17，该脉宽调制信号17为PWM，并将脉宽调制信号17传输至发射模组11，以控制第一光源111和/或第二光源112向目标物体20发出光束，采集模组12接收经目标物体20反射回来的光束并形成电信号，控制与处理电路13根据该电信号计算相位差以获取目标物体20的距离。

可以理解的是，当控制与处理电路13提供高电平信号18传输至第一光源111和第二光源112，且ToF图像传感器122提供脉宽调制信号17至第一光源111和第二光源112，才能使得第一光源111和第二光源112发出光束。

在一个实施例中，第一光源111为散斑光源，第二光源112是泛光光源，此处不应视为限制，实际上第二光源112是散斑光源，第一光源111是泛光光源也适用于本发明，此处以第一光源111是散斑光源进行说明。第一光源111用于发出斑点光束。该散斑光源包括第一散斑光源和第二散斑光源，第一散斑光源发出的斑点密度较小的光束，第二散斑光源发出的斑点密度较大的光束，且第一散斑光源和第二散斑光源可以独立开启或同步开启。若深度测量装置需要远距测量，且不需要较高的测量分辨率，则控制与处理电路13提供高电平信号18至第一光源111，ToF图像传感器122提供脉宽调制信号17至第一散斑光源，以使得第一散斑光源发出斑点密度较小的光束；若深度测量装置需要近距测量，且需要较高的测量分辨率，则控制与处理电路13提供高电平信号18至第二散斑光源， ToF图像传感器122提供脉宽调制信号17至第二散斑光源，以使得第二散斑光源发出斑点密度较大的光束。可以理解的是，当深度测量装置需要更高的测量分辨率时，可以同步开启第一散斑光源和第二散斑光源，以实现密集投影，从而采集到更多有效深度数据。

在一个实施例中，若深度测量装置需要极高的测量分辨率，控制与处理电路13提供高电平信号18至第一光源111和第二光源112，ToF图像传感器122提供脉宽调制信号17至第一光源111和第二光源112，以使得第一光源111发出斑点光束以及第二光源112发出泛光光束，如此，能够实现更密集的投影，以获取更多有效深度数据。

可以理解的是，若单独控制第一散斑光源发出密度较小的斑点光束，由于各斑点光束的光强度较高，可以测量的距离最远；若同时控制第一光源111和第二光源112发出光束，能够实现更密集的投影，以获取更多有效深度数据。

传统的ToF深度测量装置一般采用泛光照明，由于泛光光束密集，测量距离有限，且容易产生多路径干扰，从而导致测量产生误差。在本发明中，第一光源111发出斑点光束，由于斑点光束空间分布较为稀疏且各斑点的能量更集中，直接照射强度高于多路径反射回的强度，因此可以过滤由多路径产生的信号，从而提高有效信号的信噪比，以减小多路径干扰，并且可以测量远距离的物体。

可以理解的是，第一光源111发出的斑点图案中的斑点可以规则排列，也可以不规则排列。斑点的大小可以配置成2个像素单元大小、3个像素单元大小等，且形状可以为圆形、椭圆形等，在此对其不做任何的限制。

一种电子设备，包括如上所述的ToF深度测量装置，可以理解的是，此处的电子设备包括手机、笔记本电脑、人体可穿戴设备等，在这些电子设备中本身有RGB相机，所以本发明的ToF深度测量装置融合到电子设备中时，可以使用电子设备本身具有的RGB相机，使ToF深度测量装置获取更高精度、测量更远距离的深度图像。更进一步的，RGB相机的RGB图像可以与ToF深度测量装置的深度图像进一步融合得到RGB-D图像。可以理解的是，采用本发明的装置或方法得到的深度图像进一步融合得到RGB-D图像以及其应用均应该视为本发明的保护范围，此处不做赘述。图3为本发明一实施例中一种控制ToF深度测量装置的方法流程图，包括如下步骤：

S301，提供激活信号至采集模组的RGB相机和ToF图像传感器，所述激活信号分别使所述RGB相机生成同步信号，激活所述ToF图像传感器；

S302，接收所述RGB相机根据所述激活信号生成的所述同步信号，并根据所述同步信号生成触发信号和高/低电平信号；

S303，提供所述触发信号至所述ToF图像传感器；提供所述高/低电平信号至发射模组的第一光源和第二光源以开启或关闭所述第一光源或所述第二光源；

S304，控制所述ToF图像传感器接收所述触发信号生成脉宽调制信号，并将所述脉宽调制信号传输至所述发射模组，用于控制所述第一光源和/或所述第二光源向目标物体发出光束；

S305，控制所述采集模组接收经所述目标物体反射回的光束并形成电信号；

S306，根据所述电信号计算相位差以获取所述目标物体的距离。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种ToF深度测量装置，其特征在于，包括：

发射模组，包括第一光源和第二光源，用于接收控制与处理电路的高/低电平信号和ToF图像传感器的脉宽调制信号后向目标物体发出光束；所述光束包括散斑光束和泛光光束；

采集模组，包括RGB相机和所述ToF图像传感器，用于接收经所述目标物体反射回的光束并形成电信号，所述ToF图像传感器与所述发射模组连接；

所述控制与处理电路，分别与所述发射模组以及所述采集模组连接，用于：

提供激活信号至所述RGB相机和所述ToF图像传感器，分别使所述RGB相机产生同步信号、激活所述ToF图像传感器；

接收所述RGB相机根据所述激活信号生成的同步信号，并根据所述同步信号生成触发信号和高/低电平信号；

提供所述触发信号至所述ToF图像传感器；

提供所述高/低电平信号至所述第一光源和所述第二光源以开启或关闭所述第一光源或所述第二光源；

其中，所述ToF图像传感器接收所述触发信号生成所述脉宽调制信号，并将所述脉宽调制信号传输至所述发射模组，以控制所述第一光源和所述第二光源向所述目标物体发出光束；

控制所述采集模组接收经所述目标物体反射回的光束并形成电信号；

根据所述电信号计算相位差以获取所述目标物体的距离。

2.如权利要求1所述的ToF深度测量装置，其特征在于，所述第一光源为散斑光源，用于发出斑点光束；所述第二光源为泛光光源，用于发出泛光光束。

3.如权利要求2所述的ToF深度测量装置，其特征在于，所述散斑光源包括独立开启或同步开启的第一散斑光源和第二散斑光源；所述第一散斑光源和所述第二散斑光源的斑点密度不同。

4.如权利要求2所述的ToF深度测量装置，其特征在于，所述斑点光束中的斑点是规则排列的。

5.一种控制ToF深度测量装置的方法，其特征在于，采用如权利要求1-4任一所述的装置，包括：

S1：提供激活信号至采集模组的RGB相机和ToF图像传感器，所述激活信号分别使所述RGB相机生成同步信号，激活所述ToF图像传感器；

S2：接收所述RGB相机根据所述激活信号生成的所述同步信号，并根据所述同步信号生成触发信号和高/低电平信号；

S3：提供所述触发信号至所述ToF图像传感器，提供所述高/低电平信号至发射模组的第一光源和第二光源以开启或关闭所述第一光源或所述第二光源；

S4：控制所述ToF图像传感器接收所述触发信号生成脉宽调制信号，并将所述脉宽调制信号传输至所述发射模组，用于控制所述第一光源和所述第二光源向目标物体发出光束；

S5：控制所述采集模组接收经所述目标物体反射回的光束并形成电信号；

S6：根据所述电信号计算相位差以获取所述目标物体的距离。

6.如权利要求5所述的控制ToF深度测量装置的方法，其特征在于，所述第一光源为散斑光源，用于发出斑点光束；所述第二光源为泛光光源，用于发出泛光光束。

7.如权利要求6所述的控制ToF深度测量装置的方法，其特征在于，控制所述散斑光源的第一散斑光源和第二散斑光源独立开启或同步开启；所述第一散斑光源和所述第二散斑光源的斑点密度不同。

8.如权利要求7所述的控制ToF深度测量装置的方法，其特征在于，控制所述散斑光源中斑点密度小的散斑光源单独发出光束用于远距测量；

控制所述散斑光源中斑点密度大的散斑光源单独发出光束用于近距测量；

控制所述第一散斑光源和所述第二散斑光源同时发出光束用于现密集投影。

9.如权利要求6-8任一所述的控制ToF深度测量装置的方法，其特征在于，控制所述第一光源发出斑点光束以及所述第二光源发出泛光光束用于密集投影。

10.一种电子设备，其特征在于，包括如权利要求1-4任一所述的ToF深度测量装置。