CN111458692B - 深度信息处理方法及其***和电子设备 - Google Patents

Abstract

一种深度信息处理方法及其***和电子设备。该深度信息处理方法包括步骤：获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成一完整的目标视场；和根据该多个视场分区的分区排布，拼接地处理该多个分区深度信息，以得到对应于该目标视场的完整深度信息。

Description

深度信息处理方法及其***和电子设备

技术领域

本发明涉及TOF技术领域，尤其是涉及深度信息处理方法及其***和电子设备。

背景技术

目前，在三维传感技术的主流方案中，TOF(飞行时间)技术依靠体积小、误差低、直接输出深度数据与抗干扰性强等优势受到诸如智能手机等行业的广泛关注和应用。从技术实现方式来分，TOF有两种：一种是直接测距TOF(简称dTOF)，即通过发射、接收光，并测量光子飞行时间从而确定距离；另一种是市面上很成熟的非直接测距TOF(iTOF)，即通过测量发射波形和接收波形之间的相位差换算飞行时间从而确定距离。而直接测距法通过对光进行高频调制之后再进行发射，脉冲重频非常高，脉宽能达到ns至ps量级，能够在极短的时间内获得很高的单脉冲能量，在保持电源低功耗的同时还能够增加信噪比，能够实现较远的探测距离，减少环境光对测距精度的影响，降低了对检测器件的灵敏度和信噪比的要求。另外，直接测距TOF的高频率、窄脉宽的特性使其平均能量很小，能够保证人眼安全。

然而，现有的直接测距TOF的探测距离与功耗成正比，也就是说，直接测距 TOF的探测距离越远，所需的功耗就越高，这就使得现有的直接测距TOF为了能够实现较远距离的探测以满足诸如VR/AR等应用场景的需要，不得不配置较高功率的光源，导致现有的直接测距TOF往往在较高功耗的情况下进行近距离和远距离的探测，进而造成资源浪费，影响TOF技术的应用和推广。

发明内容

本发明的一优势在于提供一深度信息处理方法及其***和电子设备，其能够经由分区TOF采集的多个分区深度信息进行处理，以便得到目标视场的完整深度信息，进而实现所述分区TOF在较低功耗下的远距离探测。

本发明的另一优势在于提供一深度信息处理方法及其***和电子设备，其中，在本发明的一实施例中，所述深度信息处理方法能够将不同时刻采集的不同视场分区的深度信息合并处理成整个目标视场的深度深度信息，以便允许所述分区TOF在同一时刻仅对较小的视场分区进行探测，有助于降低远距离探测所需的功耗。

本发明的另一优势在于提供一深度信息处理方法及其***和电子设备，其中，在本发明的一实施例中，所述深度信息处理方法能够将深度信息进一步将经由分区TOF采集的深度信息融合至二维彩色图像以获得三维彩色图像，便于在 AR/VR中得到广泛的应用。

本发明的另一优势在于提供一深度信息处理方法及其***和电子设备，其中，在本发明的一实施例中，所述深度信息处理方法能够提高数据处理效率，缩短处理时间，以便满足当下诸如AR/VR产品等电子设备的实时性需求。

本发明的另一优势在于提供一深度信息处理方法及其***和电子设备，其中为了达到上述优势，在本发明中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本发明成功和有效地提供一解决方案，不只提供一深度信息处理方法及其***和电子设备，同时还增加了所述深度信息处理方法及其***和电子设备的实用性和可靠性。

为了实现上述至少一优势或其他优势和目的，本发明提供了深度信息处理方法，包括步骤：

获取多个分区深度信息，其中所述多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且所述多个视场分区共同形成一完整的目标视场；和

根据所述多个视场分区的分区排布，拼接地处理所述多个分区深度信息，以得到对应于所述目标视场的完整深度信息。

在本发明的一实施例中，所述分区TOF按照一定时序对不同的所述视场分区进行探测，以在不同时刻获得不同的所述分区深度信息。

在本发明的一实施例中，所述分区TOF的光源单元被划分成特定排布的多个光源分区，其中所述光源分区与所述视场分区一一对应，并且所述光源分区按照一定时序被分区地点亮以照明对应的所述视场分区。

在本发明的一实施例中，所述的深度信息处理方法，进一步包括步骤：

获取所述目标视场的颜色信息，其中所述颜色信息是通过常规摄像模组拍摄所述目标视场而获得的；和

融合地处理所述完整深度信息和所述颜色信息，以得到所述目标视场的三维彩色图像。

在本发明的一实施例中，所述常规摄像模组为RGB相机。

在本发明的一实施例中，在所述获取所述目标视场的颜色信息，其中所述颜色信息是通过常规摄像模组拍摄所述目标视场而获得的的步骤中：

所述颜色信息是在所述分区TOF探测所述视场分区的间隙经由所述常规摄像模组拍摄所述目标视场而获得的。

在本发明的一实施例中，在所述融合地处理所述完整深度信息和所述颜色信息，以得到所述目标视场的三维彩色图像的步骤中：

基于所述常规摄像模组与所述分区TOF之间的外参，将所述完整深度信息融合至所述颜色信息，以获得所述三维彩色图像。

在本发明的一实施例中，在所述根据所述多个视场分区的分区排布，拼接地处理所述多个分区深度信息，以得到对应于所述目标视场的完整深度信息的步骤之前，进一步包括步骤：

分别对对应的所述分区深度信息进行畸变矫正，以得到矫正后的分区深度信息。

根据本发明的另一方面，本发明进一步提供了一深度信息处理方法，包括步骤：

获取目标视场的颜色信息，其中所述颜色信息是通过常规摄像模组拍摄所述目标视场而获得的；

获取多个分区深度信息，其中所述多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且所述多个视场分区共同形成所述目标视场；以及

将多个所述分区深度信息分别与所述颜色信息进行融合处理，以得到所述目标视场的三维彩色图像。

在本发明的一实施例中，在所述将多个所述分区深度信息分别与所述颜色信息进行融合处理，以得到所述目标视场的三维彩色图像的步骤中：

按照所述分区TOF对所述视场分区的探测时序，依次将对应的所述分区深度信息融合至所述颜色信息，以获得所述三维彩色图像。

在本发明的一实施例中，在所述将多个所述分区深度信息分别与所述颜色信息进行融合处理，以得到所述目标视场的三维彩色图像的步骤中：

在通过所述分区TOF获得每一个所述分区深度信息之后，立刻将相应的所述分区深度信息与所述颜色信息进行融合处理，以在最后获得的一个所述分区深度信息被融合至所述颜色信息后，获得所述三维彩色图像。

根据本发明的另一方面，本发明进一步提供了一深度信息处理***，包括相互可通信地连接的：

一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成一完整的目标视场；和

一拼接处理模块，用于根据该多个视场分区的分区排布，拼接地处理该多个分区深度信息，以得到对应于该目标视场的完整深度信息。

在本发明的一实施例中，所述的深度信息处理***，进一步包括相互可通信地连接的：

一颜色信息获取模块，用于获取该目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；和

一同时融合处理模块，用于融合地处理该完整深度信息和该颜色信息，以得到该目标视场的三维彩色图像。

在本发明的一实施例中，所述的深度信息处理***，进一步包括一畸变矫正模块，用于分别对对应的该分区深度信息进行畸变矫正，以得到矫正后的分区深度信息。

根据本发明的另一方面，本发明进一步提供了一深度信息处理***，包括相互可通信地连接的：

一颜色信息获取模块，用于获取目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；

一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成该目标视场；以及

一分时融合处理模块，用于将多个该分区深度信息依次与该颜色信息进行融合处理，以得到该目标视场的三维彩色图像。

根据本发明的另一方面，本发明进一步提供了一电子设备，包括：

至少一处理器，用于执行指令；和

与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行深度信息处理方法中的部分或全部步骤，其中所述深度信息处理方法包括步骤：

获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成一完整的目标视场；和

根据该多个视场分区的分区排布，拼接地处理该多个分区深度信息，以得到对应于该目标视场的完整深度信息。

根据本发明的另一方面，本发明进一步提供了一电子设备，包括：

一电子设备本体；

至少一分区TOF，其中所述分区TOF被配置于所述电子设备本体，用于通过所述分区TOF对一目标视场进行分区探测；以及

至少一深度信息处理***，其中所述深度信息处理***被配置于所述电子设备本体或所述分区TOF，并且所述深度信息处理***包括相互可通信地连接的：

一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过所述分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成完整的该目标视场；和

一拼接处理模块，用于根据该多个视场分区的分区排布，拼接地处理该多个分区深度信息，以得到对应于该目标视场的完整深度信息。

在本发明的一实施例中，所述的电子设备，进一步包括一常规摄像模组，其中所述常规摄像模组被配置于所述电子设备本体，用于通过所述常规摄像模组对该目标视场进行拍摄；其中所述深度信息处理***进一步包括相互可通信地连接的一颜色信息获取模块和一同时融合处理模块，其中所述颜色信息获取模块用于获取该目标视场的颜色信息，其中所述颜色信息是通过所述常规摄像模组拍摄该目标视场而获得的；其中所述同时融合处理模块用于融合地处理该完整深度信息和该颜色信息，以得到该目标视场的三维彩色图像。

根据本发明的另一方面，本发明进一步提供了一电子设备，包括：

一电子设备本体；

至少一常规摄像模组，其中所述常规摄像模组被配置于所述电子设备本体，用于通过所述常规摄像模组对一目标视场进行拍摄；

至少一分区TOF，其中所述分区TOF被配置于所述电子设备本体，用于通过所述分区TOF对该目标视场进行探测；以及

至少一深度信息处理***，其中所述深度信息处理***被配置于所述电子设备本体或所述分区TOF，并且所述深度信息处理***包括相互可通信地连接的：

一颜色信息获取模块，用于获取目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；

一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成该目标视场；以及

一分时融合处理模块，用于将多个该分区深度信息依次与该颜色信息进行融合处理，以得到该目标视场的三维彩色图像。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一第一实施例的深度信息处理方法的流程示意图。

图2示出了根据本发明的上述第一实施例中分区TOF的分区照明的一个示例。

图3示出了根据本发明的上述第一实施例的所述分区TOF的光源分区的一个示例。

图4是根据本发明的一第二实施例的深度信息处理方法的流程示意图。

图5示出了根据本发明的一实施例的深度信息处理***的框图示意图。

图6示出了根据本发明的另一实施例的深度信息处理***的框图示意图。

图7示出了根据本发明的一实施例的一电子设备的框图示意图。

图8示出了根据本发明的一实施例的另一电子设备的结构示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。

在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

示意性方法

参考说明书附图之图1至图3所示，根据本发明的一实施例的一种深度信息处理方法被阐明。具体地，如图1所示，所述深度信息处理方法，包括步骤：

S110：获取多个分区深度信息，其中多个所述分区深度信息是通过分区TOF 按照一定时序分别探测多个视场分区而获得的，并且多个所述视场分区共同形成一完整的目标视场；和

S120：根据多个所述视场分区的分区排布，拼接地处理多个所述分区深度信息，以得到对应于所述目标视场的完整深度信息。

值得注意的是，由于整个所述目标视场由多个所述视场分区形成，使得每个所述视场分区的面积均小于整个所述目标视场；与此同时，所述分区TOF按照一定时序对不同的所述视场分区进行探测，使得所述分区TOF在不同时刻对不同的视场分区进行探测，因此相对于现有的常规TOF同时对整个所述目标视场进行探测的方式，本发明的所述分区TOF仅需要较低的功耗就能够实现对整个所述目标视场的探测，这不仅使得所述分区TOF在消费电子领域有显见的应用潜力，可以用于智能手机，获取外界长距离范围内的真实三维信息，实现多种AR级应用，创造新的卖点；而且还可以用于VR/AR中，以满足不断提升的对动作捕捉和识别的需求。此外，除了消费电子领域，所述分区TOF还可以支持各种功能，包括各种创新用户界面的手势感测或接近检测，诸如在计算机、家用电器和工业自动化、服务机器人、无人机、物联网等领域，都有广阔的应用前景。

换言之，当所述目标视场被划分为N个面积相等的所述视场分区时，相比于现有的常规TOF同时对整个所述目标视场进行探测，本发明所采用的所述分区 TOF在完成同样距离探测时所需的功耗仅为现有功耗的N分之一倍；并且本发明所采用的所述分区TOF在消耗同样功耗时的探测距离可达到现有距离的N倍，也就是说，本发明所采用的所述分区TOF能够在较低功耗的情况下实现较远距离的探测，有助于扩大TOF的探测范围。

更具体地，本发明的所述分区TOF的光源单元被划分成特定排布的多个光源分区，其中所述光源分区与所述视场分区一一对应，以便按照一定时序分区地点亮所述光源分区，进而通过所述分区TOF的所述光源分区分别照明对应的所述视场分区。与此同时，所述分区TOF的接收单元接收分别从各个该视场分区反射回的光信号，以通过测量光信号的飞行时间来确定各个该视场分区的深度信息(即所述分区深度信息)；最后，通过对多个所述分区深度信息进行拼接处理以获得整个所述目标视场的深度信息(即完整深度信息)，从而实现所述分区TOF在低功耗的情况下对整个该目标视场进行远距离的探测。

优选地，相邻的所述光源分区互不重叠，并且相邻的所述视场分区互不重叠，以避免出现重复探测的区域，有助于进一步降低功耗。这样，本发明的所述深度信息处理方法无需裁剪任何深度信息，只需按照所述视场分区的特定排布就能够容易地将多个所述分区深度信息拼接成一个完整的信息。特别地，相邻的所述视场分区边对边的重合，以在避免相邻的所述视场分区之间发生重叠的同时，还能够避免相邻的所述视场分区之间出现空隙而存在无法被探测到的区域，以便全面地探测整个所述目标视场，不留死角。

更优选地，所述分区TOF的所述光源单元被均匀地划分成n*m个所述光源分区，以使不同的所述光源分区所占的面积均相同；相应地，不同的所述视场分区所占的面积也相同，以便所述深度信息处理方法对不同时刻获取的多个所述分区深度信息进行拼接而整合成所述目标视场的完整深度信息。换言之，所有的所述光源分区按照n行m列进行排布，并且所述光源分区具有矩形形状，例如，在本发明的一示例中，所述光源单元可以被均匀地划分成2*2个矩形光源分区；当然，在本发明的其他示例中，所述光源单元也可以被均匀地划分成诸如4*4、2*6或者1*12等等之类个矩形光源分区。

示例性地，如图2和图3所示，以2*2个所述光源分区为例，所述分区TOF 的所述光源单元10包括四个所述光源分区11，其中每个所述光源分区11可以包括呈阵列分布的多个点光源111。当四个所述光源分区11依次被点亮以发射光信号时，在不同时刻发射的光信号将穿过所述直接测距TOF的匀光单元20的不同部位以被匀光后，进而传播至所述目标视场30中对应的所述视场分区31 以被反射回所述分区TOF的所述接收单元(图中未示出)；最后，经由所述接收单元在不同时刻接收到从不同的所述视场分区31内反射回的光信号，以通过测量光信号的飞行时间来确定对应的所述视场分区31的距离，即获得相应的所述分区深度信息。

特别地，所述分区TOF的所述光源单元10可以但不限于被实施为垂直腔面发射激光器(英文vertical-cavity surface-emitter laser；简称VCSEL)。而所述分区TOF的所述匀光单元20可以但不限于被实施为诸如随机规则微透镜阵列或衍射光学元件等等匀光器件。

值得注意的是，在本发明的另一示例中，所述分区TOF的所述光源单元也可以被非均匀地划分成n*m个所述光源分区，以使不同的所述光源分区所占的面积不一定相同；相应地，不同的所述视场分区所占的面积也不一定相同，有助于根据具体的探测场景来划分不同的视场分区。

此外，在实际应用中，例如AR或VR应用领域，除了需要获得所述目标视场的深度信息，还会需要所述目标视场的颜色信息，以便满足后续的三维场景建模或信息识别等需求。因此，如图1所示，本发明的所述深度信息处理方法，可以进一步包括步骤：

S130：获取所述目标视场的颜色信息，其中所述颜色信息是通过常规摄像模组拍摄所述目标视场而获得的；和

S140：融合地处理所述完整深度信息和所述颜色信息，以得到所述目标视场的三维彩色图像。

优选地，所述常规摄像模组可以被实施为RGB相机，以通过所述RGB相机完整地拍摄所述目标视场来获得所述目标视场的RGB图像(即所述目标视场的颜色信息)。这样，本发明的所述深度信息处理方法就能够基于所述常规摄像模组与所述分区TOF之间的外参(即两者之间的相对位姿等等)，将所述完整深度信息融合至所述颜色信息，以获得所述目标视场的三维彩色图像。

值得注意的是，如果在所述分区TOF的所述光源单元的所述光源分区发射光信号的同时，所述常规摄像模组拍摄所述目标视场以获得相应的所述颜色信息。这会使所述常规摄像模组受到所述分区TOF发射的光信号的干扰，导致所获得的所述颜色信息将发生色差，进而影响后续的三维场景还原或AR/VR等等应用的需求效果。

因此，在本发明的这个实施例中，所述颜色信息优选地在所述分区TOF探测所述视场分区的间隙经由所述常规摄像模组拍摄所述目标视场而获得，以避免所述常规摄像模组受到所述分区TOF的干扰，进而确保所述颜色信息的精准度。当然，在本发明的其他示例，所述颜色信息还可以在所述分区TOF探测所述目标视场之前或之后经由所述常规摄像模组拍摄所述目标视场而获得，以同样避免所述常规摄像模组受到所述分区TOF的干扰。

示例性地，本发明的所述深度信息处理方法，在所述步骤S120之前，进一步包括步骤：

分别对对应的所述分区深度信息进行畸变矫正，以获得矫正后的分区深度信息，进而对所述矫正后的分区深度信息进行拼接处理，以得到质量较高的整体深度信息。

可以理解的是，通过本发明的所述深度信息处理方法对所述分区深度信息进行畸变矫正后而获得的矫正后的分区深度信息能够完全契合地对应于所述视场分区，以便后续进行精准地拼接处理。此外，本发明的所述深度信息处理方法所采用的畸变矫正方法可以是先通过***标定以获得不同分区的畸变程度，再反向矫正以实现畸变矫正过程。换言之，在本发明的上述示例中，所述深度信息处理方法是通过纯软件方式来实现相应的畸变矫正，有助于显著提升目标区域的均匀性和窗口效率。

值得一提的是，尽管根据本发明的上述第一实施例的所述深度信息处理方法能够对经由所述分区TOF获得的所述分区深度信息和经由所述常规摄像模组获得的颜色信息进行融合处理，以得到所述目标视场的三维彩色图像；但是由于所述深度信息处理方法是在所述分区TOF先获得所有的所述分区深度信息，以将所述分区深度信息拼接成所述完整深度信息之后，才对所述深度信息和所述颜色信息进行融合处理，这会使得所述深度信息处理方法所耗费的时间较长，不利于满足当下诸如AR/VR等产品对实时性的要求。因此，为了缩短处理深度信息所耗费的时间，如图4所示，根据本发明的第二实施例的深度信息处理方法，可以包括步骤：

S210：获取目标视场的颜色信息，其中所述颜色信息是通过常规摄像模组拍摄所述目标视场而获得的；

S220：获取多个分区深度信息，其中多个所述分区深度信息是通过分区TOF 按照一定时序分别探测多个视场分区而获得的，并且多个所述视场分区共同形成所述目标视场；以及

S230：将多个所述分区深度信息依次与所述颜色信息进行融合处理，以得到所述目标视场的三维彩色图像。

值得注意的是，由于所述分区深度信息是通过所述分区TOF按照一定时序分别探测所述视场分区而获得的，使得不同的所述分区深度信息在不同时刻被获取，因此在至少一个所述分区深度信息获取之后，且在最后一个所述分区深度信息获取之前，就能够将已经获取的所述分区深度信息与所述颜色信息进行融合处理，以缩减所述深度信息处理方法的整体用时，提升所述深度信息处理方法的处理效率。

换言之，在所述步骤S230中，按照所述分区TOF对所述视场分区的探测时序，依次将对应的所述分区深度信息融合至所述颜色信息，以获得所述三维彩色图像。也就是说，不同的所述分区深度信息被分时地融合至所述颜色信息，以获得所述三维彩色图像，有助于缩减所述深度信息处理方法所需的整体用时。

优选地，在所述步骤S230中，在通过所述分区TOF获得每一个所述分区深度信息之后，立刻将相应的所述分区深度信息与所述颜色信息进行融合处理，以在最后获得的一个所述分区深度信息被融合至所述颜色信息后获得所述三维彩色图像。

示例性地，在通过所述分区TOF对某一视场分区进行探测以获得相应的分区深度信息之后，所述深度信息处理方法直接将所述分区深度信息与所述颜色信息进行融合处理，以得到局部三维彩色图像(即具有部分深度信息的颜色信息)；与此同时，通过所述分区TOF对下一视场分区进行探测以获得下一分区深度信息。接着，继续将所述下一分区深度信息与所述局部三维彩色图像进行融合处理，以得到又一局部三维彩色图像；依次类推，直至通过所述分区TOF对最后一个市场分区进行探测以获取最后一个分区深度信息之后，并将所述最后一个分区深度信息与所述局部三维彩色图像进行融合处理，以得到所述三维彩色图像为止。可以理解的是，正是由于本发明的这个实施例的所述深度信息处理方法将所述分区深度信息的获取与融合同时进行，因此本发明的所述深度信息处理方法所需的时间大幅地缩短，使得数据处理效率得以显著提升。

示意性***

参考说明书附图之图5所示，根据本发明的一实施例的一深度信息处理***被阐明，其中所述深度信息处理***用于处理经由分区TOF对整个目标视场进行分区探测而获得的分区深度信息。具体地，如图5所示，所述深度信息处理*** 400包括相互可通信地连接的一深度信息获取模块410和一拼接处理模块420。所述深度信息获取模块410用于用于获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成一完整的目标视场。所述拼接处理模块420用于根据该多个视场分区的分区排布，拼接地处理该多个分区深度信息，以得到对应于该目标视场的完整深度信息。

值得注意的是，在本发明的上述实施例中，如图5所示，所述的深度信息处理***400可以进一步包括相互可通信地连接的一颜色信息获取模块430和一同时融合处理模块440，其中所述颜色信息获取模块430用于获取该目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；其中所述同时融合处理模块440用于融合地处理该完整深度信息和该颜色信息，以得到该目标视场的三维彩色图像。

此外，在本发明的一示例中，如图5所示，所述的深度信息处理***400 还可以进一步包括一畸变矫正模块450，用于分别对对应的该分区深度信息进行畸变矫正，以得到矫正后的分区深度信息。

根据本发明的另一方面，如图6所示，本发明的另一实施例也提供了一种深度信息处理***500，其中所述深度信息处理***500包括相互可通信地连接的一颜色信息获取模块510、一深度信息获取模块520以及一分时融合处理模块 530，其中所述颜色信息获取模块510用于获取目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；其中所述深度信息获取模块520用于获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF 按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成该目标视场；其中所述分时融合处理模块530用于将多个该分区深度信息依次与该颜色信息进行融合处理，以得到该目标视场的三维彩色图像。

示意性电子设备

下面，参考图7来描述根据本发明的一实施例的电子设备。如图7所示，电子设备90包括一个或多个处理器91和存储器92。

所述处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。换言之，所述处理器91包括被配置成执行指令的一个或多个物理设备。例如，所述处理器91可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。

所述处理器91可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述处理器91可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述处理器91的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述处理器91的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述处理器91的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

所述存储器92可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器 (cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器11可以运行所述程序指令，以实现上文所述的本发明的上述示意性方法中的部分或全部步骤，以及/或者其他期望的功能。

换言之，所述存储器92包括被配置成保存可由所述处理器91执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储器92的状态(例如，保存不同的数据)。所述存储器 92可以包括可移动和/或内置设备。所述存储器92可包括光学存储器(例如，CD、 DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储器92可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，所述存储器92包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。所述处理器91和所述存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。

在一个示例中，如图7所示，所述电子设备90还可以包括输入装置93和输出装置94，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。例如，该输入装置93可以是例如用于采集图像数据或视频数据的摄像模组等等。又如，所述输入装置93可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入装置93可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或***的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例 NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部***、眼睛***、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。

该输出装置94可以向外部输出各种信息，包括分类结果等。该输出装置94 可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，所述电子设备90还可以进一步包括所述通信装置，其中所述通信装置可被配置成将所述电子设备90与一个或多个其他计算机设备通信地耦合。所述通信装置可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信装置可允许所述电子设备90经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

当然，为了简化，图7中仅示出了该电子设备90中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。

根据本发明的另一方面，本发明的一实施例进一步提供了另一电子设备。示例性地，如图8所示，所述电子设备包括一电子设备本体800、至少一分区TOF700 以及至少一上述深度信息处理***400，其中所述分区TOF700被配置于所述电子设备本体800，用于通过所述分区TOF700对一目标视场进行分区探测；其中所述深度信息处理***400被配置于所述电子设备本体800，并且所述深度信息处理***400包括相互可通信地连接的：一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过所述分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成完整的该目标视场；和一拼接处理模块，用于根据该多个视场分区的分区排布，拼接地处理该多个分区深度信息，以得到对应于该目标视场的完整深度信息。可以理解的是，在本发明的其他示例中，所述直接测距TOF分区探测***400还可以直接被配置于所述直接测距TOF700，并且所述电子设备本体800被实施为所述直接测距TOF700的配套设备，也就是说，所述电子设备可以直接被实施为具有分区探测功能的TOF 产品。

在本发明的这个示例中，如图8所示，所述电子设备进一步包括一常规摄像模组600，其中所述常规摄像模组600被配置于所述电子设备本体800，用于通过所述常规摄像模组600对该目标视场进行拍摄；其中所述深度信息处理*** 400进一步包括相互可通信地连接的一颜色信息获取模块和一同时融合处理模块，其中所述颜色信息获取模块用于获取该目标视场的颜色信息，其中所述颜色信息是通过所述常规摄像模组拍摄该目标视场而获得的；其中所述同时融合处理模块用于融合地处理该完整深度信息和该颜色信息，以得到该目标视场的三维彩色图像。

值得一提的是，在本发明的其他示例中，如图8所示，所述电子设备也可以包括上述深度信息处理***500，其中所述深度信息处理***500被配置于所述电子设备本体800，并且所述深度信息处理***包500括相互可通信地连接的：一颜色信息获取模块，用于获取目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成该目标视场；以及一分时融合处理模块，用于将多个该分区深度信息依次与该颜色信息进行融合处理，以得到该目标视场的三维彩色图像。

值得注意的是，所述电子设备本体800可以是眼镜、头戴式显示设备、增强现实设备、虚拟现实设备、智能手机或混合现实设备等任何能够被配置所述分区 TOF700和所述直接测距TOF分区探测***400的设备或***。本领域的技术人员可以理解的是，尽管附图8中以所述电子设备本体800被实施为AR眼镜为例，但其并不构成对本发明的内容和范围的限制。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (5)

1.深度信息处理方法，其特征在于，其用于AR/VR设备以得到融合的深度信息和颜色信息，所述方法包括步骤：

获取多个分区深度信息，其中所述多个分区深度信息是通过安装于AR/VR设备的直接测距分区TOF按照一定时序分别探测多个视场分区而获得的，以在不同时刻获得不同的所述分区深度信息，并且所述多个视场分区共同形成一完整的目标视场，其中所述直接测距分区TOF的光源单元被划分成特定排布的多个光源分区，其中所述光源分区与所述视场分区一一对应，并且所述光源分区按照一定时序被分区地点亮以照明对应的所述视场分区，相邻的所述光源分区互不重叠，并且相邻的所述视场分区边对边的重合以使相邻的所述视场分区互不重叠，以避免出现重复探测的区域，并且通过同一个接收单元接收分别从各个所述视场分区反射回的光信号；

通过***标定获得不同分区的畸变程度，通过反向矫正方式分别对对应的所述分区深度信息进行畸变矫正，以得到矫正后的分区深度信息，其中，畸变矫正后而获得的矫正后的分区深度信息能够契合地对应于所述视场分区；

根据所述多个视场分区的分区排布，拼接地处理所述多个分区深度信息，以得到对应于所述目标视场的完整深度信息，其中所述深度信息处理方法无需裁剪任何深度信息，只需按照所述视场分区的特定排布就能够将多个所述分区深度信息拼接成一个完整的信息；

获取所述目标视场的颜色信息，其中所述颜色信息是通过常规摄像模组拍摄所述目标视场而获得的，并且所述颜色信息是在所述分区TOF探测所述视场分区的间隙经由所述常规摄像模组拍摄所述目标视场而获得的；和

融合地处理所述完整深度信息和所述颜色信息，以得到所述目标视场的三维彩色图像，并且在所述将多个所述分区深度信息分别与所述颜色信息进行融合处理，以得到所述目标视场的三维彩色图像的步骤中，在通过所述直接测距分区TOF获得每一个所述分区深度信息之后，立刻将相应的所述分区深度信息与所述颜色信息进行融合处理，以在最后获得的一个所述分区深度信息被融合至所述颜色信息后，获得所述三维彩色图像。

2.如权利要求1所述的深度信息处理方法，其中，所述常规摄像模组为RGB相机。

3.如权利要求1所述的深度信息处理方法，其中，在所述融合地处理所述完整深度信息和所述颜色信息，以得到所述目标视场的三维彩色图像的步骤中：

基于所述常规摄像模组与所述直接测距分区TOF之间的外参，将所述完整深度信息融合至所述颜色信息，以获得所述三维彩色图像。

4.深度信息处理***，其特征在于，应用于AR/VR设备并且包括相互可通信地连接的：

一颜色信息获取模块，用于获取目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；

一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过直接测距分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成该目标视场，并且所述多个视场分区共同形成一完整的目标视场，其中所述直接测距分区TOF的光源单元被划分成特定排布的多个光源分区，其中所述光源分区与所述视场分区一一对应，并且所述光源分区按照一定时序被分区地点亮以照明对应的所述视场分区，相邻的所述光源分区互不重叠，并且相邻的所述视场分区边对边的重合以使相邻的所述视场分区互不重叠，以避免出现重复探测的区域，并且通过同一个接收单元接收分别从各个所述视场分区反射回的光信号；

一畸变矫正模块，用于通过***标定获得不同分区的畸变程度，通过反向矫正方式分别对对应的所述分区深度信息进行畸变矫正，以得到矫正后的分区深度信息，其中，畸变矫正后而获得的矫正后的分区深度信息能够契合地对应于所述视场分区；以及

一分时融合处理模块，用于将多个该分区深度信息依次与该颜色信息进行融合处理，以得到该目标视场的三维彩色图像，其中所述颜色信息是在所述分区TOF探测所述视场分区的间隙经由所述常规摄像模组拍摄所述目标视场而获得的，并且在通过所述直接测距分区TOF获得每一个所述分区深度信息之后，立刻将相应的所述分区深度信息与所述颜色信息进行融合处理，以在最后获得的一个所述分区深度信息被融合至所述颜色信息后，获得所述三维彩色图像。

5.电子设备，其特征在于，其是AR/VR设备并且包括：

一电子设备本体；

至少一常规摄像模组，其中所述常规摄像模组被配置于所述电子设备本体，用于通过所述常规摄像模组对一目标视场进行拍摄；

至少一直接测距分区TOF，其中所述直接测距分区TOF被配置于所述电子设备本体，用于通过所述直接测距分区TOF对该目标视场进行探测；以及

至少一深度信息处理***，其中所述深度信息处理***被配置于所述电子设备本体或所述直接测距分区TOF，并且所述深度信息处理***包括相互可通信地连接的：

一颜色信息获取模块，用于获取目标视场的颜色信息，其中该颜色信息是通过常规摄像模组拍摄该目标视场而获得的；

一深度信息获取模块，用于获取多个分区深度信息，其中该多个分区深度信息是通过所述直接测距分区TOF按照一定时序分别探测多个视场分区而获得的，并且该多个视场分区共同形成该目标视场，并且所述多个视场分区共同形成一完整的目标视场，其中所述直接测距分区TOF的光源单元被划分成特定排布的多个光源分区，其中所述光源分区与所述视场分区一一对应，并且所述光源分区按照一定时序被分区地点亮以照明对应的所述视场分区，相邻的所述光源分区互不重叠，并且相邻的所述视场分区边对边的重合以使相邻的所述视场分区互不重叠，以避免出现重复探测的区域，并且通过同一个接收单元接收分别从各个所述视场分区反射回的光信号；

一畸变矫正模块，用于通过***标定获得不同分区的畸变程度，通过反向矫正方式分别对对应的所述分区深度信息进行畸变矫正，以得到矫正后的分区深度信息，其中，畸变矫正后而获得的矫正后的分区深度信息能够契合地对应于所述视场分区；以及

一分时融合处理模块，用于将多个该分区深度信息依次与该颜色信息进行融合处理，以得到该目标视场的三维彩色图像，其中所述颜色信息是在所述分区TOF探测所述视场分区的间隙经由所述常规摄像模组拍摄所述目标视场而获得的，并且在通过所述直接测距分区TOF获得每一个所述分区深度信息之后，立刻将相应的所述分区深度信息与所述颜色信息进行融合处理，以在最后获得的一个所述分区深度信息被融合至所述颜色信息后，获得所述三维彩色图像。