CN110488240A - 深度计算芯片架构 - Google Patents

Abstract

本发明提供一种深度计算芯片架构，用于同步或分步：接收TOF图像传感器的电信号，通过TOF深度计算模式对电信号的相位计算以获取相位值和/或深度值，通过预先存储的预标定参数标定，然后进行优化，将优化后得到的TOF深度图像输出；接收TOF图像传感器的电信号，通过结构光深度计算模式对电信号的相位计算以获取反映光束强度的强度信息，对强度信息进行处理后与预先存储的参考图像进行匹配得，然后进行优化，将优化后得到的结构光深度图像输出；接收TOF图像传感器的电信号，得到融合后的深度图像，将融合后的深度图像输出。通过从芯片级实现多种深度图像获取的方案，实现高精度、大范围深度测量，且提升计算效率以及降低功耗。

Description

深度计算芯片架构

技术领域

本发明涉及光学测量技术领域，尤其涉及一种深度计算芯片架构。

背景技术

ToF的全称是Time-of-Flight，即飞行时间，ToF测距技术是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。在ToF技术中直接对光飞行时间进行测量的技术被称为dToF(direct-TOF)；对发射光信号进行周期性调制，通过对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术被成为iToF(Indirect-TOF)技术。按照调制解调类型方式的不同可以分为连续波(Continuous Wave，CW)调制解调方法和脉冲调制(Pulse Modulated，PM)调制解调方法。

结构光测距技术则向空间物体发射结构光光束，其次采集被物体调制及反射后的结构光光束所形成的结构光图案，最后利用三角法进行深度计算以获取物体的深度数据。常用的结构光图案有不规则斑点图案、条纹图案、相移图案等。

相比而言，TOF技术无需进行复杂的图像处理计算(如结构光图像匹配计算)，在中远距时能保持相对较高的测量精度；而结构光技术则在近距测量时具有非常高的精度，但随着距离增加精度会至少呈现线性增长。另外，结构光技术由于是通过采集反映反射光强度的图像来进行计算深度的，因此难免会受到环境光对光强度的影响，相对而言TOF则在环境光抗干扰方面要优于结构光技术。

发明内容

本发明为了解决现有的问题，提供一种深度计算芯片架构。

为了解决上述问题，本发明采用的技术方案如下所述：

一种深度计算芯片架构，用于同步或分步：接收TOF图像传感器的电信号，通过TOF深度计算模式对所述电信号的相位计算以获取相位值和/或深度值，通过预先存储的预标定参数标定所述相位值和/或深度值，对标定后的所述相位值和/或深度值进行优化，将优化后得到的TOF深度图像输出；接收TOF图像传感器的电信号，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息，对所述强度信息进行处理后与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值，对所述像素偏离值和/或所述目标的深度值进行优化，将优化后得到的结构光深度图像输出；接收TOF图像传感器的电信号，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理得到融合后的深度图像，将融合后的深度图像输出。

在本发明的一种实施例中，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：在所述TOF深度计算模式下得到所述TOF深度图像；在所述结构光深度计算模式下得到所述结构光深度图像；将所述TOF深度图像和所述结构光深度图像进行融合得到融合后的深度图像。

在本发明的另一种实施例中，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：在所述TOF深度计算模式下得到所述TOF深度图像；在所述结构光深度计算模式将所述TOF深度图像作为匹配计算的初始值用于得到结构光深度图像。

在本发明的再一种实施例中，所述预标定参数和所述预先存储的参考图像存储在存储器中。所述强度信息包括振幅值，采用零均值归一化最小平方距离函数对所述振幅值对应的图像与所述先存储的参考图像进行像素偏离值的匹配估计。

本发明还提供一种深度计算芯片架构，包括：分路器，用于接收来自TOF图像传感器的电信号；相位计算模块，与所述分路器连接，用于将所述电信号的相位计算以获取反映光束强度的强度信息；标定模块，与所述相位计算模块连接，通过预先存储的预标定参数标定所述相位值和/或深度值；第一后处理模块，与所述标定模块连接，用于对标定后的所述相位值和/或深度值进行优化，得到TOF深度图像；振幅计算模块，与所述分路器连接，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息；前处理模块，与所述振幅计算模块连接，对所述强度信息进行处理；匹配模块，与所述前处理模块连接，将处理后的所述强度信息与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值；第二后处理模块，与所述匹配模块连接，用于对所述像素偏离值和/或所述目标的深度值进行优化，得到结构光深度图像；融合模块，与所述第一后处理模块和所述第二后处理模块连接，用于得到融合后的深度图像；复用器，与所述第一后处理模块、所述第二后处理模块和所述融合模块连接，将所述TOF深度图像、所述结构光深度图像和所述融合后的深度图像输出。

在本发明的一种实施例中，所述融合模块将所述第一后处理模块得到的TOF深度图像和所述第二后处理模块的所述结构光深度图像融合得到所述融合后的深度图像。

在本发明的又一种实施例中，所述第一后处理模块得到的TOF深度图像，所述匹配模块将所述TOF深度图像作为匹配计算的初始值用于后续得到结构光深度图像。

在本发明的再一种实施例中，所述标定模块和所述匹配模块与存储器连接，所述存储器存储所述预标定参数和所述预先存储的参考图像。深度计算芯片架构为集成SOC芯片时，还包括总线、主控制器、输入接口和输出接口；所述分路器通过所述输入接口接收数据，所述复用器通过所述输出接口输出数据，所述输入接口和所述输出接口是USB、MIPI、DVP形式的接口；总线负责所述SOC芯片内部模块以及外部模块之间的通信、传输；所述主控制器负责内部模块之间的资源调配与功能触发。

本发明的有益效果为：提供一种深度计算芯片架构，通过从芯片级实现多种深度图像获取的方案，实现高精度、大范围深度测量，且提升计算效率以及降低功耗。

附图说明

图1是本发明实施例中深度测量装置的结构示意图。

图2是本发明实施例中一种深度测量装置原理示意图。

图3是本发明实施例中又一种深度测量装置原理示意图。

图4是本发明实施例中一种融合TOF与结构光方案的深度测量装置的结构示意图。

图5是本发明实施例中又一种融合TOF与结构光方案的深度测量装置的结构示意图。

图6是本发明实施例中结构光与TOF时序控制示意图。

图7是本发明实施例中控制与处理电路架构示意图。

图8是本发明实施例中一种距离测量方法示意图。

图9是本发明实施例中另一种距离测量方法示意图。

图10是本发明实施例中一种对所述电信号进行处理方法示意图。

图11是本发明实施例中另一种对所述电信号进行处理方法示意图。

其中，10-深度测量装置，11-光发射模组，12-采集模组，13-控制与处理电路，14-泛光光源模组，111-光源，112-图案化光学元件，121-TOF图像传感器，122-透镜单元，20-目标物体，30-发射光束，40-反射光束，201-斑点结构光图案化光束，202-光斑，40-深度测量装置，41-光发射模组，42-采集模组，43-控制与处理电路，44-泛光光源模组，51-像素，52-光斑，70-芯片，71-相位计算模块，72-标定模块，73-第一后处理模块，74-1-分路器，74-2-复用器，75-振幅计算模块，76-前处理模块，77-匹配模块，78-第二后处理模块，79-融合模块。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1是根据本发明一个实施例的深度测量装置。深度测量装置10包括光发射模组11、采集模组12以及控制与处理电路13，其中光发射模组11用于向目标物体20发射发射光束30，发射光束30是在时序上振幅被调制的结构光光束，该结构光光束至目标空间中以照明空间中的目标物体20，至少部分发射光束30经目标物体20反射后形成反射光束40，反射光束40的至少部分被采集模组12采集，控制与处理电路13分别与光发射模组11以及采集模组12连接，以控制光束的发射与采集，同时接收来自采集模组12所采集到的电信号，并对该电信号进行计算以获取目标物体的深度信息。

光发射模组11包括光源111、图案化光学元件112以及光源驱动器(图中未示出)等。光源111可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。光源111在光源驱动器(其可以进一步被控制和处理电路13控制)的控制下以一定的时序振幅被调制后向外发射光束，比如在一个实施例中，光源111在控制下以一定的频率发射脉冲调制光束、方波调制光束、正弦波调制光束等光束。可以理解的是，可以利用控制和处理电路13中的一部分或者独立于控制和处理电路13存在的子电路来控制光源111发射相关的光束，比如脉冲信号发生器。

图案化光学元件112接收来自光源111的光束，并向外发射结构光光束，比如不规则排列的斑点图案化光束、条纹图案光束、二维编码图案化光束等。在一些实施例中，图案化光学元件112还用于将接收到的光束进行扩束，以扩大视场角。可以理解的是，通过图案化光学元件112调制后的光束其振幅依旧是以一定的时序被调制，即入射的正弦波调制光束，出射的依旧是正弦波调制光束。在本发明的一种实施例中，不规则斑点图案光束中每个斑点对应的光束的振幅在时序上以连续波或者脉冲的方式被调制。

采集模组12包括TOF图像传感器121、透镜单元122，还可以包含滤光片(图中未示出)，透镜单元122接收并将由目标物体反射回的至少部分结构光光束并成像在至少部分TOF图像传感器121上，滤光片需选择与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。TOF图像传感器121可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器，阵列大小代表着该深度相机的分辨率，比如320x240等。一般地，与图像传感器121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。

一般地，TOF图像传感器121包括至少一个像素，与传统的仅用于拍照的图像传感器相比，这里每个像素则包含两个以上的抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括3个抽头，在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光子，以用于接收光信号并转换成电信号。

控制与处理电路13可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该控制与处理电路13的至少一部分。

控制与处理电路13用于提供光源111(或泛光光源模组14中的光源等)发射激光时所需的调制信号(发射信号)，光源在调制信号的控制下向目标物体发射光束。比如在一个实施例中，调制信号为连续波信号如正弦波信号，光源在该正弦波信号的调制下振幅在时序上以正弦波形式发射；在一个实施例中，调制信号为方波信号或脉冲信号，光源在该调制信号的调制下振幅被时序上调制以产生方波信号或者脉冲信号向外发射。

此外，控制与处理电路13还提供TOF图像传感器121各像素中各抽头的解调信号(采集信号)，抽头在解调信号的控制下采集由包含目标物体反射回的反射的光束所产生的电信号。该电信号与反射光束的强度相关，控制与处理电路13随后对该电信号进行处理并计算出反映反射光束强度的强度信息以形成结构光图案，最后基于该结构光图案进行像匹配计算、三角法计算等计算以获得目标物体的深度图像。

在一些实施例中，深度测量装置10还包括泛光光源模组14，用于向外发射时序上振幅被调制的泛光光束。控制与处理电路13可以同步对泛光光源模组14与TOF图像传感器121进行调制与解调，以实现传统TOF测距方法以获取目标的深度图像，即通过对泛光光束由发射到被接收所需要的时间来进行深度值计算的方式。

在一些实施例中，深度测量装置10还可以包括驱动电路、电源、彩色相机、红外相机、IMU等器件，在图中并未示出，与这些器件的组合可以实现更加丰富的功能，比如3D纹理建模、红外人脸识别、SLAM等功能。深度测量装置10可以被嵌入到手机、平板电脑、计算机等电子产品中。

图2是根据本发明第一实施例的深度测量装置原理示意图。在控制与处理电路13的控制下，光发射模组11向目标物体发射振幅被正弦调制的结构光光束30，在本实施例中结构光光束30为不规则斑点结构光，即由多个光斑202以不规则排列形成的斑点结构光图案化光束201，各个光斑202的振幅在时序上被正弦调制。采集模组12中的TOF图像传感器的各个像素至少包括4个抽头，分别用于在单个帧周期内分别采集4次光信号并转换成电信号C1、C2、C3和C4，4次采集的时间以及间隔相同。

控制与处理电路13接收电信号C1、C2、C3和C4计算出结构光光束的强度信息。在一个实施例中的，强度信息根据下式计算：

可以理解的是，这一计算方式类似于传统未被振幅调制的结构光光束，即在单个帧周期内通过单抽头连续积分的方式获取光信号的强度信息，只不过这里进行了平均。在获取所有像素的强度信息之后，就可以形成结构光图案了，最后再利用结构光图案进行匹配计算以获取视差以及根据视差计算出深度图像。

对于存在环境光信号时，这一光束强度计算方式与传统方式一样，均难以进行消除，从而导致最终的结构光图案信噪比较低。因此，在一个实施例，强度信息将根据下式计算：

上述信息实质上计算的是振幅调制信号的振幅值，这一振幅值计算由于进行了抽头之间的相减以及平方根，在非常小时间范围内可以看成环境光不变，因此相减正好可以十分有效地去除由环境光引起的噪声，同时该振幅值也非常完好地反映出了目标物体表面纹理所对应的反射光强度信息。可以理解的是，也可以通过对振幅进行平方等处理以得到光束的强度信息。

上述基于4抽头的TOF图像传感器以及正弦波调制光发射信号的结构光图案获取方案同样也适用于其他抽头TOF图像传感器以及其他类型调制光发射信号的深度测量装置。

如图3所示，是根据本发明第二实施例的深度测量装置原理示意图。在控制与处理电路13的控制下，光发射模组11向目标物体发射振幅被方波或脉冲调制的发射光束30为结构光光束，在本实施例中结构光光束为不规则斑点结构光，即由多个光斑202以不规则排列形成的斑点结构光图案化光束201，各个光斑202的振幅在时序上被方波或脉冲调制。采集模组12中的TOF图像传感器的各个像素至少包括3个抽头，分别用于在单个帧周期内分别采集3次光信号并转换成电信号C1、C2和C3，第一抽头的触发时间与光脉冲的发射时间同步，且触发时长与脉冲的宽度相同，第二、三抽头在第一抽头结束时相继被触发，触发时长与第一抽头相同。

由此，反射回的结构光光束的将被第一、第二、第三抽头采集到，控制与处理电路13接收电信号C1、C2和C3计算出结构光光束的强度信息。在一个实施例中的，强度信息根据下式计算：

同样地，这种利用加权平均的方式虽然可以计算出反映结构光光束强度的数值，但却与传统方法一样无法消除背景光所引起的噪声问题。因此在一个实施例中，强度信息将根据下式计算：

B＝C₁+C₂-2C₃ (4)

可以理解的是，也可以对上述取平均等计算以获取强度信息。与式(3)相比，由于第三抽头采集的是环境光信号，因此通过相减就可以有效消除环境光的影响从而提升信噪比。

以上图2，3所示实施例中，分别举例了发射端以正弦波或者脉冲调制的方式，接收端采用4抽头或者3抽头的采集方式。在进行结构光图案强度信息计算时，均可以采用加权平均或者加入环境光消除因子的方式进行计算。可以理解的是，类似的发射端调制方式、接收端采集方式以及强度信息计算方式的组合均包含在本发明的范围之内。

与传统的结构光深度测量方法相比，本发明发射端采用了振幅调制，在接收端采用了多抽头像素采集，从而可以使得该方法拥有比传统方案更多的功能，比如可以实现传统方案难以实现的抗环境光干扰的深度测量方法。

基于上述实施例的深度测量装置，还可以实现结构光与TOF结合的融合深度测量方案。图4是根据本发明一个实施例的融合TOF与结构光方案的深度测量装置的结构示意图。深度测量装置40包括光发射模组41、采集模组42、泛光光源模组44以及控制与处理电路43。与前述各实施例相似，其中由光发射模组41、采集模组42以及控制与处理电路43可以组成结构光深度测量子单元，其获取深度图像的原理与图1～3所示实施例相同。此外，深度测量装置40中由泛光光源模组44、采集模组42以及控制与处理电路43组成了TOF深度测量子单元，类似地，泛光光源模组44中的光源同样被控制与处理电路43以一定的时序进行振幅调制，比如在一个实施例中，为了方便设计控制与处理电路43，泛光光源模组44中的光源与光发射模组41中的光源以相同的方式被调制，比如振幅调制强度、调制波型等参数均相同。

控制与处理电路43也可以包含多个子电路分别对应于结构光深度测量子单元以及TOF深度测量子单元。TOF深度测量子单元与结构光深度测量子单元不同的是控制与处理电路43中所执行的深度计算原理，对于结构光深度测量子单元而言，如前述各实施例所述，控制与处理电路43对由采集模组42所形成的电信号进行处理并计算出反映反射光束强度的强度信息以形成结构光图案，再基于结构光图案利用结构光三角法进行深度值计算；而对于TOF深度测量子单元而言，控制与处理电路43则对采集模组42所形成的电信号进行处理以计算出相位差，并基于该相位差计算反射光束由发射端发射到接收端接收所用的飞行时间，进一步基于该飞行时间计算出目标的深度值。控制与处理电路43可以是高度集成的电路元器件，比如FPGA、SOC、ASIC等芯片，其内部包含可分别进行结构光计算以及TOF计算的电路模块，本发明同样提供了一个具体的实施例，将在图7所示的实施例中进行详述。

回到图4，在本实施例中，结构光深度测量子单元以及TOF深度测量子单元分别用于测量范围在ΔZ₁以及ΔZ₂内的目标，并且ΔZ₁≠ΔZ₂。在一个实施例中，ΔZ₁为近距，ΔZ₂为远距，即由结构光深度测量子单元对近距的目标物体进行测量，由TOF深度测量子单元对远距的目标物体进行测量。由于结构光算法精度在近距离时较高且随距离增加会急速降低甚至无法测量，而TOF算法则在近距离测量时深度分辨率较低、而对远距离拥有较高的精度。可以同时启动两个子单元进行测量，比如前后帧切换的形式，在分别获取结构光深度图像以及TOF深度图像之后，可以将两幅深度图像进行融合以获取大范围、高精度的深度图像，融合方式可以采用基于置信度的加权平均等方式。比如在一个实施例中，根据相对精度设计置信度，对于结构光深度图像而言，深度值越大，置信度越低，而对于TOF深度图像而言，深度值越大，置信度越高。本实施例的方案所带来的有益效果是，可以使得深度测量装置40实现更大的测量范围，同时在大范围内均保持较高的测量精度。

图5是根据本发明又一实施例的融合TOF与结构光方案的深度测量装置的结构示意图。该深度测量装置同样包含结构光深度测量子单元与TOF深度测量子单元，可以理解的是，TOF深度测量子单元即可以是由泛光光源模组与采集模组组成，也可以与结构光深度测量子单元相同由光发射模组以及采集模组组成，区别在于控制与处理电路对电信号的处理方式不同，对于TOF深度测量子单元而言，其计算的是相位信息。在本实施例中，默认TOF深度测量子单元由泛光光源模组与采集模组组成，其可以获取采集模组各个像素的TOF深度值。

由于结构光深度计算需要进行匹配计算，匹配计算是整个深度计算环节中最消耗资源也是对精度影响最大的环节。匹配计算一般包括初始深度值估计、迭代优化、亚像素高精度深度值计算等几个步骤，其中初始深度值估计直接影响到后面步骤的效率与计算精度。本实施例中，将由TOF深度测量子单元所获取的TOF深度值做为结构光深度计算的初始深度值，如图5所示，采集模组中的TOF图像传感器包含多个像素51，光发射模组所发射的斑点光束经目标物体反射后成像在TOF图像传感器的一些像素上形成光斑52，可以理解的是，这里假定光斑52大致占2x2＝4个像素，实际上光斑52可以是其他大小，在此不做限定。首先通过TOF深度测量子单元获取各个像素51的TOF深度值(对于由光发射模组及采集模组组成的TOF深度测量子单元而言，只能获取光斑52对应像素的TOF深度值D1～D4)，其次通过结构光深度测量子单元采集包含各个斑点图案的结构光图案，最后进行结构光深度值计算时将TOF深度值做为匹配计算的初始深度值d。

由于TOF深度值本身就具备较高的精度，以此做为结构光深度匹配计算的初始值，再进行迭代计算实现亚像素的深度值估计，可以实现比单独结构光或者TOF计算更高精度的深度计算。

图4、5所示实施例中均涉及到结构光深度测量子单元与TOF深度测量子单元的融合，在实际操作过程中，两个子单元将以一定的时序进行工作，比如图6是根据本发明一个实施例的结构光与TOF时序控制示意图，在本实施例中，结构光与TOF以一定的频率切换工作，即在周期T1、T3、T5等中深度测量装置以结构光模式进行工作，而在周期T2、T4、T6等中以TOF模式进行工作。可以理解的是，根据实际需要也可以通过其他时序进行控制，比如对于图5所示实施而言，可以TOF一帧、结构光两帧的方式进行控制。

图7是根据本发明一个实施例的控制与处理电路架构示意图。为了尽可能提升计算效率以及降低功耗，将一些计算、控制功能设计成专用芯片，比如FPGA、ASIC或者SOC芯片的形式是非常有效的方式。本实施例提供一种可实现上述各实施例中控制或计算功能的专用控制与处理电路芯片架构。芯片70用于接收来自TOF图像传感器的电信号，通过内部各个模块的计算后输出深度图像，在计算过程中也会与其他器件进行数据通信，比如存储器等。

芯片70可以实现多重模式深度计算，TOF深度计算模式、结构光深度计算模式以及融合深度计算模式。

(1)TOF深度计算模式。

当在TOF深度计算模式下进行TOF深度计算时，芯片70接收来自TOF图像传感器的电信号，比如图2或图3所示实施例中的像素各个抽头所采集到的电信号值。电信号将首先进入分路器74-1，分路器74-1在主控制器(图中未示出)的控制下根据当前的模式选择性让电信号进入下一计算模块，在TOF深度计算模式下电信号将进入相位计算模块71。相位计算模块71执行对电信号的相位计算以获取相位值，该相位值与深度值之间存在线性关系，因此在一些实施例中，该相位计算模块也可以直接计算出深度值。随后相位值被送入标定模块进行标定，由于TOF测量常常受到噪声干扰，使得测量值与实际值之间存在一定的误差，因此在实际使用前将采用一个标定步骤，比如在一定的测量区间内每隔一段距离设置标定板，并且标定板的实际深度值已知，随后逐次对不同距离上的标定板进行实际测量得到各个距离对应的测量值，测量值与实际值之间的关系就可以作为预标定参数被存储到存储器中，标定模块在标定时将从存储器中调用预标定参数对当前测量值进行标定。这里的预标定参数即可以是实际值与测量值的对照表(index)，此时标定模块72标定过程实际上是查表过程；也可以是通过一定的数学手段对误差进行建模，并通过预先的多次测量以计算得到模型中的未知参数，标定模块72的标定过程实际上就是基于模型、测量值计算出实际值的过程。经标定后的相位值/深度值将被送入第一后处理模块73，第一后处理模块73对相位值/深度值进行例如图像增强、插值计算等对其进行优化，比如孔洞填充、边缘优化等。被第一后处理模块73处理后的相位值/深度值经由复用器74-2输出。

(2)结构光深度计算模式。

当在结构光深度计算模式下进行结构光深度计算时，芯片70接收来自TOF图像传感器的电信号，比如图2或图3所示实施例中的像素各个抽头所采集到的电信号值。电信号将首先进入分路器74-1，分路器74-1在主控制器(图中未示出)的控制下根据当前的模式选择性让电信号进入下一计算模块，在结构光深度计算模式下电信号将进入振幅计算模块75。振幅计算模块75执行对电信号的相位计算以获取反映光束强度的强度信息，比如振幅值。随后振幅值被送入前处理模块76进行去噪、对比度增强等处理，也可以对振幅值执行图像畸变校正等前处理任务。被前处理后的振幅值随后进入匹配模块77进行匹配计算，在进行匹配计算时匹配模块77将从存储器中调用被预先存储的参考图像，在一个实施例中，匹配模块77采用零均值归一化最小平方距离函数对振幅值对应的图像与参考图像进行像素偏离值的匹配估计。根据结构光三角法，像素偏离值与目标的深度值之间存在一定的关系，因此在一些实施例中，匹配模块77也可以直接进行深度值的计算，当然深度值的计算也可以放在后续其他模块执行。匹配模块77输出的偏离值/深度值随后被送入第二后处理模块78进行例如图像增强、插值计算等对其进行优化，比如孔洞填充、边缘优化等。被第二后处理模块78处理后的偏离值/深度值经由复用器74-2输出。

(3)融合深度计算模式。

当在融合深度计算模式下进行深度计算时，上述两种模式下各个模块均进行工作，并由第一后处理模块73输出TOF深度图像，以及由第二后处理模块78输出结构光深度图像，TOF深度图像与结构光深度图像随后被送入融合模块79进行融合以输出最终的融合深度图像，融合深度图像经由复用器74-2进行输出。具体融合的方式可参考图4所示实施例。

在一些实施例中，由第一后处理模块73输出的TOF深度图像后，直接进入匹配模块77，以作为匹配计算的初始值，具体的融合方案参考图5所示实施例。

在一些实施例中，相位计算模块71与振幅计算模块75可以是同一个计算模块，该模块将同步基于电信号计算出相位以及振幅，相位与振幅将被直接送入下一模块计算，或者被送入分路器74-1，分路器74-1根据当前的模式将相位和/或振幅送入相应的模块进行计算。

在一些实施例中，上述三种模式可以同步进行，复用器74-2可以实时同步或连续输出不同模式所输出的深度图像。

在一些实施例中，芯片70还可以包括如总线、主控制器、输入/输出接口等模块，比如若芯片70为集成SOC芯片时，将包括这些模块，分路器74-1通过输入接口接收数据，复用器74-2的数据通过输出接口输出，输入/输出接口可以是USB、MIPI、DVP等形式的接口；总线负责SOC内部各个模块以及外部模块之间的通信、传输；主控制器则负责内部各个模块之间的资源调配与功能触发等工作。

基于上述各实施例中的深度测量装置，本申请还提供下述深度测量方法。

如图8所示，本申请中一种距离测量方法如下：

利用光源发射时序上振幅被调制的光束，所述光束被图案化光学元件接收后形成结构光光束向目标物体发射；

利用包含至少一个像素的TOF图像传感器的所述像素接收由所述目标物体反射的结构光光束并形成电信号；

接收所述电信号并计算出所述反射的结构光光束的强度信息以形成结构光图案，以及，利用所述结构光图案计算所述目标物体的深度图像。

如图9所示，本申请中一种距离测量方法如下：

利用光发射模组的光源发射时序上振幅被调制的光束，所述光束被图案化光学元件接收后形成结构光光束向目标物体发射；

利用泛光光源模组向所述目标物体发射时序上振幅被调制的泛光光束；

利用包含至少一个像素的TOF图像传感器的所述像素接收由所述目标物体反射的结构光光束并形成第一电信号；以及，接收所述目标物体反射的泛光光束并形成第二电信号；

对所述光发射模组和所述泛光光源模组的时序进行控制，按所述时序分别接收所述目标物体反射的所述结构光光束形成的所述第一电信号，以及，所述目标物体反射的所述泛光光束形成的所述第二电信号；分别对所述第一电信号和第二电信号进行处理获得所述目标物体的深度图像。

如图10所示，一种实施例中对所述电信号进行处理包括：

根据所述结构光光束形成的所述第一电信号计算出所述结构光光束的强度信息以形成结构光图案，利用所述结构光图案计算所述目标物体的第一深度图像；

根据所述泛光光束形成的所述第二电信号计算出相位差，并基于所述相位差计算所述泛光光束由发射到被接收所需要的飞行时间，基于所述飞行时间计算所述目标物体的深度值，利用所述深度值获取所述目标物体的第二深度图像；

将所述第一深度图像和所述第二深度图像融合获得所述目标物体的深度图像。

如图11所示，另一种实施例中对所述电信号进行处理包括：

根据所述泛光光束形成的所述第二电信号计算出相位差，并基于所述相位差计算所述泛光光束由发射到被接收所需要的飞行时间，基于该所述飞行时间计算各个所述像素的TOF深度值；

根据所述结构光光束形成的所述第一电信号计算出所述结构光光束的强度信息以形成结构光图案；

将所述TOF深度值作为所述结构光图案匹配计算的初始深度值，利用所述结构光图案计算所述目标物体的深度图像。

本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明达到的有益效果为，提供了一种基于振幅时序调制的结构光发射端与TOF图像传感器组成的深度测量装置，并提出了基于该装置的多种深度图像获取的方案，以实现目前传统方案难以实现的高精度、大范围深度测量。同时还提供了一种深度计算芯片架构以从芯片级实现该方案，最终实现低功耗、高效率计算的目的。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种深度计算芯片架构，其特征在于，用于同步或分步：

接收TOF图像传感器的电信号，通过TOF深度计算模式对所述电信号的相位计算以获取相位值和/或深度值，通过预先存储的预标定参数标定所述相位值和/或深度值，对标定后的所述相位值和/或深度值进行优化，将优化后得到的TOF深度图像输出；

接收TOF图像传感器的电信号，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息，对所述强度信息进行处理后与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值，对所述像素偏离值和/或所述目标的深度值进行优化，将优化后得到的结构光深度图像输出；

接收TOF图像传感器的电信号，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理得到融合后的深度图像，将融合后的深度图像输出。

2.如权利要求1所述的深度计算芯片架构，其特征在于，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：

在所述TOF深度计算模式下得到所述TOF深度图像；

在所述结构光深度计算模式下得到所述结构光深度图像；

将所述TOF深度图像和所述结构光深度图像进行融合得到融合后的深度图像。

3.如权利要求1所述的深度计算芯片架构，其特征在于，通过融合所述TOF深度计算模式和所述结构光深度计算模式对所述电信号进行处理包括：

在所述TOF深度计算模式下得到所述TOF深度图像；

在所述结构光深度计算模式将所述TOF深度图像作为匹配计算的初始值用于得到结构光深度图像。

4.如权利要求1-3任一所述的深度计算芯片架构，其特征在于，所述预标定参数和所述预先存储的参考图像存储在存储器中。

5.如权利要求1-3任一所述的深度计算芯片架构，其特征在于，所述强度信息包括振幅值，采用零均值归一化最小平方距离函数对所述振幅值对应的图像与所述先存储的参考图像进行像素偏离值的匹配估计。

6.一种深度计算芯片架构，其特征在于，包括：

分路器，用于接收来自TOF图像传感器的电信号；

相位计算模块，与所述分路器连接，用于将所述电信号的相位计算以获取反映光束强度的强度信息；

标定模块，与所述相位计算模块连接，通过预先存储的预标定参数标定所述相位值和/或深度值；

第一后处理模块，与所述标定模块连接，用于对标定后的所述相位值和/或深度值进行优化，得到TOF深度图像；

振幅计算模块，与所述分路器连接，通过结构光深度计算模式对所述电信号的相位计算以获取反映光束强度的强度信息；

前处理模块，与所述振幅计算模块连接，对所述强度信息进行处理；

匹配模块，与所述前处理模块连接，将处理后的所述强度信息与预先存储的参考图像进行匹配得到像素偏离值和/或目标的深度值；

第二后处理模块，与所述匹配模块连接，用于对所述像素偏离值和/或所述目标的深度值进行优化，得到结构光深度图像；

融合模块，与所述第一后处理模块和所述第二后处理模块连接，用于得到融合后的深度图像；

复用器，与所述第一后处理模块、所述第二后处理模块和所述融合模块连接，将所述TOF深度图像、所述结构光深度图像和所述融合后的深度图像输出。

7.如权利要求6所述的深度计算芯片架构，其特征在于，所述融合模块将所述第一后处理模块得到的TOF深度图像和所述第二后处理模块的所述结构光深度图像融合得到所述融合后的深度图像。

8.如权利要求6所述的深度计算芯片架构，其特征在于，所述第一后处理模块得到的TOF深度图像，所述匹配模块将所述TOF深度图像作为匹配计算的初始值用于后续得到结构光深度图像。

9.如权利要求6-8任一所述的深度计算芯片架构，其特征在于，所述标定模块和所述匹配模块与存储器连接，所述存储器存储所述预标定参数和所述预先存储的参考图像。

10.如权利要求6-8任一所述的深度计算芯片架构，其特征在于，深度计算芯片架构为集成SOC芯片时，还包括总线、主控制器、输入接口和输出接口；

所述分路器通过所述输入接口接收数据，所述复用器通过所述输出接口输出数据，所述输入接口和所述输出接口是USB、MIPI、DVP形式的接口；总线负责所述SOC芯片内部模块以及外部模块之间的通信、传输；所述主控制器负责内部模块之间的资源调配与功能触发。