CN116299341A - 基于tof的双目深度信息获取***及方法 - Google Patents

基于tof的双目深度信息获取***及方法 Download PDF

Info

Publication number
CN116299341A
CN116299341A CN202310114493.0A CN202310114493A CN116299341A CN 116299341 A CN116299341 A CN 116299341A CN 202310114493 A CN202310114493 A CN 202310114493A CN 116299341 A CN116299341 A CN 116299341A
Authority
CN
China
Prior art keywords
tof
binocular
parallax
depth information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310114493.0A
Other languages
English (en)
Inventor
王赟
张官兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co ltd
Original Assignee
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ewa Intelligent Technology Co ltd, Shaoxing Ewa Technology Co ltd filed Critical Shanghai Ewa Intelligent Technology Co ltd
Priority to CN202310114493.0A priority Critical patent/CN116299341A/zh
Publication of CN116299341A publication Critical patent/CN116299341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请实施例提供一种基于TOF的双目深度信息获取***及方法。所述基于TOF的双目深度信息获取***包括：发射装置，包括激光光源和透镜模组，所述激光光源用于发射调制光信号，所述透镜模组用于将所述调制光信号调整至预设状态；接收装置包括设置在同一基线上的左目相机和右目相机，所述左目相机和所述右目相机均包括图像传感器，控制装置控制所述发射装置向目标物表面发射调制光信号，并控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，并根据所述TOF图像帧计算深度数据，TOF相机为左目相机和/或右目相机。

Description

基于TOF的双目深度信息获取***及方法
技术领域
本发明涉及图像处理技术领域，具体涉及基于TOF的双目深度信息获取***及方法。
背景技术
Time-Of-Flight(即飞行时间，简称TOF)成像是利用光在目标和相机之间的飞行时间来获取场景的深度信息的方案，具有体积小、实时成像、精度高等优势。但在散射环境中，由于散射介质对光的散射作用，TOF成像受到多径干扰的影响，深度测量误差较大、限制了TOF相机在散射场景中的应用。
同时TOF激光在面对吸收率较大材质的目标时，由于反射光线较弱，造成深度缺失或深度误差变大；在获取高密度TOF深度图像时，需要采用面阵列垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser，简称VCSEL)，因此整体功耗较高，对独立电源设备不友好，因此现有TOF相机大采用低密度VCSEL阵列或只有个位数的CESEL，从而造成获取的深度图分辨率较低，尤其在远目标场景中，由于深度数据过于稀疏而无法使用。
目前TOF技术采用VCSEL激光器件向目标发射激光，由于采用调制波技术，因此会存在激光发射功率峰值，若不能根据人脸识别等场景有效控制发射功率会造成人眼损伤。
可见，现有的深度信息获取方案存在受场景限制较大、误差较大且可能造成人眼损伤等问题。
发明内容
有鉴于此，本公开实施例提供一种基于TOF的双目深度信息获取***及方法，至少部分解决现有技术中存在的问题。
第一方面，本公开实施例提供了一种基于TOF的双目深度信息获取***，所述***包括：
发射装置，包括激光光源和透镜模组，所述激光光源用于发射调制光信号，所述透镜模组用于将所述调制光信号调整至预设状态；
接收装置，包括设置在同一基线上的左目相机和右目相机，所述左目相机和所述右目相机均包括图像传感器；
控制装置，用于控制所述发射装置向目标物表面发射调制光信号，并控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，并根据所述TOF图像帧计算深度数据，TOF相机为左目相机和/或右目相机。
根据本申请的一种具体实施方式，所述激光光源包括垂直腔表面发射激光器或发光二极管；和/或，
所述透镜模组包括准直透镜和衍射光学元件；和/或，
所述左目相机和所述右目相机均为红外相机。
第二方面，本公开实施例提供了一种基于TOF的双目深度信息获取方法，应用于第一方面中任一项所述的基于TOF的双目深度信息获取***的控制装置，所述基于TOF的双目深度信息获取***还包括发射装置和接收装置，所述方法包括：
控制所述发射装置向目标物表面发射调制光信号；
控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，其中，所述TOF相机为所述接收装置内的左目相机和/或右目相机；
根据所述TOF图像帧计算深度信息。
根据本申请的一种具体实施方式，所述TOF相机为所述左目相机或右目相机；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，根据所述TOF图像帧计算深度数据的步骤，包括：
控制所述TOF相机获取单目的TOF图像帧，并控制所述左目相机和所述右目相机获取双目图像帧；
根据所述TOF图像帧计算TOF深度信息，并根据所述双目图像帧计算双目深度信息。
根据本申请的一种具体实施方式，所述TOF相机为所述左目相机和右目相机；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，根据所述TOF图像帧计算深度数据的步骤，包括：
控制所述左目相机和右目相机获取双目TOF图像帧；
根据所述双目TOF图像帧计算双目TOF深度信息。
根据本申请的一种具体实施方式，所述TOF相机的图像传感器的采样快门与所述发射装置发射所述调制光信号的周期对齐；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧的步骤，包括：
在连续多个采样周期内分别对基于所述调制光信号的反射光信号进行采样，得到各采样周期的光电信号；
对连续多个采样周期的光电信号进行积分采样处理，得到实际光电信号；
根据所述实际光电信号和所述调制光信号获取TOF图像。
根据本公开实施例的一种具体实现方式，所述在连续多个采样周期内分别对基于所述调制光信号的反射光信号进行采样的步骤，包括：
在每个采样周期内控制采样快门分别延时四个相位对所述反射光信号进行四次采样，相邻相位差为π/2，采样快门的开启时长小于或者等于所述发射装置发射所述调制光信号的周期的四分之一。
根据本公开实施例的一种具体实现方式，所述根据所述TOF图像帧计算深度信息的步骤，包括：
TOF图像帧被分成多组子帧集，各组子帧集内子帧的数量为2k，K为自然数；
对各组子帧集内的全部子帧进行融合处理，得到各组子帧集的融合帧；
利用所述融合帧计算深度信息。
根据本公开实施例的一种具体实现方式，所述控制所述TOF相机获取单目的TOF图像帧，并控制所述左目相机和所述右目相机获取双目图像帧，根据所述TOF图像帧计算TOF深度信息，并根据所述双目图像帧计算双目深度信息的步骤，包括：
交替获取TOF图像帧和双目图像帧；
确定TOF图像帧生成的深度图的像素点与双目图像帧的图像的像素点之间的第一映射关系；
根据TOF图像帧的相位图计算TOF深度数据；
根据所述第一映射关系将所述TOF深度数据转换为双目***的初始视差，并确定对应参考图像中的参考像素点的双目视差；
根据双目图像帧计算像素高置信度的第一视差或者第二视差；
根据所述初始视差、第一视差或第二视差，确定种子视差；
根据种子视差构建种子视差网络，确定待匹配像素视差搜索中心及视差搜索范围；
计算匹配代价，获取双目视差及对应的双目深度信息。
根据本公开实施例的一种具体实现方式，所述根据所述初始视差、第一视差或第二视差，确定种子视差的步骤，包括：
判断所述第一视差或者第二视差与所述初始视差的差值绝对值是否大于预设差值；
若差值绝对值大于预设差值，则将所述初始视差修正为对应的第一视差或者第二视差，根据修正后的所述第一视差或者第二视差确定种子视差；
若差值绝对值不大于预设差值，则根据所述初始视差确定种子视差。
本公开实施例中的基于TOF的双目深度信息获取***及方法，***包括：发射装置、接收装置和控制装置，接收装置包括设置在同一基线上的左目相机和右目相机，所述左目相机和所述右目相机均包括图像传感器，控制装置控制所述发射装置向目标物表面发射调制光信号，并控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，并根据所述TOF图像帧计算深度数据，TOF相机为左目相机和/或右目相机。通过本公开的方案，将TOF与双目立体视觉相结合，不仅可以提高深度图像的分辨率，简化双目立体匹配和深度计算的复杂性，而且可以同时获取每个像素点的图像信息和深度信息。进一步的可通过配置TOF阵列激活模式及双目图像采样模式，从而根据不同应用场景、不同探测距离获取高质量的、有效的深度图像。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种基于TOF的双目深度信息获取***的结构示意图；
图2为本公开实施例提供的一种基于TOF的双目深度信息获取方法的流程示意图；
图3为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的采样示意图；
图4为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的采样快门的曝光原理示意图；
图5为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的全周期四相位采样示意图；
图6为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的另一状态的反射光信号的采样快门的曝光原理示意图；
图7为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的子帧融合示意图；
图8为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的交替获取TOF帧和双目图像帧的示意图；
图9为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的映射关系示意图；
图10为本公开实施例提供的基于TOF的双目深度信息获取方法所涉及的双目立体匹配过程示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
参见图1，本公开实施例提供了一种基于TOF的双目深度信息获取***，用于获取双目深度信息。具体的，如图1所示，所述基于TOF的双目深度信息获取***100主要包括：
发射装置110，包括激光光源和透镜模组，所述激光光源用于发射调制光信号，所述透镜模组用于将所述调制光信号调整至预设状态；
接收装置120，包括设置在同一基线上的左目相机和右目相机，所述左目相机和所述右目相机均包括图像传感器；
控制装置130，用于控制所述发射装置向目标物表面发射调制光信号，并控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，并根据所述TOF图像帧计算深度数据，TOF相机为左目相机和/或右目相机。
本实施例提供的基于TOF的双目深度信息获取***100，包括发射装置110、接收装置120和控制装置130，控制装置130作为主控设备，发射装置110为用于发射调制光信号的组件，接收装置120为用于接收反射光信号的组件，由双目相机构成。
发射装置110包括激光光源和透镜模组，根据本申请的一种具体实施方式，所述激光光源包括垂直腔表面发射激光器(VCSEL)或发光二极管(LED)，当然也可以为其他类型的激光器(LASER)。透镜模组包括准直透镜和衍射光学元件(DOE)，激光光源发射的调制光信号激光通过准直透镜准直处理后使光线向特定方向集中发射，然后通过DOE对准直光线进行扩束，例如原光用采用2×2的VCSEL阵列，在经过准直透镜后生成4束准直激光束，虽然四束激光束拥有一定发散角，但无法均匀的以较大视场照亮整个目标场景，因此通过DOE对其进行扩束。利用TOF中的DOE对输出的调制光信号进行扩束及均一化，使得较窄的光束扩展到更宽的角度范围内，并具备均匀的照明场。
接收装置120包括双目相机，即位于同一基线上的左目相机和右目相机，各相机均包括图像传感器、滤光片和光学镜头，用于根据所述激光光源投射器相移法调制驱动信号、同步接收所述泛光投射器和所述激光散斑投射器照射物体表面后反射回来的相移图像，一般的图像传感采用CCD、CMOS、雪崩二极管SPAD阵列等。可选的，所述左目相机和所述右目相机均为红外相机。
发射装置与接收装置中双目相机中的至少一个单目相机构成TOF相机***，例如与左目相机或者右目相机构成TOF相机***，而双目相机构成双目***。具体实施时，为方便工程实践开发，通常可以默认选择将左相机作为参考相机，当然也可以将距离投射器较近的相机作为参考相机，以尽量减少测量误差，当然也可以与左目相机和右目相机机共同构成双目TOF相机***。当左右两个相机均被配置为接收调制光信号时，获取双目TOF图像帧；其中双目图像帧和双目TOF图像帧均可以进行双目立体匹配计算。
此外，参见图2，为本公开实施例提供的一种基于TOF的双目深度信息获取方法的流程示意图，应用于上述实施例提供的基于TOF的双目深度信息获取***的控制装置，所述基于TOF的双目深度信息获取***还包括发射装置和接收装置，本实施例将结合基于TOF的双目深度信息获取***具体解释基于TOF的双目深度信息获取方法的实施过程。如图2所示，所述方法主要包括以下步骤：
步骤S201，控制所述发射装置向目标物表面发射调制光信号；
发射装置的激光光源发射调制光信号，投射到目标物表面，以探测目标物表面的深度信息。
步骤S202，控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，其中，所述TOF相机为所述接收装置内的左目相机和/或右目相机；
调制光信号投射到目标物表面，形成反射光信号，接收装置的TOF相机接收发射光信号，形成TOF图像帧。TOF相机可以取其中一侧的相机或者双目相机，具体包括如下两种具体实施方式：
根据本申请的一种具体实施方式，所述TOF相机为所述左目相机或右目相机；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，根据所述TOF图像帧计算深度数据的步骤，包括：
控制所述TOF相机获取单目的TOF图像帧，并控制所述左目相机和所述右目相机获取双目图像帧；
根据所述TOF图像帧计算TOF深度信息，并根据所述双目图像帧计算双目深度信息。
根据本申请的另一种具体实施方式，所述TOF相机为所述左目相机和右目相机；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，根据所述TOF图像帧计算深度数据的步骤，包括：
控制所述左目相机和右目相机获取双目TOF图像帧；
根据所述双目TOF图像帧计算双目TOF深度信息。
根据本申请的一种具体实施方式，所述TOF相机的图像传感器的采样快门与所述发射装置发射所述调制光信号的周期对齐；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧的步骤，包括：
在连续多个采样周期内分别对基于所述调制光信号的反射光信号进行采样，得到各采样周期的光电信号；
对连续多个采样周期的光电信号进行积分采样处理，得到实际光电信号；
根据所述实际光电信号和所述调制光信号获取TOF图像。
根据本公开实施例的一种具体实现方式，所述在连续多个采样周期内分别对基于所述调制光信号的反射光信号进行采样的步骤，包括：
在每个采样周期内控制采样快门分别延时四个相位对所述反射光信号进行四次采样，相邻相位差为π/2，采样快门的开启时长小于或者等于所述发射装置发射所述调制光信号的周期的四分之一。
根据本公开实施例的一种具体实现方式，所述根据所述TOF图像帧计算深度信息的步骤，包括：
TOF图像帧被分成多组子帧集，各组子帧集内子帧的数量为2k，K为自然数；
对各组子帧集内的全部子帧进行融合处理，得到各组子帧集的融合帧；
利用所述融合帧计算深度信息。
具体实施时，图像传感器每秒钟获得的TOF帧序列，TOF图像帧序列由多个TOF帧构成，每一个TOF帧由被分成多组子帧集，每组子帧集至少包含一个子帧，子帧数量∈(1、2…2k-1、2k)，其中k可根据图像传感器本身的特性以及调制光信号的频率来确定，例如根据帧率参数、成像质量等参数确定。在获取TOF图像帧的子帧过程中，将TOF相机的图像传感器的采样快门配置为与调制光源或调制光信号的周期同步对齐。
以f＝20MHz调制频率为例，每个周期时间50ns，TOF子帧的每个采样快门周期极其短，采样的光电信号很弱，需要通过多个调制波采样周期如10000个调制波周期对信号进行积分采样处理。图3中示例了同一像素单元在四个延时相位采样窗口采样示意图，Q表示采样的光电信号强度，φ就是调制光信号和反射光信号的相位差，A为接收的光强信号幅值。在上述10000个采样周期内对每个采样快门周期内的每个相位的光电信号Q进行积分然后作为最终的光电信号∑Q值，以此来提高信号强度和信噪比，∑A为连续采样时间内的曝光强度。在具体实施时，对光电信号的积分时间的时长可以根据测量目标的远近调整，即较远距离的目标调整光反射信号较弱，可增加积分时间；较近的目标反射信号强，可适当的减少积分时间。
如图4所示为延迟状态的反射光信号单周期采样快门的曝光原理示意图，如图5为全周期四相位采样示意图，如图6为另一状态的反射光信号的采样快门的曝光原理示意图。若图像传感器阵列每个像素单元拥有两个快门，可分别完成相位为(0，π)、(π/2，3π/2)时的双采样工作，并获取四个采样相位的相关值(Q1，Q2)、(Q3，Q4))。即在一个调制光周期内快门分别延迟π/2相位(0、π/2、π、3π/2)对反射光信号的采样，图像传感器快门只在对应的采样窗口期内开启，此时快门开启时长可灵活配置，频率为时钟信号频率的整数倍。
在一种TOF帧快门控制实施方式中，快门开启的时长小于等于T0/4，其中T0为调制光信号或时钟信号周期，即每个快门曝光周期与调制光周期一致，但分别延时四个相位对反射光信号进行采集，每个调制光周期至少可以完成一个相位的反射光信号采样。在其他方案中，每个调制光周期可以完成至少两个相位的反射光信号采集，该方法需要在多个调制光周期内完成四个相位的反射光信号采集，所以会影响整个帧率。如图6所示，受图像传感器采样电路的限制，开门控制电路只能在一个调制周期内完成一次相位的采样，因此需要四个周期完成四个相位的采样。可以在图像传感器中设计2个快门开关，这两个快门开关可以用于完成不同相位的信号采集，这样可以不需要四个周期，即两个周期即可完成四个相位的采样。
每个子帧的每个像素输出值可表示当前时刻红外光反射相位差和接收到的光信号幅值，即构成相位图和振幅图，其中相位图用于计算目标深度信息，振幅图用于表示目标红外图像的亮度。红外图像可用于目标检测、识别、双目立体视觉匹配等，基于相位图计算的目标深度信息可用于目标3D重建、构建点云、3D姿态检测等。如图7所示，进一步的当每个子帧集包含多个子帧时，可以对多个子帧进行融合处理。
其中每个子帧由在预设调制光信号频率f下通过多个采样周期获得。以f＝20MHz的调制光信号频率为例，基于TOF成像原理，在各周期内，图像传感器只能获得微弱的红外激光反射信号，信噪比低，因此需要多个积分采样周期提高信噪比。假设每个子帧需要10000个20MHz的时钟信号，即一个子帧需要10000个调制光时钟周期进行积分，当每个子帧集子帧数为1时，则相当于TOF相机可以以2kHz的子帧速率获取TOF相位图和振幅图；当子帧数为2时，每个子帧集包含两个子帧，需要2*10000个积分周期，此时相当于TOF相机可以以1kHz的子帧速率获取TOF相位图和振幅图。
其中每个子帧积分周期为预设固定值，因此可通过配置子帧集子帧数，并对子帧集各子帧融合处理后进一步提高图像采样信噪比，即提高TOF相位图和振幅图的质量，便于在不同光照使用环境下获取高质量的相位差和振幅数据，从而获得高精度深度数据。配置子帧集子帧数可以根据需要积分的子帧数量、图像传感器性能、发射光功率等来综合确定子帧积分周期，进而确定子帧集的子帧数。例如，调制光信号的发射功率提高一倍后，若忽略衰减干扰，子帧积分周期的10000可以变为5000，即只需要5000个积分周期可获得高可靠度的相位及振幅。
子帧积分表示在10000个调制时钟周期内对相位图进行加权平均或其他类似处理，对振幅图进行积分求和处理。在采用普通CCD传感器进行TOF深度感知时，需要四个时钟周期完成四个相位的数据采样，然后才能获得调制光信号与反射光信号的相位差，即10000个调制时钟周期可完成大约2500次同一目标的相位差采样计算，因此需要对这大约2500从的相位差值进行滤波后，求取其均值，才能获得高可信度的相位差数据；同时在一般的应用中还需要获得传感器的灰度图，即目标的红外图像，而每个时钟周期的获得振幅图的值均代表了当前一个时钟曝光周期内传感器获得的目标亮度，一般这个值非常小，因此需要将次的曝光结果累加后作为最终的振幅图即灰度图，用于人脸识别或双目匹配计算。
子帧集融合指对各子帧相位图及振幅图均值化，同时在一种HDR模式中，可通过配置各子帧集中的子帧融合方式获取高动态范围图像，即将子帧集中的部分子帧图像加权融合，从而获取低曝光和高曝光初始图像，然后进行HDR融合。或者，通过配置各子帧融合系数，分别实现高低曝光图像。
每个子帧10000个时钟积分周期内，其中可配置8000多个周期为图像传感器对光信号的积分时间，2000多个周期为信号处理和计算光信号相位差和光信号幅值时间，具体可根据不同传感器类型、帧率、调制信号频率等参数进行自适应设置。
步骤S203，根据所述TOF图像帧计算深度信息。
获取TOF图像帧和双目图像帧，即可用于深度信息的计算。双目图像帧包括为双目相机图像传感器在预设的曝光时间内或由左右相机同步获取的双目TOF帧红外图像；其中双目相机图像传感器在预设的曝光时间内获取双目红外图像是指左右双目图像传感器阵列快门在预设连续曝光周期内常开，以此获取双目红外图像。而双目TOF红外图像是指左右双目图像传感器阵列快门按照TOF相机***快门控制模式，在多个调制光积分周期获得的振幅图作为TOF双目红外图像。
根据本公开实施例的一种具体实现方式，所述控制所述TOF相机获取单目的TOF图像帧，并控制所述左目相机和所述右目相机获取双目图像帧，根据所述TOF图像帧计算TOF深度信息，并根据所述双目图像帧计算双目深度信息的步骤，包括：
交替获取TOF图像帧和双目图像帧；
确定TOF图像帧生成的深度图的像素点与双目图像帧的图像的像素点之间的第一映射关系；
根据TOF图像帧的相位图计算TOF深度数据；
根据所述第一映射关系将所述TOF深度数据转换为双目***的初始视差，并确定对应参考图像中的参考像素点的双目视差；
根据双目图像帧计算像素高置信度的第一视差或者第二视差；
根据所述初始视差、第一视差或第二视差，确定种子视差；
根据种子视差构建种子视差网络，确定待匹配像素视差搜索中心及视差搜索范围；
计算匹配代价，获取双目视差及对应的双目深度信息。
进一步的，所述根据所述初始视差、第一视差或第二视差，确定种子视差的步骤，包括：
判断所述第一视差或者第二视差与所述初始视差的差值绝对值是否大于预设差值；
若差值绝对值大于预设差值，则将所述初始视差修正为对应的第一视差或者第二视差，根据修正后的所述第一视差或者第二视差确定种子视差；
若差值绝对值不大于预设差值，则根据所述初始视差确定种子视差。
如图的，如图8所示为交替获取TOF帧和双目图像帧的示意图，如图9和图10所示为根据TOF帧深度信息进行双目立体匹配引导加速计算，即将TOF深度数据转化为双目视差搜索约束以此引导和加速双目立体匹配过程。
如图10所示，首先确定TOF帧生成的深度图的像素点与双目摄像头中左右两个摄像头的图像的像素点之间的相对几何映射位置关系函数，定义为第一映射函数，用于将将TOF相机***产生的点云通过联合标定的变换矩阵[R，T]映射到左目相机的相机坐标系，R为旋转矩阵，T为平移矢量，以及TOF相机和左右两个摄像头的内部参数。
再获取TOF帧、双目帧及其根据TOF帧相位图计算TOF深度数据。此外，还可以选取高置信度的TOF深度数据，以用于后续计算高准确度的双目匹配等效视差。
接下来就是利用TOF深度数据进行双目立体匹配的过程，先将TOF深度数据根据第一映射函数转换为双目***的等效视差，作为初始视差d0。将所述初始视差作为双目立体匹配过程中的视差搜索约束，以此引导后续双目立体匹配计算过程。
基于上述TOF深度数据而获得初始视差d0，确定对应参考像图像中的参考像素点P0(u0、v0、d0)的双目视差，P0表示像素亮度值，u0、v0表示其在参考图像上的像素位置，d0表示该像素点的初始视差。
基于SURF等特征匹配算法计算参考像素点P0(u0、v0)的高置信度第一视差d'0或计算包括参考像P0(u0、v0)在内的领域像素视差的均值作为第二视差d”0；
根据参考像素点的初始视差d0和第一视差d'0或第二视差d”0确定种子视差ds为种子视差，包括：
计算该参考像素点初始视差d0与第一视差d′0或第二视差d″0的差的绝对值，若|d0-d′0|≥θ或|d0-d″0|≥θ，则表示当前TOF深度信息不可信，并将初始视差d0修正为对应的第一视差d′0或第二视差d″0作为种子视差，反之亦然原初始视差作为种子视差。
根据种子视差ds，对双目立体匹配过程中参考像素P0(u0、v0)领域内的待匹配参考像素进行先验约束，设置视差范围，缩小搜索空间，从而提高立体匹配的速度与质量，包括：
根据种子视差(u0、v0、ds)构建种子视差网格，其中P0(u0、v0、ds)表示网格定点；
确定待匹配参考像素P(u、v)在所述视差网格中的位置，并将距离待匹配参考像素P(u、v)最近的网格定点所在像素P0(u0、v0、ds)的种子视差ds作为待匹配参考像素P(u、v)视差搜索中心或，基于双线性插值法将待匹配参考像素P(u、v)领域内多个种子视差的双线性插值结果作为待匹配参考像素P(u、v)视差搜索中心。
如图8所示，待匹配参考像素周围拥有四个有效种子视差点，且L1距离最近，可选最近的种子视差值作为其视差搜索中心；或者将其四领域内各有效视差点基于双线性插值法计算的最终视差结果作为视差搜索中心。
则待匹配参考像素的视差d搜索范围可表示为d∈(ds-λ,ds+λ)，其中λ为待匹配参考像素视差搜索范围调整因子；基于上视差搜索范围计算匹配代价，获取双目匹配视差及深度数据。
进一步还包括基于各自深度结果的值置信度信息，确定融合权重，并将TOF深度数据与双目深度数据进行加权融合；
Z＝wTZT+WSZS
Z表示融合后的深度值；
ZT，ZS分表代表TOF***和双目***获得深度值；
wT,WS分别表示TOF***和双目***深度值对应的置信度权重，其中WS＝1-wT。
这样，通过将TOF及双目结合，可获得高质量的、高分辨率的深度信息。2.通过TOF***深度信息引导加速双目匹配计算过程，并通过置信度加权深度信息融合处理，提高深度信息准确度，降低因多路径反射、环境光等造成的干扰。3.对于TOF***，设计了新的TOF帧控制方法，以此更好的控制深度帧信息的输出的平滑性和有效性。
综上所述，本申请实施例提供的基于TOF的双目深度信息获取***及方法，***包括：发射装置、接收装置和控制装置，接收装置包括设置在同一基线上的左目相机和右目相机，所述左目相机和所述右目相机均包括图像传感器，控制装置控制所述发射装置向目标物表面发射调制光信号，并控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，并根据所述TOF图像帧计算深度数据，TOF相机为左目相机和/或右目相机。通过本公开的方案，将TOF与双目立体视觉相结合，不仅可以提高深度图像的分辨率，简化双目立体匹配和深度计算的复杂性，而且可以同时获取每个像素点的图像信息和深度信息。进一步的可通过配置TOF阵列激活模式及双目图像采样模式，从而根据不同应用场景、不同探测距离获取高质量的、有效的深度图像。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于TOF的双目深度信息获取***，其特征在于，所述***包括：
发射装置，包括激光光源和透镜模组，所述激光光源用于发射调制光信号，所述透镜模组用于将所述调制光信号调整至预设状态；
接收装置，包括设置在同一基线上的左目相机和右目相机，所述左目相机和所述右目相机均包括图像传感器；
控制装置，用于控制所述发射装置向目标物表面发射调制光信号，并控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，并根据所述TOF图像帧计算深度数据，TOF相机为左目相机和/或右目相机。
2.根据权利要求1所述的基于TOF的双目深度信息获取***，其特征在于，所述激光光源包括垂直腔表面发射激光器或发光二极管；和/或，
所述透镜模组包括准直透镜和衍射光学元件；和/或，
所述左目相机和所述右目相机均为红外相机。
3.一种基于TOF的双目深度信息获取方法，其特征在于，应用于权利要求1或者2所述的基于TOF的双目深度信息获取***的控制装置，所述基于TOF的双目深度信息获取***还包括发射装置和接收装置，所述方法包括：
控制所述发射装置向目标物表面发射调制光信号；
控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，其中，所述TOF相机为所述接收装置内的左目相机和/或右目相机；
根据所述TOF图像帧计算深度信息。
4.根据权利要求3所述的基于TOF的双目深度信息获取方法，其特征在于，所述TOF相机为所述左目相机或右目相机；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，根据所述TOF图像帧计算深度数据的步骤，包括：
控制所述TOF相机获取单目的TOF图像帧，并控制所述左目相机和所述右目相机获取双目图像帧；
根据所述TOF图像帧计算TOF深度信息，并根据所述双目图像帧计算双目深度信息。
5.根据权利要求3所述的基于TOF的双目深度信息获取方法，其特征在于，所述TOF相机为所述左目相机和右目相机；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧，根据所述TOF图像帧计算深度数据的步骤，包括：
控制所述左目相机和右目相机获取双目TOF图像帧；
根据所述双目TOF图像帧计算双目TOF深度信息。
6.根据权利要求3所述的基于TOF的双目深度信息获取方法，其特征在于，所述TOF相机的图像传感器的采样快门与所述发射装置发射所述调制光信号的周期对齐；
所述控制TOF相机接收基于所述调制光信号的反射光信号，形成TOF图像帧的步骤，包括：
在连续多个采样周期内分别对基于所述调制光信号的反射光信号进行采样，得到各采样周期的光电信号；
对连续多个采样周期的光电信号进行积分采样处理，得到实际光电信号；
根据所述实际光电信号和所述调制光信号获取TOF图像。
7.根据权利要求6所述的基于TOF的双目深度信息获取方法，其特征在于，所述在连续多个采样周期内分别对基于所述调制光信号的反射光信号进行采样的步骤，包括：
在每个采样周期内控制采样快门分别延时四个相位对所述反射光信号进行四次采样，相邻相位差为π/2，采样快门的开启时长小于或者等于所述发射装置发射所述调制光信号的周期的四分之一。
8.根据权利要求3所述的基于TOF的双目深度信息获取方法，其特征在于，所述根据所述TOF图像帧计算深度信息的步骤，包括：
TOF图像帧被分成多组子帧集，各组子帧集内子帧的数量为2k，K为自然数；
对各组子帧集内的全部子帧进行融合处理，得到各组子帧集的融合帧；
利用所述融合帧计算深度信息。
9.根据权利要求4所述的基于TOF的双目深度信息获取方法，其特征在于，所述控制所述TOF相机获取单目的TOF图像帧，并控制所述左目相机和所述右目相机获取双目图像帧，根据所述TOF图像帧计算TOF深度信息，并根据所述双目图像帧计算双目深度信息的步骤，包括：
交替获取TOF图像帧和双目图像帧；
确定TOF图像帧生成的深度图的像素点与双目图像帧的图像的像素点之间的第一映射关系；
根据TOF图像帧的相位图计算TOF深度数据；
根据所述第一映射关系将所述TOF深度数据转换为双目***的初始视差，并确定对应参考图像中的参考像素点的双目视差；
根据双目图像帧计算像素高置信度的第一视差或者第二视差；
根据所述初始视差、第一视差或第二视差，确定种子视差；
根据种子视差构建种子视差网络，确定待匹配像素视差搜索中心及视差搜索范围；
计算匹配代价，获取双目视差及对应的双目深度信息。
10.根据权利要求9所述的基于TOF的双目深度信息获取方法，其特征在于，所述根据所述初始视差、第一视差或第二视差，确定种子视差的步骤，包括：
判断所述第一视差或者第二视差与所述初始视差的差值绝对值是否大于预设差值；
若差值绝对值大于预设差值，则将所述初始视差修正为对应的第一视差或者第二视差，根据修正后的所述第一视差或者第二视差确定种子视差；
若差值绝对值不大于预设差值，则根据所述初始视差确定种子视差。
CN202310114493.0A 2023-02-02 2023-02-02 基于tof的双目深度信息获取***及方法 Pending CN116299341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310114493.0A CN116299341A (zh) 2023-02-02 2023-02-02 基于tof的双目深度信息获取***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310114493.0A CN116299341A (zh) 2023-02-02 2023-02-02 基于tof的双目深度信息获取***及方法

Publications (1)

Publication Number Publication Date
CN116299341A true CN116299341A (zh) 2023-06-23

Family

ID=86789792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310114493.0A Pending CN116299341A (zh) 2023-02-02 2023-02-02 基于tof的双目深度信息获取***及方法

Country Status (1)

Country Link
CN (1) CN116299341A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014729A (zh) * 2023-09-27 2023-11-07 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014729A (zh) * 2023-09-27 2023-11-07 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及***
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及***

Similar Documents

Publication Publication Date Title
CN106772431B (zh) 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107862293B (zh) 基于对抗生成网络的雷达生成彩色语义图像***及方法
Kim et al. Design and calibration of a multi-view TOF sensor fusion system
JP6480441B2 (ja) 飛行時間型カメラシステム
JP6023087B2 (ja) 画像を記録する方法、画像から３ｄ情報を得る方法、カメラシステム
US11196919B2 (en) Image processing method, electronic apparatus, and computer-readable storage medium
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
US9123164B2 (en) 3D image acquisition apparatus and method of extracting depth information in 3D image acquisition apparatus
US20060221250A1 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
KR20110085785A (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
CN209676383U (zh) 深度相机模组、深度相机、移动终端以及成像装置
CN111239729A (zh) 融合散斑和泛光投射的ToF深度传感器及其测距方法
CN109801321B (zh) 一种基于可编程延时线的tof相机深度标定方法
JP2010113720A (ja) 距離情報を光学像と組み合わせる方法及び装置
CN107063117A (zh) 基于光场成像的水下激光同步扫描三角测距成像***和方法
CN110007289B (zh) 一种基于飞行时间深度相机的运动伪差减小方法
JP2017201760A (ja) 撮像装置および測距装置
CN110471083A (zh) 一种纵向距离的激光三维成像装置及方法
CN116299341A (zh) 基于tof的双目深度信息获取***及方法
CN113780349A (zh) 训练样本集的获取方法、模型训练方法及相关装置
CN111678457A (zh) 一种OLED透明屏下ToF装置及测距方法
CN105472237A (zh) 摄像设备和摄像方法
CN111366943A (zh) 飞行时间测距***及其测距方法
CN112651286B (zh) 一种基于透明屏的三维深度感知装置及方法
CN109100740B (zh) 一种三维图像成像装置、成像方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination