CN112379389B - 一种结合结构光相机和tof深度相机的深度信息获取装置和方法 - Google Patents

一种结合结构光相机和tof深度相机的深度信息获取装置和方法 Download PDF

Info

Publication number
CN112379389B
CN112379389B CN202011264676.3A CN202011264676A CN112379389B CN 112379389 B CN112379389 B CN 112379389B CN 202011264676 A CN202011264676 A CN 202011264676A CN 112379389 B CN112379389 B CN 112379389B
Authority
CN
China
Prior art keywords
depth information
tof
sensor
light
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011264676.3A
Other languages
English (en)
Other versions
CN112379389A (zh
Inventor
孙乐韵
徐永奎
杨静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lanxin Technology Co ltd
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202011264676.3A priority Critical patent/CN112379389B/zh
Publication of CN112379389A publication Critical patent/CN112379389A/zh
Application granted granted Critical
Publication of CN112379389B publication Critical patent/CN112379389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种结合结构光技术和TOF技术的深度信息获取装置，包括主动光源发射装置、TOF传感器、结构光传感器、控制器以及处理器，主动光源发射装置和处理器均与控制器相连，所述TOF传感器和结构光传感器均与处理器相连。方法包括：控制器控制主动光源发射装置形成具有空间明暗分布的照明场景并照射目标测量区域，TOF传感器接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；结构光传感器采集照明下的结构光图像，得到强度信息；合并多帧TOF传感器所获得的深度信息实现完整视野范围的深度测量，将所述深度信息映射到结构光图像坐标中，结构光传感器根据TOF深度信息以及光学三角原理计算细分编码，从而获得更精确的深度信息。

Description

一种结合结构光相机和TOF深度相机的深度信息获取装置和 方法
技术领域
本发明涉及深度传感器、机器视觉、三维重建、TOF技术、结构光技术领域，尤其涉及一种结合结构光相机和TOF深度相机的深度信息获取装置和方法。
背景技术
近年来，常用的深度信息获取方法包括3D结构光，TOF(Time of Flight，飞行时间)和双目等技术。深度信息获取对于图像识别与处理、场景理解、VR、AR和机器人等应用有其不可或缺的作用，但是不同的深度信息获取方式有各自的局部性，如：结构光利用投影在被观察物体上的大小和形状计算深度信息，相对而言计算量少功耗低，在近距离范围内精度更高，更适合静态场景，但受强自然光和反光影响，不适于户外场景，工艺相对复杂，成本较高，速度较慢；TOF利用发射光脉冲并接收反射回来的光脉冲计算深度信息，相对而言更利于设备的小型化，帧率高，算法简易，速度快，更适合动态场景，测量距离较大，适用于远距离，测量精度不会随着测量距离的增大而降低，对室外强光环境有一定的鲁棒性，但受多重反光影响，且目前分辨率较低，功耗偏高；双目计算复杂，受环境影响大，可靠性差。
为此，我们提出了一种结合结构光相机和TOF深度相机的深度信息获取装置和方法，具有结构光相机近距离精度高的优点的同时，提高测量效率，根据不同情况合并深度信息，可适用于更广泛的场景。
发明内容
本发明实施例的目的是提供一种结合结构光相机和TOF深度相机的深度信息获取装置和方法，以解决现有技术中存在的测量时间偏长，测量效率偏低的问题，增强动态场景下深度信息获取的准确性和可靠性。同时机构光编码空间照明有益于减小TOF多路径散射的问题，增强TOF测距的准确性。
本发明解决其技术问题所采用的技术方案如下：
第一方面，本发明实施例提供一种结合结构光技术和TOF技术的深度信息获取装置，包括主动光源发射装置、TOF传感器、结构光传感器、控制器以及处理器，所述主动光源发射装置和处理器均与控制器相连，所述TOF传感器和结构光传感器均与处理器相连。
进一步地，所述主动光源发射装置包括主动光源、空间调制器及成像***，所述控制器控制所述主动光源的发射时间调制的光，所述控制器控制所述空间调制器，时间调制的光经空间调制器调制后，由成像***形成具有空间明暗分布的照明场景。
进一步地，所述结构光传感器与TOF传感器布置时具有重合视野范围。
进一步地，所述TOF传感器和结构光传感器有各自的镜头，需要先进行外参标定，同时像素的映射关系依赖TOF获得深度信息。
进一步地，所述结构光传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息，实现最大的视场。
进一步地，所述结构光传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息中，采用分光方法也需要在实施之前标定出结构光传感器和TOF传感器的相对旋转关系，建立像素坐标的映射关系。
进一步地，所述主动光源发射装置的时间调制为正弦波、快速方波序列或者脉冲序列。
第二方面，本发明实施例还提供一种利用第一方面所述的结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法，包括：
步骤(1)，控制器控制主动光源发射装置形成具有空间明暗分布的照明场景并照射目标测量区域，TOF传感器接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；结构光传感器采集照明下的结构光图像，得到强度信息；
步骤(2)，合并多帧TOF传感器所获得的深度信息实现完整视野范围的深度测量，将所述深度信息映射到结构光图像坐标中，结构光传感器根据TOF深度信息以及光学三角原理计算细分编码，从而获得更精确的深度信息。
根据以上技术方案，本发明的有益效果如下：
本发明以较低成本实现室内外环境下高分辨率快速深度信息获取，适用于近距离及较远距离。兼具TOF技术的快速测量和结构光近距离高精度等优点，降低了无法识别和错误识别的风险，稳定性和可靠性更好。
同时采集低分辨率的深度图像和高分辨率的结构光图像，用深度图像映射到结构光坐标系，细分编码和粗分编码相结合，按照光学三角法原理得到高分辨率的深度信息，大幅降低了算法复杂度和计算时间。本发明方法或装置包含一路主动光源发射装置，可以进行空间和时间调制，空间调制对目标投射具有一定空间分布的图案；时间调制用于TOF获取深度图像。TOF传感器和结构光传感器都只响应主动光源，并增加同波段滤光片减少环境光影响，保证在近距离或者较远距离、强环境光和弱环境光下都能获得可识别的图像。
附图说明
为了更好的理解，在以下的描述中将参照附图更详细地解释本发明。应理解，本发明不限于此示范性实施例，指定的特征也可以被方便地结合和/或修改，而不背离本发明的由权利要求书所限定的范围。在附图中：
图1是本发明实施例提供的一种结合结构光技术和TOF技术的深度信息获取装置的结构图；
图2是本发明实施例提供的一种结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法的流程图；
图中：1、被测物体投影区域；2、同波段滤光片；3、空间调制器及成像***；4、图像传感器；5、TOF传感器；6、处理器；7、控制器；8、主动光源。
具体实施方式
在以下描述中，陈述多个特定细节以提供对实施例的透彻理解。然而，相关领域的技术人员应认识到，本文所描述的技术可被实践而不需一或多个特定细节，或使用其它方法、组件、材料等。
如图1所示，本发明实施例提供一种结合结构光技术和TOF技术的深度信息获取装置，包括主动光源发射装置、TOF传感器5、结构光传感器4、控制器7以及处理器6，所述主动光源发射装置和处理器6均与控制器7相连，所述TOF传感器5和结构光传感器4均与处理器6相连。
本申请一实施例中，所述主动光源发射装置包括主动光源8、空间调制器及成像***3，所述控制器7控制所述主动光源8的发射时间调制的光，所述控制器7控制所述空间调制器，时间调制的光经空间调制器调制后，由成像***形成具有空间明暗分布的照明场景。实施例中主动光源8采用850nm激光模组，主动光源8的时间调制为调制频率为12MHz的正弦波信号，空间调制器为液晶空间调制器，空间调制器产生相移为2π/3和4π/3的正弦条纹，成像***为微透镜阵列。
本申请一实施例中，所述主动光源发射装置的时间调制为正弦波、快速方波序列或者脉冲序列。主动光源发射装置也可以分为脉冲激光投射器和编码结构光投射器。
本申请一实施例中，所述结构光传感器4与TOF传感器5布置时具有重合视野范围，所述TOF传感器5和结构光传感器4有各自的镜头，需要先进行外参标定，同时像素的映射关系依赖TOF获得深度信息。所述结构光传感器4和TOF传感器5采用分光方法采集同样条件下的图像和深度信息，实现最大的视场。
使用时，优选将所述的TOF传感器和结构光传感器平行放置；所述的TOF传感器5和结构光传感器4前方各加一片同波段滤光片2。TOF传感器5接收主动光源8发射到场景目标并反射回来的回波信号，根据信号的时间调制计算飞行时间，进一步得到场景深度信息。所述的结构光传感器4接收主动光源8照明下的结构光图像。
所述结构光传感器4和TOF传感器5采用分光方法采集同样条件下的图像和深度信息中，采用分光方法也需要在实施之前标定出结构光传感器4和TOF传感器5的相对旋转关系，建立像素坐标的映射关系。TOF传感器5获得的深度信息辅助结构光传感器4计算深度信息，提高效率；结构光传感器4计算得到的深度信息又能反过来反馈给TOF传感器5，提高TOF传感器在近距离的测量精度，降低噪声。也可以仅包含一个传感器同时用作结构光传感器4和TOF传感器5。
本发明实施例还提供一种利用上述的结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法，包括：
步骤(1)，控制器7控制主动光源发射装置形成具有空间明暗分布的照明场景并照射目标测量区域，TOF传感器5接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；结构光传感器4采集照明下的结构光图像，得到强度信息；
步骤(2)，合并多帧TOF传感器5所获得的深度信息实现完整视野范围的深度测量，将所述深度信息映射到结构光图像坐标中，结构光传感器4根据TOF深度信息以及光学三角原理计算细分编码，从而获得更精确的深度信息。
本发明考虑的是如何结合结构光和TOF技术各自的特点，在一定范围内，提高计算深度信息的精度和效率，使其适用于更多场景。具有结构光近距离高分辨率的同时，大幅降低算法要求，提高测量速度，减少环境光影响，适用于室内外和远近距离。相对于简单的多种传感器融合，不仅成本降低，集成度更好，而且性能上也更稳定。
实施例：
如图2所示，本发明实施例还提供一种利用上述的结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法，包括：
1、控制器7控制主动光源8发射波长为850nm调制频率为12MHz的正弦波光信号，经过液晶空间调制器调制后形成正弦条纹照射被测物体投影区域1，实现时间调制为高频正弦波、空间分布为正弦条纹的调制光照明。
2、TOF传感器5接收目标反射的回波信号，计算光波飞行时间得到各点的深度信息，分辨率为320×240，图像传感器4同步采集正弦条纹调制后的目标强度图像，分辨率为640×480，帧率100Hz。
3、控制器7控制液晶空间调制器产生相移为2π/3和4π/3的正弦条纹。
4、TOF传感器5和图像传感器4同步接收两幅深度图像和强度图像。
5、预先标定TOF传感器5和结构光传感器4的内外参。
6、TOF传感器5接收的三幅深度图像合并，每幅图像加权系数与TOF信号强度成正比。深度图像合并时可实现HDR，即根据不同的曝光时间计算深度数据，并相对应到最佳范围来合成最终的TOF深度数据。根据预先标定的TOF传感器5和图像传感器4外参将深度数据对齐到图像传感器4。
7、TOF传感器5根据深度数据计算每个像素的粗分编码，编码精度为正弦条纹周期。
8、图像传感器4根据采集的三幅强度数据i0、i1、i2，计算每个像素的细分编码，公式为：C＝atan(1.732*(i1-i2)/(2*i0-i1-i2))*N，N为正弦条纹周期。
9、合并粗分编码和细分编码，实现结构光完整编码，根据三角法原理计算深度信息。合并TOF深度数据与结构光深度数据，结构光深度数据加权与距离平方成反比。最终实现640*480分辨率33Hz高精度深度图像采集。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种结合结构光技术和TOF技术的深度信息获取装置，其特征在于，包括主动光源发射装置、 TOF传感器、结构光传感器、控制器以及处理器，所述主动光源发射装置和处理器均与控制器相连，所述TOF传感器和结构光传感器均与处理器相连；
其中，所述主动光源发射装置包括主动光源、空间调制器及成像***，所述控制器控制所述主动光源的发射时间调制的光，所述控制器控制所述空间调制器，时间调制的光经空间调制器调制后，由成像***形成具有空间明暗分布的照明场景；
所述结构光传感器与TOF传感器布置时具有重合视野范围；
所述结构光传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息，实现最大的视场；
所述结构光传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息中，采用分光方法也需要在实施之前标定出结构光传感器和TOF传感器的相对旋转关系，建立像素坐标的映射关系。
2.根据权利要求1所述的结合结构光技术和TOF技术的深度信息获取装置，其特征在于，所述TOF传感器和结构光传感器有各自的镜头，需要先进行外参标定，同时像素的映射关系依赖TOF获得深度信息。
3.根据权利要求1所述的结合结构光技术和TOF技术的深度信息获取装置，其特征在于，所述主动光源发射装置的时间调制为正弦波、快速方波序列或者脉冲序列。
4.一种利用权利要求1所述的结合结构光技术和TOF技术的深度信息获取装置的深度信息获取方法，其特征在于，包括：
步骤（1），控制器控制主动光源发射装置形成具有空间明暗分布的照明场景并照射目标测量区域，TOF传感器接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；结构光传感器采集照明下的结构光图像，得到强度信息；
步骤（2），合并多帧TOF传感器所获得的深度信息实现完整视野范围的深度测量，将所述深度信息映射到结构光图像坐标中，结构光传感器根据TOF深度信息以及光学三角原理计算细分编码，从而获得更精确的深度信息。
CN202011264676.3A 2020-11-11 2020-11-11 一种结合结构光相机和tof深度相机的深度信息获取装置和方法 Active CN112379389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011264676.3A CN112379389B (zh) 2020-11-11 2020-11-11 一种结合结构光相机和tof深度相机的深度信息获取装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011264676.3A CN112379389B (zh) 2020-11-11 2020-11-11 一种结合结构光相机和tof深度相机的深度信息获取装置和方法

Publications (2)

Publication Number Publication Date
CN112379389A CN112379389A (zh) 2021-02-19
CN112379389B true CN112379389B (zh) 2024-04-26

Family

ID=74583508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011264676.3A Active CN112379389B (zh) 2020-11-11 2020-11-11 一种结合结构光相机和tof深度相机的深度信息获取装置和方法

Country Status (1)

Country Link
CN (1) CN112379389B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113687369A (zh) * 2021-07-14 2021-11-23 南京大学 一种光谱信息与深度信息同步采集***及方法
CN114067575A (zh) * 2021-11-23 2022-02-18 安徽富煌科技股份有限公司 一种基于3d结构光检测的交通枢纽区域安全分析装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN105705962A (zh) * 2013-06-06 2016-06-22 新加坡恒立私人有限公司 具有主动照明的传感器***
CN106527761A (zh) * 2015-09-10 2017-03-22 义明科技股份有限公司 非接触式光学感测装置及三维空间物件深度位置感测方法
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107807490A (zh) * 2017-09-26 2018-03-16 中国科学院长春光学精密机械与物理研究所 基于双相机分光成像增大视场的方法及***
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构
CN111031278A (zh) * 2019-11-25 2020-04-17 广州恒龙信息技术有限公司 一种基于结构光和tof的监控方法和***
CN111263045A (zh) * 2020-02-26 2020-06-09 深圳奥比中光科技有限公司 一种电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN105705962A (zh) * 2013-06-06 2016-06-22 新加坡恒立私人有限公司 具有主动照明的传感器***
CN106527761A (zh) * 2015-09-10 2017-03-22 义明科技股份有限公司 非接触式光学感测装置及三维空间物件深度位置感测方法
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107807490A (zh) * 2017-09-26 2018-03-16 中国科学院长春光学精密机械与物理研究所 基于双相机分光成像增大视场的方法及***
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构
CN111031278A (zh) * 2019-11-25 2020-04-17 广州恒龙信息技术有限公司 一种基于结构光和tof的监控方法和***
CN111263045A (zh) * 2020-02-26 2020-06-09 深圳奥比中光科技有限公司 一种电子设备

Also Published As

Publication number Publication date
CN112379389A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN106772431B (zh) 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN109798838B (zh) 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN111239729B (zh) 融合散斑和泛光投射的ToF深度传感器及其测距方法
US9501833B2 (en) Method and system for providing three-dimensional and range inter-planar estimation
CN111123289B (zh) 一种深度测量装置及测量方法
CN112379389B (zh) 一种结合结构光相机和tof深度相机的深度信息获取装置和方法
CN113538591A (zh) 一种距离测量装置与相机融合***的标定方法及装置
US10712432B2 (en) Time-of-light-based systems using reduced illumination duty cycles
JP2022504010A (ja) 構造化光源および飛行時間カメラ付き深度測定アセンブリ
CN108362228B (zh) 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
CN111045029A (zh) 一种融合的深度测量装置及测量方法
WO2014101408A1 (zh) 基于多次积分的三维成像雷达***及方法
CN112255639B (zh) 一种感兴趣区域深度感知传感器及深度感知传感模块
CN105004324A (zh) 一种具有三角测距功能的单目视觉传感器
CN110618537B (zh) 镀膜透镜装置及应用该镀膜透镜装置的三维重建成像***
CN112799080A (zh) 深度感测装置及方法
CN111366943A (zh) 飞行时间测距***及其测距方法
CN112987021B (zh) 一种飞行时间法和结构光法相融合的结构光三维成像***及方法
CN110595390A (zh) 基于四棱锥反射镜条纹投影装置及三维重建成像***
CN210803719U (zh) 深度图像成像装置、***和终端
CN116718133A (zh) 近距离单点结构光三维测量方法
CN111679099A (zh) 基于相干光视觉光流检测的加速度计标定方法及装置
CN115824170A (zh) 一种摄影测量与激光雷达融合测量海洋波浪的方法
CN103697825A (zh) 一种超分辨3d激光测量***及方法
CN113311451B (zh) 一种激光散斑投射ToF深度感知方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant