CN110402397B - 飞行时间深度测量的实时校准 - Google Patents
飞行时间深度测量的实时校准 Download PDFInfo
- Publication number
- CN110402397B CN110402397B CN201780073708.1A CN201780073708A CN110402397B CN 110402397 B CN110402397 B CN 110402397B CN 201780073708 A CN201780073708 A CN 201780073708A CN 110402397 B CN110402397 B CN 110402397B
- Authority
- CN
- China
- Prior art keywords
- light
- calibration
- measurement
- target object
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
- G01S7/4813—Housing arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种用于确定到目标物体的距离的方法包括:发射光脉冲来照射目标物体,以及在光敏像素阵列的第一区域中感测从接收一部分发射的光脉冲的光学反馈设备提供的光。反馈光学设备包括预设参考深度。该方法包括基于在像素阵列的第一区域中感测的光来校准飞行时间(TOF)深度测量参考信息。该方法还包括在光敏像素阵列的第二区域中感测来自所发射的光脉冲的从目标物体反射的光。基于感测的反射光和经校准的TOF测量参考信息来确定目标物体的距离。
Description
相关申请的交叉引用
本申请要求2016年9月30日提交的美国临时专利申请No.62/402,770的优先权,其内容为了所有目的通过引用整体并入本文。
技术领域
本发明的实施例通常涉及飞行时间(TOF)深度测量***。
背景技术
飞行时间(TOF)相机是一种范围成像相机***,其基于光速来分辨距离,针对图像的每个点在相机与对象之间的光信号的飞行时间进行测量。利用飞行时间相机,使用每个激光或光脉冲捕获整个场景。随着半导体设备快速支持这些应用,飞行时间相机产品变得流行。直接飞行时间成像***测量单个激光脉冲离开相机并反射回到焦平面阵列上所需的直接飞行时间。3D图像能够捕获完整的空间和时间数据,使用单个激光脉冲记录完整的3D场景。这允许快速获取和实时处理场景信息,从而导致广泛的应用。这些应用包括汽车应用、人机界面和游戏、测量和机器视觉、工业和监视测量以及机器人等。
最简单的飞行时间相机使用光脉冲或单个光脉冲。照明短时间开启,产生的光脉冲照射场景并被视场中的物体反射。相机镜头收集反射光并将其成像到传感器或焦平面阵列上。出射光和返回光之间的时间延迟是飞行时间,其可以与光速一起用于确定距离。通过使用一系列时间窗口利用光脉冲照射物体或场景并对在传感器处接收的光学信号应用卷积处理,能够进行更复杂的TOF深度测量。
发明内容
常规的飞行时间深度测量***可能易受处理、操作电压和热条件的变化的影响。例如,如果修改每个部件的热条件(T)或操作电压(V),则可能潜在地修改***。此外,TOF测量也会受到相机的帧速率的影响。这些变化可能取决于每个部件的处理(P)。尽管可以研究PVT效应的性质并准备模型来补偿误差,但这个过程非常耗时,并且可能不一定能完全覆盖物理包封。此外,全范围深度测量的校准是不期望的,因为它可能花费许多帧并且增加操作开销。
为了减轻部件处理或操作条件的变化的影响,本发明的实施例提供了一种用于使用光学反馈设备和传感器像素阵列中的小的专用反馈感测区域来进行TOF深度测量的运行时校准的***和方法。少量反馈像素允许快速感测和信号处理,并且利用例如由光纤提供的强反馈照明,可以大大减少采样脉冲的数量。可以在短时间内执行许多照明和读出步骤以校准宽范围的深度。因此,可以在每帧的运行时在宽范围的深度测量上执行深度校准,而不会影响相机的帧速率。提供像素阵列的反馈区域和有源区域之间的隔离以最小化干扰。此外,功耗或专用反馈像素的开销是有限的。
在本发明的一些实施例中,飞行时间成像***包括照明器,该照明器发射光脉冲来照射目标物体以确定到目标物体的距离或深度。成像***具有带有光敏像素阵列的图像传感器,以接收来自光脉冲的光信号。像素阵列包括有源区域和反馈区域。光学反馈设备将来自照明器的一部分光引导到像素阵列的反馈区域。光学反馈设备提供用于校准的预设参考深度。成像***被配置为发射光脉冲来照射目标物体,并且利用一系列快门窗口在像素阵列的反馈区域中感测来自光学反馈设备的光,该一系列快门窗口包括表示深度范围的延迟时间。成像***被配置为基于像素阵列的反馈区域中的感测光来校准飞行时间(TOF)深度测量参考信息。对于TOF深度测量,成像***被配置为在光敏像素阵列的有源区域中感测从目标物体反射的光,并基于感测到的反射光和经校准的TOF测量参考信息来确定目标物体的距离。
在上述***的实施例中,TOF测量参考信息包括查找表,该查找表使用具有不同时间延迟的两个快门将对象的距离与两个采样光信号之间的比率相关联。
在本发明的一些实施例中,在以预设帧速率为特征的数码相机中,提供了一种用于在单个帧周期中利用距离校准来确定到目标物体的距离的方法。该方法包括发射光脉冲来照射目标物体,并且在光敏像素阵列的第一区域中感测从光学反馈设备提供的光,该光学反馈设备接收发射的光脉冲的一部分。反馈光学设备包括预设参考深度。使用一系列快门窗口对来自光学反馈设备的光进行采样,该一系列快门窗口包括表示距离范围的延迟时间。该方法包括基于像素阵列的第一区域中的感测光来校准飞行时间(TOF)深度测量参考信息。该方法还包括在光敏像素阵列的第二区域中感测来自发射的光脉冲的从目标物体反射的光。基于感测到的反射光和经校准的TOF测量参考信息来确定目标物体的距离。
在本发明的一些实施例中,一种用于确定到目标物体的距离的方法包括:发射光脉冲来照射目标物体,以及在光敏像素阵列的第一区域中感测从光学反馈设备提供的光,该光学反馈设备接收发射光脉冲的一部分。反馈光学设备包括预设参考深度。该方法包括基于像素阵列的第一区域中的感测光来校准飞行时间(TOF)深度测量参考信息。该方法还包括在光敏像素阵列的第二区域中感测来自发射的光脉冲的从目标物体反射的光。基于感测到的反射光和经校准的TOF测量参考信息来确定目标物体的距离。
以下描述连同附图将提供对要求保护的发明的本质和优点的进一步理解。
附图说明
图1是示出根据本发明的实施例的用于深度测量的飞行时间(TOF)成像***的示意图;
图2A和图2B是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***中的图像传感器像素阵列的示例的示意图;
图3是示出根据本发明的实施例的飞行时间(TOF)成像***中的光学反馈路径的示意图;
图4A和图4B是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***的示意图;
图5是示出根据本发明的实施例的用于飞行时间(TOF)深度测量的方法的时序图;
图6是示出根据本发明的实施例的感测信号与光到快门延迟时间的关系的示意图;
图7A是示出根据本发明的实施例的具有两个快门的两个信号的感测信号与光到快门延迟时间的关系的示意图;
图7B是示出根据本发明的实施例的具有两个快门的两个信号的模拟信号与光到快门延迟时间的关系的示意图;
图7C是示出根据本发明的实施例的具有两个快门的两个信号的模拟信号与深度的关系的示意图;
图8是示出根据本发明的实施例的用于在飞行时间(TOF)成像***中的校准和深度测量的方法的时序图;
图9是示出根据本发明的实施例的用于在飞行时间(TOF)成像***中的校准和深度测量的方法的另一时序图;
图10是示出根据本发明的实施例的用于在飞行时间(TOF)成像***中的校准和深度测量的方法的流程图;
图11是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***的一部分的透视图;
图12是示出根据本发明的实施例的图11的飞行时间(TOF)成像***的一部分的截面平面图;
图13是示出根据本发明的实施例的图11的飞行时间(TOF)成像***1100的一部分的透视图;
图14是示出根据本发明的实施例的图11的飞行时间(TOF)成像***的一部分的截面平面图;
图15是示出根据本发明的实施例的图11的飞行时间(TOF)成像***的一部分的截面侧视图;
图16是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***的一部分的另一透视图;
图17是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***的印刷电路板(PCB)的透视图;
图18是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***1100中能够使用的棱镜1138的透视图;以及
图19是示出根据本发明的实施例的用于形成具有用于校准的光纤光学反馈的飞行时间(TOF)成像***的方法的流程图。
具体实施方式
本发明的实施例提供了一种***和方法,其能够通过校准实现TOF深度测量,以使用光学反馈和快速图像处理来提供高精度。可以针对每帧来校准深度测量的范围,而对传感器性能和功耗的影响最小。
下面的描述参考上面列举的一系列附图给出。这些图仅仅是示例,不应该不适当地限制本文权利要求的范围。结合所示出和描述的各个方面,本领域普通技术人员将认识到其他变型、修改和替换。
图1是示出根据本发明的实施例的用于深度测量的飞行时间(TOF)成像***的示意图。如图1所示,飞行时间(TOF)成像***100,也称为TOF数字相机,包括照明器110,该照明器110发射光脉冲112来照射目标物体120以确定到目标物体的距离。照明器110可以包括用于朝向目标物体发射光脉冲112的脉冲照明单元和光学器件。在该示例中,照明器110被配置为使用例如激光光源向目标物体发射光。然而,应当理解,也可以使用其他电磁辐射源,例如,红外光、射频EM波等。成像***100还包括具有门控传感器单元的图像传感器130,该门控传感器单元包括光敏像素阵列,用于接收来自传感器透镜的视场(FOV)132中的光脉冲的光信号。像素阵列包括有源区域和反馈区域,如下面结合图2A和图2B所述。成像***100还具有光学反馈设备140,光学反馈设备140用于将来自照明器110的一部分光引导到像素阵列的反馈区域。光学反馈设备140提供预设参考深度。预设参考深度可以是固定的TOF长度,其可以用于产生将感测光与深度测量相关联的查找表(LUT)。在一些实施例中,光学反馈设备可以将来自照明单元的直射光折叠到传感器单元中的透镜的视场(FOV)中。成像***100还包括TOF定时发生器150,其用于向照明器和图像传感器提供光同步和快门同步信号。
在图1中,TOF成像***100被配置为发射光脉冲以照射目标物体120。成像***100还被配置为使用包括表示深度范围的延迟时间的一系列快门窗口,在像素阵列的反馈区域中感测来自光学反馈设备140的光。深度范围可以包括能够由成像***确定的整个距离范围。成像***100基于像素阵列的反馈区域中的感测光来校准飞行时间(TOF)深度测量参考信息。成像***100还被配置为在光敏像素阵列的有源区域中感测从目标物体反射的光,并基于感测的反射光和校准的TOF测量参考信息确定目标物体的距离。
图2A是示出根据本发明实施例的能够在成像***100中使用的像素阵列的简化示意图。如图所示,像素阵列200包括多个像素212,并且像素阵列中的每个像素包括光敏元件(例如,光敏二极管),该光敏元件将入射光转换为电流。快速电子开关用作快门以控制光感测操作的定时。飞行时间(TOF)相机通过确定光从源到物体以及到相机的传感器的行进期间的时间来获取深度图像。这可以通过使用一系列时间窗口利用光脉冲照射物体或场景并对在传感器处接收的光学信号应用卷积过程来完成。下面描述进一步的细节。如图2A所示,像素阵列200包括有源区域210和反馈区域220。有源区域可以用于确定目标物体的距离,并且反馈区域可以用于深度校准。像素阵列还能够包括将反馈区域220与有源区域210分开以减少干扰的隔离区域221。可以选择隔离区域的尺寸以防止来自反馈环路的光污染由物镜收集的成像信号。在一些实施例中,例如,隔离区域能够具有约100μm-200μm的宽度。在一些实施例中,反馈区域220可以位于视场外部的像素阵列的一部分中,例如,在角落中、或在像素阵列的较少使用的区域中。因此,传感器的专用反馈区域不会产生太多开销。小反馈区域可以具有有限数量的像素,例如,从单个像素到10×10的像素阵列,这允许快速感测和信号处理。在一些实施例中,可以使用更大的反馈区域来提供更好的信噪比(SNR)。对小阵列中的像素求平均可以提高精度。在一些实施例中,在校准阶段期间分别暴露反馈区域和有源区域。两者之间的差异能够用于运行时的补偿。
图2B是示出根据本发明另一实施例的能够在成像***100中使用的像素阵列的简化示意图。如图2B所示,像素阵列250类似于图2A的像素阵列200,但是,可以有多于一个反馈区域。像素阵列250包括有源区域210和两个或更多个反馈区域220。像素阵列还可以包括将每个反馈区域与有源区域分开的隔离区域221。隔离区域可以减少反馈区域和有源区域之间的干扰。像素阵列250可以用在具有两个照明源的TOF成像***中。在一些实施例中,成像***能够包括两个以上的照明源和对应的反馈传感器区域。
图3是示出图1的飞行时间(TOF)成像***100的一部分的简化示意图。图3示出了光学反馈设备,该光学反馈设备被配置为防止光从光学反馈设备140泄漏到阵列中的正常像素。***FOV边缘的光只能击中像素阵列中的特定像素,而具有不同角度的光不能进入传感器的光学器件。
在一些实施例中,光学反馈设备能够被配置为将来自照明单元的直接光折叠到传感器单元中的透镜的视场(FOV)中。图4A和图4B是示出根据本发明实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***400的简化示意图。图4A是成像***的俯视图,图4B是成像***的截面侧视图。成像***400包括设置在印刷电路板(PCB)401上的照明单元410和传感器单元430。如图4A和图4B所示,照明单元410包括照明壳体418内的二极管激光源412、准直透镜414和漫射器416。传感器单元430包括图像传感器432、透镜434、以及利用粘合剂438安装在图像传感器上的镜筒436。成像***400还具有光纤420以提供反馈路径。在该实施例中,光纤420从照明壳体的内部(例如,从寄生反射的内部)收集一定量的光并将其引导到图像传感器432的像素阵列440的角落442,但是在镜筒436外部。在一些实施例中,不透明粘合剂438阻挡光进入镜筒。在该示例中,像素阵列的角落区域442用作图像传感器的反馈区域。
图5是示出根据本发明的实施例的用于飞行时间(TOF)深度测量的方法的时序图。在图5中,横轴是时间,纵轴是光信号的强度或大小。波形1表示到达传感器的光脉冲,其可以从目标反射或由反馈光学设备提供。波形2表示快门窗口。可以看出,光脉冲具有宽度W光,快门窗口具有宽度W快门。此外,在光和快门的前沿之间存在时间延迟,DL->SH。可以看出,传感器感测到的光量随着快门相对于光的相对延迟而变化。
图6是示出根据本发明的一些实施例的感测光信号的大小与光到快门延迟时间的关系的示意图。在图6中,横轴是光到快门延迟,DL->SH,纵轴是传感器感测到的光量。该图被分成若干区域601至605,在区域601中,快门窗口远在光脉冲前面(到左侧),并且在光到达之前快门已经关闭。换句话说,光到快门延迟是负的。因此,快门和光之间没有重叠。延迟增加移动到横轴的右侧。在点611处,快门开始与光重叠。随着延迟通过区域602进一步增加,快门和光之间的重叠继续增加,并且感测到更多的光,导致区域602中的上升曲线。在点612处,光的整个宽度开始与快门窗口重叠。在区域603中,快门在光脉冲的整个持续时间内完全打开,并且区域603的宽度由快门开口的宽度W快门减去光脉冲的宽度W光来确定。在该区域接收的光的大小标记为“快门开启信号”。在点613处,快门窗口的上升沿与光脉冲的上升沿对齐,并且延迟DL->SH为零,如点617所标记。在区域604中,延迟DL->SH继续增加,并且快门窗口和光之间的重叠减小。结果,感测光的大小在该区域中减小,如下降曲线所示。在点615处,延迟等于光宽度,并且当光脉冲结束时快门打开;结果,没有感测到光。在区域605中,在光脉冲已经过去之后快门打开。在区域605中没有感测到光,并且该区域中的感测光量被标记为“快门关闭信号”。注意的是,在区域602和604中,传感器收集的光量根据光到快门延迟DL>SH而变化。这些区域用于TOF深度测量校准,如下所述。
图7A是示出根据本发明的实施例的具有两个快门的两个信号的感测光信号与光到快门延迟时间的关系的示意图。飞行时间(TOF)相机通过确定光从源到物体并反射回相机所需的时间来获取深度图像。这可以通过利用光脉冲照射物体或场景并且通过传感器将具有变化的延迟时间的一系列窗口的卷积应用于由传感器接收的光学信号来完成。在一些实施例中,使用包括表示深度范围的延迟时间的一系列快门窗口来发射多组校准光脉冲。每组光脉冲之后是读出操作。在每次读出中,来自光学反馈设备的光在传感器的像素阵列的反馈区域中被感测。然后使用卷积过程分析读出数据以确定TOF深度数据。如上所述,在图6的区域602和604中,在传感器处收集的光量根据光到快门延迟DL->SH而变化。能够收集到与图6相似的感测光数据。这些区域用于TOF深度测量校准。如图7A所示,可以执行两个校准序列以减少目标物体的未知反射率的影响;两个序列表示为S1和S2。在实施例中,两个序列的光到快门延迟DL->SH的差异等于快门窗口的宽度W快门。在这种情况下,序列S1的区域604和序列S2的区域602可以在图7A的图中对齐,形成切片t-1、t-2、...、t-k。在每个切片中,分别在S1和S2中收集的光量表示反射光脉冲的两个部分,并且S2/S1的比率与到目标物体的相应深度或距离有关。图7A中的点A和点B之间的区域表示能够由该TOF成像器确定的深度范围。能够通过在目标前方的具有A与B之间的延迟的多个点处测量来收集接收光的数据。使用卷积过程,可以构建查找表(LUT),其将比率S2/S1与到目标的深度或距离相关联。初始查找表能够在工厂校准过程中构建。在随后的TOF深度测量中,利用来自图7A中的相同切片时间的延迟进行两次测量。基于感测到的数据确定感测光S2/S1的比率,并且可以根据查找表确定对应的深度。
图7B是示出根据本发明的实施例的具有两个快门的两个信号的模拟信号与光到快门延迟时间的关系的示意图。在静态测试中使用两个快门进行模拟,其中平坦目标距离相机100cm,扫描光到快门延迟的范围。与图7A类似,对于两个快门S1和S2绘制快门信号(或在传感器处收集的光电子的数量)。在该视图中,深度可以是负的。在图7B的横轴上,通过以下等式将延迟转换为深度:
<深度>=<光速>/2*(<电子延迟>-<模拟延迟矢量>)
在一些实施例中,光脉冲的宽度为5至10nsec,并且快门窗口宽度为5至15nsec。检查的延迟范围在5至20nsec之间。在一些实施例中,光脉冲宽度可以在3nsec至20sec之间。快门的宽度可以在相同的范围中。
图7C是示出根据本发明的实施例对于具有两个快门的两个信号的模拟信号与深度的关系的示意图。图7C示出了在轨道对墙壁以不同距离测量的数据(1/距离2衰减)。可以看出,S2/S1的比率与深度之间存在相关性。
根据诸如使用图5、图6和图7A至图7C中描述的方法获得的测试数据,在工厂校准过程中构造查找表(LUT)。在TOF深度测量中,基于感测的数据确定S2/S1的比率,并且可以根据查找表确定相应的深度。
如上所述,飞行时间深度测量***可以容易受到过程和操作条件的变化的影响,例如温度、电压和帧速率等。为了减轻变化的影响,本发明的实施例提供了用于使用如上所述的光学反馈设备进行TOF深度测量的运行时校准的***和方法。少量的反馈像素允许快速感测和信号处理,并且利用例如由光纤提供的强反馈照明,可以大大减少采样脉冲的数量。照明和读出的过程可以在短时间内完成。结果,可以在运行时执行深度校准而不影响相机的帧速率。可以在每个帧中执行校准。此外,功耗或专用反馈像素的开销很小。提供像素阵列的反馈区域和有源区域之间的隔离以最小化干扰。
图8是示出根据本发明的实施例的用于在飞行时间深度测量的帧之间进行深度分布(profile)校准的方法的时序图。该方法包括稳定时段810、校准时段820和测量时段830。在稳定时段810中,发射热稳定照明脉冲,随后是用于传感器的热稳定的虚读出。在校准时段820中,校准飞行时间查找表(LUT)。这里,使用一系列快门窗口发射多组校准照明脉冲P-1、P-2、......、P-N,该一系列快门窗口包括表示深度范围的延迟时间。每组光脉冲之后分别是读出操作R-1、R-2、....、R-N。在每次读出中,来自光学反馈设备的光在传感器的像素阵列的反馈区域中被感测。如上面结合图5、图6和图7A至图7C所述,然后使用卷积过程分析读出数据,以确定TOF深度数据。然后使用深度数据来校准查找表。
测量时段830具有两个步骤831和832。在第一步骤831中,发送具有第一快门延迟D1的第一组光脉冲S1以照射目标。因为在快门窗口内传感器仅能够收集少量的光,所以通常会发出并聚集大量光脉冲,例如几千个脉冲,以增加信噪比。在“S1读取”时段期间,从目标反射的光在传感器中的像素的有源区域中被感测。在第二步骤832中,发送具有第二快门延迟D2的第二组光脉冲S2以照射目标。在S2读取期间,从目标反射的光在传感器中的像素的有源区域中被感测。接下来,感测数据读出S2/S1的比率用于使用校准查找表来确定目标物体的距离。在一些实施例中,S1和S2具有在工厂校准过程中或在应用领域中选择的预设延迟。
图9是示出根据本发明的实施例的深度分布校准能够适合在飞行时间深度测量的帧之间的时序图。图9类似于图8,并且还包括每个操作在飞行时间深度测量的帧内所花费的时间长度的示例。在该实施例中,热稳定脉冲花费0.15msec,并且用于热稳定的虚读出花费0.1msec。因此,稳定时段的长度约为0.25msec。在查找表(LUT)校准时段820中,使用20步的校准光脉冲和读出,每个步具有不同的光到快门延迟时间。在一个示例中,每个步包括30个脉冲,每个脉冲具有150nsec的脉冲宽度,然后是3μsec的读出操作。因此,校准时段花费约为0.15msec。在测量时段830中,S1步可以包括1.5msec的光脉冲(例如,150nsec脉冲的1000个脉冲),然后是0.5msec的读出。类似地,S2步可以包括2.0msec的光脉冲,然后是0.5msec的读出。在该示例中,包括稳定、全范围深度校准和TOF深度测量在内的完整操作需要4.9msec。校准阶段约占整个操作的1/300。该光学操作足够快以适合每秒60帧或更高帧(fps)的帧速率。
本发明的实施例提供了优于传统方法的许多优点。例如,反馈光学设备可以提供强光以用于校准。例如,反馈光学设备可以包括光纤。像素阵列中的一个或多个单独的反馈区域用于感测反馈光学信号。反馈区域配置在像素阵列的未使用或较少使用的区域中,并且远小于阵列的有源区域。例如,如果反馈光学设备可以提供强信号,则几个像素足以用于反馈感测。小反馈感应区域能够进行快速感应和感测数据的快速处理,从而允许快速校准感兴趣的深度范围。
图10是示出根据本发明的实施例的用于包括全范围深度校准的TOF深度测量的方法的简化流程图。上述方法可以总结在图10的流程图中。如图所示,方法1000包括在步骤1010发射光脉冲以照射目标物体。接下来,在步骤1020,在光敏像素阵列的第一区域中感测从光学反馈设备提供的光。这里,第一区域用作反馈区域。光学反馈设备接收一部分发射的光脉冲。反馈光学设备包括用于TOF深度测量的预设参考深度。使用一系列快门窗口对来自光学反馈设备的光进行采样,该一系列快门窗口包括表示距离范围的延迟时间。对于TOF深度测量,该方法包括在步骤1030,在光敏像素阵列的第二区域中感测场景数据,该场景数据是来自所发射的光脉冲从目标物体反射的光。第二区域是像素阵列的有源区域。该方法包括,在步骤1040,基于像素阵列的第一区域中的感测光,校准飞行时间(TOF)深度测量参考信息。以上结合图5、图6和图7A至图7C详细描述了该过程。注意的是,根据实施例,步骤1030和1040可以以任何顺序执行。例如,在捕获校准数据(1020)和场景数据(1040)之后,可以首先处理数据校准,然后处理场景数据。或者,TOF数据校准和场景数据处理都可以同时进行。接下来,该方法包括,在步骤1050,基于感测的反射光和校准的TOF测量参考信息来确定目标物体的距离。
在一些实施例中,该方法可以在以预设帧速率为特征的数字相机中执行。校准可以适合相机的单帧时段。在实施例中,使用一系列快门窗口对来自光学反馈设备的光进行采样,该一系列快门窗口包括表示距离范围的延迟时间。然后使用卷积过程将测量的信号与距离相关联。
本发明的实施例提供集成的机械、电子器件和光学设计以及处理过程,以形成用于光学反馈的微型电路,该光学反馈针对从照明部分到图像传感器内的角落像素中的高速飞行时间(TOF)信号。该设计包括高度集成,在反馈环路中有效传输光以节省能耗,以及对生产公差的鲁棒性。实施例还可以避免成像光学器件中的遮挡,不增加对物镜的后焦距上的约束,并且避免光从反馈环路泄漏到成像区域中,反之亦然。下面描述进一步的细节。
图11是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***1100的一部分的透视图。成像***1100包括设置在印刷电路板(PCB)1101上的照明单元1110和传感器单元1130。如图11所示,照明单元1110包括激光二极管源1112、照明光学器件1114和漫射器1116。照明光学器件1114设置在PCB 1101中的腔体1118中,并且可以包括具有集成透镜的棱镜,以折叠和准直来自激光二极管的光束。传感器单元1130包括具有像素阵列1136的图像传感器1132,以及安装在图像传感器1132上的物镜1134(以虚线示出)。如图11所示,对于TOF成像,来自漫射器1116的发射光1111被引导到设置在图11中的附图之上和外部的目标物体,从目标物体反射的光1131通过物镜1134进入,从而到达图像传感器1132中的像素阵列。成像***1100还具有光纤1120以提供反馈路径。在该实施例中,光纤1120从照明光学器件壳体的内部(例如,从寄生反射的内部)收集少量光并将其引导到棱镜1138,棱镜1138附接到图像传感器1132的像素阵列的角落1142。在该示例中,像素阵列的角落区域1142用作图像传感器的反馈区域。
图12是示出根据本发明的实施例的图11的飞行时间(TOF)成像***1100的一部分的截面平面图。激光二极管1112耦合到照明单元的壳体的基部。光纤1120从照明光学器件壳体的内部(例如,从寄生反射的内部)收集少量光并将其引导到棱镜1138,棱镜1138附接到图像传感器1132的像素阵列的角落1142。在一些实施例中,不需要照明单元壳体中的特定光学元件来将一部分激光引导到光纤1120。光纤1120将光引导到附接到像素阵列的采样(sample)区域1142的棱镜1138。在该实施例中,来自照明壳体的散射光被光纤1120收集,并且来自棱镜1138的散射光可以在像素阵列的反馈感测区域1142中被感测。
在图11和图12中,光纤1120耦合到棱镜1138的斜边。然而,也可以在棱镜的短边(直角边)上进行耦合,如图13和图14所示。
图13是示出根据本发明的实施例的图11的飞行时间(TOF)成像***1100的一部分的透视图。激光二极管1112耦合到照明单元的壳体的基部。光纤1120从照明光学器件壳体的内部(例如,从寄生反射的内部)收集少量光并将其引导到棱镜1138,棱镜1138附接到图像传感器1132的像素阵列1136的角落1142。在该实施例中,来自照明壳体的散射光被光纤1120收集。光纤1120将散射光引导到棱镜1138,棱镜1138附接到像素阵列1136的采样区域1142。来自棱镜1138的光可以在像素阵列1136的反馈感测区域1142中被感测以用于校准。
图14是示出根据本发明的实施例的图11的飞行时间(TOF)成像***1100的一部分的截面平视图。激光二极管1112耦合到照明单元的壳体的基部。光纤1120从照明光学器件壳体的内部(例如,从寄生反射的内部)收集少量散射光并将其引导到棱镜1138,棱镜1138附接到图像传感器1132的像素阵列的角落1142。光纤1120将光引导到附接到像素阵列的采样区域1142的棱镜1138。来自棱镜1138的光可以在像素阵列1136的反馈感测区域1142中被感测。
图15是示出根据本发明的实施例的图11的飞行时间(TOF)成像***1100的一部分的截面侧视图。图15中的成像***1100包括设置在印刷电路板(PCB)1101上的照明单元1110和传感器单元1130。如图15所示,照明单元1110包括激光二极管源(未示出),照明光学器件1114。传感器单元1130包括具有像素阵列1136的图像传感器1132,以及安装在图像传感器1132上的物镜1134。如图15所示,对于TOF成像,来自照明单元1110的发射光1111被引导到设置在图15中的附图之上和外部的目标物体,从目标物体反射的光1131通过物镜1134进入,从而到达图像传感器1132中的像素阵列1136。成像***1100还具有光纤1120以提供反馈路径。在该实施例中,光纤1120从照明光学器件壳体的内部收集少量散射光,并将其引导到棱镜1138,棱镜1138附接到图像传感器1132的像素阵列1136的角落1142。在该示例中,像素阵列的角落区域1142用作图像传感器的反馈区域。
图16是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***1100的一部分的另一透视图。如图16所示,照明单元1110包括激光二极管源1112、照明光学器件1114和漫射器1116。照明光学器件1114设置在PCB 1101中的腔体1118中,并且可以包括具有集成透镜的棱镜,以折叠和准直来自激光二极管的光束。传感器单元1130包括具有像素阵列1136的图像传感器,以及安装在图像传感器1132上的物镜1134(以虚线示出)。如图16所示,对于TOF成像,来自漫射器1116的发射光1111被引导到设置在图11中的附图之上和外部的目标物体,从目标物体反射的光1131通过物镜1134进入,从而到达图像传感器中的像素阵列1136。成像***还具有光纤1120以提供反馈路径。在该实施例中,光纤1120从照明光学器件壳体的内部(例如,从寄生反射内部)收集少量光并将其引导到棱镜1138,棱镜1138附接到图像传感器1132的像素阵列的角落1142。在该示例中,像素阵列的角落区域1142用作图像传感器的反馈区域。
在图16中,光束A从激光器进入照明光学器件1114中的棱镜的折叠表面。光束A1从棱镜入口反射回来作为杂散光进入照明单元中的腔体。光束B从棱镜准直出射并被引导到漫射器1115。光束B1从漫射器反射回作为杂散光到腔体中。来自腔体的杂散光由光纤1120收集。在本发明的实施例中,通过使用连接到光功率计的光纤来测量杂散光的量,以验证可以收集足够的光信号用于反馈校准。
图17是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像***1100的印刷电路板(PCB)1101的透视图。如图17所示,PCB 1101包括用于照明单元的第一腔体1118,用于图像传感器的第二腔体1139,以及用于光纤的第三腔体1121。图17还示出了设置在PCB 1101上的激光二极管1112。
图18是示出根据本发明的实施例的在具有用于校准的光纤光学反馈的飞行时间(TOF)成像***1100中能够使用的棱镜1138的透视图。在一些实施例中,棱镜可以由玻璃或其他合适的透明光学材料制成。棱镜具有顶表面和底表面,两者都标记为表面“1”,并且三个侧表面均标记为表面“2”。如图11至图16所示,来自光纤的光通过一个侧表面2进入棱镜并通过底表面1离开,以耦合到图像传感器中的像素阵列中。因此,在一些实施例中,棱镜的顶表面和两个侧表面涂覆有反射涂层。底表面和一个侧表面是未涂覆的并且保持透明以允许来自光纤的光通过侧表面进入棱镜并通过底表面离开棱镜。在一些实施例中,棱镜用透明粘合剂胶合到像素阵列,然后涂覆不透明的浆糊以将反馈光学器件与成像光学器件隔离。
在一些实施例中,例如如图11、图12和图16所示,光纤1120耦合到棱镜1138的斜边,并且棱镜的短边设置为与像素阵列重叠。模拟研究表明,在这些实施例中,通过光纤的大约5.8%的光到达像素区域。在其他实施例中,例如如图13和14所示,光纤1120耦合到棱镜1138的短边,并且棱镜的斜边设置成与像素阵列重叠。模拟研究表明,在这些实施例中,通过光纤的大约8.7%的光到达像素区域。
图19是示出根据本发明的实施例的用于形成飞行时间(TOF)成像***的方法,该飞行时间(TOF)成像***具有用于校准的光纤光学反馈。在过程1910中,该方法包括形成PCB组件。该方法包括在过程1920中通过板上芯片(CoB)形成图像传感器组件。在过程1930中,激光二极管组件由板上芯片(CoB)形成。该方法包括在过程1940中在光学反馈(OFB)棱镜的图像传感器上分配透明粘合剂。OFB棱镜指的是将来自照明单元的直接光折叠到透镜的视场(FOV)中的光学器件。接下来,在过程1950中,将棱镜附接到PCB,并且使用UV固化过程(1960)固化粘合剂。该方法还包括:在过程1970中,在附接时间期间,附接光纤并分配透明粘合剂,以及在过程1980中执行UV固化。此外,在过程1990中,该方法包括在棱镜上和透明粘合剂上分配吸收性粘合剂材料。
在一些实施例中,光纤可以是250μm的光学级无护套的塑料光纤。其他合适的光纤也可用于替代实施例中。上述粘合材料可以是精密定位光学粘合剂或合适的替代粘合剂材料。
虽然已经说明和描述了本发明的优选实施例,但是清楚的是本发明不仅限于这些实施例。在不脱离权利要求中描述的本发明的精神和范围的情况下,许多修改、改变、变化、替换和等同物对于本领域技术人员来说是显而易见的。
Claims (20)
1.一种飞行时间TOF成像***,包括:
照明器,发射光脉冲以照射目标物体用于确定到所述目标物体的距离;
图像传感器,具有用于接收来自所述光脉冲的光信号的光敏的像素阵列,所述像素阵列包括有源区域和反馈区域;
光学反馈设备,用于将来自所述照明器的一部分光引导到所述像素阵列的所述反馈区域,所述光学反馈设备包括预设参考深度;
其中,所述成像***被配置为:
在校准时段中,
发射一组校准光脉冲以照射所述目标物体;
使用一系列校准快门窗口在所述像素阵列的所述反馈区域中感测来自所述光学反馈设备的光,所述一系列校准快门窗口以表示深度范围的延迟时间为特征;以及
基于在所述像素阵列的所述反馈区域中所感测的光来校准TOF深度测量参考信息;
在测量时段中,
发射第一测量光脉冲以照射所述目标物体;
使用相对于所述第一测量光脉冲具有第一测量延迟时间的第一测量快门窗口,在所述光敏的像素阵列的所述有源区域中感测从所述目标物体反射的光;
发射第二测量光脉冲以照射所述目标物体;
使用相对于所述第二测量光脉冲具有第二测量延迟时间的第二测量快门窗口,在所述光敏的像素阵列的所述有源区域中感测从所述目标物体反射的光;以及
基于使用所述第一测量快门窗口和所述第二测量快门窗口所感测的光和经校准的TOF深度测量参考信息,确定所述目标物体的所述距离。
2.根据权利要求1所述的***,其中,所述一系列校准快门窗口包括第一系列校准窗口和第二系列校准窗口,并且与所述第二系列校准窗口相关联的延迟时间和与所述第一系列校准窗口相关联的延迟时间偏移所述第一系列校准窗口中的一个快门窗口的宽度。
3.根据权利要求2所述的***,其中,校准TOF深度测量参考信息包括:将所述深度范围与使用所述第一系列校准窗口和所述第二系列校准窗口所感测的光信号的比率相关联。
4.根据权利要求1所述的***,其中,所述第二测量延迟时间从所述第一测量延迟时间偏移所述第一测量快门窗口的宽度。
5.根据权利要求1所述的***,其中,确定所述目标物体的距离包括:将使用所述第一测量延迟时间和所述第二测量延迟时间所感测的光信号的比率与所述TOF深度测量参考信息进行比较。
6.根据权利要求1所述的***,其中,所述光学反馈设备包括光纤。
7.根据权利要求6所述的***,其中,所述光纤被配置为将来自照明器壳体内部的光耦合到所述像素阵列的角落处的所述反馈区域。
8.根据权利要求2所述的***,其中,所述TOF测量参考信息包括查找表,所述查找表将物体的距离与使用所述第一系列校准窗口和所述第二系列校准窗口所感测的两个采样的光信号之间的比率相关联。
9.根据权利要求1所述的***,其中,所述校准时段和所述测量时段被包括在单帧时段中。
10.根据权利要求1所述的***,其中,所述校准占用帧时段的约1/300。
11.根据权利要求1所述的***,还包括多个照明源以及对应的光学反馈区域。
12.根据权利要求1所述的***,其中,所述成像***被配置为在所述光敏的像素阵列的所述有源区域中感测从所述目标物体反射的光之后,校准飞行时间(TOF)深度测量参考信息。
13.在以预设帧速率为特征的数字相机中,一种方法包括:在单帧时段中,
发射一组校准光脉冲以照射目标物体;
使用以表示深度范围的延迟时间为特征的一系列校准快门窗口,在光敏的像素阵列的第一区域中感测从光学反馈设备提供的光,所述光学反馈设备接收所述一组校准光脉冲的一部分,所述光学反馈设备以预设参考深度为特征,其中,所述一系列校准快门窗口包括第一系列校准窗口和第二系列校准窗口,并且与所述第二系列校准窗口相关联的延迟时间和与所述第一系列校准窗口相关联的延迟时间偏移所述第一系列校准窗口中的一个快门窗口的宽度;
基于在所述像素阵列的所述第一区域中所感测的光来校准飞行时间TOF深度测量参考信息;
发射第一测量光脉冲以照射所述目标物体;
使用相对于所述第一测量光脉冲具有第一测量延迟时间的第一测量快门窗口,在所述光敏的像素阵列的第二区域中感测从所述目标物体反射的光;
发射第二测量光脉冲以照射所述目标物体;
使用相对于所述第二测量光脉冲具有第二测量延迟时间的第二测量快门窗口,在所述光敏的像素阵列的所述第二区域中感测从所述目标物体反射的光;以及
基于使用所述第一测量快门窗口和所述第二测量快门窗口所感测的光和经校准的TOF深度测量信息,确定所述目标物体的距离。
14.根据权利要求13所述的方法,其中,所述光学反馈设备包括光纤。
15.根据权利要求14所述的方法,其中,所述光纤被配置为将来自照明器壳体内部的光耦合到所述像素阵列的角落处的所述第一区域。
16.根据权利要求13所述的方法,其中,所述TOF测量参考信息包括查找表,所述查找表将物体的距离与使用所述第一系列校准窗口和所述第二系列校准窗口所感测的两个采样的光信号之间的比率相关联。
17.一种用于校准飞行时间TOF相机***的方法,包括:
发射一组校准光脉冲以照射目标物体;
使用以表示深度范围的延迟时间为特征的一系列校准快门窗口在光敏的像素阵列的第一区域中感测从光学反馈设备提供的光,所述光学反馈设备接收所述一组校准光脉冲的一部分,所述光学反馈设备以预设参考深度为特征;
基于从所述光学反馈 设备提供的所述光来校准TOF深度测量信息;
发射第一测量光脉冲以照射所述目标物体;
使用相对于所述第一测量光脉冲具有第一测量延迟时间的第一测量快门窗口,在所述光敏的像素阵列的第二区域中感测从所述目标物体反射的光;
发射第二测量光脉冲以照射所述目标物体;
使用相对于所述第二测量光脉冲具有第二测量延迟时间的第二测量快门窗口,在所述光敏的像素阵列的所述第二区域中感测从所述目标物体反射的光;以及
基于使用所述第一测量快门窗口和所述第二测量快门窗口所感测的光和经校准的TFO深度测量信息,确定所述目标物体的距离。
18.根据权利要求17所述的方法,其中,所述一系列校准快门窗口包括第一系列校准窗口和第二系列校准窗口,并且与所述第二系列校准窗口相关联的延迟时间和与所述第一系列校准窗口相关联的延迟时间偏移所述第一系列校准窗口中的一个快门窗口的宽度。
19.根据权利要求18所述的方法,其中,校准飞行时间深度测量信息包括:将所述深度范围与使用所述第一系列校准窗口和所述第二系列校准窗口所感测的光信号的比率相关联。
20.根据权利要求18所述的方法,其中,所述TOF深度测量信息包括查找表,所述查找表将物体的距离与使用所述第一系列校准窗口和所述第二系列校准窗口的两个采样的光信号之间的比率相关联。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662402770P | 2016-09-30 | 2016-09-30 | |
US62/402,770 | 2016-09-30 | ||
PCT/US2017/054719 WO2018064658A1 (en) | 2016-09-30 | 2017-10-02 | Real time calibration for time-of-flight depth measurement |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110402397A CN110402397A (zh) | 2019-11-01 |
CN110402397B true CN110402397B (zh) | 2023-03-03 |
Family
ID=61757220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780073708.1A Active CN110402397B (zh) | 2016-09-30 | 2017-10-02 | 飞行时间深度测量的实时校准 |
Country Status (9)
Country | Link |
---|---|
US (2) | US10762651B2 (zh) |
EP (1) | EP3519852B1 (zh) |
JP (2) | JP6882461B2 (zh) |
KR (1) | KR102505237B1 (zh) |
CN (1) | CN110402397B (zh) |
AU (1) | AU2017337124B2 (zh) |
CA (1) | CA3037988A1 (zh) |
IL (1) | IL265659B (zh) |
WO (1) | WO2018064658A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10762651B2 (en) | 2016-09-30 | 2020-09-01 | Magic Leap, Inc. | Real time calibration for time-of-flight depth measurement |
US10804301B2 (en) | 2017-12-13 | 2020-10-13 | Magic Leap, Inc. | Differential pixel circuit and method of computer vision applications |
US10854165B2 (en) | 2017-12-21 | 2020-12-01 | Magic Leap, Inc. | Method for calibrating an augmented reality device |
JP7418340B2 (ja) | 2018-03-13 | 2024-01-19 | マジック リープ, インコーポレイテッド | 機械学習を使用した画像増強深度感知 |
JP7082404B2 (ja) * | 2018-06-26 | 2022-06-08 | 国立大学法人静岡大学 | 距離計測装置 |
JP6717887B2 (ja) * | 2018-07-12 | 2020-07-08 | ファナック株式会社 | 距離補正機能を有する測距装置 |
CN110868507A (zh) * | 2018-08-27 | 2020-03-06 | 宁波舜宇光电信息有限公司 | 带有泛光灯的电子设备及其装配方法 |
WO2020055619A1 (en) * | 2018-09-16 | 2020-03-19 | Nephelai Research Llc | Calibration of a depth sensing array using color image data |
CN109067951A (zh) * | 2018-10-31 | 2018-12-21 | Oppo广东移动通信有限公司 | 电子装置 |
EP3657203A1 (de) * | 2018-11-22 | 2020-05-27 | Hexagon Technology Center GmbH | Elektrooptischer entfernungsmesser und entfernungsmessverfahren |
US11423572B2 (en) * | 2018-12-12 | 2022-08-23 | Analog Devices, Inc. | Built-in calibration of time-of-flight depth imaging systems |
DE102019134142A1 (de) * | 2018-12-12 | 2020-06-18 | Analog Devices, Inc. | Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen |
CN112492139B (zh) * | 2018-12-24 | 2021-10-15 | 华为技术有限公司 | 摄像组件及电子设备 |
CN111580117A (zh) * | 2019-02-19 | 2020-08-25 | 光宝电子(广州)有限公司 | 飞时测距感测***的控制方法 |
CN114365482A (zh) * | 2019-03-25 | 2022-04-15 | 华为技术有限公司 | 一种基于Dual Camera+TOF的大光圈虚化方法 |
CN112114322A (zh) * | 2019-06-21 | 2020-12-22 | 广州印芯半导体技术有限公司 | 飞时测距装置及飞时测距方法 |
EP3816657B1 (en) * | 2019-10-29 | 2024-04-24 | Hexagon Technology Center GmbH | Multi-beam measuring device for 3d scanning of an environment having seamlessly stacked reception modules |
CN112924979B (zh) * | 2019-11-20 | 2024-03-01 | 北京小米移动软件有限公司 | Tof模组的多路径光线测试设备、深度误差测量方法及*** |
CN111024368B (zh) * | 2019-12-06 | 2022-02-11 | 炬佑智能科技(苏州)有限公司 | Tof相机杂散光检测装置及检测方法 |
US11582436B2 (en) * | 2020-07-17 | 2023-02-14 | Shenzhen GOODIX Technology Co., Ltd. | Passive three-dimensional image sensing based on chromatic focal differentiation |
WO2022145261A1 (ja) * | 2020-12-28 | 2022-07-07 | 株式会社小糸製作所 | ゲーティングカメラ、車両用センシングシステム、車両用灯具 |
JP2023122396A (ja) * | 2022-02-22 | 2023-09-01 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622745A (zh) * | 2011-01-12 | 2012-08-01 | 索尼公司 | 3d飞行时间相机和方法 |
CN105518480A (zh) * | 2013-06-14 | 2016-04-20 | 微软技术许可有限责任公司 | 使用查找表进行深度图纠正 |
US9330464B1 (en) * | 2014-12-12 | 2016-05-03 | Microsoft Technology Licensing, Llc | Depth camera feedback |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7212278B2 (en) | 2001-08-06 | 2007-05-01 | Siemens Aktiengesellschaft | Method and device for recording a three-dimensional distance-measuring image |
JP2010061304A (ja) * | 2008-09-02 | 2010-03-18 | Calsonic Kansei Corp | 車両用距離画像データ生成装置 |
US8872093B2 (en) | 2012-04-18 | 2014-10-28 | Apple Inc. | Calibrated image-sensor-based ambient light sensor |
JP2014070936A (ja) | 2012-09-28 | 2014-04-21 | Dainippon Screen Mfg Co Ltd | 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム |
US10063844B2 (en) * | 2013-10-17 | 2018-08-28 | Microsoft Technology Licensing, Llc. | Determining distances by probabilistic time of flight imaging |
US9542749B2 (en) | 2014-01-06 | 2017-01-10 | Microsoft Technology Licensing, Llc | Fast general multipath correction in time-of-flight imaging |
EP3112901A4 (en) * | 2014-02-28 | 2017-03-01 | Panasonic Intellectual Property Management Co., Ltd. | Distance measuring apparatus and distance measuring method |
US10062180B2 (en) | 2014-04-22 | 2018-08-28 | Microsoft Technology Licensing, Llc | Depth sensor calibration and per-pixel correction |
US9720076B2 (en) | 2014-08-29 | 2017-08-01 | Omnivision Technologies, Inc. | Calibration circuitry and method for a time of flight imaging system |
US9578311B2 (en) | 2014-10-22 | 2017-02-21 | Microsoft Technology Licensing, Llc | Time of flight depth camera |
US9823352B2 (en) * | 2014-10-31 | 2017-11-21 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
US10762651B2 (en) | 2016-09-30 | 2020-09-01 | Magic Leap, Inc. | Real time calibration for time-of-flight depth measurement |
DE102017126378A1 (de) * | 2017-11-10 | 2019-05-16 | Infineon Technologies Ag | Verfahren zum Verarbeiten eines Rohbildes einer Time-of-Flight-Kamera, Bildverarbeitungsvorrichtung und Computerprogramm |
-
2017
- 2017-09-29 US US15/721,640 patent/US10762651B2/en active Active
- 2017-10-02 WO PCT/US2017/054719 patent/WO2018064658A1/en unknown
- 2017-10-02 CN CN201780073708.1A patent/CN110402397B/zh active Active
- 2017-10-02 JP JP2019517427A patent/JP6882461B2/ja active Active
- 2017-10-02 KR KR1020197012442A patent/KR102505237B1/ko active IP Right Grant
- 2017-10-02 EP EP17857610.4A patent/EP3519852B1/en active Active
- 2017-10-02 AU AU2017337124A patent/AU2017337124B2/en not_active Ceased
- 2017-10-02 CA CA3037988A patent/CA3037988A1/en active Pending
-
2019
- 2019-03-27 IL IL265659A patent/IL265659B/en unknown
-
2020
- 2020-07-22 US US16/936,345 patent/US11587245B2/en active Active
-
2021
- 2021-05-06 JP JP2021078354A patent/JP7130813B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622745A (zh) * | 2011-01-12 | 2012-08-01 | 索尼公司 | 3d飞行时间相机和方法 |
CN105518480A (zh) * | 2013-06-14 | 2016-04-20 | 微软技术许可有限责任公司 | 使用查找表进行深度图纠正 |
US9330464B1 (en) * | 2014-12-12 | 2016-05-03 | Microsoft Technology Licensing, Llc | Depth camera feedback |
Also Published As
Publication number | Publication date |
---|---|
JP6882461B2 (ja) | 2021-06-02 |
AU2017337124B2 (en) | 2022-08-04 |
EP3519852A1 (en) | 2019-08-07 |
CN110402397A (zh) | 2019-11-01 |
EP3519852B1 (en) | 2022-03-23 |
AU2017337124A1 (en) | 2019-04-18 |
JP2019529931A (ja) | 2019-10-17 |
EP3519852A4 (en) | 2019-10-16 |
US10762651B2 (en) | 2020-09-01 |
IL265659B (en) | 2022-04-01 |
WO2018064658A1 (en) | 2018-04-05 |
US20210004975A1 (en) | 2021-01-07 |
CA3037988A1 (en) | 2018-04-05 |
IL265659A (en) | 2019-05-30 |
US11587245B2 (en) | 2023-02-21 |
KR20190054167A (ko) | 2019-05-21 |
JP7130813B2 (ja) | 2022-09-05 |
KR102505237B1 (ko) | 2023-02-28 |
US20180096489A1 (en) | 2018-04-05 |
JP2021113828A (ja) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110402397B (zh) | 飞行时间深度测量的实时校准 | |
US7554652B1 (en) | Light-integrating rangefinding device and method | |
JP6960529B2 (ja) | 飛行時間システムを較正する方法及び飛行時間システム | |
US10386465B2 (en) | Integrated LIDAR illumination power control | |
CN108267749A (zh) | 校准飞行时间光学***的光检测器 | |
CA2931055C (en) | Lidar scanner calibration | |
US8891068B2 (en) | Optical distance measuring device with calibration device | |
CA2716980C (en) | Light-integrating rangefinding device and method | |
CN115575928A (zh) | Lidar数据获取与控制 | |
JP2019529931A5 (zh) | ||
US11733359B2 (en) | Configurable array of single-photon detectors | |
US10514447B2 (en) | Method for propagation time calibration of a LIDAR sensor | |
CN104823071A (zh) | 用于测量距离值和距离图像的装置和方法 | |
CN209310758U (zh) | 用于提高自准直仪测量精度的光源频率调制*** | |
US20240248185A1 (en) | Correction of temperature-related measurement errors for time-of-flight cameras | |
US20220326359A1 (en) | Measurement and compensation for phase errors in time-of-flight-cameras | |
JP2002165230A (ja) | 3次元画像検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |