CN112946602A - 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置 - Google Patents

多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置 Download PDF

Info

Publication number
CN112946602A
CN112946602A CN202011434896.6A CN202011434896A CN112946602A CN 112946602 A CN112946602 A CN 112946602A CN 202011434896 A CN202011434896 A CN 202011434896A CN 112946602 A CN112946602 A CN 112946602A
Authority
CN
China
Prior art keywords
light source
illumination
time frame
scene
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011434896.6A
Other languages
English (en)
Inventor
V·赛流陈科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Melexis Technologies NV
Original Assignee
Melexis Technologies NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Melexis Technologies NV filed Critical Melexis Technologies NV
Publication of CN112946602A publication Critical patent/CN112946602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置。一种用于多路径误差补偿方法包括非结构化光源(142)在多个连续时间帧期间照明场景。结构化光源(144)与该非结构化光源照明该场景同时照明该场景，该结构化光源(144)的该照明发生在该多个连续时间帧的预定帧期间。光电检测器阵列(102)响应于从该场景反射的光的照射，根据间接飞行时间测量技术，产生多组信号。从当发生结构化照明时在多个连续时间帧的所选时间帧和当发生结构化照明和非结构化照明时在时间上与该所选时间帧有关的另一个时间帧期间生成的该多组信号导出误差估计(130)。将该误差估计施加到关于该场景的距离计算中。

Description

多路径误差补偿的方法和多路径误差补偿的间接飞行时间距 离计算装置
技术领域
本发明涉及一种用于间接飞行时间距离计算装置的多路径(multipath)误差补偿的方法，该方法是例如利用结构化光照明场景的类型。本发明还涉及一种多路径误差补偿的间接飞行时间距离计算装置，该装置是例如包括结构化光源以照明场景的类型。
背景技术
在所谓的飞行时间感测***和其他***(例如游戏控制台视觉***)中，已知采用照明源来照明在照明源的视场内的周围环境(有时被称为“场景”)，并且处理由该场景的特征反射的光。此类所谓的LiDAR(光检测和测距)***使用照明源利用光照明场景，并且使用检测设备(例如光电二极管阵列、一些光学元件和处理单元)检测从场景中的对象反射的光。从场景中的对象反射的光由检测设备接收并且被转换成电信号，然后由处理单元通过应用飞行时间(ToF)计算来处理该电信号，以便确定该对象与该检测设备的距离。尽管已知不同种类的LiDAR***基于不同的操作原理，但此类***基本上是照明场景并检测反射光。
在这方面，所谓的“闪光LiDAR”技术是一种直接ToF测距技术，该技术采用一种光源，该光源发射随后被场景的特征反射并且被检测器设备检测的光脉冲。在此类技术中，直接使用光脉冲往返于反射特征并且返回到检测器设备的所测量的时间来计算到反射特征的距离。在时域中以非常高的采样率对入射到检测器设备上的光脉冲进行采样。因此，实现此类技术的处理电路中的信号路径需要信号的高带宽以及大的硅“占地”，即此类实现方式需要硅晶圆上相对大的面积，这进而限制了集成电路上可以支持的信道的数量。因此，此类闪光LiDAR传感器可以支持的信道的实际空间数量通常低于100。为了克服该限制，实现需要移动部件的机械扫描***。
另一种已知的LiDAR***采用所谓的“间接飞行时间”(iToF)测距技术。iTOF***发射连续波光信号，并且该连续波光信号的反射被检测器设备接收和分析。获取从场景的特征反射的光的多个样本(例如四个样本)，每个样本被相位步进，例如90°。使用该照明和采样方法，可以确定照明和反射之间的相位角，并且所确定的相位角可以用于确定到场景的反射特征的距离。在该方面，典型的iToF***包括缓冲器，该缓冲器存储由所谓的光子混合器设备生成的关于用于后续的信号处理的m个相位的模拟信号。离散傅里叶变换单元依据信号的同相分量和正交分量来计算由缓冲器存储的复信号的基频输出信号。使用同相分量和正交分量的值，可以计算复信号的相位角和振幅，并且可以使用相位角信息求解到对象的距离。
在iToF***中，高频信号处理(解调)发生在像素级，且因此在同一芯片上集成大量像素所需的信号带宽后像素(post-pixel)较低。因此，与直接ToF***相比，iToF***可以支持更大量的信道，且因此支持更高的空间分辨率测量。然而，iToF***具有有限的距离测量能力。在这方面，为了实现低随机距离测量误差，iToF***需要高调制频率，这进而又降低了可以明确测量的距离范围。例如，100MHz调制频率导致1.5m的近似明确测量范围。此外，传统的iToF***容易受到由于多次反射和多个传播路径引起的误差的影响。
为了说明这一点，考虑汽车上下文，其中场景包括正由iToF***监控的车辆，但该场景还包括墙和另一个对象，例如路标。由iToF***测量的到车辆的距离由直接从车辆反射的(即，真实直接反射)光来确定。然而，在此类情境下，发射的光可以到达车辆和/或由车辆反射的光可以经由来自墙的反射间接到达iToF***，由于增加的光学路径长度和iToF***无法辨别发射的光和/或反射的光的路径，导致距离的错误测量。附加地，来自高反射路标的信号可能因光学***缺陷散射，从而产生由iToF***接收的杂散光信号并再次导致距离的另一错误测量，该距离实际上是到该路标的距离。
多路径距离测量误差的另一个可能的来源是在iToF***的视场的一像素内存在多个对象。然而，由于iToF照相机通常具有高分辨率，这种误差在实践中的重要性较小。然而，此类错误的来源是存在的。
US 2015/253429公开了一种技术，该技术减少多路径误差，并利用了多路径误差通常具有低空间频率的事实，因为多路径误差通常由充当空间低通滤波器的漫反射或半漫反射引起。为了补偿此类误差来源，场景由使用光束整形光学器件(例如全息漫反射器、微机电***(MEMS)反射镜阵列)或简单地通过掩模(masking)产生的一组互补图案来照明。
例如，在采用US 2015/253429的补偿技术的iTOF***中，帧获取由使用互补棋盘状照明图案对2个或更多个子帧的单独获取构成。在每一个子帧中，被照明的区域从棋盘状图案的光区域接收iTOF照明光信号
Figure BDA0002828133340000031
该信号包括真实(直接)的光回波信号
Figure BDA0002828133340000032
(基准真值)和多路径分量
Figure BDA0002828133340000033
Figure BDA0002828133340000034
关于棋盘状照明图案的暗区域
Figure BDA0002828133340000035
的信号仅包括多路径分量
Figure BDA0002828133340000036
Figure BDA0002828133340000037
这意味着在单个帧上，关于给定暗区域
Figure BDA0002828133340000038
的信号可以通过在第一子帧和第二子帧上由两个各自的互补图案的组合的照明来确定。为了测量从场景中的对象反射的光，第一照明图案被用于根据间接飞行时间测量技术，使用例如，4个偏移相位角照明场景和由ToF照相机在第一子帧上测量的反射。这产生第一照明图案的暗部分的多路径向量
Figure BDA0002828133340000039
此后，在第二子帧期间使用第二互补照明图案照明场景，并且通过ToF照相机以与在第一子帧上执行的测量类似的方式测量反射。
Figure BDA00028281333400000310
向量的完整“图像”，即与ToF照相机的每一个像素对应的向量的矩阵。因此，在此类方法中，需要8个采样周期(例如在每一个子帧中施加的一个相位偏移)来测量反射的“基准真值”信号
Figure BDA00028281333400000311
US 2015/253429还公开了其他照明图案，以尽量将所需的采样周期数最小化。
互补照明图案的使用允许通过利用多路径误差分量的低空间频率属性来在整个帧的持续时间内重构照明光信号
Figure BDA00028281333400000312
因此，无串扰ToF反射信号
Figure BDA00028281333400000313
近似为：
Figure BDA0002828133340000041
该方法在实践中执行得足够好，但是具有以下缺点：当互补照明图案的数量增加时，将距离帧速率降低到二分之一或更少。因此，场景中运动可被标识的准确性降低。
US 2018/095165、US 2013/148102、US 10,061,028、US 2019/051004、US 2019/068853公开了采用具有不同光图案的场景的照明的各种技术。
发明内容
根据本发明的第一方面，提供了一种用于间接飞行时间距离计算装置的多路径误差补偿的方法，该方法包括：非结构化光源在多个连续时间帧期间照明场景；结构化光源与该非结构化光源照明该场景同时照明该场景，该结构化光源的该照明发生在该多个连续时间帧的预定帧期间；光电检测器阵列响应于用从该场景反射的光的照射生成多组信号，该多组信号包括根据间接飞行时间测量技术由光电二极管阵列中的每一个光电检测器元件基本上同时生成的一组信号；从在该多个连续时间帧中的所选时间帧和在时间上与该所选时间帧有关的另一个时间帧期间生成的该多组信号导出误差估计，该非结构化光源的照明发生在该所选时间帧期间，并且该结构化光源和该非结构化光源二者的照明发生在该另一个时间帧期间；以及将该误差估计施加到关于该场景的距离计算中。
光电二极管阵列可在多个连续时间帧中的每一个中与由光电检测器阵列接收的结构化光源和/或非结构化光源对该场景的照明同步地生成该多组信号。
该方法可进一步包括：使用在该多个连续时间帧的后续所选帧和在时间上与后续所选时间帧有关的进一步时间帧期间生成的该多组信号更新该误差估计，该非结构化光源的照明发生在该后续所选时间帧期间，并且该结构化光源和该非结构化光源二者的照明可发生在该进一步时间帧期间。
该多个连续时间帧的预定时间可以是非连续的。非连续预定帧在时间上有规律地间隔。
该方法可进一步包括：通过计算与该所选时间帧的该多组信号相对应的各个测量和与该另一个时间帧的该多组信号相对应的各个测量之间的差导出该误差估计。
计算该差可包括计算关于该所选时间帧的该多组信号的图像帧和关于该另一个时间帧的该多组信号的图像帧之间的差图像帧。
该结构化光源可采用包括无照明区域的照明图案；并且关于该无照明区域导出该误差估计。
可使用与该结构化光源的该照明图案的该无照明区域相对应的所计算的该差的区域来导出该误差估计。
该方法可进一步包括：存储与该无照明区域相对应的该差图像帧的测量。
第一非结构化光源和该结构化光源可共享基本上共同的照明场。
该非结构化光源可发射均匀照明图案。该均匀照明图案可以是关于光电检测器阵列的视场内的场景。
所计算的该差可包括关于该结构化光源的该照明图案的该无照明区域的误差测量；并且该误差估计的导出可包括：使用与该结构化光源的该照明图案的该无照明区域相对应的该测量进行插值，以便获取关于该结构化光源的该照明图案的照明区域的误差测量。
该方法可进一步包括：对关于该无照明区域的所计算的差的测量进行缩放。
该方法可进一步包括：另一个结构化光源与该非结构化光源照明该场景同时照明该场景；该另一个结构化光源的该照明可发生在该多个连续时间帧中与该预定时间帧不同的进一步预定时间帧期间；以及该误差估计的该导出进一步可包括采用在该进一步预定时间帧的另一个所选时间帧期间生成的该多组信号，该另一个非结构化光源的照明可发生在该另一个所选时间帧期间。
该结构化光源可包括第一照明图案。该另一个结构化光源可包括第二照明图案；该第二照明图案可与该第一照明图案不同。
根据本发明的第二方面，提供了一种多路径误差补偿的间接飞行时间距离计算装置，包括：非结构化光源，被配置为在多个连续时间帧期间照明场景；结构化光源，被配置为与该非结构化光源照明该场景同时照明该场景，该结构化光源的该照明发生在该多个连续时间帧的预定帧期间；光电检测器阵列包括多个光电检测器元件；以及处理资源被配置为计算距离；其中光电二极管阵列被配置为响应于从该场景反射的光的照射生成多组信号，该多组信号包括根据间接飞行时间测量技术由多个光电二极管元件的每一个光电检测器元件基本上同时生成的一组信号；该处理资源被配置为从在该多个连续时间帧中的所选时间帧和在时间上与该所选时间帧有关的另一个时间帧期间生成的该多组信号导出误差估计，该非结构化光源的照明发生在该所选时间帧期间，并且该结构化光源和该非结构化光源二者的照明发生在该另一个时间帧期间；以及该处理资源被配置为将该误差估计施加到关于该场景的距离计算中。
根据本发明的第三方面，提供了一种用于间接飞行时间距离计算装置的多路径误差补偿的方法，该方法包括：利用非结构化光在多个连续时间帧期间照明场景；利用结构化光与非结构化照明该场景同时照明该场景，该结构化照明发生在该多个连续时间帧的预定帧期间；响应于从该场景反射的光的照射，根据间接飞行时间测量技术生成多组信号；从在该多个连续时间帧中的所选时间帧和在时间上与该所选时间帧有关的另一个时间帧期间生成的该多组信号导出误差估计，该非结构化光源的照明发生在该所选时间帧期间，并且该结构化光和该非结构化光二者的照明发生在该另一个时间帧期间；以及将该误差估计施加到关于该场景的距离计算中。
因此，有可能提供一种装置和方法，该装置和方法能够避免或至少减轻间接飞行时间距离计算***中的多路径效应，同时减轻通常伴随具有不同的结构化光图案的照明的距离帧速率降低的损失。
附图说明
现在，参考附图，将仅通过示例的方式来描述本发明的至少一个实施例，在附图中：
图1是构成本发明的实施例的多路径误差补偿的间接飞行时间距离计算装置的示意图；
图2是构成本发明的另一个实施例的用于对图1的间接飞行时间距离计算装置进行多路径误差补偿的方法的第一部分的流程图；
图3是图2的方法的第二部分的流程图；以及
图4是构成本发明的进一步实施例的图1的照明布置的示意图。
具体实施方式
在整个以下描述中，相同的附图标记将用于标识相同的部件。
参考图1，第一间接飞行时间距离计算装置100包括检测和测距模块，该检测和测距模块包括构成光电检测器元件的光学接收器光子混合器像素设备102，该光学接收器光子混合器像素设备102包括光电二极管104，该光电二极管104具有可操作地耦合到地电位或其他预定电压的阳极和耦合光子混合器106的第一输入的阴极，该光子混合器106的输出耦合到积分器108的输入。在该示例中，为了描述的简洁和清晰，正在描述单个光子混合器像素设备102。然而，技术人员将理解，检测和测距模块包括上述类型的光子混合器像素设备的阵列。积分器108的输出耦合到具有多个并行输出的相位缓冲器110的输入，该多个并行输出表示关于光子混合器像素设备102的所施加的相位值的各自累积电荷电平。在该示例中，相位缓冲器110包括m个输出，关于每个施加的相位值有一个输出。
技术人员将认识到，由于积分器108的输出是累积电荷，并且在该示例中在模拟域中，积分器108的输出需要在相位缓冲器110下游的处理之前被转换为数字域。这可以例如，通过采用光子计数器作为积分器108或在相位缓冲器110之前或之后提供模数转换器来实现。
相位信号发生器112被配置为生成连续波电信号。连续波信号的相位可经由控制输入114选择，该连续波信号的相位可选自以下一组相位：[p1，p2，…，pm]。相位信号发生器112的输出被耦合到光子混合器106的第二输入。
该装置还包括定时控制单元118，该定时控制单元118具有耦合到相位信号发生器112的控制输入114的第一控制输出120和可操作地耦合到相位缓冲器110的定时输入124的同步输出122。
相位缓冲器110的多(m)个输出分别耦合到数字傅里叶变换(DFT)单元116的多个并行输入。DFT单元116具有多个数字同相(I)/正交(Q)输出，该多个数字同相(I)/正交(Q)输出与关于所测量的信号的不同谐波的b对数字I/Q输出(未示出)相对应。
与所接收的反射的光信号的一次谐波有关的一对I/Q输出126耦合到距离计算单元130的向量输入128。距离计算单元130具有可操作地耦合到定时控制单元118的第二控制输出134的多路径计算控制端口132。距离计算单元130的向量输入128可操作地耦合到向量缓冲器140，该向量缓冲器140也可操作地耦合到向量到距离计算单元136。距离计算单元130的向量缓冲器140还可操作地耦合到多路径计算单元138。在该示例中，向量到距离计算单元136包括相位角计算单元(例如用于采用arctan2技术的反正切单元)以计算相位角。然而，技术人员将认识到，可以采用其他技术来计算相位角(例如三角技术)。任选地，向量到距离计算单元136可以包括振幅计算单元，该振幅计算单元采用例如出租车范数L1或欧几里得范数L2计算技术。
装置100还包括第一电磁辐射源(例如激光二极管(LD)或发光二极管(LED))(以下称为第一光源142)和第二电磁辐射源(例如LD或LED)(以下称为第二光源144)，在该示例中共享基本上共同的照明场。在该示例中，第一光源142和第二光源144被配置为根据间接飞行时间测量技术发射经振幅调制的红外光，以便在被驱动时分别作为第一连续波光信号和第二连续波光信号发射。在该方面，第一驱动器电路146具有可操作地耦合到定时控制单元118的触发信号输出148的第一输入，并且第二驱动器电路150具有也可操作地耦合到定时控制单元118的触发信号输出148、但经由例如开关电路的激活控制器152的第二输入。激活控制器152具有可操作地耦合到定时控制单元118的源选择输出154的控制输入。第一驱动器电路146的第一输出耦合到第一光源142的第一驱动输入，并且第二驱动器电路150的第二输出耦合到第二光源144的第二驱动输入。在该示例中，第一光源142被配置为发射光的均匀发射(即无图案的光)，并且第二光源144被配置为发射结构化光(例如预定的光图案)，如现在将在本文后面将进一步详细描述的。
在操作(图2和图3)中，在上电之后并且在测量时间帧(其构成多个连续时间帧的所选时间帧)的开始处，定时控制单元118确保第二光源114未激活(即不接收触发信号)，并且第一光源142正在接收触发信号。因此，第一光源142发射第一均匀连续波光信号，该第一均匀连续波光信号照明(步骤200)场景，例如场景的全部。在该方面，第一光源142是非结构化光源。例如，场景中的对象反射所发射的第一光信号。第一光源142在多个连续时间帧期间照明场景。在多个连续时间帧的测量时间帧期间，相位信号发生器112生成连续波电信号，定时控制单元118关于相对于连续波第一光信号的电信号控制控制对该组相位的循环遍历。同步信号也由定时控制单元118施加到帧缓冲器单元110，以确保将完整的信号组传输到DFT单元116。定时控制单元118还经由多路径计算控制端口132向距离计算单元130提供多路径计算激活信号，以计算经补偿的向量。这可以例如通过设置多路径计算单元138和向量到距离计算单元136监控的标志来实现。
由相位信号发生器112生成的电信号被施加到光子混合器106，并且在测量时间帧期间电信号的相位角循环遍历上文提及的该组相位角，并且帧缓冲器110串行地接收存储在积分器108中的关于该组相位角中的每一个相位角的电荷的数字表示(步骤202和步骤204)。在该方面，积分器108提供串行的多个相位角样本输出，该多个相位角样本输出表示关于光子混合器像素设备102的施加的相位角值的各自累积电荷电平。相位缓冲器110一旦已循环遍历一组相位角，就有效地执行源自积分器108的电测量信号的串到并转换，然后向DFT单元116提供m个并行输出信号。
后续测量时间帧构成在时间上与所选时间帧有关的另一个时间帧，后续测量时间帧跟在该测量时间帧后，在该后续测量时间帧期间，响应于接收到m个输出信号，DFT单元116在I/Q输出126处生成(步骤206)一对I/Q输出信号，该I/Q输出信号关于基频构成均匀照明向量S均匀并且具有第一相位角。该I/Q输出信号被距离计算单元130接收，并暂时存储在向量缓冲器140中，直到接收到关于该后续测量时间帧的另一对I/Q输出信号。
附加地，在该后续测量时间帧开始之际，定时控制单元118指示激活控制器152允许第二驱动器电路150接收触发信号，以便驱动第二光源144，如上所提及的该第二光源144被配置为发射结构化光图案。参考图4，第二光源144投射高空间频率低强度照明图案，例如由放置在透镜的焦平面中的垂直腔表面发射激光器(VCSEL)阵列生成的点图案，或者棋盘图案。在该方面，第二光源144采用包括无照明区域(region of no illumination)的照明图案。
在该后续测量时间帧期间，结构化光图案与第一光源142的对光的均匀(非结构化)发射同时被发射(步骤208)，并被对象反射。因此得出结论，一般地，第二光源144在多个连续时间帧的预定帧期间照明，在该示例中，该预定帧是交替的时间帧。然而，技术人员应当认识到，在其他示例中，第二光源144的照明可以在预定数量的时间帧之后发生，如果需要，可以重复地发生。
当第二光源144照明场景时，相位信号发生器112仍然生成如上所述的关于仅由第一光源照明的连续波电信号，定时控制单元118关于相对于连续波第一光信号的电信号控制对该组相位的循环遍历。
由相位信号发生器112生成的电信号被再次施加到光子混合器106，并且在该后续测量时间帧期间电信号的相位角循环遍历上文提及的该组相位角，并且帧缓冲器110串行地接收存储在积分器108中的关于该组相位角中的每一个相位角的电荷的数字表示(步骤210和212)。
一旦该后续测量时间帧结束，定时控制单元118防止(步骤214)触发第二驱动器电路150，这停止由第二光源144发射第二光信号。重复上述利用第一光源142的仅均匀光照明然后由第一光源142和第二光源144进行组合照明的过程(步骤200到步骤214)，同时计算所需的相关联的向量达所需时长。
当另一个测量时间帧过去时，相位缓冲器110再次对源自积分器108的电测量信号进行串到并转换，并向DFT单元116提供m个并行输出信号。使用该m个并行输出信号，DFT单元116生成(步骤216)后续的一对I/Q输出信号，该后续的一对I/Q输出信号关于基频构成组合照明向量
Figure BDA0002828133340000111
并且具有第二相位角。组合照明向量
Figure BDA0002828133340000112
的后续I/Q输出信号由距离计算单元130接收并且也存储在向量缓冲器140中。
上述方法针对包括以上提及的光学接收器光子混合器像素设备102的多个像素执行。在该方面，为了从操作方法的此阶段开始更清楚地了解装置100的操作，现在描述与处理关于均匀照明向量
Figure BDA0002828133340000113
和组合照明向量
Figure BDA0002828133340000114
的输出信号有关的处理，关于包括像素102的多个像素(例如像素的阵列)生成这些向量。就该方面，每一个像素102基本上与第二光源144和/或第一光源142对场景的照明同步地输出多个相位角样本输出。多个像素基本上同时生成多组信号，且如上已经描述的DFT单元116基本上同时在适当时间生成均匀照明向量
Figure BDA0002828133340000115
和组合照明向量
Figure BDA0002828133340000116
当测量时间帧过去时，距离计算单元130如下操作。在接收到组合照明向量
Figure BDA0002828133340000117
的I/Q输出信号后续对之际并且响应于定时控制单元118发送的计算和补偿多路径误差的指令，多路径计算单元138关于存储在向量缓冲器140中的基本上每一个像素访问均匀照明向量
Figure BDA0002828133340000118
和组合照明向量
Figure BDA0002828133340000119
以关于第二光源144发射的第二光信号计算(步骤218)结构化照明向量
Figure BDA00028281333400001110
Figure BDA00028281333400001111
因此，一般地，可以看出，计算在关于所选时间帧(在本示例中为测量时间帧)的多组信号的图像帧与关于另一个时间帧(在本示例中为后续测量时间帧)的多组信号的图像帧之间的差图像帧。
根据结构化照明向量，多路径计算单元138使用第二光信号的结构化照明的图案的先验知识，以便标识(步骤220)图案的无照明区域。对于与第二光信号的结构化照明的图案的无照明区域相对应的那些区域
Figure BDA00028281333400001112
函数f(例如执行插值的函数)可以用于估计接收到的并归因于无照明区域的多路径效应的反射的光
Figure BDA00028281333400001113
Figure BDA00028281333400001114
在该示例中，通过由多路径计算单元138执行的低通滤波操作来估计关于图案的无照明区域的反射的光。这构成了误差估计
Figure BDA00028281333400001115
的导出，该误差估计是使用与第二光源144的照明图案的无照明区域相对应的区域导出的(在上面的等式(4)中计算的差的区域)。存储与无照明区域相对应的该差图像帧的测量。使用与图案的所标识的无照明区域相对应的向量，多路径计算单元138使用该函数(在该示例中为该低通滤波函数)以确定该差图像帧的所有向量的误差估计，然后计算(步骤222)“基准真值”向量
Figure BDA0002828133340000121
该“基准真值”向量
Figure BDA0002828133340000122
表示在补偿所估计的多路径误差之后来自对象的所测量的反射：
Figure BDA0002828133340000123
其中k是由发射均匀光信号的第一光源142和发射结构化光信号的第二光源144之间的光功率比率定义的缩放常数，且
Figure BDA0002828133340000124
是跨差图像帧的所有向量来计算的多路径误差估计。基准真值向量或即经校正的向量
Figure BDA0002828133340000125
被存储在向量缓冲器140中。
误差补偿向量
Figure BDA0002828133340000126
可以被施加到均匀照明向量
Figure BDA0002828133340000127
和组合照明向量
Figure BDA0002828133340000128
二者。此后，所计算的经补偿向量(即基准真值向量
Figure BDA0002828133340000129
)由向量到距离计算单元136访问，且在该示例中，向量到距离计算单元136的反正切单元计算(步骤224)由基准真值向量
Figure BDA00028281333400001210
定义的相位角，并此后根据使用间接飞行时间测量技术所计算的相位角和用于将所计算的相位角转换为飞行时间的预定的缩放因子来计算飞行时间(步骤226)。根据所计算的飞行时间计算到对象的距离。
重复上述步骤(步骤216到步骤226)直到不再需要生成经补偿的所测量距离。因此，在该示例中，使用在后续测量时间帧之后的多个连续时间帧的所选时间帧期间生成的多组信号，以及使用在时间上与该后续所选时间帧有关的进一步时间帧期间生成的多组信号，根据需要更新误差估计，第一光源142的照明在后续所选时间帧期间发生，并且第一光源142和第二光源144的照明在该进一步时间帧期间发生。
技术人员应当认识到，上述实现方式仅仅是在所附权利要求的范围内可想到的各种实现方式的示例。实际上，应当认识到，例如在其他实施例中，相位缓冲器110以及由此对从光子混合器像素设备102串行获取的缓冲的相位测量的并行处理可以被省略。在此类实施例中，相位测量的串行传输可以直接到DFT单元116，从而减少了检测和测距模块的存储器需求。在这方面，DFT单元116可以被提供有更小的内部缓冲器，以针对每一个帧循环迭代地计算串行接收的各个相位测量的中间I值和Q值，该中间I值和Q值在帧循环中累积以生成最终I值和Q值结果。为了支持该布置，DFT单元116可以可操作地耦合到定时控制单元118以保持数据处理的同步。
在上述示例中，第一光源142在每一个测量时间帧上都均匀地照明，并且第二光源144每隔一帧投射高空间频率照明图案。在其他示例中，可以采用进一步光源来投射另一个图案(例如与第二光源144互补的图案)，以进一步提高多路径误差补偿准确度，该附加图案在与第二光源144投射的照明不同的时间帧期间发射，但与第一光源142的均匀照明同时发射。在该方面，并且一般地，进一步光源的照明可以在该多个连续时间帧的与上文提及的预定帧不同的进一步预定帧期间发生。在此类示例中，可以在进一步预定帧期间分别由像素生成多组信号，并且可以通过使用在进一步预定帧的另一个所选时间帧期间生成的多组信号来导出误差估计，在该另一个所选时间帧期间发生该进一步光源的照明。在此类示例中，应当认识到，由第二光源144发射的结构化光图案与由该进一步光源发射的进一步结构化光图案不同。
上述示例描述了在测量时间帧期间基本上同时地生成多个均匀照明向量
Figure BDA0002828133340000131
该测量时间帧可以理解为为了进行测量而在多个连续时间帧中所选的时间帧。随后关于紧接在所选时间帧之后发生的后续测量时间帧生成多个组合照明向量
Figure BDA0002828133340000132
然而，更一般地并且如上文已经暗示的，可以关于在时间上与所选时间帧有关的另一个时间帧生成多个组合照明向量
Figure BDA0002828133340000133
在所选时间帧期间发生非结构化光源的照明，并且在另一个时间帧期间发生的结构化光源和非结构化光源二者的照明。在该方面，多个组合照明向量
Figure BDA0002828133340000134
的生成不必紧接在所选时间帧之前或之后进行，并且在一些示例中，可以允许在所选时间帧之后在生成多个组合照明向量
Figure BDA0002828133340000135
之前经过更多数量的时间帧，和/或可以允许在生成多个组合照明向量
Figure BDA0002828133340000136
之后在生成多个均匀照明向量
Figure BDA0002828133340000137
之前经过更多数量的时间帧。因此可以看出，第二光源144在期间照明场景的预定时间帧可以是非连续的。此外，非连续时间帧可以在时间上有规律地间隔。
应当认识到，除非另外明确说明，否则本文中对“光”的引用旨在作为涉及电磁频谱的光学范围的引用，例如在约350nm与约2000nm之间，诸如在约550nm与约1400nm之间、或在约600nm与约1000nm之间。
本发明的替代实施例可以实现为与计算机***一起使用的计算机程序产品，该计算机程序产品例如是存储在有形数据记录介质(诸如磁盘、CD-ROM、ROM或固定盘)上或实现在计算机数据信号中的一系列计算机指令，该信号通过有形介质或无线介质(例如微波或红外线)传输。该一系列计算机指令可以构成上述功能的全部或部分，并且还可以被存储在易失性或非易失性的任何存储器设备中，诸如半导体设备、磁性设备、光学设备或其他存储器设备。

Claims (15)

1.一种用于间接飞行时间距离计算装置的多路径误差补偿的方法，所述方法包括：
非结构化光源在多个连续时间帧期间照明场景；
结构化光源与所述非结构化光源照明所述场景同时照明所述场景，所述结构化光源的所述照明发生在所述多个连续时间帧的预定帧期间；
光电检测器阵列响应于从所述场景反射的光的照射生成多组信号，所述多组信号包括根据间接飞行时间测量技术由光电二极管阵列中的每一个光电检测器元件基本上同时生成的一组信号；
从在所述多个连续时间帧中的所选时间帧和在时间上与所述所选时间帧有关的另一个时间帧期间生成的所述多组信号导出误差估计，所述非结构化光源的照明发生在所述所选时间帧期间，并且所述结构化光源和所述非结构化光源二者的照明发生在所述另一个时间帧期间；以及
将所述误差估计施加到关于所述场景的距离计算中。
2.如权利要求1所述的方法，进一步包括：
使用在所述多个连续时间帧的后续所选帧和在时间上与后续所选时间帧有关的进一步时间帧期间生成的所述多组信号更新所述误差估计，所述非结构化光源的照明发生在所述后续所选时间帧期间，并且所述结构化光源和所述非结构化光源二者的照明发生在所述进一步时间帧期间。
3.如权利要求1所述的方法，其特征在于，所述多个连续时间帧的所述预定时间是非连续的。
4.如权利要求3所述的方法，其特征在于，非连续预定帧在时间上有规律地间隔。
5.如权利要求1所述的方法，进一步包括：
通过计算与所述所选时间帧的所述多组信号相对应的各个测量和与所述另一个时间帧的所述多组信号相对应的各个测量之间的差导出所述误差估计。
6.如权利要求5所述的方法，其特征在于
计算所述差包括计算关于所述所选时间帧的所述多组信号的图像帧和关于所述另一个时间帧的所述多组信号的图像帧之间的差图像帧。
7.如权利要求1至6中的任一项所述的方法，其特征在于
所述结构化光源采用包括无照明区域的照明图案；并且
关于所述无照明区域导出所述误差估计。
8.如权利要求7所述的方法，当从属于权利要求5时，其特征在于
使用与所述结构化光源的所述照明图案的无照明区域相对应的所计算的所述差的区域来导出所述误差估计。
9.如权利要求7所述的方法，当从属于权利要求6时，进一步包括：
存储与所述无照明区域相对应的所述差图像帧的测量。
10.如权利要求1至6中的任一项所述的方法，其特征在于，第一非结构化光源和所述结构化光源共享基本上共同的照明场。
11.如权利要求1至6中的任一项所述的方法，其特征在于，所述非结构化光源发射均匀照明图案。
12.如权利要求8所述的方法，其特征在于，所计算的所述差包括关于所述结构化光源的所述照明图案的所述无照明区域的误差测量；并且
所述误差估计的导出包括：
使用与所述结构化光源的所述照明图案的所述无照明区域相对应的所述测量进行插值，以便获取关于所述结构化光源的所述照明图案的照明区域的误差测量。
13.如权利要求7所述的方法，进一步包括：
对关于所述无照明区域的所计算的差的测量进行缩放。
14.如权利要求1至6中的任一项所述的方法，进一步包括：
另一个结构化光源与所述非结构化光源照明所述场景同时照明所述场景，所述另一个结构化光源的所述照明发生在所述多个连续时间帧中与所述预定时间帧不同的进一步预定时间帧期间；以及
所述误差估计的所述导出进一步包括采用在所述进一步预定时间帧的另一个所选时间帧期间生成的所述多组信号，所述另一个非结构化光源的照明发生在所述另一个所选时间帧期间；
所述结构化光源能包括第一照明图案，所述另一个结构化光源能包括第二照明图案；所述第二照明图案能与所述第一照明图案不同。
15.一种多路径误差补偿的间接飞行时间距离计算装置，包括：
非结构化光源，被配置为在多个连续时间帧期间照明场景；
结构化光源，被配置为与所述非结构化光源照明所述场景同时照明所述场景，所述结构化光源的所述照明发生在所述多个连续时间帧的预定帧期间；
光电检测器阵列，包括多个光电检测器元件；以及
处理资源，被配置为计算距离；其中
光电二极管阵列，被配置为响应于从所述场景反射的光的照射生成多组信号，所述多组信号包括根据间接飞行时间测量技术由多个光电二极管元件的每一个光电检测器元件基本上同时生成的一组信号；
所述处理资源被配置为从在所述多个连续时间帧中的所选时间帧和在时间上与所述所选时间帧有关的另一个时间帧期间生成的所述多组信号导出误差估计，所述非结构化光源的照明发生在所述所选时间帧期间，并且所述结构化光源和所述非结构化光源二者的照明发生在所述另一个时间帧期间；以及
所述处理资源被配置为将所述误差估计施加到关于所述场景的距离计算中。
CN202011434896.6A 2019-12-10 2020-12-10 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置 Pending CN112946602A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19214971.4A EP3835720B1 (en) 2019-12-10 2019-12-10 Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
EP19214971.4 2019-12-10

Publications (1)

Publication Number Publication Date
CN112946602A true CN112946602A (zh) 2021-06-11

Family

ID=68848130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011434896.6A Pending CN112946602A (zh) 2019-12-10 2020-12-10 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置

Country Status (3)

Country Link
US (1) US11802962B2 (zh)
EP (1) EP3835720B1 (zh)
CN (1) CN112946602A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945951B (zh) * 2021-10-21 2022-07-08 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
EP3516328B1 (en) * 2016-09-21 2023-05-03 Philip M. Johnson Non-contact coordinate measuring machine using hybrid cyclic binary code structured light
EP3519850A4 (en) 2016-09-30 2019-10-16 Magic Leap, Inc. PROJECTOR WITH SPATIAL MODULATION OF LIGHT
US10557921B2 (en) * 2017-01-23 2020-02-11 Microsoft Technology Licensing, Llc Active brightness-based strategy for invalidating pixels in time-of-flight depth-sensing
US10489925B2 (en) 2017-08-13 2019-11-26 Shenzhen GOODIX Technology Co., Ltd. 3D sensing technology based on multiple structured illumination
US20190068853A1 (en) 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
JP7296138B2 (ja) * 2018-05-03 2023-06-22 ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント 深度イメージングを最適化するための方法およびシステム
US11609328B2 (en) * 2018-05-23 2023-03-21 Massachusetts Institute Of Technology Methods and apparatus for improved imaging through scattering media

Also Published As

Publication number Publication date
US20210173087A1 (en) 2021-06-10
EP3835720B1 (en) 2023-08-09
EP3835720A1 (en) 2021-06-16
US11802962B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
JP7098706B2 (ja) Ｌａｄａｒシステム及び方法
US8786678B2 (en) 3D time-of-flight camera and method
EP2955544B1 (en) A TOF camera system and a method for measuring a distance with the system
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
US20200072946A1 (en) Glare mitigation in lidar applications
JP2015501927A (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
EP2264481A1 (en) Method and device for acquiring a range image
JP2013538342A (ja) 階層的な飛行時間（ｔｏｆ）システムのディエリアシング方法およびシステム
US11991341B2 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US20220113422A1 (en) Lidar system and method of operation
US11393115B2 (en) Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN112945221A (zh) 相位角校正值计算装置和计算相位角校正值的方法
US20220252730A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
EP3956689A1 (en) Time-of-flight measurements using linear inverse function
EP2275833A1 (en) Range camera and range image acquisition method
CN112946602A (zh) 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置
CN111830487A (zh) 生成时域回波波形的方法和电磁辐射回波波形生成***
CN113497892A (zh) 摄影装置、测距装置及方法、以及存储介质、计算机装置
US20210364612A1 (en) Method of optical detection and optical detection apparatus
US20230384450A1 (en) A lidar system with enhanced performance
JPH0675050A (ja) レンジファインダ
CN113424072A (zh) 飞行时间装置和方法
JP2001280927A (ja) ３次元形状計測方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination