CN113167899B - 用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法 - Google Patents

用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法 Download PDF

Info

Publication number
CN113167899B
CN113167899B CN201980080091.5A CN201980080091A CN113167899B CN 113167899 B CN113167899 B CN 113167899B CN 201980080091 A CN201980080091 A CN 201980080091A CN 113167899 B CN113167899 B CN 113167899B
Authority
CN
China
Prior art keywords
function
offset
pixel
depth
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980080091.5A
Other languages
English (en)
Other versions
CN113167899A (zh
Inventor
B·米尔巴赫
H·克洛斯
M·博古斯劳斯基
T·索利尼亚克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IEE International Electronics and Engineering SA
Original Assignee
IEE International Electronics and Engineering SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from LU101024A external-priority patent/LU101024B1/en
Priority claimed from LU101120A external-priority patent/LU101120B1/en
Application filed by IEE International Electronics and Engineering SA filed Critical IEE International Electronics and Engineering SA
Publication of CN113167899A publication Critical patent/CN113167899A/zh
Application granted granted Critical
Publication of CN113167899B publication Critical patent/CN113167899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种用于利用使用调幅连续光的飞行时间相机(1)进行校正的深度测量的方法。为了能够利用飞行时间相机进行精确且有效的深度测量，本发明提供了一种方法包括，针对相机(1)的传感器阵列(2)的多个像素(3)中的每一个：‑利用相机(1)获取(510)用于像素(3)的原始深度值rm；以及‑根据下式自动计算(520)地面真值rt：rt＝g(rm‑cm)+ct,以校正原始深度值rm的***深度误差，其中，cm是与像素相关的第一偏移，g是与像素无关的第一函数，并且ct是与像素无关的第二偏移。

Description

用于利用使用调幅连续光的飞行时间相机进行校正的深度测 量的方法
技术领域
本发明涉及一种用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法。
背景技术
飞行时间相机用于在三维对象或场景的图像中提供逐像素深度信息。相机包括具有多个像素的(通常是二维的)传感器阵列。每个像素提供可以从其导出空间中的记录点的深度(即，距相机的距离)的信息。除了使用光脉冲的TOF相机之外，另一类型的TOF相机使用调幅连续光。换句话说，相机发射调幅光的连续场，调幅光的连续场从相机的视场中的对象反射。反射光由单独的像素接收。由于振幅调制，可以从振幅推导出接收光的相位，并且通过相对相位差，可以确定飞行时间，并且因此确定到反射对象的距离。根据公知的方法，采用了锁相像素(lock-in pixel)，其中，每个像素的读出同步到光的调制频率。特别地，每个像素的读出频率可以是调制频率的4倍。这也被称为4抽头方法。
通过零差原理很好地描述了使用调幅连续光(AMCL)和锁相像素利用ToF相机的深度测量。其中，光和像素时钟的调制频率相等。两个函数的相关信号对于测量过程和研究对象是相关的。然而，两个信号(光调制和像素曝光过程)通常是非谐波的(正弦与方波函数之间的中间状态)，因此，相关信号也是非谐波的。
通过利用基波的四倍的频率进行采样来解调连续调制的非谐波信号导致混叠效应。因此，较高的谐波影响重构信号。因此，与初始信号相比，发生重构的周期性偏差。因此，误差的“基本”频率至少是初始调制频率的四倍。
开发了很多方法来校正所提及的***深度误差，即所谓的摆动误差。然而，迄今为止的方法还包括逐相机、逐积分时间或甚至逐像素校正。这意味着每个样本必须在复杂的高度耗时的过程中被单独地校准，这在工业飞行时间相机的生产中是不合适的。此外，所得到的校准参数需要大的存储器空间。
发明目的
因此，本发明的目的是使得能够利用飞行时间相机进行精确且有效的深度测量。
这个问题通过根据权利要求1所述的方法解决。
发明内容
本发明提供了一种用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法。此处的深度测量当然是指测量距相机的距离，使得可以获得3D传感器阵列。使用调幅连续光的飞行时间(ToF)相机的原理本身是公知，并且已经在上文进行了解释。尽管术语“光”可以指可见光，但是应当理解，也可以采用红外光或紫外光。
该方法包括针对相机的传感器阵列的多个像素中的每一个的以下两个步骤。像素特别地可以是锁相像素。传感器阵列包括多个(通常在几百与几千之间)像素，多个像素通常以二维图案设置，尽管一维布置也是可以想到的。
在第一步骤中，利用相机获取用于像素的原始深度值rm。该原始深度值rm一般地受到测量误差的影响，并且不能准确地表示实际深度。
在第二步骤中，根据以下等式rt自动计算地面真值：
rt＝g(rm-cm)+ct (等式1)
其中，cm是与像素相关的第一偏移，g是与像素无关的第一函数，并且ct是与像素无关的第二偏移。更具体地，cm是用于每个单独的像素的第一偏移，而第一函数g对于所有像素是相同的，并且第二偏移ct对于所有像素是相同的。也可以说，为了计算地面真值rt，单独的第一偏移cm用于每个单独的像素，而相同的第一函数g用于所有像素，并且相同的第二偏移ct用于所有像素。应当理解，第一偏移cm、第一函数g和第二偏移ct是在计算地面真值rt之前预先确定的。自动计算优选地由相机自身执行。为此目的，相机可以包括易失性存储器和/或非易失性存储器以及处理单元。处理单元可以至少部分地由软件实施。尽管地面真值rt可能仍然与实际深度不同(最小程度地)，但它一般地是足够精确的近似。也可以说，地面真值rt(至少近似地)表示用于相应的像素的实际深度。用于像素的实际深度是相应的像素与由该像素所接收的光从其反射的点之间的实际物理距离。计算地面真值rt以校正原始深度值rm的***深度误差，即，原始深度值rm具有***深度误差，并且通过计算地面真值rt，从原始深度值rm校正***深度误差。换句话说，通过计算地面真值rt来执行深度校正。
尽管第一步骤和第二步骤的顺序对于具体像素是固定的，但针对不同的像素，存在可以执行步骤的顺序的各种可能性。例如，可以针对传感器阵列中的所有像素顺序地执行第一步骤，可以在(易失性)存储器中存储原始深度值rm，并且可以随后计算用于所有像素的地面真值rt。另一可能性是在获取用于下一像素的原始深度值rm之前，计算用于每个像素的地面真值rt。尽管这种方法有助于最小化存储器空间，但是它可能减慢3D图像的记录，并且因此如果3D图像中发生快速改变，则这种方法可能是不适合的。另一可能性是并行地执行第一步骤和第二步骤，即，可以在正在获取用于至少一个像素的原始深度值rm的同时，计算用于至少一个像素的地面真值rt。
在查看等式1时，可以清楚地看出，地面真值rt的计算相对简单。它需要以下三个步骤：
1)减去与像素相关的第一偏移cm；
2)应用与像素无关的第一函数g；以及
3)添加与像素无关的第二偏移ct。
这些计算可以实时完成，例如，在获取每个深度传感器阵列帧之后。唯一需要的输入是传感器阵列的像素。应当注意，第一步骤和第三步骤分别是简单的加法或减法。此外，第三步骤是对于所有像素相同的单个值的相加。同样地，第二步骤需要应用对于所有像素相同的第一函数g。因此，需要与传感器阵列的大小成比例的存储器空间的唯一步骤是第一步骤，其需要用于每个单独的像素的第一偏移cm的存储器。然而，记住，对于每个像素仅需要一个或几个字节，第一偏移所需的存储器空间对应于仅一个深度图像，并且第一偏移cm所需的总存储器相对较小。
因此，本发明的方法使得能够对ToF相机进行有效的深度校正，而不需要任何附加设备、大的存储器空间或大量的处理能力。
尽管本发明不限于此，但获取原始深度值rm通常包括以调幅连续光的调制频率的四倍的采样频率来确定四个振幅样本。这也可以被称为4抽头方法，其中，四个振幅A0...3(被称为抽头)是用于调制光的相位恢复的基础，因为相位
Figure GDA0003654044260000041
可以计算为：
Figure GDA0003654044260000042
光振幅与像素时钟之间的相关函数在每个基本周期被等延迟的采样点采样四次。因此，采样频率是基本调制频率的四倍。根据香农-奈奎斯特定理，混叠仅可能针对具有高于二阶的谐波发生。因此，基本频率的振幅和相位由所有较高的谐波频率(自然地是奇数阶)失真。
在一些情况下，可以实时计算第一函数g的函数值。在其他情况下，可能期望节省处理工作量，或者第一函数g的解析形式甚至可能是未知的。由于这些和其他原因，优选地通过访问表示第一函数g的查找表来应用第一函数g。查找表的所需存储器空间可以相对小。例如，查找表可以由需要在几kB与几十kB之间的存储器空间的一维向量表示(例如，每mm一个条目，对于20MHz的调制频率，这将是大约15kB)。
通常，第一函数g的解析形式是复杂的或者甚至是未知。然而，为了创建查找表，注意反函数就足够了。通常，通过应用第二函数f来计算查找表，第二函数f是第一函数g的反函数。显然，查找表表示第二函数以及第一函数g，而查找表的具体条目表示用于第一函数g的函数值和用于第二函数的自变量，反之亦然。应当理解，等式1可以重写为
rm＝cm+f(rt-ct)，(等式3)
其中，第二函数f(x)类似于以地面真值rt作为输入、移位了第二偏移ct的摆动模型函数。从理论观点上讲，等式1实际上从等式3导出。物理地，第一偏移和第二偏移cm、ct可以考虑传感器阵列曝光或LED控制对内部设备时钟的时间延迟时间。如上所述，第二偏移ct与像素无关，但是可以可选地与温度相关。通常，为了最佳结果，必须要考虑或应当考虑第二偏移ct的温度相关性。然而，本发明不限于此，并且可能存在这样的情形：其中第二偏移ct可以被视为(或建模为)与温度无关。这在等式1和等式3表示数学模型的意义上是可以理解的，该数学模型是rm与rt之间的实际物理关系的近似。这种实际关系始终包括以各种方式近似的温度相关性，最简单的方式是假设第二偏移ct对于特定温度范围是与温度无关的。第一偏移cm是与像素相关的但是与温度无关的。它可以被理解为深度不均匀性(DNU)。这种不均匀性cm和与温度相关的第二偏移ct的分离产生并非与像素相关或与温度相关的摆动模型函数f。当然，同样的情况适用于第一函数g，第一函数g是第二函数f的反函数。换句话说，如果在等式1和等式3中考虑温度相关性，则摆动模型函数、第一函数g和第一偏移cm是与温度无关的，而第二偏移ct与温度相关的。这例如在生产终端测试期间具有相当多的优点，如将在下文变得更清楚的。
第二函数f的具体形式不限于本发明的范围。它可以取决于例如理论考虑、期望精确度和关于处理能力或存储器空间的可能限制，尽管后两者通常是不相关的。对于不考虑摆动误差的第二函数f，可选的偏移项和线性项就足够了。在包括摆动的情况下，振荡项可以包括在第二函数f中。如果应用上述4抽头方法，则根据香农-奈奎斯特定理，仅可能发生具有高于二阶的谐波的混叠。通常，考虑三阶谐波和五阶谐波的混叠就足够，而更高阶的贡献(七阶谐波等)可以忽略。因此，第二函数f可以包括相对于调制频率的线性项、三阶谐波项和五阶谐波项。三阶谐波项具有调制频率的四倍的频率，并且五阶谐波项具有调制频率的八倍的频率。在本实施例中，第二函数f可以如下写为(其中，rt-ct＝r)：
f(r)＝a0+r+a1 cos(k4r)+a2 sin(k4r)+a3 cos(k8r)+a4 sin(k8r)+…
＝a0+r+b1 cos(k4r+θ1)+b2 cos(k8r+θ2)+…(等式4)
其中
Figure GDA0003654044260000051
Figure GDA0003654044260000052
Figure GDA0003654044260000061
并且b2、θ2相应地用于k8项，其中νill为调制频率。例如，可以通过以原始深度值rm和地面真值rt作为输入的线性回归来找到第二函数f的系数。这可以在校准期间完成，下面将对此进行解释。
在校正的深度测量之前，可以针对相机执行校准，其中，确定第一偏移cm、第一函数g和第二偏移ct中的至少一个。“在校正的深度测量之前”不应以任何方式被理解为限制校准与校正的深度测量之间的时间间隔。通常，在相机的生产过程中或紧接其后执行校准，而(第一)校正的深度测量可以由终端用户发起。然而，该校正的深度测量也可以在生产相机之后在相机的测试过程中执行。尽管应当理解，需要以某种方式确定第一偏移cm、第一函数g和第二偏移ct，但是用于特定相机(即，特定样本)的校准过程可以仅包括确定这些量中的一个或两个。“确定”可以指定义相应的量以及通过计算和/或测量来获得该量。
通常可以假设第一偏移cm和/或第一函数g对于给定类型或生产系列的所有相机是相同的。因此，不需要针对每个单独的相机确定它们。优选地，校准包括一般校准，其中，针对多个相机确定第一偏移cm和/或第一函数g中的至少一个仅一次。换句话说，使用单个相机在一般校准中确定第一偏移cm和/或第一函数g一次，并且之后，该一般校准的结果可以用于足够相似的所有相机，例如，相同生产系列的所有相机。应当理解，这种一般校准的概念极大地方便了其余相机的校准，并且减少了所需的时间。
优选地，该校准包括通过执行以下步骤来确定第二函数f，这些步骤不一定以本文描述的它顺序执行：
利用相机执行多个不同的深度测量，每个测量提供用于感兴趣区域中的多个像素中的每一个的原始深度值rm(k)，其中，k＝1，...，N是单独的深度测量的数量。换句话说，执行N个不同的深度测量，这意味着从相机的角度来看，对于每个深度测量，由相机记录的三维场景是不同的。用于简单设置的一个示例是将相机定位为面向平面表面，并且针对每个深度测量改变相机与表面之间的距离。获取用于感兴趣区域中的多个像素中的每一个的原始深度值rm(k)。感兴趣区域可以包括传感器阵列的中心并且它可以具有正方形形状。然而，它可以定位为偏离中心，并且可以具有不同的、甚至不规则的或非相干的形状。优选地，感兴趣区域对应于传感器阵列的一部分。特别地，它可以显著地小于传感器阵列，例如，它可以包括小于传感器阵列的10％或甚至小于传感器阵列的1％。应当理解，这极大地方便了校准。对于每个深度测量并且对于每个像素，原始深度值rm(k)存储在相机的存储器或外部存储器中。
此外，针对每个深度测量并且针对感兴趣区域中的每个像素，确定地面真值rt(k)。该地面真值rt(k)表示相应的像素和与由该像素所接收的光从其反射的点之间的实际物理距离。该距离可以通过本领域中已知的任何足够精确的手段来测量，或者该距离可以从相机相对于记录的(一个或多个)对象的位置来推导。该地面真值rt(k)用作用于校准的目标参考。
在另一步骤中，可能在获取原始深度值rm(k)和/或地面真值rt(k)之前，定义第二偏移ct。在该上下文中，可以任意地选择第二偏移ct。
根据又一步骤，针对感兴趣区域中的每个像素，定义具有至少一个参数的与像素相关的第三函数fp，并且将至少一个参数拟合到以下条件：
rm(k)＝cm+fp(rt(k)-ct).(等式5)
理想地，深度测量的数量对应于参数的数量，使得对于所有k都可以满足等式5。如果深度测量的数量大于参数的数量，则对于所有k通常不能满足等式5，并且可以应用本领域中已知的拟合方法，例如，以便最小化均方误差。通常，参数的数量应当小于或等于深度测量的数量。应当注意，第三函数fp所需的存储器空间可以相对小，因为感兴趣区域通常仅是传感器阵列的一小部分。可以明确地存储用于感兴趣区域中的每个像素的第三函数fp，例如，以查找表的形式，或者通过存储由拟合流程获取的至少一个参数。
在已经确定第三函数时，基于感兴趣区域中的多个像素的第三函数fp来确定第二函数f。通常，基于感兴趣区域中的所有像素来确定第二函数f，尽管可以想到，出于某些原因，可以忽略或丢弃一些像素。通常，第二函数f和第三函数fp具有类似的形式，并且可以在某些参数上不同。例如，如果第二函数f具有由等式4给出的形式，则第三函数fp通常被选择为具有相同的形式。
存在如何可以基于第三函数fp确定第二函数f的各种方式。一般地，可以应用某种求平均值。特别地，可以通过针对感兴趣区域中的多个像素对第三函数fp的至少一个参数求平均值来确定第二函数f。通常，对感兴趣区域中所有像素执行求平均值。一般地，相应的第三函数fp的特定参数具有用于不同的像素的不同的值。通过针对多个像素之取每个参数的平均值，可以确定与像素无关的第二函数f。应当记住，与第二函数f的逐像素的与距离无关的偏差没有丢失，但它们被排他地并入在第一偏移cm中。当在此处和在下文中提及“求平均值”时，这通常是指算术平均值。然而，它也可以指其他类型的求平均值，例如，加权平均值。
然而，存在定义与像素相关的第三函数fp并且基于第三函数fp计算第二函数f的替代方案。即，可以共同地考虑感兴趣区域中的所有像素的原始深度值rm(k)和地面真值rt(k)。例如，可以考虑类似于(等式5)的条件，其中，对所有像素取和，并且用与像素无关的第二函数f替换与像素相关的第三函数fp：
∑rm(k)＝Cm+∑f(rt(k)-ct).(等式5a)
其中，Cm是对应于针对所有像素的cm之和的参数。第二函数f包括被拟合以满足等式5a的至少一个参数。当然，等式5a可以除以感兴趣区域中的像素的数量以得到平均值，由此对所有像素取算术平均值。除了取算术平均值之外，还可以执行不同种类的求平均值，例如，加权平均值。又一选项是根据以下条件简单地拟合第二函数f的参数：
rm(k)＝cm+f(rt(k)-ct).(等式5b)
其中，考虑来自所有深度测量的所有像素的原始深度值rm(k)和地面真值rt(k)来执行拟合过程。不管第二函数f是如此处所述直接确定的还是如上所述经由第三函数fp确定的，第一偏移cm都可以如下所述确定。
根据优选实施例，校准包括：针对每个深度测量和感兴趣区域中的每个像素，根据以下等式计算用于第一偏移cm的偏移估计cm(k)：
cm(k)＝rm(k)-f(rt(k)-ct).(等式6)
偏移估计cm(k)与第一偏移cm相关，并且在一些情况下甚至可以是相同的。然而，偏移估计cm(k)对于每个深度测量一般地是不同的。换句话说，尽管第一偏移cm仅取决于像素，但是偏移估计cm(k)还取决于单独的深度测量。
尽管用于单独的深度测量的偏移估计cm(k)形成用于确定第一偏移cm的基础，但是存在可以想到的如何可以确定第一偏移cm的各种方式。例如，偏移估计cm(k)中的一个可以通过某种标准被选择为第一偏移cm，而其他偏移估计被丢弃。优选地，通过针对多个深度测量对偏移估计cm(k)求平均值来确定第一偏移cm。通常，对所有深度测量取平均值。如上所述，这种求平均值通常是指取算术平均值，但它可以是不同的平均值。
如上所述，可以在对于多个相机(例如，对于给定类型或生产系列的所有相机)有效的一般校准中确定第一函数g和第一偏移cm。然而，第二偏移ct通常特定于给定相机。在本发明的一个实施例中，校准包括使用在利用一个相机的一般校准中确定的第一函数g和第一偏移cm，以及针对不同的相机执行单独的校准。换句话说，已经使用一个相机确定了第一函数g和第一偏移cm，并且这种校准仅需要执行一次，之后第一函数g和第一偏移cm可以用于足够相似的所有相机，例如，相同类型的所有相机。这些相机当然与用于一般校准的相机不同。在单独的校准中，针对至少一个像素执行深度测量以获得原始深度值rm。此外，针对至少一个像素确定地面真值rt。地面真值rt不是由相机确定的，而是由某种其他装置(即，以与相机无关的)确定的。最终，根据下式计算第二偏移ct：
ct＝rt-g(rm-cm).(等式7)
应当理解，如果针对多个像素确定了原始深度值rm和地面真值rt，则以上等式一般地会产生用于每个像素的不同第二偏移ct。为了获得所需的单个值，可以对所有像素的第二偏移ct执行求平均值。
根据应用，将第二偏移ct视为仅取决于单独的相机样本的常数可能就足够了。然而，通常更实际的是假设第二偏移ct与温度相关。尽管实际的温度相关性可能是复杂的，但至少对于实际的温度范围，它可以例如通过如ct(T)＝ct(T0)+b(T-T0)的线性相关来近似。如果需要，可以包括二次或更高阶项。替代地，可以由查找表表示温度相关性。一般地，可以通过下式来表示第二偏移的温度相关性：
ct＝ct(T0)+b(T-T0)+c(T-T0)2+…＝ct0+ct1(T) (等式8)
其中，ct0＝ct(T0)是与温度无关的常数，ct1(T)表示所有与温度相关的项，即，线性和可能的更高阶项。应当注意，温度T通常不是ToF相机周围的外部温度，而是相机的内部部件(如，(一个或多个)光发射器)的温度。该温度一般地取决于相机是否被加热，而与外部温度无关。
如果考虑第二偏移ct的温度相关性，则校准可以包括针对第一温度确定第二偏移ct，以及并且针对至少一个第二温度中的每一个，执行以下步骤(其对应于在单独的校准中确定第二偏移)。在第一步骤中，针对至少一个像素执行深度测量以获得原始深度值rm。在另一步骤中，针对至少一个像素确定地面真值rt。在确定原始深度值rm和地面真值rt的情况下，根据ct＝rt-g(rm-cm)计算用于相应的温度的第二偏移ct。在已经执行这些步骤时，确定与第二偏移ct的温度相关性有关的至少一个参数。每个温度通常产生用于第二偏移ct的不同值。这些值中的每一个可以简单地存储在查找表中，并且可以内插用于中间温度的值。替代地，温度相关性可以被建模为相对于温度的函数，例如为线性、二次或更高阶的函数(如等式8所表示的)。然后可以根据在不同温度确定的相应值来拟合该函数中用于常数、线性、二次和其他项的参数。
高度优选的是，上述步骤仅在一般校准中执行，即，针对多个相机仅执行一次。在这种情况下，针对第一温度确定第二偏移ct可以对应于如上所述的定义第二偏移。如果考虑第二偏移ct的温度相关性，则需要确定定义第二偏移ct所针对的第一温度，并且必须存储该第一温度以用于进一步参考。如果作为一般校准的一部分执行，则上述过程也可以被称为一般温度校准。
已经发现，假设某一生产系列或类型的所有相机的温度相关性仅相差恒定的偏移(例如ct(T0))是合理的近似。因此，如果考虑第二偏移ct的温度相关性，则在单独的校准中维持温度恒定并且单独校准的第二偏移用作ct(T0)(或者，如果单独的校准期间的温度与T0不同，则用于确定ct(T0))就足够了。无论哪种方式，即使具有与温度相关的第二偏移ct，单独的校准中的单个深度测量也足以确定第二偏移ct。这样极大地方便了校准过程，因为温度校准被分为一般温度校准和针对每个相机的单独的校准，一般温度校准可以针对多个温度执行并且针对每个相机生产系列或类型仅必须完成一次，单独的校准仅必须针对单个温度执行。关于等式8，可以说，与温度相关的部分ct1(T)(其也可以被称为与设备无关的部分)在一般温度校准期间仅确定一次，而与温度无关的部分ct0(其也可以被称为与设备相关的部分)在单独的校准中确定。
附图说明
从以下参考附图对非限制性实施例的详细描述中，本发明的进一步细节和优点将显而易见，在附图中：
图1是可以用于本发明的方法的TOF相机的示意图；以及
图2是示出本发明的方法的实施例的流程图。
具体实施方式
图1示意性地示出了适于使用调幅连续光进行深度测量的ToF相机1。它包括具有多个(例如，几千或几万)像素3的矩形传感器阵列2。此外，它包括存储器5和处理单元6。相机1被配置为使用一个或几个光发射器(为了简单起见，在此未示出光发射器)发射调幅连续光。光被相机1的视场中的3D对象或场景反射，并且反射光由传感器阵列2的像素3接收。以光的调制频率的四倍的频率对接收的光的振幅进行采样。换句话说，四个振幅A0...3(也被称为抽头)用于检索调制光的相位
Figure GDA0003654044260000111
因为
Figure GDA0003654044260000112
由于采样频率是基本调制频率的四倍，因此根据香农-奈奎斯特定理，对于具有高于二阶的谐波可能发生混叠。在针对像素3中的一个测量某一原始深度值rm时，这种混叠连同其他效应一般地导致与地面真值rt的偏差。根据现在将参考图2中的流程图描述的本发明的方法来校正这种偏差。
根据本发明的方法，原始深度值rm和地面真值rt之间的关系由下式给出rm＝cm+f(rt-ct)，(等式3)
在这种情况下，将第二函数f建模为：
f(r)＝a0+r+b1 cos(k4r+θ1)+b2 cos(k8r+θ2)+…(等式4)
可以如下重写(等式3)：
rt＝g(rm-cm)+ct (等式1)
使得可以从原始深度值rm计算地面真值rt。然而，在该校正可以应用在校正的深度测量500中之前，需要在校准100中确定第一函数g以及第一偏移和第二偏移cm，ct。校准100包括需要仅针对给定生产系列的一个相机1实行的一般校准200，相机1可以被称为“黄金样本”。该一般校准200产生第一函数g和第一偏移cm，它们可以用于该生产系列的所有相机1。此外，它产生具有与样本无关的部分ct1(T)的第二偏移ct，第二偏移ct可以用于该生产系列的所有相机1。
在第一步骤中，在210处，在传感器阵列2上定义包括多个像素3的感兴趣区域4。在该示例中，感兴趣区域4为矩形，并且相对于传感器阵列2居中，但其可以具有不同的形状和/或位置。感兴趣区域4仅表示传感器阵列2的一小部分，并且包括例如在10个与20个之间的像素。此外，定义第二偏移ct，即，任意地选择它。
在另一步骤中，在220处，执行多个不同的深度测量。例如，相机1可以被定位为与平坦表面相对，并且距离可以在连续深度测量之间增加。如果考虑第二偏移ct的温度相关性(通常是这种情况)，则温度必须维持恒定，直到已经执行深度测量。此外，必须确定温度，例如测量温度。在每个深度测量中，针对感兴趣区域4中的每个像素确定原始深度值rm(k)和地面真值rt(k)。原始深度值rm(k)由相机1确定，而地面真值rt(k)独立于相机1来测量和/或计算。在此和在下文中提及的所有量都可以存储在相机1的存储器5中，而所有必需的计算都可以由处理单元6执行。
在下一步骤中，在230处，定义若干与像素相关的第三函数fp，它们具有与第一函数f类似的形式并且包括对应的参数。使用先前确定的用于相应的像素3的原始深度值rm(k)和地面真值rt(k)，拟合单独的第三函数fp的参数以满足用于所有深度测量的条件。
rm(k)＝cm+fp(rt(k)-ct) (等式5)
这产生多个第三函数fp，即一个第三函数fp用于感兴趣区域4中的每个像素3，它们一般地是成对不同的。
在240处，针对感兴趣区域4中的所有像素3对单独的第三函数fp的参数求平均值，以便获得用于第二函数f的参数，第二函数f现在与像素无关。作为如在步骤230中定义和确定单独的第三函数fp的替代，可以基于所有像素(3)的原始深度值rm(k)和地面真值rt(k)直接确定第二函数f。在这种情况下，步骤240将废弃。
在250处的另一步骤中，针对传感器阵列2的每个像素3并且针对每个深度测量通过下式来计算偏移估计cm(k)
cm(k)＝rm(k)-f(rt(k)-ct) (等式6)
并且在260处，针对深度测量取所有偏移估计的平均值，以获得用于单独的像素3的第一偏移cm。
在第二函数f已知的情况下，可以确定其反函数，即第一函数g。这在270处通过计算用于第一函数g的查找表来完成。因此，在相机1的无歧义范围(例如，u＝1mm，k＝0，...，7500)中，利用选定的分辨率u定义用于地面真深度的一组理论值r′t(k)＝ku，k＝0，...，N-1。如果用于第二函数f的函数值r′t(k)也是相对于分辨率u定义的，即，r′m＝f(r′t)＝f(ku)＝lu，则反函数r′t＝g(r′m)可以表示为r′t＝ku＝g(r′m)＝g(lu)＝LUT(l)u。在简单迭代算法中确定查找表。
如果可以忽略第二偏移ct的温度相关性，则一般校准200以此步骤结束，并且该方法在360处继续，如点划线箭头所示。然而通常，第二偏移ct必须被视为与温度相关，并且一般校准200以与先前测量的温度不同的至少一个第二温度继续。第二偏移ct的温度相关性可以由具有若干参数的函数来表示。例如，温度相关性可以被假设为线性的，因此相应的函数具有两个参数。为了确定参数，对于第二偏移ct需要至少相同数量的值，其中之一已经在先前定义。一般地，第二偏移的温度相关性可以由下式表示：
ct＝ct(T0)+b(T-T0)+c(T-T0)2+…＝ct0+ct1(T) (等式8)
其中，ct0＝ct(T0)是与温度无关的常数，并且ct1(T)表示所有与温度相关的项，即，线性和可能的更高阶项。在290处，改变温度。在300处，执行另一深度测量，以获得用于至少一个像素3(优选地，多个像素3)的原始深度值rm。例如，这可以是感兴趣区域4中的所有像素3。同样地，在310处，针对每个像素3确定地面真值rt。在320处，针对每个像素3计算第二偏移ct。如果已经考虑了多于一个像素3，则在330处取所有像素3的平均值，以确定用于第二偏移ct的最终值。如果在340处判定必须针对另一第二温度确定第二偏移ct，则在290处再次改变温度，并且重复后续步骤。如果已经针对所有第二温度执行了测量，则在350处确定定义第二偏移ct的温度相关性的至少一个参数，并且一般校准200结束。
如上所述，一般校准200的结果不仅可以用于单个相机1，而且可以用于相同生产系列的所有相机1。如果需要校准不同的相机1(即，与一般校准200中使用的相机1不同)(这在360处检查)，则该方法继续单独的校准400。在该单独的校准400中，执行另一深度测量，以获得用于至少一个像素3(优选地，多个像素3)的原始深度值rm。例如，这可以是感兴趣区域4中的所有像素3。同样地，在420处，针对每个像素3确定地面真值rt。在430处，针对每个像素3计算第二偏移ct。如果已经考虑了多于一个像素3，则在440处取所有像素3的平均值，以确定用于第二偏移ct的最终值。
如通常情况，如果第二偏移ct不仅由与温度无关的常数ct0表示，而且由与温度相关的部分ct1(T)表示，则可以假设用于该相机的温度相关性与“黄金样本”的差异仅在于常数偏移，即，与温度无关的常数ct0是与设备相关的，并且一般地对于每个相机是不同的，但是与温度相关的部分ct1(T)是与设备无关的。因此，将针对单独的校准400的温度确定的用于第二偏移ct的值与对于“黄金样本”将有效的值进行比较并且将整个函数移位该差(如果有的话)就足够了。换句话说，仅与温度相关的函数的与温度无关的常数ct0必须被确定或“更新”，而与温度相关的部分ct1(T)(例如，线性或二次项)可以保持不变。因此，即使第二偏移ct是与温度相关的，也可以利用单个深度测量来实行单独的校准400。由于在单个深度测量期间温度不改变(以任何显著的方式)，因此在单独的校准400期间维持恒定温度不会出现问题。
在校准100已经完成时，可以开始实际的校正的深度测量500。在510处，获取用于传感器阵列2的所有像素3的原始深度值rm，并且在520处，根据等式1计算对应的地面真值rt。如果在530处需要新的校正的深度测量，则可以重复这种操作。如果不需要，则该方法结束。
附图标记列表
1 TOF相机
2 传感器阵列
3 像素
4 感兴趣区域
5 存储器
6 处理单元

Claims (15)

1.一种用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法，所述方法包括，针对所述相机的传感器阵列的多个像素中的每一个：
-利用所述相机获取用于所述像素的原始深度值rm；以及
-根据下式自动计算地面真值rt：
rt＝g(rm-cm)+ct,
以校正所述原始深度值rm的***深度误差，其中，cm是与像素相关的第一偏移，g是与像素无关的第一函数，并且ct是与像素无关的第二偏移。
2.根据权利要求1所述的方法，其特征在于，获取所述原始深度值rm包括以所述调幅连续光的调制频率的四倍的采样频率来确定四个振幅样本。
3.根据前述权利要求中任一项所述的方法，其特征在于，通过访问表示所述第一函数g的查找表来应用所述第一函数g。
4.根据权利要求3所述的方法，其特征在于，通过应用第二函数f来计算所述查找表，所述第二函数f是所述第一函数g的反函数。
5.根据权利要求4所述的方法，其特征在于，所述第二函数f包括相对于所述调制频率的线性项、三阶谐波项和五阶谐波项。
6.根据权利要求1或2所述的方法，其特征在于，在所述校正的深度测量之前，针对所述相机执行校准，其中，确定所述第一偏移cm、所述第一函数g和所述第二偏移ct中的至少一个。
7.根据权利要求6所述的方法，其特征在于，所述校准包括一般校准，其中，针对多个相机，确定所述第一偏移cm和所述第一函数g中的至少一个仅一次。
8.根据权利要求6所述的方法，其特征在于，通过访问表示所述第一函数g的查找表来应用所述第一函数g，所述查找表是通过应用第二函数f来计算的，所述第二函数f是所述第一函数g的反函数，并且所述校准包括通过以下步骤来确定所述第二函数f：
-利用所述相机执行多个不同的深度测量，每个深度测量提供用于感兴趣区域(4)中的多个像素中的每个像素的原始深度值rm(k)，其中，k＝1,…,N是所述深度测量的数量；
-针对每个深度测量并且针对所述感兴趣区域中的每个像素，确定地面真值rt(k)：
-定义所述第二偏移ct；
-针对所述感兴趣区域中的每个像素，定义具有至少一个参数的与像素相关的第三函数fp，并且将所述至少一个参数拟合到条件rm(k)＝cm+fp(rt(k)-ct)；以及
-基于所述感兴趣区域中的多个像素的所述第三函数fp来确定所述第二函数f。
9.根据权利要求8所述的方法，其特征在于，所述感兴趣区域对应于所述传感器阵列的一部分。
10.根据权利要求9所述的方法，其特征在于，通过针对所述感兴趣区域中的多个像素对所述第三函数fp的所述至少一个参数求平均值来确定所述第二函数f。
11.根据权利要求9所述的方法，其特征在于，所述校准包括：针对每个深度测量和所述感兴趣区域中的每个像素，根据cm(k)＝rm-f(rt(k)-ct)来计算用于所述第一偏移cm的偏移估计cm(k)。
12.根据权利要求1或2所述的方法，其特征在于，通过针对多个深度测量对所述偏移估计cm(k)求平均值来确定所述第一偏移cm。
13.根据权利要求6所述的方法，其特征在于，所述校准包括使用在利用一个相机的一般校准中确定的所述第一函数g和所述第一偏移cm，以及通过以下步骤来针对不同的相机执行单独的校准：
-针对至少一个像素执行深度测量以获得原始深度值rm；
-针对所述至少一个像素确定地面真值rt；以及
-根据ct＝rt-g(rm-cm)来计算所述第二偏移ct。
14.根据权利要求6所述的方法，其特征在于，所述第二偏移ct与温度相关。
15.根据权利要求14所述的方法，其特征在于，所述校准包括针对第一温度确定所述第二偏移ct，并且针对至少一个第二温度中的每一个：
-针对至少一个像素执行深度测量以获得原始深度值rm；
-针对所述至少一个像素确定地面真值rt；以及
-根据ct＝rt-g(rm-cm)针对相应的第二温度计算所述第二偏移ct；
以及确定与所述第二偏移ct的温度相关性有关的至少一个参数。
CN201980080091.5A 2018-12-04 2019-12-03 用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法 Active CN113167899B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
LULU101024 2018-12-04
LU101024A LU101024B1 (en) 2018-12-04 2018-12-04 Method for Corrected Depth Measurement with a Time-Of-Flight Camera Using Amplitude-Modulated Continuous Light
LU101120A LU101120B1 (en) 2019-02-12 2019-02-12 Method for Corrected Depth Measurement with a Time-Of-Flight Camera Using Amplitude-Modulated Coninuous Light
LULU101120 2019-02-12
PCT/EP2019/083538 WO2020115068A1 (en) 2018-12-04 2019-12-03 Method for corrected depth measurement with a time-of-flight camera using amplitude-modulated continuous light

Publications (2)

Publication Number Publication Date
CN113167899A CN113167899A (zh) 2021-07-23
CN113167899B true CN113167899B (zh) 2022-08-16

Family

ID=68733077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980080091.5A Active CN113167899B (zh) 2018-12-04 2019-12-03 用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法

Country Status (4)

Country Link
US (1) US11263765B2 (zh)
CN (1) CN113167899B (zh)
DE (1) DE112019006048T5 (zh)
WO (1) WO2020115068A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651503B2 (en) * 2020-06-16 2023-05-16 Microsoft Technology Licensing, Llc Determining depth in a depth image
CN114092570B (zh) * 2022-01-21 2022-05-10 杭州蓝芯科技有限公司 一种深度相机温度标定方法及装置、电子设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015156684A2 (en) * 2014-04-08 2015-10-15 University Of Waikato Signal harmonic error cancellation method and apparatus
KR20160084806A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 광 집적 동안에 발생하는 광 변조 변화를 위한 전자-롤링-셔터로 비행시간 삼차원 카메라로부터의 깊이 이미지의 수정

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989813B2 (en) * 2005-04-06 2015-03-24 Qwest Communications International Inc. Handset registration in a dual-mode environment
EP1777747B1 (en) * 2005-10-19 2008-03-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
US7528951B2 (en) * 2006-03-23 2009-05-05 Hach Company Optical design of a measurement system having multiple sensor or multiple light source paths
NZ562739A (en) * 2007-10-19 2010-04-30 Waikatolink Ltd Signal simulation apparatus and method
EP2521926B1 (en) * 2010-01-06 2020-07-29 Heptagon Micro Optics Pte. Ltd. Demodulation sensor with separate pixel and storage arrays
US8587771B2 (en) * 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US9857469B2 (en) * 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
EP2729826B1 (en) * 2012-01-10 2017-04-26 Softkinetic Sensors N.V. Improvements in or relating to the processing of time-of-flight signals
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US11002854B2 (en) * 2013-03-13 2021-05-11 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US10712432B2 (en) * 2013-12-11 2020-07-14 Ams Sensors Singapore Pte. Ltd. Time-of-light-based systems using reduced illumination duty cycles
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
GB2539495B (en) * 2015-06-19 2017-08-23 Ace Aquatec Ltd Improvements relating to time-of-flight cameras
US11002856B2 (en) * 2015-08-07 2021-05-11 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
US10416296B2 (en) * 2016-10-19 2019-09-17 Infineon Technologies Ag 3DI sensor depth calibration concept using difference frequency approach
US10557921B2 (en) * 2017-01-23 2020-02-11 Microsoft Technology Licensing, Llc Active brightness-based strategy for invalidating pixels in time-of-flight depth-sensing
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
US10878285B2 (en) * 2018-04-12 2020-12-29 Seiko Epson Corporation Methods and systems for shape based training for an object detection algorithm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015156684A2 (en) * 2014-04-08 2015-10-15 University Of Waikato Signal harmonic error cancellation method and apparatus
KR20160084806A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 광 집적 동안에 발생하는 광 변조 변화를 위한 전자-롤링-셔터로 비행시간 삼차원 카메라로부터의 깊이 이미지의 수정

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Improved measurement linearity and precision for AMCW time-of-flight range imaging cameras";Payne Andrew D et al.;《Applied Optics》;20100801;第49卷(第23期);全文 *
ToF深度相机测量误差校正模型;王乐等;《***仿真学报》;20171008(第10期);全文 *

Also Published As

Publication number Publication date
US20210358148A1 (en) 2021-11-18
WO2020115068A1 (en) 2020-06-11
US11263765B2 (en) 2022-03-01
CN113167899A (zh) 2021-07-23
DE112019006048T5 (de) 2021-09-30

Similar Documents

Publication Publication Date Title
US10416296B2 (en) 3DI sensor depth calibration concept using difference frequency approach
CN113167899B (zh) 用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法
CN102279393B (zh) 一种基于多光谱传感器对高光谱传感器交叉辐射定标方法
CN111508011A (zh) 一种飞行时间相机的深度数据校准方法
US20210173054A1 (en) Optical range calculation apparatus and method of range calculation
JP2021047201A (ja) スパース転送セットを使用する較正モデルの転送
KR101150111B1 (ko) 디지털 이미지의 자동화된 보정을 위한 시스템 및 방법
US7391925B2 (en) System and method for estimating noise using measurement based parametric fitting non-uniformity correction
US9818207B2 (en) Method and medical imaging system for compensating for image artifacts in medical imaging
US11215425B2 (en) Method for determining characteristic-curve correction factors of a matrix detector that images in the infrared spectral range, method for controlling a guided missile and guided missile
US10789740B2 (en) Method for MR image reconstruction and MR system
CA2774337C (en) Systems and methods for maintaining the precision of mass measurement
CN112858178A (zh) 一种航空热红外高光谱影像温度和发射率反演方法
LU101120B1 (en) Method for Corrected Depth Measurement with a Time-Of-Flight Camera Using Amplitude-Modulated Coninuous Light
JP2019100969A (ja) 距離計測装置、距離計測方法および距離計測プログラム
US20200394816A1 (en) High accuracy extrinsic calibration procedure for cameras and range sensors
LU101024B1 (en) Method for Corrected Depth Measurement with a Time-Of-Flight Camera Using Amplitude-Modulated Continuous Light
CN111624580A (zh) 飞行时间模组的校正方法、校正装置和校正***
US10422846B2 (en) Method for calibrating a radio frequency test instrument and radio frequency test instrument
RU2702849C1 (ru) Способ радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства
CN115951391A (zh) 闪烁脉冲的处理方法、装置、设备及存储介质
CN114897959A (zh) 基于光场多视角约束的相位展开方法及相关组件
KR101893770B1 (ko) 적외선 반사도에 따른 깊이 오차를 보정하는 3d 카메라 및 그 방법
HajiRassouliha et al. The effect of camera settings on image noise and accuracy of subpixel image registration
Ladstädter et al. Calibrating the UltraCam aerial camera systems, an update

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant