CN112034485A - 利用飞行时间相机的反射率感测 - Google Patents

利用飞行时间相机的反射率感测 Download PDF

Info

Publication number
CN112034485A
CN112034485A CN202010414786.7A CN202010414786A CN112034485A CN 112034485 A CN112034485 A CN 112034485A CN 202010414786 A CN202010414786 A CN 202010414786A CN 112034485 A CN112034485 A CN 112034485A
Authority
CN
China
Prior art keywords
pixel
pixels
reflectance
distance
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010414786.7A
Other languages
English (en)
Inventor
H·波兰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN112034485A publication Critical patent/CN112034485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开的实施例涉及利用飞行时间相机的反射率感测。用于使用飞行时间(ToF)测量设备获得反射率测量值的技术。一种示例方法包括：使用ToF传感器中的一个或多个像素来获得距离测量值；使用一个或多个像素来获得与距离测量值相对应的强度测量值；以及基于距离测量值、强度测量值和反射率校准因子来计算反射率值。在一些实施例中，校准距离如下来获得：通过使用ToF传感器中的参考像素来测量到校准表面的参考距离，并从所测量的参考距离获得校准距离。在一些实施例中，反射率校准因子如下来获得：通过使用参考像素获得与参考距离相对应的参考强度，并作为参考强度和一个或多个像素的视角的函数来计算反射率校准因子。

Description

利用飞行时间相机的反射率感测
技术领域
本公开总体上涉及飞行时间(ToF)测量，并且更具体地涉及用于使用ToF传感器来获得反射率测量的技术。
背景技术
在光学感测应用中，深度测量，即，对到图像传感器的视野中的一个或多个对象的各个特征的距离测量，可以作为所谓的飞行时间(ToF)测量来执行，该测量是使用光速和图像/像素传感器来确定的距离测量。到感兴趣对象的距离通常每像素来进行计算，并且一旦经过计算，该距离可以用于深度检测、姿势识别、对象检测等。每像素的距离被组合来创建深度图，该深度图提供三维图像。ToF测量技术越来越多地出现在便携式电子设备(例如，蜂窝电话和“智能”设备)中。
许多常规的TOF测量方案需要多次顺序的曝光，其也被称为复本。每次曝光需要利用相对于参考信号处于相应相位处的调制信号，来对从光源生成的光进行振幅调制，该参考信号被应用到对从一个或多个感兴趣对象反射的光进行解调制的像素，对于不同的曝光，相位是不同的。例如，一个方案需要四次单独的曝光，其中调制信号的相对于参考信号的相位分别处于0°、90°、180°和270°。来自四个曝光的测量信息被收集并且进行比较，以确定深度图。对于具有扩展的明确范围的高精度测量，甚至可以执行更多的曝光，例如，多达九次单独的原始测量。该常规方案以及若干变型和支持硬件在于2018年10月31日提交的题为“Image Sensor with Interleaved Hold for Single-Readout Depth Measurement”的共同待决的美国专利申请序列号16/176,817中详细描述，出于提供本公开的上下文的目的,其全部内容通过引用并入本文。
发明内容
本文描述的是用于测量针对飞行时间(ToF)传感器的每个像素的一个或多个所成像的对象的反射率的技术。在该上下文中，反射率是对象或材料表面在反射辐射能量中的效率，并且可以被理解为照射在对象或材料表面的光被反射回ToF传感器的百分比。使用下面描述的校准和测量技术，ToF传感器可以被用来产生反射率图以及深度图。例如，这可以用于对所成像的材料进行分类，和/或提供用于对象和面部识别的附加数据。反射率数据还可以用于例如检测皮肤颜色或检测人皮肤上的汗水。
下面详细描述的实施例包括如在飞行时间(ToF)测量设备中实现的用于反射率测量的示例方法。该示例方法包括以下步骤：使用ToF传感器中的一个或多个像素来获得距离测量值；以及使用相同的一个或多个像素，获得与距离测量值相对应的强度测量值。该方法还包括基于距离测量值、强度测量值和反射率校准因子来计算针对一个或多个像素的反射率值。这些步骤可以使用对相应的像素或相应的像素组特定的反射率校准因子，而针对若干(或许多)像素或像素组中的每个像素或像素组来执行。
在一些实施例中，计算反射率值包括：将强度测量值乘以反射率校准因子，并且乘以与距离测量值的平方成比例的因子。在一些实施例中，例如，针对每个像素i,j的反射率值根据Ri，j＝ci，jIi，j(di，j/dcalib)2计算，其中Ri，j是针对像素i,j的所计算的反射率值；ci，j是针对像素i,j的反射率校准因子；Ii，j是针对像素i,j的所测量的强度；di，j是针对像素i,j的距离测量值；并且dcalib是反射率校准距离。
在一些实施例中，ToF测量设备通过如下来获得校准距离：通过例如使用ToF传感器中的参考像素来测量到校准表面的参考距离，并且从所测量的参考距离获得校准距离，该参考像素具有与ToF传感器的光学轴对准的视角。在一些实施例中，ToF测量设备作为像素或像素组的视角以及参考反射率的函数、或作为由像素或像素组测量的到校准表面的距离以及参考反射率的函数、或作为上述两者和参考反射率的函数，来计算针对每个相应的像素或相应的像素组的反射率校准因子。
例如，在一些实施例中，对于每个像素或每个像素组，反射率校准因子通过以下方式来获得：针对像素或像素组，测量来自校准表面的反射强度；基于像素或像素组相对于ToF传感器的光学轴的视角，对所测量的强度进行缩放；以及根据经缩放的所测量的强度和参考反射率，计算针对像素或像素组的反射率校准因子。在这些实施例的一些实施例中，ToF测量设备测量针对每个像素或每个像素组的到校准表面的距离，并根据
Figure BDA0002494559020000031
来计算针对每个像素或每个像素组的经缩放的所测量的强度，其中：Li，j是针对像素i,j的经缩放的所测量的强度；Ii，j是针对像素i,j的所测量的强度；dci，j是针对像素i,j的所测量的到校准表面的距离；βi，j是像素i,j相对于ToF传感器光学轴的视角；并且dcalib是校准距离。
根据本文所公开的技术计算的反射率值可以例如用于将二维图像中的像素值或像素值组标准化。这可以用于机器学习目的，例如允许将强度值映射到固定的缩放度，该固定的缩放度独立于距离。作为另一示例，根据这些技术计算的反射率值可以用于形成反射率图像，或者形成三维点云，该三维点云包括距离测量值和对应的反射率值。
在附图中也图示并在下面描述了与以上概述和以下详述的方法相对应的装置。
附图说明
图1是图示了根据本文描述的实施例中的一些实施例的用于飞行时间(ToF)测量的***的图。
图2图示了一个示例光子混合器件(PMD)。
图3是图示了根据飞行时间(TOF)技术的相位测量的原理的图。
图4图示了根据本文描述的实施例中的一些实施例的示例校准过程的原理。
图5是图示了根据一些实施例的用于使用ToF传感器来测量反射率的示例方法的流程图。
图6是图示了根据一些实施例的被配置用于执行反射率测量的示例ToF测量设备的组件的框图。
具体实施方式
现在将参考附图来描述本发明，其中贯穿全文，相同的附图标记用于指代相同的元素，并且其中所图示的结构和设备不一定按比例绘制。在本公开中，术语“图像”和“图像传感器”不限于涉及可见光的图像或传感器，而是涵盖了可见光和其他电磁辐射的使用。因此，本文所使用的术语“光”广义地意指和指代可见光、以及红外辐射和紫外辐射。
图1图示了众所周知的连续波(CW)飞行时间(TOF)测量的基本原理。诸如发光二极管(LED)或垂直腔表面发射激光器(VCSEL)的光源110利用电信号(例如，例如300MHz的射频正弦)来进行调制，使得光源110朝向目标场景120发射经振幅调制的光学信号。光信号以光速c行进，光信号从场景120中的一个或多个对象反射，并返回到达TOF传感器130中的像素阵列135，其具有去往目标场景120和从其返回的飞行时间，从而在像素阵列135处所接收的光学信号上相对于原始传输的光学信号施加相移
Figure BDA0002494559020000041
调制信号137用于对所发射的光或其相移形式进行调制，调制信号137也作为参考信号被提供给像素阵列135中的像素，以与叠加在经反射的光学信号上的调制信号相关——实际上，经反射的光学信号由像素阵列135中的每个像素进行解调制。
虽然光感测像素的结构和设计可以变化，但是在某些情况下，像素阵列135中的像素中的每个像素可以是光子混合器件或PMD。图2图示了示例PMD的基本结构，该示例PMD包括读出二极管A和B以及调制门A和B。参考信号跨调制门A和B差分地被施加，从而创建跨p衬底的电势梯度，而入射光则在光电门/二极管处接收。差分传感器信号跨读出二极管A和B而生成。来自像素的传感器信号可以在一个时间段内进行积分，以确定相位测量信息。
在PMD的读取-A(Read-A)和读取-B(Read-B)节点处的电压差对应于如下相关性：由所图示设备中的光敏二极管结构检测的经调制光信号参考信号之间的相关性，该参考信号被施加在设备的Mod-A和Mod-B节点之间。因此，如以下进一步详细讨论的，PMD(和其他光敏像素结构)对从目标场景120反射的经调制的光学信号进行解调制，从而产生像素信号值(在这种情况下，Read-A与Read-B处的电压差)，该像素信号值指示经反射的光学信号行进的距离。
尽管调制信号可以采取多种形式中的任一形式，但是在正弦信号作为调制信号的情况下，最容易理解该相关性/解调制背后的原理。如果其中调制振幅为“a”且相移为
Figure BDA0002494559020000051
调制信号g(t)和所接收的信号s(t)给出为：
m(t)＝cos(ωt)，并且
Figure BDA0002494559020000052
则所接收的信号与参考信号的相关性给出：
Figure BDA0002494559020000053
其作为两个信号之间的相位差
Figure BDA0002494559020000054
的函数。应当理解的是，利用周期性调制信号，该相关可以在延长的时段(例如，调制信号的若干周期)中执行，以改进所得到的测量值的信噪比。
所发射的光学信号与所接收的该光学信号的反射之间的相位差可以通过N-相移技术来提取，该相位差与该光学信号行进的距离成比例。这需要在N个不同点对相关性函数进行采样，其例如通过使用参考信号N个不同相移，来相对于调制信号g(t)的执行相关来进行。需要至少两次测量来计算出该相移，并且因此确定所行进的距离。这通常使用在0度、90度、180度和270度的四个不同相移来完成，因为这样可以允许简单地消除相关性结果中的***偏移量。这在图3中可以看到，图3示出了分别在0度和90度处的相关性A0和A1如何与具有“理想”分量和***分量的第一相位矢量相对应，“理想”分量对应于由光学信号行进的实际差，并且***分量反映测量值和读数中的***误差。同样，分别在180度和270度处的相关性A2和A3与指向相反方向的第二相位矢量相对应，第二相位矢量具有完全相反的“理想”分量和相同的***分量。在图中，理想分量由从原点向圆延伸的矢量表示，而***误差分量由较小的矢量表示。然后可以按以下方式计算实际相位
Figure BDA0002494559020000061
Figure BDA0002494559020000062
(将理解的是，仅当A2-A0大于零时，以上表达式才有效。众所周知的“atan2(y,x)”函数可以被用来提供针对所有情况(包括A2-A0小于零的情况)的到相位矢量的正确转换。)
根据该相位，到目标场景120的距离或“深度”可以如下计算：
Figure BDA0002494559020000063
其中fmod是调制信号的频率。应当理解，由于“相位缠绕”(phase wraping)，因为不可能从单个距离计算中辨别出所行进的距离是小于调制波形的单个波长还是多个波长，该距离计算具有模糊的结果。解决该模糊性的各种技术是众所周知的，例如，通过并入从所反射的光学信号获得的振幅信息，和/或利用不同的调制频率重复测量，但是对这些技术的详细讨论对于全面理解该本公开的技术不是必须的，并且因此超出了本公开的范围。
除了上面描述的距离/深度测量以外，针对ToF相机的、或更一般地ToF传感器的像素中每个像素的强度测量值还可以从上面描述相关性中获得。更具体地，光强度是自相关性函数的振幅。对于上面讨论的四相测量，光强度可以计算为：
I＝sqrt((A1-A3)2-(A2-A0)2)/2。
这些强度测量值继而可以用来测量从对象反射的光量。由于被用来执行距离测量的经调制的照射信号，其他光源(例如，日光或背景照明)不会影响这些强度测量。相反，在针对给定像素的强度测量上的外部影响是由像素进行成像的对象或材料的反射率、以及从ToF照射单元到所成像的对象或材料再返回到像素的距离。在强度测量上的内部影响包括：在所成像的对象或材料的方向上的照射强度、像素的灵敏度以及测量时间。
本文描述的是用于补偿到对象的距离的影响的技术，使得针对所成像的对象或材料的反射率值可以从针对像素的强度测量而获得。这些技术还可以被用来补偿跨视场的照射强度的变化、以及像素灵敏度的变化。
从表面的反射率取决于表面角度α，表面角度α是在由给定像素所查看到的点处的对象的表面，与在该点处从对象向像素延伸的射线之间的角度。(将理解的是，给定像素具有以圆锥形状的视区，并且该圆锥与所成像的对象的相交创建视区域，而非点。因此，本文中提及的由给定像素所查看到的对象上的“点”，应当被理解为指代该区域的中心处的点或在其附近的点)。通过本文描述的技术获得的反射率测量值通常将指示针对距离而校正过的、由对象或材料反射回朝向感兴趣的像素的光的比例。如果表面角度α可以通过如下来计算：例如通过评估像素及其周围若干像素的距离测量值、或者通过将对象的三维(3D)模型拟合到从ToF传感器获得的ToF距离数据，则也可以针对每个像素而导出针对α＝0的反射率值R，即，如果该点是直接(即，α＝0)而非以一角度来观察，在对象或材料上给定点处将观察到的反射率。该反射率值可以表示为R(α＝0)，其可以被用来导出材料性质(例如，皮肤颜色、皮肤汗水)或材料的类型。
在任一情况中，即，是仅针对距离、或是仅针对R(α＝0)进行补偿的反射率值被获得，反射率均提供了用于感测对象的表示的独特方法。它为对象识别应用(例如，面部识别和姿势检测)提供了附加信息。在这些应用中的许多应用中，由于对象分类模型无论如何都可以从许多不同的角度而学习，所以对角度α的依赖性无关紧要。
用以能够测量反射率的第一步骤是相机校准。如上面所提出的，ToF传感器中的每个像素可以具有灵敏度中的变化。此外，照射(多个)感兴趣对象或材料的照射单元可能未产生均匀的光分布。而且，需要获得参考以具有针对所感测的反射率的缩放度(scale)。
一种用以校准的过程是获取平面的、漫射的校准表面的单个强度和深度图像，该校准表面被布置以使得ToF传感器的光学轴垂直于该校准表面。这可以例如是在制造期间对每个ToF相机进行校准时完成的。备选地，这可以针对特定设计的ToF相机而被执行，其中校准结果被用于相似相机。
该校准过程的一个步骤是将针对每个像素i,j的强度测量值Ii，j变换到虚拟球体S，强度测量值Ii，j从对平面的校准表面进行成像而获得，虚拟球体S的中心在ToF传感器的光学中心处。将理解的是，强度测量、深度测量等可以在逐像素的基础上执行，或者针对一小组相邻像素来执行。为简单起见，以下讨论将参考以矩形阵列布置的单独像素，使得它们可以方便地使用索引i和j来进行索引。然而，应当理解的是，在本讨论中，相邻像素组通常可以是针对每个像素的代替，并且这些像素或像素组可以以除矩形阵列之外的配置来布置。因此，对“像素i,j”的参考可以理解为指代ToF传感器中的任意像素或任意像素组。
为了将每个强度测量值Ii，j变换到虚拟球体，计算将从球体反射的强度，每个强度测量值Ii，j从校准表面的成像而获得。由于球体的中心位于相机的光学中心处，并且由于假设校准表面和虚拟球体具有均匀的反射率，所以当在假设均匀照射的情况下感测虚拟球体时，则完美的像素应当产生相同的值。当然，像素灵敏度和照射将变化。因此，校准过程的第二步骤是建立针对每个像素的校正因子或反射率校准因子ci，jr。
将该值变换到球体上需要针对平面的校准表面相对于虚拟球体的不同定向的补偿，并且需要针对从ToF到校准表面不同距离、以及从ToF传感器到虚拟球体的不同距离的补偿。这可以在图4中看到，图4图示了ToF传感器110，ToF传感器110被布置为其光学轴直接指向平面的、漫射的校准表面120。为简单起见，假设照射源在ToF传感器110的光学焦点处，照射源朝向校准表面120发射经调制的光；对于ToF传感器110的像素做出相同的假设。在图4中，从ToF传感器110的光学焦点到平面的校准表面120的距离表示为dcalib，并且是虚拟球体130的半径，虚拟球体130具有在ToF传感器110的光学焦点处的中心，并且虚拟球体130接触校准表面120。在一些实施例中，ToF传感器110上的至少一个像素可以直接沿着ToF传感器的光学轴而查看校准表面120——该像素可以被视为“参考像素”。其他像素将具有相对于光学轴的各种视角βi，j。在图4中，从其他像素中的每个像素到校准表面120的距离表示为di，j。给定上述假设，可以示出的是，如果校准表面120和ToF传感器110被定向为使得传感器的光学轴完全垂直于校准表面120，则：
di，j＝dcalib/cosβi，j.
因此，如果已知每个像素的视角βi，j、并且已知校准设置的精确几何形状，则可以计算距离di，j。备选地，当然，这些距离也可以使用ToF传感器110的距离测量能力而简单地测量。
使用图4中所示的校准设置，ToF传感器110中的像素中每个像素可以测量如下光的强度Ii，j，该光由校准表面从由该像素所查看到的区域反射回朝向ToF传感器110。该强度Li，j可以被变换为“虚拟”强度测量值，该虚拟强度测量值表示在平面的校准表面120具有虚拟球体130的形状的情况下，将可以观察到的强度——换言之，所测量的强度Li，j可以被转变到虚拟球体130。这需要两次补偿。首先，距离之差，即，从di，j到dcalib可以通过应用平方反比定律来解决。第二，在给定校准表面120是漫射的假设下，则不同的角度，即，从βi，j到0可以利用兰伯特余弦定律来解决。(可以示出的是，校准表面120的表面法线矢量n1和n2与虚拟球体130之间的角度β与针对感兴趣像素的视角βi，j(即，ToF传感器的光学轴与像素视野中心之间的角度)相同。)结果是虚拟球体130上的“虚拟”强度可以表达为：
Figure BDA0002494559020000091
给定以上讨论的假设，即，其可以备选地表达为：
Figure BDA0002494559020000101
同样，在这些相同的假设下，虚拟强度可以根据以下公式仅从距离而获得：
Figure BDA0002494559020000102
注意，ToF传感器的光学轴与图4中的距离dcalib相对应，ToF传感器的光学轴必须垂直于校准表面120，以用于使该后一个表达式准确。
在以上表达式中，假设漫射材料的情况，则不同的角度使用兰伯特余弦定律进行补偿，ToF传感器110以该不同的角度来查看校准表面120。备选地，可以使用自定义功能，该自定义功能可以在参考材料的数据表中提供。如图4中所看到的，该角度β可以从表面的法线矢量来计算。
注意的是，在以上表达式中，虚拟强度Li，j是相对于具有半径dcalib的虚拟球体130来计算的，半径dcalib等于从ToF传感器110到校准表面120的距离。虚拟强度相对于距离dcalib来限定。应当理解的是，虚拟强度可以使用平方反比定律，针对任何任意半径的虚拟球体而计算，而不管校准设置的大小。因此，例如，虚拟强度可以转变到具有“1”的半径的虚拟球体，以简化后续计算。如果从ToF传感器110到校准表面120的距离被表示为daxis，而距离daxis应理解为表示虚拟球体的半径的任意校准距离，该虚拟球体不需要接触校准表面120，则在具有半径dcalib的虚拟球体上的虚拟强度为：
Figure BDA0002494559020000103
其简化为等式(1a)：
Figure BDA0002494559020000104
因此可以看出的是，dcalib，强度所投影到的虚拟球体的半径，可以与从ToF传感器110到校准表面120的距离相同，但二者不一定需要相同。
如果在ToF传感器110处的来自光源的照射是完全均匀，并且如果ToF传感器中的像素具有完全均匀的灵敏度，则虚拟强度Li，j可以预期是相同的。当然，这些假设二者可能均不为真。为了解决这些不规则性并且将强度值转变为反射率值，参考校准因子ci，j可以基于参考反射率Rref来计算：
Figure BDA0002494559020000111
为了获得“真实”反射率值，Rref应是在β＝0处，校准表面120的反射率的实际值(在这种情况下，如下所讨论的所计算的反射率可以期望为落在0到1的范围内)。然而，将理解的是，该参考反射率Rref可以被设置为任何任意值，以将强度测量值变换到所期望的缩放度。
当针对给定像素i,j的校准因子已经被获得时，从该像素获得的随后获得的强度测量值可以被转换为反射率值。换言之，将针对像素i,j的后续强度测量值乘以该校准因子，并且使用平方反比定律来校正到校准距离，将得出针对像素i,j的反射率值，其表示从所成像的对象或材料反射回到像素的光的百分比：
Figure BDA0002494559020000112
应当理解的是，项
Figure BDA0002494559020000113
是常数，其取决于校准设置相关，而不是所成像的对象的任何特性。因此，如果“真实”反射率值不是必须的，则该项可以被忽略，其中反射率值是通过如下来获得：将强度测量值Ii，j乘以反射率校准因子ci，j，并且乘以与距离测量值di，j的平方成正比的任何因子。这将产生与“真实”反射率成比例的反射率值；对反射率校准因子的适当选择允许将结果标准化为任何期望的缩放度。
因此，可以看出的是，到实例的对象或材料的距离和强度测量值以及校准因子可以被使用，以获得针对所成像的对象的所计算的反射率值。如在正常深度感测中，ToF传感器捕获深度图像和振幅图像。深度图像可能需要捕获例如4个或8个原始图像或曝光。振幅/强度图像可以从这些相同的4或8个原始图像而被计算。像素阵列到正进行成像的表面的距离对于强度是不变的。但是，照射源和该表面之间的距离需要进行补偿。这使用如等式(3)中所看到的平方反比定律来完成。反射率校准因子用于将强度测量值转换为反射率值，以及校正照射和像素灵敏度中的不均匀性。
所计算的反射率值可以在多个图像处理任务中的任何任务中使用。例如，所计算的反射率值可以用于将二维图像中的对应的像素值或像素值组标准化。所计算的反射率值可以用于形成反射率图像或反射率图，或者用作针对点云的每个点的附加属性，使得点云包括距离测量值和对应的反射率值。反射率值可以使用ToF距离测量值以用于映射，而与RGB图像相关联。反射率值可以与深度进行组合，并且被用作针对增强的对象识别的输入。反射率值可以例如用于检测人体皮肤上的汗水——所检测的汗水可以例如被用作到测谎仪算法的输入，或用于调整加热单元或空气调节单元。感兴趣的表面可以使用本文所述的技术，以不同角度来感测，以便对表面的双向反射率分布函数(BRDF)进行采样。因为该功能允许渲染***逼真的阴影，故该功能对于3D扫描是有价值的。ToF***可能还具有多个不同的照射单元(例如，红色、蓝色和绿色)。使用本文所述的技术，在这些照射单元中的每一项均处于活动的情况下拍摄图像，允许独立于背景照明来测量对象的真彩色。再次，如果将所扫描的场景放置在虚拟环境中，这对于3D扫描可以是有价值的。
上面描述了使用平面的校准表面的校准过程，该过程包括强度值到虚拟球体的变换，该强度值通过对该表面进行成像而获得。代替地，实际球体(或球体的一部分)可以被使用。此外，无论是平面的还是球体的校准表面被使用，校准都可以针对ToF传感器中的每个像素或ToF传感器中的每个像素组单独地执行，但不一定需要如此。校准例如可以利用如下方式而针对像素的子集或像素组来执行：利用如此获得的校准因子然后被内插到所校准的像素之间的那些像素或像素组。以这种方式，不论每个像素或每个像素组是否被单独地校准，像素特定的校准因子均可以针对每个像素或每个像素组确定。例如，在一些实例中，校准表面可以包括反射部分和非反射(即，黑色)部分的图案。如果该图案的精确尺寸对于校准单元是已知的，则校准表面相对于ToF传感器的对准可以被评估，并且对该校准过程的调整相应地做出。尽管查看非反射部分的像素的反射率校准不可以直接地进行校准，但是查看反射部分的附近像素可以，并且来自那些附近像素的反射率校准因子可以内插或外推到查看校准表面的非反射部分的像素。
应当进一步理解的是，如果特定型号的ToF相机或其他ToF测量设备具有良好受控的制造特性，则这可能是不需要对每个单元都执行校准的情况。因此，例如，校准可以使用参***来执行，其中从该参***获得的校准因子被预加载到类似设备中。该校准可以例如使用来自制造线的样本而不时地更新，以解决制造过程中的漂移。当然，因为某些应用可能对相对不准确的测量值是较容忍的，所以使用该土建的可行性、以及可能的更新的频率完全取决于针对反射率测量值的期望的精度。
鉴于以上提供的详细讨论和示例，将理解的是，图5图示了根据本文描述的技术的一个示例方法，其用于校准和使用ToF传感器进行反射率测量。如上所述，校准可以不针对给定ToF传感器的所有像素来执行，甚至根本不针对给定传感器来执行。因此，图5所示的过程可以被划分为校准部分和反射率测量部分，将理解的是，任何给定设备或使用实例可以涉及仅一个部分或另一部分或两者。
所图示方法以如框510-540所示出的校准过程而开始。如框510所示，该过程开始以测量针对多个像素的每一项或像素组中的每一项的、来自校准表面的反射的强度。如框520所示，该过程可以进一步包括：测量针对每个像素或每个像素组的到校准表面的距离，应当理解的是，距离测量和强度测量可以同时执行，例如，在距离和强度值二者均从校准表面的多次曝光或多个相位图像而获得情况下。
如框530所示，该校准过程继续以将针对每个像素或每个像素组的所测量的强度进行缩放。这样做是将所测量的强度投影到例如虚拟球体上，并且因此针对距离和角度进行校正。这可以作为针对相应的像素或相应的像素组的视角的函数、作为针对一个或多个像素的所测量的到校准表面的距离的函数、或作为上述两者的函数来执行。这种缩放操作的示例在上面的等式(1a)、(1b)和(1c)中示出。
如框540所示，该校准过程继续以根据参考反射率和针对像素或像素组的经缩放的所测量的强度，来计算针对每个像素或每个像素组的反射率校准因子。如上所讨论的，在一些实施例中，该参考反射率可以表示在零视角处的校准表面的实际反射率，但是可以代替地表示用于将强度缩放至反射率值的任意因子。在一些实施例中，这可以根据以上等式(2)来完成。注意的是，尽管图5(和以上等式)将强度测量值的缩放、以及反射率校准因子的计算示出为两个不同的操作，但是在一些实施例中，反射率校准因子可以在一个步骤中进行计算，其中强度测量值的缩放在该计算中是固有的。
给定针对ToF传感器的像素的校准因子，反射率测量可以被执行。一个示例测量过程在图5中的框550-570处示出。再次，应理解的是，该测量过程可以单独地且独立于框510-540中所示的校准过程而执行，例如，在反射率校准因子使用不同设备而被获得，并且被简单地提供给执行反射率测量的ToF测量设备的情况下，。
如框550所示，该反射率测量过程开始以使用ToF传感器中的一个或多个像素，获得到感兴趣对象或材料的距离测量值。如框560所示，该方法进一步包括：使用一个或多个像素，获得与距离测量值相对应的强度测量值。再次将理解的是，强度测量值和距离测量值可以例如使用感兴趣对象的多相曝光而同时获得。
如框570所示，该方法还包括：基于距离测量值、强度测量值和反射率校准因子来计算针对像素的反射率值。反射率校准因子可以例如是像素特定的，并且可以使用例如在框510-540处所示的步骤而已经获得，但是其也可以被单独提供，或者从根据上述技术而获得的一个或多个反射率校准因子进行内插。例如，该计算可以包括：将强度测量值乘以反射率校准因子，并且乘以与距离测量值的平方成比例的因子。在一些实施例中，如上面所讨论的，反射率值根据以上等式(3)来计算。
550-570中所示的步骤可以针对若干(或许多)像素中的每个像素(例如，针对ToF传感器中的所有像素)来执行，因此结果提供了一个或多个所成像的对象的反射率图。如上面所讨论的，这些反射率值可以例如与深度图和/或RGB彩色图结合使用，和/或与3D点云相关联地使用。如上所指示的，在各种应用中，这些反射率值可以被用来增强对象识别或表征。
图6图示了根据当前公开的设备和***的若干实施例的一个示例ToF测量设备600。ToF测量设备600可以被利用以检测对象(例如，如目标场景602中所示)，以及确定到所检测的对象的距离。ToF测量600还可以被配置为确定所检测的一个或多个对象的反射率值。ToF测量设备600可以是连续波TOF***，诸如，基于光子调制设备(PMD)的TOF***。ToF测量设备600可以进一步被配置为根据本文描述的技术，将数据叠加在所发射的光脉冲上，以用于由远程设备接收。
所图示的ToF测量设备600包括光源624，光源624被配置为用调制信号对光束进行振幅调制，并且朝向场景602发射经振幅调制的光。振幅调制可以基于由参考信号生成器608生成的参考信号。参考信号可以是例如在MHz范围内的射频(RF)信号，尽管其他调制频率可以被使用。所发射的光可以包括具有变化的波长范围的光，诸如，可见光谱中的光或红外辐射。所发射的光从场景中的一个或多个对象反射并且返回到传感器604。
所图示的ToF测量设备600进一步包括传感器604，传感器604包括多个像素，多个像素被配置为响应于所接收的光614而生成多个相应的像素信号值，其中每个像素被配置为通过使用参考信号622对所接收的光进行解调制，来获得该像素的相应的像素信号值。如图6中所看到的，所接收的光602可以从目标场景602反射。如上所讨论的，虽然若干合适的像素配置是可能的，但是一个合适的像素设计是上面描述的PMD。
像素、行和列的数目可以从一个实施例到另一实施例而变化，并且基于如下因素来选择，该因素包括期望分辨率、强度等。在一个示例中，这些传感器特性基于待检测的对象、以及到该对象的预期距离来选择。因此，例如，传感器604中的像素的像素分辨率可以从一个实施例到另一实施例而变化。小的对象需要较高的分辨率以用于检测。例如，手指检测需要在约0.5米的距离或范围处的<5mm每像素(<5mm per pixel)的分辨率。中等大小的对象(诸如，手部检测)需要在约1.5米的范围处的<20mm每像素的分辨率。较大大小的对象(诸如，人体)需要在约2.5米处的<60mm每像素的分辨率。应当理解的是，提供以上示例仅出于例示性目的，并且变化可能发生，包括用于检测的其他对象、分辨率和距离。合适分辨率的一些示例包括VGA–640x400像素、CIF–352x288像素、QQ-VGA–160x120像素等。
ToF测量设备600还包括参考信号生成器608，在一些实施例中，参考信号生成器608可以被配置为生成参考信号622，并且向传感器604中的多个像素提供参考信号622，参考信号622具有相对于调制信号的相位的可选择相位，该调制信号被应用到朝向目标场景602而传输的光。图像处理***600还进一步包括模数转换器(ADC)电路606，模数转换器电路606可以包括一个或多个ADC，其可操作地耦合到传感器604中的多个像素，其中ADC电路606向反射率图生成器610提供数字相位或距离测量值，反射率图生成器610可以包括单独的处理电路和/或数字逻辑和/或可以是功能单元，该功能单元使用组成控制电路***612的相同电路***来实现。
所图示的ToF测量设备600还包括控制电路***612，控制电路***612可以包括例如处理器、控制器等和/或其他数字逻辑。在若干实施例中，控制电路***612被配置为使得图像处理***600执行以上结合图5所述的方法。因此，例如，控制电路***612可以被配置为控制光源624、传感器604和反射率图生成器610，以使用传感器中的一个或多个像素来获得到感兴趣的对象或材料的距离测量值，并且使用一个或多个像素来获得与距离测量值相对应的强度测量值。再次将理解的是，强度测量值和距离测量值可以例如使用感兴趣对象的多相曝光而同时获得。控制电路***612可以进一步被配置为控制反射率图生成器以基于距离测量值、强度测量值和反射率校准因子，计算针对像素计算反射率值。该反射率校准因子例如可以是像素特定的，并且该反射率校准因子可以在例如利用ToF测量设备600执行的校准过程期间获得，或者可以被提供给ToF测量600。在一些实施例中，如上所讨论的，反射率值根据以上等式(3)来计算。
由控制电路***612和反射率图生成器610进行的这些操作可以针对若干(或许多)像素中的每个像素(例如，针对传感器604中的所有像素)来执行，因此结果提供了一个或多个所成像的对象的反射率图。如上所讨论的，这些反射率值可以例如与深度图和/或RGB彩色图结合使用，和/或与3D点云相关联地使用。如上所指示的，在各种应用中，这些反射率值可以被用来增强对象识别或表征。
在一些实施例中，ToF测量设备600可以进一步被配置为执行校准过程。根据这些实施例中的一些实施例，控制电路***612被配置为控制光源624、传感器604和反射率图生成器610，以针对多个像素或多个像素组中的每个像素或每个像素组，测量来自校准表面的反射强度，并且测量针对每个像素或每个像素组的到校准表面的距离——再一次，将理解的是，距离测量和强度测量可以同时执行，例如，在距离和强度值二者均从校准表面的多次曝光或多个相位图像而获得情况下。控制电路***612可以进一步被配置为控制反射率图生成器610以将所测量的针对每个像素或每个像素组的强度值进行缩放，从而将所测量的强度投影到虚拟球体上。这可以作为针对相应的像素或相应的像素组的视角、作为所测量的针对一个或多个像素的到校准表面的距离的函数、或作为上述两者的函数来执行。这种缩放操作的示例在上面的等式(1a)、(1b)和(1c)中示出。这些实施例中的控制电路***612可以进一步被配置为控制反射率图生成器610以作为参考反射率和针对像素或像素组的经缩放的所测量的强度的函数，计算针对每个像素或每个像素组的反射率校准因子。如上所讨论的，在一些实施例中，该参考反射率可以表示在零视角处的校准表面的实际反射率，但是可以代替地表示用于将强度缩放至反射率值的任意因子。在一些实施例中，这可以根据以上等式(2)来完成。注意的是，尽管图5(和以上等式)将强度测量值的缩放、以及反射率校准因子的计算示出为两个不同的操作，但是在一些实施例中，反射率校准因子可以在一个步骤中计算，其中强度测量的缩放在该计算中是固有的。
鉴于上面的详细讨论，将理解的是，本文描述的发明主题可以使用标准编程和/或工程技术来实现为方法、装置或制品，以产生软件、固件、硬件或其任何组合，来控制计算机以实现所公开的主题。本文所使用的术语“制品”旨在涵盖可从任何计算机可读设备、载体或介质访问的计算机程序。当然，本领域技术人员将认识到，可以在不脱离所要求保护的主题的范围或精神的情况下，对该配置进行许多修改。
特别地，关于由上述部件或结构(组件、设备、电路、***等)执行的各种功能、用于描述这样的部件的术语(包括对“部件”的引用)，除非另有说明，其旨在与执行所描述的特定功能的任何部件或结构(例如，在功能上等同)相对应，即使这些任何部件或结构与本文中说明的本发明的示例性实现中所公开的执行该功能的结构在结构上不等同。附加地，尽管本发明的特定特征可能仅针对若干实现中的一个实现而公开，但是这样的特征可以与针对任何给定或特定应用期望或有利的其他实现的一个或多个其他特征组合。此外，就在具体实施方式和权利要求中使用的术语“包括(including/includes)”、“具有(having/has/with)”或其变体的范围而言，这些术语以类似于术语“包括(comprising)”的方式而旨在是包括性的。

Claims (32)

1.一种在飞行时间(ToF)测量设备中的方法，所述方法包括：
使用ToF传感器中的一个或多个像素来获得距离测量值；
使用所述一个或多个像素来获得与所述距离测量值相对应的强度测量值；以及
基于所述距离测量值、所述强度测量值和反射率校准因子，计算所述一个或多个像素的反射率值。
2.根据权利要求1所述的方法，其中所述反射率校准因子特定于所述ToF传感器中的所述一个或多个像素。
3.根据权利要求1所述的方法，其中所述计算包括：将所述强度测量值乘以所述反射率校准因子，并且乘以与所述距离测量值的平方成比例的因子。
4.根据权利要求1所述的方法，其中所述反射率值根据以下来计算：
Ri，j＝ci，jIi，j(di，j/dcalib)2，
其中Ri，j是所计算的所述反射率值，ci，j是所述反射率校准因子，Ii，j是所述强度测量值，di，j是所述距离测量值，并且dcalib是针对所述反射率校准因子的校准距离。
5.根据权利要求1所述的方法，还包括：使用所计算的所述反射率值来将二维图像中的像素值或像素值组标准化。
6.根据权利要求1所述的方法，其中所述方法包括：
使用所述ToF传感器来获得多个距离测量值，其中每个距离测量值是使用所述ToF传感器中的相应的像素或相应的像素组而被获得；
使用相应的所述像素或相应的所述像素组，获得与所述距离测量值中的每个距离测量值相对应的强度测量值；以及
基于所述强度测量值、相应的所述距离测量值和相应的反射率校准因子，计算与每个强度测量值相对应的反射率值。
7.根据权利要求6所述的方法，其中相应的所述校准因子各自特定于相应的像素或相应的像素组。
8.根据权利要求6所述的方法，其中针对每个相应的像素或每个相应的像素组，所述计算包括：将针对相应的所述像素或相应的所述像素组的所述强度测量值乘以针对相应的所述像素或相应的所述像素组的所述反射率校准因子，并且乘以与相应的所述像素或相应的所述像素组的所述距离测量值的平方成比例的因子。
9.根据权利要求6所述的方法，其中针对每个像素i,j的所述反射率值根据以下来计算：
Ri，j＝ci，jIi，j(di，j/dcalib)2，其中：
Ri，j是针对像素i,j的所计算的所述反射率值；
ci，j是针对像素i,j的所述反射率校准因子；
Ii，j是针对像素i,j的所测量的所述强度；
di，j是针对像素i,j的所述距离测量值；以及
dcalib是校准距离。
10.根据权利要求6所述的方法，还包括：使用所计算的反射率值来将二维图像中的像素值或像素值组标准化。
11.根据权利要求6所述的方法，其中所述方法还包括：从所计算的所述反射率值形成反射率图像。
12.根据权利要求6所述的方法，其中所述方法还包括：形成三维点云，所述三维点云包括所述距离测量值和对应的所述反射率值。
13.根据权利要求6所述的方法，其中所述方法包括：通过如下来获得所述校准距离：
使用所述ToF传感器中的参考像素，测量到校准表面的参考距离，并且从所测量的所述参考距离获得所述校准距离。
14.根据权利要求6所述的方法，其中所述方法包括：通过如下来获得所述反射率校准因子：
作为针对所述像素或所述像素组的视角和参考反射率的函数，或者作为由所述像素或所述像素组测量的到校准表面的距离和所述参考反射率的函数，或者作为针对所述像素或所述像素组的所述视角、所述到校准表面的距离二者以及所述参考反射率的函数，来计算针对相应的所述像素或相应的所述像素组中的每个像素或每个像素组的所述反射率校准因子。
15.根据权利要求14所述的方法，其中所述函数是Rref/cosβi，j函数，其中Rref是所述参考反射率，并且βi，j是相应的所述像素或相应的所述像素组相对于所述ToF传感器的光学轴的所述视角。
16.根据权利要求6所述的方法，其中所述方法包括：针对每个像素或每个像素组，通过如下来获得所述反射率校准因子：
使用所述像素或所述像素组，测量来自校准表面的反射强度；
基于所述像素或所述像素组相对于所述ToF传感器的所述光学轴的所述视角，将所测量的所述强度进行缩放；
作为经缩放的所测量的所述强度和参考反射率的函数，计算针对所述像素或所述像素组的所述反射率校准因子。
17.根据权利要求16所述的方法，其中将所测量的所述强度进行缩放包括：根据Li，j＝Ii，j/(cosβi，j)3来计算经缩放的所测量的所述强度，其中：
Li，j是针对像素i,j的经缩放的所测量的所述强度；
Ii，j是针对像素i,j的所测量的所述强度；以及
βi，j是像素i,j相对于所述ToF传感器的所述光学轴的所述视角。
18.根据权利要求16所述的方法，其中所述方法还包括：测量针对每个像素或每个像素组的到所述校准表面的距离，并且其中将所测量的所述强度进行缩放包括：根据
Figure FDA0002494559010000031
来计算经缩放的所测量的所述强度，其中：
Li，j是针对像素i,j的经缩放的所测量的所述强度；
Ii，j是针对像素i,j的所测量的所述强度；
dci，j是针对像素i,j的所测量的到所述校准表面的所述距离；
βi，j是像素i,j相对于所述ToF传感器的所述光学轴的所述视角；
以及
dcalib是所述校准距离。
19.一种飞行时间(ToF)测量设备，包括：
光源，被配置为发射一系列光脉冲，所述一系列光脉冲通过利用调制信号对光进行振幅调制而形成；
ToF传感器，包括多个像素，所述多个像素被配置为响应于所接收的光而生成相应的多个像素信号值，其中每个像素被配置为通过使用参考信号对所接收的光进行解调制来获得每个像素的相应的像素信号值；
参考信号生成器，被配置为生成所述参考信号，并且将所述参考信号提供给所述多个像素；以及
控制电路***，被配置为控制所述光源、所述ToF传感器和反射率图生成器以：
使用所述ToF传感器中的一个或多个像素，获得距离测量值；
使用所述一个或多个像素，获得与所述距离测量值相对应的强度测量值；以及
基于所述距离测量值、所述强度测量值和反射率校准因子，计算针对所述一个或多个像素的反射率值。
20.根据权利要求19所述的ToF测量设备，其中所述反射率校准因子特定于所述ToF传感器中的所述一个或多个像素。
21.根据权利要求19所述的ToF测量设备，其中所述计算包括：将所述强度测量值乘以所述反射率校准因子，并且乘以与所述距离测量值的平方成比例的因子。
22.根据权利要求19所述的ToF测量设备，其中所述反射率值根据如下来计算：
Ri，j＝ci，jIi，j(di，j/dcalib)2，
其中Ri，j是所计算的所述反射率值，ci，j是所述反射率校准因子，Ii，j是所述强度测量值，di，j是所述距离测量值，并且dcalib是针对所述反射率校准因子的校准距离。
23.根据权利要求19所述的ToF测量设备，其中所述控制电路***被配置为控制所述光源、所述ToF传感器和所述反射率图生成器以：
使用所述ToF传感器来获得多个距离测量值，其中每个距离测量值是使用所述ToF传感器中的相应的像素或相应的像素组而被获得；
使用相应的所述像素或相应的所述像素组，获得与所述距离测量值中的每个距离测量值相对应的强度测量值；以及
基于所述强度测量值、相应的所述距离测量值和相应的反射率校准因子，计算与每个强度测量值相对应的反射率值。
24.根据权利要求23所述的ToF测量设备，其中相应的所述校准因子各自特定于相应的像素或相应的像素组。
25.根据权利要求23所述的ToF测量设备，其中针对每个相应的像素或每个相应的像素组，所述反射率值通过如下来计算：将针对相应的所述像素或相应的所述像素组的所述强度测量值乘以针对相应的所述像素或相应的所述像素组的所述反射率校准因子，并且乘以与相应的所述像素或相应的所述像素组的所述距离测量值的平方成比例的因子。
26.根据权利要求23所述的ToF测量设备，其中针对每个像素i,j的所述反射率值根据如下来计算：
Ri，j＝ci，jIi，j(di，j/dcalib)2，其中：
Ri，j是针对像素i,j的所计算的所述反射率值；
ci，j是针对像素i,j的所述反射率校准因子；
Ii，j是针对像素i,j的所测量的所述强度；
di，j是针对像素i,j的所述距离测量值；以及
dcalib是校准距离。
27.根据权利要求23所述的ToF测量设备，其中所述控制电路***被配置为控制所述光源、所述传感器和所述反射率图生成器，以使用所述ToF传感器中的参考像素来测量到校准表面的参考距离，并且从所测量的所述参考距离来获得所述校准距离。
28.根据权利要求23所述的ToF测量设备，其中所述控制电路***被配置为控制所述光源、所述传感器和所述反射率图生成器，通过如下来获得所述反射率校准因子：
作为针对所述像素或所述像素组的视角和参考反射率的函数，或者作为由所述像素或所述像素组测量的到校准表面的距离和所述参考反射率的函数，或者作为针对所述像素或所述像素组的所述视角、所述到校准表面的距离二者以及所述参考反射率的函数，来计算针对相应的所述像素或相应的所述像素组中的每个像素或每个像素组的所述反射率校准因子。
29.根据权利要求28所述的ToF测量设备，其中所述函数是Rref/cosβi，j函数，其中Rref是所述参考反射率，并且βi，j是相应的所述像素或相应的所述像素组相对于所述ToF传感器的光学轴的所述视角。
30.根据权利要求23所述的ToF测量设备，其中所述控制电路***被配置为控制所述光源、所述传感器和所述反射率图生成器，以针对每个像素或每个像素组通过如下来获得所述反射率校准因子：
使用所述像素或所述像素组，测量来自校准表面的反射强度；
基于所述像素或所述像素组相对于所述ToF传感器的所述光学轴的所述视角，将所测量的所述强度进行缩放；
作为经缩放的所测量的所述强度和参考反射率的函数，计算针对所述像素或所述像素组的所述反射率校准因子。
31.根据权利要求30所述的ToF测量设备，其中将所测量的所述强度进行缩放包括：根据Li，j＝Ii，j/(cosβi，j)3来计算经缩放的所测量的所述强度，其中：
Li，j是针对像素i,j的经缩放的所测量的所述强度；
Ii，j是针对像素i,j的所测量的所述强度；以及
βi，j是像素i,j相对于所述ToF传感器的所述光学轴的所述视角。
32.根据权利要求30所述的ToF测量设备，其中所述控制电路***被配置为控制所述光源、所述传感器和所述反射率图生成器，以测量针对每个像素或每个像素组的到所述校准表面的距离，并且被配置为通过根据
Figure FDA0002494559010000061
计算经缩放的所测量的所述强度，来将所测量的所述强度进行缩放，其中：
Li，j是针对像素i,j的经缩放的所测量的所述强度；
Ii，j是针对像素i,j的所测量的所述强度；
dci，j是针对像素i,j的所测量的到所述校准表面的所述距离；
βi，j是像素i,j相对于所述ToF传感器的所述光学轴的所述视角；
以及
dcalib是所述校准距离。
CN202010414786.7A 2019-05-17 2020-05-15 利用飞行时间相机的反射率感测 Pending CN112034485A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/414,969 2019-05-17
US16/414,969 US11874403B2 (en) 2019-05-17 2019-05-17 Reflectance sensing with time-of-flight cameras

Publications (1)

Publication Number Publication Date
CN112034485A true CN112034485A (zh) 2020-12-04

Family

ID=70736710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010414786.7A Pending CN112034485A (zh) 2019-05-17 2020-05-15 利用飞行时间相机的反射率感测

Country Status (3)

Country Link
US (1) US11874403B2 (zh)
EP (1) EP3739362A1 (zh)
CN (1) CN112034485A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302067A (zh) * 2021-12-30 2022-04-08 无锡图创智能科技有限公司 不同反射率表面三维结构光测量的曝光值选择方法
CN115844334A (zh) * 2022-12-19 2023-03-28 哈尔滨工业大学 一种基于物理过程的间接型ToF相机对人体皮肤组织深度测量值误差的获取方法
CN117054047A (zh) * 2023-10-11 2023-11-14 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420038B2 (ja) * 2019-10-16 2024-01-23 株式会社デンソー 車載の異常検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9958383B2 (en) 2014-12-18 2018-05-01 Microsoft Technology Licensing, Llc. Range camera
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302067A (zh) * 2021-12-30 2022-04-08 无锡图创智能科技有限公司 不同反射率表面三维结构光测量的曝光值选择方法
CN115844334A (zh) * 2022-12-19 2023-03-28 哈尔滨工业大学 一种基于物理过程的间接型ToF相机对人体皮肤组织深度测量值误差的获取方法
CN115844334B (zh) * 2022-12-19 2024-05-28 哈尔滨工业大学 一种基于物理过程的间接型ToF相机对人体皮肤组织深度测量值误差的获取方法
CN117054047A (zh) * 2023-10-11 2023-11-14 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及***

Also Published As

Publication number Publication date
US20200363512A1 (en) 2020-11-19
US11874403B2 (en) 2024-01-16
EP3739362A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
US11874403B2 (en) Reflectance sensing with time-of-flight cameras
US10677923B2 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
US11536804B2 (en) Glare mitigation in LIDAR applications
Dorrington et al. Separating true range measurements from multi-path and scattering interference in commercial range cameras
US10935371B2 (en) Three-dimensional triangulational scanner with background light cancellation
CN111045029B (zh) 一种融合的深度测量装置及测量方法
US10643349B2 (en) Method of calibrating a camera and a laser scanner
CN109425324A (zh) 具有扫描功能和接收器的可设定接收范围的全站仪或经纬仪
CN111308482B (zh) 基于编码调制图像的滤波连续波飞行时间测量
EP3814797A1 (en) Phase noise and methods of correction in multi-frequency mode lidar
CN113780349A (zh) 训练样本集的获取方法、模型训练方法及相关装置
CN112946671A (zh) 光学距离计算装置和距离计算的方法
Langmann et al. Increasing the accuracy of Time-of-Flight cameras for machine vision applications
CN113030999B (zh) 飞行时间感测***和其中使用的图像传感器
US11070790B1 (en) Passive three-dimensional image sensing based on spatial filtering
Dorrington et al. An evaluation of time-of-flight range cameras for close range metrology applications
Laukkanen Performance evaluation of time-of-flight depth cameras
CN115824170A (zh) 一种摄影测量与激光雷达融合测量海洋波浪的方法
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
CN112655022B (zh) 图像处理装置和图像处理方法
CN207515908U (zh) 一种多光路自定标偏振探测装置及***
Robbins et al. Photogrammetric calibration and colorization of the SwissRanger SR-3100 3-D range imaging sensor
Giancola et al. Metrological Qualification of the Kinect V2™ Time-of-Flight Camera
Altuntas Pile volume measurement by range imaging camera in indoor environment
WO2022172690A1 (ja) 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination