CN110709722B - 飞行时间摄像机 - Google Patents
飞行时间摄像机 Download PDFInfo
- Publication number
- CN110709722B CN110709722B CN201880037067.9A CN201880037067A CN110709722B CN 110709722 B CN110709722 B CN 110709722B CN 201880037067 A CN201880037067 A CN 201880037067A CN 110709722 B CN110709722 B CN 110709722B
- Authority
- CN
- China
- Prior art keywords
- time
- flight
- spread function
- psf
- point spread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006870 function Effects 0.000 claims abstract description 68
- 230000010363 phase shift Effects 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 3
- 238000012937 correction Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 16
- 230000010354 integration Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000969 carrier Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 38
- 230000003287 optical effect Effects 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011151 fibre-reinforced plastic Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明涉及一种飞行时间摄像机(1)，包括：具有用于确定发射和捕获光(Sp2)的相移的多个飞行时间像素(23)的飞行时间传感器(22)，根据检测的相移()来确定距离值(d)，其特征在于，飞行时间摄像机(20)具有存储器，表示飞行时间摄像机(20)和飞行时间传感器(22)特征的点扩展函数(PSF)的特征存储在存储器中；评估单元，其被设计成根据存储的点扩展函数(PSF)在傅立叶空间中布置检测的复值图像(I(x))，且确定由散射光校正的复值图像(I0(x))，且使用校正的复值图像(I0(x))确定相移(I0(x))或距离值(d)。
Description
技术领域
本发明涉及一种飞行时间摄像机、以及用于检测点扩展函数以校正检测到的飞行时间传感器的信号的方法。
背景技术
飞行时间摄像机或飞行时间摄像机***尤其涉及所有飞行时间或3D飞行时间摄像机***，这些***从发射和接收辐射的相移中获得飞行时间信息。如DE19704496C2中所述，由于包括光混合检测器(PMD)的飞行时间或3D飞行时间摄像机(特别是光混合检测器摄像机)是适合的，并作为Frame Grabber 03D或作为CamCube可从“ifm ElectronicGmbH”或“pmdtechnology ag”公司中获得。PMD摄像机特别允许光源和检测器的灵活布置，可以将两者都布置在壳体中且独立地布置。
发明内容
本发明的目的是进一步改善相位误差的补偿。
根据本发明的飞行时间摄像机***以有利的方式实现了该目的，如独立权利要求所述。
特别有利的是一种用于飞行时间摄像机***的飞行时间摄像机，其设置有包括用于确定发射光和接收光的相移的多个飞行时间像素的飞行时间传感器，其中基于检测的相移来确定距离值，其中飞行时间摄像机包括存储器，在该存储器中至少存储点扩展函数的参数，其中点扩展函数考虑到飞行时间摄像机和飞行时间传感器的散射光行为和信号串扰，包括评估单元，该评估单元设计成使得基于存储的点扩展函数对检测的图像(I(x))进行解卷积并确定校正的图像(I0(x))，并且其中相移或距离值的确定是在校正的图像(I0(x))的基础上实现的。
该步骤的优点是可以在操作过程中基于已存储的点扩展函数来校正距离值。
优选地，点扩展函数是复值函数。
当在傅立叶空间中完成检测的图像和存储点扩展函数的解卷积时，这也是有用的。
在另一实施例中，假设检测的图像的分辨率降低，并且通过这种降低的分辨率确定校正，并且此后校正被按比例放大到检测的图像的原始分辨率，并且通过该按比例放大的校正来校正检测的图像。
因此，可以显著减少校正的计算量。
进一步预期，通过对相邻像素的幅度进行平均来进行分辨率的降低，并通过重复幅度来进行按比例放大。
优选地，点扩展函数以矩阵或查找表和/或傅立叶变换的形式存储在存储器中。
如果根据以下方法之一确定存储在存储器中的点扩展函数，则是特别有用。
优选地，提供了一种用于确定点扩展函数的方法，其中点光源和飞行时间摄像机被布置成使得飞行时间摄像机的飞行时间传感器检测点光源，其中选择点光源与飞行时间摄像机之间的距离和/或点光源的光束轮廓，使得在像素行或列中少于5个飞行时间像素或最多16×16个像素被照射，其中点扩展函数至少基于飞行时间传感器的飞行时间像素的子集来确定。
该步骤的优点是，为了确定点扩展函数，光源可以在一定范围内以简单的方式构造。
在一个实施例中，提供了操作未调制的点光源。
在这种情况下，飞行时间传感器的飞行时间像素的调制门被驱动以使得飞行时间像素中的载流子主要仅在一个积分节点处累积。该步骤确保生成的光电子优选地收集在一个积分节点处。
根据另一实施例，提供了与调制信号同相地驱动点光源和飞行时间传感器，并且确定关于至少三个不同相位位置的传感器差信号。
特别有用的是，提供具有飞行时间传感器的不同的积分时间和/或点光源的不同的光强的至少两个图像帧来确定点扩展函数。
在另一实施例中，提供了一种用于确定飞行时间摄像机***的飞行时间摄像机的点扩展函数的方法，其中通过飞行时间摄像机检测参考场景的第一3D图像I1(x)和具有在参考场景的前景中的对象的第二3D图像I2(x)，其中第二3D图像I2(x)或第二3D图像I2(x)的至少部分区域通过点扩展函数被校正，并基于第一和校正的第二3D图像I’2(x)之间的差，改变点扩展函数的参数，直到至少在选定的部分区域的两个图像(I1(x),I’2(x))之间的差为最小和/或低于阈值，其中所得的点扩展函数可再用作校正点扩展函数。
同样，可以提供一种用于确定飞行时间摄像机***的飞行时间摄像机的点扩展函数的方法，其中在假定参考场景形成为平面的前提下，通过飞行时间摄像机检测具有在前景中的对象的参考场景的单个图像I(x)，其中单个图像I(x)通过第一点扩展函数被校正，其中，改变第一点扩展函数的参数以确定校正点扩展函数，直到校正的图像I'(x)和预期的图像I0(x)之间的差值为最小和/或低于阈值。
在又一实施例中，提供了一种用于确定飞行时间摄像机***的飞行时间摄像机的点扩展函数的方法，其中通过飞行时间摄像机检测参考对象的台阶的3D图像IT(x)，其中参考对象具有限定高度的台阶，该台阶的表面是平面的并且彼此平行布置，该参考对象相对于所述飞行时间摄像机设置，使得在该台阶的边缘处存在到更远的台阶水平的距离跳跃，其中检测的3D图像IT(x)首先使用第一模型点扩展函数被校正，其中，当因此校正的3D图像I’T(x)的距离值d超出最大容许距离误差时，改变模型点扩展函数的参数直到校正的3D图像I’T(x)的距离值为最小和/或低于容许距离误差，其中由此得到的点扩展函数可再用作校正点扩展函数。
附图说明
下面将参照附图通过示例性实施例更详细地解释本发明。
在图中：
图1示意性地示出了飞行时间摄像机***；
图2示出了生成的载流子的调制积分；
图3示出了用于确定点扩展函数的设置；
图4示出了用于确定点扩展函数的图像的横截面；
图5示出了参考场景的检测；
图6示出了在参考场景的前方的对象的检测；
图7示出了根据图6的测量的距离值与实际距离的关系；
图8示出了对两个不同距离的参考表面的检测；
图9示出了根据图8的测量的距离值与实际距离的关系；和
图10示出了本发明意义上的散射光校正的可能的示意性流程。
具体实施方式
在以下对优选实施例的描述中，类似参考符号表示相同或相似的组件。
图1显示了用例如从DE19704496A1中所知的飞行时间摄像机测量光学距离的测量情况。
飞行时间摄像机***1包括发射单元或发光模块10，所述发射单元或发光模块10包括光源12和关联的光束成形光学器件15，以及具有接收光学器件25和飞行时间传感器22的接收单元或飞行时间摄像机20。
飞行时间传感器22具有至少一个飞行时间像素，优选为像素阵列，并且特别设计为PMD传感器。接收光学器件25通常由多个光学元件组成，以改进成像特性。发射单元10的光束成形光学器件15可以形成为例如反射器或透镜光学器件。在一个非常简单的实施例中，可选的光学元件可以在接收侧和发射侧两者都被分配。
该布置的测量原理基本上是基于这样一个事实，即基于发射光和接收光的相移，可以确定飞行时间，并因此确定接收光所行进的距离。为此，经由调制器30向光源12和飞行时间传感器22共同提供具有基相位置的特定调制信号M0。此外，在示出的示例中，在调制器30和光源12之间提供移相器35，其中移相器能够将光源12的调制信号M0的基相/>移动规定的相位位置/>对于典型的相位测量，优选地，采用相位位置/>
根据调整的调制信号，光源12发射具有第一相位位置p1或的强度调制信号Sp1。这种信号Sp1或电磁辐射在所示的情况下被对象40反射，并且由于行进的距离2d或具有第二相位位置/>的相移/>的飞行时间tL3而作为接收信号Sp2撞击到飞行时间传感器22上。在飞行时间传感器22中，调制信号M0与接收信号Sp2混合，其中从得到的信号确定相移或对象距离d。
优选地，红外发光二极管或表面发射体(VCSEL)适合作为发光源或光源12。当然，其他频率范围内的其他辐射源是可以设想的，特别是可见频率范围内的光源是可以考虑的。
通过图2中的示例示意性地示出了相位测量的基本原理。上曲线示出了驱动光源12和飞行时间传感器22的调制信号M0的定时。由对象40反射的光根据其飞行时间tL以相移作为接收信号Sp2撞击飞行时间传感器22。飞行时间传感器22在第一积分节点Ga的调制信号M0的相位位置中和在第二积分节点Gb的偏移180°的相位位置中的几个调制周期上收集光子生成的电荷q。为了将电荷引导到积分节点上，飞行时间传感器22的像素23包括至少两个调制门Gam、Gbm，其根据所施加的调制信号将电荷引导到第一或第二积分节点Ga、Gb上。从第一和第二积分节点Ga、Gb中收集的电荷qa、qb的差异，考虑到所有相位差/>可以确定对象的相移/>并因此确定对象的距离d。
图3示意性地示出了用于确定点扩展函数PSF的设置。在此，光源112和飞行时间传感器22可以未调制地操作，或者至少具有一个预定的调制频率。当使用未调制光时，若飞行时间传感器22或象素23也未调制地操作，这是有益的。在这种情况下，若将恒定电压施加到像素23的调制门Gam、Gbm，使得光生成的电荷主要仅收集在一个积分节点Ga、Gb中，这是有用的。
为了确定PSF，优选光源112基本上照射飞行时间传感器22的仅一个像素23，优选地小于3×3且特别地小于5×5的像素23。为了提供这样的光点，在光源112的前方设置有具有足够小的孔开口152的孔150。从孔径150产生的原始光信号I0在到达传感器直到检测的图像信号I(x)的过程中受多种的影响，例如，受光学***或光学器件25的特性或传感器22与光学器件25之间的反射的影响。此外，传感器22本身的固有特性发挥作用，例如信号串扰或像素23之间的电子扩散。因此，在传感器处检测到的图像信号I(x)可以被认为是入射光I0与点扩展函数PSF之间的卷积，这基本上包括了整个***的所有特性。由于一个或几个像素的奇异发光，检测的图像信号I(x)基本上对应于点扩展函数PSF。为了确定点扩展函数，优选地对所有像素进行评估。然而，原则上，也可以设想仅对奇异发光像素周围的部分区域进行评估。
如果需要的话，如果基于多个奇异发光像素23确定若干点扩展函数，则可以提高点扩展函数PSF的质量。例如，额外地照射光轴外的像素23以便确定这些位置处的其它的点扩展函数是有用的。在确定的点扩展函数的基础上，可以确定用于随后校正的点扩展函数。
由于所提到的电子扩散典型地以显著低于光传播的扩散速率发生，所以电子以时间延迟到达相邻像素，使得电子扩散的影响也可作为相移被观察到。因此，点扩展函数PSF也包括复值分数。因此，为了更准确地确定这些量，有利的是在不同的相位位置处操作光源112。
由于点扩展函数通常在十的几个幂上具有高动态，因此对于检测PSF以操作具有不同强度的点光源112和/或具有不同积分时间的传感器22也是有利的。
为了补偿暗电流，当光源112打开和关闭时，检测图像信号I(x)是有益的。
从所有测量值之和，可以生成点扩展函数的模型，该模型适用于所有像素23。
这种模型可以根据以下考虑因素生成：由于测量的PSF是有噪声的，并且可能包含例如非常特定于传感器上像素位置的伪影，例如通过将测量的PSF拟合到合适的模型来获得“干净”的PSF。例如，作为模型
例如，其中
可以被选择。
在此，表示以像素为单位的与PSF的中心像素/>的距离矢量，/> 表示/>的p范数。例如，在精确的径向对称PSF中，P＝2就会产生。由于PSF不必须是径向对称的，但例如可以是菱形的，因此p≠2可以得到更好的结果。通过适当选择p范数，可以考虑PSF的各向异性。
由于大部分光撞击在PSF的中心象素上，因此在将反映该分数的局部窄函数B(r)增加到模型是有益的。例如，这可以是描述录例如透镜模糊的Dirac Delta函数或高斯函数。
由于效率的原因，有益地以样条曲线的形式描述PSF。为了用该PSF来描述相移，例如，样条除实际分数外还有复值分数。这也使得PSF是复值的。然后，适当的拟合参数为，例如，样条节点处的值，归一化参数p和pB，以及指定B(r)的形状的参数。在软件初始化过程中，有益地只存储必要的参数以从这些参数中生成PSF，而不是存储整个PSF。
在飞行时间摄像机的操作过程中，可以基于存储的参数和由此生成的PSF来校正关于散射光影响的距离值。
借助于所描述的设置，优选地检测具有短曝光时间tk的第一图像具体地，应当选择曝光时间，使得没有像素处于饱和。在使用调制光的情况下，获得的原始图像中可能没有像素被饱和。
此外，还检测到具有长曝光时间tl的第二图像在此，应选择曝光时间，使得散射光和/或串扰/信号串扰引起的PSF的比例尽可能完全可见，即不受噪声的影响。曝光时间在此通常比第一图像大1000-10000倍。
在图像检测过程中，可以使用未调制的光，也可以以通常的方式调制光源和传感器。在后一种情况下，图像和/>如往常一样是复值的，因此包含相位信息，这反映了从光发射到在传感器的栅极处接收生成的电子的时间
对于这两种图像，可能有用的是，检测一系列图像而不是一个图像，并对它们进行平均以进一步降低噪声。
例如，为了在第一个和第二个图像之间获得一致的值，通过不同的积分时间将亮度(或振幅)归一化：
在获得的图像中，发光中心像素的精确位置通常仍然未知。为了确定中心像素的位置，例如通过阈值法对第一图像/>进行二值化，使得明亮LED点应该导致连续区域。
连续区域的中心是对光源指向的传感器上的中心像素或中心点的好的评估。该中心点/>不必须落在像素的中心上，即所找到的中心点/>的位置不需要是整数。
现在短曝光图像拟合到锐点的模型中。这种模型例如在方程(1)中用/>表示。在此，特别地确定
其中PB是函数B(r)的参数，pB是范数的参数。例如，可以选择B(r)＝B0exp(-br2)，其中PB＝(B0,b)。
对于根据方程(4)的数值最小化，有许多算法，如Nold-Mead方法。
除了PB和pB外，如果将光源的中心包括在优化中，则可以在方程(4)中得到更好的结果。然后，先前从二值化图像中找到的值将适合作为起始值。
现在我们考虑具有长曝光时间的第二图像与方程(4)类似，将图像拟合到散射光特征的模型，在方程(1)中的/>
如有必要，可以不考虑由B(r)所描述的PSF的中心部分。
与第一次拟合类似，这里PA是模型函数的参数。例如，形式的函数：
被证明是适当的，其中s(r)表示(实)样条曲线。函数描述了入射光点的相位延迟，其可能例如由像素之间的相位串扰/信号串扰所引起。由于这不必须是各向同性的，因此可能需要将/>建模为二维函数(例如，二维样条或二维查找表)，而不是假定如用于s(r)的径向对称函数。
在这种情况下，拟合参数PA是A0，pA，以及在节点处的样条的函数值。如有必要，节点的位置也可以是拟合参数PA的一部分。
例如，通过获得的参数PA和PB，以及根据方程(1)的PSF模型，现在可以生成无伪影和无噪声的PSF。存储仅这些或其他适当的参数而不是存储完整的PSF是有益的，可以在软件初始化期间从这些参数生成PSF。
优选地彼此独立地处理以不同曝光时间检测的图像：
子模型例如可以对应于PSF的不同动态范围，并且可以彼此独立地拟合到检测的图像/>基于这些拟合参数，可以根据方程(7)对PSF进行总结。
在上文中，已经参考以孔为光源或光源***的点光源描述了校准。当然，校准不仅限于这样的光源，而且考虑到能够产生适合的光点的所有光源或光源***。
图4至9示出了用于确定适合的点扩展函数PSF的另一方法。在根据图4的方法中，检测参考场景的第一3D图像I1(x)和在参考场景的前景中具有对象40的第二3D图像I2(x)。正如已讨论的，由于***的影响，可以预期从第一3D图像I1(x)已知的距离值的变化。为了确定适合用于校正的点扩展函数，然后改变第一模型PSF的参数，直到第一和第二图像之间的差(特别是距离误差)为最小或小于容许极限。在此，优选地仅考虑图像区域或其部分区域，其中参考场景在两个图像中均可见。
例如，可以如图5和6所示检测图像。在第一步中，检测参考场景的第一3D图像I1(x)(图5)。例如，作为参考场景，可以以简单的方式检测墙壁或地板，但原则上，可以检测任意高度轮廓的任何场景。在根据图6的第二步中，对象设置在参考场景的上方，例如，手或另一对象，并且检测到第二距离图像I2(x)。同样，对象的特征基本上是非批判性的。如参考图4所述，然后可以基于两个图像之间的差异生成校正PSF。
图7示出了一种变型，其中参考场景和对象是平坦的并且彼此平行地布置。有了这种先验知识，PSF的优化可能可以被简化。
可选地，例如，可以在距平坦的参考场景或平面(例如，墙壁、桌子、地板)足够远的距离处仅检测目标的一个图像，而不是两个图像。为了确定PSF，现在改变参数，直到目标后方的参考表面尽可能平坦，或者校正的参考表面与平面的偏差小于容许极限。
如果预先知道参考场景和/或引入的目标的尺寸和距离，则是特别有益的。
图8和图9示出了上述步骤的另一变型。图8中所示的对象40具有在高度上定义的台阶。高度Δd＝dT2-dT1优选地是先前已知的。如上述例子，PSF模型的参数是变化的，直到距离误差为最小或低于容许极限。
由传感器测量的原始图像(例如，与相位位置0°、90°、180°、270°相对应的j＝0、1、2、3)在数学意义上是未被散射光扭曲的未知原始图像与PSF的卷积：
对进一步处理感兴趣的是复值图像(8)
I(x):＝(D0(x)-D2(x))+i(D1(x)-D3(x))(9)
由于卷积是线性运算，所以同样适用于类似于未被散射光扭曲的I(x)和复值图像I0(x)：
I(x)＝ΣΔx|0(x-Δx)·PSF(Δx) (10)
或I(x)＝I0(x)·PSF(x) (11)
解卷积在傅立叶空间中执行。为此，对I(x)和PSF进行了傅里叶变换(F[·]):和/>
因此，方程4变为：
且因此
这使图像不被散射光扭曲
如果对校正ΔI(x):＝I0(x)-I(x)感兴趣，即，检测的图像和校正的图像之间的差异，可重新安排公式(13)如下：
其中与上述处理类似的是校正ΔI(x)的傅里叶变换。
由于在傅里叶变换之前的性能原因，这种校正可以例如按比例缩小或减小分辨率，并且可以在散射光校正之后再次按比例放大到原始分辨率。这样获得的校正可以随后被增加到检测的图像I(x)，以便获得校正图像I0(x)。
当然，由于数据的减少，计算工作量也减少了。
附图标记列表
1 飞行时间摄像机***
10 发光模块
12 光源
15 光束成形光学器件
20 接收器、飞行时间摄像机
30 调制器
35 移相器、发光移相器
40 对象
飞行时间相关的相移
相位位置
基相
M0 调制信号
p1 第一相位
p2 第二相位
Sp1 具有第一相位的发射信号
Sp2 具有第二相位的接收信号
tL 飞行时间、光传播时间
Ga,Gb 积分节点
d 对象距离
q 电荷
Claims (13)
1.一种用于飞行时间摄像机***(1)的飞行时间摄像机(20)，包括：
飞行时间传感器(22)，所述飞行时间传感器(22)包括用于确定发射和接收光(Sp2)的相移的多个飞行时间像素(23)，其中基于检测的相移来确定距离值(d)，
存储器，在所述存储器中至少存储点扩展函数(PSF)的参数，其中所述点扩展函数(PSF)考虑到所述飞行时间摄像机(20)和所述飞行时间传感器(22)的散射光行为和信号串扰；以及
评估单元，所述评估单元配置成使得基于所述存储的点扩展函数(PSF)对检测的图像(I(x))进行解卷积并确定校正的图像(I0(x))；
其中从所述校正的图像(I0(x))来确定所述相移或距离值(d)；
其中确定存储在所述存储器中的所述点扩展函数(PSF)，其中点光源(112)和飞行时间摄像机(20)被设置成使得所述飞行时间摄像机(20)的飞行时间传感器(22)检测所述点光源(112)；
其中选择所述点光源(112)与所述飞行时间摄像机(20)之间的距离和/或所述点光源(112)的光束轮廓，使得在飞行时间传感器(22)上在像素行或列中小于5个飞行时间像素(23)或最多16×16个像素被照射；
其中所述点扩展函数(PSF)基于所述飞行时间传感器(22)的所述飞行时间像素(23)的子集来确定。
2.根据权利要求1所述的飞行时间摄像机(20)，其特征在于，所述点扩展函数(PSF)是复值的。
3.根据权利要求1或2所述的飞行时间摄像机(20)，其特征在于，在傅立叶空间中执行所述检测的图像(I(x)))和所述存储点扩展函数(PSF)的解卷积。
4.根据权利要求1或2所述的飞行时间摄像机(20)，其特征在于，所述检测的图像(I(x)))的分辨率降低，并且用降低的分辨率确定校正(ΔI(x))，因此将所述校正(ΔI(x))按比例放大至所述检测的图像(I(x)))的原始分辨率，并用按比例放大的所述校正(ΔI(x))来校正所述检测的图像(I(x)))。
5.根据权利要求4所述的飞行时间摄像机(20)，其特征在于，通过平均相邻像素的幅度来实现分辨率的降低，并且通过所述幅度的重复来执行所述按比例放大。
6.根据权利要求1或2所述的飞行时间摄像机(20)，其特征在于，所述点扩展函数(PSF)在所述存储器中被存储为的矩阵或查找表。
7.根据权利要求1或2所述的飞行时间摄像机(20)，其特征在于，所述点扩展函数(PSF)在所述存储器中被存储为傅立叶变换。
8.根据权利要求1或2所述的飞行时间摄像机(20)，其特征在于，所述点扩展函数(PSF)存储在外部装置上，所述相移或距离值(d)的所述校正在所述外部装置上执行。
9.一种确定点扩展函数的方法，其中点光源(112)和飞行时间摄像机(20)被设置成使得所述飞行时间摄像机(20)的飞行时间传感器(22)检测点光源(112)；
其中选择所述点光源(112)与所述飞行时间摄像机(20)之间的距离和/或所述点光源(112)的光束轮廓，使得在飞行时间传感器(22)上在像素行或列中小于5个飞行时间像素(23)或最多16×16个像素被照射；以及
其中所述点扩展函数(PSF)至少基于所述飞行时间传感器(22)的所述飞行时间像素(23)的子集来确定。
10.根据权利要求9所述的方法，其特征在于，所述点光源未调制地操作。
11.根据权利要求10所述的方法，其特征在于，驱动所述飞行时间传感器(22)的飞行时间像素(23)的调制门(Gam，Gbm)，使得所述飞行时间像素(23)中的载流子主要仅在一个积分节点(Ga，Gb)处累积。
12.根据权利要求9所述的方法，其特征在于，与调制信号同相地驱动所述点光源(112)和所述飞行时间传感器(22)，并且确定对于至少三个不同相位位置的传感器差信号。
13.根据权利要求9-12中任一项所述的方法，其特征在于，检测具有所述飞行时间传感器(22)的不同的积分时间和/或所述点光源的不同的光强(112)的至少两个图像帧，以确定所述点扩展函数。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017205742 | 2017-04-04 | ||
| DE102017205742.4 | 2017-04-04 | ||
| PCT/EP2018/058456 WO2018185083A2 (de) | 2017-04-04 | 2018-04-03 | Lichtlaufzeitkamera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110709722A CN110709722A (zh) | 2020-01-17 |
| CN110709722B true CN110709722B (zh) | 2023-11-24 |
Family
ID=61899273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880037067.9A Active CN110709722B (zh) | 2017-04-04 | 2018-04-03 | 飞行时间摄像机 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11525918B2 (zh) |
| CN (1) | CN110709722B (zh) |
| DE (1) | DE102018107801A1 (zh) |
| WO (1) | WO2018185083A2 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI690719B (zh) * | 2018-11-02 | 2020-04-11 | 大陸商光寶電子（廣州）有限公司 | 誤差校正系統及其方法 |
| JP6912449B2 (ja) * | 2018-12-19 | 2021-08-04 | ファナック株式会社 | 測距装置を有する物体監視システム |
| CN109781030B (zh) * | 2019-01-23 | 2020-03-03 | 四川大学 | 基于点扩散函数估计的相位校正方法及装置 |
| DE102020123537B4 (de) | 2019-09-09 | 2024-02-22 | Ifm Electronic Gmbh | Lichtlaufzeitkamerasystem |
| US11514594B2 (en) | 2019-10-30 | 2022-11-29 | Vergence Automation, Inc. | Composite imaging systems using a focal plane array with in-pixel analog storage elements |
| EP3835819A1 (en) * | 2019-12-10 | 2021-06-16 | Melexis Technologies NV | Optical range calculation apparatus and method of range calculation |
| CN111352120B (zh) * | 2020-03-25 | 2022-09-09 | 炬佑智能科技(苏州)有限公司 | 飞行时间测距***及其测距方法 |
| DE102020123671B4 (de) * | 2020-09-10 | 2022-12-22 | Ifm Electronic Gmbh | Verfahren und Vorrichtung zur Dynamikerweiterung eines Lichtlaufzeitkamerasystems |
| CN112255643B (zh) * | 2020-11-03 | 2022-09-27 | 上海炬佑智能科技有限公司 | ToF传感装置及其距离检测方法 |
| DE102020215401A1 (de) * | 2020-12-07 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Optischer Sensor |
| RU2770153C1 (ru) * | 2021-06-15 | 2022-04-14 | Самсунг Электроникс Ко., Лтд. | Способ корректировки ошибки измерения глубины tof-камеры |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2073035A1 (en) * | 2007-12-18 | 2009-06-24 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Recording of 3D images of a scene |
| CN103748479A (zh) * | 2011-07-15 | 2014-04-23 | 软动力学传感器公司 | 用于提供距离信息的飞行时间摄像机及方法 |
| WO2014145722A2 (en) * | 2013-03-15 | 2014-09-18 | Digimarc Corporation | Cooperative photography |
| DE102014205585A1 (de) * | 2013-03-28 | 2014-10-02 | Pmdtechnologies Gmbh | Lichtlaufzeitkamerasystem |
| CN104919332A (zh) * | 2012-12-17 | 2015-09-16 | Pmd技术有限公司 | 具有运动识别的光飞行时间照相机 |
| CN105452895A (zh) * | 2013-06-13 | 2016-03-30 | 巴斯夫欧洲公司 | 用于光学地检测至少一个对象的检测器 |
| WO2016107635A1 (en) * | 2014-12-29 | 2016-07-07 | Metaio Gmbh | Method and system for generating at least one image of a real environment |
| CN105991990A (zh) * | 2015-01-23 | 2016-10-05 | 江苏南大五维电子科技有限公司 | 3d信息获取设备、3d信息获取方法、成像设备及电子设备 |
| CN107003391A (zh) * | 2014-11-21 | 2017-08-01 | 微软技术许可有限责任公司 | 飞行时间***的多图案照明光学器件 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19704496C2 (de) | 1996-09-05 | 2001-02-15 | Rudolf Schwarte | Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle |
| CN103764023B (zh) | 2011-07-30 | 2016-03-16 | 株式会社日立医疗器械 | 鸟笼型高频线圈及磁共振成像装置 |
| WO2013174614A1 (de) * | 2012-05-21 | 2013-11-28 | Ifm Electronic Gmbh | Lichtlaufzeitkamerasystem |
| WO2013174613A1 (de) * | 2012-05-21 | 2013-11-28 | Ifm Electronic Gmbh | Lichtlaufzeitkamerasystem |
| DE102013109020B4 (de) * | 2013-08-21 | 2016-06-09 | Pmdtechnologies Gmbh | Streulichtreferenzpixel |
| US10132626B2 (en) * | 2013-09-18 | 2018-11-20 | Infineon Technologies Ag | Adaptive distance estimation |
| DE102014214733B3 (de) * | 2014-07-28 | 2015-07-23 | Pmd Technologies Gmbh | Lichtlaufzeitsensor mit einer Vorrichtung zur Ladungskompensation |
| US9773155B2 (en) * | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
| US10677923B2 (en) * | 2014-11-12 | 2020-06-09 | Ams Sensors Singapore Pte. Ltd. | Optoelectronic modules for distance measurements and/or multi-dimensional imaging |
| US9900581B2 (en) * | 2015-04-21 | 2018-02-20 | Infineon Technologies Ag | Parametric online calibration and compensation in ToF imaging |
| US9792673B2 (en) | 2015-09-25 | 2017-10-17 | Intel Corporation | Facilitating projection pre-shaping of digital images at computing devices |
| US10401496B2 (en) * | 2015-09-30 | 2019-09-03 | Ams Sensors Singapore Pte. Ltd. | Optoelectronic modules operable to collect distance data via time-of-flight and triangulation |
| US10151838B2 (en) * | 2015-11-24 | 2018-12-11 | Microsoft Technology Licensing, Llc | Imaging sensor with shared pixel readout circuitry |
| US10605920B2 (en) * | 2016-01-13 | 2020-03-31 | Ams Sensors Singapore Pte. Ltd. | Power savings through refresh control for distance sensing devices |
| DE102016204140B3 (de) * | 2016-03-14 | 2017-04-06 | pmdtechnologies ag | Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera |
| US10466355B2 (en) * | 2016-08-29 | 2019-11-05 | Ams Sensors Singapore Pte. Ltd. | Optoelectronic modules for distance measurements and supplemental measurements |
| DE102017202754B4 (de) * | 2016-10-14 | 2022-08-04 | Infineon Technologies Ag | Optische Sensoreinrichtung und Verfahren zur Ansteuerung der optischen Sensoreinrichtung |
| DE102016223568B3 (de) * | 2016-10-14 | 2018-04-26 | Infineon Technologies Ag | Optische Sensoreinrichtung mit tiefen und flachen Steuerelektroden |
| JP7215996B2 (ja) * | 2016-11-17 | 2023-01-31 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 少なくとも１つの物体を光学的に検出するための検出器 |
| US20180143321A1 (en) * | 2016-11-22 | 2018-05-24 | 4Sense, Inc. | Modulated-Light-Based Passive Tracking System |
| US10917626B2 (en) * | 2016-11-23 | 2021-02-09 | Microsoft Technology Licensing, Llc | Active illumination 3D imaging system |
| US10616519B2 (en) * | 2016-12-20 | 2020-04-07 | Microsoft Technology Licensing, Llc | Global shutter pixel structures with shared transfer gates |
| US20180217234A1 (en) * | 2017-01-27 | 2018-08-02 | 4Sense, Inc. | Diffractive Optical Element for a Time-of-Flight Sensor and Method of Operation of Same |
| US20180217235A1 (en) * | 2017-01-27 | 2018-08-02 | 4Sense, Inc. | Projection System for a Time-of-Flight Sensor and Method of Operation of Same |
| DE102017105142B4 (de) * | 2017-03-10 | 2021-09-16 | Infineon Technologies Ag | Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz |
| GB201704443D0 (en) * | 2017-03-21 | 2017-05-03 | Photonic Vision Ltd | Time of flight sensor |
| US10928489B2 (en) * | 2017-04-06 | 2021-02-23 | Microsoft Technology Licensing, Llc | Time of flight camera |
| US10901087B2 (en) * | 2018-01-15 | 2021-01-26 | Microsoft Technology Licensing, Llc | Time of flight camera |
-
2018
- 2018-04-03 CN CN201880037067.9A patent/CN110709722B/zh active Active
- 2018-04-03 US US16/500,704 patent/US11525918B2/en active Active
- 2018-04-03 DE DE102018107801.3A patent/DE102018107801A1/de active Pending
- 2018-04-03 WO PCT/EP2018/058456 patent/WO2018185083A2/de active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2073035A1 (en) * | 2007-12-18 | 2009-06-24 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Recording of 3D images of a scene |
| CN103748479A (zh) * | 2011-07-15 | 2014-04-23 | 软动力学传感器公司 | 用于提供距离信息的飞行时间摄像机及方法 |
| CN104919332A (zh) * | 2012-12-17 | 2015-09-16 | Pmd技术有限公司 | 具有运动识别的光飞行时间照相机 |
| WO2014145722A2 (en) * | 2013-03-15 | 2014-09-18 | Digimarc Corporation | Cooperative photography |
| DE102014205585A1 (de) * | 2013-03-28 | 2014-10-02 | Pmdtechnologies Gmbh | Lichtlaufzeitkamerasystem |
| CN105452895A (zh) * | 2013-06-13 | 2016-03-30 | 巴斯夫欧洲公司 | 用于光学地检测至少一个对象的检测器 |
| CN105452894A (zh) * | 2013-06-13 | 2016-03-30 | 巴斯夫欧洲公司 | 用于光学地检测至少一个对象的检测器 |
| CN107003391A (zh) * | 2014-11-21 | 2017-08-01 | 微软技术许可有限责任公司 | 飞行时间***的多图案照明光学器件 |
| WO2016107635A1 (en) * | 2014-12-29 | 2016-07-07 | Metaio Gmbh | Method and system for generating at least one image of a real environment |
| CN105991990A (zh) * | 2015-01-23 | 2016-10-05 | 江苏南大五维电子科技有限公司 | 3d信息获取设备、3d信息获取方法、成像设备及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 潘华东 ; 王其聪 ; 谢斌 ; 许世芳 ; 刘济林 ; .飞行时间法三维成像摄像机数据处理方法研究.浙江大学学报(工学版).2010,第44卷(第06期),第1049-1056页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018185083A2 (de) | 2018-10-11 |
| WO2018185083A3 (de) | 2018-12-27 |
| US20200096637A1 (en) | 2020-03-26 |
| CN110709722A (zh) | 2020-01-17 |
| DE102018107801A1 (de) | 2018-10-04 |
| US11525918B2 (en) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110709722B (zh) | 飞行时间摄像机 | |
| JP7191921B2 (ja) | Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 | |
| CN111830530B (zh) | 一种距离测量方法、***及计算机可读存储介质 | |
| US11536804B2 (en) | Glare mitigation in LIDAR applications | |
| US9194953B2 (en) | 3D time-of-light camera and method | |
| CN110325879B (zh) | 用于压缩三维深度感测的***和方法 | |
| US8159598B2 (en) | Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera | |
| EP3163316B1 (en) | Apparatus and method for obtaining a depth image | |
| CN111766596A (zh) | 一种距离测量方法、***及计算机可读存储介质 | |
| JP2009192499A (ja) | 距離画像生成装置 | |
| CN112689776A (zh) | 使用彩色图像数据校准深度感测阵列 | |
| CN111796295B (zh) | 一种采集器、采集器的制造方法及距离测量*** | |
| US20120162370A1 (en) | Apparatus and method for generating depth image | |
| JP2016009474A (ja) | 物体識別システム、情報処理装置、情報処理方法及びプログラム | |
| JP2020160044A (ja) | 測距装置および測距方法 | |
| CN213091889U (zh) | 一种距离测量*** | |
| CN111796296A (zh) | 一种距离测量方法、***及计算机可读存储介质 | |
| US11921217B2 (en) | Method and device for the dynamic extension of a time-of-flight camera system | |
| JP2020193957A (ja) | 測距異常を補正する距離画像生成装置 | |
| Kirmani et al. | Spatio-temporal regularization for range imaging with high photon efficiency | |
| CN112887627B (zh) | 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质 | |
| US20230351622A1 (en) | Image processing circuitry and image processing method | |
| CN112887628B (zh) | 光探测和测距设备及增加其动态范围的方法 | |
| CN118102110A (zh) | 一种快速调节曝光的深度模组及电子设备 | |
| Ortiz et al. | Estimation of intensity uncertainties for computer vision applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |