CN114761825A - 飞行时间成像电路、飞行时间成像***、飞行时间成像方法 - Google Patents

飞行时间成像电路、飞行时间成像***、飞行时间成像方法 Download PDF

Info

Publication number
CN114761825A
CN114761825A CN202080085329.6A CN202080085329A CN114761825A CN 114761825 A CN114761825 A CN 114761825A CN 202080085329 A CN202080085329 A CN 202080085329A CN 114761825 A CN114761825 A CN 114761825A
Authority
CN
China
Prior art keywords
image
image data
time
image feature
flight imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085329.6A
Other languages
English (en)
Inventor
弗拉迪米尔·兹洛科利察
亚历克斯·卡莫维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114761825A publication Critical patent/CN114761825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开总体上涉及飞行时间成像电路，该飞行时间成像电路被配置为：从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；确定第一图像数据中的第一图像特征；从图像传感器获得第二图像数据，该第二图像数据指示场景；确定第二图像数据中的第二图像特征；估计第二图像特征相对于第一图像特征的运动；并且基于所估计的运动合并第一图像数据和第二图像数据。

Description

飞行时间成像电路、飞行时间成像***、飞行时间成像方法
技术领域
本公开总体上涉及飞行时间成像电路、飞行时间成像***和飞行时间成像方法。
背景技术
通常，飞行时间成像***是已知的。这样的***通常测量发射光的往返延迟、光的相移(其可以指示往返延迟)、发射光的失真等，以确定对象的深度图或三维模型。
通常，为了测量三维对象或对三维对象进行成像，期望具有相对精确的测量输出。然而，在已知***中，所谓的多径伪影、混叠效应等可能会使这种测量恶化。
尽管存在用于处理飞行时间图像数据的技术，但是通常期望提供飞行时间成像电路、飞行时间成像***和飞行时间成像方法。
发明内容
根据第一方面，本公开提供了一种飞行时间成像电路，其被配置为：从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；确定第一图像数据中的第一图像特征；从图像传感器获得第二图像数据，该第二图像数据指示场景；确定第二图像数据中的第二图像特征；估计第二图像特征相对于第一图像特征的运动；并且基于所估计的运动合并第一图像数据和第二图像数据。
根据第二方面，本公开提供了一种飞行时间成像***，包括：点状光源，被配置为用点状光照明场景；图像传感器；以及飞行时间成像电路，其被配置为：从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；确定第一图像数据中的第一图像特征；从图像传感器获得第二图像数据，该第二图像数据指示场景；确定第二图像数据中的第二图像特征；估计第二图像特征相对于第一图像特征的运动；并且基于所估计的运动合并第一图像数据和第二图像数据。
根据第三方面，本公开提供了一种飞行时间成像方法，包括：从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；确定第一图像数据中的第一图像特征；从图像传感器获得第二图像数据，该第二图像数据指示场景；确定第二图像数据中的第二图像特征；估计第二图像特征相对于第一图像特征的运动；并且基于所估计的运动合并第一图像数据和第二图像数据。
在从属权利要求、以下描述和附图中阐述了其他方面。
附图说明
参考所附附图通过示例的方式解释实施例，其中：
图1描绘了根据本公开的飞行时间成像***的框图；
图2描绘了根据本公开的飞行时间成像方法的框图；
图3描绘了根据本公开的飞行时间成像方法的另一实施例的框图；
图4描绘了根据本公开的飞行时间成像方法的另一实施例；
图5描绘了根据本公开的移动电话的框图；
图6描绘了根据本公开的飞行时间成像方法的另一实施例的框图；以及
图7描绘了使用参考帧的方法。
具体实施方式
在给出参考图1的实施例的详细描述之前，进行总体解释。
如开头所述，用已知飞行时间***的测量可能导致多径伪影，这可能会使测量恶化，而通常期望减少成像伪影。
此外，在某些情况下，通常期望提高对象的飞行时间测量、深度图和/或三维模型的分辨率。
已经认识到，在点飞行时间的情况下，可以用有限数量的光点照明场景。因此，所获取的飞行时间图像的分辨率可以限制于该有限数量的光点。
还已经认识到，可以通过增加光点的数量来提高分辨率，其中，期望保持光源的大小而不是为了增加光点的数量而增加光源的大小。
因此，已经认识到，可以通过在飞行时间图像获取的连续帧之间的光源的移动或运动来实现，使得可以照明场景(和/或对象)的更宽区域。
此外，已经认识到，可以通过图像传感器移动或运动来提高图像质量。在单次飞行时间测量中，在某些情况下可能无法区分应该测量的光信号与可能已经传播更长距离的反射光信号。通常，这种效应被称为多径效应。
因此，已经认识到，如上所述，可以通过考虑来自不同位置的两个(或多个)(连续的)测量(其可以基于图像传感器的运动)来减小多径效应的影响。
例如，通过使用一组具有预定数量的光点，可以识别或估计多径伪影，从而可以从所获得的深度和/或从所获得的置信度值中去除伪影。
可以通过考虑相对于(一组光点的)光点的至少一个相邻光点来识别多径伪影。这是可能的，这是因为在一些实施例中可以使用光(点)的非连续分布。
在可以使用(调制)光的连续分布(例如，间接飞行时间)的其他实施例中，成像元件(例如，像素)相对于对象或对象的固定位置的运动可以用于识别多径伪影。
可以通过增加点状光源的点密度来实现光的连续分布，这样的光点(部分地)重叠。然而，本公开不限于用点状光源生成光的连续分布，从而可以利用任何光源。
在一些实施例中，多径伪影的识别导致(单帧的)分辨率降低。然而，通过获取多个帧并合并它们(如本文所讨论的)来补偿降低的分辨率。
因此，一些实施例涉及飞行时间成像电路，其被配置为：从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；确定第一图像数据中的第一图像特征；从图像传感器获得第二图像数据，该第二图像数据指示场景；确定第二图像数据中的第二图像特征；估计第二图像特征相对于第一图像特征的运动；并且基于所估计的运动合并第一图像数据和第二图像数据。
通常，飞行时间成像电路可以包括被配置为执行、处理、评估、执行飞行时间测量等的任何电路，诸如处理器，例如，中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等，其中，也可以设想多个这样的组件，也可以设想这些组件的组合。此外，飞行时间成像电路可以包括或可以包括在计算机、服务器、相机等和/或其组合中。
飞行时间成像电路可以被配置为从图像传感器获得第一图像数据。
图像传感器通常可以是任何已知的图像传感器，其可以包括一个或多个成像元件(例如，像素)，并且基于已知的半导体或二极管技术，诸如互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)、电流辅助光子解调器(CAPD)、单光子雪崩二极管(SPAD)等。
图像传感器可以被配置为响应于入射到图像平面(例如，在一个或多个像素上)的光而生成电信号，这是众所周知的，其中，可以处理电信号，从而可以指示、生成第一图像数据等。
此外，图像平面可以具有比图像传感器更大的面积。例如，可以通过移动图像传感器的总区域来建立图像平面，使得图像平面可以至少覆盖该区域(或甚至更多)。
获得第一图像数据和/或第二图像数据可以包括向图像传感器(或耦接到图像传感器的任何电路，诸如存储器等)发送请求，以便(主动)获取第一图像数据，而在一些实施例中，由飞行时间成像电路在预定时间点(被动)接收第一(和/或第二)图像数据。这意味着获得可以进一步包括响应于经由总线从数据存储器等接收的发送到图像传感器的请求而接收第一图像数据和/或第二图像数据。通常，应当注意，第一图像数据的主动获取还可以包括被动接收，即(主动)请求可以在预定时间点建立第一图像数据和/或第二图像数据的被动接收等。
第一(和/或第二)图像数据可以指示场景。该场景可以包括应当(或正在)执行深度测量的对象。此外，该场景可以包括对象的周围(例如，背景)，其在图像平面上的投影面积可能比对象大，使得在图像传感器的移动之后图像传感器未(完全)捕获对象的情况下仍然可以捕获场景等。
通常，场景可以用点状光照明，点状光可以来自点状光源，诸如二极管激光器(或多个二极管激光器)、垂直腔面发射激光器(VCSEL)等，其可以被配置为用由点状光源生成的多个光点照明场景。点状光可以基于预定的图案，其中，多个光点的形状和/或布置可以是预定的，使得多个光点和/或图案中的至少一个的失真、涂抹、变形等(例如，不同光点的距离/布置的变化)可以指示图像传感器和/或光源到场景之间的距离或深度。
在一些实施例中，(至少)两个光点之间的距离可以指示对象(和/或场景)和/或两个光点的相应(相对或绝对)深度，或者可以指示图像特征。
因此，根据本公开的飞行时间测量可以在不同的照明场景下(例如，在黑暗的照明条件下(例如，几乎没有背景光)、在明亮的照明条件下(例如，在阳光下)、在室内、在日光下等)执行。
此外，可以在点状光源中使用不同的波段(或信道)。
例如，光源可以发射不同的光颜色(具有不同波长范围的光，例如，红外(波长范围)和绿色(波长范围))，以便对特征进行更精确的特征重构，这些特征对相应的颜色(波长范围)更敏感。例如，人类皮肤可以具有已知的红外光的反射率(例如，80％)，而花卉或植物可以具有已知的绿光的反射率(例如，90％)，使得在这样的实施例中，光源可以配置为发射红外光和绿光，在这方面不限制本公开，因为可以发射任何波长范围的光。此外，本公开不限于两种不同颜色的情况，因为也可以发射三种、四种、五种或更多颜色。
在第一图像数据中，可以确定第一图像特征。
众所周知，第一图像数据可以指示置信度和/或深度。
例如，可以在(第一和/或第二)图像数据中针对图像特性分析场景的至少一个光点。
图像特性可以包括(对象和/或场景的至少一部分的)形状、(对象和/或场景的至少一部分的)图案等。
此外，可以针对图像状况分析至少一个点(另一点或同一点)。
图像状况可以包括对象/和/或场景的光强度、反射率、散射特性等。
在一些实施例中，仅可以分析图像状况(或一个以上的图像状况)，而在一些实施例中，仅可以分析图像特性(或一个以上的图像特性)。然而，在一些实施例中，可以分析至少一个图像状况和至少一个图像特性。
这样的图像状况和/或图像特性中的至少一个可以对应于第一图像特征，或者可以由第一图像特征表示或包括。
因此，第一图像特征可以包括(或基于)至少一个图像状况和/或至少一个图像特性。
此外，可以基于至少一个图像状况和/或至少一个图像特性，例如通过人工智能、人工神经网络来识别第一图像特征，人工神经网络可以利用一个或多个机器学习算法来确定第一图像特征等。
此外，飞行时间成像电路可以获得第二图像数据，该第二图像数据可以以与第一图像数据类似的方式生成，而在这方面不限制本公开。
在第二图像数据中，可以确定第二图像特征。第二图像特征的确定可以以与第一图像特征的确定类似的方式进行，而在这方面不限制本公开。第二图像特征可以对应于第一图像特征，使得第二图像特征可以包括相同的图像特征，其中，在一些实施例中，第二图像特征可以包括从不同角度成像或测量的第一图像特征，例如，在图像传感器的移动之后。
然而，在一些实施例中，第二图像特征可以不同于第一图像特征。例如，响应于图像传感器的(有意的(例如，受控的)或无意的(例如，手的晃动))移动或在图像传感器的(有意的(例如，受控的)或无意的(例如，手的晃动))移动期间，可以确定第二图像特征在移动之前被投影到与第一图像特征相同的(一组)像素或在与第一图像特征相同的(一组)像素中被识别。
然而，在一些实施例中，第二图像特征可以不同于第一图像特征，因为它可以基于图像状况或图像特性的不同集合来识别，或者因为图像状况的集合的特定值或量值可以不同于第一图像特征的值或量值。
例如，如果第二图像特征是与第一图像特征不同的对象图案，则可以指示正在对对象的不同部分进行成像。该部分可能根本没有在第一图像数据中成像，或者可能已经用不同的像素组成像。
在第一种情况(未成像)下，可以提高所得图像的分辨率。在第二种情况(不同的像素组)下，可以对多径效应进行滤波。
然而，在一些实施例中，可以忽略多径效应，因为例如多径效应很小，或者可能已经被滤波(如上所述)。
此外，可以识别第一图像特征与第二图像特征(或可以由第一图像特征和/或第二图像特征指示的点的集合)之间的对应关系。例如，第一图像特征可以指示参考点集合，并且第二图像特征可以指示与参考点集合相比较的第二点集合。
此外，所识别的对应关系可以用于基于所识别的对应关系彼此合并至少两个帧。
因此，可以提高图像质量(例如，分辨率)。
这样的对应关系和/或合并的识别可以在一些实施例中迭代地重复以使图像质量最大化。
基于第二图像特征，可以估计第二图像特征相对于第一特征的运动。
例如，可以确定第一图像特征和第二图像特征的位置。相应位置可以包括图像平面上的位置、图像传感器上的位置、场景内的位置等。然后可以比较不同的位置，使得可以估计或确定第二图像特征相对于第一图像特征的运动。
基于所估计的运动，可以合并第一图像数据和第二图像数据。因此，可以生成可以包括第一图像数据和第二图像特征和/或第一图像数据和第二图像特征的相应位置的合并的图像数据。
合并可以包括考虑到所估计的运动和第一图像数据和/或第二图像特征的第一图像数据和第二图像数据的组合。因此，与第一图像数据和第二图像数据相比，合并的图像数据(或基于合并的图像数据的图像)可以具有更高的分辨率，并且可以具有更少的成像伪影(例如，多径伪影)。
在一些实施例中，运动基于图像传感器和生成点状光的光源中的至少一个的振动。
振动可以是由诸如偏心电机、线性谐振致动器等的振动装置引起的运动，如通常已知的，使得导致图像传感器和/或光源的运动、位移等，如本文所讨论的，用于确定第一图像特征和第二图像特征。
应当注意，运动或移动不限于由振动引起或基于振动，因为飞行时间成像电路可以基于任何类型的运动(或甚至不运动)来处理第一图像数据和第二图像数据。
例如，移动可以由手的(无意的)晃动、可以引起(随机的)移动的车辆的运动、由车辆的马达引起的振动等引起(在车辆中提供飞行时间成像电路的实施例中)。
此外，运动或移动可以包括在预定位置上的受控(缓慢)运动，其中，这种受控移动的幅度通常可以大于振动的幅度。
此外，(点状)光源可以适于以如下方式照明对象(或场景)：在每个照明周期中，可以照明对象(或场景)的不同部分。因此，可以模拟移动。
在一些实施例中，飞行时间成像电路进一步被配置为执行包括用于估计运动和/或深度的第一图像特征和第二图像特征的三角测量。
三角测量可以包括已知距离，例如用于进一步指定第二图像特征的位置的参考点等。
此外，考虑到第一图像特征和第二图像特征的相应位置，可以利用三角测量来确定另一图像特征或另一图像特征的位置。
在一些实施例中，如上所述，可以获取参考点集合和第二点集合，并且可以识别对应关系。基于所识别的对应关系，可以确定基本矩阵或基础矩阵，其可以指示第二点集合的参考点集合之间的旋转和平移，从而指示第一图像特征与第二图像特征之间的旋转和平移。
基于旋转和平移，可以执行三角测量，并且可以确定第二图像特征的深度，该深度可以与第一图像的深度进行比较。在相应深度的比较低于预定阈值的情况下，可以假设所确定的旋转和平移具有预定精度。
如果达到预定精度，则可以考虑平移和旋转(例如，用于校正移动失真)来合并(例如，混合)第一帧和第二帧(包括第一图像特征和第二图像特征)，从而可以提高分辨率。
在一些实施例中，如上所述，三角测量可以基于与第一图像特征相比第二图像特征的所确定的深度的视差。该视差可以定义为深度上的视差。因此，第二图像特征和第一图像特征的位置的差(视差)可以表示为：x2-x1＝(l/深度)，x1包括第一图像特征的位置，x2包括第二图像特征的位置。假设第一图像特征和第二图像特征对应(彼此对应)，并且假设深度恒定，则可以确定例如第一图像特征的位置。
在一些实施例中，飞行时间成像电路进一步被配置为匹配第一图像特征和第二图像特征。
如果第一图像特征和第二图像特征相同，但是由运动引起的位移而移位，则可以执行如上所述的匹配。
可以基于与第一图像特征具有相同(或类似，例如低于预定阈值)图像状况或图像特性的第二图像特征来执行匹配。
例如，当第二图像特征的光强度在第一图像特征的光强度的预定阈值内时，第二图像特征可以与第一图像特征匹配。
在一些实施例中，飞行时间成像电路进一步被配置为基于匹配确定第一深度。
由于第一图像特征和第二图像特征可以彼此对应，但是它们的位置可以基于位移，如本文所述，相应特征可以在不同的(局部)坐标系中象征性地表示。
基于这样的坐标系，可以更精确地确定深度或距离(比本领域已知的仅用一次飞行时间测量更精确)，使得基于该匹配，可以例如通过取第一图像特征的距离和第二图像特征的距离的(加权)平均值来确定距离。
此外，可以考虑两个(或至少两个)局部坐标系以及第一图像特征和第二图像特征的相应位置，在全局坐标系或图像传感器坐标系中确定第一距离。
在一些实施例中，飞行时间成像电路进一步被配置为基于指示第二深度的第三图像数据确定至少一个第三图像特征。
第三图像特征可以是与第一图像特征和/或第二图像特征不同的另一图像特征，其可以是例如对象的不同特征、图案等(并且因此可以由不同的成像条件和/或成像特性指示)。第三图像特征可以具有第二深度。
应当注意，第二深度通常可以(大致)与第一深度相同，但是如所指示的，可能在对象和/或场景的不同位置处发现。
在一些实施例中，飞行时间电路进一步被配置为基于第一深度和第二深度确定第三深度。
可以基于第一深度和第二深度的处理来确定第三深度，并且因此，可以不必执行进一步的飞行时间测量，使得第三深度可以指示进一步的或第四(虚拟)图像特征，在一些实施例中，第三深度可以通过包括第一深度和第二深度的插值来确定。
在一些实施例中，飞行时间成像电路进一步被配置为基于所估计的运动在时间上对准第一图像数据和第二图像数据。
由于所估计的运动可以以速度、加速度、速率等表示，但是可以(象征性地)被描述或解释为第一图像特征与第二图像特征之间的向量，其中，第一图像特征和第二图像特征的确定(或获取)之间的时间可以是已知的，因此第一图像特征和第二图像数据可以在时间上对准，从而简化所得图像(或深度测量)并提高测量的精度。
如本文所述，一些实施例涉及飞行时间成像***，包括：点状光源，被配置为用点状光源照明场景；图像传感器；以及飞行时间成像电路，被配置为：从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；确定第一图像数据中的第一图像特征；从图像传感器获得第二图像数据，该第二图像数据指示场景；确定第二图像数据中的第二图像特征；估计第二图像特征相对于第一图像特征的运动；并且基于所估计的运动合并第一图像数据和第二图像数据。
通常，飞行时间成像***可以包括其他元件，诸如透镜(堆栈)等，因为它们通常是已知的，因此省略对这样的已知组件的描述。
飞行时间成像***的元件(点状光源、图像传感器、飞行时间成像电路等)可以分布在若干子***中，或者可以设置在集成***中，诸如飞行时间相机、移动电话、汽车等。
例如，如果飞行时间成像***是移动电话，则使得飞行时间成像***的应用可以被视为对象的三维扫描、配准和/或识别，可以在移动电话与对象之间的预定距离内执行飞行时间获取。
移动电话可以设置用于启动三维获取的触发器(例如，虚拟或真实按钮)。响应于该触发器，可以发起移动电话的振动。振动可以持续到获取(或提取)飞行时间测量的帧(例如，持续10秒)。在这样的获取周期期间，可以执行飞行时间成像方法(如下所述)。
此外，在一些实施例中，可以从相对于对象的不同角度(或从不同角度)发起进一步的获取。
因此，可以生成包括网格、阴影和/或纹理等的对象的三维模型。
然而，本公开不限于多次获取，使得飞行时间成像方法(下文讨论)也可以基于一次获取(一次拍摄)，以及例如用于识别、面部认证等。
在一些实施例中，如本文所述，飞行时间成像***进一步包括：振动装置，被配置为生成飞行时间成像***的振动，其中，该振动指示第二图像特征相对于第一图像特征的运动。
如上所述，振动装置可以包括偏心电机、线性谐振致动器等。
如本文所讨论的，一些实施例涉及飞行时间成像方法，包括：从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；确定第一图像数据中的第一图像特征；从图像传感器获得第二图像数据，该第二图像数据指示场景；确定第二图像数据中的第二图像特征；估计第二图像特征相对于第一图像特征的运动；并且基于所估计的运动合并第一图像数据和第二图像数据。
根据本公开的飞行时间成像方法可以由根据本公开的飞行时间成像电路、根据本公开的飞行时间***等执行。
在一些实施例中，如本文所讨论的，运动基于图像传感器和生成点状光的光源中的至少一个的振动。在一些实施例中，如本文所讨论的，飞行时间方法进一步包括执行包括用于估计运动的第一图像特征和第二图像特征的三角测量。在一些实施例中，如本文所讨论的，飞行时间方法进一步包括匹配第一图像特征和第二图像特征。在一些实施例中，如本文所讨论的，飞行时间方法进一步包括基于匹配确定第一深度。在一些实施例中，如本文所讨论的，飞行时间方法进一步包括基于指示第二深度的第三图像数据确定至少一个第三图像特征。在一些实施例中，如本文所讨论的，飞行时间方法进一步包括基于第一深度和第二深度确定第三深度。在一些实施例中，如本文所讨论的，第三深度基于包括第一深度和第二深度的插值。在一些实施例中，如本文所讨论的，飞行时间方法进一步包括基于所估计的运动在时间上对准第一图像数据和第二图像数据。
本文所述的方法在一些实施例中也被实现为计算机程序，当在计算机和/或处理器上执行时，该计算机程序使计算机和/或处理器执行该方法。
在一些实施例中，还提供了一种存储有计算机程序产品的非暂时性计算机可读记录介质，当由处理器(诸如上述处理器)执行时，该计算机程序产品使得执行本文所述的方法。
返回图1，描绘了根据本公开的飞行时间成像***1的框图。
飞行时间成像***1具有透镜堆栈2，其被配置为将光聚焦到图像传感器3上，如本文所讨论的。
此外，如本文所讨论的，飞行时间成像电路4可以从图像传感器3获得(第一和第二)图像数据，确定第一图像特征和第二图像特征，估计第二图像特征相对于第一图像特征的运动，并且基于所估计的运动合并第一图像特征和第二图像数据，如本文所讨论的。
如本文所讨论的，飞行时间成像***1进一步包括点状光源5和振动装置6。
图2描绘了根据本公开的飞行时间成像方法10的框图。
在11中，如本文所讨论的，从图像传感器获得第一图像数据，其中，第一图像数据指示用点状光照明的场景。在本实施例中，被配置为执行飞行时间成像方法10的飞行时间成像电路经由总线连接到图像传感器，使得图像传感器将第一图像数据传输到飞行时间成像电路。
在12中，通过在飞行时间成像电路中实现的图案识别算法在第一图像数据中确定第一图像特征。
在13中，经由总线从图像传感器获得第二图像数据。
在14中，如本文所讨论的，通过图案识别算法在第二图像数据中确定第二图像特征。
在15中，通过比较第二图像特征相对于第一图像特征的位置来估计第二图像特征相对于第一图像特征的运动。
在16中，如本文所讨论的，基于所估计的运动合并第一图像数据和第二图像数据。
图3在框图中描绘了根据本公开的飞行时间成像方法20的另一实施例。
飞行时间成像方法20与相对于图2描述的飞行时间成像方法10的不同之处在于基于三角测量检测运动，第一图像数据和第二图像数据在时间上对准，并且基于第一深度和第二深度确定第三图像特征。
在本实施例中，基于置信度数据来确定运动，该置信度数据在飞行时间领域中通常是已知的。基于置信度数据，执行三角测量以确定深度。
在21中，如本文所讨论的，从图像传感器获得第一图像数据，其中，第一图像数据指示用点状光照明的场景。在本实施例中，图像传感器和执行飞行时间成像方法20的飞行时间成像电路经由总线连接，图像传感器通过该总线传输第一图像数据。
在22中，通过在飞行时间成像电路中实现的图案识别算法在第一图像数据中确定第一图像特征。
在23中，经由总线从图像传感器获得第二图像数据。
在24中，通过图案识别算法在第二图像数据中确定第二图像特征。
在25中，执行包括第一图像特征和第二图像特征的三角测量。即，基于参考点和第一图像特征的位置，确定第二图像特征的位置。
在26中，基于三角测量估计第二图像特征相对于第一图像特征的运动。
在27中，匹配第一图像特征和第二图像特征。即，基于运动，将第一图像特征和第二图像特征的相应位置转换为全局坐标系。
在28中，基于匹配确定第一深度，因为在27中通过将第一图像特征和第二图像特征转换为全局坐标系来排除多径效应。
在29中，如本文所讨论的，基于运动在时间上对准第一图像数据和第二图像数据。
在30中，基于所估计的运动合并第一图像数据和第二图像数据，使得所得合并的图像数据具有基于全局坐标系的一个点的所确定的深度。
在31中，基于指示第二深度的第三图像数据确定至少一个第三图像特征。第三图像特征被确定为第一图像特征和/或第二图像特征。然而，第三图像特征在对象的不同位置，因此不同于第一图像特征和第二图像特征。
在32中，基于第一深度和第二深度以及第一深度与第二深度之间的插值来确定第三深度。
图4描绘了根据本公开的飞行时间成像方法40。飞行时间成像方法40与飞行时间成像方法20的先前实施例的不同之处在于它由包括振动装置的移动电话执行。
移动电话41包括飞行时间成像***42。应当注意，在该实施例中，振动装置不包括在飞行时间成像***42中，而是包括在移动电话41中，使得飞行时间成像***42在移动电话41振动时经历运动。
如本文通常已知和描述的，从移动电话41(和飞行时间成像***42)，在43中确定初始运动和位置信息、置信度数据和深度数据。
基于用作全局坐标系中的参考点的初始运动和位置信息(如上所述)，在44中确定飞行时间成像***42的飞行时间图像传感器的进一步位置。
此外，对于在时间点t、t+1和t+2处连续获取的多个置信度子帧45，确定飞行时间测量的置信度值。对于大致在时间点t、t+1和t+2处连续获取的多个深度子帧46，确定深度值。
基于传感器位置和移动以及在时间点t-1处先前测量的置信度值和参考帧47，在48中执行运动估计。
此外，在49中匹配并且三角测量在时间点t、t+1和t+2处基于置信度子帧45确定的置信度值和参考帧的置信度值。
在50中，将匹配的置信度值与参考帧的置信度值进行比较。此外，将深度子帧46的深度值与来自参考帧的深度值进行比较。在这些比较的基础上，执行测量的进一步完善。
如果50中的比较使得置信度子帧45的置信度值和深度子帧46的深度值收敛于参考帧的置信度值和深度值，则在51中，子帧45和46的每个置信度值和深度值与所估计的运动相关联，并且基于该关联，执行在所确定的置信度值与深度值之间的时间对准和时空(在时间上对准之后和在确定第二深度之后，如上所述)插值，如本文所讨论的。
子帧45和46被处理为置信度帧和深度帧，其然后(一起)用作用于后续测量的参考帧T，其在52中示出。
图5描绘了移动电话60(作为飞行时间成像***)的框图，该移动电话60包括振动装置61、惯性测量单元(IMU)62、点状光源63、飞行时间图像传感器64和用于控制振动、用于控制点状光源63的定时和/或用于控制飞行时间图像传感器64的控制电路65。此外，控制电路65被适配为根据本公开的飞行时间成像电路。
点状光源63是点投影仪，其被配置为将小红外点(或光点)的网格投影到对象(或场景，如上所述)上，并且在本实施例中包括用于投影网格的多个垂直腔面发射激光器(VCSEL)。
利用这样的配置，可以实现对象的三维扫描和配准，其中，多径效应被最小化，并且其中，实现几何光度(亮度)分辨率。
因此，可以有效地执行对象识别(例如，面部识别)。
图6描绘了飞行时间成像方法70的另一实施例的框图。
在71中，示出了包括基于第一图像数据的多个第一图像特征72和基于第二图像数据的多个第二图像特征73的图像平面(例如，图像传感器)。第一图像特征72和第二图像特征73对应于从光源投影到对象上的光点，其中，光点由图像传感器捕获并由飞行时间成像电路分析，从而识别第一图像特征72和第二图像特征73。
因此，如本文所讨论的，光点的第一图像特征72和第二图像特征73归因于基于振动的光源的运动。
在74中，基于第一图像特征72和第二图像特征73，执行第二图像特征73相对于第一图像特征72的全局运动估计，并且基于所估计的运动在图像平面71上对准第二图像特征。
在75中，执行图像修复、插值和滤波以提高分辨率并滤波伪影。
在76中，输出图像帧。
然后将输出图像帧用作连续测量的参考图像帧，如上所述。
图7示出了用于使用参考帧的方法80。
示出了在时间点t至t+5处获取的多个子帧81。
对于第一图像帧，考虑前三个子帧(t、t+1和t+2)，使得在第一输出时间T处输出第一图像帧(帧1)。对于第二图像帧，考虑第三至第六子帧(t+2、t+3、t+4、t+5)，使得在第二输出时间T+1处以帧1作为参考帧输出第二图像帧(帧2)。
应当认识到，实施例描述了具有方法步骤的示例性顺序的方法。然而，方法步骤的具体顺序仅出于说明性目的给出，并且不应被解释为是绑定的。例如，可以交换图2的实施例中的11和13的顺序。此外，可以交换图2的实施例中的12和14的顺序。此外，还可以交换图3的实施例中的29和31的顺序。方法步骤顺序的其他变化对于技术人员来说可以是显而易见的。
请注意，将飞行时间成像***60划分为单元62和65仅出于说明性目的，并且本公开不限于特定单元中的任何特定功能划分。例如，控制电路65和IMU 62可以由相应的编程处理器、现场可编程门阵列(FPGA)等实现。
该方法还可以被实现为计算机程序，当在计算机和/或处理器上执行时，该计算机程序使计算机和/或处理器(诸如以上讨论的飞行时间成像电路4)执行该方法。在一些实施例中，还提供了一种存储有计算机程序产品的非暂时性计算机可读记录介质，当由处理器(诸如上述处理器)执行时，该计算机程序产品使得执行所描述的方法。
如果没有另外说明，则本说明书中描述的和所附权利要求中要求保护的所有单元和实体可以被实现为集成电路逻辑，例如在芯片上，并且如果没有另外说明，则由这样的单元和实体提供的功能可以通过软件实现。
就至少部分地使用软件控制的数据处理设备来实现上述公开的实施例而言，应当理解，提供这种软件控制的计算机程序和提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
注意，本技术也可以如下所述进行配置。
(1)一种飞行时间成像电路，被配置为：
从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；
确定第一图像数据中的第一图像特征；
从图像传感器获得第二图像数据，该第二图像数据指示场景；
确定第二图像数据中的第二图像特征；
估计第二图像特征相对于第一图像特征的运动；并且
基于所估计的运动合并第一图像数据和第二图像数据。
(2)根据(1)的飞行时间成像电路，其中，该运动基于图像传感器和生成点状光的光源中的至少一个的振动。
(3)根据(1)和(2)中任一项的飞行时间成像电路，进一步被配置为执行包括用于估计运动的第一图像特征和第二图像特征的三角测量。
(4)根据(1)至(3)中任一项的飞行时间成像电路，进一步被配置为匹配第一图像特征和第二图像特征。
(5)根据(1)至(4)中任一项的飞行时间成像电路，进一步被配置为基于匹配确定第一深度。
(6)根据(5)的飞行时间成像电路，进一步被配置为基于指示第二深度的第三图像数据确定至少一个第三图像特征。
(7)根据(6)的飞行时间成像电路，进一步被配置为基于第一深度和第二深度确定第三深度。
(8)根据(7)的飞行时间成像电路，其中，第三深度的确定基于包括第一深度和第二深度的插值。
(9)根据(1)至(8)中任一项的飞行时间成像电路，进一步被配置为基于所估计的运动在时间上对准第一图像数据和第二图像数据。
(10)一种飞行时间成像***，包括：
点状光源，被配置为用点状光源照明场景；
图像传感器；以及
飞行时间成像电路，被配置为：
从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；
确定第一图像数据中的第一图像特征；
从图像传感器获得第二图像数据，该第二图像数据指示场景；
确定第二图像数据中的第二图像特征；
估计第二图像特征相对于第一图像特征的运动；并且
基于所估计的运动合并第一图像数据和第二图像数据。
(11)根据(10)的飞行时间成像***，进一步包括：振动装置，被配置为生成飞行时间成像***的振动，其中，该振动指示第二图像特征相对于第一图像特征的运动。
(12)一种飞行时间成像方法，包括：
从图像传感器获得第一图像数据，该第一图像数据指示用点状光照明的场景；
确定第一图像数据中的第一图像特征；
从图像传感器获得第二图像数据，该第二图像数据指示场景；
确定第二图像数据中的第二图像特征；
估计第二图像特征相对于第一图像特征的运动；并且
基于所估计的运动合并第一图像数据和第二图像数据。
(13)根据(12)的飞行时间成像方法，其中，该运动基于图像传感器和生成点状光的光源中的至少一个的振动。
(14)根据(12)和(13)中任一项的飞行时间成像方法，进一步包括：
执行包括用于估计运动的第一图像特征和第二图像特征的三角测量。
(15)根据(12)至(14)中任一项的飞行时间成像方法，进一步包括：
匹配第一图像特征和第二图像特征。
(16)根据(15)的飞行时间成像方法，进一步包括：
基于匹配确定第一深度。
(17)根据(16)的飞行时间成像方法，进一步包括：
基于指示第二深度的第三图像数据确定至少一个第三图像特征。
(18)根据(17)的飞行时间成像方法，进一步包括：
基于第一深度和第二深度确定第三深度。
(19)根据(18)的飞行时间成像方法，其中，第三深度基于包括第一深度和第二深度的插值。
(20)根据(12)至(19)中任一项的飞行时间成像方法，进一步包括：
基于所估计的运动在时间上对准第一图像数据和第二图像数据。
(21)一种包括程序代码的计算机程序，当在计算机上执行时，该程序代码使计算机执行根据(11)至(20)中任一项的方法。
(22)一种存储有计算机程序产品的非暂时性计算机可读记录介质，当由处理器执行时，该计算机程序产品使得执行根据(11)至(20)中任一项的方法。

Claims (20)

1.一种飞行时间成像电路，被配置为：
从图像传感器获得第一图像数据，所述第一图像数据指示用点状光照明的场景；
确定所述第一图像数据中的第一图像特征；
从所述图像传感器获得第二图像数据，所述第二图像数据指示所述场景；
确定所述第二图像数据中的第二图像特征；
估计所述第二图像特征相对于所述第一图像特征的运动；并且
基于所估计的运动合并所述第一图像数据和所述第二图像数据。
2.根据权利要求1所述的飞行时间成像电路，其中，所述运动基于所述图像传感器和生成所述点状光的光源中的至少一个的振动。
3.根据权利要求1所述的飞行时间成像电路，进一步被配置为执行包括用于估计所述运动的所述第一图像特征和所述第二图像特征的三角测量。
4.根据权利要求1所述的飞行时间成像电路，进一步被配置为匹配所述第一图像特征和所述第二图像特征。
5.根据权利要求4所述的飞行时间成像电路，进一步被配置为基于所述匹配确定第一深度。
6.根据权利要求5所述的飞行时间成像电路，进一步被配置为基于指示第二深度的第三图像数据确定至少一个第三图像特征。
7.根据权利要求6所述的飞行时间成像电路，进一步被配置为基于所述第一深度和所述第二深度确定第三深度。
8.根据权利要求7所述的飞行时间成像电路，其中，所述第三深度的确定基于包括所述第一深度和所述第二深度的插值。
9.根据权利要求1所述的飞行时间成像电路，进一步被配置为基于所估计的运动在时间上对准所述第一图像数据和所述第二图像数据。
10.一种飞行时间成像***，包括：
点状光源，被配置为用点状光照明场景；
图像传感器；以及
飞行时间成像电路，被配置为：
从图像传感器获得第一图像数据，所述第一图像数据指示用所述点状光照明的所述场景；
确定所述第一图像数据中的第一图像特征；
从所述图像传感器获得第二图像数据，所述第二图像数据指示所述场景；
确定所述第二图像数据中的第二图像特征；
估计所述第二图像特征相对于所述第一图像特征的运动；并且
基于所估计的运动合并所述第一图像数据和所述第二图像数据。
11.根据权利要求10所述的飞行时间成像***，进一步包括：振动装置，被配置为生成所述飞行时间成像***的振动，其中，所述振动指示所述第二图像特征相对于所述第一图像特征的所述运动。
12.一种飞行时间成像方法，包括：
从图像传感器获得第一图像数据，所述第一图像数据指示用点状光照明的场景；
确定所述第一图像数据中的第一图像特征；
从所述图像传感器获得第二图像数据，所述第二图像数据指示所述场景；
确定所述第二图像数据中的第二图像特征；
估计所述第二图像特征相对于所述第一图像特征的运动；并且
基于所估计的运动合并所述第一图像数据和所述第二图像数据。
13.根据权利要求12所述的飞行时间成像方法，其中，所述运动基于所述图像传感器和生成所述点状光的光源中的至少一个的振动。
14.根据权利要求12所述的飞行时间成像方法，进一步包括：
执行包括用于估计所述运动的所述第一图像特征和所述第二图像特征的三角测量。
15.根据权利要求12所述的飞行时间成像方法，进一步包括：
匹配所述第一图像特征和所述第二图像特征。
16.根据权利要求15所述的飞行时间成像方法，进一步包括：
基于所述匹配确定第一深度。
17.根据权利要求16所述的飞行时间成像方法，进一步包括：
基于指示第二深度的第三图像数据确定至少一个第三图像特征。
18.根据权利要求17所述的飞行时间成像方法，进一步包括：
基于所述第一深度和所述第二深度确定第三深度。
19.根据权利要求18所述的飞行时间成像方法，其中，所述第三深度基于包括所述第一深度和所述第二深度的插值。
20.根据权利要求12所述的飞行时间成像方法，进一步包括：
基于所估计的运动在时间上对准所述第一图像数据和所述第二图像数据。
CN202080085329.6A 2019-12-16 2020-12-15 飞行时间成像电路、飞行时间成像***、飞行时间成像方法 Pending CN114761825A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19216454.9 2019-12-16
EP19216454 2019-12-16
PCT/EP2020/086280 WO2021122641A1 (en) 2019-12-16 2020-12-15 Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method

Publications (1)

Publication Number Publication Date
CN114761825A true CN114761825A (zh) 2022-07-15

Family

ID=68917553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080085329.6A Pending CN114761825A (zh) 2019-12-16 2020-12-15 飞行时间成像电路、飞行时间成像***、飞行时间成像方法

Country Status (4)

Country Link
US (1) US20230003894A1 (zh)
EP (1) EP4078221A1 (zh)
CN (1) CN114761825A (zh)
WO (1) WO2021122641A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220353489A1 (en) * 2021-04-30 2022-11-03 Microsoft Technology Licensing, Llc Systems and methods for efficient generation of single photon avalanche diode imagery with persistence

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233219B (zh) * 2015-03-31 2020-03-17 深圳市大疆创新科技有限公司 移动平台操作***及方法
KR102372088B1 (ko) * 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
US11099009B2 (en) * 2018-03-29 2021-08-24 Sony Semiconductor Solutions Corporation Imaging apparatus and imaging method

Also Published As

Publication number Publication date
US20230003894A1 (en) 2023-01-05
EP4078221A1 (en) 2022-10-26
WO2021122641A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US10740917B2 (en) Automatic correction method and device for structured-light 3D depth camera
CN107204012B (zh) 降低飞行时间深度成像的功耗
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
JP2021507440A (ja) 対象物の３次元画像を生成するための方法およびシステム
García-Moreno et al. LIDAR and panoramic camera extrinsic calibration approach using a pattern plane
JP6990859B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
CN110325879A (zh) 用于压缩三维深度感测的***和方法
US20140139632A1 (en) Depth imaging method and apparatus with adaptive illumination of an object of interest
US10429508B2 (en) Distance measuring device, moving system, and distance measurement method
JP2011123071A (ja) 撮像装置、オクルージョン領域の探索方法、及びプログラム
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
Martel et al. An active approach to solving the stereo matching problem using event-based sensors
JP6782433B2 (ja) 画像認識装置
US11803982B2 (en) Image processing device and three-dimensional measuring system
CN112313541A (zh) 设备和方法
WO2016135856A1 (ja) ３次元形状計測システムおよびその計測方法
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
US20230408253A1 (en) Three-dimensional scanner having sensors with overlapping fields of view
JP7147729B2 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
JP2015184956A (ja) 自己位置算出装置及び自己位置算出方法
KR20220078447A (ko) 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination