CN102346250B - 飞行时间成像器 - Google Patents

飞行时间成像器 Download PDF

Info

Publication number
CN102346250B
CN102346250B CN201110153467.6A CN201110153467A CN102346250B CN 102346250 B CN102346250 B CN 102346250B CN 201110153467 A CN201110153467 A CN 201110153467A CN 102346250 B CN102346250 B CN 102346250B
Authority
CN
China
Prior art keywords
depth
sensor
depth map
time
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110153467.6A
Other languages
English (en)
Other versions
CN102346250A (zh
Inventor
彼得勒斯.G.M.森滕
尼古拉斯.J.达姆斯特拉
杰罗恩.罗特
朱尔.范登海杰坎特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102346250A publication Critical patent/CN102346250A/zh
Application granted granted Critical
Publication of CN102346250B publication Critical patent/CN102346250B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种飞行时间成像器。本发明涉及一种利用飞行时间测量法产生深度图的改善方案，更具体地，涉及具有改善的精确度的飞行时间成像器(6)和飞行时间成像方法。根据本发明，深度校正轮廓施加到测量的深度图，其考虑了在飞行时间成像器(6)的传感器(5)的像素阵列(51)内的传播延迟。

Description

飞行时间成像器
技术领域
本发明涉及利用飞行时间测量法产生深度图的改善方案，更具体地，涉及具有改善的精确度的飞行时间成像器和飞行时间成像方法。
背景技术
对于3D视频内容的产生，除了通常的视频数据之外，测量位于正被捕获的场景中的物体的距离是重要的。为此目的，确定了所谓的深度图。通常飞行时间成像器用于此目的，也就是在飞行时间原理的帮助下建立距离数据的测量***。飞行时间成像器包括光源和光传感器，该光传感器由像素阵列构成。为了测量深度图，光源用脉冲触发，传感器的所有像素用转移栅极(TG)脉冲和全局快门栅极(GSG)脉冲同时地触发。具体见K.Fife等的“A 0.5μm pixel frame-transfer CCD image sensor in 110nm CMOS(在110nmCMOS中的0.5μm像素帧转移CCD图像传感器)”，2007IEEE InternationalElectron Devices Meeting，Vol.35(2007)，pp.1003-1006。
此外，WO2009/135952公开了飞行时间测量的方法和传感器。该传感器适于在可变的背景辐射条件下实现有效的背景辐射抑制。
不仅背景辐射降低深度图测量的精确度。为了获得准确的深度图，光源、转移栅极脉冲和全局快门栅极脉冲之间的时间关系恒定也是重要的。
发明内容
因而，本发明的目的是提供深度图的飞行时间产生的方案，其实现了改善的精确度。
根据本发明，该目的通过用于测量物体的深度图的飞行时间成像器来实现，该飞行时间成像器具有：光源，用于照射物体；传感器，具有用于检测被物体反射的光的像素阵列以获得测量的深度图，其中飞行时间成像器适于(adapted to)将深度校正轮廓施加到测量的深度图。
类似地，一种用飞行时间成像器测量物体的深度图的方法具有以下步骤：
-用光源发射的光照射物体；
-用具有像素阵列的传感器检测被物体反射的光以获得测量的深度图；以及
-施加深度校正轮廓到所测量的深度图。
尽管光源、转移栅极脉冲和全局快门栅极脉冲之间的时间关系的微小控制，特别对于具有大量像素的传感器，所测量的深度图不令人满意。已经发现，这是由飞行时间成像器的传感器引起，也就是由到传感器的不同像素的不同电路长度引起。转移栅极脉冲和全局快门栅极脉冲沿相同的路径传输。因此在这些脉冲之间没有显著的偏差(shift)。然而，这些脉冲关于光源触发脉冲的时间关系在整个传感器的像素阵列上不同，也就是脉冲受到在整个像素阵列上的传播延迟。对传播延迟的另一个贡献来源于传感器的水平和垂直驱动器。精确的传播延迟取决于像素在像素阵列内的位置，但能够容易地在10至20ns的范围内。在下文，此效应被称作“阴影(shading)”。
由于光以3×109m/s的速度传播，所以1m的距离使光延迟3.3ns。为了用飞行时间成像器测量此距离，光必须传播回到成像器，因此1m的距离导致6.6ns的延迟。因此，在成像器上20ns的传播延迟差异导致3m的错误。显然，在成像器上的脉冲的传播延迟对测量的精确度有很大的影响。随着成像器的尺寸变得更大，传播延迟的问题增大。用于解决该问题的直接选择是优化传感器的水平和垂直驱动器用于较高的速度和较低的传播延迟。然而，这增加了传感器以及由此飞行时间成像器的成本。此外，即使优化驱动器，仍会保留残留延迟。
根据本发明的方法通过用深度校正轮廓来校正深度图中由传播延迟引起的误差而解决了传播延迟的问题。该方法具有以下优点，其在保证产生具有改善精确度的深度图的同时能够以低成本实现。此外，通过使得深度校正轮廓可调节，可以应对由传感器的老化或环境变化引起的影响。
有利地，深度校正轮廓是两个n阶多项式的叠加。这两个多项式中的第一个将传感器的行数作为输入值，而这两个多项式中的第二个将传感器的行的像素数作为输入值。优选地，使用两个二阶多项式，因为这在传感器的行方向和列方向上通常是足够的。两个多项式的叠加导致3D深度校正轮廓，其从所测量的深度图被减去以获得校正的深度图。当然，对于两个多项式可以使用不同的阶。
优选地，深度校正轮廓从存储器例如从查阅表(look-up table)取回。这具有仅需要相当有限量的处理能力的优点。可选地，深度校正轮廓基于多项式对飞行进行计算。在此情形下，多项式的系数有利地从存储器取回。尽管后面的方案需要更多的处理能力，但减少了所需的存储器的量。为了应对环境的变化，例如温度或湿度的变化，针对不同环境条件的深度校正轮廓有利地在存储器中可获得。在此情形下，飞行时间成像器包括相应的传感器，例如温度传感器和湿度传感器，以选择合适的深度校正轮廓。
优选地，深度校正轮廓通过测量已知物体的深度图并将测量的深度图与期望的深度图比较而确定。更具体地，为了确定深度校正轮廓，进行以下步骤：
-用光源发射的光来照射一平坦表面，该平坦表面平行于飞行时间成像器的传感器并处于距离飞行时间成像器已知距离的位置；
-用传感器检测被平坦表面反射的光以获得测量的深度图；以及
-从测量的深度图确定深度校正轮廓。
有利地，深度校正轮廓通过以下步骤从测量的深度图确定：
-对传感器的行进行行平均；
-将n阶多项式拟合到平均的行值以确定两个多项式中的第一个；
-从测量的深度图减去平均的行值；
-对传感器的列进行列平均；以及
-将n阶多项式拟合到平均的列值以确定两个多项式中的第二个。
这里，深度校正轮廓以简单的方式确定。
可选地，深度校正轮廓通过从测量的深度图减去已知物体的期望深度图来获得。为此目的，有利地确定多次测试的平均。在此情形下，不需要将任何函数拟合到深度校正轮廓。然而，深度校正轮廓将不那么平滑，因为在此情形下由测量公差引起的噪声对最终的深度校正轮廓具有更大的影响。
此外，替代从良好定义的物体(也就是，平坦表面)测量的深度图确定深度校正轮廓，同样可以直接测量或至少大致计算在传感器的像素的阵列内的转移栅极脉冲和全局快门栅极脉冲的传播延迟。确定的延迟然后被转换成深度值。
附图说明
为了更好的理解，在以下的描述中将参照附图更详细地解释本发明。应理解，本发明不限于此示范性实施例，指定的特征也可以被方便地结合和/或修改，而不背离本发明的由权利要求书所限定的范围。在附图中：
图1示出根据本发明的飞行时间成像器的原理；
图2绘出通过常规飞行时间成像器获得的平坦表面的深度图；
图3解释了在飞行时间成像器的传感器中的传播延迟的起源；
图4示出用2阶多项式拟合到垂直阴影；
图5示出用2阶多项式拟合到水平阴影；
图6绘出通过结合图4和图5的2阶多项式获得的深度校正图；
图7绘出在用图6的深度校正图校正之后图3的深度图；
图8示出以不同深度布置的四个物体的示范性场景；
图9示出用常规飞行时间成像器获得的图8的场景的深度图；
图10绘出在用图6的深度校正图校正之后图9的深度图；以及
图11示出将图10的被校正的深度图中的深度放大。
具体实施方式
图1示出根据本发明的飞行时间成像器6的原理。飞行时间成像器6包括光源2、透镜4、传感器5和处理电路7。物体1位于距飞行时间成像器6的距离d为75cm的位置处，物体1由光源2(例如4×4的红外LED阵列)照射。物体1具有面对传感器5的像素阵列的平坦表面。被此平坦表面反射的光3被透镜4收集并在传感器5的像素阵列上成像。这使得可以测量物体1的深度图。处理电路7能够处理所测量的深度图。
物体1的由飞行时间成像器6测量的深度图在图2中示出。灰度值表示测量的深度(单位为cm)。它们对于传感器5的像素在x方向和y方向绘制。尽管物体1的平坦表面具有离传感器5平面的75cm的固定距离d，但是所得的深度图显然是不平的。相反，它示出在右下角处随着减小y像素和减小x像素而从期望值增大的距离。
图2的不平坦深度图的解释是在传感器5的像素阵列内的传播延迟，如以下将参照图3解释的。传感器5包括多个像素51，其布置成行和列。转移栅极脉冲TG和全局快门栅极脉冲GSG需要从输入端行进到各个像素51。可以看到，对于不同的像素51，脉冲不得不经过的距离不同。这导致在水平方向上增大的传播延迟Δth以及在垂直方向上增大的传播延迟Δtv，也就是已经说过的阴影。
已经发现，2阶多项式允许模拟(approximate)阴影效应。图4绘出了以cm为单位的垂直阴影的量的测量值随行数的变化以及拟合到测量值的2阶多项式。垂直阴影的量通过行平均得到。
类似地，如能够从图5看到，水平阴影效应也能够由2阶多项式模拟。水平阴影的量通过从原始的图像减去行平均图像然后进行列平均而得到。
所获得的分别用于水平阴影和垂直阴影的两个2阶多项式的组合产生如图6所示的3D多项式校正图像。该校正图像随后被电路7使用以校正由传感器5获得的任何深度图。例如，图7绘出了在用图6的深度校正图校正之后的图3的深度图。校正通过从由飞行时间成像器6测量的深度图减去校正图像而进行。可见，被校正的深度图在整个传感器区域上示出期望的距离。
在以下，对于示范性的场景，校正图像将应用于由飞行时间成像器6测量的深度图。该场景在图8中示出。四个物体11、12、13和14布置为距离飞行时间成像器6不同的距离，也就是45cm、75cm、105cm和135cm。通过飞行时间成像器6获得的该场景的初始深度图在图9中示出。由于阴影效应，对于不同的物体11、12、13和14所测量的距离也不是恒定的。然而，在减去校正图像之后，获得了图10的被校正的深度图。对此被校正深度图的放大在图11中绘出，示出仅从0cm到140cm的减小的深度范围。可见，不同物体11、12、13和14的距离实质上是恒定的并拟合到期望的距离。

Claims (12)

1.一种用于测量物体(1、11、12、13、14)的深度图的飞行时间成像器(6)，具有光源(2)和传感器(5)，该光源(2)用于照射该物体(1、11、12、13、14)，该传感器(5)具有像素阵列(51)并用于检测被该物体(1、11、12、13、14)反射的光(3)以获得测量的深度图，该测量的深度图包括对应于该物体的不同空间坐标的深度值的阵列，该飞行时间成像器(6)的特征在于，该飞行时间成像器(6)适于将深度校正轮廓施加到该测量的深度图，其中该深度校正轮廓根据该测量的深度图内的坐标空间地变化以补偿该传感器(5)中的信号传播延迟。
2.根据权利要求1所述的飞行时间成像器(6)，其中该深度校正轮廓是两个n阶多项式的叠加。
3.根据权利要求2所述的飞行时间成像器(6)，其中该两个n阶多项式中的第一个将该传感器(5)的行数作为输入值，该两个n阶多项式中的第二个将该传感器(5)的行的像素数作为输入值。
4.根据权利要求1至3中任一项所述的飞行时间成像器(6)，其中该深度校正轮廓基于飞行来计算或者从查阅表提取。
5.一种用飞行时间成像器(6)测量物体(1、11、12、13、14)的深度图的方法，该方法包括：
用光源(2)发射的光照射该物体(1、11、12、13、14)；以及
用具有像素阵列(51)的传感器(5)检测被该物体(1、11、12、13、14)反射的光(3)以获得测量的深度图，该测量的深度图包括对应于该物体的不同空间坐标的深度值的阵列；
其特征在于，该方法还包括：
施加深度校正轮廓到该测量的深度图，其中该深度校正轮廓根据该测量的深度图内的坐标空间地变化以补偿该传感器(5)中的信号传播延迟。
6.根据权利要求5所述的方法，其中该深度校正轮廓是两个n阶多项式的叠加。
7.根据权利要求6所述的方法，其中该两个n阶多项式中的第一个将该传感器(5)的行数作为输入值，该两个n阶多项式中的第二个将传感器(5)的行的像素数作为输入值。
8.根据权利要求5至7中任一项所述的方法，其中该深度校正轮廓基于飞行来计算或者从查阅表提取。
9.一种确定用于飞行时间成像器(6)的深度校正轮廓的方法，该方法包括：
用光源(2)发射的光来照射一平坦表面，该平坦表面平行于该飞行时间成像器(6)的传感器(5)的像素阵列(51)并处于距离该飞行时间成像器(6)已知距离的位置处；
用传感器(5)检测被该平坦表面反射的光(3)以获得测量的深度图，该测量的深度图包括对应于该平坦表面的不同空间坐标的深度值的阵列；
其特征在于，该方法还包括：
从该测量的深度图确定该深度校正轮廓，其中该深度校正轮廓根据该测量的深度图内的坐标空间地变化以补偿该传感器(5)中的信号传播延迟。
10.根据权利要求9所述的方法，其中该深度校正轮廓是两个n阶多项式的叠加。
11.根据权利要求10所述的方法，该方法包括：
对该传感器(5)的行进行行平均；
将n阶多项式拟合到平均的行值以确定两个多项式中的第一个；
从该测量的深度图减去该平均的行值；
对该传感器(5)的列进行列平均；以及
将n阶多项式拟合到平均的列值以确定该两个多项式中的第二个。
12.根据权利要求9至11中任一项所述的方法，还包括：将该深度校正轮廓存储在查阅表中。
CN201110153467.6A 2010-06-09 2011-06-09 飞行时间成像器 Expired - Fee Related CN102346250B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10305613.1 2010-06-09
EP10305613A EP2395369A1 (en) 2010-06-09 2010-06-09 Time-of-flight imager.

Publications (2)

Publication Number Publication Date
CN102346250A CN102346250A (zh) 2012-02-08
CN102346250B true CN102346250B (zh) 2015-07-08

Family

ID=43087053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110153467.6A Expired - Fee Related CN102346250B (zh) 2010-06-09 2011-06-09 飞行时间成像器

Country Status (6)

Country Link
US (1) US9188663B2 (zh)
EP (2) EP2395369A1 (zh)
JP (1) JP2011257402A (zh)
KR (1) KR20110134842A (zh)
CN (1) CN102346250B (zh)
TW (1) TWI518350B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109490904A (zh) * 2018-11-15 2019-03-19 上海炬佑智能科技有限公司 飞行时间传感器及其检测方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456152B2 (en) * 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
WO2013148308A1 (en) * 2012-03-28 2013-10-03 Intel Corporation Systems, methods, and computer program products for low-latency warping of a depth map
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置
TWI571827B (zh) * 2012-11-13 2017-02-21 財團法人資訊工業策進會 決定３ｄ物件影像在３ｄ環境影像中深度的電子裝置及其方法
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
KR102003496B1 (ko) 2013-03-06 2019-10-01 삼성전자주식회사 이미지 센서 및 이미지 픽업 장치
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US10318100B2 (en) * 2013-10-16 2019-06-11 Atheer, Inc. Method and apparatus for addressing obstruction in an interface
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
EP2955544B1 (en) 2014-06-11 2020-06-17 Sony Depthsensing Solutions N.V. A TOF camera system and a method for measuring a distance with the system
US9578311B2 (en) * 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
JP6609980B2 (ja) * 2015-04-30 2019-11-27 株式会社デンソー 光飛行時間測定装置及び光学的測距装置
EP3734661A3 (en) 2015-07-23 2021-03-03 Artilux Inc. High efficiency wide spectrum sensor
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
TWI744196B (zh) 2015-08-04 2021-10-21 光程研創股份有限公司 製造影像感測陣列之方法
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
EP3341970B1 (en) 2015-08-27 2020-10-07 Artilux Inc. Wide spectrum optical sensor
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
WO2017089596A1 (en) * 2015-11-26 2017-06-01 Odos Imaging Ltd. Imaging system, distance measuring device, method for operating the imaging system and the distance measuring device
JP6805504B2 (ja) * 2016-01-13 2020-12-23 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
US10596964B2 (en) 2016-01-13 2020-03-24 Ricoh Company, Ltd. Distance measurement device, moveable device, and distance measuring method
CN109073754B (zh) * 2016-04-19 2022-07-01 日立乐金光科技株式会社 距离图像生成装置和距离图像生成方法
KR102313821B1 (ko) * 2016-09-30 2021-10-18 (주) 솔 유동 채널을 갖는 렌즈프리 cmos 광 어레이 센서 패키지 모듈의 유체흐름 특성 평가 방법
WO2019118786A1 (en) 2017-12-13 2019-06-20 Magic Leap, Inc. Global shutter pixel circuit and method for computer vision applications
TWI788246B (zh) 2018-02-23 2022-12-21 美商光程研創股份有限公司 光偵測裝置
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
JP7212062B2 (ja) 2018-04-08 2023-01-24 アーティラックス・インコーポレイテッド 光検出装置
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US11092678B2 (en) * 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
TWI828695B (zh) * 2018-07-27 2024-01-11 日商索尼半導體解決方案公司 受光裝置及測距裝置
CN111090104B (zh) * 2019-12-26 2022-11-11 维沃移动通信有限公司 成像处理方法和电子设备
CN111885316B (zh) * 2020-07-09 2022-07-29 深圳奥辰光电科技有限公司 一种图像传感器像素电路、图像传感器及深度相机
TW202319775A (zh) * 2020-12-26 2023-05-16 以色列商趣眼有限公司 產生場景深度影像的系統、方法及電腦可讀媒體與識別物體材料的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047777A (en) * 1989-05-12 1991-09-10 Dornier Luftfahrt Gmbh Linear method of navigation
WO2005036372A2 (en) * 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
US8355565B1 (en) * 2009-10-29 2013-01-15 Hewlett-Packard Development Company, L.P. Producing high quality depth maps

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3915631A1 (de) * 1989-05-12 1990-11-15 Dornier Luftfahrt Navigationsverfahren
DE3939731A1 (de) * 1989-12-01 1991-06-06 Dornier Luftfahrt Autonomes landesystem
JPH0658755A (ja) 1992-04-20 1994-03-04 Nec Corp 距離画像取得装置
JPH0921871A (ja) 1995-07-06 1997-01-21 Mitsubishi Heavy Ind Ltd 半導体レーザ距離測定装置
GB2307611B (en) * 1995-11-01 2000-03-22 British Gas Plc Measurement arrangement
US5825483A (en) 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
US5835054A (en) * 1996-03-01 1998-11-10 The Regents Of The University Of California Ultra wideband ground penetrating radar imaging of heterogeneous solids
US5796363A (en) * 1996-03-01 1998-08-18 The Regents Of The University Of California Automatic position calculating imaging radar with low-cost synthetic aperture sensor for imaging layered media
ATE285079T1 (de) * 1999-09-08 2005-01-15 3Dv Systems Ltd 3d- bilderzeugungssystem
JP2001153624A (ja) 1999-11-24 2001-06-08 Asahi Optical Co Ltd ３次元画像入力装置
US7724925B2 (en) * 1999-12-02 2010-05-25 Thermal Wave Imaging, Inc. System for generating thermographic images using thermographic signal reconstruction
JP2001275132A (ja) 2000-03-28 2001-10-05 Asahi Optical Co Ltd ３次元画像検出装置と撮像素子駆動回路
JP2002202122A (ja) 2001-01-05 2002-07-19 Olympus Optical Co Ltd ２次元距離画像センサのキャリブレーション方法
WO2003043057A2 (en) * 2001-11-13 2003-05-22 Mentor Graphics Corporation Synthesis strategies based on the appropriate use of inductance effects
US6749570B2 (en) * 2002-08-23 2004-06-15 Acuson Corporation Ultrasound method and apparatus for imaging breast
US7789286B2 (en) * 2003-06-04 2010-09-07 Chrysler Group Llc Method and apparatus for assessing the quality of spot welds
GB2421383A (en) * 2004-12-07 2006-06-21 Instro Prec Ltd Surface profile measurement
US7167124B2 (en) * 2004-12-23 2007-01-23 Sensors & Software Inc. Data acquisition for a ground penetrating radar system
US20070000328A1 (en) * 2005-01-06 2007-01-04 Jonathan Buttram Ultrasonic method for the accurate measurement of crack height in dissimilar metal welds using phased array
US7450220B2 (en) * 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
JP4877766B2 (ja) * 2006-08-25 2012-02-15 独立行政法人放射線医学総合研究所 陽電子放射断層撮像装置及び放射線検出器
JP2008128792A (ja) 2006-11-20 2008-06-05 Fujifilm Corp 距離画像作成装置及び方法
EP2106527A2 (en) * 2007-01-14 2009-10-07 Microsoft International Holdings B.V. A method, device and system for imaging
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
CN102112844B (zh) 2008-07-29 2013-04-24 微软国际控股私有有限公司 成像***
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8374389B2 (en) * 2009-02-06 2013-02-12 Robert Bosch Gmbh Iris deblurring method based on global and local iris image statistics
US8203602B2 (en) * 2009-02-06 2012-06-19 Robert Bosch Gmbh Depth-aware blur kernel estimation method for iris deblurring
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
JP5526727B2 (ja) * 2009-11-20 2014-06-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8638424B2 (en) * 2010-01-19 2014-01-28 Microsoft Corporation Charge equalizing clock driver and other enhancements for time-of-flight depth sensing and other systems
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047777A (en) * 1989-05-12 1991-09-10 Dornier Luftfahrt Gmbh Linear method of navigation
WO2005036372A2 (en) * 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
US8355565B1 (en) * 2009-10-29 2013-01-15 Hewlett-Packard Development Company, L.P. Producing high quality depth maps

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109490904A (zh) * 2018-11-15 2019-03-19 上海炬佑智能科技有限公司 飞行时间传感器及其检测方法
CN109490904B (zh) * 2018-11-15 2021-09-21 上海炬佑智能科技有限公司 飞行时间传感器及其检测方法

Also Published As

Publication number Publication date
KR20110134842A (ko) 2011-12-15
TW201144848A (en) 2011-12-16
EP2395370B1 (en) 2014-05-07
US20110304696A1 (en) 2011-12-15
CN102346250A (zh) 2012-02-08
US9188663B2 (en) 2015-11-17
TWI518350B (zh) 2016-01-21
EP2395370A1 (en) 2011-12-14
JP2011257402A (ja) 2011-12-22
EP2395369A1 (en) 2011-12-14

Similar Documents

Publication Publication Date Title
CN102346250B (zh) 飞行时间成像器
US11448757B2 (en) Distance measuring device
US8743349B2 (en) Apparatus and method to correct image
CN110868582B (zh) 具有校正功能的图像获取***
JP6317456B2 (ja) 車両用のステレオ／ビデオシステム内の相対的なヨー角の変化を検知するための方法および制御装置
US11454712B2 (en) Time-of-flight distance measuring system and calibration method
WO2021189794A1 (zh) 飞行时间测距***及其测距方法
CN111896971B (zh) Tof传感装置及其距离检测方法
CN111208528B (zh) 飞时测距传感器以及飞时测距方法
JP2011257402A5 (zh)
CN105115445A (zh) 基于深度相机与双目视觉复合的三维成像***及成像方法
KR102240817B1 (ko) 티오에프 카메라에서 깊이 지도 생성 방법
EP3334152A1 (en) Solid-state imaging device
CN110709722A (zh) 飞行时间摄像机
CN111352120B (zh) 飞行时间测距***及其测距方法
CN111366943B (zh) 飞行时间测距***及其测距方法
CN110986816B (zh) 一种深度测量***及其测量方法
US20220364849A1 (en) Multi-sensor depth mapping
JP2017198477A (ja) 距離画像生成装置
US20230057336A1 (en) Lidar target simulation system and method of testing a lidar device
US11921216B2 (en) Electronic apparatus and method for controlling thereof
CN112213711B (zh) 一种tof相机的校准方法
US20230333218A1 (en) Range imaging apparatus and range imaging method
CN109239727B (zh) 一种结合固态面阵激光雷达与双ccd相机的测距方法
CN112213711A (zh) 一种tof相机的校准方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190530

Address after: Paris France

Patentee after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Patentee before: Thomson Licensing Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708

Termination date: 20210609