CN109791205A - 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元 - Google Patents

用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元 Download PDF

Info

Publication number
CN109791205A
CN109791205A CN201780060855.5A CN201780060855A CN109791205A CN 109791205 A CN109791205 A CN 109791205A CN 201780060855 A CN201780060855 A CN 201780060855A CN 109791205 A CN109791205 A CN 109791205A
Authority
CN
China
Prior art keywords
pixel unit
light
spot
charge
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780060855.5A
Other languages
English (en)
Other versions
CN109791205B (zh
Inventor
D·范德克
里克·帕森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109791205A publication Critical patent/CN109791205A/zh
Application granted granted Critical
Publication of CN109791205B publication Critical patent/CN109791205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明有关一种用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元。本发明有关一种用于从成像阵列中的第一像素单元的曝光值减除背景光的方法，所述第一像素单元从被斑点的周期性脉冲图案照明的场景接收斑点的反射，所述周期性脉冲图案包括交替的照明相和非照明相，该方法包括：在检测到所述斑点时，在预定量的时间期间，在所述第一像素单元中累积与所述第一像素单元中接收的第一数量的入射光成比例的电荷；以及以与在不存在所述斑点的情况下在所述预定量的时间期间接收的第二数量的入射光成比例的方式减少所述电荷。本发明还有关一种像素单元和一种成像阵列。

Description

用于从成像阵列中的像素单元的曝光值减除背景光的方法以 及用于该方法的像素单元
技术领域
本发明属于成像***领域，并且特别地有关用于从成像阵列中的像素单元(pixel，像元、像素)的曝光值减除背景光的方法，以及有关用于这种方法的像素单元。本发明尤其可以使用在用于确定到对象的距离的***中，特别是使用于待用于表征场景或其一部分的基于飞行时间的感测***。
背景技术
在远程感测技术领域中，该技术主要使用在制作高分辨率的环境地图中，该环境地图待使用在许多控制和导航应用中，诸如但不限于汽车或工业环境、游戏应用以及测绘应用，已知使用基于飞行时间的感测来确定对象与传感器的距离。基于飞行时间的技术包括使用RF调制源、距离选通成像器以及直接飞行时间(DToF)成像器。对于RF调制源和距离选通成像器的使用，有必要利用调制或脉冲源来照明整个感兴趣的场景。直接飞行时间***诸如大多数LIDAR利用脉冲束机械地扫掠感兴趣的区域，该区域的反射利用脉冲检测器来感测。
为了能够使发射的RF调制信号与检测到的反射信号关联，发射的信号必须满足若干约束条件。实际上，这些约束条件结果是使RF调制***使用在车辆***中是高度不切实际的：对于处于传统安全限度内和处于规则车辆功率预算内的信号强度来说，可达到的检测范围是非常有限的。
用于大多数LIDAR***的直接TOF(DToF)成像器，包括强力的脉冲激光器(以纳秒脉冲制运行)、从1D点测量值获取3D地图的机械扫掠***、以及脉冲检测器。该类型的***当前可以从供应商获得，包括Velodyne Lidar of Morgan Hill，加利福尼亚。VelodyneHDL-64E作为现有技术***的实例，在5至15转每秒下的机械旋转结构中使用了64个高功率激光器和64个检测器(雪崩二极管)。这些DToF LIDAR***所要求的光功率过高而无法利用半导体激光器获得，半导体激光器的功率是在低五至六个数量级的范围内。另外，使用用于扫掠目的机械旋转元件限制了该类型***的微型化、可靠性和成本减小的前景。
Trilumina名下的美国专利申请公开no.2015/0063387公开了一种在具有20ns脉冲宽度的脉冲中传送50mW总能量的VCSEL。可在市场上购买到的Optek OPV310VCSEL在具有10ns持续时间的脉冲中传送60mW总能量并且其可以通过外推法被评估以具有100mW的最大光学输出功率。该值仅在意味着最佳工作周期和短脉冲宽度的非常严格的操作条件下被实现，以便避免由于热学问题造成的不稳定性。由于与VCSEL设计固有地相联系的热学约束，Trilumina的公开内容和Optek***两者例示了连续波VCSEL***抵达其关于光学峰值功率输出的物理限度。在这些脉冲能量水平下，并且使用如当前使用在DToF应用中的ns脉冲，可以被期望为由处于120m距离处的对象有用地反射的光子仅有的数目非常少，使得其使借助于传统半导体传感器诸如CMOS或CCD或SPAD阵列的检测失败。因此，如扩展已知DToF***的范围将要求的，使VCSEL功率输出增加5或6个数量级在物理学上是不可能的。
甚至是雪崩二极管(AD或SPAD)的使用也不能被有用地采用在已知的LIDAR***架构中，雪崩二极管在理论上足够敏感以捕获少量返回光子。SPAD阵列的固态实现必须被连续地读出。要求大数目的SPAD以实现期望的准确度。固体实现的连续读出约束条件限制了***的带宽，使该***变得对于期望的准确度是不合适的。对于准确度，诸如Velodyne***的准确度(0.02m至0.04m，与距离无关)，所要求的读出数据速率在今天的IC实现的情况下超过了实际可实现的带宽。对于在120m处的操作，要求500x500像素单元的SPAD阵列，其在基于IC的实现中必须被连续地读出。对于与前述Velodyne***相同的精确度，将要求1000脉冲每毫秒并且因此要求1000帧每毫秒，从而转化成2500亿像素每秒的读出速率。这被认为在当前SPAD IC技术的环境中在技术上是不能实行的。
Neil E.Newman等人的论文“High Peak Power VCSELs in Short Range LIDARApplications”,Journal of Undergraduate Research in Physics,2013,http://www.jurp.org/2013/12017EXR.pdf，描述了一种基于VCSEL的LIDAR应用。该论文陈述，所描述的原型***的最大输出功率不足以在大于0.75m的距离处进行宽场LIDAR。利用相对聚焦的束(在1m距离处0.02m斑点(spot，光点、光斑)大小)，作者能够对位于达1m距离处的目标对象进行测距。
以上实施例清楚地表明，由当前的半导体激光器发射的光功率不能满足在待实际用于汽车应用(例如用于达120m的距离)中的已知LIDAR***中进行操作所必需的功率要求。
Avago Technologies General IP(新加坡)Pte.Ltd.名下的美国专利no.7,544,945公开了基于LIDAR***和方法的车辆，其使用多个激光器来提供更紧凑和有成本效益的LIDAR功能。激光器阵列中的每一个激光器可以被依次激活使得相对于激光阵列进行安装的对应的光学元件在基本上不同的方向上产生相应的询问束。来自这些束的光被车辆环境中的对象反射，并且被检测以便向车辆操作者和/或路人提供关于对象的信息。该专利提供了单独的激光器在其中被连贯地启用的固态投射器，以便将已知的机械扫掠放置在已知的DToF LIDAR***中。
根据本申请人名下的国际专利申请公布WO 2015/004213 A1，用于车辆的不使用飞行时间检测的高准确度中距离围绕感测***是已知的。在该公布中，对象的定位是基于脉冲辐射斑点的投射以及被检测斑点参考预定参考斑点位置的位移分析。更特别地，所引用的公布的***使用了三角测量。然而，可以实现的准确度与三角测量基础关联，其限制了可以被实现的进一步的微型化。
美国专利申请公布no.US 2012/0038903 A1公开了用于适应性地控制场景照明的方法和***。特别地，场景被照明，并且从场景反射的光被检测。关于与场景内的不同区域对应的被多像素单元检测器的不同像素单元接收到的光强度的信息，和/或关于到场景内的区域的距离的信息被接收到。该信息然后被用作反馈信号以控制场景内的照明水平。更特别地，响应于反馈信号，可以为场景的不同区域提供不同的照明水平。
欧洲专利申请公布no.EP 2 322 953 A1公开了一种能够放大距离测量范围而无需减小距离分辨率的距离成像传感器。辐射源提供了第一至第五脉冲串，随着第一至第五帧中的辐射脉冲在时间轴上依次布置，该第一至第五脉冲串被照射至对象。在每一帧中，成像次数被规定在从每一帧的始点起的预定时间点处，而且，从第一至第五帧的始点起，脉冲分别以不同于彼此的位移量进行位移。像素单元阵列产生元素图像信号，该元素图像信号中的每一个具有在不同于彼此的距离范围中的对象的距离信息，这使用了五帧的每一个帧中的成像窗口A和B。处理单元通过组合元素图像信号来产生图像信号。因为使用了五个飞行时间测量，所以不必增加辐射脉冲的宽度来获得宽距离范围内的对象的距离信息，并且距离分辨率没有减小。
欧洲专利申请公布no.EP 2 290 402 A1公开了一种设置在半导体基板上的距离图像传感器，具有由多个二维布置的单元构成的成像区域，由此以从单元输出的电荷数量为基础来获得距离图像。该单元中的一个设置有：电荷产生区域(位于转移电极之外的区域)，在该区域，电荷响应于入射光而产生；至少两个半导体区域，该区域布置成空间间隔以从电荷产生区域收集电荷；以及转移电极，该转移电极安装在半导体区域的每一个周缘、被给予不同相的电荷转移信号、并且围绕半导体区域。
Shoji Kawahito等人的文章“A CMOS Time-of-Flight Range Image SensorWith Gates-on-Field-Oxide Structure”,IEEE Sensors Journal(IEEE SensorsJournal),Vol.7,no.12,p.1578-1586公开了一种类型的CMOS飞行时间(TOS)距离图像传感器，其使用单层门在场氧化物结构用于光转化和电荷转移。该结构允许在标准CMOS过程中实现具有15×15μm2像素单元的密集的TOF距离成像阵列。仅将创建n型埋层的额外的过程步骤添加至制造过程，该n型埋层对于高速电荷转移是必要的。传感器基于由来自启用的照明光源的背反射红外光脉冲诱发的电荷的时间延迟依赖的调制运行。为了减小背景光的影响，使用了小工作周期光脉冲并且将电荷排放结构包括在像素单元中。利用100ns的脉冲宽度，所制造的TOF传感器芯片在30帧每秒下测量2.35cm的距离分辨率，改进至在三帧每秒下的0.74cm。
依赖于被发射到待感测场景上的结构光的检测的所有***要求将场景被照明部分与未被照明部分进行区别的方式，而不管环境光的存在。因此，越来越需要获得允许从曝光值可靠地移除背景照明成分的方法和像素单元。
发明内容
根据本发明的一方面，提供了一种用于从成像阵列中的第一像素单元的曝光值减除背景光的方法，所述第一像素单元从被斑点的周期性脉冲图案照明的场景接收斑点的反射，所述周期性脉冲图案包括交替的照明相和非照明相，所述方法包括：在检测到所述斑点时，在预定量的时间期间，在所述第一像素单元中累积与所述第一像素单元中接收的第一数量的入射光成比例的电荷；以及以与在不存在所述斑点的情况下在所述预定量的时间期间接收的第二数量的入射光成比例的方式减少所述电荷。
本发明的优点在于，利用与检测有用信号的部件实际上等同的部件检测背景照明，并且在相同量的时间内整合(integrate，集成、结合)背景照明和有用信号两者。以该方式，获得了用于减除的最佳的一对信号。
在根据本发明的方法的实施方式中，第二数量的入射光包括：在非照明相下、在所述预定量的时间期间被接收在所述第一像素单元中的光。
该实施方式的优点在于，利用与检测有用信号的部件确切相同的部件检测背景照明，该部件是对产生自场景中的单个位置的光进行检测的(除了由于传感器的移动造成的可能的轻微移位)，使得照明相与非照明相之间的比较提供对在恰好该位置处的背景照明的减除。
在根据本发明的方法的另一个实施方式中，第二数量的入射光包括在所述累积期间被接收在像素单元阵列的第二像素单元中的光，该第二像素单元处于与第一像素单元足够的距离处，以便不被所述斑点照明。
该实施方式的优点在于，背景照明与有用信号被同时检测，使得背景照明的减除对于背景照明水平随时间推移的改变是不敏感的。
根据本发明的一方面，提供了一种像素单元，适于用作上述方法中的第一像素单元。
在一实施方式中，像素单元包括用于储存所述电荷的电容器，所述电容器具有第一侧部和第二侧部，其中，所述累积包括将电荷转移至所述第一侧部，并且其中，所述减少包括将电荷转移至所述第二侧部。
根据本发明的像素单元的该实施方式的优点在于，其以非常紧凑和可靠的方式实现了背景减除的创造性方法，并且无需依赖于额外的数字计算。
根据本发明的一方面，提供了一种包括多个如上所述的像素单元的成像阵列。
根据本发明的一方面，提供了一种用于确定到对象的距离的***，该***包括：固态光源，该固态光源被布置用于以脉冲序列将激光斑点图案朝向对象投射；检测器，该检测器包括如上所述的成像阵列，该检测器被配置用于与脉冲序列同步地检测代表由对象反射的斑点的图案的光；以及处理装置，该处理装置配置成根据曝光值计算到对象的距离，该曝光值由像素单元响应于检测到的光产生；其中，像素单元配置成：对于序列的每一个脉冲，通过累积第一量的电荷和第二电荷来产生曝光值，该第一量的电荷代表由对象在第一预定时间窗口期间反射的第一量的光，该第二电荷代表由对象在第二预定时间窗口期间反射的第二量的光，该第二预定时间窗口在第一预定时间窗口之后发生。
发明人发现，利用紧凑的基于半导体基于飞行时间的测距***，本发明的改进的背景减除方法可以有助于实现汽车应用苛刻的功率/性能要求。
附图说明
现在将参考所附附图更详细地描述本发明的这些和其他的方面和优点，其中：
图1代表根据本发明的方法的实施方式的流程图；
图2示意性地代表根据本发明的像素单元的实施方式；
图3代表根据本发明的方法的实施方式的流程图；
图4示意性地代表根据本发明的***的实施方式；
图5代表用于本发明的实施方式中的光投射和检测的计时图。
具体实施方式
图1代表根据本发明的下述方法的实施方式的流程图：该方法用于从成像阵列中的第一像素单元的曝光值减除背景光。第一像素单元从被斑点的周期性脉冲图案照明的场景接收斑点的反射，该周期性脉冲图案包括交替的照明相和非照明相。
该方法包括：在检测到斑点时，在预定量的时间期间，在第一像素单元中累积110与第一像素单元中接收的第一数量的入射光成比例的电荷。在本文中使用术语“累积”来表示能够收集累积量电荷的电路的运行，并且表示通过数字计算装置实施的数学运算。
为了从曝光值移除环境光的影响，该方法还包括以与在相同的预定量时间期间但在不存在斑点的情况下接收的第二数量的入射光成比例的方式减少120所累积的电荷。
第二数量的入射光可以由相同像素单元在脉冲图案的非照明相下在相等量的时间期间接收的光来获得。可替代地，第二数量的入射光可以通过在接收斑点的同时接收光来获得，但这是在像素单元阵列的不同像素单元中接收的。该变型依赖于下述事实：投射的图案由不同的斑点构成并且要求第二像素单元距第一像素单元足够的距离以便不被相同的斑点照明。
图2示意性地代表根据本发明的像素单元的实施方式。该像素单元适合用于上述方法，并且该像素单元可以是成像阵列的一部分。
该像素单元包括用于储存电荷的电容器130，所述电容器具有第一侧部130a和第二侧部130b。累积110包括将电荷转移至第一侧部130a，并且减少120包括将电荷转移至所述第二侧部130b。随后，测量电容130上的电压，该电压代表激光斑点感应的电荷与背景电荷之间的差异。
根据以下对距离选通(gating，控制、闸控)方法的描述，在光敏元件的相反侧存在第二电容器和第二对井(图2的右手侧，通向“B信号”)的原因将变得明显。
发明人发现，根据本发明的像素单元阵列可以有利地应用在新颖类型的测距***中，其旨在实现与紧凑的基于半导体基于飞行时间的***相同的功率/性能特征。相应地，本发明的一方面涉及包括上述像素单元阵列的测距***。
在本发明的该方面中，通过改变基于飞行时间的***运行的方式，克服了现有的基于LIDAR的***的限制。用于每一次飞行时间测量所发射的光能总量(并且因此，用于检测器处的检测的、用于每一次飞行时间测量的可用光子的数目)可以通过增加单独脉冲的持续时间并且通过产生虚拟的“复合脉冲”来增加，该“复合脉冲”由一系列大量的单独脉冲构成。这一捆绑的扩展脉冲允许发明人获得用于具有低功率VCSEL的期望运行范围的要求量的光能(光子)。
其中，先前存在的LIDAR***的单独脉冲可以具有1ns的持续时间，现在描述的***获益于基本上较长的脉冲持续时间，以部分地补偿半导体激光器诸如VCSEL的相对低的功率水平；在本发明的实施方式中，序列内的单独脉冲可以具有1μs(这是一个可能的值，在这里被选择以使描述保持清楚和简单；更一般地，在本发明的实施方式中，脉冲持续时间可以例如是500ns或更多，优选为750ns或更多，更优选为900ns或更多)的示例性持续时间。在根据本发明的示例性***中，序列可以由1000个脉冲周期构成，因此加起来为1ms的持续时间。假如事实是，光将需要大约0.66μs传播至距离100m的目标处并返回到检测器，那么可以使用该持续时间的复合脉冲用于该数量级的距离处的测距；技术人员将能够根据所选择的脉冲宽度和期望距离调整所需数目的脉冲周期。对序列的检测优选地包括检测与基于VCSEL的光源同步的单独脉冲，并且累积响应于在读出之前在整个序列内像素单元井水平处的入射光子所产生的电荷。在下文中使用术语“曝光值”来表示代表遍及序列整合的电荷(并且因此代表在像素单元处接收到的光量)的值。序列发射和检测可以周期性地重复。
本发明的测距***通过使用距离选通来运行。距离选通成像器整合脉冲持续时间内所检测到的发射脉冲的反射功率。脉冲发射窗口与反射脉冲到达之间的时间叠置量取决于光脉冲的返回时间，并且因此取决于脉冲行进的距离。因此，整合功率与脉冲行进的距离关联。本发明使用了如应用于上文中描述的脉冲序列的距离选通原理。在以下描述中，对在图像元件水平下的序列的单独脉冲进行整合以获得整个序列的测量值可以被暗含地理解。
图3代表可应用的测距方法的流程图。在不失一般性的情况下，参考距离选通算法描述测距方法。在第一时间窗口10中，该方法包括从包括固态光源210的光源将激光斑点图案(例如斑点的规则或不规则的空间图案)投射110到场景的目标区域中的任何对象上。以脉冲序列重复地投射空间图案。
如以上所表明的，固态光源可以包括VCSEL阵列或具有适于产生期望图案的格栅的激光器。为了使***最佳地运行，甚至在长距离以及具有高水平环境光(例如，在白天)的情况下，用于使用在本发明实施方式中的VCSEL优选地布置成发射每斑点每单位面积最大光功率。因此，具有良好束质量(低M2因数)的激光器是优选的。更优选地，激光器应当具有最小的波长展开度；特别低的波长展开度可以利用单模激光器来实现。因此，在必要的空间和时间准确度下，可以可再生地产生基本上等同的脉冲。
在脉冲于其中被发射的相同的时间窗口期间，或者在基本上叠置的时间窗口中，代表由感兴趣的对象反射的斑点的图案的第一量的光在检测器处被检测120，该检测器优选地布置成尽可能靠近光源。斑点图案的投射110与其反射的第一检测120之间的同步性或近同步性通过这些步骤的并排布置被例示在流程图中。在随后的第二预定时间窗口20中，代表反射光斑点的第二量的光在检测器处被检测130。在该第二窗口20期间，固态光源是不启用的。到对象的距离然后可以根据第一量的反射光和第二量的反射光被计算140。
第一预定的时间窗口10和第二预定的时间窗口20优选为基本上相等的持续时间的背对背(back-to-back，紧接的)窗口，以通过从检测到的量中的一个减除另一个来促进噪声和环境光消除。下文结合图5将更详细地描述示例性计时方案。
检测器包括如上所述的像素单元阵列，该像素单元阵列配置成在适当的光学器件布置成将场景图像(包括照明斑点)投射到图像元件上的情况下，执行结合图1和图2所描述的背景光减除。
本文中所使用的术语“图像元件”可以指代像素单元的单独的光敏区域或井，或者指代整个像素单元(其可以包括多个井，参见下文)。对于每一个给定的投射斑点，第一量的光的检测120和第二量的光的检测130在相同的一个或相同组的多个图像元件处发生。
在不失一般性的情况下，图像元件中的每一个可以是包括至少两个电荷储存井221、222的像素单元，使得第一量的光的检测120和第二量的光的检测130可以在相同像素单元或像素单元组的相应电荷储存井221、222处发生。
图4示意性地代表根据本发明的关于感兴趣场景中的对象99的***的实施方式。***200包括用于可以周期性重复地将斑点序列的图案投射到对象99上的固态光源210。检测器220布置成靠近光源并配置成检测由对象反射的光。
从对象99反弹的光束被例示为虚线中的箭头，该光束从光源210行进至对象99并回到检测器220。应当注意，这一表示完全是示意性的，并且不意在表明任何实际的相对距离或角度。
可以包括传统时钟电路或振荡器的同步装置230配置成操作固态光源210以便在第一预定时间窗口10期间将斑点图案投射到对象上，并且操作检测器220以便基本上同时地检测代表由对象99反射的光斑点的第一量的光。该同步装置还操作检测器220以在相应的随后第二预定时间窗口20期间检测代表由对象99反射的光斑点的第二量的光。合适的处理装置240配置成根据第一量的反射光和第二量的反射光计算到对象的距离。
图5代表用于本发明实施方式中的光投射和检测的时序图。出于清楚的原因，仅例示了图3中周期性重复的脉冲序列的单个脉冲，其由第一时间窗口10和第二时间窗口20构成。
如图5a中可以看到的，在第一时间窗口10期间，固态光源210处于其“开启”状态，将光斑点图案发射到场景上。在第二时间窗口20期间，固态光源210处于其“关闭”状态。
反射光在检测器220处的到达相对于投射的开始被延迟与传播距离成比例的一定量的时间(在自由空间中大约3.3ns/m)。由于这一延迟，只有一部分反射光将在仅于第一时间窗口10期间启用的检测器220的第一井221处被检测到。因此，在其启用时段(第一时间窗口10)期间在该第一井中累积的电荷由下述部分构成：仅代表在反射脉冲到达之前撞击在像素单元上的噪声和环境光的部分；以及代表噪声、环境光和反射脉冲前缘的部分。
反射脉冲的后一部分将在检测器220的第二井222处被检测到，该检测器仅在优选为紧随第一时间窗口10的第二时间窗口20期间被启用。因此，在其启用时段(第二时间窗口20)期间在该第二井中累积的电荷由下述部分构成：代表噪声、环境光和反射脉冲后缘的部分，以及仅代表在反射脉冲到达之后撞击在像素单元上的噪声和环境光的部分。
反射对象99与***200之间的距离越大，将在第一井221中被检测到的脉冲的比例越小，并且将在第二井222中被检测到的脉冲的比例越大。
随着飞行时间延迟的增加，如果反射脉冲的前缘在关闭第一井221之后(即，在第一时间窗口10的末端之后)到达，那么可以在第二井222中被检测到的反射脉冲的比例将再次减少。
在相应井221、222中的每一个井中针对对象99的变化距离的电荷A、B的结果量示出在图5b中。为了简化表示，根据平方反比定律，光随距离衰减的效应在该图表中未被考虑。清楚的是，对于最多达第一时间窗口10和第二时间窗口20的组合持续时间的飞行时间延迟，飞行时间延迟原则上可以毫无疑义地从A和B的值得出：
-对于最多达第一时间窗口10的持续时间的飞行时间延迟，B与对象99的距离成比例。为了容易地达成对绝对距离的确定，可以使用正规化值B/(B+A)，从而移除被检测对象的非完全反射率以及平方反比定律的任何影响。
-对于超过第一时间窗口10的持续时间的飞行时间延迟，A仅由白天和噪声成分(未例示)构成，并且C-B基本上与对象99的距离成比例(在针对平方反比定律做纠正之后)，其中，C是偏移值。
尽管图5a和图5b关于在时间窗口10中发射的单个脉冲例示了本发明的原理，但是应当理解，例示的脉冲是如上文所限定的脉冲序列的一部分。图5c示意性地例示了这种序列的示例性时序特征。如所例示的，照明方案40由单独脉冲10的序列30的重复发射构成。单独脉冲10的宽度由最大操作范围确定。整个序列可以以例如60Hz的频率重复。
光通过位于短距离处的对象的反射更可能引起像素单元饱和，因为这种反射的衰减将远小于源自更远距离对象的反射的衰减(由于关于距离的光衰减的平方反比定律)。因为某些应用诸如汽车应用要求达相对长距离的准确的***操作，所以大的光子跨度(span，跨距、范围)必须覆盖在操作的最近距离与操作的最远距离之间。在这些约束条件下，短距离处的像素单元饱和是非常实际的风险，特别是在第一井处(该第一井在短距离处接收反射的大部分)。发明人发现，对于给定的总像素单元空间，饱和问题可以通过使用非对称的井布置来缓和，在该非对称的井布置中，由第一井代表的光子容量增加，并且由第二井代表的光子容量减少。如果该增加和减少是平衡的，那么可以在没有额外的像素单元表面成本的情况下获得动态距离的增加。
光晕(bloom，光溢出、模糊)是在像素单元中的电荷超过该特定像素单元的饱和水平时发生的现象。因此，电荷开始溢流并在邻近的像素单元中引起妨害。这在附近的像素单元中创建了不准确的数据。优选地，根据本发明的***的像素单元设置有抗光晕电子设备，以在过量电荷使相关井饱和并且溢出到邻近像素单元的井之前放掉该过量电荷。特别地，当将来自附近斑点的信息用于消除背景光时，具有对独立获得(并且没有来自附近像素单元的污染)的背景光的评估是非常重要的。
本发明的实施方式可以采用关联的双采样以纠正用于与井容量有关的热噪声(也被表示为“KTC噪声”)的样本。为此目的，像素单元的电子设备可以被设计成实施重置电压(V重置)与信号电压(V信号)之间的差分测量，例如通过在帧开始处测量V重置以及在帧结尾处测量V信号。作为电子(在像素单元中)实现的替代方案，关联的双采样也可以通过在处理器中数字地减除读出信号(V信号-V重置)来实现。
为了增加抵达像素单元结构中的感光元件(特别是二极管)的光量，本发明的实施方式可以使用背侧照明；在该情况下，像素单元电路是在感光层背后，因此减小了必须被撞击光子横穿以读取感光元件的层的数目。
根据本发明的测距***可以与根据WO 2015/004213A1的基于三角测量的***成一体。如果以微型化为目标，那么基于三角测量的***最终将在其投射器与其检测器之间具有相对小的距离，因此为该***留下了减小的操作范围。然而，该组合确切地在短距离处呈现其益处，因为基于三角测量的***可以覆盖基于飞行时间的***不能足够准确地进行操作的距离。
整个测距过程可以反复地重复，以便随时间推移监测到所检测的一个或多个对象的距离。因此，该方法的结果可以被使用在要求关于到基于连续基础的被检测对象的距离的信息的过程中，该基于连续基础的被检测对象诸如先进的驾驶员辅助***、具有主动悬架的车辆、或者无人驾驶车辆。
为了使所描述的***的所有元件最佳地运行，***必须是热稳定的。热稳定性在其他事物之间避免了光学元件不期望的波长移位(热漂移)，否则，该不期望的波长移位将损害滤光器和光学链的其他元件的正常工作。根据本发明的***的实施方式通过其设计或者借助于具有PID型控制器的温度控制回路通过主动调节实现了热稳定性。
WO 2015/004213 A1公开了使在检测间隔期间抵达像素单元的环境光量最小化的各种技术，因此改进了图案化激光斑点的检测的准确度。尽管未在LIDAR***的背景中公开这些技术，但是本发明的发明人发现，当与本发明的实施方式组合时，若干这种技术产生了优异的结果。对于窄带滤波器在检测器处的使用以及适当的光学布置的使用，尤其是这样，以确保反射光几乎垂直地入射到滤波器上。这些布置如它们出现在WO 2015/004213 A1中的细节那样通过引用结合在本文中。在下文中提供了另外的特征和细节。
尽管根据WO 2015/004213 A1知晓的各种技术可以被应用于本发明的实施方式以使在检测间隔期间抵达像素单元的环境光量最小化，但是无法避免一定量的环境光。在多像素单元***中，只有一些像素单元将被反射斑点照明，而其他像素单元将仅被残余的环境光照明。后一组像素单元的信号水平可以用于评估环境光对感兴趣像素单元中的信号的贡献，并且可以用于相应地减除该贡献。额外地或可替代地，背景光或环境光可以从在像素单元水平下检测到的信号减除。这要求两种曝光，一种是在激光脉冲到达期间，并且一种是在脉冲不存在的情况下。
在一些实施方式中，检测器可以是高动态距离检测器，即具有至少90dB、优选为至少120dB的动态距离的检测器。高动态距离检测器的存在是使用这种检测器的优点，该高动态距离检测器即下述检测器：该检测器能够在场景最暗部分中保持对强度水平的足够辨别力的同时，在不饱和的情况下获取大量光子；高动态距离检测器的存在允许传感器在不经受饱和的情况下具有非常长的距离并且还能够检测短距离处(其中，反射光相对强烈)的对象。发明人已经发现，真正高动态距离传感器的使用比应用色调映射的传感器的使用更有利。在色调映射中，传感器线性距离朝向较高分辨率压缩。在文献中，记载了若干压缩方法，诸如对数压缩或多线性压缩(参见图4)。然而，该非线性压缩需要在对被捕获的场景执行逻辑或算术操作之前对信号进行再线性化以提取地貌信息。根据本发明的解决方案因此在无需增加计算要求的情况下增加了检测准确度。使用完全线性的高动态距离传感器是一些实施方式另外的优点。在美国专利申请公开号US 2014/353472 A1尤其是65-73和88段中公开了能够提供期望的动态距离特征的像素单元架构和光学检测器，出于允许技术人员实践本发明该方面的目的，其内容通过引用被结合。
本发明的实施方式使用了高动态距离像素单元。这可以获得下述方式来获得：所述方式为通过电荷库相当大的全井容量，或者通过限制每像素单元电子噪声的设计，或者通过使用不在电荷转移时添加噪声的CCD门，或者通过具有大检测量子效率(DQE)(例如，在用于前照明的50％或在背照明情况下的90％的范围内，该背照明也被称为背减薄)的设计，或者通过专门的设计，或者通过列举的改进方案的任意组合。此外，通过在像素单元前侧处的覆盖物中给该像素单元添加溢流容量，动态距离可以被进一步扩大(该实现要求背减薄)。优选地，像素单元设计实现了抗光晕机制。
本申请人名下的在本申请的提交日尚未公开的欧洲专利申请no.EP15191288.8描述了用于确定到对象的距离的***和方法另外的方面，其可以与本公开内容进行组合。
在本发明的实施方式中，例如在构想主动悬架车辆应用的地方，斑点图案的投射有利地被向下即朝向道路引导。
根据本发明的***可以包括以专用硬件(例如，ASIC)、可配置硬件(例如，FPGA)、可编程部件(例如，具有合适的软件的DSP或通用处理器)、或其任意组合对上述方法的步骤的实现。相同部件也可以包括其他的功能。本发明还有关包括实现上述方法的步骤的代码装置的计算机程序产品，该产品可以设置在计算机可读介质诸如光学、磁性或固态载体上。
本发明还有关包括上述***的车辆。
本发明的实施方式可以有利地使用在各种各样的应用中，包括但不限于汽车应用、工业应用、游戏应用等等，并且这在室内和户外、在短距离和长距离处均可。在一些应用中，根据本发明实施方式的不同传感器可以被组合(例如，菊花链式)以产生全景覆盖，优选地覆盖整圆(360°视野)。
应当注意，根据本发明的方法、像素单元和像素单元阵列也可以使用在基于三角测量的***诸如WO 2015/004213 A1的***中以及现有的LIDAR***中，以在存在环境光的情况下改进测量值的质量。
尽管在上文中参考单独的***和方法实施方式对本发明进行了描述，但这仅是出于清楚的目的而进行的。技术人员将领会，单独地结合***或方法描述的特点也可以分别被应用到方法或***，具有相同的技术效果和优点。此外，本发明的范围不限于这些实施方式，而是通过所附权利要求来限定。

Claims (7)

1.一种用于从成像阵列中的第一像素单元的曝光值减除背景光的方法，所述第一像素单元从被斑点的周期性脉冲图案照明的场景接收斑点的反射，所述周期性脉冲图案包括交替的照明相和非照明相，所述方法包括：
-在检测到所述斑点时，在预定量的时间期间，在所述第一像素单元中累积(110)与所述第一像素单元中接收的第一数量的入射光成比例的电荷；以及
-以与在不存在所述斑点的情况下在所述预定量的时间期间接收的第二数量的入射光成比例的方式减少(120)所述电荷。
2.根据权利要求1所述的方法，其中，所述第二数量的入射光包括：在所述非照明相下、在所述预定量的时间期间被接收在所述第一像素单元中的光。
3.根据权利要求1所述的方法，其中，所述第二数量的入射光包括：在所述累积期间被接收在所述像素单元阵列的第二像素单元中的光，所述第二像素单元处于距所述第一像素单元足够的距离处，以便不被所述斑点照明。
4.一种像素单元，适于用作根据前述权利要求中任一项所述的方法中的所述第一像素单元。
5.根据权利要求4所述的像素单元，包括用于储存所述电荷的电容器(130)，所述电容器(130)具有第一侧部(130a)和第二侧部(130b)，其中，所述累积(110)包括将电荷转移至所述第一侧部(130a)，并且其中，所述减少(120)包括将电荷转移至所述第二侧部(130b)。
6.一种成像阵列，包括多个根据权利要求4或权利要求5所述的像素单元。
7.一种用于确定到对象的距离的***(200)，包括：
-固态光源(210)，所述固态光源被布置用于以脉冲序列将激光斑点的图案朝向所述对象投射；
-检测器(220)，所述检测器包括根据权利要求6所述的成像阵列，所述检测器(220)被配置用于与所述脉冲序列同步地检测代表由所述对象反射的所述斑点的图案的光；以及
-处理装置(240)，所述处理装置配置成根据曝光值计算到所述对象的所述距离，所述曝光值由所述像素单元响应于所述检测到的光产生；
其中，所述像素单元(220)配置成：对于所述序列的每一个脉冲，通过累积第一量的电荷和第二电荷来产生所述曝光值，所述第一量的电荷代表由所述对象在第一预定时间窗口(10)期间反射的第一量的光，所述第二电荷代表由所述对象在第二预定时间窗口(20)期间反射的第二量的光，所述第二预定时间窗口(20)在所述第一预定时间窗口(10)之后发生。
CN201780060855.5A 2016-10-03 2017-10-03 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元 Active CN109791205B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16192105.1 2016-10-03
EP16192105.1A EP3301479A1 (en) 2016-10-03 2016-10-03 Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
PCT/EP2017/075093 WO2018065426A1 (en) 2016-10-03 2017-10-03 Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same

Publications (2)

Publication Number Publication Date
CN109791205A true CN109791205A (zh) 2019-05-21
CN109791205B CN109791205B (zh) 2023-04-04

Family

ID=57047096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780060855.5A Active CN109791205B (zh) 2016-10-03 2017-10-03 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元

Country Status (6)

Country Link
US (1) US11543501B2 (zh)
EP (3) EP3301479A1 (zh)
JP (1) JP7105782B2 (zh)
KR (1) KR102471540B1 (zh)
CN (1) CN109791205B (zh)
WO (1) WO2018065426A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109084A (zh) * 2019-06-03 2019-08-09 北京未感科技有限公司 激光接收装置及降噪方法、激光雷达
CN110381239A (zh) * 2019-07-12 2019-10-25 Oppo广东移动通信有限公司 图像传感器、图像采集器、深度相机、电子设备及信号处理方法
CN111830530A (zh) * 2020-06-04 2020-10-27 深圳奥锐达科技有限公司 一种距离测量方法、***及计算机可读存储介质
WO2021103814A1 (zh) * 2019-11-26 2021-06-03 宁波飞芯电子科技有限公司 一种信号提取电路、信号提取方法以及测距方法和装置
CN115696076A (zh) * 2022-09-19 2023-02-03 武汉北极芯微电子有限公司 成像降噪方法及成像装置、电子设备、存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
SG11201901600WA (en) 2016-08-24 2019-03-28 Ouster Inc Optical system for collecting distance information within a field
EP3392674A1 (en) * 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
US11086013B2 (en) 2017-05-15 2021-08-10 Ouster, Inc. Micro-optics for imaging module with multiple converging lenses per channel
CA3068943A1 (en) 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
DE102018208647A1 (de) * 2018-05-30 2019-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Lasermesseinrichtung zur Messung einer Distanz zu einem Objekt sowie Verfahren zum Betreiben derselben
US11092678B2 (en) * 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
EP3614172B1 (de) * 2018-08-23 2021-09-22 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur optischen distanzmessung
DE102018126841B4 (de) 2018-10-26 2021-05-06 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
JP6970703B2 (ja) * 2019-03-18 2021-11-24 株式会社東芝 電子装置および方法
DE102019131988A1 (de) 2019-11-26 2021-05-27 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US11947359B2 (en) * 2020-02-14 2024-04-02 Micron Technology, Inc. Intelligent lidar sensors for autonomous vehicles
JPWO2021193532A1 (zh) * 2020-03-23 2021-09-30

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008394A1 (en) * 2000-04-28 2004-01-15 Robert Lange Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
TW200427078A (en) * 2002-07-30 2004-12-01 Motorola Inc Pixel sensor circuit device and method thereof
CN101467091A (zh) * 2006-06-12 2009-06-24 皇家飞利浦电子股份有限公司 方法和照明***
US20130148102A1 (en) * 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
CN103760567A (zh) * 2014-01-27 2014-04-30 中国科学院半导体研究所 一种具有测距功能的被动成像***及其测距方法
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU9456198A (en) * 1998-09-28 2000-04-17 3Dv Systems Ltd. Distance measurement with a camera
JP4377013B2 (ja) * 1999-11-18 2009-12-02 國寛 渡辺 固体撮像装置及び固体撮像素子
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6888122B2 (en) 2002-08-29 2005-05-03 Micron Technology, Inc. High dynamic range cascaded integration pixel cell and method of operation
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
ATE481653T1 (de) 2006-01-29 2010-10-15 Rafael Armament Dev Authority Ladar mit passivem faser-optischem scanner
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
JP2008032427A (ja) 2006-07-26 2008-02-14 Fujifilm Corp 距離画像作成方法及び距離画像センサ、及び撮影装置
JP5201825B2 (ja) * 2006-12-13 2013-06-05 富士フイルム株式会社 距離画像取得装置及び方法
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8995485B2 (en) 2009-02-17 2015-03-31 Trilumina Corp. High brightness pulsed VCSEL sources
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
WO2014122714A1 (ja) 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US10497737B2 (en) 2013-05-30 2019-12-03 Caeleste Cvba Enhanced dynamic range imaging
EP3004924B1 (en) * 2013-06-06 2021-10-06 Heptagon Micro Optics Pte. Ltd. Sensor system with active illumination
CN105393083B (zh) 2013-07-09 2018-07-13 齐诺马蒂赛股份有限公司 周围环境感测***
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9753140B2 (en) 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
EP3074721B1 (en) 2014-08-08 2021-05-19 CEMB S.p.A. Vehicle equipment with scanning system for contactless measurement
EP3220627A4 (en) * 2014-11-10 2018-04-25 Nikon Corporation Light detection device, image-capturing device, and image-capturing element
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP6478725B2 (ja) 2015-03-09 2019-03-06 キヤノン株式会社 計測装置及びロボット
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
CN107615093B (zh) 2015-05-28 2021-07-06 新唐科技日本株式会社 测距摄像装置、其测距方法以及固体摄像装置
CN107533136B (zh) 2015-06-24 2020-08-25 株式会社村田制作所 距离传感器
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
JPWO2017085916A1 (ja) 2015-11-16 2018-09-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008394A1 (en) * 2000-04-28 2004-01-15 Robert Lange Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
TW200427078A (en) * 2002-07-30 2004-12-01 Motorola Inc Pixel sensor circuit device and method thereof
CN101467091A (zh) * 2006-06-12 2009-06-24 皇家飞利浦电子股份有限公司 方法和照明***
US20130148102A1 (en) * 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像
CN103760567A (zh) * 2014-01-27 2014-04-30 中国科学院半导体研究所 一种具有测距功能的被动成像***及其测距方法
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109084A (zh) * 2019-06-03 2019-08-09 北京未感科技有限公司 激光接收装置及降噪方法、激光雷达
CN110109084B (zh) * 2019-06-03 2021-08-17 北京未感科技有限公司 激光接收装置及降噪方法、激光雷达
CN110381239A (zh) * 2019-07-12 2019-10-25 Oppo广东移动通信有限公司 图像传感器、图像采集器、深度相机、电子设备及信号处理方法
CN110381239B (zh) * 2019-07-12 2021-03-09 Oppo广东移动通信有限公司 图像传感器、图像采集器、深度相机、电子设备及信号处理方法
WO2021103814A1 (zh) * 2019-11-26 2021-06-03 宁波飞芯电子科技有限公司 一种信号提取电路、信号提取方法以及测距方法和装置
CN111830530A (zh) * 2020-06-04 2020-10-27 深圳奥锐达科技有限公司 一种距离测量方法、***及计算机可读存储介质
CN111830530B (zh) * 2020-06-04 2023-02-24 深圳奥锐达科技有限公司 一种距离测量方法、***及计算机可读存储介质
CN115696076A (zh) * 2022-09-19 2023-02-03 武汉北极芯微电子有限公司 成像降噪方法及成像装置、电子设备、存储介质
CN115696076B (zh) * 2022-09-19 2023-09-29 武汉北极芯微电子有限公司 成像降噪方法及成像装置、电子设备、存储介质

Also Published As

Publication number Publication date
EP3789792B1 (en) 2024-05-01
US11543501B2 (en) 2023-01-03
EP3301479A1 (en) 2018-04-04
WO2018065426A1 (en) 2018-04-12
JP7105782B2 (ja) 2022-07-25
CN109791205B (zh) 2023-04-04
EP3789792A1 (en) 2021-03-10
EP3519854B1 (en) 2020-09-09
JP2019531489A (ja) 2019-10-31
US20200025894A1 (en) 2020-01-23
KR20190057125A (ko) 2019-05-27
EP3519854A1 (en) 2019-08-07
KR102471540B1 (ko) 2022-11-28

Similar Documents

Publication Publication Date Title
CN109791205A (zh) 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元
EP3365700B1 (en) System and method for determining a distance to an object
US11513199B2 (en) System and method for determining a distance to an object
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
US11029391B2 (en) System for determining a distance to an object
US10852400B2 (en) System for determining a distance to an object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant