CN107027322A - 提高弱视场信号区域的测量质量的飞行时间相机***和方法 - Google Patents

提高弱视场信号区域的测量质量的飞行时间相机***和方法 Download PDF

Info

Publication number
CN107027322A
CN107027322A CN201580034059.5A CN201580034059A CN107027322A CN 107027322 A CN107027322 A CN 107027322A CN 201580034059 A CN201580034059 A CN 201580034059A CN 107027322 A CN107027322 A CN 107027322A
Authority
CN
China
Prior art keywords
regions
region
illumination
visual field
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580034059.5A
Other languages
English (en)
Inventor
温宗晋
J.科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107027322A publication Critical patent/CN107027322A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023—Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

描述一种飞行时间相机***。所述飞行时间相机***包括照明器以照明在飞行时间相机***的视场中的区域。飞行时间相机***包括图像传感器以接收来自所述照明的光学信号，用于利用飞行时间测量技术确定在视场中的深度轮廓信息。所述图像传感器包括电路以确定在视场中的一个或多个区域，在所述一个或多个区域中，从照明接收的光学信号是弱的。照明器还将用比所述一个或多个区域在照明期间接收到的更强的光重照明一个或多个区域。每个所述一个或多个区域比所述区域更小。所述图像传感器还接收来自所述重照明的光信号用于确定在所述一个或多个区域中的深度轮廓信息。

Description

提高弱视场信号区域的测量质量的飞行时间相机***和方法
技术领域
发明的领域大体涉及相机***，并更具体地，涉及一种提高弱视场信号区域的测量质量的飞行时间相机***和方法。
背景技术
许多现有的计算***包括一个或多个传统的图像捕获相机作为集成的***设备。当前的趋势是通过集成深度捕获到它的图像部件而加强计算***成像能力。深度捕获可以被用于，例如，执行各种智能目标识别功能，例如面部识别(例如安保***解锁)或者手势识别(例如非接触式用户界面功能)。
一种被称为“飞行时间”成像的深度信息捕获方法从***发射光到物体并且对图像传感器的多个像素中的每一个，测量光的发射和在传感器上的它的反射的图像的接收之间的时间。由飞行时间像素产生的图像对应于目标的三维轮廓，其以在每个不同的(x,y)像素位置的唯一的深度测量(z)为特征。
由于许多具有成像能力的计算***本质上是可移动的(例如，笔记本电脑、平板电脑、智能手机等)，光源(“照明器”)集成到***中以达成飞行时间操作呈现许多设计挑战，例如成本挑战、封装挑战和/或电源消耗挑战。
发明内容
描述了一种飞行时间相机***。所述飞行时间相机***包括照明器以照明在飞行时间相机***的视场中的区域。所述飞行时间相机***包括图像传感器以接收来自所述照明的光学信号，用于利用飞行时间测量技术确定在视场中的深度轮廓信息。所述图像传感器包括电路以确定在视场中的一个或多个区域，在所述一个或多个区域中，从所述照明接收的光学信号是弱的。照明器还将用比所述一个或多个区域在照明期间接收到的更强的光重照明一个或多个区域。每个所述一个或多个区域比所述区域更小。所述图像传感器还将从重照明接收光信号，所述光信号用于确定在所述一个或多个区域中的深度轮廓信息。
描述一种装置，其具有用于照明在相机***的视场中的区域的手段(means)。所述装置包括用于利用飞行时间测量技术确定在所述视场中的深度轮廓信息的第一手段。所述装置包括用于确定在视场中的一个或多个区域的第二手段，在所述一个或多个区域中，从照明接收的光学信号是弱的。第一手段还将包括用于以比所述一个或多个区域在照明期间接收到的更强的光重照明一个或多个区域的手段。每个所述一个或多个区域比所述区域更小。第二手段包括用于确定在所述一个或多个区域中的深度轮廓信息的手段。
附图说明
下述描述和附图被用于说明本发明的实施例。在附图中：
图1a(i)和1a(ii)涉及第一可能的智能照明特征；
图1b(i)、1b(ii)和1b(iii)涉及分区的智能照明方法；
图1c(i)和1c(ii)也涉及分区的智能照明方法；
图1d(i)和1d(ii)涉及另一可能的智能照明特征；
图1e示出了用于分区的视场的光源的实施例；
图2a到2e涉及在智能照明***中的扫描；
图3示出了智能照明***的实施例；
图4a到4c示出了智能照明方法的实施例；
图5示出了第一照明器实施例；
图6示出了第二照明器实施例；
图7示出了第三照明器实施例；
图8a和8b示出了第四照明器实施例；
图9示出了2D/3D相机***；
图10示出了计算***。
具体实施方式
智能照明飞行时间***解决了在背景技术部分提到的一些设计挑战。如将要在下面讨论的，智能照明牵涉对飞行时间***的发射光的任意或所有的尺寸、形状或移动的智能操作。飞行时间***，以及特别地，集成在电池供电***中的飞行时间***，通常展现出在对能量供应的需求与对光信号的发射强度和接收强度的需求之间的权衡。
也就是说，随着照明光信号强度增长，接收到的光信号强度提高。更好的接收的光信号强度引起飞行时间***的更好的准确性和性能。然而，支持更高的发射光信号强度引起更昂贵的电池解决方案和/或较大的电池寿命上的耗尽，这两者的任一个可以是在用户享受和/或具有飞行时间测量的***的接受上的缺点。
智能照明通过聚集照明光功率到照明的较小的面积中而力争解决这个问题，所述照明的较小的面积被引导到相机视场中的关注区域上。通过聚焦光功率到照明的较小的面积中，接收的光信号强度和飞行时间***性能被加强，而不必增加从电池汲取的能量。因此，前述用户察觉的缺点可以被可接受地最小化。
光的较小区域的使用牵涉将照明的较小的区域引导到相机视场中关注区域的能力。关注区域是，例如，小于相机视场的，并且就获得深度信息而言比视场中的其他面积优先级更高的在相机视场中的面积。关注区域的示例包括存在其深度信息是被期望的目标的区域或者之前进行的飞行时间测量产生差的接收信号强度的区域。
因此，在在视场中关注区域被识别之后，照明***接收指示关注区域的信息并将光强度聚集在关注区域上。聚集光强度到关注区域可以牵涉在光照器的功率限度上或在光照器的功率限度附近发射光学光，但是将所述光主要引导到关注区域上。
第一示例包括，对于具有单一光源的照明器，在照明器的功率限度从光源发射光以及将光的较小的“光斑”聚焦在关注区域。第二示例包括，对于具有多个光源的照明器，在照明器的功率限度从其中一个光源发射光以使其他光源的光必需保持关闭以及将光束从照明光源引导到关注区域。
其他智能照明策略可以通过用比全照明器功率小的功率照明关注区域而利用较小的关注区域的照明。例如，如果关注区域足够小，有关区域的足够准确的信息可以是用比全照明器功率小的功率可得到的。
各种智能照明***的可能的特征在下面详细的讨论。通常，然而，智能照明***可以被设计为改变被照明区域的尺寸和形状两者或两者之一以便照明在相机视场中的关注目标。此外，智能照明***可以被设计为改变被照明区域的位置，例如，通过在视场中扫描发射束。
如下面讨论的图1a到1d涉及改变被照明区域尺寸和形状的方面。相比之下，如下面讨论的图2a到2c涉及改变被照明区域位置的方面。
图1a(i)和1a(ii)说明被照明区域的尺寸可以在将被照明的关注目标的视图中被调整。也就是说，在图1a(i)的第一情形111中，第一、较小的关注目标102在相机的视场101中消耗较小的面积。因此，由照明器发射的关注的被照明区域103的尺寸被收缩到包含较小的关注目标102。相比之下，在图1a(ii)的情形112中，第二、更大的关注目标104在相机的视场101中消耗较大的面积。因此，由照明器发射的关注的被照明区域105被扩展到包含较大的关注目标104。
被照明区域103、105的尺寸的收缩和扩展可以，例如，用具有可移动光学部件(例如，可移动光源、可移动透镜、可移动反光镜等)的照明器实现。在照明器中的光学部件的被控制的移动可以被用于可控地设定被照明区域的尺寸。具有可移动光学部件的照明器的示例进一步在下面关于图5a到5c被更详细地讨论。
可替代地，如图1b(i)和1b(ii)所示，视场101可以被分区成不同的部分，所述部分可以单独地被照明(例如，如图1b(i)所示，视场被分区成九个不同的部分106_1到106_9)。如图1b(i)的情形121中所示，较小的关注目标107通过照明分区中的一个分区(分区106_1)而被照明。相比之下，如图1b(ii)的情形122中所示，较大的关注目标109通过照明分区中的四个分区(分区106_1、106_2、106_4和106_5)而被照明。因此，图1b(ii)的被关注的被照明区域110明显大于图1b(i)的被关注的被照明区域108。
参照图1b(ii)注意到整个的视场可以通过同时照明所有分区，或者，通过接连单独地照明每个分区(或两种方法的某种混合)而被照明。前种方法易于引发更弱的接收光信号。后种方法可以用在单独被照明的分区上更高的光聚集执行，但是以扫描视场需要的时间为代价。这里，接连照明每个分区对应于扫描的形式。扫描进一步在下面关于图2a到2e更详细地描述。
在视场中被分区的区域的照明可以用分区的光源实现。图1b(iii)描绘了示例性的被分区的照明器光源117的顶视图(向照明器的表面的里面看)，所述照明器光源117具有九个单独的光源113_1到113_9。在各种实施例中，每个单独的光源实施为垂直腔侧发射激光器(VCSELs)或发光二极管(LEDs)并且负责照明特定分区。所有单独光源113_1到113_9可以集成，例如，在相同的半导体芯片上。在一实施例中，每个单独的光源被实施为光源器件(VCSELs或LEDs)的阵列使得整个的光照器功率预算可以用在只照明单一区域(在这种情况下，其他区域的单独的光源必须关闭)。
如果照明器光源117被用于图1b(i)的情形121，单独的光源113_1将被开启以照明分区106_1。相比之下，如果照明器光源117被用于图1b(ii)的情形112，单独的光源113_1、113_2、113_4和113_5将被开启。更多有关具有分区的视场的照明器的细节和对应的光源实施例进一步在下面更详细地描述。
图1c(i)示出了另一个分区方法，其中分区本身不全是相同的尺寸。也就是说，存在具有不同尺寸的不同分区。由于不同尺寸的分区，被照明区域的尺寸可以通过依次照明不同尺寸的分区而改变。例如，如果只有较小的分区被照明并且然后只有较大的分区被照明，则被照明区域的尺寸将扩展。图1c(i)的分区方法的示例性的光源119如图1c(ii)所示。注意照明较大分区的单独的光源比照明较小分区的单独的光源具有较大的潜在的光学功率输出(例如，通过具有更多VCSELs或LEDs所说明的)。
注意，对相同发射光功率，被照明区域的尺寸的扩展和/或收缩(无论通过非分区的还是分区的原理)牵涉在被照明区域的尺寸和接收信号的强度之间的权衡。也就是说，对于相同的发射光功率，较小的被照明区域对应于较强的接收信号强度。相比之下，再对于恒定的发射光功率，较大的被照明区域对应于较弱的接收信号强度。
如果较大的被照明区域尺寸被期望但是在接收信号强度上无损失，则存在另一在被照明区域尺寸和将要被照明器消耗的功率的量之间的权衡。也就是说，为了增加被照明区域的尺寸但保持接收光信号强度，照明器(没有如下述的任何扫描)通常将需要发射更强的光，其将导致照明器消耗更多能量。
一些智能照明***可以被设计为在图像传感器保持最小接收光信号强度。在关注的被照明区域收缩的情况下，光强度可以被降低，因为每单位照明表面积的足够强的光强度仍可以被保持。相反地，照明器功率可以随着关注区域的尺寸扩展而增大。
此外，在关注区域较小的情况下，因为将被照明的目标更远，发射光强度可以只稍微降低、保持恒定或甚至提高，因为接收光信号通常与从反射目标距相机的距离成反比。因此，当确定合适的照明器光功率时，智能照明***除了考虑关注目标的尺寸还可以考虑它的距离。当设定照明特性时智能照明***可以考虑的因素的更充分的讨论在下面关于图3被更详细地描述。
在各种实施例中，被照明区域的形状可以改变。图1d(i)示出了第一情形131，当指向束(pointed beam)被指向视场中间时，指向束基本上为圆形，但是，如图1d(ii)的情形132所示，当相同的束被指向被照明区域的视场的角时，指向束变为形状更加地椭圆。指向束的移动，如将在下面更详细地讨论的，可以用具有可移动光学部件的照明器实现。
图1e示出了用于分区视场方法的光源的实施例，其分区本身具有不同的形状。因此，只照明具有第一形状的第一分区，然后只照明具有第二、不同形状的第二分区，将对应地在视场中产生改变形状的被照明区域。
上面描述的图1a到1e涉及智能照明***，所述智能照明***可以随着***试图适当地照明出现在飞行时间相机***视场中的不同的关注目标而改变被照明区域的尺寸和/或形状。
相比之下，图2a到2c涉及在相机视场中的发射光的扫描。扫描牵涉为了捕获比被照明区域本身的尺寸大的全部的关注区域，随着时间接收照明的区域的智能改变。这里，从上面的图1a到1e回顾，随着关注区域的扩展，为了保持足够强的照明和对应的接收信号强度，发射光强度可能不得不增大。可以想象，一些关注区域可以足够大，其适当的发射光强度超过期望或允许的照明器光预算。
扫描有助于在较大的关注区域上保持或增强接收信号强度，但是发射光功率强度没有对应增大。也就是说，例如，通过在较大的关注区域上扫描照明的较小的“点”，即使用只足够照明较小的点的光功率，对于较大的关注区域，深度信息可以被收集。
图2a示出了如刚刚上面所述的扫描的示例。如图2a所示，较大的关注目标205通过扫描较小的被照明区域照明，所述扫描最初从在时间T1的位置206到在时间T2的位置207并且然后到在时间T3的位置208并且最后在时间T4的位置209。图2a的扫描可以例如用具有移动的光学部件的照明器来实现，所述光学部件能够在视场中以扫描运动指向或扫掠光束。
可替代地或结合地，如图2b所示，扫描可以用分区照明***通过以开启和关闭序列照明不同的分区达成。也就是说，如图2b所示，第一分区211在时间T1被照明。紧接着，在时间t2，第一分区211被关闭，并且第二分区212被开启。对于第三和第四分区213、214，类似的序列紧接着在时间t3和t4发生。于是，在所有四个分区中的关注区域可以在时间t1到t4被照明。
图2c示出了扫描可以是不连贯的。也就是说，图2a和2b的实施例假设下一个在扫描中将被照明的区域是与之前刚刚被照明的区域相邻的。相比之下，图2c说明了扫描可以包括照明不相邻的两个分开的区域。这里，在时间T1，第一区域221被照明。然后，在时间T2，第二区域222被照明，所述两个区域在视场中相互不相邻。不连贯的扫描可以被执行，例如，当“关注区域”包括在需要照明的视场中的两个或更多不同的、非相邻的面积或事项。不连贯扫描可以用分区以及非分区照明策略执行。
注意，图2c的示例还示出，被照明区域的尺寸可以在扫描序列上改变(被照明区域222比被照明区域221大)。在扫描的过程中改变被照明区域尺寸不限于不连贯扫描并且可以是例如上面讨论的图2a和2b的连续扫描的特征。在分区扫描的情况下，改变被照明区域的尺寸是可能的，例如通过首先转到第一分区并且然后转到多个分区。
图2d进一步示出了某分区的智能照明***可以被设计为在分区中执行扫描。也就是说，照明器可以既具有分区的光源又具有可移动光学部件，使得在分区中较小的束在分区的表面积中被扫描以有效地照明分区。如图2d所示，比分区尺寸较小的照明“点”在左上分区中被扫描以有效地照明左上分区。通过连续地或同时扫描每个分区(如在下面进一步关于图2e的讨论)或两种方法的某种混合，整个的视场可以被扫描。
如上面讨论的，各种照明器实施例能够改变被照明区域的尺寸(通过改变发射光的束的横截面)，同时其他照明器实施例涵盖分区的方法，其中视场被分区并且照明器能够单独地照明每个分区。图2d的方法可以被集成到具有这两个特性的照明器中。也就是说，可以想象，其设计支持改变被照明区域尺寸的照明器可以构想地形成束，所述束足够大以照明整个分区，并且还形成束，所述束比整个分区小使得它可以在分区中扫描。
图2e示出了另一分区扫描方法，其中相应的分区同时用它们自己相应的光束扫描。在一实施例中，照明器被设计为不仅同时将分开的光束引导到每个分区还能够扫描光束。能够同时扫描在视场中的多个分区的照明器设计的实施例在下面进一步地被更详细地描述。
注意，虽然图2d的实施例针对分区的方法，其他实施例可以在区域上扫描，在所述区域中照明器设计不完全包括分区的设计(例如，特定的光束可以被引导到视场中的任何地方)。然而，同时的多束的扫描包括每条束，所述每条束具有在其中扫描的其自身相应的区域。这样的区域可以被视为在同时多束扫描序列中的分区。
在上面讨论的图2a到2e的任何扫描方法，可以引入在收集关注区域的飞行时间信息所用的时间和关注区域大小之间的权衡。也就是说，对于恒定的被照明区域尺寸(例如，“点尺寸”)，随着将要被照明的被关注的区域的尺寸增长，将会消耗更多扫描时间。反之，如果关注的区域增长，扫描时间可以通过增加照明的尺寸而降低，但是以增长的发射光功率(如果每单位面积光强度被保持)或者接收信号强度(如果每单位面积光强度被允许降低)为代价。
图1a到1e和2a到2d的讨论着重说明了在智能***中存在的一些基本权衡，例如：1)在被照明区域尺寸和接收信号强度之间的权衡；2)在接收信号强度和照明器功率消耗之间的权衡；3)在被照明区域尺寸和扫描时间之间的权衡；4)在照明器功率和关注目标和相机之间的距离之间的权衡。另外的权衡可以包括关注目标的反射和发射光功率之间的权衡。这里，一般的飞行时间照明器将发射红外(IR)光。如果将被照明的关注目标基本上反射IR光，照明器可以发射较小的光功率。相比之下，如果将被照明的关注目标没有特别好地反射IR光，照明器可以增加它的发射光功率。
哪种权衡和/或哪个方向和任意特定的权衡应该有多重要应该是围绕任意特定的照明情形的特定的环境的函数。
例如，考虑将要被照明的关注目标具有适中的尺寸并且远离相机。这里，如果可用的功率预算大并且期望在短时间内完成读取，智能照明控制***可以选择用高照明器功率完全地照明目标区域而不进行任何扫描。相比之下，在另一情况下，其中关注的物体大并且接近相机，但是可用的功率预算小并且缺乏马上完成读取的需要，相同的智能照明***可以选择形成较小的被照明区域并且在关注的区域上扫描它。
从这些例子，应该清楚的是，智能照明***可以在用特定的被照明区域大小、照明器功率和是否发生任何扫描，照明特定关注区域之前考虑周围的情况。
图3示出了智能照明技术301集成到例如手持平板或智能手机的工作计算***中。这里，智能照明技术可以，例如，在用于包括飞行时间测量能力的集成相机设备的设备驱动软件和/或固件中部分或全部地实施。软件/固件可以，例如，在计算***的非易失性存储器中(例如，FLASH固件或***存储器中)被存储。
如图3所示，智能照明技术软件/硬件可以被实现为方法的***，所述方法的***被设计为被给定对应于深度轮廓图像捕获序列的周围情况的一组输入信号在前述权衡中寻求适当的平衡。
如图3所示，智能照明方法301可以从主***302接收一个或多个下列输入参数：1)关注目标(其可以具体为目标是什么(例如手、脸等)和/或目标位置的特性和/或在视场中的形状)；2)飞行时间测量有多么时间紧急(它需要被执行得多块)；和3)飞行时间***和/或它的照明器的功率预算(例如，具体为最大允许功率)。产生这些输入参数的主***302的部件可以包括智能目标识别软件应用和/或硬件逻辑电路部件(例如，用于面部识别、手识别等)。主***302的能量管理软件、固件和/或硬件可以产生功率预算输入信息。
智能照明方法301还可以从相机***303b自身接收输入信息，例如：1)关注目标与相机之间的距离；2)关注目标的反射性；3)关注目标的位置和/或形状；4)背景光的强度。由相机提供的任何输入参数可以在目标的(或者大体上说，视场)最初照明之后被提供。也就是说，例如，作为对来自主***302的输入的最初响应，飞行时间***可以最初照明目标和/或视场作为第一遍。从所述第一遍收集的数据然后被呈现给智能照明方法301使得它们可以根据哪个区域被照明和发射光应该多强而更好地优化目标的捕获。
为了产生对相机303b图像捕获控制命令，智能照明方法301用可应用的输入参数有效地确定哪种权衡控制和/或哪个方向和任何特定的权衡应该有多重要，所述控制命令指定什么区域被照明、发射光的强度、是否应用任何扫描和例如如果应用，可应用的扫描参数(例如扫描时间、扫描速度、扫描图案等)。
图4a到4c示出了图3的智能照明方法301可以被设计以执行的方法的另一实施例。如图4a所示，最初，例如基本上覆盖了相机的视场401的大面积410首先由飞行时间照明器照明。在一些实施例中，如图4a所示，大面积410可以对应于整个视场401。在其他实施例中，大面积410可以对应于大部分但是小于整个视场401(例如大约视场410的33％、50％、60％、75％)。这里，注意，在视场401中大面积410的照明可以对应于更弱的接收光强度，因为发射的照明在更宽的表面积上被“铺展”。
接收反射光的图像传感器包括测量在每个像素接收信号强度相对某阈值的电路(例如感测放大电路)。那些在弱光强度接收光的像素被识别(例如其接收光强度降低到阈值以下的像素被识别)。在许多情况下，如图4b所示，预期的是，相邻的像素组将降低到阈值以下，这进而对应于在视场401中的接收弱光信号的区域411的识别。
这里，图3的智能照明方法301可以接收所有图像传感器的像素的信号强度信息并且应用阈值以确定区域411的尺寸和位置，或者，可替代地，可以只接收从降低到阈值以下的像素的特性并且从它们确定区域411。在识别弱信号区域411时，智能照明方法将如图4c所示进行到以给飞行时间照明器指定指令以重照明这些相同区域411。
用更多聚集的光执行重照明以“提高(boost)”引导到区域411的光强度。所述聚集通过形成照明光的较小的区域(相较于照明整个视场)来实现，所述照明光，例如，具有与当视场被充溢时发射的照明器强度相同的量。利用更强的光对这些区域的重照明，飞行时间测量应该被完成，在于之前接收弱光信号的像素现在将接收足够强的光信号。
在具有可移动光学部件的照明器的情况下，需要重照明的视场的部分可以通过移动一个或多个光学部件以将光束引导到每个区域上而被重照明。在具有分区视场的照明器的情况下，需要重照明的视场的部分通过照明他们对应的分区而重照明。在一个实施例中，被用于最初照明整个视场的光功率的相同的总量可以与被用于只照明被重照明的分区的功率总量相同。
图5到8a、b提供了照明器不同的实施例，所述实施例能够执行上述智能照明技术。
图5示出了具有用于调整被照明区域尺寸(通过在光源上垂直移动透镜)以及扫描照明区域或者至少将照明引导到相机的视场内的任意面积(通过在光源上使透镜平面倾斜)的可移动透镜组件501、502的照明器的实施例。
如图5所示，光源503位于透镜501下方，并且，当照明时，发射光通过透镜传播，并进入相机的视场。光源503例如可以被实施为具有红外(IR)VCSELs或LEDs阵列的半导体芯片。阵列的使用有助于“增大”最大光输出功率，其大致与NL共同延伸地进行，其中，N是在阵列中VCSELs/LEDs的数量并且L是每个VCSELs/LEDs的最大输出功率。在一实施例中，在阵列中的所有VCSELs/LEDs接收相同的驱动电流，使得每个VCSELs/LEDs发射的光功率大约与在阵列中的其他VCSELs/LEDs相同。光输出功率通过控制驱动电流的大小而控制。
各具有弹簧复位件533、534的一对音圈马达531、532被用作致动器以限定沿透镜501的外边沿的两个点的每个的垂直位置。透镜501关于y轴的倾斜角度基本上由第一马达531对它的复位弹簧533施加的力限定。透镜502关于x轴的倾斜角度基本上由第一马达532对它的复位弹簧534施加的力限定。从这些基本的情形，透镜的任意倾斜角可以被建立为由马达施加的对应的力以及由弹簧施加的反作用力的函数。透镜支撑件501与复位弹簧的相对侧上可以存在铰链销或球关节，例如，以允许透镜支撑件501绕x和y轴枢转。
此外，透镜501的垂直位置可以通过相等地致动两个马达531、532建立。也就是说，如果两个马达531、531均向外伸出相等的量，透镜将在+z方向被抬高。相应地，如果两个马达531、531均向内凹陷相等的量，透镜将在-z方向被降低。替代上述铰链销或球关节，一个或多个另外的音圈致动器可以沿透镜支撑件502的外周被定位以进一步稳定透镜的倾斜角度和垂直定位两者(例如三个120°间隔分开的致动器，四个90°间隔分开的致动器等)。
图6示出了具有可移动光源603的照明器。光源本身可以实施为上面关于图5讨论的光源503。在图6的方法中，透镜组件定位基本上保持固定，但是光源安装在其上的平台或基底610是根据上面关于图5的透镜支撑件502讨论的相同的原则可移动的。也就是说，音圈马达致动器和复位弹簧对631/633、632/634可以被用于实现平台610关于x和y轴两者或两者之一的倾斜角度。改变平台的倾斜角度改变了发射光到透镜中的入射角度，其转而将改变从透镜发射到相机视场中的光束的指向方向。
第三音圈致动器和复位弹簧对(未示出)可以耦合在除了音圈致动器和复位弹簧对631/633、632/634被定位的两个边沿的平台610的边沿上以实现平台610沿z轴的移动，其转而将影响在相机视场中被照明区域的尺寸(点尺寸)。
图7示出了另一照明器实施例，其中光源712固定在机械臂713的下侧，所述机械臂713以一角度取向，光源以该角度定位以将光引导到安装在可移动平台710上的反射镜714。透镜和透镜支撑件在反射镜上方的位置被固定，使得从反射镜表面反射的光通过透镜传播到相机的视场中。光源可以如上面关于图5和6所讨论的被实施。
一组音圈马达致动器和复位弹簧对731/733、732/734可以被用于实现平台710关于x和y轴两者或两者之一的倾斜角度。改变平台710的倾斜角度改变了发射光到透镜中的入射角度，其转而将改变从透镜发射到相机视场中的光束的指向方向。
第三音圈致动器和复位弹簧对(未示出)可以耦合在除了音圈致动器和复位弹簧对731/733、732/734被定位的两个边沿的平台710的边沿上以实现平台710沿z轴的移动，其转而将影响在相机视场中光照区域的尺寸(点尺寸)。
图6和7的照明器设计的任一个可以被加强以包括如图5中讨论的可移动透镜布置。向图6和图7的设计中加入可移动透镜能力可以，例如，提供更快的扫描时间和/或从照明器的较大的发射角度。图6和7的每个可移动平台610、710可以实施为微机电(MEM)设备以将光源(图6)或反射镜(图7)放置在xy平面上的任意位置。
图8a和8b示出了照明器的实施例，所述照明器被设计成单独地照明视场中不同的分区。如图8a和8b中所示的，照明器801包括具有用于视场中每个分区的光源阵列806_1到806_9的半导体芯片804。虽然图8a和8b的特定的实施例示出了以正交网格布置的九个视场部分，分区的其他数量和/或布置可以被使用。类似地，虽然每个光源阵列被描绘为相同尺寸的NxN方块阵列，在相同半导体管芯上包括不同尺寸和/或形状的阵列的其他阵列图案和/或形状可以被使用。每个光源阵列106_1到106_9可以被实施为，例如，VCSELs或LEDs阵列。
根据图8a和8b，在一实施例中，照明器801还包括光学元件807，所述光学元件807在面对半导体芯片804的底面上具有微透镜阵列808并且具有用于每个分区的具有不同透镜结构805的发射表面以将从它的特定的光源阵列接收的光引导到它的对应的视场分区。微透镜阵列808的每个透镜基本表现为较小的物镜，其收集来自下侧的光源的发散光并且当光接近发射表面时在光学元件内部将光成形成较小的发散。在一个实施例中，微透镜被分配给下侧的光源阵列的每个光源并且与下侧的光源阵列的每个光源对齐，虽然其他的实施例可以存在，在所述其他实施例中，对于任意特定阵列，每个光源有更多或更少的透镜。
微透镜阵列808通过捕获大部分从下侧的激光器阵列发射的光学光和形成更聚集的束而加强光学效率。这里，各种阵列的单独的光源一般具有宽的发射光发散角度。微透镜阵列808能够从阵列的光源收集大部分或所有发散的光并且有助于形成具有较小发散角的发射光束。
从光源阵列收集大部分或所有光并且形成更低发散角的束基本上形成更高的光功率束(也就是说，每单位表面积的光强度增大)，引起在传感器对于被所述束照明的关注区域的更强的接收信号。根据计算，如果从光源阵列的发散角度是60°，降低发射束的发散角度到30°将以4.6的系数提高在传感器处的信号强度。降低发射光的发散角度到20°将以10.7的系数提高在传感器处的信号强度。
此外，光学元件807可以被设计成提供被收集光的进一步扩散，这通过，例如，用在IR光谱中为半透明的材料构建元件807和/或另外设计元件807内的光学路径以施加散射内反射(例如将元件807构造为多层结构)。如上面简要提到的，光学元件807的发射表面可以包括独特的透镜结构805，每个透镜结构805被成形为将光引导到它的正确的视场分区。如图8a和8b的实施例所示，每个透镜结构805具有圆凸形状。其他实施例可以具有，例如更锐利的梯形形状或者根本没有结构。
与上面关于图5、6和7提供的讨论一致，光学元件807还可以为可移动的，这例如通过机械地耦合，例如两个或三个音圈马达致动器和复位弹簧对来实现。通过设计光学元件807为可移动的，如上面关于图2d讨论的在分区中扫描单一束可以通过以扫描运动移动光学元件807同时只照亮与被扫描的分区相关联的光源而达到。此外，如图2e所示的多个分区的同时扫描可以通过照亮每个分区的相应的光源和以扫描运动移动光学元件807被实现。
图9示出了集成的传统相机和飞行时间图像***900。***900具有用于与例如较大的***/主板电连接的连接器901，所述较大的***/主板例如台式电脑、平板电脑或智能手机的***/主板。根据布局和实施方式，连接器901可以连接于例如与***/主板进行实际连接的柔性电缆，或连接器901可以直接与***/主板进行连接。
连接器901固定于平面板902，所述平面板902实施为交替的导电层和绝缘层的多层结构，其中导电层被构图以形成支持***900的内部电连接的电子迹线。通过连接器901，命令从较大的主***被接收，所述命令例如在相机***900中向配置寄存器写入配置信息或从配置寄存器读取配置信息的配置命令。此外，命令可以为例如由上述关于图3讨论的智能技术方法301提供的任何输出的与智能照明技术***关联的任何命令。
RGBZ图像传感器903在接收透镜904下被安装于平面板902。RGBZ图像传感器903包括具有RGBZ单位像素单元的像素阵列。所述RGB像素单元被用于支持传统“2D”可见光捕获(传统的图片采集)功能。Z像素单元对IR光敏感并且被用于利用飞行时间技术支持3D深度轮廓成像。虽然基本的实施例包括用于可见图像捕获的RGB像素，其他的实施例可以使用不同的彩色像素策略(例如，青色、品红色和黄色)。
图像传感器903还可以包括用于数字化来自图像传感器的信号的ADC电路以及用于产生用于像素阵列和ADC电路的计时和控制信号的计时和控制电路。
平面板902可以包括信号迹线以将由ADC电路提供的数字信息传送给连接器901以被主计算***的更高端的组件处理，所述主计算***的更高端的组件例如图像信号处理流水线(例如，其被集成在应用处理器上)。
相机透镜模块904被集成在RGBZ图像传感器903之上。相机透镜模块904包含一个或多个透镜的***以聚焦接收到的光到图像传感器903。因为相机透镜模块904接收可见光可能干扰图像传感器的飞行时间像素单元接收IR光，并且，反之，因为相机模块接收IR光可能干扰图像传感器的RGB像素单元接收可见光，图像传感器的像素阵列和透镜模块903两者或两者之一可以包含滤光片***，所述滤光片***被布置为基本上阻挡将由RGB像素单元接收的IR光以及基本上阻挡将由飞行时间像素单元接收的可见光。
与如在上面的讨论中解释的，与智能照明技术一致的能够在视场中照明特定区域的照明器被安装在平面板902上。照明器905可以被实施为，例如，上面关于图5到图8a、b讨论的任意照明器。光源驱动器被耦合于照明器的光源907以导致它发射具有特定强度和调制波形的光。
在一实施例中，图9的集成的***900支持三种操作模式：1)2D模式；2)3D模式；和3)2D/3D模式。在2D模式的情况下，***表现为传统相机。因此，照明器905被禁用并且图像传感器被用于通过它的RGB像素单元接收可见图像。在3D模式的情况下，***在照明器905的视场下捕获目标的飞行时间深度信息。因此，照明器905被启用并且发射IR光(例如开启-关闭-开启-关闭…序列)到目标上。所述IR光从物体反射，通过相机透镜模块1504接收并且由图像传感器的Z像素感测。在2D/3D模式的情况下，上述2D模式和3D模式两者同时被激活。
图10示出了例如个人计算***(例如台式机或笔记本)或者移动或手持计算***的示例性计算***1000的描绘，所述移动或手持计算***例如平板设备或智能手机。如图10所示，基本计算***可以包括设置在应用处理器或多核处理器1050上的中央处理单元1001(其可以包括例如多个通用处理核)和主存储器控制器1017、***存储器1002、显示器1003(例如触屏、平板)、局部有线点对点连接(例如USB)接口1004、各种网络I/O功能1005(例如以太网接口和/或蜂窝调制解调子***)、无线局域网络(例如WiFi)接口1006、无线点对点连接(例如蓝牙)接口1007和全球定位***接口1008、各种传感器1009_1到1009_N、一个或多个相机1010、电池1011、电源管理控制单元1012、扬声器和麦克风1013以及音频编码器/解码器1014。
应用处理器或多核处理器1050可以包括在它的CPU 1001中的一个或多个通用处理核1015、一个或多个图形处理单元1016、主存储器控制器1017、I/O控制功能1018和一个或多个信号处理器流水线1019。通用处理核1015一般执行计算***的操作***和应用软件。图形处理单元1016一般执行图形密集型函数(graphics intensive functions)以，例如产生在显示器1003上呈现的图形信息。存储控制功能1017与***存储器1002相接口。图像信号处理流水线1019从相机接收图像信息并处理原始图像信息供下游使用。能量管理控制单元1012通常控制***1000的能量消耗。
每个触屏显示器1003、通信接口1004-1007、GPS接口1008、传感器1009、相机1010和扬声器/麦克风编码解码器1013、1014相对于在适当的情况下还包括集成的***设备(例如一个或多个相机1010)的整个计算***，都可以被视为各种形式的I/O(输入/输出)。根据实施方式，这些I/O部件中的各种I/O部件可以被集成在应用处理器/多核处理器1050上或者可以被定位在管芯(die)外或者应用处理器/多核处理器1050的封装外部。
在一实施例中，与在上面的讨论中被解释的智能照明技术一致，一个或多个相机1010包括能够在相机视场中照明特定区域的照明器。在应用处理器或其他处理器的通用CPU核(或者具有指令执行流水线以执行程序代码的其他功能块)上执行的应用软件、操作***软件、设备驱动器软件和/或固件可以将智能照明命令或其他命令指向到相机***和从相机***接收图像数据。可以通过相机1010接收的其他命令包括上面讨论的用于进入2D、3D或2D/3D***状态中的任一状态或从上述2D、3D或2D/3D***状态中任一状态出来的命令。
智能照明技术本身可以被部分或全部地实施为下列中的任意一个或多个：1)在通过处理核上运行的软件；2)***固件(例如BIOS固件)；3)专用逻辑电路(例如设置在下列中的一个或多个：相机1010上，集成在ISP 1090中；与I/O或***控制器1080集成)。如上面讨论的智能照明技术可以从能量管理控制单元接收输入信息，所述能量控制单元本身可以被部分或全部地用一个或多个在通用处理核、***固件、专用逻辑电路等上运行的软件实施。
本发明的实施例可以包括如上所述的各种过程。所述过程可以在机器可执行指令中体现。所述指令可以被用于引起通用或专用处理器执行某个过程。可替代地，这些过程可以由包含用于执行所述过程的硬连线逻辑的特定硬件部件执行或通过编程的计算部件和定制硬件部件的任意结合执行。
本发明的元件还可以提供为用于存储机器可执行指令的机器可读介质。所述机器可读介质可以包括，但是不限于，软磁盘、光盘、CD-ROMs、和磁光盘、FLASH存储器、ROM、RAM、EPROM、EEPROMs、磁性或光学卡、传播介质或用于存储电子指令的其他类型的介质/机器可读介质。例如，本发明可以作为计算机程序下载，所述计算机程序可以通过数据信号的方式从远程计算机(例如服务器)传送到请求计算机(例如客户机)，所述数据信号经由通信连接(例如调制解调或网络连接)以载波或其他传播媒介实现。
在前述说明书中，发明已经参考在其中的特定的示例性实施例被描述。然而，显而易见的是，在不脱离如在所附权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (26)

1.一种方法，包括：
照明在飞行时间相机***的视场中的区域；
利用飞行时间测量技术确定在所述视场中的深度轮廓信息；
确定在所述视场中的一个或多个区域，在所述一个或多个区域中，从所述照明接收的信号是弱的；
用比所述一个或多个区域在所述照明期间接收到的更强的光重照明所述一个或多个区域，每个所述一个或多个区域比所述区域更小；以及
确定在所述一个或多个区域中的深度轮廓信息。
2.如权利要求1所述的方法，其中所述区域为所述飞行时间的整个视场。
3.如权利要求1所述的方法，其中所述重照明进一步包括重照明所述视场内的分区。
4.如权利要求3所述的方法，其中照明所述分区的光源在所述重照明期间比在所述照明期间发射更强的光。
5.如权利要求1所述的方法，其中所述重照明进一步包括直接将光引导到每个所述一个或多个区域。
6.如权利要求5所述的方法，其中在所述重照明期间，所述光的尺寸被成形为分别包含每个所述一个或多个区域。
7.如权利要求6所述的方法，其中照明所述区域和所述一个或多个区域的光源当重照明所述一个或多个区域中的至少一个区域时比当照明所述区域时不发射更强的光。
8.一种机器可读存储介质，包括存储的程序代码，当由数字处理***处理时，所述存储的程序代码引起方法被飞行时间相机***执行，所述方法包括：
照明在飞行时间相机***的视场中的区域；
利用飞行时间测量技术确定在所述视场中的深度轮廓信息；
确定在所述视场中的一个或多个区域，在所述一个或多个区域中，从所述照明接收的信号是弱的；
用比所述一个或多个区域在所述照明期间接收到的更强的光重照明所述一个或多个区域，每个所述一个或多个区域比所述区域更小；以及
确定在所述一个或多个区域中的深度轮廓信息。
9.如权利要求8所述的机器可读存储介质，其中所述区域为所述飞行时间的整个视场。
10.如权利要求8所述的机器可读存储介质，其中所述重照明进一步包括重照明所述视场内的分区。
11.如权利要求10所述的机器可读存储介质，其中照明所述分区的光源在重照明期间比在所述照明期间发射更强的光。
12.如权利要求8所述的机器可读存储介质，其中所述重照明进一步包括直接将光引导到每个所述一个或多个区域。
13.如权利要求12所述的机器可读存储介质，其中在所述重照明期间，所述光的尺寸被成形为分别包含每个所述一个或多个区域。
14.如权利要求13所述的机器可读存储介质，其中照明所述区域和所述一个或多个区域的光源当重照明所述一个或多个区域中的至少一个区域时比当照明所述区域时不发射更强的光。
15.一种装置，包括：
飞行时间相机***，包括：
照明器以照明在飞行时间相机***的视场中的区域；
图像传感器以接收来自所述照明的光学信号，用于利用飞行时间测量技术确定在视场中的深度轮廓信息，所述图像传感器具有电路以确定在所述视场中的一个或多个区域，在所述一个或多个区域中，从所述照明接收的光学信号是弱的；
所述照明器还用比所述一个或多个区域在所述照明期间接收到的更强的光重照明所述一个或多个区域，每个所述一个或多个区域比所述区域更小；以及
所述图像传感器还接收来自所述重照明的光学信号，用于确定在所述一个或多个区域中的深度轮廓信息。
16.如权利要求15所述的装置，其中一个或多个区域被用所述图像传感器的像素限定。
17.如权利要求15所述的装置，其中所述区域为所述飞行时间的整个视场。
18.如权利要求15所述的装置，其中所述照明器具有光学部件和光源，所述光学部件和光源被设计成所述飞行时间相机的视场的分区照明。
19.如权利要求18所述的装置，其中所述一个或多个区域的所述重照明通过单独地照明所述一个或多个区域所在的相应的一个或多个分区而执行。
20.如权利要求15所述的装置，其中所述照明器具有可移动光学部件，以单独地将所述重照明引导到所述一个或多个区域。
21.一种计算***，包括：
具有多个处理核和存储控制器的应用处理器，耦合于所述存储控制器的***存储器；
耦合于所述应用处理器的飞行时间相机***，所述飞行时间相机***包括：
照明器以照明在飞行时间相机***的视场中的区域；
图像传感器以接收来自所述照明的光学信号，用于利用飞行时间测量技术确定在视场中的深度轮廓信息，所述图像传感器具有电路以确定在所述视场中的一个或多个区域，在所述一个或多个区域中，从所述照明接收的光学信号是弱的；
所述照明器还用比所述一个或多个区域在所述照明期间接收到的更强的光重照明所述一个或多个区域，每个所述一个或多个区域比所述区域更小；以及
所述图像传感器还接收来自所述重照明的光学信号，用于确定在所述一个或多个区域中的深度轮廓信息。
22.如权利要求21所述的计算***，其中一个或多个区域被用所述图像传感器的像素限定。
23.如权利要求21所述的计算***，其中所述区域为所述飞行时间的整个视场。
24.如权利要求21所述的计算***，其中所述照明器具有光学部件和光源，所述光学部件和光源被设计成所述飞行时间相机的视场的分区照明。
25.如权利要求21所述的计算***，其中所述一个或多个区域的所述重照明通过单独地照明所述一个或多个区域所在的相应的一个或多个分区而执行。
26.如权利要求21所述的计算***，其中所述照明器具有可移动光学部件以单独地将所述重照明引导到所述一个或多个区域。。
CN201580034059.5A 2014-12-22 2015-11-17 提高弱视场信号区域的测量质量的飞行时间相机***和方法 Pending CN107027322A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/579,243 US9635231B2 (en) 2014-12-22 2014-12-22 Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US14/579,243 2014-12-22
PCT/US2015/061039 WO2016105698A1 (en) 2014-12-22 2015-11-17 Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions

Publications (1)

Publication Number Publication Date
CN107027322A true CN107027322A (zh) 2017-08-08

Family

ID=56130982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580034059.5A Pending CN107027322A (zh) 2014-12-22 2015-11-17 提高弱视场信号区域的测量质量的飞行时间相机***和方法

Country Status (6)

Country Link
US (4) US9635231B2 (zh)
EP (4) EP3346288A1 (zh)
CN (1) CN107027322A (zh)
DE (1) DE112015005706T5 (zh)
GB (1) GB2548665B (zh)
WO (1) WO2016105698A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108169981A (zh) * 2018-01-15 2018-06-15 深圳奥比中光科技有限公司 多功能照明模组
CN110346780A (zh) * 2019-07-31 2019-10-18 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其局部检测精度调整方法
CN110456380A (zh) * 2019-07-31 2019-11-15 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
CN111458693A (zh) * 2020-02-01 2020-07-28 上海鲲游光电科技有限公司 直接测距tof分区探测方法及其***和电子设备
CN113916775A (zh) * 2021-08-26 2022-01-11 中国工程物理研究院激光聚变研究中心 一种高辨识度漫反射靶

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992396B1 (en) 2015-02-02 2018-06-05 Apple Inc. Focusing lighting module
CN107850782B (zh) * 2015-05-13 2019-10-25 脸谱科技有限责任公司 用反射率图表示增强深度图表示
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US11598850B2 (en) 2016-11-30 2023-03-07 Sony Semiconductor Solutions Corporation Apparatus and method for illumination
US10554881B2 (en) * 2016-12-06 2020-02-04 Microsoft Technology Licensing, Llc Passive and active stereo vision 3D sensors with variable focal length lenses
US10469758B2 (en) * 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10582169B2 (en) 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
CN110383803A (zh) * 2016-12-23 2019-10-25 亮锐有限责任公司 补偿渐晕
KR102326493B1 (ko) 2017-03-13 2021-11-17 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
WO2019022941A1 (en) 2017-07-28 2019-01-31 OPSYS Tech Ltd. VCSEL LIDAR TRANSMITTER WITH LOW ANGULAR DIVERGENCE
WO2019221776A2 (en) 2017-11-15 2019-11-21 OPSYS Tech Ltd. Noise adaptive solid-state lidar system
EP3717932A1 (en) * 2017-11-28 2020-10-07 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
DE102017129641A1 (de) * 2017-12-12 2019-06-13 Bircher Reglomat Ag 3D Sensorsystem mit einer Freiformoptik
DE102017129639A1 (de) * 2017-12-12 2019-06-13 Bircher Reglomat Ag 3D Sensorsystem mit einer von einem Raumwinkel abhängigen Szenenbeleuchtung
US11906663B2 (en) 2018-04-01 2024-02-20 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
EP3756032A4 (en) * 2018-04-09 2021-12-01 Sense Photonics, Inc. AUTOMATIC GAIN CONTROL FOR LIDAR FOR AUTONOMOUS VEHICLES
US20190383942A1 (en) * 2018-06-18 2019-12-19 DSCG Solutions, Inc. Lidar-only lock-on tracking system
WO2020155092A1 (en) * 2019-02-01 2020-08-06 Boe Technology Group Co., Ltd. Apparatus integrated with display panel for tof 3d spatial positioning
DE102019107957A1 (de) * 2019-03-27 2020-10-01 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Optoelektronische vorrichtung und lidar-system
EP3953727A4 (en) 2019-04-09 2023-01-04 Opsys Tech Ltd. SOLID STATE LIDAR TRANSMITTER WITH LASER CONTROL
CN111345031B (zh) * 2019-04-25 2021-10-15 深圳市大疆创新科技有限公司 无人机及其拍摄控制方法
WO2020242834A1 (en) 2019-05-30 2020-12-03 OPSYS Tech Ltd. Eye-safe long-range lidar system using actuator
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US20230184952A1 (en) * 2020-04-01 2023-06-15 Lg Electronics Inc. Mobile terminal and control method therefor
WO2022075792A1 (ko) * 2020-10-08 2022-04-14 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4232872A1 (en) * 2020-10-26 2023-08-30 Jabil Optics Germany GmbH Surround-view imaging systems
EP4141477A1 (en) 2021-08-24 2023-03-01 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Imaging lidar apparatus and methods for operation in day-light conditions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
CN102549380A (zh) * 2009-09-11 2012-07-04 罗伯特·博世有限公司 光学距离测量仪
US20140002445A1 (en) * 2012-06-30 2014-01-02 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140055771A1 (en) * 2012-02-15 2014-02-27 Mesa Imaging Ag Time of Flight Camera with Stripe Illumination
US20140152813A1 (en) * 2011-08-25 2014-06-05 Ifm Electronic Gmbh Time-of-flight camera with signal path monitoring
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292433B1 (en) 1997-02-03 2001-09-18 Teratech Corporation Multi-dimensional beamforming device
JP4073515B2 (ja) 1997-03-06 2008-04-09 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
USH1742H (en) 1998-03-02 1998-08-04 The United States Of America As Represented By The Secretary Of The Air Force Glint responsive parametric amplified phase conjugate signal laser radar
US6072581A (en) 1998-10-30 2000-06-06 Zygo Corporation Geometrically-desensitized interferometer incorporating an optical assembly with high stray-beam management capability
US7635334B2 (en) 2004-04-28 2009-12-22 Siemens Medical Solutions Usa, Inc. Dynamic sub-array mapping systems and methods for ultrasound imaging
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
US7515822B2 (en) 2006-05-12 2009-04-07 Microsoft Corporation Imaging systems' direct illumination level adjusting method and system involves adjusting operation of image sensor of imaging system based on detected level of ambient illumination
EP1882983A1 (en) 2006-07-25 2008-01-30 Carl Zeiss SMT AG Gravity compensating support for an optical element
US8072581B1 (en) 2007-01-19 2011-12-06 Rockwell Collins, Inc. Laser range finding system using variable field of illumination flash lidar
WO2009040745A1 (en) * 2007-09-26 2009-04-02 Koninklijke Philips Electronics N.V. Objective driving unit for an optical device
US8081797B2 (en) 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
JP5335468B2 (ja) 2009-02-17 2013-11-06 キヤノン株式会社 カメラシステム
KR20100107995A (ko) 2009-03-27 2010-10-06 삼성전기주식회사 광 픽업용 광 검출기 집적회로의 포토 다이오드 셀 구조 및그 제조방법
US8803967B2 (en) 2009-07-31 2014-08-12 Mesa Imaging Ag Time of flight camera with rectangular field of illumination
KR101044109B1 (ko) 2009-08-18 2011-06-28 삼성전기주식회사 렌즈 구동 모듈
KR101044140B1 (ko) 2009-09-11 2011-06-24 삼성전기주식회사 렌즈 구동 모듈
KR101044219B1 (ko) 2009-10-19 2011-06-29 삼성전기주식회사 렌즈 구동 모듈
KR101022938B1 (ko) 2009-11-10 2011-03-16 삼성전기주식회사 카메라모듈의 손떨림 보정기구
KR101156872B1 (ko) 2009-12-18 2012-06-20 삼성전기주식회사 렌즈 구동 모듈
US20120289832A1 (en) 2009-12-22 2012-11-15 Miao Zhang Illumination Methods And Systems For Improving Image Resolution Of Imaging Systems
KR101077408B1 (ko) 2010-02-05 2011-10-26 서강대학교산학협력단 Ｃｍｏｓ 이미지 센서
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US9596451B2 (en) 2010-04-16 2017-03-14 Fraunhofer Gesellschaft Zur Föderung Der Angewandten Forschung E.V. Device for monitoring at least one three-dimensional safety area
EP2667218B1 (de) 2010-11-15 2017-10-18 Cedes AG Energiespar-3-D-Sensor
KR101798063B1 (ko) 2010-12-14 2017-11-15 삼성전자주식회사 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치
EP2487504A1 (en) 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
KR101289094B1 (ko) 2011-07-29 2013-07-23 삼성전기주식회사 선형 모터
US9628843B2 (en) 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
KR101289142B1 (ko) 2011-11-28 2013-07-23 삼성전기주식회사 발광다이오드 패키지 모듈
US20130163627A1 (en) 2011-12-24 2013-06-27 Princeton Optronics Laser Illuminator System
US9214492B2 (en) 2012-01-10 2015-12-15 Softkinetic Sensors N.V. Multispectral sensor
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US9294754B2 (en) * 2012-02-03 2016-03-22 Lumentum Operations Llc High dynamic range and depth of field depth camera
DE102012002922A1 (de) 2012-02-14 2013-08-14 Audi Ag Time-Of-Flight-Kamera für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betrieb einer Time-Of-Flight-Kamera
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
US9057784B2 (en) 2012-08-14 2015-06-16 Microsoft Technology Licensing, Llc Illumination light shaping for a depth camera
JP6019959B2 (ja) * 2012-09-06 2016-11-02 富士通株式会社 物体検出装置、物体検出プログラムおよび車両
US9036243B2 (en) 2012-09-24 2015-05-19 Alces Technology, Inc. Digital drive signals for analog MEMS ribbon arrays
US20140139632A1 (en) 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US9134114B2 (en) 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9629116B2 (en) * 2013-05-26 2017-04-18 Intel IP Corporation Apparatus, system and method of estimating a location of a mobile device
KR20150018924A (ko) 2013-08-09 2015-02-25 한국전자통신연구원 가변형 광학 소자
US9599836B2 (en) 2013-09-13 2017-03-21 Sunming Technologies (Hk) Limited Compact electromagnetic actuator
US9361502B2 (en) 2014-07-31 2016-06-07 Symbol Technologies, Llc System for, and method of, controlling target illumination for an imaging reader

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102549380A (zh) * 2009-09-11 2012-07-04 罗伯特·博世有限公司 光学距离测量仪
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
US20140152813A1 (en) * 2011-08-25 2014-06-05 Ifm Electronic Gmbh Time-of-flight camera with signal path monitoring
US20140055771A1 (en) * 2012-02-15 2014-02-27 Mesa Imaging Ag Time of Flight Camera with Stripe Illumination
US20140002445A1 (en) * 2012-06-30 2014-01-02 Microsoft Corporation Depth sensing with depth-adaptive illumination
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108169981A (zh) * 2018-01-15 2018-06-15 深圳奥比中光科技有限公司 多功能照明模组
CN110346780A (zh) * 2019-07-31 2019-10-18 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其局部检测精度调整方法
CN110456380A (zh) * 2019-07-31 2019-11-15 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
CN110456380B (zh) * 2019-07-31 2021-12-28 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
CN111458693A (zh) * 2020-02-01 2020-07-28 上海鲲游光电科技有限公司 直接测距tof分区探测方法及其***和电子设备
CN113916775A (zh) * 2021-08-26 2022-01-11 中国工程物理研究院激光聚变研究中心 一种高辨识度漫反射靶
CN113916775B (zh) * 2021-08-26 2024-05-03 中国工程物理研究院激光聚变研究中心 一种高辨识度漫反射靶

Also Published As

Publication number Publication date
EP3346289A1 (en) 2018-07-11
US20160182789A1 (en) 2016-06-23
US9635231B2 (en) 2017-04-25
US10055855B2 (en) 2018-08-21
EP3238431A1 (en) 2017-11-01
GB2548665B (en) 2021-03-17
GB201621164D0 (en) 2017-01-25
EP3346290A1 (en) 2018-07-11
GB2548665A (en) 2017-09-27
US10055854B2 (en) 2018-08-21
US20180068457A1 (en) 2018-03-08
US20170206672A1 (en) 2017-07-20
DE112015005706T5 (de) 2017-09-07
US20180068458A1 (en) 2018-03-08
EP3346290B1 (en) 2021-04-07
EP3346288A1 (en) 2018-07-11
WO2016105698A1 (en) 2016-06-30
EP3238431B1 (en) 2021-03-31
EP3238431A4 (en) 2018-06-27
US10181201B2 (en) 2019-01-15

Similar Documents

Publication Publication Date Title
CN107027322A (zh) 提高弱视场信号区域的测量质量的飞行时间相机***和方法
CN106664353A (zh) 具有扫描照明器的飞行时间相机***
CN106662640A (zh) 智能照明飞行时间***和方法
CN103838371B (zh) 成像功率的动态节省
CN102547355B (zh) 图像传感器和操作该图像传感器的方法
JP6053229B2 (ja) ポータブルモバイル照明ステージ
CN105229412B (zh) 用于主动立体的强度调制光图案
CN106574761A (zh) 用于控制基于激光的发光***的方法与***
CN106796285A (zh) 带有可移动镜元件、用于具有三维飞行时间捕捉的相机***的照明器
CN108205319A (zh) 可移动对象及其控制方法
CN110011731A (zh) 用于平铺自由空间光学传输的***和方法
CN105094309A (zh) 光学感测模组以及移动装置
CN209560562U (zh) 指纹识别装置以及电子设备
EP3987248A1 (en) Projecting a structured light pattern from an apparatus having an oled display screen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170808