CN110278431A - 相位检测自动聚焦三维图像撷取*** - Google Patents

相位检测自动聚焦三维图像撷取*** Download PDF

Info

Publication number
CN110278431A
CN110278431A CN201810613952.9A CN201810613952A CN110278431A CN 110278431 A CN110278431 A CN 110278431A CN 201810613952 A CN201810613952 A CN 201810613952A CN 110278431 A CN110278431 A CN 110278431A
Authority
CN
China
Prior art keywords
image
depth
lens
focus
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810613952.9A
Other languages
English (en)
Inventor
刘智民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiwan Semiconductor Manufacturing Co TSMC Ltd
Original Assignee
Taiwan Semiconductor Manufacturing Co TSMC Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiwan Semiconductor Manufacturing Co TSMC Ltd filed Critical Taiwan Semiconductor Manufacturing Co TSMC Ltd
Publication of CN110278431A publication Critical patent/CN110278431A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开描述用于撷取三维图像的方法和***。在移动透镜的同时执行图像撷取处理以撷取聚焦深度范围的图像数据，且基于图像数据三维图像重建处理产生三维图像。本公开还渲染包括来自聚焦深度范围的聚焦图像数据的二维图像。二维图像以及三维图像融合以产生聚焦三维模型。

Description

相位检测自动聚焦三维图像撷取***
技术领域
本公开大体上涉及一种相位检测自动聚焦的三维图像撷取***。
背景技术
三维图像撷取具有各种用途，包括用于例如虚拟现实、物件模型化和/或通用图像撷取领域的领域。为执行这种三维图像撷取，存在多个潜在解决方案，包括基于飞行时间的图像撷取、基于结构光的图像撷取以及立体视觉。这些处理中的每一种在计算复杂度、所需传感器的数量、可用分辨率(例如图像质量)、彩色图像是否可用以及是否需要额外光源方面不同。
举例来说，在飞行时间图像撷取处理情况下，使用光行进距离(light traveldistance)，且可通过测量飞行时间来计算出图像中的深度距离。随着时间粒度(timegranularity)增加，可进行更精细的深度计算。然而，为使深度精确度达到毫米以内，通常必须在皮秒(picosecond)级进行测量，这需要大量的计算资源。另外，可能需要专用传感器(例如SPAD阵列)。在这些情况下，这种特定传感器的较大间距可限制X方向至Y方向分辨率，限制图像质量。又另外，在一些情况下，可能需要例如VCSEL(激光阵列)或LED阵列(例如NIRLED)的专用光源。
在基于结构光的图像撷取情况下，将光图案投影到物体上，并且观察物体的光图案的变形以检测物件的形状。从图案投影仪偏移的相机可检查图案的形状且计算视野内的每个点的距离/深度。这些***通常快速并且相对精确，这是因为这些***可一次扫描多个点或整个视野；然而，这些***需要非常特别的照明光源来完成深度计算。
因此，许多光学深度检测***采用立体视觉技术。这些***通常采用两个或更多个彼此间隔开的视频相机。通过分析由每一相机撷取的图像之间的细微差异，在图像中的每个点处的距离是可能的。虽然这不需要额外光源(如在基于结构光的图像撷取处理情况下)，但是其需要两个传感器和大量计算以识别一匹配点，两个或更多个相机可聚焦于匹配点。针对具有极少纹理或没有纹理的物件，匹配点可能难以识别。
如上可见，在需要额外光源或传感器时，成本、功率以及计算复杂度通常全都增加。然而，在典型的情况下，需要这些额外光源或传感器以改良图像质量。
发明内容
本公开用于撷取三维图像的方法包括：在移动透镜时执行图像撷取处理以撷取聚焦深度范围的图像数据；基于图像数据执行三维图像重建处理以产生三维图像；渲染包括来自聚焦深度范围的聚焦图像数据的二维图像；以及将二维图像与三维图像融合以产生聚焦三维模型。
本公开用于撷取三维图像的装置包括相位检测自动聚焦图像传感器、能够在聚焦深度范围移动的透镜、处理器以及存储器。处理器以操作方式连接到相位检测自动聚焦图像传感器，以及具有到透镜移动组件的信号接口。存储器以通信方式连接到处理器，存储器存储指令。指令在执行时使得装置用以：在移动透镜时执行图像撷取处理以撷取聚焦深度范围的图像数据；基于图像数据执行三维图像重建处理以产生三维图像；渲染包括来自聚焦深度范围的聚焦图像数据的二维图像；以及将二维图像与三维图像融合以产生聚焦三维模型。
本公开用于撷取三维图像的另一方法包括：在移动透镜时使用在第一位置中的移动装置执行第一图像撷取处理以使用相位检测自动聚焦传感器撷取聚焦深度范围的图像数据，以及不使用相关联的光源来照亮相位检测自动聚焦传感器的视野的物件；基于图像数据执行三维图像重建处理以产生三维图像；渲染包括来自聚焦深度范围的聚焦图像数据的二维图像；融合二维图像与三维图像以产生聚焦三维模型；在移动透镜时使用在第二位置中的移动装置执行第二图像撷取处理以撷取第二聚焦深度范围的第二图像数据；基于第二图像数据执行三维图像重建处理以产生第二三维图像；渲染包括来自第二聚焦深度范围的聚焦图像数据的第二二维图像；融合第二二维图像与第二三维图像以产生第二聚焦三维模型；使用人工智能组件追踪目标物件；以及基于目标物件、聚焦三维模型以及第二聚焦三维模型产生关注物件的三维模型。
附图说明
当结合附图阅读时，从以下具体实施方式最好地理解本公开的详细内容。应注意，根据业界中的标准惯例，各个特征未按比例绘制。实际上，为论述清楚起见，可任意增大或减小各个特征的尺寸。
图1是根据一些实施例中用于执行三维影像撷取的***的框图。
图2是根据一些实施例的撷取三维图像的方法。
图3A示出使用调节透镜利用图1到图2的***和方法以执行三维影像撷取的一种方法。
图3B示出使用调节透镜利用图1到图2的***和方法以执行三维影像撷取的一种方法。
图4A示出使用本公开原理可用以产生三维图像的二维图像阵列。
图4B示出在实例图像数据中特定聚焦深度处的不同颜色层级。
图4C示出由相位检测自动聚焦传感器撷取的沿着深度轴的各种像素的在图像传感器处的光强度。
图5A及图5B示出根据实例实施例将图像数据的聚焦部分合成为合并的二维图像。
图6示出可使用本公开原理构建三维模型的方法。
图7是可实施本公开各方面的实例装置的框图。
附图标号说明
100：***；
102：视野内物件；
104：可调节透镜；
106：相位检测自动聚焦图像传感器；
108：三维图像重建；
110：二维图像合成；
112：局部融合；
114：三维处理以及控制；
200、600：方法；
202、204、206、208、210、602、604、606、608、610、620、622、624：步骤；
302、352：透镜；
304、760：图像传感器；
306：关注物件；
300、350：透镜扫掠过程；
400：二维图像系列；
420：图像数据；
440：像素焦点深度图；
502：近场图像部分；
504：远场图像部分；
550：二维图像；
700：计算装置、***；
710：计算环境；
720：存储器；
722：图像处理指令；
730：数据库；
732：其它数据；
738：通信媒体；
740：处理单元；
750：网络接口；
770：移动传感器；
Z：方向。
具体实施方式
以下公开内容提供用于实施所提供主题的不同特征的许多不同实施例或实例。下文描述组件和布置的特定实例以简化本公开。当然，这些只是实例且并不意欲为限制性的。举例来说，在以下描述中，第一特征在第二特征之上或上的形成可包括第一特征与第二特征直接接触地形成的实施例，并且还可包括额外特征可形成于第一特征与第二特征之间从而使得第一特征与第二特征可不直接接触的实施例。另外，本公开可在各个实例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，且本身并不指示所论述的各种实施方案和/或配置之间的关系。
此外，本文中为易于描述，可使用例如“下方”、“在…下方”、“下部”、“在…上方”、“上部”以及其类似术语的空间相对术语来描述如图式中所示的一个元件或特征与另一元件或特征的关系。除图式中所描绘的定向以外，空间相对术语意欲涵盖装置在使用或操作中的不同定向。设备可以其它方式定向(旋转90度或处于其它定向)，且本文中所使用的空间相对描述词同样可相应地进行解释。
大体上参看图1到图7，提供用于形成三维图像的方法和***。在方面实例中，相位检测自动聚焦(phase detect auto-focus；PDAF)图像传感器可与可移动聚焦透镜结合使用以撷取深度范围内的图像数据。图像数据可随后经解析以评估图像数据中的物件的深度，且二维图像的聚焦部分用以产生聚焦、合并的三维图像。通过与现有***比较，改良的深度检测与对额外光源和/或多个图像传感器的受限需求相结合，提供一种解决方案，解决方案在产生这类聚焦三维图像方面具有改良的速度和效率，并且由于组件更少而成本更低。另外，将具有这类改良的效率的装置包括在各种可移动装置(例如具有移动传感器的装置)中可允许详细的三维模型化，其可在例如虚拟现实和/或绘制或模型化轮廓和深度特征的领域中具有额外应用。
首先参看图1，绘示根据一些实施例的用于执行三维图像撷取的***100的框图。在所示实例中，***100可作用于视野内物件102。视野内物件102可以是场景或场景内的特定物件。
在所示实施例中，可调节透镜104朝向视野内物件102定向，且定位在视野内物件102与图像传感器之间，图像传感器例如相位检测自动聚焦(phase detect auto-focus；PDAF)图像传感器106。可调节透镜104可调节到多个不同焦距。这可以多种不同方式实现。在下文中，调节焦距的实例方法示出于图3A到图3B中，且大体上包括通过调节透镜的位置或透镜的形状来移动可调节透镜104。通过在运动范围内移动透镜，获得不同焦距范围。
在实例实施例中，PDAF图像传感器106撷取与视野内物件102(即PDAF传感器106的观测范围)相关联的图像数据。图像数据可在图像数据中被撷取，从而使得从图像传感器(在视野中的“Z”方向上)焦距或聚焦深度范围内撷取图像数据。在下文中，在图4A到图4C中示出包括在图像数据中的这一系列图像的实例。
在所示实施例中，将来自PDAF传感器106的图像数据提供到三维图像重建模块108和二维图像合成模块110。三维图像重建模块108确定PDAF传感器106的视野内的物件深度。这可例如通过确定每一像素的像素焦点的深度来实现，其中像素焦点的深度。三维图像重建模块108可使用例如与PDAF传感器106和/或处理单元(例如是CPU)相关联的图像处理电路的组合来实施，PDAF传感器106通信地连接到处理单元且处理单元被编程成为执行这些深度计算。在范例实施例中，处理单元可包括在移动装置中，例如是图7的移动装置。
二维图像合成模块110显像来自图像数据的聚焦二维图像。这可包括组合来自PDAF传感器106的不同像素的聚焦像素以形成聚焦二维图像，例如是在变化的聚焦深度(例如每一像素聚焦的深度)下从每一像素撷取的图像数据。二维图像合成模块110可使用例如与PDAF传感器106和/或处理单元(例如CPU)相关联的图像处理电路的组合来实施，PDAF传感器106通信地连接到处理单元且处理单元编程成执行这些图像构建，例如图5A到图5B中所见。在实例实施例中，处理单元可包括在移动装置中，例如是图7的移动装置。
局部融合组件112融合由三维图像重建模块108产生的深度信息，以形成具有与深度信息相关联的聚焦二维图像数据的组合图像。局部融合组件112可使用如上所述的处理单元来实施。三维处理以及控制单元114也可在处理单元中实施。三维处理以及控制单元114可提供各种控制功能和图像处理特征。举例来说，三维处理以及控制单元114可产生三维模型且进一步控制总体***100以再扫掠和撷取额外图像数据，例如为改良特定深度处的分辨率是环绕关注物件的区域。另外，为了同时撷取多个组图像数据，三维处理以及控制单元114可接合到其它传感器和/或透镜。又另外，三维处理以及控制单元114可接合到与***100相关联的移动传感器(例如在下文中将存在于例如图7中所见的移动装置中)。
参看图2，绘示根据一些实施例的撷取三维图像的方法200。方法200可例如是使用图1的***100来执行。在所示实施例中，方法200可包括将透镜扫掠一深度范围(步骤202)。透镜的扫掠可包括的透镜位置或形状的任何改变，以造成透镜的聚焦深度的改变。在透镜扫掠期间，例如如上文所论述的PDAF传感器106的图像传感器可用来感测图像信号。在实例实施例中，PDAF传感器106可在整个传感器通过透镜扫掠所定义深度范围的每一个深度以撷取多个图像(步骤204)。
一旦图像数据被撷取，三维图像就被重建，且二维图像被合成(步骤206)。这可使用图1的模块108、模块110来执行。一般来说，三维图像包括图像数据以及深度信息，而二维图像包括基于多个聚焦深度处的聚焦像素的组合聚焦图像。二维图像以及三维图像可随后被融合而形成聚焦三维模型，聚焦三维模型包括每一像素位置(在X-Y方向上)处的聚焦图像数据以及基于这些聚焦产生的深度(如由透镜扫掠确定)所收集的深度信息(步骤208)。可选地，可处理三维环境(步骤210)。这可包括构建环境的三维模型，例如通过多次执行步骤202到步骤208。可执行各种类型的处理。举例来说，额外处理可包括例如在最初使用的整个深度范围的子集内再扫描(再扫掠以及撷取图像数据)，或从不同角度扫描关注物件，以及配位图像以基于来自多个视角的图像数据(例如包括在处于初始位置时从PDAF传感器的视野将不可见的图像数据)显影整个三维物件模型。其它类型的处理也是可能的。
现参看图3A到图3B，示出不同类型的透镜扫掠。图3A示出第一透镜扫掠过程的示意图，其中透镜302在与图像传感器304相应的位置中移动，从而改变关注物件306上的聚焦深度。图3B示出第二透镜扫掠过程350的示意图350，其中透镜352在图像传感器304与关注物件之间的形状中移动，从而也改变关注物件306上的聚焦深度。
参考图4A到图4C，示出基于在透镜扫掠期间撷取的图像数据的三维图像处理的实例。在图4A到图4C中，撷取深度范围内的图像数据。在图4A中，绘示在不同聚焦深度处撷取的二维图像系列400的示意图。在所示实例中，近处物件401(直尺)以及远处物件403(门)在相同视野内。随着深度随着透镜的扫掠而增加，近处物件将由聚焦改变为离焦，而远处物件将变为聚焦。透镜焦点的这一变化导致到达图像传感器的感测光层级不同。
如图4B到图4C中所见，每一个透镜位置被存储，透镜位置关联于被撷取图像数据的一部分与图像传感器之间的距离。在图4B中，图像数据420呈现在特定深度处撷取的不同色度/颜色。在图4C中，示出像素焦点深度图440。在这一图440中，可见对于不同像素，不同像素强度将在不同深度产生，这指示对于相应像素聚焦的物件的对应深度。PDAF图像传感器的每一像素可聚焦在不同的透镜位置处，且在透镜到达特定聚焦深度时像素可完成聚焦。举例来说，在参考图4A和图4C时，可见在近处图像中，近处物件401的像素402可被聚焦，且因此具有高感测PDAF聚集协定值，以及在远处图像中，远处物件403的像素404可被聚焦，且因此具有高感测PDAF焦点协定值。因此，聚焦像素与特定深度相关联，且因此获得图像深度。
应注意，与本公开一致，在特定物件出现在图像传感器的视野内的范围内，可发生额外的透镜扫掠和图像处理，例如以在特定透镜位置范围(聚焦深度)内或在整个聚焦范围内进行过采样。这可改良深度精确度，在一定程度上透镜位置精确度有变化。也可以减少深度计算中的噪声。
参考图5A到图5B，使用图4A中示出的图像数据示出二维图像合成处理。如图5A中所见，近场图像部分502(其中近处物件聚集的区域)以及远场图像部分504(其中远处物件聚集的区域)经合并，形成图5B的合成的二维图像550。
大体上参考图1到图5，应注意，通过合成二维图像以及执行三维图像重建，可获得图像传感器的每一像素位置处的深度数据，同时获得每一图像深度处的聚焦二维图像。此外，且如上所述，可执行特定扫描或扫掠处理以改良深度信息的精确度或获得另一融合图像，所述另一融合图像包括不同位置/视角的聚焦二维信息以及深度信息。这种处理的各种应用是可能的，其中一些在下文进一步描述。
现参看图6，示出方法600的流程图，可通过所述方法600来构建三维模型。方法600允许这一模型使用例如上文图1到图5中示出的***来构建，且可在包括移动计算装置的多种类型的计算装置中实施。
在所示实例中，方法600包括通过聚焦深度范围扫掠透镜(步骤602)，以及重建三维图像以及合成二维图像(步骤604)，如上文结合图1到图2所论述。随后提供重建并合成的图像到人工智能组件(步骤606)，可在人工智能组件处定义三维模型。这可例如通过基于相邻像素之间的深度数据的变化以及在合成的二维图像中的可见边缘追踪目标来执行。
任选地，可于其中包括有具有这类目标物件的深度中执行再扫掠操作(步骤608)以改良分辨率。这可基于来自人工智能组件的确定或以不同扫掠速度(例如较快或较慢以改良分辨率)来在步骤中602执行的初始扫掠操作的深度范围的子集内完成。另外，扫掠信息可通过再扫掠整个范围来再利用以提高分辨率(例如通过过采样(步骤610))。扫掠或再扫掠过程处理可重复操作，每当需要时将结果传递到人工智能组件，以获得可靠的深度信息。
又另外，在一些实施例中，用以执行方法600的***或装置可以是可重新定位的，或可包括多个透镜。因此，可执行任选的重新定位以从不同视角获得三维图像数据(步骤620)。在这些情况下，在不同位置中使用步骤602到步骤604中所使用的相同透镜或在所述不同位置中的不同透镜来执行第二次扫掠(步骤622)。如果使用不同透镜和图像传感器，总体***或装置也可选择不需要重新定位，这是因为单独图像传感器可从不同角度获得图像数据。
执行重建第二三维图像以及合成第二二维图像的第二处理可随后使用在步骤622的第二次扫掠期间撷取的图像数据来进行(步骤624)。第二图像可被提供到可进一步定义整个三维模型的人工智能组件(在步骤606处)。应注意，人工智能组件可迭代地执行步骤606以改良整个三维模型或可使用多个图像传感器并行执行以获得三维模型。
总的来说，应注意，方法600可具有多个应用。举例来说，从多个视角获得聚焦二维图像数据以及深度信息可允许装置通过从环绕物件的各个视角执行处理来形成物件的完整三维模型。如果这例如使用移动装置来执行，那么在环绕物件移动装置的同时反复处理将允许获得物件的完整三维模型，其中人工智能组件用以合并图像数据以将物件识别为迭代的通用物件。
现参看图7，公开例如移动装置的实例计算装置700。计算装置700是可用以实施上文所描述***和方法的装置的实例。在实例中，***700可包括计算环境710。计算环境710可以是实体计算环境，或包括一个或多个虚拟化或云端组件。计算环境710可包括存储器720、通信媒体738、一个或多个处理单元740、网络接口750以及一个或多个额外装置，例如图像传感器760和移动传感器770。
存储器720可包括计算机可读存储媒体。计算机存储媒体可以是存储数据和/或计算机可执行指令的装置或制品。存储器720可包括以任何方法或技术实施以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的易失性和非易失性、瞬时性和非瞬时性、可移动和不可移动装置或制品。借助于实例而非限制，计算机存储媒体可包括动态随机存取存储器(dynamic random access memory；DRAM)、双倍数据速率同步动态随机存取存储器(double data rate synchronous dynamic random access memory；DDRSDRAM)、降低延迟DRAM、DDR2SDRAM、DDR3SDRAM、固态存储器、只读存储器(read-onlymemory，ROM)、电可擦编程ROM(electrically-erasable programmable ROM)、光碟(例如CD-ROM、DVD等)、磁盘(例如硬盘、软盘等)、磁带以及存储数据的其它类型的装置和/或制品。
存储器720可存储各种类型的数据和软件。举例来说，如所示出，存储器720包括用以实施本文中所描述图像处理方法的一个或多个方面的图像处理指令722、数据库730(例如用以存储图像数据)以及其它数据732(例如深度数据或图像元数据)。在一些实例(例如其中计算环境710是例如移动装置的用户装置)中，存储器720可包括指令，指令用以展示这类信息或三维模型或通过网络接口750将信息传达到远程装置。
通信媒体738可促成计算环境710的组件中的通信。在一实例中，通信媒体738可促成存储器720、一个或多个处理单元740、网络接口750以及图像传感器760中的通信。通信媒体738可以多种方式实施，包括(但不限于)PCI总线、PCI高速总线加速图形端口(accelerated graphics port；AGP)总线、串行高级技术附件(serial advancedtechnology attachment；ATA)互连件、平行ATA互连件、光纤通道互连件、USB总线、小型计算机***接口(small computing system interface；SCSI)接口或其它类型的通信媒体。
一个或多个处理单元740可包括选择性地执行软件指令的实体单元或虚拟单元。在一实例中，一个或多个处理单元740可以是包括一个或多个集成电路的实体产物。一个或多个处理单元740可实施为一个或多个处理核心。在另一实例中，一个或多个处理单元740实施为一个或多个单独微处理器。在又一实例实施例中，一个或多个处理单元740可包括提供特定功能的专用集成电路(application-specific integrated circuit；ASIC)。在又一实例中，一个或多个处理单元740通过使用ASIC以及通过执行计算机可执行指令来提供特定功能。
网络接口750使得计算环境710能够发送数据以及接收来自通信网络的数据。网络接口750可实施为以太网接口(Ethernet interface)、令牌环(token-ring)网络接口、光纤网络接口、无线网络接口(例如WI-FI)或其它类型的网络接口。
图像传感器760可包括一个或多个图像传感器以及与这些图像传感器相关联的相关联实体装置，例如是可用以将待由图像传感器撷取的光聚焦的透镜或其它装置。在实例实施例中，图像传感器760包括例如PDAF传感器106的PDAF传感器，以及一个或多个相关联的可移动透镜。在其它实施例中，图像传感器760表示多个图像传感器。
为了达到更精确地计算深度信息的目的，移动传感器770可以是可用以检测计算环境710的位置/定向以及移动的位置传感器或移动传感器(例如加速度计和/或陀螺仪)。位置/定向和/或移动信息可由图像处理指令722结合由图像传感器760撷取的图像数据使用以产生如本文所论述的三维模型。因此，图像处理指令722可实施三维图像处理、二维图像合成以及物件模型化(例如通过实施人工智能组件)。
虽然示出为单一计算环境710的组件，但是计算环境710的组件可分布于多个计算环境710。举例来说，存储在存储器720上的指令或数据中之一个或多个可部分地或整体地存储在经由网路存取的单独计算环境710中。
大体上参考图1到图7，应注意，本公开的方法和***在现有三维图像撷取***内具有多个潜在优势。举例来说，为获得深度和聚焦二维图像数据，仅需要单一图像传感器且并不需要外部光源。然而，在提供不同位置中的额外图像传感器时，或在由单一图像传感器从多个位置撷取的图像数据与位置或移动数据融合时，精确物件模型化是有可能的。此外，因为可快速地执行使用例如PDAF图像传感器的三维图像处理以及二维图像处理，所以可快速地再扫描所关注的区域(深度)以改良深度精确度和/或减少深度计算中的噪声。
在一些实施例中，撷取三维图像的方法包括：在移动透镜时执行图像撷取处理以撷取聚焦深度范围的图像数据；以及基于图像数据执行三维图像重建处理以产生三维图像；渲染包括来自聚焦深度范围的聚焦图像数据的二维图像；以及将二维图像与三维图像融合以产生聚焦三维模型。
在一些实施例中，图像撷取处理使用相位检测自动聚焦传感器来执行。
在一些实施例中，移动所述透镜的步骤包括改变所述透镜的形状以产生所述聚焦深度范围。
在一些实施例中，移动所述透镜的步骤包括改变所述透镜的位置以产生所述聚焦深度范围。
在一些实施例中，改变所述透镜的所述位置包括改变所述透镜的移动的步速、范围或方向中的至少一个。
在一些实施例中，撷取三维图像的方法进一步包括在移动所述透镜时执行第二图像撷取处理以产生第二聚焦深度范围，所述第二聚焦深度范围是所述聚焦深度范围的子集。
在一些实施例中，第二聚焦深度范围包括在所述图像数据中识别到的所述聚焦深度范围。
在一些实施例中，渲染所述二维图像的步骤包括从所述聚焦深度范围的不同聚焦深度选择所述聚焦图像数据。
在一些实施例中，撷取三维图像的方法进一步包括撷取来自包括所述透镜的装置的运动信息或位置信息中的至少一个。
在一些实施例中，聚焦三维模型是基于在多个不同位置处撷取的多个二维图像以及三维图像。
在一些实施例中，撷取三维图像的方法进一步包括使用人工智能组件追踪目标物件。
在一些实施例中，撷取三维图像的方法进一步包括在移动所述透镜时执行第二图像撷取处理以产生第二聚焦深度范围，所述第二聚焦深度范围是所述聚焦深度范围的子集。
在一些实施例中，用于撷取三维图像的装置包括相位检测自动聚焦图像传感器、能够在聚焦深度范围移动的透镜、处理器以及存储器。处理器以操作方式连接到相位检测自动聚焦图像传感器，以及具有到透镜移动组件的信号接口。存储器以通信方式连接到处理器，存储器存储指令。指令在执行时使得装置用以：在移动透镜时执行图像撷取处理以撷取聚焦深度范围的图像数据；基于图像数据执行三维图像重建处理以产生三维图像；渲染包括来自聚焦深度范围的聚焦图像数据的二维图像；以及将二维图像与三维图像融合以产生聚焦三维模型。
在一些实施例中，装置包括移动装置。
在一些实施例中，装置进一步包括配置成追踪所述装置的移动的移动传感器。
在一些实施例中，装置进一步配置成在多个不同位置处执行所述图像撷取处理。
在一些实施例中，装置进一步配置成识别包括在所述图像数据中的关注物件以及使用人工智能组件追踪所述关注物件。
在一些实施例中，装置进一步配置成在移动所述透镜时执行第二图像撷取处理以产生第二聚焦深度范围，所述第二聚焦深度范围是聚焦于所述关注物件的所述聚焦深度范围的子集。
在一些实施例中，装置配置成产生所述关注物件的三维模型。
在一些实施例中，撷取三维图像的另一方法包括：在移动透镜时使用在第一位置中的移动装置执行第一图像撷取处理以使用相位检测自动聚焦传感器撷取聚焦深度范围的图像数据，以及不使用相关联的光源来照亮相位检测自动聚焦传感器的视野的物件；基于图像数据执行三维图像重建处理以产生三维图像；渲染包括来自聚焦深度范围的聚焦图像数据的二维图像；融合二维图像与三维图像以产生聚焦三维模型；在移动透镜时使用在第二位置中的移动装置执行第二图像撷取处理以撷取第二聚焦深度范围的第二图像数据；基于第二图像数据执行三维图像重建处理以产生第二三维图像；渲染包括来自第二聚焦深度范围的聚焦图像数据的第二二维图像；融合第二二维图像与第二三维图像以产生第二聚焦三维模型；使用人工智能组件追踪目标物件；以及基于目标物件、聚焦三维模型以及第二聚焦三维模型产生关注物件的三维模型。
前文概述若干实施例的特征，以使得本领域的技术人员可更好地理解本公开的方面。本领域的技术人员应了解，其可以易于使用本公开作为设计或修改用于进行本文中所介绍的实施例的相同目的和/或获得相同优势的其它工艺和结构的基础。本领域的技术人员还应认识到，这些等效构造并不脱离本公开的精神和范围，且本领域的技术人员可在不脱离本公开的精神和范围的情况下在本文中进行各种改变、替代和更改。

Claims (1)

1.一种撷取三维图像的方法，所述方法包括：
在移动透镜时执行图像撷取处理以撷取聚焦深度范围的图像数据；
基于所述图像数据执行三维图像重建处理以产生所述三维图像；
渲染包括来自所述聚焦深度范围的聚焦图像数据的二维图像；以及
将所述二维图像与所述三维图像融合以产生聚焦三维模型。
CN201810613952.9A 2018-03-15 2018-06-14 相位检测自动聚焦三维图像撷取*** Pending CN110278431A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862643270P 2018-03-15 2018-03-15
US62/643,270 2018-03-15
US15/963,673 2018-04-26
US15/963,673 US10715718B2 (en) 2018-03-15 2018-04-26 Phase detect auto-focus three dimensional image capture system

Publications (1)

Publication Number Publication Date
CN110278431A true CN110278431A (zh) 2019-09-24

Family

ID=67904539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810613952.9A Pending CN110278431A (zh) 2018-03-15 2018-06-14 相位检测自动聚焦三维图像撷取***

Country Status (3)

Country Link
US (2) US10715718B2 (zh)
CN (1) CN110278431A (zh)
TW (1) TW201939445A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10996426B2 (en) * 2019-08-21 2021-05-04 Omnivision Technologies, Inc. 3D imaging using phase detection autofocus (PDAF) image sensor
US11647287B1 (en) 2019-12-03 2023-05-09 Waymo Llc Autofocus actuator
US11223756B1 (en) * 2019-12-03 2022-01-11 Waymo Llc Position sensor and hybrid substrate for camera focus management
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
WO2022245855A1 (en) * 2021-05-18 2022-11-24 Snap Inc. Varied depth determination using stereo vision and phase detection auto focus (pdaf)
US11680786B2 (en) 2021-11-05 2023-06-20 Waymo Llc Capacitive position sensing for camera focus management

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
KR101756910B1 (ko) * 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
US8547421B2 (en) * 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8340456B1 (en) * 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
EP3611556B1 (en) * 2012-02-16 2020-11-18 University Of Washington Through Its Center For Commercialization Extended depth of focus for high-resolution image scanning
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10237528B2 (en) * 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
US10232133B2 (en) * 2014-03-28 2019-03-19 Electronics And Telecommunications Research Institute Apparatus for imaging
US9392160B2 (en) * 2014-06-20 2016-07-12 Samsung Electronics Co., Ltd. Circuit and method providing wide dynamic-range operation of auto-focus(AF) focus state sensor elements, digital imaging device, and computer system including same
US9638984B2 (en) * 2015-03-10 2017-05-02 Qualcomm Incorporated Search range extension for depth assisted autofocus
US9900584B2 (en) * 2016-04-27 2018-02-20 Semyon Nisenzon Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
US10387477B2 (en) * 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
US10805594B2 (en) * 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices

Also Published As

Publication number Publication date
US20190289218A1 (en) 2019-09-19
US10715718B2 (en) 2020-07-14
TW201939445A (zh) 2019-10-01
US20200336673A1 (en) 2020-10-22
US11483468B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110278431A (zh) 相位检测自动聚焦三维图像撷取***
Liu et al. 3D imaging, analysis and applications
US11302022B2 (en) Three-dimensional measurement system and three-dimensional measurement method
EP3091508B1 (en) Three-dimensional imaging system
US20130335535A1 (en) Digital 3d camera using periodic illumination
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
Martel et al. An active approach to solving the stereo matching problem using event-based sensors
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
CN103247074A (zh) 一种结合深度信息与人脸分析技术的3d照相方法
GB2562037A (en) Three-dimensional scene reconstruction
JP2016109671A (ja) 三次元計測装置およびその制御方法
KR20140041012A (ko) 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
Arbutina et al. Review of 3D body scanning systems
JP2015019346A (ja) 視差画像生成装置
KR101806969B1 (ko) 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位***及存储介质
Georgopoulos Photogrammetric automation: is it worth?
Jamwal et al. A survey on depth map estimation strategies
Wei et al. Colorful 3-D imaging using an infrared Dammann grating
JP6882266B2 (ja) ピクセルビームを表すデータを生成する装置及び方法
Rodriguez A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking
KR101358430B1 (ko) 깊이 영상 생성 방법 및 시스템
Ye et al. Manhattan scene understanding via xslit imaging
JP2011149952A (ja) モデル入力装置およびモデル生成システム
WO2023095375A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190924

WD01 Invention patent application deemed withdrawn after publication