CN105898281B - 用于使用相位检测像素生成深度图的图像生成装置 - Google Patents

用于使用相位检测像素生成深度图的图像生成装置 Download PDF

Info

Publication number
CN105898281B
CN105898281B CN201610074226.5A CN201610074226A CN105898281B CN 105898281 B CN105898281 B CN 105898281B CN 201610074226 A CN201610074226 A CN 201610074226A CN 105898281 B CN105898281 B CN 105898281B
Authority
CN
China
Prior art keywords
phase
phase difference
lens
depth map
generation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610074226.5A
Other languages
English (en)
Other versions
CN105898281A (zh
Inventor
王泰植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105898281A publication Critical patent/CN105898281A/zh
Application granted granted Critical
Publication of CN105898281B publication Critical patent/CN105898281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)

Abstract

提供一种用于使用相位检测像素生成深度图的图像生成装置。提供一种用于生成深度图的图像生成装置。所述图像生成装置包括：图像传感器，包括相位检测像素；透镜驱动器，调整透镜的位置以调整透镜与对象之间的距离；相位差计算器，基于在透镜被放置在第一位置时生成的第一相位信号来计算第一相位差并基于在透镜被放置在与第一位置不同的第二位置时生成的第二相位信号来计算第二相位差；以及深度图生成器，基于第一相位差和第二相位差来生成与相位检测像素和对象之间的距离相关联的第一深度数据和第二深度数据，并且基于第一深度数据和第二深度数据来生成深度图。

Description

用于使用相位检测像素生成深度图的图像生成装置
本申请要求于2015年2月13日提交到韩国知识产权局的第10-2015-0022298号韩国专利申请的优先权，该韩国专利申请的全部内容通过引用合并于此。
技术领域
本发明构思的至少一些示例实施例涉及图像技术，更具体地说，涉及一种用于生成深度图的设备。
背景技术
最近，各种类型的图像技术已经被使用。各种类型的电子装置已经被广泛地部署。大部分电子装置可执行图像处理以显示或生成图像。为此，大部分电子装置可包括显示装置、图像捕获装置、图像生成装置、图像处理装置等。
具体地说，“深度图”是在最近行业中正被使用的图像技术之一。深度图包括与对象和图像生成装置(例如，包括图像传感器的相机)之间的距离相关联的信息。深度图可被用于生成3维(3D)图像。3D图像可被用于使电影、视频游戏等更加有趣。
为了生成深度图，各种类型的装置和方法被使用。通过示例的方式，可通过各种方法，诸如，观察在具有特定波形的光被发射到对象之后反射的光的波形的方法、测量发射到对象的光返回所耗费的时间的方法以及通过两个或更多个相机获得立体信息的方法，来获得深度图。然而，在用于获得深度图的大部分方法中，要求“附加的”传感器或装置，或者需要“附加的”图像处理(诸如，图像配准)。
因此，虽然对于具有高处理性能的电子装置的需求增加，但是随着每个电子装置的尺寸逐渐减小，难以将用于获得深度图的大部分方法应用于在最近行业中正被使用的“小型”电子装置。换句话说，有必要提供一种通过使用占用较小面积或体积的装置或电路来获得深度图的方法。
发明内容
至少一些示例实施例可提供一种占用较小面积或体积并且可有效地生成深度图的图像生成装置。根据一些示例实施例，可在没有任何附加传感器或装置的情况下生成深度图。根据本发明构思的至少一些示例实施例，可通过可移动到不同位置的透镜来生成多个深度数据。
根据至少一些示例实施例，一种图像生成装置包括：图像传感器，包括被配置为生成与对象相应的图像信号的多个图像传感器像素和被配置为生成被用于计算图像之间的相位差的第一相位信号和第二相位信号的多个相位检测像素；透镜驱动器，被配置为调整透镜的位置以调整透镜与对象之间的距离；相位差计算器，被配置为：基于第一相位信号来计算第一相位差，第一相位信号在透镜处于第一位置时被生成，基于第二相位信号来计算第二相位差，第二相位信号在透镜处于与第一位置不同的第二位置时被生成；深度图生成器，被配置为：分别基于第一相位差和第二相位差生成第一深度数据和第二深度数据，第一深度数据和第二深度数据中的每个与所述多个相位检测像素和对象之间的距离相关联，并基于第一深度数据和第二深度数据来生成深度图。
所述图像生成装置可包括：相位差预测器，被配置为基于第一相位差来预测第二相位差的值。
相位差计算器可被配置为：随着透镜在透镜驱动器的控制下从第一位置移动到第二位置，在第二相位差被计算之前，计算第一相位差；相位差预测器可被配置为在透镜移动到第二位置之前或在透镜移动到第二位置的同时，预测第二相位差的值。
深度图生成器可被这样配置：当由相位差预测器预测的值与由相位差计算器计算的第二相位差之间的差大于参考值时，深度图生成器参照所述差来生成深度图。
所述多个相位检测像素中的每个可对应于所述多个图像传感器像素中的两个。
所述多个相位检测像素可被布置在与所述多个图像传感器像素不同的位置中，使得所述多个相位检测像素与所述多个图像传感器像素不重叠。
所述图像生成装置还可包括：空间频率计算器，被配置为：通过处理图像信号来生成与捕获对象的图像相关联的空间频率的信息。
空间频率计算器可被配置为：当透镜被放置在第一位置时，生成第一空间频率信息，当透镜被放置在第二位置时，生成第二空间频率信息。
空间频率计算器还可被配置为：基于第一空间频率信息和第二空间频率信息，来获得当透镜从第一位置移动到第二位置时空间频率值的变化的方向和变化的量中的至少一个，并且深度图生成器可被配置为参照空间频率值的变化的方向和变化的量中的至少一个，来生成深度图。
所述图像生成装置还可包括：图像传感器芯片，其中，图像传感器芯片包括所述图像传感器、所述透镜驱动器、所述相位差计算器以及所述深度图生成器。
根据本发明构思的至少一个示例实施例，一种图像生成装置包括：相位差计算器，被配置为：接收由包括在图像传感器中的多个相位检测像素生成的第一相位信号和第二相位信号，基于第一相位信号计算第一相位差，第一相位信号在透镜处于第一位置时被生成，透镜被配置为沿距对象的距离增大或减小的方向移动，基于第二相位信号计算第二相位差，第二相位信号在透镜处于与第一位置不同的第二位置时被生成；透镜位置控制器，被配置为：基于第一相位差和第二相位差中的至少一个来计算用于聚焦对象的透镜的聚焦位置，并生成透镜驱动信号以将透镜移动到聚焦位置；深度图生成器，被配置为：分别基于第一相位差和第二相位差生成第一深度数据和第二深度数据，第一深度数据和第二深度数据中的每个与所述多个相位检测像素和对象之间的距离相关联，并基于第一深度数据和第二深度数据生成深度图。
第一位置和第二位置之一可对应于聚焦位置。
所述图像生成装置还可包括：相位差预测器，被配置为基于第一相位差预测第二相位差的值；空间频率计算器，被配置为通过处理由包括在图像传感器中的多个图像传感器像素生成的图像信号，来生成与捕获对象的图像相关联的空间频率的信息。
所述图像生成装置还可包括：可靠性水平计算器，被配置为：基于由相位差预测器预测的值、由相位差计算器计算的第二相位差和当透镜从第一位置移动到第二位置时空间频率值的变化的方向中的至少一个，来计算与第一相位差相关联的第一可靠性水平和与第二相位差相关联的第二可靠性水平。
深度图生成器可被配置为：通过基于第一可靠性水平和第二可靠性水平将权重值应用于第一深度数据和第二深度数据，来生成深度图。
所述图像生成装置还可包括：深度图后处理器，被配置为：通过对对象图像和深度图执行图像配准来改变深度图的分辨率，对象图像基于由包括在图像传感器中的多个图像传感器像素生成的图像信号而被生成。
所述图像生成装置还可包括：包括应用处理器的操作处理装置，操作处理装置被配置为实现所述相位差计算器、所述透镜位置控制器以及所述深度图生成器。
根据本发明构思的至少一些示例实施例，一种被配置为生成深度图的图像生成装置，所述图像生成装置包括：相位差计算器，被配置为：分别基于第一相位信号和第二相位信号计算第一相位差和第二相位差，第一相位信号在透镜处于第一位置时通过多个相位检测像素被生成，透镜被配置为沿距对象的距离增大或减小的方向移动，第二相位信号在透镜处于与第一位置不同的第二位置时通过所述多个相位检测像素被生成；以及深度图生成器，被配置为：分别基于第一相位差和第二相位差生成第一深度数据和第二深度数据，第一深度数据和第二深度数据中的每个与所述多个相位检测像素和对象之间的距离相关联，并且基于第一深度数据和第二深度数据生成深度图。
所述图像生成装置还可包括：相位差预测器，被配置为基于第一相位差预测第二相位差的值，其中，相位差计算器和深度图生成器被这样配置：当由相位差预测器预测的值与由相位差计算器计算的第二相位差不同时，相位差计算器基于第三相位信号计算第三相位差，第三相位信号在透镜处于与第一位置和第二位置不同的第三位置时通过所述多个相位检测像素被生成；深度图生成器基于第三相位差来生成与所述多个相位检测像素和对象之间的距离相关联的第三深度数据，并且基于第一深度数据至第三深度数据生成深度图。
所述图像生成装置还可包括：空间频率计算器，被配置为：通过处理当透镜被放置在第一位置时由多个图像传感器像素生成的第一图像信号，来生成与捕获对象的第一图像相关联的第一空间频率信息，通过处理当透镜被放置在第二位置时由所述多个图像传感器像素生成的第二图像信号，来生成与捕获对象的第二图像相关联的第二空间频率信息，基于第一空间频率信息和第二空间频率信息，获得空间频率值的变化的方向；以及可靠性水平计算器，被配置为：基于空间频率值变化的方向，计算与第一相位差相关联的第一可靠性水平和与第二相位差相关联的第二可靠性水平，其中，深度图生成器被配置为：通过基于第一可靠性水平和第二可靠性水平将权重值应用于第一深度数据和第二深度数据，来生成深度图。
根据本发明构思的至少一个示例实施例，一种图像生成装置包括：透镜；图像传感器，包括被配置为生成与对象相应的图像信号的多个图像传感器像素和被配置为生成第一相位信号和第二相位信号的多个相位检测像素，透镜的位置相对于图像传感器的位置是可移动的；存储器，存储计算机可读指令；一个或多个处理器，被配置为执行指令，使得：基于第一相位信号确定第一相位差，第一相位信号基于透镜相对于图像传感器位于第一位置而被生成，基于第二相位信号确定第二相位差，第二相位信号基于透镜相对于图像传感器位于第二位置而被生成，分别基于第一相位差和第二相位差来生成第一深度数据和第二深度数据，第一深度数据和第二深度数据中的每个指示所述多个相位检测像素与对象之间的距离，并且基于第一深度数据和第二深度数据生成深度图。
所述图像生成装置还可包括：透镜驱动器，被配置为选择性地改变透镜相对于图像传感器的位置。
所述一个或多个处理器还被配置为：基于第一相位差预测第二相位差的值。
所述一个或多个处理器可被配置为：随着透镜在透镜驱动器的控制下从第一位置移动到第二位置，在第二相位差被计算之前，计算第一相位差，并且在透镜在透镜驱动器的控制下移动到第二位置之前或在透镜在透镜驱动器的控制下移动到第二位置的同时，预测第二相位差的值。
附图说明
通过参照附图详细地描述本发明构思的示例实施例，本发明构思的示例实施例的以上以及其他特征和优点将变得更加清楚。附图意在描绘本发明构思的示例实施例，并且不应该被解释为限制权利要求的预期范围。除非明确地指出，否则附图将不被认为是按比例绘制。
图1是示出根据本发明构思的至少一个示例实施例的包括图像生成装置的图像生成***的框图；
图2至图4是示出根据本发明构思的至少一个示例实施例的包括相位检测像素的图像传感器的概念图；
图5和图6是示出使用相位检测像素的处理的概念图；
图7是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图；
图8是描述图7的图像生成装置的操作的流程图；
图9是示出图7的图像生成装置的操作的概念图；
图10至图17是示出根据本发明构思的至少一些示例实施例的图像生成装置的框图；
图18是示出根据本发明构思的至少一个示例实施例的包括图像生成装置的电子装置及其接口的框图。
具体实施方式
在此公开本发明构思的详细的示例实施例。然而，为了描述本发明构思的示例实施例的目的，在此公开的特定结构和功能的细节仅是代表性的。然而，可以以许多替换形式来实现本发明构思的示例实施例，并且本发明构思的示例实施例不应被解释为仅限于在此阐述的实施例。
因此，虽然本发明构思的示例实施例能够具有各种修改和替换形式，但是其实施例通过示例的方式在附图中被示出，并且在此将被详细地描述。然而，应理解，不意在将本发明构思的示例实施例限制为所公开的具体形式，而是与此相反，本发明构思的示例实施例将覆盖落入本发明构思的示例实施例的范围内的所有修改、等同物以及替换物。贯穿附图的描述，相同的标号表示相同的元件。
将理解，虽然在此可使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应被这些术语所限制。这些术语仅用于将一个元件与另一元件进行区分。例如，在不脱离本发明构思的示例实施例的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。如在此使用的，术语“和/或”包括相关列出项中的一个或多个的任意和全部组合。
将理解，当元件被称为被“连接”或“耦合”到另一元件时，该元件可被直接地连接到或耦合到该另一元件或者可存在中间元件。相反，当元件被称为被“直接地连接”或“直接地耦合”到另一元件时，不存在中间元件。用于描述元件之间的关系的其他词语应以类似方式被解释(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)。
在此使用的术语仅出于描述具体实施例的目的，而不意在限制本发明构思的示例实施例。除非上下文另有清楚地指示，否则如在此使用的单数形式也意图包括复数形式。还将理解，当在此使用术语“包括”和/或“包含”时，说明存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
还应注意的是，在一些替代实施方式中，所提出的功能/动作可不按附图中所指出的顺序发生。例如，根据涉及的功能/动作，连续示出的两个附图实际上可被基本同时地执行，或者有时可以以相反的顺序被执行。
在此参照本发明构思的理想实施例(和中间结构)的示意图示来描述本发明构思的示例实施例。如此，由例如制造技术和/或容差导致的图示的形状的变化将被预期。因此，本发明构思的示例实施例不应被解释为受限于在此示出的区域的具体形状，而将包括由例如制造导致的形状的偏差。
虽然一些剖视图的相应平面图和/或立体图可能未被示出，但是在此示出的装置结构的剖视图对沿着平面图中将会示出的两个不同方向和/或沿着立体图中将会示出的三个不同方向扩展的多个装置结构提供支持。这两个不同方向可以互相正交，或者可以不互相正交。这三个不同方向可包括可与这两个不同方向正交的第三方向。多个装置结构可被整合在同一电子装置中。例如，当在剖视图中示出装置结构(例如，存储器单元结构或晶体管结构)时，电子装置可包括将由电子装置的平面图示出的多个装置结构(例如，多个存储器单元结构或多个晶体管结构)。多个装置结构可被布置在阵列中和/或二维图案中。
图1是示出根据本发明构思的至少一个示例实施例的包括图像生成装置的图像生成***的框图。参照图1，图像生成***1000可包括对象1100和图像生成装置1300。对象1100是将被捕获的目标。可通过图像生成装置1300的操作来生成与对象1100相关联的图像IMG。
通过本发明构思的至少一个示例实施例的方式，图像生成装置1300可包括：透镜1310、图像传感器芯片1330以及图像信号处理器1350。在此，图像生成装置1300还可包括图1中未示出的其他组件。图1中示出的图像生成装置1300仅是用于帮助理解本发明构思的至少一些示例实施例的示例。图像生成装置1300可生成与对象1100相关联的图像IMG。
例如，如在此使用的术语“处理器”可表示硬件实现的数据处理装置，该硬件实现的数据处理装置具有被物理地构造为执行期望操作的电路，所述期望操作包括例如被表示为包括在程序中的代码和/或指令的操作。上述的硬件实现的数据处理装置的示例包括：微处理器、中央处理单元(CPU)、处理器核、多核处理器、多处理器、专用集成电路(ASIC)以及现场可编程门阵列(FPGA)，但不限于此。执行程序代码的处理器是被编程的处理器，因此执行程序代码的处理器是专用计算机。
透镜1310可在光从一个或多个光源被发射之后接收由对象1100反射的光。通过本发明构思的至少一个示例实施例的方式，图像生成装置1300可包括一个或多个透镜。穿过透镜1310的光可被提供给图像传感器芯片1330。
图像传感器芯片1330可基于从透镜1310提供的光来生成一个或多个图像信号。图像信号可包括用于生成与对象1100相关联的图像IMG的信息。可基于图像信号来生成图像IMG。图像信号可被提供给图像信号处理器1350。
例如，图像传感器芯片1330可包括图像传感器像素。图像传感器像素可包括一个或多个光通滤波器(light pass filter)以及一个或多个光敏传感器(photo-sensitivesensor)。例如，光通滤波器中的每个可使红光、绿光和蓝光中的一个通过，但是本发明构思的至少一些示例实施例不受限于该实例。光敏传感器中的每个可生成具有与穿过各自光通滤波器的光的特性(例如，强度)相应的电特性(例如，电压)的电信号(即，图像信号)。例如，一个或多个光通滤波器以及一个或多个光敏传感器可被设置在像素单元中。例如，对应于每个像素可生成一个图像信号。
在此，本发明构思的至少一些示例实施例不限于上面提到的示例。可以以不同的方式来实现光通滤波器的配置、光通滤波器和光敏传感器的布置以及图像信号的生成。此外，例如，图像传感器芯片1330还可包括各种组件，诸如，红外光通滤波器和红外光传感器。
此外，根据本发明构思的至少一些示例实施例，图像传感器芯片1330还可包括相位检测像素。相位检测像素可被用于执行“相位差自动聚焦(phase difference auto-focusing)”。相位检测像素可生成相位信号。相位信号可被用于计算图像信号之间的相位差。根据本发明构思的至少一些示例实施例，相位差可被用于聚焦对象以及用于测量对象与图像传感器之间的距离。将参照图2至图6进一步描述相位检测像素。
图像信号处理器1350可接收由图像传感器芯片1330生成的图像信号和相位信号。图像信号处理器1350可执行用于处理图像信号的操作。可基于图像信号来生成与对象1100相关联的图像IMG。然而，图像信号可能不适于生成图像IMG。为了生成合适的图像IMG，图像信号处理器1350可执行图像信号处理。
例如，图像信号处理器1350可执行图像信号处理，诸如，坏像素校正、去马赛克(demosaicing)、降噪、透镜阴影校正、伽玛校正以及边缘增强。然而，本发明构思的至少一些示例实施例不限于以上的示例。图像信号处理器1350还可执行其他类型的图像信号处理。
图像信号处理器1350可通过处理相位信号来聚焦对象1100。此外，根据本发明构思的至少一些示例实施例，图像信号处理器1350可通过处理相位信号来生成深度图DM。深度图DM可以是示出与对象1100和图像传感器之间的距离相关联的信息的图像。已经描述了图像信号处理器1350执行处理相位信号、聚焦以及生成深度图DM。然而，如将在下面描述的，可通过图像传感器芯片1330来执行处理相位信号、聚焦、生成深度图DM中的至少一个及它们的任何组合。
图像信号处理器1350可以以硬件来实现。例如，图像信号处理器1350可包括用于执行图像信号处理的模拟电路或逻辑电路。可选地，图像信号处理器1350可被实现在操作处理单元中。例如，图像信号处理器1350可被实现在包括应用处理器的操作处理装置中。操作处理装置可通过执行存储在只读存储器(ROM)中的指令代码或加载到随机存取存储器(RAM)中的程序代码，来执行图像信号处理。然而，本发明构思的至少一些示例实施例不限于这些示例。
根据本发明构思的至少一个示例实施例，如图1中所示，图像信号处理器1350可与图像传感器芯片1330一起被包括在同一装置中。至少在图1所示的示例中，图像生成装置1300可被实现在包括图像传感器芯片1330和图像信号处理器1350的便携式电子装置(诸如，数码相机、智能手机、平板以及可穿戴装置)中。
根据本发明构思的至少另一示例实施例，与图1不同，图像信号处理器1350和图像传感器芯片1330可分别被提供在单独装置中。至少在本示例实施例中，例如，包括图像传感器芯片1330的装置可仅是图像捕获装置，包括图像信号处理器1350的装置可以是包括一个或多个处理器的计算装置。换句话说，可以以各种方式来实现本发明构思的至少一个示例实施例，并且本发明构思的至少一些示例实施例不受限于图1中所示的配置。
根据本发明构思的至少一个示例实施例，如图1中所示，图像信号处理器1350可以是与图像传感器芯片1330分开提供的图像信号处理电路、图像信号处理芯片或图像信号处理装置。至少在图1中所示的示例中，当图像生成装置1300是便携式电子装置时，图像传感器芯片1330可与图像信号处理器1350分开提供，并且图像信号处理器1350可被包括在应用处理器中。
根据本发明构思的至少另一示例实施例，与图1不同，图像信号处理器1350可被部分地或全部地包括在图像传感器芯片1330中。在该示例实施例中，图像传感器芯片1330可生成图像信号，也执行图像信号处理。换句话说，可使用各种配置来实现本发明构思的至少一个示例实施例，并且本发明构思的至少一些示例实施例不受限于图1所示的配置。图1仅示出用于帮助理解本发明构思的至少一些示例实施例的示例配置。
根据以下描述的本发明构思的任何示例实施例或可选地根据以下描述的本发明构思的至少一些示例实施例的“图像生成装置”的组件可被实现在图像传感器芯片1330和图像信号处理器1350之一中，或者可被实现为被划分到图像传感器芯片1330和图像信号处理器1350中。可选地，“图像生成装置”的组件可与图像传感器芯片1330和图像信号处理器1350二者分开提供。可使用各种配置来实现本发明构思的至少一些示例实施例。将参照图7至图17来描述根据本发明构思的至少一些示例实施例的配置。
图2至图4是示出根据本发明构思的至少一个示例实施例的包括相位检测像素的图像传感器的概念图。根据本发明构思的至少一个示例实施例的包括相位检测像素的图像传感器1331可被包括在图1的图像传感器芯片1330中。
参照图2，图像传感器1331可包括像素阵列PA。可通过像素单元PX来形成像素阵列PA。图像传感器1331可包括多个图像传感器像素和多个相位检测像素。多个图像传感器像素可生成与对象相应的图像信号。多个相位检测像素可生成用于计算图像之间的相位差的相位信号。可通过像素单元PX来布置多个图像传感器像素和多个相位检测像素。下面将参照图3和图4更详细地描述多个图像传感器像素和多个相位检测像素的布置。
根据本发明构思的至少一个示例实施例，多个相位检测像素中的每个可被配置为对应于多个图像传感器像素中的两个。参照图2和图3，多个图像传感器像素中的每个可对应于一个像素单元PX。此外，多个相位检测像素PPX1至PPXn中的每个可对应于两个像素单元。换句话说，例如，两个图像传感器像素可被用作一个相位检测像素PPX1。在该示例实施例中，一个像素单元PX可被用作相位检测像素以及图像传感器像素。
在以上的示例实施例中，全部成对的图像传感器像素可被用作单个相位检测像素。可选地，多个图像传感器像素中的一些可不被用作任何相位检测像素。例如，当多个图像传感器像素的数目为“p”时，多个相位检测像素的数目可等于或小于(p/2)(即，n≤(p/2))。
根据本发明构思的至少另一示例实施例，多个相位检测像素可被这样布置：多个相位检测像素与多个图像传感器像素不重叠。参照图4，白色四边形形状表示图像传感器像素IPX，阴影四边形形状表示相位检测像素PPX。换句话说，多个相位检测像素可被布置在与多个图像传感器像素的位置不同的位置中。至少在图4所示的示例中，相位检测像素可不被用作图像传感器像素。例如，相位检测像素中的每个可包括白光传感器，但是本发明构思的至少一些示例实施例不限于此。
在以上的示例实施例中，在像素阵列PA中包括的像素中的一些可被用作图像传感器像素。此外，不被用作图像传感器像素的像素可被用作相位检测像素。根据本发明构思的至少一些示例实施例，在像素阵列PA中包括的全部像素可被用作相位检测像素。
在示例实施例中，可对相位检测像素的配置、相位检测像素的数目、相位检测像素的布置和/或相位检测像素的位置进行各种修改或修正。图2至图4仅示出包括多个相位检测像素的图像传感器1331的可能配置中的一些，而本发明构思的至少一些示例实施例不限于此。图像传感器1331可被实现为与图2至图4中所示的配置不同。
图5和图6是示出使用相位检测像素的处理的概念图。例如，在图像生成装置1300(参照图1)中包括的透镜1310可被配置为是可移动的。更详细地说，透镜1310可沿距对象1100的距离增大或减小的方向移动。据此，透镜1310与对象1100之间的距离可被调整。对象1100可根据透镜1310的位置而被聚焦或离焦。
首先，将参照图5。参照第一情况CASE 1，透镜1310与对象1100之间的距离相对较近。在第一情况CASE 1中，透镜1310离开“聚焦位置”。聚焦位置是用于聚焦对象1100的透镜1310的位置。因为透镜1310离开聚焦位置，所以在包括在图像传感器芯片1330中的图像传感器1331上形成的图像之间可发生相位差D1。因此，在第一情况CASE 1中，对象1100可被离焦。
参照第二情况CASE 2，透镜1310被放置在聚焦位置上。当透镜1310被放置在聚焦位置上时，在图像传感器1331上形成的图像之间的相位差可为零(0)。因此，在第二情况CASE 2中，对象110可被聚焦。
参照第三情况CASE 3，透镜1310与对象1100之间的距离相对较远。在第三情况CASE 3中，透镜1310离开聚焦位置。因为透镜1310离开聚焦位置，所以在图像传感器1331上形成的图像之间可发生相位差D3。因此，在第三情况CASE 3中，对象1100可被离焦。
在图像传感器1331中包括的多个相位检测像素可被用于聚焦对象。如以上所描述，多个相位检测像素可生成相位信号。相位信号可包括与在图像传感器1331上形成的图像的位置相关联的信息。因此，相位信号可被用于计算图像之间的相位差。可基于计算的相位差来计算透镜1310的聚焦位置。例如，相位差为0的透镜1310的位置可以是聚焦位置。
根据本发明构思的至少一些示例实施例，多个相位检测像素可被用于聚焦对象1100，并且还可被用于测量对象1100与图像传感器1331之间的距离。例如，为了测量对象1100与图像传感器1331之间的距离，可参照诸如以下项的附加信息：在图像传感器1331上形成的图像之间的相位差、透镜1310与图像传感器1331之间的距离、透镜1310的尺寸以及透镜1310的聚焦位置。
例如，相应于特定条件(诸如特定聚焦位置和特定相位差)的与对象1100和图像传感器1331之间的距离相关联的信息可被预先准备。图像生成装置1300可(例如)以查找表的形式存储特定条件的信息和准备的信息。根据本发明构思的至少一个示例实施例，查找表可被存储在包括在图像生成装置中的存储器中。例如，查找表可指示特定条件与准备的信息之间的对应关系。图像生成装置1300可计算诸如聚焦位置和相位差的条件，然后可参照存储的信息获得与计算的条件相应的对象1100与图像传感器1331之间的距离。
作为另一示例，图像生成装置1300可计算诸如相位差以及透镜1310与图像传感器1331之间的距离的条件。图像生成装置1300可参照计算的条件来执行数学计算(例如，使用边长以及边形成的角度的三角函数计算等)。基于数学计算，图像生成装置1300可计算对象1100与图像传感器1331之间的距离。
根据上面提到的示例，可通过图像生成装置1300(例如，使用图像传感器芯片1330和/或图像信号处理器1350)来计算对象1100与图像传感器1331之间的绝对距离。另一方面，当附加信息未被充分地准备时，可基于相位差信息来计算对象1100与图像传感器1331之间的相对距离。可基于对象1100与图像传感器1331之间的绝对距离或相对距离，来生成示出与对象1100和图像传感器1331之间的距离相关联的信息的深度图。
在此，仅提供上面提到的示例以帮助理解本发明构思的至少一些示例实施例，并且本发明构思的至少一些示例实施例不限于此。可通过各种处理来计算对象1100与图像传感器1331之间的距离。具体地说，当使用诸如在图像传感器1331上形成的图像之间的相位差、透镜1310与图像传感器1331之间的距离、透镜1310的尺寸以及透镜1310的聚焦位置的附加信息时，可计算更准确的绝对距离。
现在，参照图6。当对象1100与图像传感器1331之间的距离被计算时，图像生成装置1300可生成深度图。如以上所描述，图像传感器1331的像素阵列PA可包括多个相位检测像素PPX。根据本发明构思的至少一些示例实施例，可通过多个相位检测像素PPX来生成对象1100的整个部分的深度图。例如，根据本发明构思的至少一些示例实施例，对象1100的整个部分与图像传感器1331之间的距离可被计算，代替仅计算对象1100的一个点或一些相对较小部分与图像传感器1331之间的距离。因此，图像生成装置1300可生成对象1100的整个部分的深度图。
在此，图6是用于帮助理解本发明构思的至少一些示例实施例的示例概念图，并且不意在限制本发明构思的至少一些示例实施例。如以上所描述，可使用各种形式来实现相位检测像素。可对相位检测像素的配置、相位检测像素的数目、相位检测像素的布置以及相位检测像素的位置进行各种修改或修正。
图7是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。图8是描述图7的图像生成装置的操作的流程图。图9是示出图7的图像生成装置的操作的概念图。
参照图7，图像生成装置100可包括相位差计算器103和深度图生成器104。图像生成装置100可根据本发明构思的至少一个示例实施例来生成深度图DM。
根据本发明构思的至少一个示例实施例，图像生成装置100可包括被具体构造为实现在此描述的由图像生成装置100(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为实现在此描述的由图像生成装置100(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现图像生成装置100。根据本发明构思的至少一个示例实施例，图像生成装置100可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由图像生成装置100(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据本发明构思的至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现图像生成装置100。
例如，可通过图1的图像传感器芯片1130和/或图像信号处理器1350来实现图像生成装置100。
为了描述本发明构思的至少一个示例实施例，现在一起参照图7至图9。
在图8的操作S110中，图9的透镜1310可移动到第一位置。如以上所描述，透镜1310可沿距图9的对象1100的距离增大或减小的方向移动。据此，透镜1310与对象1100之间的距离可被调整。在图9的时间“t1”处，透镜1310响应于透镜位置控制信号可移动到第一位置。例如，第一位置可以是固定的位置。可选地，第一位置可以是可调整的位置。可以以各种方式来选择或确定第一位置。
在图8的操作S120中，可生成第一相位信号PS1。当透镜1310被放置在第一位置时，对象1100可被捕获。图9的图像传感器1331可通过透镜1310接收从对象1100反射的光。在图像传感器1331中包括的多个相位检测像素可(例如)基于反射的光来生成第一相位信号PS1。第一相位信号PS 1可包括与当透镜1310被放置在第一位置时在图像传感器1331上形成的图像的位置相关联的信息。
在图8的操作S130中，可计算第一相位差PD1。相位差计算器103可从图像传感器1331接收第一相位信号PS 1。相位差计算器103可基于第一相位信号PS1来计算第一相位差PD1。第一相位差PD1可以是与当透镜1310被放置在第一位置时在图像传感器1331上形成的图像相关联的相位差。
在图8的操作S140中，可生成第一深度数据DD1。第一深度数据DD1可以是与图像传感器1331的多个相位检测像素和对象1100之间的距离相关联的数据。深度图生成器104可从相位差计算器103接收第一相位差PD1。深度图生成器104可基于第一相位差PD1来生成第一深度数据DD1。例如，深度图生成器104可参照附加信息(诸如透镜1310与图像传感器1331之间的距离、透镜1310的尺寸和透镜1310的聚焦位置)以及第一相位差PD1，来生成第一深度数据DD1。
例如，可仅基于第一深度数据DD1来生成深度图DM。然而，存在第一深度数据DD1根据对象1100被捕获的环境而包括不准确距离数据的可能性。当第一深度数据DD1包括不准确距离数据时，深度图DM可被不准确地生成。因此，根据本发明构思的至少一些示例实施例，另一深度数据还可被生成以生成具有更高可靠性的深度图DM。
在图8的操作S150中，透镜1310可移动到第二位置。第二位置与第一位置不同。在图9的时间“t2”处，透镜1310响应于透镜位置控制信号可移动到第二位置。例如，第二位置可以是固定的位置或可调整的位置。可以以各种方式来选择或确定第二位置。
根据本发明构思的至少一个示例实施例，第一位置和第二位置之一可对应于聚焦位置。至少根据本发明构思的本示例实施例，与透镜1310的聚焦位置相关联的信息可与生成深度数据一起被获得。然而，本发明构思的至少一些示例实施例不受限于以上的示例实施例。第一位置和第二位置中的每个可以是除了聚焦位置之外的任意位置。
参照图9，当透镜1310从第一位置移动到第二位置时，透镜1310与图像传感器1331之间的距离可变得较近。然而，本发明构思的至少一些示例实施例不受限于图9。在一些其他示例实施例中，当透镜1310从第一位置移动到第二位置时，透镜1310与图像传感器1331之间的距离可变得较远。图9示出用于帮助理解本发明构思的至少一些示例实施例的示例。
在图8的操作S160中，可生成第二相位信号PS2。当透镜1310被放置在第二位置时，对象1100可被捕获。图像传感器1331可通过透镜1310接收从对象1100反射的光。在图像传感器1331中包括的多个相位检测像素可生成第二相位信号PS2。第二相位信号PS2可包括与当透镜1310被放置在第二位置时在图像传感器1331上形成的图像的位置相关联的信息。
在图8的操作S170中，可计算第二相位差PD2。相位差计算器103可从图像传感器1331接收第二相位信号PS2。相位差计算器103可基于第二相位信号PS2来计算第二相位差PD2。第二相位差PD2可以是与当透镜1310被放置在第二位置时在图像传感器1331上形成的图像相关联的相位差。
在图8的操作S180中，可生成第二深度数据DD2。第二深度数据DD2可以是与图像传感器1331的多个相位检测像素和对象1100之间的距离相关联的数据。深度图生成器104可从相位差计算器103接收第二相位差PD2。深度图生成器104可基于第二相位差PD2来生成第二深度数据DD2。例如，深度图生成器104可参照附加信息(诸如透镜1310与图像传感器1331之间的距离、透镜1310的尺寸和透镜1310的聚焦位置)以及第二相位差PD2，来生成第二深度数据DD2。
在图8的操作S190中，可生成深度图DM。可基于第一深度数据DD1和第二深度数据DD2来生成深度图DM。深度图生成器104可基于第一深度数据DD1和第二深度数据DD2来生成深度图DM。
如以上所描述，存在第一深度数据DD1包括不准确距离数据的可能性。因此，根据本发明构思的至少一些示例实施例，深度图生成器104还可生成第二深度数据DD2。当参照多个深度数据DD1和DD2时，在第一深度数据DD1或第二深度数据DD2中包括的不准确距离数据(即，误差)可被校正。根据本发明构思的至少一个示例实施例的图像生成装置100可参照多个深度数据DD1和DD2来生成具有更高可靠性的深度图DM。将参照图13至图17进一步描述参照第一深度数据DD1和第二深度数据DD2生成深度图DM的处理。
参照图7至图9，描述了透镜1310移动到第一位置和第二位置，以及两个深度数据DD1和DD2被生成。然而，为了更准确地生成深度图DM，可使用三个或更多个透镜位置以及三个或更多个深度数据。图7至图9仅是用于帮助理解本发明构思的至少一些示例实施例的示例，并且本发明构思的至少一些示例实施例不限于此。
此外，参照图7至图9，描述了在当透镜1310被放置在第一位置时执行的处理完成之后，透镜1310移动到第二位置。然而，执行根据本发明构思的至少一个示例实施例的处理的顺序可根据图像生成装置100的设计而被改变或修改。
例如，透镜1310可在第一相位信号PS1、第一相位差PD1或第一深度数据DD1被生成的同时或在第一相位信号PS1、第一相位差PD1或第一深度数据DD1被生成之前移动到第二位置。例如，相位差计算器103可同时地计算第一相位差PD1和第二相位差PD2，或者可早于第一相位差PD1来计算第二相位差PD2。例如，深度图生成器104可同时地生成第一深度数据DD1和第二深度数据DD2，或者可早于第一深度数据DD1来生成第二深度数据DD2。
根据本发明构思的至少一些示例实施例，图像生成装置100基于几个深度数据DD1和DD2来生成深度图DM就足够了。执行参照图7至图9所描述的处理的顺序可被不同地改变或修改。本发明构思的至少一些示例实施例不受限于参照图7至图9的描述。
根据本发明构思的至少一个示例实施例的图像生成装置100不要求诸如飞行时间(ToF)传感器、红外传感器和立体相机的附加装置。因此，根据本发明构思的至少一个示例实施例的图像生成装置100可在占用较小面积或体积的同时生成深度图DM。此外，根据本发明构思的至少一些示例实施例，图像生成装置100可通过参照多个深度数据DD1和DD2校正误差来生成具有更高可靠性的深度图DM。
图10是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图10，图像生成装置2300可包括：透镜2310、图像传感器芯片2330以及图像信号处理器2350。此外，图像传感器芯片2330可包括：图像传感器2331、透镜驱动器2332、相位差计算器2333以及深度图生成器2334。
透镜2130的配置和功能可包括已经参照图1至图9描述的透镜1310的配置和功能。为了描述的简洁，以下将省略与透镜2310相关联的冗余描述。穿过透镜2310的光可被提供给图像传感器芯片2330的图像传感器2331。
图像传感器2331可包括多个图像传感器像素和多个相位检测像素。多个图像传感器像素可生成与对象相应的图像信号。多个相位检测像素可生成被用于计算图像之间的相位差的第一相位信号PS1和第二相位信号PS2。当透镜2310被放置在第一位置时可生成第一相位信号PS1，当透镜2310被放置在第二位置时可生成第二相位信号PS2。
图像传感器2331的配置和功能可包括已经参照图1至图9描述的图像传感器1331的配置和功能。为了描述的简洁，以下将省略与图像传感器2331相关联的冗余描述。
透镜驱动器2332可生成透镜位置控制信号LN。透镜位置控制信号LN可以是用于调整透镜2310的位置的信号。响应于透镜位置控制信号LN，透镜2310可沿着距对象的距离增大或减小的方向移动。据此，透镜2310与对象之间的距离可被调整。例如，透镜驱动器2332可基于从图像信号处理器2350提供的透镜驱动信号LD来生成透镜位置控制信号LN。然而，与图10不同，在一些其他示例实施例中，透镜驱动器2332可在没有透镜驱动信号LD的情况下，通过执行用于控制透镜2310的位置的操作，来生成透镜位置控制信号LN。
相位差计算器2333可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器2334可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器2333和深度图生成器2334的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器2333和深度图生成器2334相关联的冗余描述。
在一个示例实施例中，图像信号处理器2350可对由深度图生成器2334生成的深度图DM执行图像信号处理。因此，图像信号处理器2350可生成被更加适当地处理的深度图DM’。然而，与图10不同，在本发明构思的至少另一示例实施例中，由深度图生成器2334生成的深度图DM可在没有图像信号处理的情况下，从图像生成装置2330被直接地输出。
在一个示例实施例中，图像信号处理器2350可生成用于控制透镜驱动器2332的透镜驱动信号LD。然而，与图10不同，在本发明构思的至少另一示例实施例中，图像信号处理器2350可在没有透镜驱动器2332的情况下，直接地控制透镜2310的位置。换句话说，图10示出用于帮助理解本发明构思的至少一些示例实施例的示例配置，并且不意在限制本发明构思的至少一些示例实施例。可使用与图10中所示的配置不同的配置来实现本发明构思的至少一个示例实施例。
图像信号处理器2350的配置和功能可包括图1的图像信号处理器1350的配置和功能。为了描述的简洁，以下将省略与图像信号处理器2350相关联的冗余描述。
根据图10的示例实施例，相位差计算器2333和深度图生成器2334可被实现在图像传感器芯片2330中。根据本发明构思的至少一个示例实施例，图像传感器2331、透镜驱动器2332、相位差计算器2333以及深度图生成器2334可被实现在一个图像传感器芯片2330中。
然而，本发明构思的至少一些示例实施例不受限于图10中所示的配置。图像生成装置2300还可包括图10中未示出的其他组件，或者可不包括图10中示出的一个或多个组件。图10仅示出图像生成装置2300的示例配置。
图11是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图11，图像生成装置3300可包括：透镜3310、图像传感器芯片3330以及图像信号处理器3350。此外，图像信号处理器3350可包括：相位差计算器3353、深度图生成器3354以及透镜位置控制器3355。
透镜3310的配置和功能可包括已经参照图1至图9描述的透镜1310的配置和功能。为了描述的简洁，以下将省略与透镜3310相关联的冗余描述。穿过透镜3310的光可被提供给图像传感器芯片3330。
图像传感器芯片3330可包括图像传感器1331(参照图2至图6)。图像传感器1331可包括多个图像传感器像素和多个相位检测像素。多个图像传感器像素可生成与对象相应的图像信号。多个相位检测像素可生成被用于计算图像之间的相位差的第一相位信号PS1和第二相位信号PS2。当透镜3310被放置在第一位置时可生成第一相位信号PS1，当透镜3310被放置在第二位置时可生成第二相位信号PS2。已经参照图1至图9描述了图像传感器1331的配置和功能。
相位差计算器3353可从图像传感器芯片3330接收第一相位信号PS1和第二相位信号PS2。相位差计算器3353可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器3354可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器3353和深度图生成器3354的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器3353和深度图生成器3354相关联的冗余描述。
透镜位置控制器3355可生成透镜驱动信号LD。透镜驱动信号LD可以是用于移动透镜3310的信号。响应于透镜驱动信号LD，透镜3310可沿着距对象的距离增大或减小的方向移动。据此，透镜3310与对象之间的距离可被调整。然而，与图11不同，透镜位置控制器3355可不直接地控制透镜3310的位置。例如，透镜位置控制器3355可通过控制另一组件(例如，图10的透镜驱动器2332)来间接地控制透镜3310的位置。
在一个示例实施例中，透镜位置控制器3355可计算透镜3310的聚焦位置。如以上所描述，聚焦位置可以是用于聚焦对象的透镜3310的位置。透镜位置控制器3355可基于第一相位差PD1和/或第二相位差PD2来计算聚焦位置。例如，透镜位置控制器3355可计算并确定相位差为0的透镜3310的位置作为聚焦位置。当透镜3310需要移动到聚焦位置时，透镜位置控制器3355可生成透镜驱动信号LD以将透镜3310移动到聚焦位置。
然而，与以上的描述不同，在本发明构思的至少另一示例实施例中，可通过图像传感器芯片3330来计算聚焦位置。当图像传感器芯片3330包括单独的透镜位置控制器时，图像传感器芯片3330可生成用于将透镜3310移动到计算的聚焦位置的透镜驱动信号。本发明构思的至少一个示例实施例可被改变或修改为与图11中所示的配置不同的配置。
根据本发明构思的至少一些示例实施例，图像信号处理器3350可对由深度图生成器3354生成的深度图DM执行各种类型的图像信号处理。据此，可生成被更加适当地处理的深度图DM。换句话说，图11仅示出用于帮助理解本发明构思的至少一些示例实施例的示例配置，并且不意在限制本发明构思的至少一些示例实施例。可使用与图11中所示的配置不同的配置来实现本发明构思的至少一个示例实施例。
根据图11所示的示例实施例，相位差计算器3353和深度图生成器3354可被实现在图像信号处理器3350中。例如，图像信号处理器3350可被实现在包括应用处理器的操作处理装置中。根据本发明构思的至少一个示例实施例，相位差计算器3353、深度图生成器3354以及透镜位置控制器3355可被实现在包括应用处理器的操作处理装置中。
然而，本发明构思的至少一些示例实施例不受限于图11中所示的配置。图像生成装置3300还可包括图11中未示出的其他组件，或者可不包括图11中示出的一个或多个组件。图11仅示出图像生成装置3300的示例配置。
图12是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图12，图像生成装置4300可包括：透镜4310、图像传感器芯片4330、图像信号处理器4350、相位差计算器4373以及深度图生成器4374。
透镜4310的配置和功能可包括已经参照图1至图9描述的透镜1310的配置和功能。为了描述的简洁，以下将省略与透镜4310相关联的冗余描述。穿过透镜4310的光可被提供给图像传感器芯片4330。
图像传感器芯片4330可包括图像传感器1331(参照图2至图6)。图像传感器1331可包括多个图像传感器像素和多个相位检测像素。多个图像传感器像素可生成与对象相应的图像信号。多个相位检测像素可生成被用于计算图像之间的相位差的第一相位信号PS1和第二相位信号PS2。当透镜4310被放置在第一位置时可生成第一相位信号PS1，当透镜4310被放置在第二位置时可生成第二相位信号PS2。已经参照图1至图9描述了图像传感器1331的配置和功能。
图像信号处理器4350可执行图像信号处理以生成对象的适当图像。图像信号处理器4350的配置和功能可包括图1的图像信号处理器1350的配置和功能。为了描述的简洁，以下将省略与图像信号处理器4350相关联的冗余描述。
相位差计算器4373可从图像传感器芯片4330接收第一相位信号PS1和第二相位信号PS2。相位差计算器4373可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器4374可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器4373和深度图生成器4374的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器4373和深度图生成器4374相关联的冗余描述。
在一个示例实施例中，图像信号处理器4350可对由深度图生成器4374生成的深度图DM执行图像信号处理。因此，图像信号处理器4350可生成被更加适当地处理的深度图DM’。然而，在本发明构思的至少另一示例实施例中，由深度图生成器4374生成的深度图DM可在没有图像信号处理的情况下，从图像生成装置4300被直接地输出。
根据图12中所示的示例实施例，相位差计算器4373和深度图生成器4374可与图像传感器芯片4330和图像信号处理器4350分开提供。可选地，与图10至图12不同，相位差计算器103和深度图生成器104可被实现为被分布到图像传感器芯片1330和图像信号处理器1350。根据本发明构思的至少一些示例实施例的相位差计算器103和深度图生成器104可以以各种配置之一来实现。
然而，本发明构思的至少一些示例实施例不受限于图12中所示的配置。图像生成装置4300还可包括图12中未示出的其他组件，或者可不包括图12中示出的一个或多个组件。图12示出图像生成装置4300的可行示例配置之一。
如以上所描述，根据本发明构思的至少一个示例实施例的图像生成装置可在捕获对象的同时生成深度图。根据本发明构思的至少另一示例实施例的图像生成装置可通过直接存储器访问(DMA)操作，来直接地访问存储器装置或存储装置。存储器装置或存储装置可预先存储生成的相位信息。在该示例实施例中，图像生成装置可基于存储在存储器装置或存储装置中的相位信息来生成深度图。在该示例实施例中，图像生成装置可不包括透镜以及图像传感器芯片的功能中的一些功能。本发明构思的至少一个示例实施例可被改变或修改为各种配置中的一个。
图13是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图13，图像生成装置200可包括：相位差计算器203、深度图生成器204以及相位差预测器206。
根据本发明构思的至少一个示例实施例，图像生成装置200可包括被具体构造为实现在此描述的由图像生成装置200(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为实现在此描述的由图像生成装置200(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现图像生成装置200。根据本发明构思的至少一个示例实施例，图像生成装置200可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由图像生成装置200(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据本发明构思的至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现图像生成装置200。
相位差计算器203、深度图生成器204以及相位差预测器206可被实现在图像传感器芯片1330(参照图1)和图像信号处理器1350(参照图1)之一中，或者可被实现为被分布到图像传感器芯片1330和图像信号处理器1350。可选地，相位差计算器203、深度图生成器204和相位差预测器206可与图像传感器芯片1330和图像信号处理器1350分开提供。
相位差计算器203可接收第一相位信号PS1和第二相位信号PS2。相位差计算器203可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器204可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器203和深度图生成器204的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器203和深度图生成器204相关联的冗余描述。
相位差预测器206可基于第一相位差PD1来预测将被计算作为第二相位差PD2的值。相位差预测器206可将预测的值PV提供给深度图生成器204。深度图生成器204可参照预测的值PV以及第一相位差PD1和第二相位差PD2来生成深度图DM。
当透镜1310(参照图1)被放置在第一位置时，可计算第一相位差PD1。基于第一相位差PD1，可获得捕获环境，诸如，透镜1310的聚焦位置、对象与图像传感器1331(参照图2至图6)之间的距离以及透镜1310与图像传感器1331之间的距离。当捕获环境被获得时，可预测当透镜1310移动到第二位置时将被计算作为第二相位差PD2的值。
例如，随着透镜1310从第一位置移动到第二位置，第一相位差PD1可早于第二相位差PD2而被计算。相位差预测器206可在透镜1310移动到第二位置之前，预测将被计算作为第二相位差PD2的值。可选地，相位差预测器206可在透镜1310移动到第二位置的同时预测将被计算作为第二相位差PD2的值。在此，仅提供该示例以帮助理解本发明构思的至少一些示例实施例，并且该示例不意在限制本发明构思的至少一些示例实施例。
在一些情况下，由相位差预测器206预测的值PV可与由相位差计算器203实际计算的第二相位差PD2不同。通过示例的方式，当第一相位差PD1和第二相位差PD2中的至少一个包括误差时，预测的值PV可与第二相位差PD2不同。因此，当预测的值PV与第二相位差PD2不同时，有必要校正误差。
根据本发明构思的至少一个示例实施例，当预测的值PV与第二相位差PD2之间的差大于参考值时，可执行用于校正误差的处理。参考值可以是固定的值或可调整的值。参考值可在每个示例实施例中被不同地选择。根据本发明构思的至少另一示例实施例，当预测的值PV与第二相位差PD2不同时，可执行用于校正误差的处理。
可以以各种方式来执行用于校正误差的处理。根据本发明构思的至少一个示例实施例，为了校正误差，深度图生成器204可参照预测的值PV与第二相位差PD2之间的差来生成深度图DM。通过示例的方式，深度图生成器204可基于预测的值PV和第二相位差PD2的平均值来生成深度图DM。
通过另一示例的方式，深度图生成器204可采集使相位差被更加准确地计算的与透镜1310的位置相关联的信息。例如，深度图生成器204可在重复捕获期间或每当特定条件被满足时周期地采集该信息。深度图生成器204可基于采集的信息来确定第一相位差PD1和第二相位差PD2中的每个的可靠性。深度图生成器204可将更高的权重分配给在第一相位差PD1和第二相位差PD2之中具有更高可靠性的相位差，并且可计算第一相位差PD1和第二相位差PD2的加权平均值。深度图生成器204可基于计算的加权平均值来生成深度图DM。
根据本发明构思的至少另一示例实施例，为了校正误差，相位差计算器203还可计算其他相位差。例如，透镜1310可移动到与第一位置和第二位置不同的第三位置。当透镜1310被放置在第三位置时，图像传感器1331的多个相位检测像素可生成第三相位信号。相位差计算器203可基于第三相位信号来计算第三相位差。深度图生成器204可基于第一相位差PD1、第二相位差PD2和第三相位差来生成深度图DM。
当第三相位差被进一步计算时，可确定第一相位差PD1和第二相位差PD2中的哪个具有更高的可靠性。例如，当第三相位差比第二相位差PD2更相似于第一相位差PD1时，可认为第一相位差PD1比第二相位差PD2具有更高的可靠性。在该示例中，深度图生成器204可将更高的可靠性分配给第一相位差PD1和第三相位差，并且可计算第一相位差PD1、第二相位差PD2和第三相位差的加权平均值。深度图生成器204可基于计算的加权平均值来生成深度图DM。在一些其他示例实施例中，相位差计算器203还可计算除了第三相位差之外的其他相位差。
在此，仅提供以上描述的示例实施例以帮助理解本发明构思的至少一些示例实施例。可以以各种方式来改变或修改用于校正误差的条件和处理。
图14是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图14，图像生成装置300可包括：相位差计算器303、深度图生成器304以及空间频率计算器307。
根据本发明构思的至少一个示例实施例，图像生成装置300可包括被具体构造为实现在此描述的由图像生成装置300(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为实现在此描述的由图像生成装置300(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现图像生成装置300。根据本发明构思的至少一个示例实施例，图像生成装置300可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由图像生成装置300(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据本发明构思的至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现图像生成装置300。
相位差计算器303、深度图生成器304以及空间频率计算器307可被实现在图像传感器芯片1330(参照图1)和图像信号处理器1350(参照图1)之一中，或者可被实现为被分布到图像传感器芯片1330和图像信号处理器1350。可选地，相位差计算器303、深度图生成器304和空间频率计算器307可与图像传感器芯片1330和图像信号处理器1350分开提供。
相位差计算器303可接收第一相位信号PS1和第二相位信号PS2。相位差计算器303可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器304可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器303和深度图生成器304的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器303和深度图生成器304相关联的冗余描述。
根据本发明构思的至少一个示例实施例，空间频率计算器307可接收图像信号IS。可通过在图像传感器1331(参照图2至图6)中包括的多个图像传感器像素来生成图像信号IS。如以上所描述，图像信号IS可被用于生成对象的图像。空间频率计算器307可通过处理图像信号IS，来生成与捕获对象的图像相关联的空间频率的信息。
图像的空间频率可与捕获的将生成图像的对象是否被聚焦相关联。当对象被离焦时捕获的图像的空间频率分量可集中分布在低频区域。另一方面，当对象被聚焦时捕获的图像的空间频率分量可从低频区域到高频区域均匀分布。
根据本发明构思的至少一个示例实施例，当透镜1310(参照图1)被放置在第一位置时，空间频率计算器307可生成第一空间频率信息。当透镜1310被放置在第二位置时，空间频率计算器307可生成第二空间频率信息。随着透镜1310的位置从第一位置改变到第二位置，第一空间频率信息可与第二空间频率信息不同。
空间频率计算器307可基于第一空间频率信息和第二空间频率信息，来获得当透镜1310从第一位置移动到第二位置时空间频率值改变(即，增大或减小高频区域的空间频率分量的量)的方向。例如，可认为当高频区域的空间频率分量的量增大时，空间频率值沿正方向改变。
空间频率计算器307可基于第一空间频率信息和第二空间频率信息，来获得当透镜1310从第一位置移动到第二位置时空间频率值改变的量。空间频率计算器307可为深度图生成器304提供包括第一空间频率信息、第二空间频率信息、空间频率改变的方向以及空间频率改变的量等的空间频率信息SF。
深度图生成器304可参照空间频率信息SF以及第一相位差PD1和第二相位差PD2来生成深度图DM。具体地说，深度图生成器304可参考空间频率值改变的方向和/或空间频率值改变的量。空间频率可被用于确定第一相位差PD1和第二相位差PD2中的每个的可靠性。将参照图15和图16进一步描述空间频率的使用。
图15是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图15，图像生成装置400可包括：相位差计算器403、深度图生成器404、空间频率计算器407以及可靠性水平计算器408。
根据本发明构思的至少一个示例实施例，图像生成装置400可包括被具体构造为实现在此描述的由图像生成装置400(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为实现在此描述的由图像生成装置400(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现图像生成装置400。根据本发明构思的至少一个示例实施例，图像生成装置400可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由图像生成装置400(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据本发明构思的至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现图像生成装置400。
相位差计算器403、深度图生成器404、空间频率计算器407以及可靠性水平计算器408可被实现在图像传感器芯片1330(参照图1)和图像信号处理器1350(参照图1)之一中，或者可被实现为被分布到图像传感器芯片1330和图像信号处理器1350。可选地，相位差计算器403、深度图生成器404、空间频率计算器407和可靠性水平计算器408可与图像传感器芯片1330和图像信号处理器1350分开提供。
相位差计算器403可接收第一相位信号PS1和第二相位信号PS2。相位差计算器403可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器404可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器403和深度图生成器404的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器403和深度图生成器404相关联的冗余描述。
空间频率计算器407可接收由包括在图像传感器1331(参照图2至图6)中的多个图像传感器像素生成的图像信号IS。空间频率计算器407可通过处理图像信号IS来生成空间频率信息SF。空间频率计算器407可将空间频率信息SF提供给深度图生成器404。
例如，空间频率计算器407可通过处理在透镜1310(参照图1)被放置在第一位置时生成的第一图像信号，来生成与捕获对象的第一图像相关联的第一空间频率信息。空间频率计算器407可通过处理在透镜1310被放置在第二位置时生成的第二图像信号，来生成与捕获对象的第二图像相关联的第二空间频率信息。空间频率计算器407可基于第一空间频率信息和第二空间频率信息，来获得空间频率改变的方向和/或空间频率改变的量。
空间频率计算器407的配置和功能可包括已经参照图14描述的空间频率计算器307的配置和功能。为了描述的简洁，以下将省略与空间频率计算器407相关联的冗余描述。
可靠性水平计算器408可计算与第一相位差PD1相关联的第一可靠性水平。可靠性水平计算器408可计算与第二相位差PD2相关联的第二可靠性水平。如以上所描述，第一相位差PD1和第二相位差PD2之一或二者可包括误差。可靠性水平计算器408可计算与包括在第一相位差PD1和第二相位差PD2中的误差相关联的可靠性水平RL。例如，误差的水平越低，可靠性水平越高。
根据本发明构思的至少一个示例实施例，可靠性水平计算器408可基于空间频率值改变的方向来计算可靠性水平RL。例如，当透镜1310的位置根据透镜1310从第一位置移动到第二位置而变得更靠近于聚焦位置时，高频区域的空间频率分量的量可增大。然而，当第一相位差PD1和第二相位差PD2之一或二者包括误差时，可能看起来虽然透镜1310的位置变得更靠近于聚焦位置，但是高频区域的空间频率分量的量减小。在这种情况下，第一相位差PD1或第二相位差PD2可具有较低的可靠性水平。
根据本发明构思的至少一个示例实施例，可靠性水平计算器408可采集使相位差被更准确地计算的关于透镜1310的位置的信息。例如，可靠性水平计算器408可在重复捕获期间或每当特定条件被满足时周期性地采集信息。可靠性水平计算器408可在第一相位差PD1和第二相位差PD2之中选择具有较低或较高可靠性水平的相位差。
作为另一示例，当透镜1310被放置在与第一位置和第二位置不同的第三位置时，可进一步生成第三相位差。例如，可靠性水平计算器408可通过将第一相位差PD1、第二相位差PD2以及第三相位差进行互相比较，来选择具有较低可靠性水平的相位差。此外，可靠性水平计算器408可为未被选择的相位差确定较高可靠性水平。
根据本发明构思的至少一个示例实施例，深度图生成器404可通过将第一可靠性水平和第二可靠性水平反映到基于第一相位差PD1生成的第一深度数据和基于第二相位差PD2生成的第二深度数据，来生成深度图DM。通过示例的方式，深度图生成器404可将更高的权重分配给具有更高可靠性水平的相位差，并且可计算加权平均值。深度图生成器404可基于计算的加权平均值来生成深度图DM。
图16是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图16，图像生成装置500可包括：相位差计算器503、深度图生成器504、相位差预测器506、空间频率计算器507以及可靠性水平计算器508。
根据本发明构思的至少一个示例实施例，图像生成装置500可包括被具体构造为实现在此描述的由图像生成装置500(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为实现在此描述的由图像生成装置500(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现图像生成装置500。根据本发明构思的至少一个示例实施例，图像生成装置500可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由图像生成装置500(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据本发明构思的至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现图像生成装置500。
相位差计算器503、深度图生成器504、相位差预测器506、空间频率计算器507以及可靠性水平计算器508可被实现在图像传感器芯片1330(参照图1)和图像信号处理器1350(参照图1)之一中，或者可被实现为被分布到图像传感器芯片1330和图像信号处理器1350。可选地，相位差计算器503、深度图生成器504、相位差预测器506、空间频率计算器507和可靠性水平计算器508可与图像传感器芯片1330和图像信号处理器1350分开提供。
相位差计算器503可接收第一相位信号PS1和第二相位信号PS2。相位差计算器503可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器504可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器503和深度图生成器504的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器503和深度图生成器504相关联的冗余描述。
相位差预测器506可基于第一相位差PD1来预测将被计算作为第二相位差PD2的值。相位差预测器506可将预测的值PV提供给深度图生成器504。相位差预测器506的配置和功能可包括图13的相位差预测器206的配置和功能。为了描述的简洁，以下将省略与相位差预测器506相关联的冗余描述。
空间频率计算器507可接收图像信号IS。可通过包括在图像传感器1331(参照图2至图6)中的多个图像传感器像素来生成图像信号IS。空间频率计算器507可通过处理图像信号IS，来生成与捕获对象的图像相关联的空间频率信息SF。空间频率计算器507的配置和功能可包括图14的空间频率计算器307的配置和功能和/或图15的空间频率计算器407的配置和功能。为了描述的简洁，以下将省略与空间频率计算器507相关联的冗余描述。
可靠性水平计算器508可计算与第一相位差PD1相关联的第一可靠性水平。可靠性水平计算器508可计算与第二相位差PD2相关联的第二可靠性水平。通过本发明构思的至少一个示例实施例的方式，可靠性水平计算器508可基于由相位差预测器506预测的值PV、第一相位差PD1、第二相位差PD2、空间频率信息SF以及它们的组合中的至少一个，来计算可靠性水平RL。可靠性水平计算器508的配置和功能可包括图15的可靠性水平计算器408的配置和功能。为了描述的简洁，以下将省略与可靠性水平计算器508相关联的冗余描述。
在透镜1310(参照图1)的移动方向与空间频率的改变之间必须具有一致性。此外，期望第一相位差PD1和第二相位差PD2不包括误差，并且由相位差预测器506预测的值PV与由相位差计算器503实际计算的第二相位差PD2相同。当在透镜1310的移动方向与空间频率的改变之间没有一致性时，或者当预测的值PV与第二相位差PD2不同时，可靠性水平计算器508可参照不一致性和误差来计算可靠性水平RL。
深度图生成器504可基于可靠性水平RL以及第一相位差PD1和第二相位差PD2来生成深度图DM。在一个示例实施例中，深度图生成器504可通过将第一可靠性水平和第二可靠性水平反映到基于第一相位差PD1生成的第一深度数据和基于第二相位差PD2生成的第二深度数据，来生成深度图DM。已经参照图15描述了该示例实施例。
可使用诸如模拟电路和逻辑电路的硬件来实现相位差计算器503、深度图生成器504、相位差预测器506、空间频率计算器507和可靠性水平计算器508中的每个。可选地，可通过软件来实现相位差计算器503、深度图生成器504、相位差预测器506、空间频率计算器507和可靠性水平计算器508的功能。
根据本发明构思的任何示例实施例或可选地根据本发明构思的至少一些示例实施例的图像生成装置可占用较小的面积或体积。此外，根据本发明构思的任何示例实施例或可选地根据本发明构思的至少一些示例实施例，图像生成装置可通过参照多个深度数据校正误差，来生成具有更高可靠性的深度图。
图17是示出根据本发明构思的至少一个示例实施例的图像生成装置的框图。参照图17，图像生成装置600可包括：相位差计算器603、深度图生成器604以及深度图后处理器609。
根据本发明构思的至少一个示例实施例，图像生成装置600可包括被具体构造为实现在此描述的由图像生成装置600(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为实现在此描述的由图像生成装置600(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现图像生成装置600。根据本发明构思的至少一个示例实施例，图像生成装置600可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由图像生成装置600(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据本发明构思的至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现图像生成装置600。
相位差计算器603、深度图生成器604以及深度图后处理器609可被实现在图像传感器芯片1330(参照图1)和图像信号处理器1350(参照图1)之一中，或者可被实现为被分布到图像传感器芯片1330和图像信号处理器1350。可选地，相位差计算器603、深度图生成器604和深度图后处理器609可与图像传感器芯片1330和图像信号处理器1350分开提供。
相位差计算器603可接收第一相位信号PS1和第二相位信号PS2。相位差计算器603可分别基于第一相位信号PS1和第二相位信号PS2来计算第一相位差PD1和第二相位差PD2。深度图生成器604可基于第一相位差PD1和第二相位差PD2来生成深度图DM。
相位差计算器603和深度图生成器604的配置和功能可包括已经参照图7至图9(例如，参照图像生成装置100)描述的相位差计算器103和深度图生成器104的配置和功能。为了描述的简洁，以下将省略与相位差计算器603和深度图生成器604相关联的冗余描述。
深度图后处理器609可改变深度图DM的分辨率。根据本发明构思的至少一个示例实施例，深度图后处理器609可对对象图像和深度图DM执行图像配准。对象图像可以是基于由包括在图像传感器1331(参照图2至图6)中的多个图像传感器像素生成的图像信号而生成的图像。深度图后处理器609可通过执行图像配准来生成具有改变的分辨率的深度图DM’。
例如，如图4中所示，当多个相位检测像素被配置为与多个图像传感器像素不重叠时，深度图DM可具有比对象图像的分辨率低的分辨率。深度图后处理器609可参照对象图像来估计与深度数据未被获得的图像区域相应的深度数据。例如，深度图后处理器609可通过提取包括在对象图像中的边缘分量并对边缘分量和深度图DM执行图像配准，来估计与深度数据未被获得的图像区域相应的深度数据。
在以上所描述的示例中，深度图后处理器609可基于深度图DM和估计的深度数据来生成具有改变的分辨率的深度图DM’。例如，深度图DM’可通过增强深度图DM的分辨率而具有与对象图像的分辨率相同的分辨率。
然而，本发明构思的至少一些示例实施例不受限于以上的示例。深度图后处理器609可以以各种方式来改变深度图DM的分辨率。深度图DM’可具有与对象图像的分辨率不同的分辨率。深度图DM的分辨率可被增强或降低。此外，如图3中所示，当一个像素单元被用作相位检测像素以及图像传感器像素时，深度图后处理器609可被应用于改变深度图DM的分辨率。
通过一个示例的方式，深度图后处理器609可被配置为当特定条件被满足时进行操作。在该示例中，图像生成装置600还可包括用于确定深度图后处理器609是否将进行操作的确定逻辑或确定电路。通过另一示例的方式，图像生成装置600还可包括附加控制信号线或附加用户接口。图像生成装置600可通过附加控制信号线或附加用户接口来接收用于操作深度图后处理器609的指令。
图18是示出根据本发明构思的至少一个示例实施例的包括图像生成装置的电子装置及其接口的框图。可使用可采用或支持由移动行业处理器接口(MIMP)联盟提出的接口的数据处理装置来实现电子***5000。例如，可使用诸如便携式通信终端、个人数字助手(PDA)、便携式媒体播放器(PMP)、智能手机或可穿戴装置的电子装置来实现电子***5000。
电子***5000可包括：应用处理器5100、显示器5220以及图像传感器5230。应用处理器5100可包括DigRF主站(master)5110、显示器串行接口(DSI)主机5120、相机串行接口(CSI)主机5130、物理层(PHY)5140以及图像信号处理器(ISP)5150。
DSI主机5120可按照DSI与显示器5220的DSI装置5225进行通信。例如，光学串行器(SER)可被实现在DSI主机5120中。例如，光学解串器(DES)可被实现在DSI装置5225中。
CSI主机5130可按照CSI与图像传感器5230的CSI装置5235进行通信。例如，光学DES可被实现在CSI主机5130中。例如，光学SER可被实现在CSI装置5235中。ISP 5150可通过存储器(例如，工作存储器(working memory)5250或应用处理器5100的嵌入式存储器)和总线来与CSI主机5130进行通信。
可根据已经参照图1至图17描述的本发明构思的至少一些示例实施例中的至少一个来配置ISP 5150、图像传感器5230以及它们的任何组合中的至少一个。例如，如图10中所描述，图像传感器5230可将透镜移动到两个或更多个位置中的每个位置，可使用多个相位检测像素来生成多个深度数据，并且可基于多个深度数据来生成深度图。例如，如图11中所描述，ISP 5150可生成透镜驱动信号以将透镜移动到两个或更多个位置中的每个位置，并且可基于使用多个相位检测像素生成的多个深度数据来生成深度图。以下将省略关于本发明构思的至少一些示例实施例的冗余描述。
电子***5000还可包括与应用处理器5100通信的射频(RF)芯片5240。RF芯片5240可包括：PHY 5242、DigRF从站5244以及天线5246。例如，RF芯片5240的PHY 5242与应用处理器5100的PHY 5140可通过由MIPI联盟提出的DigRF接口来互相交换数据。
电子***5000还可包括工作存储器5250和嵌入式/卡存储器5255。工作存储器5250和嵌入式/卡存储器5255可存储从应用处理器5100提供的数据。此外，工作存储器5250和嵌入式/卡存储器5255可将存储在其内的数据提供给应用处理器5100。
工作存储器5250可暂时地存储被应用处理器5100处理的数据或将被应用处理器5100处理的数据。工作存储器5250可包括易失性存储器(诸如，静态随机存取存储器(SRAM)、动态RAM(DRAM)和同步DRAM(SDRAM))和/或非易失性存储器(诸如，闪存、相变RAM(PRAM)、磁阻式RAM(MRAM)、电阻式RAM(ReRAM)和铁电RAM(FRAM))。嵌入式/卡存储器5255可不管电源而存储数据。
电子***5000可通过通信模块(诸如，全球微波互联接入(Wimax)5260、无线局域网(WLAN)5262、超宽带(UWB)以及它们的任何组合中的至少一个)来与外部***进行通信。电子***5000还可包括用于处理声音信息的扬声器5270和麦克风5275。此外，电子***5000还可包括用于处理位置信息的全球定位***(GPS)装置5280。电子***5000还可包括用于管理与***装置的连接的桥芯片(bridge chip)5290。
根据本发明构思的至少一些示例实施例，可减小由图像生成装置占用的面积或体积。此外，根据本发明构思的至少一些示例实施例，图像生成装置可通过参照多个深度数据校正误差，来生成具有更高可靠性的深度图。
应仅从概念的角度来理解每个概念图中示出的配置。为了理解本发明构思的示例实施例，每个概念图中示出的每个组件的形状、结构和尺寸被夸大或缩小。实际实现的配置可具有与每个概念图的配置不同的物理形状。本发明构思的至少一些示例实施例不受限于每个概念图中示出的物理形状或尺寸。
提供每个框图中示出的装置配置以帮助理解本发明构思的至少一些示例实施例。每个块可根据功能由更小的块形成。可选地，多个块可根据功能形成更大的块。也就是说，本发明构思的至少一些示例实施例不受限于框图中所示的组件。
因此已经描述本发明构思的示例实施例，将显然的是，可以以许多方式进行变化。这样的变化不应被视为脱离本发明构思的示例实施例的预期的精神和范围，并且将对本领域技术人员显然的所有这样的修改意在包括在权利要求的范围内。

Claims (21)

1.一种图像生成装置，包括：
图像传感器，包括被配置为生成与对象相应的图像信号的多个图像传感器像素和被配置为生成被用于计算图像之间的相位差的第一相位信号和第二相位信号的多个相位检测像素，其中，第一相位信号在透镜处于第一位置时被生成，第二相位信号在透镜处于与第一位置不同的第二位置时被生成；
透镜驱动器，被配置为调整透镜的位置以调整透镜与对象之间的距离；
相位差计算器，被配置为：基于第一相位信号来计算第一相位差，并基于第二相位信号来计算第二相位差；
相位差预测器，被配置为基于第一相位差来预测第二相位差的值；
可靠性水平计算器，被配置为：基于由相位差预测器预测的值、由相位差计算器计算的第二相位差和当透镜从第一位置移动到第二位置时空间频率值的变化的方向中的至少一个，来计算与第一相位差相关联的第一可靠性水平和与第二相位差相关联的第二可靠性水平；
深度图生成器，被配置为：分别基于第一相位差和第二相位差生成第一深度数据和第二深度数据，并通过基于第一可靠性水平和第二可靠性水平将权重值应用于第一深度数据和第二深度数据来生成深度图，其中，第一深度数据和第二深度数据中的每个与所述多个相位检测像素和对象之间的距离相关联。
2.如权利要求1所述的图像生成装置，其中，相位差计算器被配置为：随着透镜在透镜驱动器的控制下从第一位置移动到第二位置，在第二相位差被计算之前，计算第一相位差，
其中，相位差预测器被配置为：在透镜移动到第二位置之前或在透镜移动到第二位置的同时，预测第二相位差的值。
3.如权利要求1所述的图像生成装置，其中，深度图生成器被这样配置：当由相位差预测器预测的值与由相位差计算器计算的第二相位差之间的差大于参考值时，深度图生成器参照所述差来生成深度图。
4.如权利要求1所述的图像生成装置，其中，所述多个相位检测像素中的每个对应于所述多个图像传感器像素中的两个。
5.如权利要求1所述的图像生成装置，其中，所述多个相位检测像素被布置在与所述多个图像传感器像素不同的位置中，使得所述多个相位检测像素与所述多个图像传感器像素不重叠。
6.如权利要求1所述的图像生成装置，还包括：
空间频率计算器，被配置为：通过处理图像信号来生成与捕获对象的图像相关联的空间频率的信息。
7.如权利要求6所述的图像生成装置，其中，空间频率计算器被配置为：
当透镜被放置在第一位置时，生成第一空间频率信息，
当透镜被放置在第二位置时，生成第二空间频率信息。
8.如权利要求7所述的图像生成装置，其中，空间频率计算器还被配置为：基于第一空间频率信息和第二空间频率信息，来获得当透镜从第一位置移动到第二位置时空间频率值的变化的方向和变化的量中的至少一个。
9.如权利要求1所述的图像生成装置，还包括：
图像传感器芯片，其中，图像传感器芯片包括所述图像传感器、所述透镜驱动器、所述相位差计算器和所述深度图生成器。
10.一种图像生成装置，包括：
相位差计算器，被配置为：接收由包括在图像传感器中的多个相位检测像素生成的第一相位信号和第二相位信号，基于第一相位信号计算第一相位差，并基于第二相位信号计算第二相位差，其中，第一相位信号在透镜处于第一位置时被生成，透镜被配置为沿距对象的距离增大或减小的方向移动，第二相位信号在透镜处于与第一位置不同的第二位置时被生成；
透镜位置控制器，被配置为：基于第一相位差和第二相位差中的至少一个来计算用于聚焦对象的透镜的聚焦位置，并生成透镜驱动信号以将透镜移动到聚焦位置；
相位差预测器，被配置为基于第一相位差预测第二相位差的值；
可靠性水平计算器，被配置为：基于由相位差预测器预测的值、由相位差计算器计算的第二相位差和当透镜从第一位置移动到第二位置时空间频率值的变化的方向中的至少一个，来计算与第一相位差相关联的第一可靠性水平和与第二相位差相关联的第二可靠性水平；
深度图生成器，被配置为：分别基于第一相位差和第二相位差生成第一深度数据和第二深度数据，并通过基于第一可靠性水平和第二可靠性水平将权重值应用于第一深度数据和第二深度数据，来生成深度图，其中，第一深度数据和第二深度数据中的每个与所述多个相位检测像素和对象之间的距离相关联。
11.如权利要求10所述的图像生成装置，其中，第一位置和第二位置之一对应于聚焦位置。
12.如权利要求10所述的图像生成装置，还包括：
空间频率计算器，被配置为通过处理由包括在图像传感器中的多个图像传感器像素生成的图像信号，来生成与捕获对象的图像相关联的空间频率的信息。
13.如权利要求10所述的图像生成装置，还包括：
深度图后处理器，被配置为：通过对对象图像和深度图执行图像配准来改变深度图的分辨率，其中，对象图像基于由包括在图像传感器中的多个图像传感器像素生成的图像信号而被生成。
14.如权利要求10所述的图像生成装置，还包括：包括应用处理器的操作处理装置，操作处理装置被配置为实现所述相位差计算器、所述透镜位置控制器和所述深度图生成器。
15.一种被配置为生成深度图的图像生成装置，所述图像生成装置包括：
相位差计算器，被配置为：分别基于第一相位信号和第二相位信号计算第一相位差和第二相位差，其中，第一相位信号在透镜处于第一位置时通过多个相位检测像素被生成，透镜被配置为沿距对象的距离增大或减小的方向移动，第二相位信号在透镜处于与第一位置不同的第二位置时通过所述多个相位检测像素被生成；
相位差预测器，被配置为基于第一相位差来预测第二相位差的值；
可靠性水平计算器，被配置为：基于由相位差预测器预测的值、由相位差计算器计算的第二相位差和当透镜从第一位置移动到第二位置时空间频率值的变化的方向中的至少一个，来计算与第一相位差相关联的第一可靠性水平和与第二相位差相关联的第二可靠性水平，
深度图生成器，被配置为：分别基于第一相位差和第二相位差生成第一深度数据和第二深度数据，并通过基于第一可靠性水平和第二可靠性水平将权重值应用于第一深度数据和第二深度数据，来生成深度图，其中，第一深度数据和第二深度数据中的每个与所述多个相位检测像素和对象之间的距离相关联。
16.如权利要求15所述的图像生成装置，还包括：
相位差计算器和深度图生成器被这样配置：当由相位差预测器预测的值与由相位差计算器计算的第二相位差不同时，
相位差计算器基于第三相位信号计算第三相位差，其中，第三相位信号在透镜处于与第一位置和第二位置不同的第三位置时通过所述多个相位检测像素被生成；
深度图生成器基于第三相位差来生成与所述多个相位检测像素和对象之间的距离相关联的第三深度数据，并且基于第一深度数据至第三深度数据生成深度图。
17.如权利要求15所述的图像生成装置，还包括：
空间频率计算器，被配置为：通过处理当透镜被放置在第一位置时由多个图像传感器像素生成的第一图像信号，来生成与捕获对象的第一图像相关联的第一空间频率信息，通过处理当透镜被放置在第二位置时由所述多个图像传感器像素生成的第二图像信号，来生成与捕获对象的第二图像相关联的第二空间频率信息，并基于第一空间频率信息和第二空间频率信息，来获得空间频率值的变化的方向。
18.一种图像生成装置，包括：
透镜；
图像传感器，包括被配置为生成与对象相应的图像信号的多个图像传感器像素和被配置为生成第一相位信号和第二相位信号的多个相位检测像素，其中，透镜的位置相对于图像传感器的位置是可移动的，第一相位信号基于透镜相对于图像传感器位于第一位置而被生成，第二相位信号基于透镜相对于图像传感器位于第二位置而被生成；
存储器，存储计算机可读指令；
一个或多个处理器，被配置为执行指令，使得：
基于第一相位信号确定第一相位差，
基于第二相位信号确定第二相位差，
基于第一相位差来预测第二相位差的值，
基于由相位差预测器预测的值、由相位差计算器计算的第二相位差和当透镜从第一位置移动到第二位置时空间频率值的变化的方向中的至少一个，来计算与第一相位差相关联的第一可靠性水平和与第二相位差相关联的第二可靠性水平；
分别基于第一相位差和第二相位差生成第一深度数据和第二深度数据，其中，第一深度数据和第二深度数据中的每个指示所述多个相位检测像素与对象之间的距离，
通过基于第一可靠性水平和第二可靠性水平将权重值应用于第一深度数据和第二深度数据，来生成深度图。
19.如权利要求18所述的图像生成装置，还包括：
透镜驱动器，被配置为选择性地改变透镜相对于图像传感器的位置。
20.如权利要求19所述的图像生成装置，其中，所述一个或多个处理器还被配置为：基于第一相位差预测第二相位差的值。
21.如权利要求20所述的图像生成装置，
其中，所述一个或多个处理器被配置为：
随着透镜在透镜驱动器的控制下从第一位置移动到第二位置，在第二相位差被计算之前，计算第一相位差，
在透镜在透镜驱动器的控制下移动到第二位置之前或在透镜在透镜驱动器的控制下移动到第二位置的同时，预测第二相位差的值。
CN201610074226.5A 2015-02-13 2016-02-02 用于使用相位检测像素生成深度图的图像生成装置 Active CN105898281B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150022298A KR102272254B1 (ko) 2015-02-13 2015-02-13 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
KR10-2015-0022298 2015-02-13

Publications (2)

Publication Number Publication Date
CN105898281A CN105898281A (zh) 2016-08-24
CN105898281B true CN105898281B (zh) 2019-10-15

Family

ID=56551790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610074226.5A Active CN105898281B (zh) 2015-02-13 2016-02-02 用于使用相位检测像素生成深度图的图像生成装置

Country Status (5)

Country Link
US (1) US10337861B2 (zh)
JP (1) JP6731738B2 (zh)
KR (1) KR102272254B1 (zh)
CN (1) CN105898281B (zh)
DE (1) DE102016100031A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148864B2 (en) * 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
CN108352393B (zh) 2015-07-23 2022-09-16 光程研创股份有限公司 高效宽光谱传感器
TWI698011B (zh) 2015-08-04 2020-07-01 光澄科技股份有限公司 製造影像感測陣列之方法
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
EP3341970B1 (en) 2015-08-27 2020-10-07 Artilux Inc. Wide spectrum optical sensor
CN108028898B (zh) 2015-09-16 2020-09-04 佳能株式会社 图像传感器和摄像设备
GB2596028B (en) 2015-09-16 2022-04-20 Canon Kk Image sensor and image capturing apparatus
JP6664177B2 (ja) * 2015-09-28 2020-03-13 キヤノン株式会社 焦点検出装置、予測方法、プログラム及び記憶媒体
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
JP6786253B2 (ja) * 2016-04-15 2020-11-18 キヤノン株式会社 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム
KR101859040B1 (ko) * 2016-09-22 2018-05-17 엘지전자 주식회사 차량용 카메라 장치 및 방법
JP6759347B2 (ja) * 2016-09-23 2020-09-23 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
CN106996938A (zh) * 2017-03-07 2017-08-01 天津大学 超宽带微波目标检测的fpga成像***
KR102392751B1 (ko) * 2017-03-07 2022-04-29 삼성전자 주식회사 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
US10419664B2 (en) * 2017-12-28 2019-09-17 Semiconductor Components Industries, Llc Image sensors with phase detection pixels and a variable aperture
US10410374B2 (en) * 2017-12-28 2019-09-10 Semiconductor Components Industries, Llc Image sensors with calibrated phase detection pixels
CN111868929B (zh) 2018-02-23 2021-08-03 奥特逻科公司 光检测装置及其光检测方法
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
US10595007B2 (en) * 2018-03-21 2020-03-17 Himax Imaging Limited Structured-light method and system of dynamically generating a depth map
TWI758599B (zh) 2018-04-08 2022-03-21 美商光程研創股份有限公司 光偵測裝置
KR102185320B1 (ko) * 2018-04-20 2020-12-01 알바이오텍 주식회사 사용자의 운동 자세 분석을 위한 이미지 생성 장치
CN108648222B (zh) * 2018-04-27 2021-08-17 华中科技大学 结构光深度数据空间分辨率的提升方法及装置
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US10410368B1 (en) * 2018-09-27 2019-09-10 Qualcomm Incorporated Hybrid depth processing
KR102561533B1 (ko) * 2018-09-28 2023-07-31 엘지이노텍 주식회사 카메라 장치
JP7036227B2 (ja) * 2018-11-19 2022-03-15 日本電気株式会社 画像処理方法および画像処理装置
US11367390B2 (en) * 2018-12-24 2022-06-21 Novatek Microelectronics Corp. Display apparatus and method for noise reduction
US11544873B2 (en) * 2019-03-05 2023-01-03 Artilux, Inc. High resolution 3D image processing apparatus and method thereof
KR102648089B1 (ko) * 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
CN112862880B (zh) * 2019-11-12 2024-06-25 Oppo广东移动通信有限公司 深度信息获取方法、装置、电子设备和存储介质
KR20210108082A (ko) 2020-02-25 2021-09-02 삼성전자주식회사 위상 차를 이용하는 라이브니스 검출 방법 및 장치
US11694480B2 (en) * 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750847A (zh) * 2008-12-15 2010-06-23 索尼株式会社 图像拾取装置和聚焦控制方法
CN101841656A (zh) * 2009-03-18 2010-09-22 佳能株式会社 摄像设备和信号处理器
CN102645818A (zh) * 2011-02-22 2012-08-22 索尼公司 成像装置、聚焦控制方法和程序
CN103581547A (zh) * 2012-07-31 2014-02-12 索尼公司 焦点调整装置和焦点调整方法
CN104184939A (zh) * 2013-05-20 2014-12-03 佳能株式会社 焦点检测设备及方法、焦点调节设备及方法、和摄像设备
CN104349056A (zh) * 2013-08-07 2015-02-11 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090080876A1 (en) 2007-09-25 2009-03-26 Mikhail Brusnitsyn Method For Distance Estimation Using AutoFocus Image Sensors And An Image Capture Device Employing The Same
JP5019117B2 (ja) * 2007-11-14 2012-09-05 スタンレー電気株式会社 距離画像生成装置
JP5178553B2 (ja) 2009-01-27 2013-04-10 オリンパス株式会社 撮像装置
JP5361598B2 (ja) 2009-07-30 2013-12-04 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置
JP5322995B2 (ja) * 2010-05-10 2013-10-23 キヤノン株式会社 撮像装置及びその制御方法
JP2012058665A (ja) * 2010-09-13 2012-03-22 Sony Corp 顕微鏡制御装置及び処理範囲決定方法
WO2012073728A1 (ja) * 2010-11-30 2012-06-07 富士フイルム株式会社 撮像装置及びその合焦位置検出方法
JP2012124553A (ja) 2010-12-06 2012-06-28 Canon Inc 撮影システムおよびレンズ装置
JP2012124555A (ja) * 2010-12-06 2012-06-28 Canon Inc 撮像装置
JP5803095B2 (ja) * 2010-12-10 2015-11-04 ソニー株式会社 撮像素子および撮像装置
JP5615756B2 (ja) 2011-03-31 2014-10-29 富士フイルム株式会社 撮像装置及び撮像プログラム
JP2012230258A (ja) 2011-04-26 2012-11-22 Canon Inc 撮像装置及びその制御方法
JP6029309B2 (ja) * 2011-06-22 2016-11-24 キヤノン株式会社 焦点検出装置
CN103181156B (zh) * 2011-07-12 2017-09-01 三星电子株式会社 模糊处理装置及方法
WO2013009099A2 (ko) * 2011-07-12 2013-01-17 삼성전자 주식회사 블러 처리 장치 및 방법
GB2492848A (en) * 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
JP5800187B2 (ja) 2011-08-16 2015-10-28 リコーイメージング株式会社 撮像装置および距離情報取得方法
US20140036861A1 (en) * 2012-08-03 2014-02-06 Institute For Information Industry High-power base station and low-power base station for use in hererogeneous network and transmission methods thereof
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
US20140362190A1 (en) * 2013-06-07 2014-12-11 Canon Kabushiki Kaisha Depth measurement apparatus, imaging apparatus, and method of controlling depth measurement apparatus
KR102082703B1 (ko) * 2013-06-13 2020-02-28 엘지전자 주식회사 깊이 영상 획득 장치 및 방법
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
KR20150022298A (ko) 2013-08-22 2015-03-04 주식회사 온세텔레콤 자동 콜 다이얼링을 이용한 결제 확인 시스템 및 방법
ITTO20130784A1 (it) * 2013-09-30 2015-03-31 Sisvel Technology Srl Method and device for edge shape enforcement for visual enhancement of depth image based rendering
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750847A (zh) * 2008-12-15 2010-06-23 索尼株式会社 图像拾取装置和聚焦控制方法
CN101841656A (zh) * 2009-03-18 2010-09-22 佳能株式会社 摄像设备和信号处理器
CN102645818A (zh) * 2011-02-22 2012-08-22 索尼公司 成像装置、聚焦控制方法和程序
CN103581547A (zh) * 2012-07-31 2014-02-12 索尼公司 焦点调整装置和焦点调整方法
CN104184939A (zh) * 2013-05-20 2014-12-03 佳能株式会社 焦点检测设备及方法、焦点调节设备及方法、和摄像设备
CN104349056A (zh) * 2013-08-07 2015-02-11 索尼公司 图像处理设备、图像处理方法和程序

Also Published As

Publication number Publication date
DE102016100031A1 (de) 2016-08-18
US20160239974A1 (en) 2016-08-18
JP6731738B2 (ja) 2020-07-29
JP2016149765A (ja) 2016-08-18
CN105898281A (zh) 2016-08-24
KR102272254B1 (ko) 2021-07-06
US10337861B2 (en) 2019-07-02
KR20160099948A (ko) 2016-08-23

Similar Documents

Publication Publication Date Title
CN105898281B (zh) 用于使用相位检测像素生成深度图的图像生成装置
US10326981B2 (en) Generating 3D images using multi-resolution camera set
CN111095923B (zh) 校准装置、校准***和校准方法
CN109792478B (zh) 基于焦点目标信息调整焦点的装置和方法
KR102479014B1 (ko) 픽셀 단위 이미징을 위한 방법 및 시스템
ES2810812T3 (es) Dispositivo y método de procesamiento de imágenes
US20170318280A1 (en) Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
US9729857B2 (en) High resolution depth map computation using multiresolution camera clusters for 3D image generation
US10558881B2 (en) Parallax minimization stitching method and apparatus using control points in overlapping region
US10726580B2 (en) Method and device for calibration
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
US9977981B2 (en) Method and apparatus for calibrating a three-dimensional (3D) image in a tiled display
JP6443700B2 (ja) アンテナ設定パラメータを取得する方法および装置、ならびにシステム
US9838614B1 (en) Multi-camera image data generation
EP3248374A1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN105654547B (zh) 三维重建方法
CN106796661A (zh) 投影光图案的***、方法和计算机程序产品
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
US20160232684A1 (en) Motion compensation method and apparatus for depth images
CN105989603A (zh) 机器视觉图像传感器校准
US20180198970A1 (en) High dynamic range imaging using camera arrays
US9532030B2 (en) Integrated three-dimensional vision sensor
KR20180008588A (ko) 스테레오 오토포커스
US11512946B2 (en) Method and system for automatic focusing for high-resolution structured light 3D imaging
WO2021005977A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant