CN108141528B - 相位检测自动聚焦降噪 - Google Patents

相位检测自动聚焦降噪 Download PDF

Info

Publication number
CN108141528B
CN108141528B CN201680055332.7A CN201680055332A CN108141528B CN 108141528 B CN108141528 B CN 108141528B CN 201680055332 A CN201680055332 A CN 201680055332A CN 108141528 B CN108141528 B CN 108141528B
Authority
CN
China
Prior art keywords
phase detection
phase difference
diodes
image
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680055332.7A
Other languages
English (en)
Other versions
CN108141528A (zh
Inventor
M·加洛罗·格卢斯金
R·M·维拉尔德
J·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/864,153 external-priority patent/US10044959B2/en
Priority claimed from US14/865,629 external-priority patent/US9804357B2/en
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202010805621.2A priority Critical patent/CN111885308A/zh
Publication of CN108141528A publication Critical patent/CN108141528A/zh
Application granted granted Critical
Publication of CN108141528B publication Critical patent/CN108141528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)

Abstract

某些方面例涉及用于使用成像像素(即，非相位检测像素)以对相位检测自动聚焦执行降噪的***和技术。有利的是，这可提供更准确的相位检测自动聚焦，且还优化执行相位检测的处理器使用。提供所述相位差检测像素以获得指示图像聚焦的移位方向(散焦方向)和移位量(散焦量)的相位差检测信号，且对成像像素值的分析可用以估计对焦关注区域的聚焦程度且相应地限制所识别的相位差。

Description

相位检测自动聚焦降噪
技术领域
本文揭示的***和方法针对相位检测自动聚焦，且更确切地说，针对分析成像像素以在相位检测自动聚焦过程中减小噪声。
背景技术
一些图像捕捉装置使用相位差检测传感器(其还可称作“像素”)来执行自动聚焦。传感器上相位差检测通过将相位差检测像素散置于成像像素之间(通常布置成左像素和右像素的重复稀疏模式)而起作用。***对不同相位差检测像素所产生的信号之间(例如由左像素数据产生的图像与由右像素数据产生的图像之间)的相位差进行检测。检测到的相位差可用于执行自动聚焦。
相位检测自动聚焦操作起来比基于反差的自动聚焦更快。许多当前实施方案在图像传感器上放置金属遮蔽件以形成左相位检测像素和右相位检测像素，从而使较少光到达所遮蔽像素。由于相位检测像素的输出具有比正常图像捕捉像素的输出低的亮度，因此相位差检测像素在所捕捉图像中产生需要校正的明显伪影。通过将相位检测像素个别地放置在成像像素当中，***可内插相位检测像素的值。
所遮蔽像素成对地使用。在场景失焦时，相位检测像素遮蔽件使入射光略微相移。可对相位检测像素之间的距离以及其相对移位进行卷积以确定光学组合件需要将透镜移动多远以使场景对焦。
发明内容
在信号处理中，噪声一般是指信号在捕捉、存储、传输、处理或转换期间可能遭受的不合需要且可能未知的修改或错误。更具体地说，在自动聚焦情形中，噪声可指对聚焦条件的不准确确定。在例如具有稀疏地定位的相位检测像素(例如具有五个或更多个成像像素定位于一对相位检测像素之间)的一些相位检测自动聚焦***中，具有高频率模式的目标场景可使自动聚焦***错误地识别散焦条件，而目标场景实际上是对焦的。在信号处理中，这种在低频率下对高频率信号取样时发生的现象也称为混叠或混叠噪声。
在一些实施例中，通过本文中所描述的使用从成像像素接收的值以减小自动聚焦过程的噪声的相位检测自动聚焦***和技术解决了上述问题以及其它问题。举例来说，可分析来自成像像素的值以提供关于目标场景中的高频率细节的信息且识别目标场景的图像数据中的最清晰边缘。基于最清晰边缘的清晰度度量，可将相位检测过程限于特定范围的可能的散焦条件。因此，可优化用于执行自动聚焦的处理时间和资源。此外，任何所识别散焦条件不会超出产生最清晰边缘的可能的最大散焦。
一种创新包含：成像设备，其包含多个二极管，所述多个二极管各自经配置以捕捉表示目标场景的图像信息或相位检测信息中的一个，从所述多个二极管的第一子组接收所述图像信息，从所述多个二极管的第二子组接收所述相位检测信息；以及处理器，其配置有指令以分析所述图像信息、识别比所述图像信息的另一区域更为对焦的所述图像信息的区域且确定所述区域的聚焦值，识别对应于所述聚焦值的定界相位差值、基于所述相位检测信息产生至少第一和第二图像且确定所述第一图像与第二图像之间的相位差，以及至少部分地基于确定的所述相位差且至少部分地基于所述定界相位差值所界定的范围来计算自动聚焦调整。
以下是此类成像设备的一些特征和实施例的非限制性实例。举例来说，所述处理器可经配置以通过识别由所述图像信息表示的最清晰边缘来确定所述聚焦值。所述处理器可经配置以至少部分地基于最清晰边缘的清晰度值来确定所述聚焦值。所述成像设备可进一步包含遮蔽元件，其定位于所述多个二极管的所述第二子组中的每一二极管上方以阻挡从所述目标场景传播的一部分光，因此所述多个二极管的所述第二子组中的每一二极管仅收集从所述目标场景传播的特定方向上的光。所述成像设备可进一步包含定位于所述多个二极管的所述第二子组的至少两个邻近二极管上方的微透镜，所述微透镜经形成以将从所述目标场景传播的光的第一部分传送到所述至少两个邻近二极管中的第一个且将从所述目标场景传播的光的第二部分传送到所述至少两个邻近二极管中的第二个，所述第一部分在第一方向上传播且所述第二部分在第二方向上传播。所述多个二极管可以是具有所述多个二极管的二维矩阵的半导体衬底。与所述多个二极管的所述第二子组的第一半相关联的光学元件可经配置以使得所述多个二极管的所述第二子组的所述第一半中的每一二极管仅收集从所述目标场景传播的第一方向上的光，从而产生所述相位检测信息的第一半。与所述多个二极管的所述第二子组的第二半相关联的光学元件可经配置以使得所述多个二极管的所述第二子组的所述第二半中的每一二极管仅收集从所述目标场景传播的第二方向上的光，从而产生所述相位检测信息的第二半。
另一创新包含配置有用于执行相位检测自动聚焦过程的指令的处理器，所述过程包含：从第一多个成像二极管存取表示目标场景的图像信息；分析所述图像信息以估计至少一个区域的聚焦值；识别对应于所述聚焦值的定界相位差值；基于从第二多个成像二极管存取的相位检测信息而产生至少第一和第二图像；确定所述第一图像与第二图像之间的相位差；以及至少部分地基于所确定的相位差且至少部分地基于由所述定界相位差值界定的范围来计算自动聚焦调整。
以下是此类处理器的一些特征和实施例的非限制性实例。举例来说，识别所述定界相位差值可包含：确定所确定的所述相位差值是否处于由所述定界相位差值界定的范围内；以及响应于确定所确定的所述相位差值超出所述范围，输出所述定界相位差值作为第一图像与第二图像之间的相位差。可响应于确定所述相位检测自动聚焦过程处于监测状态而进一步执行输出所述定界相位差值作为相位差。在所述相位检测自动聚焦过程已识别对焦条件且将与多个成像感测元件和至少一个相位检测感测元件相关联的透镜组合件移动到对应于所述对焦条件的聚焦位置之后，可发生所述监测状态。识别相位差可包含分析处于由所述定界相位差值界定的范围内的相位差信息。所述过程可进一步包含将所述图像信息划分为多个区域且分析所述多个区域以估计各自对应于所述多个区域中的一个的多个聚焦值。所述过程可进一步包含识别各自基于所述多个聚焦值中的一个的多个定界相位差值。所述过程可进一步包含组合所述多个定界相位差值以产生定界相位差值，所述定界相位差值用于计算自动聚焦调整。所述过程可进一步包含选择所述多个区域中的至少一些的所述多个定界相位差值中的一个以输出作为用于计算所述自动聚焦调整的定界相位差值。
另一创新包含相位检测自动聚焦过程，其包含：从多个成像二极管存取图像信息，所述图像信息表示目标场景；存取从多个相位检测二极管接收的相位检测信息；基于所述图像信息确定表示所述目标场景中的至少一个深度不连续性的信息；识别位于所述至少一个深度不连续性的相对侧上的所述多个相位检测二极管中的一对；以及基于从所述多个相位检测二极管的排除所述对的子组接收的相位检测信息来计算自动聚焦调整。
以下是此类过程的一些特征和实施例的非限制性实例。举例来说，确定表示目标场景中的至少一个深度不连续性的信息可包含：根据所述图像信息将第一中心像素值内插于所述对中的第一相位检测二极管的位置处，且将第二中心像素值内插于所述对中的第二相位检测二极管的位置处；计算所述第一中心像素值与从所述第一相位检测二极管接收的值之间的第一差异值；计算所述第二中心像素值与从所述第二相检测二极管接收的值之间的第二差异值；以及将所述第一差异与所述第二差异之间的差与阈值进行比较。所述过程可进一步包含响应于确定所述差大于所述阈值而从所述多个相位检测二极管的所述子组排除所述对。内插第一中心像素值可进一步包含存取从所述第一相位检测二极管的位置周围的所述多个成像二极管的5×5邻域接收的图像信息。所述过程可进一步包含计算所述第一差异与所述第二差异之间的差。确定表示所述目标场景中的至少一个深度不连续性的信息可包含对所述图像信息执行边缘检测。计算自动聚焦调整可包含：使用从所述多个相位检测二极管的子组接收的相位检测信息以产生一对半图像；确定所述半图像之间的相位差；以及基于所述相位差来计算所述自动聚焦调整。
另一创新包含成像设备，其包含：用于捕捉表示目标场景的图像信息的装置；用于捕捉相位检测信息的多个装置；用于识别比所述图像信息的另一区域更为对焦的所述图像信息的区域且确定所述区域的聚焦值的装置；用于识别对应于所述聚焦值的定界相位差值的装置；用于基于所述相位检测信息产生至少第一和第二图像的装置；用于确定所述第一图像与第二图像之间的相位差的装置；以及用于至少部分地基于确定的所述相位差且至少部分地基于所述定界相位差值所界定的范围来计算自动聚焦调整的装置。
以下是此类成像设备的一些特征和实施例的非限制性实例。举例来说，所述成像设备可进一步包含用于将图像信息划分为多个区域的装置，其中所述用于识别定界相位差值的装置可经配置以识别各自对应于所述多个区域中的一个的多个定界相位差值。所述成像设备可进一步包含用于组合所述多个区域中的至少一些的多个定界相位差值以产生用于计算所述自动聚焦调整的定界相位差值的装置。所述成像设备可进一步包含用于选择所述多个区域中的至少一些的所述多个定界相位差值中的一个以输出作为用于计算所述自动聚焦调整的定界相位差值的装置。所述用于基于所述相位检测信息产生至少第一和第二图像的装置可包含图像传感器，所述图像传感器包含逻辑。所述用于基于所述相位检测信息产生至少第一和第二图像的装置可包含图像信号处理器。
附图说明
将在下文结合附图和附录来描述所揭示的方面，提供附图和附录是为了说明而非限制所揭示的方面，其中相同符号表示相同元件。
图1A描绘用于获得相位检测自动聚焦信息的实例多二极管微透镜的示意图。
图1B和1C描绘用于获得相位检测自动聚焦信息的实例经遮蔽二极管的示意图。
图2A描绘进入一对相位检测二极管的光的实例光线轨迹。
图2B描绘进入一对相位检测二极管的光的实例光线轨迹。
图2C描绘进入一对相位检测二极管的光的实例光线轨迹。
图2D描绘进入一对经遮蔽相位检测二极管的光的实例光线轨迹。
图3A和3B描绘用于计算中心像素值的实例方法的图形表示。
图3C描绘用于计算虚拟像素值的实例方法的图形表示。
图3D说明各种相位检测图像的偏移的图形表示。
图4A说明用于执行如本文所描述的降噪的相位检测自动聚焦过程的过程的一个实施例的流程图。
图4B说明用于执行如本文所描述的降噪的相位检测自动聚焦过程的过程的另一实施例的流程图。
图5描绘使用具有多二极管微透镜的传感器的实例相位检测自动聚焦过程的高层级概述。
图6描绘说明配备有相位检测自动聚焦装置和技术的成像***的实例的示意性框图。
具体实施方式
概述
本发明的实施例涉及用于使用成像像素(即，非相位检测像素)以对相位检测自动聚焦执行降噪的***和技术。有利的是，这可提供更准确的相位检测自动聚焦，且还优化执行相位检测的处理器使用。提供所述相位差检测像素以获得指示图像聚焦的移位方向(散焦方向)和移位量(散焦量)的相位差检测信号，且对成像像素值的分析可用以估计对焦关注区域的聚焦程度且相应地限制所识别的相位差。
从成像像素接收的图像数据可用以例如基于根据对图像数据的分析而计算最大可允许相位差值来排除不正确的相位差计算。举例来说，基于反差分析，如果特定相位检测像素周围的相邻像素的区域展示较强或清晰边缘，这可指示图像接近焦点。因此，所述降噪方法可界定可通过相位检测像素识别的可能的最大相位差值。此最大值可用于略去错误的相位检测计算，例如超出所计算的最大值的相位差。所述最大值也可用于优化相位检测算法，使得其将无需执行全面相位检测搜索。在一个实例中，可基于可能的最大相位差来限制相位检测搜索的范围。在另一实例中，自动聚焦***可直接报告图像已对焦(例如通过报告PD相位等于0)。
由于相位检测对中的二极管可能位于清晰边缘的相对侧上，因此稀疏的相位检测二极管模式可能遭受因混叠所致的问题。在目标场景包含高频率模式的情形中，相位检测自动聚焦可尤其易受因混叠所致的错误影响。此外，混叠可能在自动聚焦过程的监测状态中导致更多问题；在监测状态，成像***已汇聚到对焦位置，且目标场景被监测以便发现可能需要将成像***重新定位到新的对焦(汇聚)位置的改变。这是因为以下实情：高频率仅在目标场景已对焦或接近对焦点时出现。因此，分析从成像像素接收的数据以识别具有阈值清晰度水平的高频率模式和/或边缘可用于消除或补偿原本可能因混叠而引入相位检测过程中的错误。
本发明相位检测自动聚焦技术可使用单个相位检测像素(在下文图1中说明为右相位检测像素)的邻域中的成像像素以对相位检测过程执行降噪。其它实例可能使用左像素。来自例如3×3、5×5、7×7等等各种大小的区域中的相邻像素的像素值可提供关于特定相位检测像素在自动聚焦目的上的有用性的有价值的信息。
一些实例可将中心像素值内插于成对的每一相位检测像素的位置处以用于执行降噪计算。可根据四个邻近绿像素或根据例如5×5、7×7等等各种大小的区域中的相邻像素来内插中心像素值。在一些实施例中，中心插值过程可以是补偿最终图像中的相位检测像素位置处的值的过程的部分，例如类似于缺陷像素校正。各种实施方案可包含用于中心插值的传感器上逻辑，或依赖外部ISP以执行中心插值过程。自动聚焦***可计算内插的中心像素值与所述对中的每一相位检测像素的相位检测像素值之间的差异值。如果这些差异值之间的差大于阈值，这可指示所述对中的相位检测像素很可能位于边缘的相对侧上，且可从自动聚焦计算排除此对相位检测像素。
在另一实施例中，自动聚焦***可使用从成像像素(例如所有成像像素或一对相位检测像素周围预定邻域中的成像像素的子组)接收的数据以执行边缘检测。自动聚焦***可接着比较边缘的位置与相位检测像素的已知位置以确定所述对中的相位检测像素是否很可能位于边缘的相对侧上，且可从自动聚焦计算排除此对相位检测像素。用于确定成对的相位检测像素是否处于深度不连续性的相对侧的其它合适的技术，例如对图像像素数据中的强度变化进行分析，也可用于从自动聚焦调整计算中排除从此类相位检测像素对接收的数据。排除来自位于边缘的相对侧上的一对相位检测像素的数据可包含：在产生可用于相位差检测的一对半图像时使用从并未包含所识别对的相位检测像素子组接收的数据。
虽然本文中主要是在经遮蔽相位检测像素的上下文中进行论述，但本文中所描述的降噪技术还适用于无遮蔽相位检测像素，从而例如接收因微透镜的形成所致的相位信息。
出于说明的目的，下文将结合附图描述各种实施例。应了解，所揭示概念的许多其它实施方案是可能的，且可利用所揭示实施方案实现各种优势。本文包含一些标题以供参考且辅助定位各个章节。这些标题并不意图限制相对于本文所描述的概念的范围。此类概念在整个说明书中都可具有适用性。
实例相位检测微透镜和滤色片布置的概述
图1A描绘包含多二极管微透镜110以产生相位数据的实例传感器部分100的示意图。传感器部分100包含单二极管微透镜105、多二极管微透镜110、包含多个滤色片115的滤光片阵列108和布置成传感器阵列107的光电二极管(“二极管”)120A到120D。多二极管微透镜110经设定大小和定位以使得来自目标场景的入射光在入射于传感器阵列107所包含的二极管120B、120C之前传播穿过多二极管微透镜110，所述传感器阵列由多二极管微透镜110覆盖以使得光通过。
举例来说，二极管可以是形成于例如互补金属氧化物半导体(CMOS)图像传感器中的半导体衬底中的光电二极管。如本文所使用，二极管是指任何材料的单个单元、半导体、传感器元件或将入射光转换为电流的其它装置。如本文所使用的术语“像素”在其归因于邻近光学元件(例如滤色片或微透镜)而实现的感测功能的背景中可指代单个二极管。因此，尽管“像素”一般可指显示图片元件，但如本文所使用的“像素”可指接收光且产生信号的传感器(例如光电二极管)，所述信号如果再现于显示器上则可显示为所述传感器(和多个其它传感器)所捕捉的图像中的点。举例来说，在CMOS或电荷耦合(CCD)装置中的传感器阵列的个别单元或感测元件也可称作传感件(sensel)。
滤色片115充当波长选择性通过滤光片且将可见范围中的入射光分离(或过滤)为红、绿和蓝范围。举例来说，入射光来自目标场景。通过仅允许某些选定波长穿过滤色片115来“分离”所述光，光的过滤基于滤色片115的配置。可使用各种类型的滤色片115。如图1A中所说明，分离的光由专用红、绿或蓝二极管120A到120D接收。尽管常用红、蓝和绿滤色片，但在其它实施例中，滤色片可根据所捕捉图像数据的色彩通道需求而变化，例如包含紫外、红外或近红外通过滤光片。
每一单二极管微透镜105定位于单个滤色片115和单个二极管120A、120D上方。二极管120A、120D因此提供成像像素信息。在一些实施例中，可根据拜耳模式(Bayerpattern)对微透镜阵列106中的单二极管微透镜下的滤色片进行定位。多二极管微透镜110定位于两个邻近滤色片115B、115C和两个对应的邻近二极管120B、120C上方。因此，通过二极管120B接收在第一方向上进入多二极管微透镜110的光且二极管120C接收在第二方向上进入多二极管微透镜110的光，二极管120B、120C提供相位检测像素信息。在一些实施例中，可选择微透镜阵列106中的多二极管微透镜下的滤色片以使相同波长的光通过。
如本文所使用，“上方”和“上”是指结构(例如滤色片或透镜)的定位，使得从目标场景入射的光在其到达(或入射于)另一结构之前传播穿过所述结构。为了说明，微透镜阵列106定位于滤色片阵列上方，所述滤色片阵列定位于二极管120A到120D上方。因此，来自目标场景的光首先穿过微透镜阵列，接着穿过滤色片阵列，且最后入射于二极管115A到115D上。
图1A描绘(虚)线130，应理解，其并非物理结构，而是经描绘以说明多二极管微透镜110所提供的相位检测能力。线130穿过多二极管微透镜110的光学中心且与滤色片115A到115D的滤色片阵列所形成的平面正交。在多二极管微透镜110是2×1微透镜的情况下，多二极管微透镜110经形成以使得在第一二极管120B中收集在第一方向上入射的光L(x)，即，从线130的一侧进入多二极管微透镜110的光。在第二二极管120C中收集在第二方向上入射的光，即，从线130的另一侧进入多二极管微透镜110的光。因此，从二极管120B、120C接收的数据可用于相位检测。在多二极管微透镜是2×2微透镜的情况下，多二极管微透镜110经形成以使得在四个方向(其中一个方向视为光穿过多二极管微透镜110的四分之一)上入射的光L(x)入射于四个二极管上。
图1B和1C描绘用于获得相位检测自动聚焦信息的实例经遮蔽二极管的示意图。图1B说明具有定位于滤色片115下方的遮蔽件125A、125B的实例布置100B，而图1C说明具有定位于滤色片115上方的遮蔽件125A、125B的实例布置100C。来自目标场景的光穿过主要聚焦透镜组合件(未说明)，之后穿过遮蔽件125A、125B、微透镜115和滤色片，且接着入射于一对相位检测二极管120E、120F上。取决于图像传感器的设计考虑因素，相位检测二极管120E、120F可彼此邻近或可由一或多个二极管间隔开，且可在相同的行或列或在不同的行或列。
遮蔽件125A、125B仅允许选择性地将特定方向上(如所描绘，从穿过单二极管微透镜105的光学中心的虚线130的一侧)入射的光收集在二极管120E、120F中。举例来说，为了产生相位差，挡光遮蔽件125A、125B以相反方向安置在两个二极管120E、120F上方以形成一对，且可在图像传感器的二维矩阵中布置数万对以获得用于相位差自动聚焦的数据。通过由遮蔽件125A、125B相对于单二极管微透镜105的光轴创建的半孔口，入射于二极管120E、120F上的光量相对于成像二极管减少了50％。
图2A到2C描绘穿过主透镜250、接着通过多二极管微透镜110、之后入射于一对相位检测二极管120B、120C上的光的实例光线轨迹。应了解，并未按比例展示主透镜250和多二极管微透镜110的尺寸。多二极管微透镜110的直径可大致等于横跨图像传感器的两个邻近二极管的距离，而主透镜250的直径可等于或大于所述图像传感器的宽度(沿着二极管的行或列的距离)。
具体地说，图2A描绘对焦条件的实例光线轨迹，图2B描绘前聚焦条件的实例光线轨迹，且图2C描绘后聚焦条件的实例光线轨迹。光从目标场景中的点260行进，行进通过用于将目标场景聚焦到包含相位检测二极管120B、120C的图像传感器上的透镜250，且穿过多二极管微透镜110，之后入射于相位检测二极管120B、120C。如所说明，二极管120B接收来自主透镜250的左方向L(x)的光，且二极管120C接收来自主透镜250的右方向R(x)的光。在一些实施例中，来自左方向L(x)的光可以是来自主透镜250的左半部(在图2A到1C的说明中描绘为下半部)的光，且来自右方向R(x)的光可以是来自主透镜250的右半部(在图2A到1C的说明中描绘为上半部)的光。因此，跨越图像传感器与成像二极管交错的多个相位检测二极管可用于提取从成像二极管所捕捉的中心图像偏移的左图像和右图像。替代右和左，其它实施例可使用上图像和下图像、对角图像或左/右、上/下和对角图像的组合以计算自动聚焦调整。
当图像对焦时，左光线L(x)和右光线R(x)汇聚在相位检测二极管115B、115C的平面处。如图1C和2C中所说明，在前散焦位置和后散焦位置，光线分别汇聚在二极管的平面的前部和后部。如上文所描述，来自相位检测二极管的信号可用于产生在前散焦位置或后散焦位置从中心图像偏移的左图像和右图像，且偏移量可用于确定针对主透镜250的自动聚焦调整。取决于焦点处于对象前方(较接近图像传感器)还是对象后方(离图像传感器较远)，可向前(朝向图像传感器)或向后(远离图像传感器)移动主透镜250。由于自动聚焦过程可算出主透镜250的方向和移动量，因此相位差自动聚焦可以极快速聚焦。
图2D描绘穿过主透镜(未说明)、接着通过由相位检测遮蔽件125A、12B形成的孔口、之后入射于所述对相位检测二极管120F、120E上的光的实例光线轨迹。图2D描绘后聚焦条件，因为来自主透镜的左L(x)侧和右R(x)侧的光线汇聚在图像传感器的平面后方。如所说明，归因于由相位检测遮蔽件125A、12B创建的半孔口，来自主透镜右R(x)侧的光入射于二极管120F上，而来自主透镜左L(x)侧的光入射于二极管120E上。
实例多图像相位检测自动聚焦的概述
图3A描绘用于计算经遮蔽相位检测二极管的中心像素值的实例方法的图形表示。如本文所使用，“中心像素值”是指使用从一或多个附近的成像二极管接收的信号而内插在相位检测二极管的位置处的色彩和/或亮度值。尽管图3A的实例描绘经遮蔽相位检测二极管，但其它实施方案可使用上文所描述的多二极管微透镜来产生相位数据。
如图3A的图解说明中所展示，在一个实施例中，可基于四个对角线上邻近的绿像素值来将中心像素值内插在相位检测二极管的位置305处。在具有绿滤色片处于相位检测二极管上方位置305处的一些实施方案中可使用此方法。在其它实例中，可根据例如5×5、7×7等等各种大小的区域中的任何色彩的相邻像素计算中心值。
在一些实施例中，相位检测二极管可具有透明滤色片或没有滤色片安置在二极管上方。尽管仍可在二极管上方安置另一滤光片，例如红外截止滤光片，但上方有透明滤色片或无滤色片的相位检测二极管会接收尚未被滤色的可见光。因此，入射在二极管上的光的亮度可相对于具有波长选择性通过滤光片的二极管而增大，这有益于在因半孔口减少入射在二极管上的光所致的低光场景中提供相位数据。在此类实施例中，可基于所有色彩的相邻像素值(例如从相位检测二极管位置周围的3×3邻域中的全部八个二极管接收的值)来内插中心像素值。在一个实例中，线性加权函数可用于根据3×3邻域中的八个二极管来确定中心像素值。
中心图像可由来自图像传感器上的多个位置的中心像素值构成。半图像可由从图像传感器上的多个位置处的相位检测二极管接收的值构成。
图3B描绘用于计算多二极管微透镜110下方的一对相位检测二极管的中心像素值的实例方法的图形表示。在所说明实例中，多二极管微透镜110下方的两个二极管都在绿滤色片下。因此，多二极管微透镜110周围的3×4邻域中的五个绿像素值用于计算中心像素值。在其它实施例中，可使用来自不同邻域的绿像素值，例如来自沿着多二极管微透镜的行的5×1邻域的两个绿值、来自5×6邻域的绿值等。
在另一实施例中，多二极管微透镜110下方的两个二极管均可在透明滤色片下。在此类实施例中，可基于所有色彩的相邻像素值(例如从多二极管微透镜110的位置周围的3×4邻域中的全部十个二极管接收的值)来确定中心像素值。在一个实例中，线性加权函数可用于根据3×4邻域中的十个二极管来确定中心像素值。
相同的中心像素值可用于多二极管微透镜110下方的两个二极管，即，可将部分地基于从多二极管微透镜110下方的两个二极管接收的值而产生的半图像与部分地基于中心像素值而产生的中心图像进行比较。
图3C描绘用于计算虚拟像素值的实例方法的图形表示。在所说明的实例中，从内插的中心像素值中减去从右相位检测传感件(二极管，例如上文所描述的接收来自聚焦透镜组合件的右R(x)侧的光的二极管120C、120E)接收的值以产生虚拟相位检测像素值，描绘为虚拟左相位检测像素值Lv。右相位检测像素值R和虚拟左相位检测像素值Lv形成一对相对的相位检测像素，其在一些实施例中可连同数个其它的右相位检测像素值和虚拟左相位检测像素值一起用以产生半图像。可将所述半图像彼此相比以确定可用于确定自动聚焦调整的相位差。
应了解，类似技术可用于在成对的相对相位检测像素的位置处产生虚拟右、上、下和对角相位检测像素值。
图3D说明描绘在用于捕捉图像的成像***处于散焦条件下时各种相位检测像素值L、Lv、R和Rv相对于中心像素值C的偏移的偏移连续区300的图形表示。所述偏移指示与焦点相比的散焦量和散焦方向。如将理解，在对焦条件下，几乎没有或没有偏移，且像素值C、L、Lv、R和Rv将位于偏移连续区300上的同一点处。
通过偏移连续区300上方的模糊圈图301到305说明散焦条件和其对C、L、Lv、R和Rv像素值的影响。模糊圈，也称为模糊斑点，是在对点源成像时由未到达图像传感器的平面处的焦点的光线锥所形成的光学斑点，例如在图2B和2C中所说明的聚焦条件下发生。说明对应于中心像素值的全模糊光斑301，其表示通过未遮蔽孔口入射于传感件上的光。与模糊光斑301的形状比较说明的新月形模糊光斑302入射在遮蔽件下方的传感件上，所述遮蔽件阻挡传感件上方孔口的右半部(或近似一半)，由此产生左相位检测像素值L。类似地，与模糊光斑301的形状比较说明的新月形模糊光斑303入射在遮蔽件下方的传感件上，所述遮蔽件阻挡传感件上方孔口的左半部(或近似一半)，由此产生右相位检测像素值R。经计算为从像素值C的全模糊光斑301减去右相位检测像素的新月形模糊光斑303的虚拟左Lv像素的模糊光斑304大致是马眼形或透镜形。类似地，经计算为从像素值C的全模糊光斑301减去左相位检测像素的新月形模糊光斑302的虚拟右Rv像素的模糊光斑305大致是马眼形或透镜形。
如上文所描述，中心像素值C可连同数个其它所计算中心像素值一起用以产生中心图像。相位检测像素值L、Lv、R和Rv可分别连同数个数个其它左、虚拟左、右和虚拟右相位检测像素值一起用以产生可用于检测相位差的半图像。
中心图像C被说明为无偏移(位于沿着偏移连续区300的零点处)。基于新月形模糊斑点302、303中的对应一者的质量中心，分别将左L像素值和右R像素值说明为具有移离中心像素值的负偏移和正偏移。典型的相位检测自动聚焦过程使用左L像素值和右R像素值之间的差异来计算自动聚焦调整。然而，在本文所描述的相位检测自动聚焦过程中，可基于从数个左像素值L和中心像素值C所产生的图像之间的差异、右像素值R和中心像素值C所产生的图像之间的差异或基于这两个差异来计算自动聚焦调整。
当相比于使用基于从不同传感件位置(例如，从其间定位有数个成像传感件的一对左相位检测传感件和右相位检测传感件)接收的值所产生的左图像和右图像来执行自动聚焦时，在中心图像与基于对应于相同的传感件位置的值所产生的左或右图像之间执行相位检测可因减小了混叠效应而产生噪声较低的相位检测自动聚焦过程。此外，在一些实施例中，通过使用中心图像与左图像之间以及中心图像与右图像之间的差异，可加倍相位检测过程的分辨率。在其它实施例中，可减少传感器上的相位检测传感件的数目，由此在所捕捉图像数据中产生较少伪影。
此外，将虚拟左Lv和虚拟右Rv像素值说明为分别具有移离中心图像C的负偏移和正偏移。中心模糊斑点301的质量中心与对应于实际左和右相位检测像素的新月形模糊斑点302、303的质量中心之间的距离大于中心模糊斑点301的质量中心与对应于虚拟左Lv和虚拟右Rv像素的透镜形模糊斑点204、305的质量中心之间的距离。因此，虚拟左Lv和虚拟右Rv像素值从中心像素值C的偏移可小于对应的左L和右R像素值从中心像素值C的偏移。举例来说，用于产生左L和右R像素值的经遮蔽传感件可具有并不形成完全以经遮蔽传感件上方的微透镜的光轴为中心的孔口的遮蔽件，所述遮蔽件例如通过设定大小或定位以使得有效减小的孔口并非完全与微透镜光轴对准。作为另一实例，由左L像素值产生的模糊的质量中心可比由对应的虚拟右Rv像素值产生的模糊的质量中心更多或更少地从中心像素值C的质量中心偏移。
在一些实施方案中，可使用任何或所有使用以下图像组合来执行相位检测相关性：
(1)虚拟左图像与右图像或虚拟右图像，
(2)虚拟右图像与左图像或虚拟左图像，以及
(3)中心图像与其它四个图像中的任一个。
一些实施方案可基于右虚拟相位检测像素值和右实际相位检测像素值来形成组合的右图像，且还基于左虚拟相位检测像素值和左实际相位检测像素值来形成组合的左图像；此类实施方案可接着对组合的图像执行左-右图像相关性，由此，相比于在无虚拟相位检测信息情况下执行的典型左-右相关性，加倍了相位检测信息量。在稳健的相位检测算法的一个实例中，可搜索相关性以找出图3D中所说明的五个图像的所有可能的组合。
在一个实施例中，可在传感器上执行用于相位检测的中心图像和半图像的产生。在其它实施方案中，可由图像信号处理器基于从相位检测二极管和附近的成像二极管接收的值来产生所述中心图像和半图像。
实例相位检测降噪技术的概述
由于相位检测对中的二极管可能位于边缘的相对侧上，因此稀疏的相位检测二极管模式可能遭受因混叠所致的问题。在目标场景包含高频率模式的情形中，相位检测自动聚焦可尤其易受因混叠所致的错误影响。此外，混叠可能在自动聚焦过程的监测状态中导致更多问题；在监测状态，成像***已汇聚到对焦位置，且目标场景被监测以便发现可能需要将成像***重新定位到新的对焦(汇聚)位置的改变。这是因为以下实情：高频率仅在目标场景已对焦或接近对焦点时出现。因此，分析从成像像素接收的数据以识别具有阈值清晰度水平的高频率模式和/或边缘可用于消除或补偿原本可能因混叠而引入相位检测过程中的错误。
图4A说明用于执行如本文所描述的降噪的相位检测自动聚焦过程400A的过程的一个实施例的流程图。相位检测自动聚焦过程400A这一过程可用于通过基于对成像像素数据的分析而限制可能的差异值来优化相位检测搜索范围。相位检测自动聚焦过程400A的一些实施例可在传感器上执行，且其它实施例可在使用图像信号处理器的情况下执行。
在框405处，过程400A可分析普通图像像素。举例来说，这可包含接收表示图像传感器的并非专用于相位检测的二极管中所收集的光的值的数据。在框410处，过程400A可估计最大模糊。如本文所使用，“最大模糊”是指图像数据中可用于限制自动聚焦的相位检测的模糊程度。所述最大模糊可以是图像的最为对焦部分(例如聚焦关注区域内最对焦的区域)的模糊程度。
在一些实施例中，可使用反差聚焦统计块来估计最大模糊。举例来说，在基于反差的自动聚焦技术中，可在HW块中实施所述分析的部分以输出某一关注区域(ROI)的聚焦值。此类技术可获得例如作为映射到部分或整个图像的网格的不同位置的多个聚焦值，或可获得经配置以用于多个窗口的单独聚焦值。
在一个实施方案中，最大模糊可以是表示来自成像像素的数据中所识别的最清晰边缘的模糊量的值。因此，分析来自成像像素的图像数据和估计最大模糊的框405、410可涉及对图像数据执行边缘检测、识别最清晰边缘且确定最清晰边缘的模糊程度。
在一个实施方案中，框405和410可涉及以下步骤。可对来自成像像素的图像数据执行水平傅里叶变换或快速傅里叶变换。接下来，过程400A可在所得数据中搜索具有高于预定阈值的能量的最高频率。过程400A可应用两个线性滤波器，例如有限脉冲响应滤波器或无限脉冲响应滤波器。两个滤波器中的每一个可经配置以具有不同带通。所述两个滤波器中的第一滤波器可配置有高频带通(例如0.5到0.2周期/像素)，且所述两个滤波器中的第二滤波器可配置有低频带通(例如0.2到0.1周期/像素)。
在一个实施方案中，如果产生于高频带通的数据中的能量高于预定阈值，那么过程400A可估计最大模糊是5个像素，否则如果产生于低频带通的数据中的能量高于预定阈值，则过程400A可估计最大模糊是10个像素，且另外过程400A无法通过最大模糊限制相位检测。
在框415处，过程400A可估计对应于所估计的最大模糊的相位差值PD_MAX。此值表示定界相位差值，且可预期有效的相位差值处于所述定界相位差值的正值与负值之间的范围内。因此，可限制相位差以不超出图像的对焦关注区域的所估计散焦程度，所述散焦程度通过对从成像二极管接收的数据的分析而确定。
在框420处，过程400A可跨越由对应于对焦关注区域的模糊的相位差值界定的范围(描绘为[-PD_MAX,+PD_MAX])执行相位差检测。如下文相对于图5所论述，相位差检测可包含以下步骤。可从接收自左和右相位检测二极管提取左通道和右通道(在本文中也称为左半图像和右半图像或左图像和右图像)，且可对所述左通道和右通道进行均一性校正，例如使用类似于透镜遮蔽校正的增益图。过程400A可接着寻找左通道与右通道之间的水平相关性。这可涉及在正和负像素移位范围(例如-3像素到+3像素)内进行搜索，且此搜索范围可根据如上文所论述的最大模糊按比例调整。对于每一像素移位，过程400A可测量绝对差总和(SAD)以获得SAD向量，且可内插所述SAD向量以找到通道之间的最优相关点。接着，例如使用线性映射、多项式函数、多段线性、查找表或任何其它合适的功能来将由相关性确定的相位检测偏移转换为散焦镜头位置改变n。所确定的相位差可例如通过用于确定聚焦透镜的移动方向和量而用于计算自动聚焦调整以将聚焦透镜定位在对焦位置处。
图4B说明用于执行如本文所描述的降噪的相位检测自动聚焦过程的过程400B的另一实施例的流程图。相位检测自动聚焦过程400B这一过程可用于通过忽略超出最大值的差异值来补偿可能在自动聚焦的聚焦监测相位发生的混叠错误，所述最大值基于对成像像素数据的分析而确定。相位检测自动聚焦过程400B的一些实施例可在传感器上执行，且其它实施例可在使用图像信号处理器的情况下执行。
在框420处，过程400B跨越从相位检测二极管接收的可用差的全范围执行相位差检测。同时或依序地，执行上文相对于图4A所描述的框405、410和415以识别对应于从成像像素接收的数据的对焦关注区域中的模糊程度的相位差范围。
在框425处，使用由框405、410和415获得的相位差范围以对框420处所执行的相位差检测执行范围检查。所述范围检查识别所识别的相位差(在框420中描绘为PD)是否处于[-PD_MAX,+PD_MAX]的范围。
如果所识别的相位差处于所确定的相位差范围内，则过程400B移动到框430以使用所识别的相位差来计算自动聚焦调整。在成像***的透镜和/或传感器移动到对应于所确定的自动聚焦调整的对焦位置之后，过程400B指示变换到自动聚焦的监测状态。在一些实施例中，这可涉及图4A的过程400A的周期性重复。在其它实施例中，这可涉及重新初始化过程400B的框420和405。
如果所识别的相位差不在所确定的相位差范围内，则过程400B移动到指示怀疑有混叠误差的框435。如上文所描述，混叠可导致所识别相位差值超出图像的对焦部分的实际模糊程度。
在框440处，过程400B识别自动聚焦过程是否处于监测状态。举例来说，过程400B可确定成像***是否已移动到(或确定已在)对焦位置。如果自动聚焦过程不在监测状态，则400B移动到框445以忽略所识别的相位差。此时，可重新初始化框420和405。
如果自动聚焦过程处于监测状态，则400B移动到框450以将所识别的相位差附到PD_MAX，这是经确定对应于对焦关注区域中的模糊程度的相位差。过程400B可接着重新初始化框420和405，或在一些实施例中，可切换到图4A的聚焦监测过程400A。
一些成像设备可实施过程400A和/或400B以分别确定用于图像信息的多个区域的定界相位差值。举例来说，图像信息可划分为跨越视场的网格(例如5×5网格)。在另一实例中，成像设备可分别确定图像数据的每一行上的定界相位差值，且接着组合所述定界相位差值或选择所述定界相位差值中的一个以用于确定自动聚焦计算的有效相位差范围。成像设备还可分别地针对每一区域除去噪声(具有范围外的差异值的相位检测传感件对)和/或废除超出具体行/区域界限的移相检测传感件值。
在降噪相位检测技术的另一实施例中，成像设备可将中心像素值内插在成对的每一相位检测像素的位置处以用于执行降噪计算。可根据四个邻近绿像素或根据例如5×5、7×7等等各种大小的区域中的相邻像素来内插中心像素值。在一些实施例中，中心插值过程可以是补偿最终图像中的相位检测像素位置处的值的过程的部分，例如类似于缺陷像素校正。各种实施方案可包含用于中心插值的传感器上逻辑，或依赖外部ISP以执行中心插值过程。成像设备可计算内插的中心像素值与所述对中的每一相位检测像素的相位检测像素值之间的差异值。如果这些差异值之间的差大于阈值，这可指示所述对中的相位检测像素很可能位于边缘的相对侧上，且可从自动聚焦计算排除此对相位检测像素。
在另一实施例中，成像设备可使用从成像像素(例如所有成像像素或一对相位检测像素周围预定邻域中的成像像素的子组)接收的数据以执行边缘检测。成像设备可接着比较边缘的位置与相位检测像素的已知位置以确定所述对中的相位检测像素是否很可能位于边缘的相对侧上，且可从自动聚焦计算排除此对相位检测像素。用于确定成对的相位检测像素是否处于深度不连续性的相对侧的其它合适的技术，例如对图像像素数据中的强度变化进行分析，也可用于从自动聚焦调整计算中排除从此类相位检测像素对接收的数据。排除来自位于边缘的相对侧上的一对相位检测像素的数据可包含：在产生可用于相位差检测的一对半图像时使用从并未包含所识别对的相位检测像素子组接收的数据。
实例相位检测自动聚焦过程的概述
图5描绘可实施本文中所描述的多图像相位检测和降噪过程的实例相位检测自动聚焦过程500的高层级概述。在一个实施例中，可在传感器上执行过程500。在其它实施方案中，过程500可涉及一或多个处理器，例如图6的图像信号处理器620。表示目标场景505的光穿过透镜组合件510且由图像传感器接收，其中如上文所描述产生半图像样本515。所述半图像样本可包含右图像、虚拟右图像、左图像、虚拟左图像和中心图像。
透镜组合件510可建模为具有对称脉冲响应的线性低通滤波器，其中透镜组合件510的脉冲响应(也称为点扩散函数)具有矩形形状，其中宽度参数与传感器与图像平面之间的距离成正比。场景在传感器处于图像平面中(即，来自场景处的单个点的所有光线汇聚为单个点的平面中)时“对焦”。如图2中所展示，半图像样本可省去仅含有来自相位检测像素的信息的两个图像。所述半图像可视为具有透镜组合件510的左和右(或，在其它实例中，上和下)脉冲响应的目标场景的卷积。在使用图3A到3D的技术的传感器实施例中，可省去更多局部图像。
聚焦函数计算器520将互相关函数应用于局部图像以确定差异。如上文所描述，可跨越选自右图像、虚拟右图像、左图像、虚拟左图像和中心图像的一或多对图像搜索互相关。此外，可将互相关限于通过分析从成像二极管接收的数据而确定的范围来估计所述数据的对焦关注区域的聚焦程度。
透镜组合件510的左和右脉冲响应互相关函数可大致上是对称和单峰的，但归因于目标场景505的性质，应用于所捕捉的左和右图像的互相关函数可能具有一或多个错误的局部最大值。各种方法可用于识别互相关函数的真实最大值。互相关函数的结果作为反馈提供到自动聚焦控制525，其可用于驱动透镜致动器将主要聚焦透镜组合件510移动到所要聚焦位置。其它实施例可使用静止的主要聚焦透镜组合件，且将图像传感器移动到所要聚焦位置。因此，在相位检测自动聚焦过程500中，聚焦等效于搜索互相关函数最大值。这是可足够快地完成以在典型帧率下(例如每秒30帧)提供每一帧的聚焦调整的快速过程，且因此可用于提供视频捕捉的平稳自动聚焦。一些实施方案将相位检测自动聚焦与基于反差的自动聚焦技术组合例如以增大准确度。
当主要聚焦透镜组合件和/或图像传感器在所要聚焦位置时，图像传感器可捕捉对焦成像像素信息和相位检测像素信息，且如上文所描述计算和内插相位检测像素的色彩值。成像像素值和确定的相位检测像素值可输出以用于解马赛克且任选地用于其它图像处理技术以产生目标场景的最终图像。
实例相位检测自动聚焦过程的概述
图6说明具有多光谱光圈认证能力的图像捕捉装置600的具体实例的高层级示意性框图，图像捕捉装置600具有包含连接到相位检测自动聚焦相机615的图像信号处理器620的一组组件。图像信号处理器620还与工作存储器605、存储器630和装置处理器650通信，所述装置处理器继而与存储模块610和任选电子显示器625通信。
图像捕捉装置600可以是便携式个人计算装置，例如移动电话、数码相机、平板计算机、个人数字助理等等。存在许多便携式计算装置，其中使用如本文所描述的相位检测自动聚焦技术将提供优势。图像捕捉装置600还可以是静止的计算装置或其中多光谱光圈验证技术将有利的任何装置。图像捕捉装置600上的多个应用可用户供使用。这些应用可包含传统摄影应用和视频应用，以及数据存储应用和网络应用。
图像捕捉装置600包含用于捕捉外部图像的相位检测自动聚焦相机615。相位检测自动聚焦相机615可包含图像传感器，其具有多二极管微透镜和滤色片或根据上述实施例布置的经遮蔽相位检测像素。相位检测自动聚焦相机615还可具有主要聚焦机构，其可至少部分地基于从图像信号处理器620接收的数据而定位以产生目标场景的对焦图像。在一些实施例中，所述主要聚焦机构可以是定位成将光从目标场景传送到传感器的可移动透镜组合件。在一些实施例中，所述主要聚焦机构可以是用于移动传感器的机构。
在不同实施方案中，相位检测自动聚焦相机615的传感器可具有不同处理功能。在一个实施方案中，传感器可不处理任何数据，且图像信号处理器620可执行所需的所有数据处理。在另一实施方案中，传感器能够将相位检测像素例如提取到单独的移动行业处理器接口(MIPI)通道。此外，传感器可能另外能够例如在原始通道中内插中心像素值。在一些实施方案中，传感器可能另外能够例如在正常通道中内插中心像素值，且能够在内部(传感器上)处理全部相位检测计算。举例来说，传感器可包含用于执行从二极管接收的值的加法、减法和/或比较的模拟电路。如本文所描述的成像设备可包含能够执行所有相位检测计算的图像传感器或能够连同图像信号处理器620和/或装置处理器650一起执行一些处理或不执行处理的图像传感器。
图像信号处理器620可经配置以对接收的图像数据执行各种处理操作，以便执行相位检测自动聚焦和图像处理技术。图像信号处理器620可以是通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含解马赛克、白平衡、串扰减小、裁剪、缩放(例如到不同分辨率)、图像拼接、图像格式转换、色彩插值、色彩处理、图像滤波(例如空间图像滤波)、透镜伪影或缺陷校正等。图像信号处理器620还可控制图像捕捉参数，例如自动聚焦和自动曝光。在一些实施例中，图像信号处理器620可包括多个处理器。图像信号处理器620可以是一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。在一些实施例中，图像信号处理器620可任选用于相位检测操作，因为相位检测操作中的一些或全部可在图像传感器上执行。
如所展示，图像信号处理器620连接到存储器630和工作存储器605。在所说明的实施例中，存储器630存储捕捉控制模块635、相位检测自动聚焦模块640和操作***模块645。存储器模块630包含对装置处理器650的图像信号处理器620进行配置以执行各种图像处理和装置管理任务的指令。工作存储器605可由图像信号处理器620用以存储含于存储器模块中的处理器指令工作集。替代地，工作存储器605还可由图像信号处理器620用以存储在图像捕捉装置600的操作期间形成的动态数据。
如上所提及，图像信号处理器620由存储在存储器中的若干模块来配置。捕捉控制模块635可包含指令来配置图像信号处理器620以例如响应于在相位检测自动聚焦技术期间产生的指令而调整相位检测自动聚焦相机615的聚焦位置。捕捉控制模块635可进一步包含控制图像捕捉装置600的总体图像捕捉功能的指令。举例来说，捕捉控制模块635可包含指令来调用子例程以配置图像信号处理器620，从而使用相位检测自动聚焦相机615捕捉包含目标场景的一或多个帧的多光谱图像数据。在一个实施例中，捕捉控制模块635可调用相位检测自动聚焦模块240以计算实现所要自动聚焦位置所需的透镜或传感器移动且将所需的移动输出到成像处理器220。捕捉控制模块635可调用相位检测自动聚焦模块240以内插用于定位在多像素微透镜下方的像素的色彩值。
因此，相位检测自动聚焦模块640可存储用于例如根据上文相对于图4A、4B和5所描述的过程400A、400B和500执行相位检测自动聚焦的指令。相位检测自动聚焦模块640还可存储用于如上文相对于图3A到3C所描述计算中心像素值和虚拟相位检测像素值的指令。
操作***模块645配置图像信号处理器620以管理图像捕捉装置600的工作存储器605和处理资源。举例来说，操作***模块645可包含装置驱动器以管理硬件资源，例如相位检测自动聚焦相机615。因此，在一些实施例中，上文所论述的图像处理模块中所含有的指令可不与这些硬件资源直接交互，而是通过位于操作***组件650中的标准子例程或API交互。操作***645内的指令可接着与这些硬件组件直接交互。操作***模块645可进一步对图像处理器620进行配置以与装置处理器650共享信息。
装置处理器650可经配置以控制显示器625来向用户显示所捕捉的图像或所捕捉的图像的预览。显示器625可在成像装置200外部或可为成像装置200的部分。显示器625还可经配置以提供在捕捉图像之前显示预览图像以供使用的检像器例如以辅助用户将图像传感器视场与用户眼睛对准，或可经配置以显示存储在存储器中的或近期由用户捕捉的所捕捉图像。显示器625可包括LCD、LED或OLED屏幕，且可实施触敏式技术。
装置处理器650可将数据写入到存储模块610，例如表示所捕捉图像的数据和在相位检测和/或像素值计算期间产生的数据。虽然将存储模块610示意性地表示为传统磁盘装置，但存储模块610可配置为任何存储媒体装置。举例来说，存储模块610可包含磁盘驱动器(例如光盘驱动器或磁光盘驱动器)或固态存储器(例如快闪存储器、RAM、ROM和/或EEPROM)。存储模块610还可包含多个存储器单元，且存储器单元中的任一个可经配置以处于图像捕捉装置600内，或可在图像捕捉装置600的外部。举例来说，存储模块610可包含含有存储在图像捕捉装置600内的***程序指令的ROM存储器。存储模块610还可包含经配置以存储所捕捉图像的存储卡或高速存储器，其可从相机移除。存储模块610还可在图像捕捉装置600外部，且在一个实例中，图像捕捉装置600可例如通过网络连接将数据以无线方式发射到存储模块610。在此类实施例中，存储模块610可以是服务器或其它远程计算装置。
尽管图6描绘图像捕捉装置600具有单独组件以包含处理器、成像传感器和存储器，但所属领域的技术人员将认识到，这些单独组件可以多种方式组合以实现特定设计目标。举例来说，在替代实施例中，存储器组件可与处理器组件组合以例如节约成本和/或改进性能。
另外，尽管图6说明两个存储器组件(包含包括若干模块的存储器630和包括工作存储器的单独存储器组件605)，但所属领域的技术人员应认识到利用不同存储器架构的若干实施例。举例来说，一种设计可利用ROM或静态RAM存储器来存储实施含于存储器630中的模块的处理器指令。处理器指令可加载到RAM中以便于由图像信号处理器620执行。举例来说，工作存储器605可包括RAM存储器，其中指令在由图像信号处理器620执行之前被加载到工作存储器605中。
实施***和术语
本文所揭示的实施方案提供用于使用从成像感测元件接收的值来减小相位检测自动聚焦过程的噪声的***、方法和设备。所属领域的技术人员将认识到，这些实施例可实施于硬件、软件、固件或其任何组合中。
在一些实施例中，可在无线通信装置中利用上文所论述的电路、过程和***。无线通信装置可以是一种用于以无线方式与其它电子装置通信的电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子读取器、游戏***、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板装置等。
无线通信装置可包含一或多个图像传感器、两个或更多个图像信号处理器、包含用于实施上文所论述的过程的指令或模块的存储器。装置还可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如，显示装置)和电源/接口。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同称作收发器。收发器可耦合到一或多个天线以供发射和/或接收无线信号。
无线通信装置可以无线方式连接到另一电子装置(例如基站)。无线通信装置可替代地被称作移动装置、移动台、订户台、用户设备(UE)、远端台、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子读取器、平板装置、游戏***等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个行业标准来操作。因此，通用术语“无线通信装置”可包含根据行业标准的不同命名法来描述的无线通信装置(例如，接入终端、用户设备(UE)、远程终端等)。
可将本文所描述的功能作为一或多个指令存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。作为实例而非限制，此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和
Figure BDA0001605295780000201
其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。应注意，计算机可读媒体可以是有形的和非暂时性的。术语“计算机程序产品”是指结合代码或指令(例如“程序”)的计算装置或处理器，所述代码或指令可由计算装置或处理器执行、处理或计算。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
本文所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，所述方法步骤和/或动作可彼此互换。换句话说，除非正在描述的方法的适当操作需要特定次序的步骤或动作，否则在不脱离权利要求书的范围的情况下可修改特定步骤和/或动作的次序和/或使用。
应注意，如本文中所使用，术语“耦合”或词语耦合的其它变体可指示间接连接或者直接连接。举例来说，如果第一组件“耦合”到第二组件，那么第一组件可能间接连接到第二组件或者直接连接到第二组件。如本文所使用，术语“多个”指示两个或更多个。举例来说，多个组件指示两个或更多个组件。
术语“确定”涵盖广泛多种动作，且因此“确定”可包含计算、运算、处理、推导、研究、查找(例如，在表、数据库或其它数据结构中查找)、确认等等。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。另外，“确定”可包含解决、选择、挑选、建立等等。
除非以其它方式明确指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。
在前文描述中，给出具体细节以提供对实例的透彻理解。然而，所属领域的一般技术人员应了解，可在没有这些具体细节的情况下实践所述实例。举例来说，可在框图中展示电组件/装置，以免在不必要的细节上混淆所述实例。在其它情况下，可详细展示此类组件、其它结构和技术以进一步解释所述实例。
提供所揭示实施方案的先前描述以使得所属领域的技术人员能够进行或使用本发明。所属领域的技术人员将易于明白对这些实施方案的各种修改，且本文中所定义的通用原理可在不脱离本发明的精神或范围的情况下应用于其它实施方案。因此，本发明并不希望限于本文中所展示的实施方案，而应被赋予与本文中所揭示的原理和新颖特征一致的最广泛范围。

Claims (26)

1.一种成像设备，其包括：
多个二极管，其包括
第一子组二极管，其经配置以捕捉表示目标场景的图像信息，以及
第二子组二极管，其经配置以捕捉表示所述目标场景的相位检测信息；以及
处理器，其配置有指令以
将所述图像信息划分为多个区域；
分析所述多个区域以估计各自对应于所述多个区域中的一个的多个聚焦值；
识别所述图像信息的最为对焦的区域，
通过识别由所述图像信息表示的最清晰边缘的清晰度值确定所述最为对焦的区域的聚焦值，
识别对应于所述聚焦值的定界相位差值，
基于所述相位检测信息而产生针对同一场景的至少第一和第二图像，
确定所述第一图像与第二图像之间的相位差，以及
至少部分地基于所确定的所述相位差和至少部分地基于由所述定界相位差值界定的范围来计算自动聚焦调整。
2.根据权利要求1所述的成像设备，其进一步包括遮蔽元件，所述遮蔽元件定位于所述多个二极管的所述第二子组中的每一二极管上方以阻挡从所述目标场景传播的光的一部分，因此所述多个二极管的所述第二子组中的每一二极管仅收集在特定方向上从所述目标场景传播的所述光。
3.根据权利要求1所述的成像设备，其进一步包括定位于所述多个二极管的所述第二子组的至少两个邻近二极管上方的微透镜，所述微透镜经形成以将从所述目标场景传播的光的第一部分传送到所述至少两个邻近二极管中的第一个且将从所述目标场景传播的光的第二部分传送到所述至少两个邻近二极管中的第二个，所述第一部分在第一方向上传播且所述第二部分在第二方向上传播。
4.根据权利要求1所述的成像设备，其中所述多个二极管包括具有所述多个二极管的二维矩阵的半导体衬底。
5.根据权利要求1所述的成像设备，其中与所述多个二极管的所述第二子组的第一半相关联的光学元件经配置以使得所述多个二极管的所述第二子组的所述第一半中的每一二极管仅收集在第一方向上从所述目标场景传播的光以产生所述相位检测信息的第一半。
6.根据权利要求5所述的成像设备，其中与所述多个二极管的所述第二子组的第二半相关联的光学元件经配置以使得所述多个二极管的所述第二子组的所述第二半中的每一二极管仅收集在第二方向上从所述目标场景传播的光以产生所述相位检测信息的第二半。
7.一种用于相位检测自动聚焦的方法，所述方法包括：
从第一多个成像二极管存取表示目标场景的图像信息；
将所述图像信息划分为多个区域；
分析所述多个区域以估计各自对应于所述多个区域中的一个的多个聚焦值；
通过识别由所述图像信息表示的最清晰边缘的清晰度值确定所述图像信息的最为对焦的区域的聚焦值；
识别对应于所述聚焦值的定界相位差值；
基于从第二多个成像二极管存取的相位检测信息而产生针对同一场景的至少第一和第二图像；
确定所述第一图像与第二图像之间的相位差，以及
至少部分地基于所确定的所述相位差和至少部分地基于由所述定界相位差值界定的范围来计算自动聚焦调整。
8.根据权利要求7所述的方法，其中识别所述定界相位差值包括：
确定所确定的所述相位差值是否处于由所述定界相位差值界定的范围内；以及
响应于确定所确定的所述相位差值超出所述范围，输出所述定界相位差值作为所述第一图像与第二图像之间的相位差。
9.根据权利要求8所述的方法，其中响应于确定所述相位检测自动聚焦过程处于监测状态而进一步执行输出所述定界相位差值作为相位差。
10.根据权利要求9所述的方法，其中在所述相位检测自动聚焦过程已识别对焦条件且将与多个成像感测元件和至少一个相位检测感测元件相关联的透镜组合件移动到对应于所述对焦条件的聚焦位置之后，发生所述监测状态。
11.根据权利要求7所述的方法，其中识别所述相位差包括分析处于由所述定界相位差值界定的范围内的所述相位差信息。
12.根据权利要求7所述的方法，所述相位检测自动聚焦过程进一步包括识别各自基于所述多个聚焦值中的一个的多个定界相位差值。
13.根据权利要求12所述的方法，所述相位检测自动聚焦过程进一步包括组合所述多个定界相位差值以产生用于计算所述自动聚焦调整的所述定界相位差值。
14.根据权利要求12所述的方法，所述相位检测自动聚焦过程进一步包括选择所述多个区域中的至少一些的所述多个定界相位差值中的一个以输出作为用于计算所述自动聚焦调整的所述定界相位差值。
15.一种相位检测自动聚焦过程，其包括：
从多个成像二极管存取图像信息，所述图像信息表示目标场景；
存取从多个相位检测二极管接收的相位检测信息；
基于所述图像信息来确定表示所述目标场景中的至少一个深度不连续性的信息；
识别位于所述至少一个深度不连续性的相对侧上的所述多个相位检测二极管中的一对；以及
基于从所述多个相位检测二极管的排除所述对的子组接收的相位检测信息来计算自动聚焦调整，
其中计算自动聚焦调整包括：
使用从所述多个相位检测二极管的所述子组接收的相位检测信息以产生一对半图像；
确定所述半图像之间的相位差；以及
基于所述相位差计算所述自动聚焦调整。
16.根据权利要求15所述的过程，其中确定表示所述目标场景的所述至少一个深度不连续性的所述信息包括：
根据所述图像信息，将第一中心像素值内插于所述对中的第一相位检测二极管的位置处，且将第二中心像素值内插于所述对中的第二相位检测二极管的位置处；
计算所述第一中心像素值与从所述第一相位检测二极管接收的值之间的第一差异值；
计算所述第二中心像素值与从所述第二相位检测二极管接收的值之间的第二差异值；以及
将所述第一差异与所述第二差异之间的差与阈值进行比较。
17.根据权利要求16所述的过程，其进一步包括响应于确定所述差大于所述阈值而从所述多个相位检测二极管的所述子组排除所述对。
18.根据权利要求16所述的过程，其中内插所述第一中心像素值包括存取从所述第一相位检测二极管的位置周围的所述多个成像二极管的5×5邻域接收的图像信息。
19.根据权利要求16所述的过程，其进一步包括计算所述第一差异与所述第二差异之间的差。
20.根据权利要求15所述的过程，其中确定所述表示所述目标场景中的所述至少一个深度不连续性的信息包括对所述图像信息执行边缘检测。
21.一种成像设备，其包括：
用于捕捉表示目标场景的图像信息的装置；
用于捕捉相位检测信息的多个装置；
用于将所述图像信息划分为多个区域的装置；
用于分析所述多个区域以估计各自对应于所述多个区域中的一个的多个聚焦值的装置；
用于识别所述图像信息的最为对焦的区域且通过识别由所述图像信息表示的最清晰边缘的清晰度值来确定所述最为对焦的区域的聚焦值的装置；
用于识别对应于所述聚焦值的定界相位差值的装置，其中预期有效相位差值处于所述定界相位差值所界定的范围内；
用于基于所述相位检测信息而产生针对同一场景的至少第一和第二图像的装置；
用于确定所述第一图像与第二图像之间的相位差的装置，以及
用于至少部分地基于所确定的所述相位差和至少部分地基于由所述定界相位差值界定的所述范围来计算自动聚焦调整的装置。
22.根据权利要求21所述的成像设备，其中所述用于识别所述定界相位差值的装置经配置以识别各自对应于所述多个区域中的一个的多个定界相位差值。
23.根据权利要求22所述的成像设备，其进一步包括用于组合所述多个区域中的至少一些的所述多个定界相位差值以产生用于计算所述自动聚焦调整的所述定界相位差值的装置。
24.根据权利要求22所述的成像设备，其进一步包括用于选择所述多个区域中的至少一些的所述多个定界相位差值中的一个以输出作为用于计算所述自动聚焦调整的所述定界相位差值的装置。
25.根据权利要求21所述的成像设备，其中所述用于基于所述相位检测信息产生至少第一和第二图像的装置包括包含逻辑的图像传感器。
26.根据权利要求21所述的成像设备，其中所述用于基于所述相位检测信息产生至少第一和第二图像的装置包括图像信号处理器。
CN201680055332.7A 2015-09-24 2016-08-24 相位检测自动聚焦降噪 Active CN108141528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010805621.2A CN111885308A (zh) 2015-09-24 2016-08-24 相位检测自动聚焦降噪

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/864,153 US10044959B2 (en) 2015-09-24 2015-09-24 Mask-less phase detection autofocus
US14/865,629 US9804357B2 (en) 2015-09-25 2015-09-25 Phase detection autofocus using masked and unmasked photodiodes
US14/865,503 2015-09-25
US14/865,503 US9420164B1 (en) 2015-09-24 2015-09-25 Phase detection autofocus noise reduction
PCT/US2016/048378 WO2017052918A1 (en) 2015-09-24 2016-08-24 Phase detection autofocus noise reduction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010805621.2A Division CN111885308A (zh) 2015-09-24 2016-08-24 相位检测自动聚焦降噪

Publications (2)

Publication Number Publication Date
CN108141528A CN108141528A (zh) 2018-06-08
CN108141528B true CN108141528B (zh) 2020-08-21

Family

ID=56610919

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680055332.7A Active CN108141528B (zh) 2015-09-24 2016-08-24 相位检测自动聚焦降噪
CN202010805621.2A Pending CN111885308A (zh) 2015-09-24 2016-08-24 相位检测自动聚焦降噪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010805621.2A Pending CN111885308A (zh) 2015-09-24 2016-08-24 相位检测自动聚焦降噪

Country Status (6)

Country Link
US (2) US9420164B1 (zh)
EP (1) EP3354008B1 (zh)
JP (1) JP6946278B2 (zh)
CN (2) CN108141528B (zh)
BR (1) BR112018006072A2 (zh)
WO (1) WO2017052918A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346622B1 (ko) * 2014-08-04 2022-01-04 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
KR102242472B1 (ko) * 2014-12-18 2021-04-20 엘지이노텍 주식회사 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
US9978154B2 (en) 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
US10148864B2 (en) * 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
US9804357B2 (en) 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
US10044926B2 (en) 2016-11-04 2018-08-07 Qualcomm Incorporated Optimized phase detection autofocus (PDAF) processing
EP3343897B1 (en) 2016-12-28 2019-08-21 Axis AB Camera and method of producing color images
EP3343894B1 (en) 2016-12-28 2018-10-31 Axis AB Ir-filter arrangement
EP3343287B1 (en) 2016-12-28 2018-11-21 Axis AB A method for sequential control of ir-filter, and an assembly performing such method
JP6873729B2 (ja) * 2017-02-14 2021-05-19 キヤノン株式会社 焦点検出装置、および撮像装置
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
US10387477B2 (en) 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
EP3447678A1 (en) * 2017-08-21 2019-02-27 Axis AB Method and image processing device for detecting a portion of an image
WO2019167482A1 (ja) * 2018-02-27 2019-09-06 富士フイルム株式会社 撮像装置、その焦点合わせ補助方法、及び、その焦点合わせ補助プログラム
US10848697B2 (en) * 2018-08-14 2020-11-24 Omnivision Technologies, Inc. Image sensors with phase detection auto focus pixels
CN109167941B (zh) * 2018-11-09 2021-02-09 德淮半导体有限公司 图像传感器及其制造方法
KR102624107B1 (ko) * 2018-12-06 2024-01-12 삼성전자주식회사 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치
WO2020170465A1 (ja) * 2019-02-22 2020-08-27 日本電信電話株式会社 画像処理装置、画像処理方法及びプログラム
WO2021030034A1 (en) 2019-08-15 2021-02-18 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US10996426B2 (en) * 2019-08-21 2021-05-04 Omnivision Technologies, Inc. 3D imaging using phase detection autofocus (PDAF) image sensor
CN112862880B (zh) * 2019-11-12 2024-06-25 Oppo广东移动通信有限公司 深度信息获取方法、装置、电子设备和存储介质
KR20210087809A (ko) 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
KR20210101049A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 객체 인식 방법
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
US11558569B2 (en) * 2020-06-11 2023-01-17 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
CN113395415B (zh) * 2021-08-17 2021-11-26 深圳大生活家科技有限公司 基于降噪技术的相机数据处理方法及***
JP7415215B1 (ja) 2023-09-05 2024-01-17 ダイトロン株式会社 外観検査装置
CN117706847B (zh) * 2024-01-31 2024-06-11 荣耀终端有限公司 一种对焦方法、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119436A (zh) * 2006-08-03 2008-02-06 奥林巴斯映像株式会社 数字照相机
CN101247477A (zh) * 2007-02-16 2008-08-20 佳能株式会社 摄像设备及其控制方法
CN101750847A (zh) * 2008-12-15 2010-06-23 索尼株式会社 图像拾取装置和聚焦控制方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4324402B2 (ja) 2003-04-08 2009-09-02 Ｈｏｙａ株式会社 カメラの自動焦点調節装置
JP4042710B2 (ja) * 2004-02-25 2008-02-06 カシオ計算機株式会社 オートフォーカス装置及びそのプログラム
JP4967296B2 (ja) 2005-10-03 2012-07-04 株式会社ニコン 撮像素子、焦点検出装置、および、撮像システム
US7711261B2 (en) 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP4857877B2 (ja) 2006-04-11 2012-01-18 株式会社ニコン 撮像装置およびカメラ
JP4349407B2 (ja) * 2006-11-17 2009-10-21 ソニー株式会社 撮像装置
JP5040700B2 (ja) 2008-02-12 2012-10-03 ソニー株式会社 撮像素子および撮像装置
JP5219865B2 (ja) 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
JP5161702B2 (ja) 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
JP2010252277A (ja) 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
JP5322783B2 (ja) * 2009-06-05 2013-10-23 キヤノン株式会社 撮像装置及び該撮像装置の制御方法
JP5476810B2 (ja) 2009-06-23 2014-04-23 株式会社ニコン 撮像装置
JP2011017800A (ja) * 2009-07-07 2011-01-27 Canon Inc 焦点検出装置
JP5381472B2 (ja) 2009-08-05 2014-01-08 株式会社ニコン 撮像装置
JP5454223B2 (ja) 2010-02-25 2014-03-26 株式会社ニコン カメラ
CN102823236B (zh) 2010-06-09 2016-01-20 富士胶片株式会社 成像装置以及图像处理方法
JP5744556B2 (ja) 2011-02-10 2015-07-08 オリンパス株式会社 撮像素子および撮像装置
WO2012132122A1 (ja) 2011-03-31 2012-10-04 富士フイルム株式会社 撮像装置及びその合焦制御方法
CN103493484B (zh) 2011-03-31 2015-09-02 富士胶片株式会社 成像装置和成像方法
WO2012133413A1 (ja) 2011-03-31 2012-10-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5331945B2 (ja) * 2011-03-31 2013-10-30 富士フイルム株式会社 撮像装置及びその駆動方法
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP6029309B2 (ja) * 2011-06-22 2016-11-24 キヤノン株式会社 焦点検出装置
US20130002936A1 (en) 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP2013025144A (ja) 2011-07-22 2013-02-04 Nikon Corp 焦点調節装置および撮像装置
JP5690974B2 (ja) * 2012-05-01 2015-03-25 富士フイルム株式会社 撮像装置及び合焦制御方法
WO2013168493A1 (ja) 2012-05-10 2013-11-14 富士フイルム株式会社 信号処理装置、撮像装置、信号補正方法
JP6066593B2 (ja) 2012-06-13 2017-01-25 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
EP2738812B8 (en) 2012-11-29 2018-07-18 ams Sensors Belgium BVBA A pixel array
JP2014153509A (ja) 2013-02-07 2014-08-25 Canon Inc 撮像装置及び撮像方法
JP2014160930A (ja) 2013-02-19 2014-09-04 Sony Corp 固体撮像素子およびその駆動方法、並びに電子機器
JP6172978B2 (ja) 2013-03-11 2017-08-02 キヤノン株式会社 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体
JP2014179939A (ja) 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
JP6426890B2 (ja) * 2013-06-11 2018-11-21 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6271911B2 (ja) * 2013-08-26 2018-01-31 キヤノン株式会社 撮像装置及びその制御方法、デフォーカス量算出方法
KR102125561B1 (ko) 2013-12-03 2020-06-22 삼성전자주식회사 촬영 장치 및 이의 제어 방법
JP6478457B2 (ja) 2014-01-23 2019-03-06 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP6320195B2 (ja) * 2014-06-24 2018-05-09 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
JP2016038414A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 焦点検出装置およびその制御方法、並びに撮像装置
US10078198B2 (en) * 2014-08-08 2018-09-18 Samsung Electronics Co., Ltd. Photographing apparatus for automatically determining a focus area and a control method thereof
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119436A (zh) * 2006-08-03 2008-02-06 奥林巴斯映像株式会社 数字照相机
CN101247477A (zh) * 2007-02-16 2008-08-20 佳能株式会社 摄像设备及其控制方法
CN101750847A (zh) * 2008-12-15 2010-06-23 索尼株式会社 图像拾取装置和聚焦控制方法

Also Published As

Publication number Publication date
WO2017052918A1 (en) 2017-03-30
CN111885308A (zh) 2020-11-03
JP2018535442A (ja) 2018-11-29
US9420164B1 (en) 2016-08-16
JP6946278B2 (ja) 2021-10-06
US9729779B2 (en) 2017-08-08
US20170094149A1 (en) 2017-03-30
CN108141528A (zh) 2018-06-08
EP3354008A1 (en) 2018-08-01
BR112018006072A2 (pt) 2018-10-09
EP3354008B1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
CN108141528B (zh) 相位检测自动聚焦降噪
CN108141527B (zh) 相位检测自动聚焦算法
CN108141571B (zh) 无掩模相位检测自动聚焦
US10044926B2 (en) Optimized phase detection autofocus (PDAF) processing
US10397465B2 (en) Extended or full-density phase-detection autofocus control
US11210799B2 (en) Estimating depth using a single camera
US9521312B2 (en) Focus detection apparatus, control method for the same, and image capture apparatus
JP2014011526A (ja) 画像処理装置、撮像装置および画像処理方法
US20180288306A1 (en) Mask-less phase detection autofocus
US11245878B2 (en) Quad color filter array image sensor with aperture simulation and phase detection
US20190033555A1 (en) Phase detection autofocus with diagonal line detection
US9503661B2 (en) Imaging apparatus and image processing method
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
CN112866552B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN115623327A (zh) 用于数字成像***中相位检测自动对焦的实时视差上采样

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant