CN109314742B - 用于光圈模拟的方法、装置、设备及存储媒体 - Google Patents

用于光圈模拟的方法、装置、设备及存储媒体 Download PDF

Info

Publication number
CN109314742B
CN109314742B CN201780035669.6A CN201780035669A CN109314742B CN 109314742 B CN109314742 B CN 109314742B CN 201780035669 A CN201780035669 A CN 201780035669A CN 109314742 B CN109314742 B CN 109314742B
Authority
CN
China
Prior art keywords
photosensitive region
photosensitive
incident
pixel
light energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780035669.6A
Other languages
English (en)
Other versions
CN109314742B9 (zh
CN109314742A (zh
Inventor
M·加洛罗·格卢斯金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109314742A publication Critical patent/CN109314742A/zh
Application granted granted Critical
Publication of CN109314742B publication Critical patent/CN109314742B/zh
Publication of CN109314742B9 publication Critical patent/CN109314742B9/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供用于在数字成像装置中模拟光圈的技术，所述光圈模拟通过多二极管像素图像传感器产生。在一个方面中，一种方法包含检测入射在像素的第一光电二极管上的第一光敏区域上的光，并且检测入射在所述像素的第二光电二极管上的第二光敏区域上的光。所述方法进一步包含针对每个像素组合来自所述第一和第二光敏区域的信号，且针对第一光圈设置至少部分地基于从所述第一光敏区域接收的所述光产生第一图像，并且针对第二光圈设置至少部分地基于从所述第二光敏区域接收的所述光产生第二图像。

Description

用于光圈模拟的方法、装置、设备及存储媒体
技术领域
本文中所公开的***和方法涉及光圈模拟，且更确切地说，涉及使用多二极管像素设计模拟光圈控制。
背景技术
在摄影中，控制光量是使用可变开口(或光圈)(光通过所述开口进入相机)和快门时间实现的。然而，这需要具有允许用户从透镜或相机的另一部分调节可变开口的额外机械特性的相机仪器。光圈大小影响景深(DOF)。小光圈设置(例如，高f数，例如， f/22)可以增加远距离对象的清晰度，或者换句话说增大DOF，这意味着从前景到背景图片的更多元素变为清晰地聚焦的。众所周知，小光圈也用于风景照片。当拍摄照片时较大光圈可能形成散景效果。这可以形成对照片的深度的不同感觉，将观看者拉入到图片中。当相机使用较大光圈聚焦在场景中的点上时，不在焦点内的场景的部分可能相对于焦点对准的对象看起来极其模糊。
虽然例如数码相机和移动电话相机的移动相机已变得更加流行，但是由于大小和成本考虑，移动相机通常并不以可变光圈为特征。
发明内容
本文中所论述的***、方法、装置和计算机程序产品各自具有若干方面，所述若干方面中的单个方面不仅仅负责其所期望的属性。在不限制如通过所附权利要求书表示的本发明的范围的情况下，下文简要地论述一些特征。在考虑此论述之后，且确切被地说，在读取标题为“具体实施方式”的部分之后，将理解本发明的有利特征如何包含使用多二极管像素元件的光圈模拟。
在一个方面中，提供一种用于光圈模拟的装置，其包括：像素阵列，每个像素包括：第一光电二极管，其包括第一光敏区域，所述第一光敏区域经配置以检测入射在第一光敏区域上的光；以及第二光电二极管，其包括第二光敏区域，所述第二光敏区域经配置以检测入射在第二光敏区域上的光，其中第一光敏区域至少部分由第二光敏区域围绕；信号混合器，其耦合到每个像素且经配置以针对每个像素组合响应于入射在第一和第二光敏区域上的光来自第一和第二光电二极管的信号，所述信号指示入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能；以及至少一个逻辑电路(例如，处理器、加法器、乘法器，和/或类似者)，所述至少一个逻辑电路耦合到信号混合器且经配置以基于以下项模拟光圈控制：(i)针对第一光圈模拟设置至少部分地基于入射在第一光敏区域上的第一光能产生第一图像；以及(ii)针对第二光圈模拟设置至少部分地基于入射在第二光敏区域上的第二光能产生第二图像。
以下是此类光圈模拟装置的一些特征和实施例的非限制性实例。举例来说，光圈模拟装置可以包含大于第一光敏区域的第二光敏区域。在一些实例中，至少一个逻辑电路经配置以基于入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能的组合产生第二图像。
光圈模拟装置可以包含第三光电二极管，所述第三光电二极管包括第三光敏区域，所述第三光敏区域经配置以检测入射在第三光敏区域上的光，其中第一光敏区域至少部分由第三光敏区域围绕，其中信号混合器进一步经配置以组合来自第一、第二和第三光电二极管的信号、响应于入射在每个像素上的第一、第二和第三光敏区域上的光来自第一、第二和第三光电二极管的信号，并且其中所述逻辑电路进一步经配置以至少部分地基于入射在第三光敏区域上的第三光能产生第三图像。第三光敏区域可以大于第一光敏区域。
光圈模拟装置可以包含至少一个逻辑电路，所述至少一个逻辑电路经配置以基于入射在第一光敏区域上的第一光能、入射在第二光敏区域上的第二光能以及入射在第三光敏区域上的第三光能的组合产生第三图像。
光圈模拟装置可以包含微透镜阵列，所述微透镜阵列相对于像素阵列布置使得每个像素接收经由至少一个微透镜传播的光，其中每个微透镜包括一个平面表面和一个球形凸表面，并且其中第一光感测元件相对于微透镜布置使得第一光感测元件的中心与微透镜的中心垂直对齐。
在另一方面中，提供一种通过图像像素阵列模拟光圈的方法，每个图像像素包括第一光电二极管和第二光电二极管，包括：检测入射在第一光电二极管上的第一光敏区域上的光；检测入射在第二光电二极管上的第二光敏区域上的光，其中第一光敏区域至少部分由第二光敏区域围绕；针对每个像素组合响应于入射在第一和第二光敏区域上的光来自第一和第二光电二极管的信号，所述信号指示入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能；针对第一光圈模拟设置至少部分地基于入射在第一光敏区域上的第一光能产生第一图像；以及针对第二光圈模拟设置至少部分地基于入射在第二光敏区域上的第二光能产生第二图像。
对于一些实施例，第二光敏区域大于第一光敏区域。对于一些实施例，模拟光圈的方法可以包含基于入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能的组合产生第二图像。
对于一些实施例，模拟光圈的方法可以包含第三光电二极管，所述第三光电二极管包括第三光敏区域，所述第三光敏区域经配置以检测入射在第三光敏区域上的光，其中第一光敏区域至少部分由第三光敏区域围绕，其中信号混合器进一步经配置以组合来自第一、第二和第三光电二极管的信号、响应于入射在每个像素上的第一、第二和第三光敏区域上的光来自第一、第二和第三光电二极管的信号，并且其中所述逻辑电路进一步经配置以至少部分地基于入射在第三光敏区域上的第三光能产生第三图像。对于一些实施例，第三光敏区域大于第一光敏区域。
对于一些实施例，模拟光圈的方法可以包含基于入射在第一光敏区域上的第一光能、入射在第二光敏区域上的第二光能以及入射在第三光敏区域上的第三光能的组合产生第三图像。
对于一些实施例，模拟光圈的方法可以包含利用微透镜阵列，所述微透镜阵列相对于像素阵列布置使得每个像素接收经由至少一个微透镜传播的光。
在另一方面中，提供一种用于通过图像像素阵列模拟光圈的***，其包括：用于检测入射在第一光敏区域上的光的装置；用于检测入射在第二光敏区域上的光的装置，其中第一光敏区域至少部分由第二光敏区域围绕；用于针对每个像素组合响应于入射在第一和第二光敏区域上的光的信号的装置，所述信号指示入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能；用于针对第一光圈模拟设置至少部分地基于入射在第一光敏区域上的第一光能产生第一图像的装置；以及用于针对第二光圈模拟设置至少部分地基于入射在第二光敏区域上的第二光能产生第二图像的装置。
对于一些实施例，所述用于检测入射在第一光敏区域上的光的装置是第一光电二极管，所述用于检测入射在第二光敏区域上的光的装置是第二光电二极管，所述用于响应于入射在第一和第二光敏区域上的光组合信号的装置是模拟信号混合器，并且所述用于产生第一图像和第二图像的装置是逻辑电路。
对于一些实施例，第二光敏区域大于第一光敏区域。对于一些实施例，产生第二图像是基于入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能的组合。
对于一些实施例，所述设备包含用于检测入射在第三光敏区域上的光的装置，其中第一光敏区域至少部分由第三光敏区域围绕，其中所述用于组合的装置进一步经配置以组合来自第一、第二和第三光敏区域的信号、响应于入射在每个像素上的第一、第二和第三光敏区域上的光来自第一、第二和第三光敏的信号，并且其中所述用于产生第一图像和第二图像的装置进一步经配置以至少部分地基于入射在第三光敏区域上的第三光能产生第三图像。对于一些实施例，第三光敏区域大于第一光敏区域。对于一些实施例，所述设备包含基于入射在第一光敏区域上的第一光能、入射在第二光敏区域上的第二光能和入射在第三光敏区域上的第三光能的组合产生第三图像。
在另一方面中，提供一种非暂时性计算机可读存储媒体，其包括可通过设备的逻辑电路执行的指令，使得所述设备：检测入射在第一光电二极管上的第一光敏区域上的光；检测入射在第二光电二极管上的第二光敏区域上的光，其中第一光敏区域至少部分由第二光敏区域围绕；针对每个像素组合响应于入射在第一和第二光敏区域上的光来自第一和第二光电二极管的信号，所述信号指示入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能；针对第一光圈模拟设置至少部分地基于入射在第一光敏区域上的第一光能产生第一图像；以及针对第二光圈模拟设置至少部分地基于入射在第二光敏区域上的第二光能产生第二图像。
对于一些实施例，第二光敏区域大于第一光敏区域。对于一些实施例，所述非暂时性计算机可读存储媒体可以包含使得所述设备基于入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能的组合产生第二图像的指令。对于一些实施例，所述非暂时性计算机可读存储媒体可以包含使得所述设备检测入射在包括第三光敏区域的第三光电二极管上的光的指令，其中第一光敏区域至少部分由第三光敏区域围绕，其中信号混合器进一步经配置以组合来自第一、第二和第三光电二极管的信号、响应于入射在每个像素上的第一、第二和第三光敏区域上的光来自第一、第二和第三光电二极管的信号，并且至少部分地基于入射在第三光敏区域上的第三光能产生第三图像。
在一些实施例中，第三光敏区域大于第一光敏区域。在一些实施例中，非暂时性计算机可读存储媒体可以包含使得设备基于入射在第一光敏区域上的第一光能、入射在第二光敏区域上的第二光能和入射在第三光敏区域上的第三光能的组合产生第三图像的指令。在一些实施例中，基于以下公式产生第二图像：
(Es+Eb)·(a0)+Es·(1-a0)
其中Es是入射在第一光敏区域上的第一光能，Eb是入射在第二光敏区域上的第二光能，并且a0是在零和一之间的第一可配置寄存器值。
在一些实施例中，基于以下公式产生第三图像：
(Es)·(a0)+(Es+Em)·(a1)+(Es+Em+Eb)·(a2)
其中Es是入射在第一光敏区域上的第一光能，Eb是入射在第二光敏区域上的第二光能，Em是入射在第三光敏区域上的第三光能，且a0是在零和一之间的第一可配置寄存器值，a1是在零和一之间的第二可配置寄存器值，并且a2是在零和一之间的第三可配置寄存器值。
附图说明
图1说明进入相机透镜并且被引导到图像像素中的多个多二极管像素的光的实例光线追踪。
图2说明多二极管像素的列的实例集合和用于每个列的电路的集合。
图3A到3C说明两个二极管像素的示例性示意图。
图4说明图像像素阵列中的三个实例像素位置的集合以及根据像素位置的对应的二极管配置。
图5说明包含三个光感测表面的多二极管像素。
图6说明用于可以组合从小光电二极管收集的能量与从中间二极管收集的能量以及从大二极管收集的能量的三二极管像素的示例性示意图。
图7A说明多二极管像素的三个光敏表面的示例性配置。
图7B说明包含用于组合光圈模拟与相位检测自动聚焦的三个光敏表面的多二极管像素的示例性阵列。
图8A到8D是在多二极管像素的2x2阵列上的拜耳彩色滤光器图案的说明。
图9A到9B说明使用模拟光圈设备的方法。
具体实施方式
相机的大小可以通过减小相机组件的大小或消除组件中的一或多个来减小。举例来说，光圈构造(有时快门和光圈的组合，即，光圈快门)可以被一起除去以形成容易与其它装置集成的紧凑型数码相机。虽然一些紧凑型移动装置包含具有光圈的数码相机，但是减小光圈以适配紧凑型实施方案通常带来挑战。首先，紧凑型光圈构造是非常复杂的，于是存在破裂或堵塞的风险。其次，现有技术光圈的形状并不是完全地圆形的，这会产生到图片中的失真的影响。另外，光圈的重量和大小并不能够通过常规的方式轻易地减小。相机上的光圈所需要的额外元件可能增加相机的厚度。此外，由于光圈结构的复杂度，紧凑型光圈实施方案的制造可能是复杂的且费时的。
相应地，在例如相机电话的实施方案中光圈模拟将减少成本并且释放空间，同时仍然允许手动和自动光圈调节。因此，可能期望的是在数字图像像素中模拟光圈以便俘获包含高DOF的图像，但是所述图像也可能含例如散景效果或类似物。
以下详细描述涉及本发明的某些特定实施例。然而，本发明可以众多不同方式实施。应当显而易见的是，本文中的方面可以多种多样的形式实施，并且本文中所公开的任何特定结构、功能或两者仅为代表性的。基于本文中的教示，所属领域的技术人员应了解，本文中所公开的方面可以独立于任何其它方面而实施，且可以各种方式组合这些方面中的两个或多于两个方面。举例来说，可以使用本文中所阐述的任何数目的方面来实施设备或实践方法。另外，通过使用除了本文中所阐述的方面中的一或多个方面之外或不同于本文中所阐述的方面中的一或多个方面的其它结构、功能性或结构和功能性，可实施此设备或可实践此方法。
关于数码相机技术而描述本文中所描述的实例、***和方法。本文中所描述的***和方法可以实施于多种不同光敏装置或图像像素上。这些包含通用或专用图像像素、环境或配置。可以适合与本发明一起使用的光敏装置、环境和配置的实例包含但不限于半导体电荷耦合装置(CCD)或在互补型金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS)技术中的有源像素传感器，它们中的全部可以在包含以下项的多种应用中有密切关系：数码相机、手持式或膝上型计算机装置和移动装置(例如，电话、智能电话、个人数据助理(PDA)、超级移动个人计算机(UMPC)，以及移动互联网装置(MID))。
***概述
图1描绘了对焦状况的实例光线追踪100。光从目标场景130中的焦点行进，行进通过透镜125以将目标场景130聚焦到包含多个像素120元件的图像传感器上，之后落入入射每个像素120的小光电二极管115和大光电二极管116。数码相机可以包含额外的透镜元件。图1出于解释的目的说明了单个透镜125元件。如所说明，像素接收来自透镜125的左侧方向L(X)和右侧方向R(X)的光。每个像素可以包含上覆像素120的光敏区域的多二极管微透镜(MDML)105。在一些实施例中，每个MDML 105 可以包含在每个像素120上的1微米和10微米之间的聚合物，其具有一个平面表面和一个球形凸表面以折射光。在另一实施例中，每个MDML 105可能具有非球形形状或被设计成将光聚焦到像素的光电二极管中的任何其它形状。MDML 105的阵列可用于上覆像素阵列以增大大光电二极管116和小光电二极管115的光收集效率。确切地说，MDML 105可以将入射像素的光收集和聚焦到小光电二极管115。
仍参考图1，像素120的大光电二极管116和小光电二极管115可以上覆有彩色滤光器110，使得每个像素120单独地检测与不同色彩相关联的光的波长。举例来说，像素120可以被设计成检测第一、第二或第三色彩(例如，红色、绿色或蓝色波长)。为了实现这一点，像素阵列中的每个像素120可以由单一彩色滤光器(例如，红色、绿色或蓝色滤光器)覆盖。单一彩色滤光器可以被布置到图案中以形成在像素阵列上的彩色滤光器阵列(CFA)，使得CFA中的每个个体滤光器与阵列中的一个个体像素120对齐。相应地，在阵列中的每个像素可检测对应于与它对齐在滤光器的单色光。CFA图案的一个实例是拜耳CFA，其中阵列部分由交替的红色和绿色滤光器以及交替的蓝色和绿色滤光器的行组成。每个彩色滤光器对应于底层像素阵列中的一个像素120。在拜耳CFA中，一半的彩色滤光器是绿色滤光器，四分之一的彩色滤光器是蓝色滤光器，并且四分之一的彩色滤光器是红色滤光器。绿色滤光器的使用分别多达红色滤光器和蓝色滤光器的两倍模拟了与红光和蓝光相比人类眼睛看到绿光的更强能力。拜耳CFA 中的每个像素对与其最接近的相邻者相比不同色彩的光敏感。举例来说，每个绿色滤光器的最接近的相邻者是红色滤光器和蓝色滤光器，每个红色滤光器的最接近的相邻者是绿色滤光器，并且每个蓝色滤光器的最接近的相邻者是绿色滤光器。因为每个滤光器的最接近的相邻者具有与它相比不同的色彩标识，所以每个滤光器上覆仅一个对应的像素。彩色滤光器材料由染料或更常见的色素组成，以定义彩色滤光器110的频谱。每个彩色滤光器的大小可对应于像素的大小，例如，1:1比率。然而，在另一实施例中，每个彩色滤光器110可以大于或小于对应的像素120。举例来说，在彩色滤光器110大小与像素120大小的比率中，彩色滤光器110大小可以由任何整数或十进制数目表示。在此实施例中，图像传感器的每个像素可以包含多个彩色滤光器110元件，其中多个彩色滤光器元件的每个彩色滤光器元件110上覆光电二极管。在此配置中，彩色滤光器元件可以包含类似于在下文中参考图8A到8D进一步详细论述的那些的色彩的图案。
仍参考图1，像素120可以包含两个光敏二极管：小光电二极管115和大光电二极管116。钉扎光电二极管可被用作此类光感测元件的实例，然而对于所属领域的技术人员而言应该清楚还可使用其它光感测元件。像素120可进一步包含其它读出元件，其可单独地工作用于每个光电二极管或两个二极管可共享一些共用读出元件。这可引起光电二极管的填充因数的增大。这些像素可以固定像素间距在水平方向上重复实体化，以便形成一行像素。每个成像器可包含在垂直方向上具有与在水平方向上基本上相同的像素间距的多个行或此类像素，以便形成二维像素阵列200。在一个实施例中，大光电二极管116可基本上至少部分围绕小光电二极管115。小光电二极管115的表面积可以使得它是大光电二极管116的大小的组分。如此处所使用的术语“基本上”指示在所表示的测量值或位置的10％内的公差。
图2说明像素120的两个实例列，其中每个列包含分别用于从大光电二极管116 和小光电二极管115读取和调节模拟信号225、230的电路。电路可从列的每个像素依次地接收模拟信号。在替代实施例中，像素120可以是通过用于在每个行处组合模拟信号的电路按行读取的。在这些实施例的两者中，来自每个行的像素可以同时读取引起数字图像的更快处理。在另一替代实施例中，图像传感器可以包含电路的一或多个集合以用于接收和调节模拟信号225、230，其中在电路的一个集合的情况下，每个像素120被依次地读取。
仍参考图2，电路可以包含模拟信号混合器205以用于接收由每个像素120产生的模拟信号225、230。模拟混合器可以包含非线性电路，所述非线性电路从它所接收的模拟信号225、230中的一或两者中形成和输出一或多个新频率。在一个实施例中，模拟信号混合器205接收模拟信号225、230中的两者作为输入信号并且输出是两个模拟信号225、230的总和的信号。信号混合器205可用因数乘以多个接收到的模拟信号并且执行所得信号的额外的总和步骤。举例来说，信号混合器可产生两个输入模拟信号225、230的总和并且用0和1之间的因数乘以所得信号。
仍参考图2，电路还可包含经耦合以接收由模拟信号混合器205产生的模拟信号输出的电荷转移放大器210。放大器210可放大模拟信号输出以产生放大的像素电压信号以增加像素模拟信号225、230值(例如，电压或电流)的强度。电荷转移放大器 210产生与每个像素的小光电二极管115和大光电二极管116产生的电压信号相比具有增大的电压幅度的像素电压信号并且将增加的电压值提供到模数转换电路(ADC) 215。像素120中的电荷转移放大器的集成可具有增加像素120中的每一个的灵敏度水平的效果，并且因此提供具有增大的灵敏度和动态范围的数字图像传感器。电荷转移放大器的操作可以受到模拟信号混合器205产生的控制信号的控制。控制信号也可以是驱动图像传感器像素阵列200中的像素的列或行235的共用信号，或驱动整个像素阵列200中的像素120的共用驱动信号。
仍参考图2，ADC 215可以耦合到放大器210的输出。ADC 215可以在像素的行或列235之中共享。放大的像素120值可以转换成待由数字电路读取和处理的数字信号，这是因为相对于信息的处理速度和有效的传输数字电路与模拟电路相比可以提供优点。每个ADC215可执行放大器210的输出电压信号的模数转换以得到指示每个像素120中的小光电二极管115和大光电二极管116中的每一个的曝光的量的经数字化的像素120电压信号。ADC 215可以使用任何已知的A/D转化技术实施并且可具有任何精确度(例如，8、10或16位或更多位)。ADC 215可以受时钟(CLK)信号控制并且当由CLK信号触发时数字化模拟像素电压信号。图像传感器可以包含例如时钟产生电路的其它控制电路和在图2中未示出的其它全局控制电路。ADC电路可将经数字化的模拟像素电压信号输出到缓冲器220。在缓冲器将来自ADC 215的数字数据提供到逻辑电路之前，缓冲器可以临时存储所述数据。逻辑电路可包含(例如)处理器、专用集成电路(ASIC)和/或图像信号处理器(ISP)中的一或多个。逻辑电路可包含(例如)加法器电路或乘法器电路或两者或其组件，其中加法器电路和/或乘法器电路可以在数字域或模拟域或两者中起作用。
在一个方面中，像素阵列200、模拟信号混合器205和放大器210可一起执行包含以下项的功能：(1)光子到电荷转换；(2)图像电荷的累积；(3)伴随着混合信号的放大的电荷的信号混合；(4)将放大的混合信号转换成数字信号；以及(5)在缓冲器中存储表示像素120电荷的数字信号。
在另一方面中，分别来自大光电二极管116和小光电二极管115的模拟信号225、230可以单独地从模拟信号转换成数字信号，而无需利用模拟信号混合器205。在此类配置中，大光电二极管16和小光电二极管115两者的数字信号在通过ISP或与处理器相关联的***(SoC)的相应的模拟信号的数字化之后混合。
实例像素架构
图3A说明包含不同设定大小的光感测元件的实例像素120。图3A仅是实例且不应用于表示正确的标度。使用此类像素120的图像传感器可以通过使用不同感测元件的布置模拟光圈，如下文所论述。可用于提供增大的动态范围的一个方法是提供具有每个像素两个光感测元件、位于中心的小光电二极管115以及至少部分围绕小光电二极管115的大光电二极管116的像素。在像素120的此图式中，大光电二极管116可被称为Dlarge，而小光电二极管115可被称为Dsmall。像素120可进一步包含其它读出元件，其可单独地工作用于每个光电二极管或两个二极管可共享一些共用读出元件。这可引起光电二极管的填充因数的增大。这些像素可以固定像素间距在水平方向上重复实体化，以便形成一行像素。
包含具有不同感测元件的像素(例如，像素120)的图像传感器可不同于多个方法中的前述图像传感器。举例来说，可见图像传感器的大光电二极管116和小光电二极管115可具有不同集成时间。举例来说，较大光电二极管116可具有与小光电二极管 115相比更长的集成时间，并且反之亦然。在另一实例中，大光电二极管116和小光电二极管115两者可具有基本上相同的集成时间，或者可以是用户可配置的。如此处所使用的术语“基本上”指示在所表示的测量值的10％内的公差。
图3B说明基于低噪声4晶体管(4T)像素的实例电路，并且可以包含单独的传输门、混合器大(Mxl)304和混合器小(Mxs)308，以分别用于大光电二极管116Dlarge 和小光电二极管115Dsmall。如通过用于大光电二极管116Dlarge的虚线和小光电二极管115Dsmall的阴影区域所说明，二极管可具有不同大小，其中较大大小用于大光电二极管116Dlarge。虽然针对大光电二极管116说明圆形形状，但是在一些方面中，可优选地具有用于每个二极管的更好控制的形状(例如，圆化矩形形状)，以便促进电荷转移。支持像素的其它电路可以包含复位晶体管、主要复位(Mrst)325和读出分支，其由源极跟随器晶体管、主要源极跟随器(Msf)330和行选择晶体管、主要选择器(Msel) 335组成。
仍参考图3B，在此类型的像素120中，进来的光子被转换成硅衬底中的电子和空穴对。随后通过两个光电二极管Dlarge和Dsmall收集光电子。大光电二极管116 Dlarge或小光电二极管115Dsmall或两者的集成时间可以在时间T0处开始。此时，复位(RST)、转移场大(XRFL)和转移场小(XRFS)对于时间量可能是高的，打开晶体管 Mrst 325、Mxs 308和Mxl304。这可能清空光电二极管115、116中的所有电子并且可将它们设置成预定电压。一旦XRFL和XRFS被设置成低压，则Mxs 308和Mxl 304 关闭，并且光电二极管开始收集光电子且电压降低。一般来说，此类光电子累积的速率与照射在大光电二极管116和小光电二极管115上的入射光的量成正比，并且因此是光强度和光电二极管面积两者的函数。
如上文所提及，大光电二极管116可经配置以持续所界定时间周期收集光。在大光电二极管116收集电子的同时，小光电二极管115也可以收集电子，但是这些可能并不使用。小光电二极管115Dsmall可以通过将RST和XRFS两者设置成高值而复位。此复位可舍弃Dsmall已经收集的任何光电子，并且可指示Dsmall再次开始收集光电子。
另外，Dsmall可经配置以持续一段时间周期收集光。在Dsmall收集电子的同时，Dlarge也可以收集电子，但是这些可能并不使用。大光电二极管116Dlarge可以通过将RST和XRFL两者设置成高值而复位。此复位可舍弃Dlarge已经收集的任何光电子，并且指示Dlarge再次开始收集光电子。
在集成时间结束时，相关双采样(CDS)操作可用于读出二极管上的累积电荷。为此，通过将RST设置为高来开启第一Mrst 325，这将浮动节点(FN)设置为复位电压 (Mrst325的CELLHI偏置阈值)。在此之后，SEL信号可被设置为高，这可开启Msel 335 以便启用像素读出。如果总线连接到电流源，那么Msf 330充当源极跟随器，从而引起总线电压追踪FN的电压。一旦已经读出FN的复位电压，则通过将XRFL设置为高来开启Mxl 304，从而将Dlarge 116中所有收集到的光电子转储到FN，由此减小 FN的电压。在此之后，总线电压可遵循FN的减小的电压，并且如果SEL被设置为高，则可通过源极跟随器执行第二读出。两种读出之间的差异可用于确定由于通过 Dlarge收集的光电子的节点FN上的精确的电压改变。还可使用额外的列电路以便存储此类信息，并且以便启用进一步处理，例如，放大、数字化和其它处理。一般来说， CDS操作可减小晶体管变化及可呈现的某些时间噪声的影响。在一些方面中，两个 XRFL脉冲(一个用于复位且一个用于读出)之间的时间差可表示大光电二极管116的集成时间。一旦大光电二极管116Dlarge已经读出，则可以是执行另一CDS操作以读出小光电二极管115Dsmall。此操作可类似于上文关于大光电二极管116描述的操作。
在用于读出Dsmall的CDS操作中，可通过针对小光电二极管115将XFRS设置为高来开启Mxs 308。在Dsmall的集成中，两个XFRS脉冲之间的时间是Dsmall的集成时间。当使用CDS操作在不同时间在像素的大光电二极管和小光电二极管上执行的读出方案时，行缓冲器220可存储来自大光电二极管116的信息。一旦读出来自像素的小光电二极管115，则它可与来自相关联的大光电二极管116的结果组合以便形成最终的像素输出值。因此，来自此双二极管配置的额外存储器需求最小。在另一实例实施例中，CDS操作可以是同时针对给定像素120的大光电二极管116和小光电二极管115两者执行的。
图3C说明基于低噪声3晶体管像素的实例电路，并且可以包含用于大光电二极管116的单独的转移门Mxl 304。如通过用于大光电二极管116Dlarge的虚线和小光电二极管115Dsmall的阴影区域所说明，二极管可具有不同大小，其中较大大小用于 Dlarge 116。支持像素的其它电路可以包含复位晶体管Mrst 325和读出分支，其由源极跟随器晶体管Msf330和行选择晶体管Msel 335组成。
仍参考图3C，在此类型的像素120中，进来的光子被转换成硅衬底中的电子和空穴对。随后通过两个光电二极管Dlarge和Dsmall收集光电子。大光电二极管116 Dlarge的集成时间可以在时间T0处开始。此时，RST和XRFL两者持续一定时间量可为高的，从而开启晶体管Mrst 325和Mxl 304。这可能清空大光电二极管116中的所有电子并且可将它设置成预定电压。一旦XRFL被设置成低压，则Mxl 304可关闭，并且大光电二极管开始收集光电子且电压降低。一般来说，此类光电子累积的速率与入射在Dlarge上的入射光的量成正比，并且因此是光强度和光电二极管面积两者的函数。Dsmall可经配置以持续一段时间周期收集光。在Dsmall收集电子的同时，Dlarge 也可以收集电子，但是这些可能并不使用。大光电二极管116Dlarge可以通过将RST 和XRFL两者设置成高值而复位。此复位可舍弃Dlarge已经收集的任何光电子，并且允许Dlarge再次开始收集光电子。
额外的光电二极管布置
图4就关于在像素上的大光电二极管116的小光电二极管115的位置而言说明替代实施例。像素阵列200可以包含多个多二极管像素120，其中在每个像素120上的小光电二极管115位置涉及其在像素阵列200中的位置，使得入射在像素阵列200上的光的主光线角被引导到小光电二极管115。图4说明示出为正方形的图像传感器的实例像素阵列200。三个交叉影线405、410、415表示像素阵列200中的像素位置。像素阵列200可以是任何CMOS、CCD或其它图像传感器。在一些实施例中，图像传感器可以是例如具有近似地0.5μm像素的32兆像素(MP)/每秒30帧(fps)图像传感器，每个像素120具有多个光电二极管和与多个光电二极管的每个光电二极管相关联的近似1000电子(-e)阱容量。这些图像传感器规格表示图像传感器的仅一个实施例，并且具有不同规格的其它图像传感器可用于其它实施例中。
像素阵列200可以包含布置在预定数目的行和列235(例如，M行和N列)中的多个像素。像素中的每一个可各自包含上覆衬底的多个光电二极管以用于在衬底的下伏部分中累积光产生的电荷。在一些实施方案中，像素阵列200可包含经定位以过滤入射光的一或多个彩色滤光器110，例如，红外截止滤光器或彩色滤光器。CMOS像素的光电二极管可以是耗尽p-n结光电二极管或光门下方的场诱发耗尽区域中的一个。
第一像素位置410基本上在像素阵列200的中心中。像素阵列200的中心区域内的每个像素120可以包含多个光感测光电二极管115、116。在一个实施例中，每个像素120包含两个光感测光电二极管115、116，其中小光电二极管115基本上由大光电二极管116围封，并且小光电二极管115位于像素120的中心。在第一像素位置410 中存在像素120的两个视图。第一视图是从正上方的，并且说明小光电二极管115关于大光电二极管116的位置。第二视图是像素120的剖面图，说明小像素与MDML 105 的顶点的关系。在第二视图中，小光电二极管115在MDML 105的顶点的正下方。在此配置中，来自场景130的光的主光线角被引导到小光电二极管115上。如此处所使用的术语“基本上”指示在所表示的位置的10％内的公差。
仍参考图4，第二像素位置405更接近于图像传感器像素阵列200的外部边界并且基本上与像素阵列200的中心垂直对齐。在第二像素位置405中存在像素420的两个视图。第一视图是从正上方的，并且说明小光电二极管115关于大光电二极管116 的位置。在此实施例中，较小光电二极管115可仍然基本上由较大光电二极管116围封，并且也可以经定位使得光的主光线角被引导到较小光电二极管115。在此视图中，较小光电二极管115更接近于像素420的底部。第二视图是像素420的剖面图，说明小像素与MDML 105的顶点的关系。在第二视图中，小光电二极管115不再在MDML 105的顶点的正下方。替代地，小光电二极管115定位在像素420内以更接近于阵列中心。在此配置中，来自场景130的光的主光线角被引导到小光电二极管115上。
仍参考图4，第三像素位置415更接近于图像传感器像素阵列200的转角边界。在第三像素位置415中存在像素425的两个视图。第一视图是从正上方的，并且说明小光电二极管115关于大光电二极管116的位置。在此实施例中，较小光电二极管115 可仍然基本上由较大光电二极管116围封，并且也可以经定位使得光的主光线角被引导到较小光电二极管115。在此视图中较小光电二极管115在像素的左上角。第二视图是像素425的剖面图，说明小光电二极管115与MDML 105的球形凸表面的顶点的关系。在第二视图中，小光电二极管115不再在MDML 105的顶点的正下方。替代地，小光电二极管115定位在像素425内以更接近于阵列中心。在此配置中，来自场景130 的光的主光线角被引导到小光电二极管115上。
图5说明包含多个光感测表面的像素500的实例实施例。在此实例中，像素包含三个光感测表面。第一光敏表面515可以位于像素的中心，并且可以基本上由第二光敏表面520围封。第二光敏表面520可以基本上由第三光敏表面525围封。如此处所使用的术语“基本上”指示在所表示的位置的10％内的公差。在另一实施例中，每个像素可以包含经布置以允许光圈模拟的不同大小的任何数目的光电二极管。
图6说明包含三个光电二极管600的集合的实例像素电路。第一二极管Dsmall 605可以与图5的第一光敏表面515相关。第二二极管Dmedium 610可以与图5的第二光敏表面520相关。第三二极管Dlarge 615可以与图5的第三光敏表面525相关。三个光电二极管600可以共享共用晶体管620的一个集合以用于行/列选择、复位和浮动节点，如图6中所示。取决于共享架构，可相应地调整操作时序。
在图3B中所说明的操作模式下，三个光电二极管600可以是通过将RST、XRFL、转移场中间(XRFM)和XRFS设置到高状态而在时间T0同时复位的。在那之后，三个光电二极管600开始累积光电子。在所期望的曝露时间之后，FN通过将RST设置高而复位。然后，SEL可以开启以读出FN的复位水平。在此之后，XRFL、XRFM和 XRFS可以被依序设置高，并且来自三个光电二极管600的累积的电荷可以按顺序次序传递到FN，随后是用于每个光电二极管的FN水平的一个读出。此操作使用三个读出，每个光电二极管一个，因此三个光电二极管600中的每一个的信号可以通过模拟信号混合器进行混合。因此，此过程可以引起：(1)用于处理多个图像的方法，每个光电二极管一个图像，(2)通过组合三个光电二极管600中的两个或多于两个的信号的增加的散景效果，以及(3)通过应用组合大光圈光收集和小光圈清晰度的每像素组合算法使用Dlarge 615的噪声减少。
在另一实施例中，三个光电二极管600可以是通过将RST、XRFL、XRFM和XRFS 设置到高状态而在时间T0同时复位的。在那之后，三个光电二极管600开始累积光电子。在所期望的曝露时间之后，FN通过将RST设置高而复位。然后，SEL可以开启以读出FN的复位水平。在此之后，XRFL、XRFM和XRFS可以被设置高，并且来自三个光电二极管600的累积的电荷可以传递到FN，随后是FN水平的又一个读出。此操作允许使用仅一个读出，这样最小化从读出过程产生的噪声贡献，同时增加来自三个光电二极管的电荷高达增强信号电平。因此，此过程可以引起高信噪比。
图7A说明具有三个光敏表面705、710、715的像素700的实例实施例。在相关方面中，中心光敏表面715可以是圆形或圆化形状的，并且至少部分由两个额外光敏表面705、710围绕。应注意虽然可使用中心光敏表面715的正方形形状(例如，在图 7A中)，但是可以包含其它形状。在其它方面，左侧光感测表面705可以定位到中心光敏表面715的左侧，并且可基本上从像素700的左侧围绕一半的中心表面。右侧光感测表面710可以定位到中心光敏表面715的右侧，并且可基本上从像素700的右侧围绕一半的中心表面。如图7A中所说明的像素700可以包含经圆化且未必是所描绘的矩形形式的光感测表面。图7B说明实例像素阵列750，其中每个像素属于图7A中示出的配置。如此处所使用的术语“基本上”指示在所表示的位置的10％内的公差。
仍然参考图7A到7B，三二极管像素的左侧光敏表面705和右侧光敏表面710可以包含相位检测二极管。在此实例布置中，光从场景130行进通过透镜125以将目标场景130聚焦到包含相位检测二极管的像素上。左侧光敏表面705从透镜125的左侧方向L(i)接收光，并且右侧光敏表面710从透镜125的右侧方向R(i)接收光。在一些实施例中，来自左侧方向L(i)的光可以是来自场景130的左半部分L(x)的光并且来自右侧方向R(i)的光可以是来自场景130的右半部分R(x)的光。相应地，跨越图像传感器与成像二极管交错的多个相位检测二极管可用于提取从成像二极管所俘获的中心图像偏移的左侧图像和右侧图像。替代右和左，其它实施例可使用上图像和下图像、对角图像或左/右、上/下和对角图像的组合以计算自动聚焦调节。相位检测二极管可进一步用于计算自动聚焦透镜位置并且产生示出相对于主透镜***的焦点的像素的距离的深度图。
当图像焦点对准时，左侧光线L(i)和右光线R(i)汇聚在相位检测二极管的平面(或表面)处。如上文所描述，来自相位检测二极管的信号可用于产生从在前方或后方离焦位置中的中心图像偏移的左侧图像和右侧图像，并且偏移量可用于确定相机透镜125 的自动聚焦调节。取决于焦点处于对象前方(较接近图像传感器)还是对象后方(离图像传感器较远)，可向前(朝向图像传感器)或向后(远离图像传感器)移动透镜125。因为自动聚焦过程可算出透镜125的移动的方向和量两者，所以相位差自动聚焦可以非常快速地聚焦。
为了执行相位检测，成像***可以保存仅含有从相位检测二极管接收的值的两个图像。左侧光敏表面705可接收从左侧方向进入MDML 105的光并且右侧光敏表面 710可接收从右侧方向进入相同MDML 105的光。MDML 105可基本上上覆每个像素 700。基于平衡更多MDML 105提供更可靠的相位检测自动聚焦数据但是需要用于像素值计算的更大量的计算并且还增加最终图像中的伪影的可能性的考虑因素，范围从传感器的MDML 105中的一个到全部的任何数目的MDML 105可以安置在图像传感器上。
聚焦可以通过将互相关函数应用到表示左侧图像和右侧图像的数据来计算。如果两个图像之间的距离与在对焦状况中的对应的距离相比更窄，那么自动聚焦***确定焦点处于对象的前方。如果所述距离与参考值相比更宽，那么***确定焦点在对象后方。自动聚焦***可以计算多少透镜125位置(或传感器位置，在具有可移动传感器的实施例中)应该移动以及移动的方向并且将此信息提供到透镜125致动器以相应地移动透镜125，实现快速聚焦。上文所描述的过程可通过图像信号处理器执行。
图8A到8D说明用于在图7A到7B中说明的像素的实例CFA配置。然而，虽然图8A到8D可对应于在图7A到7B中说明的像素，但是应注意所属领域的技术人员将能够将彩色滤光器图案的相同或类似变化应用到本文中所描述的任何其它像素和光电二极管配置。如所说明，多个绿色滤光器805g、810g、红色滤光器805r、810r 和蓝色滤光器805b、810b可以布置在多个MDML 105下方的拜耳图案中。图8A说明包含在正方形图案中的四个像素的实例像素阵列750，其中每个像素包含在虚线中概述的三个光敏表面。像素中的每一个由表示个体彩色滤光器的实线围绕。在一个实施例中，CFA可以布置得类似于拜耳彩色滤光器图案的布置。举例来说，像素阵列750 的左上角中的像素可以包含基本上覆盖像素的三个光敏表面的绿色滤光器805g，因此三个光敏表面暴露于通过绿色滤光器805g过滤的光。像素阵列750的右上角中的像素可以包含基本上覆盖像素的三个光敏表面的蓝色滤光器805b，因此三个光敏表面暴露于通过蓝色滤光器805b过滤的光。像素阵列750的左下角中的像素可以包含基本上覆盖像素的三个光敏表面的红色滤光器805r，因此三个光敏表面暴露于通过红色滤光器805r过滤的光。像素阵列750的右下角中的像素可以包含基本上覆盖像素的三个光敏表面的绿色滤光器805g，因此三个光敏表面暴露于通过绿色滤光器805g过滤的光。
图8B说明其中像素中的一些被部分地过滤的CFA的另一实施例。举例来说，在像素阵列750的左上角和右下角中的像素可以包含基本上覆盖像素的中心光敏表面 715但是并不覆盖左侧光敏表面705或右侧光敏表面710的绿色滤光器810g。像素阵列750的右上角中的像素可以包含基本上覆盖像素的三个光敏表面的蓝色滤光器 805b，因此三个光敏表面暴露于通过蓝色滤光器805b过滤的光。像素阵列750的左下角中的像素可以包含基本上覆盖像素的三个光敏表面的红色滤光器805r，因此三个光敏表面暴露于通过红色滤光器805r过滤的光。
图8C说明其中每个像素的中心光敏表面715被彩色滤光器覆盖而左侧光敏表面705和右侧光敏表面710没有滤光器的CFA的另一实施例。举例来说，在像素阵列750 的左上角和右下角中的像素可以包含基本上覆盖像素的中心光敏表面715但是并不覆盖左侧光敏表面705或右侧光敏表面710的绿色滤光器810g。像素阵列750的右上角中的像素可以包含基本上仅覆盖中心光敏表面715的蓝色滤光器810b，因此中心表面 715暴露于通过蓝色滤光器810b过滤的光。像素阵列750的左下角中的像素可以包含基本上覆盖像素700的中心光敏表面715的红色滤光器810r，因此中心光敏表面715 暴露于通过红色滤光器810r过滤的光。
图8D说明其中像素中的一些被完全地过滤的CFA的另一实施例。举例来说，像素阵列750的右上角中的像素可以包含基本上覆盖像素的三个光敏表面的蓝色滤光器 805b，因此三个光敏表面暴露于通过蓝色滤光器805b过滤的光。像素阵列750的左下角中的像素可以包含基本上覆盖像素的三个光敏表面的红色滤光器805r，因此三个光敏表面暴露于通过红色滤光器805r过滤的光。阵列的左上角和右下角中的像素并不包含上覆光敏表面的滤光器。
用于光圈模拟的方法和架构
图9A是说明用于使用包含多个像素的图像传感器的光圈模拟的方法(或过程)的实例的流程图900，其中每个像素包含两个光感测表面。在块905中，图像传感器的每个像素检测入射在小光电二极管115的第一光敏区域上的光。图像传感器可以包含多个像素，其中每个像素包含含有第一光敏区域的小光电二极管115。小光电二极管 115可以包含用于存储通过入射在第一光感测区域上的光产生的能量的第一电荷存储元件(CSE)。在块910中，图像传感器的每个像素检测入射在大光电二极管116的第二光敏区域上的光。大光电二极管116可以包含用于存储通过入射在第二光感测区域上的光产生的能量的第二CSE。在一个实施例中，第一光敏区域至少部分由第二光敏区域围绕。在另一实施例中，第一光敏区域可以小于第二光敏区域。
仍参考图9A，在块910中，图像传感器的每个像素可检测入射在大光电二极管 116上的第二光敏区域上的光，其中第一光敏区域至少部分由第二光敏区域围绕。在块915中，模拟信号混合器205针对每个像素可组合响应于入射在第一和第二光敏区域上的光来自第一和大光电二极管116的信号、所述信号指示入射在第一光敏区域上的第一光能和入射在第二光敏区域上的第二光能。模拟光圈可以通过混合来自小光电二极管115和大光电二极管116的信号受到控制。在一个实施例中，信号可以使用公式(1)混合：
(Es+Eb)·(a0)+Es·(1-a0) (1)
其中：
Es：入射在第一光敏区域上的第一光能，
Eb：入射在第二光敏区域上的第二光能，
a0：在零和一之间的可配置寄存器值。
如对所属领域的技术人员显而易见的，图像可基于小光电二极管115和大光电二极管116的总和，但是也可以仅基于小光电二极管115(或中心二极管)。在另一实施例中，图像可仅基于第二光能(Eb)。
仍参考图9A，在块920中，图像信号处理器可针对第一光圈模拟设置至少部分地基于入射在第一光敏区域上的第一光能产生第一图像。在块925中，图像信号处理器可针对第二光圈模拟设置至少部分地基于入射在第二光敏区域上的第二光能产生第二图像。
图9B是说明使用包含像素的图像传感器用于光圈模拟的方法(或过程)的实例的流程图950，其中每个像素包含三个光感测表面。在图9B中所说明的过程可以与在图9A中所说明的过程结合使用。在块955中，图像传感器的每个像素可检测入射在第三光敏区域上的光。第三光敏区域可以外加到第一和第二光敏区域，并且可驻留在相同像素上。
仍参考图9B，在块960中，图像传感器的每个像素可组合来自第一、第二和第三光电二极管的信号、响应于入射在每个像素上的第一、第二和第三光敏区域的光来自第一、第二和第三光电二极管的信号。模拟光圈可以通过混合来自第一和第二光电二极管的信号受到控制。在一个实施例中，信号可以使用公式(2)混合：
(Es)·(a0)+(Es+Em)·(a1)+(Es+Em+Eb)·(a2) (2)
其中：
Es：入射在第一光敏区域上的第一光能，
Eb：入射在第二光敏区域上的第二光能，
a0：在零和一之间的第一可配置寄存器值，
a1：在零和一之间的第二可配置寄存器值，
a2：在零和一之间的第三可配置寄存器值。
可配置寄存器值a0、a1和a2可各自指代唯一数字。
举例来说，在公式(2)中，当a0被设置成一的值并且其它寄存器值被设置成零的值时，可以没有信号混合，并且图像可基于从中心光敏表面715收集的能量。这可引起具有前景和背景焦点对准的图像。在另一实施例中，处理器可基于使用相位检测自动聚焦的场景的距离的确定自动地设置寄存器值。举例来说，当检测到的接近的对象时，寄存器值可以被设置成零的值或接近零的值以便形成大DOF。在此实例中，像素阵列 750的每个像素700可以单独地受到处理器的控制。举例来说，信号混合器205可经配置以收集基于入射在像素700的三个光敏表面705、710、715中的任一个中的仅一个上的光形成的能量。这可引起处理左侧、右侧和中心图像。使用相位检测，俘获被确定为接近的对象的像素可使用在三个光敏表面705、710、715上收集的能量的组合，而俘获围绕被确定为接近的对象的图像的像素可仅使用从中心光敏表面715收集的光，或来自所有三个光敏表面705、710、715的光的组合，其中所使用的较高能量水平来自中心光敏表面715(例如，a0＝0.9、a1＝0.05，以及a2＝0.05)。
可配置寄存器值也可以被设置成取决于自动曝光算法决策的值。举例来说，ISP或SoC可确定明亮的场景可能需要相对较短的曝露时间。在此情况下，可配置寄存器值可以经设置使得当俘获场景的图像时，组合来自每个二极管的更大量的模拟信号。在另一实施例中，可配置寄存器值可以是根据手动用户设置调节的。在此配置中，用户可手动地选择光圈值(例如，F22)，光圈值与寄存器值的集合相关联。在另一实施例中，可配置寄存器值可以被设置成使用超聚焦透镜设计根据距离改变DOF。在此配置中，当场景的对象没有焦点对准时或当场景内的某些像素没有焦点对准或这两者时，可使用小光圈的模拟(例如，a0＝0.9、a1＝0.05，以及a2＝0.05)。此配置消除自动聚焦电机和任何相关联的透镜结构的需要。
在另一实施例中，第一图像可以由左侧光感测表面705俘获，并且第二图像可以由右侧光感测表面710俘获。相位检测算法可比较第一和第二图像并且确定所比较的图像中的模糊的量。举例来说，当比较两个图像时在两个图像中的焦点将表现为清晰的，但是在焦点前方或后方的对象将是异相的，并且将具有模糊度。处理器可根据模糊度确定差异值。举例来说，在焦点的前景中的对象可指示负差异值，而在背景中的对象可指示正差异值。噪声减少算法可在中心像素的值上与围绕它的值相比执行逐像素分析。所述算法可基于围绕像素值模糊中心像素的噪声。在包含高差异值的图像的区域中，像素噪声的模糊可以增大以形成更显著的散景效果。这可以通过在这些区域中并入像素的较大光电二极管所吸收的更多能量完成。在包含低差异值的图像的区域中，可能有利的是通过有利于由中心光电二极管715所获得的光多于区域中的每个像素的围绕二极管(705、710)获得更清晰的图像。
仍参考图9B，在块965中，处理器可至少部分地基于入射在第三光敏区域上的第三光能产生第三图像。第三图像可以包含基于入射在像素700的三个光敏表面705、 710、715中的所有的上的光产生的能量。公式1和2的寄存器值可以由装置的用户手动地设置。
实施***和术语
图式中所说明的组件、步骤、特征和/或功能中的一或多个可以重新布置和/或组合到单个组件、步骤、特征或功能中或在若干组件、步骤或功能中实施。在不脱离本文中所公开的新颖特征的情况下，还可添加额外元件、组件、步骤和/或功能。图式中所说明的设备、装置和/或组件可以经配置以执行图式中描述的方法、特征或步骤中的一或多个。本文中所描述的新颖算法还可有效地实施于软件中和/或嵌入于硬件中。
并且，应注意，实施例可描述为描绘为流程图、结构图或框图的过程。虽然流程图可将操作描述为依次过程，但许多操作可并行或同时执行。另外，可以重新安排操作的顺序。当过程的操作完成时，所述过程终止。过程可以对应于方法、函数、流程、子例程、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。
术语“确定”涵盖多种多样的动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实及类似者。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及类似者。并且，“确定”可包含解析、选择、挑选、建立及类似者。
除非另外明确地规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。
术语“光电二极管”或“二极管”可以包含多个光敏元件，例如，光门、光导体或其它光检测器，其上覆衬底用于在衬底的下伏部分中累积光产生的电荷。
此外，存储媒体可表示用于存储数据的一或多个装置，包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置和/或其它机器可读媒体、处理器可读媒体，和/或用于存储信息的计算机可读媒体。术语“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”可包含(但不限于)非暂时性媒体(例如，便携式或固定存储装置)、光学存储装置及能够存储、容纳或携载指令和/或数据的各种其它媒体。因此，本文中所描述的各种方法可完全或部分地由可存储在“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”中且由一或多个处理器、机器和/或装置执行的指令和/或数据来实施。
此外，可由硬件、软件、固件、中间件、微码或其任何组合来实施实施例。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序代码或代码段可存储在机器可读媒体中，例如，存储媒体或其它存储装置。处理器可以执行必要任务。代码段可以表示流程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。一个代码段可通过传递和/或接收信息、数据、自变量、参数或存储器内容耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可经由包含存储器共享、消息传递、权标传递、网络传输等任何合适的装置传递、转发或传输。
结合本文中所公开的实例描述的各种说明性逻辑块、模块、电路、元件和/或组件可运用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以实施为计算组件的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。
结合本文中所公开的实例描述的方法或算法可以处理单元、编程指令或其它方向的形式直接体现在硬件、可由处理器执行的软件模块或两者的组合中，且可包含于单个装置中或跨越多个装置而分布。软件模块可以驻留在RAM存储器、快闪存储器、 ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM，或所属领域中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息及将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成整体。
所属领域的技术人员将理解结合本文中所公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清晰地说明硬件与软件的此可互换性，上文已大体就其功能性描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用及强加于整个***的设计约束。
本文中所描述的本发明的各种特征可在不脱离本发明的情况下实施于不同***中。应注意，前述实施例仅为实例，且不应解释为限制本发明。实施例的描述意图为说明性的，且不限制权利要求书的范围。因此，本发明的教示可容易应用于其它类型的设备，且所属领域的技术人员将明白许多替代方案、修改及变化。

Claims (30)

1.一种用于光圈模拟的装置，其包括：
像素阵列，每个像素包括：
第一光电二极管，其包括第一光敏区域，所述第一光敏区域经配置以检测入射在所述第一光敏区域上的光；以及
第二光电二极管，其包括第二光敏区域，所述第二光敏区域经配置以检测入射在所述第二光敏区域上的光，其中所述第一光敏区域至少部分由所述第二光敏区域围绕；
信号混合器，其耦合到每个像素且经配置以针对每个像素组合来自所述第一光电二极管和所述第二光电二极管的信号，来自所述第一光电二极管和所述第二光电二极管的信号响应于入射在所述第一光敏区域和所述第二光敏区域上的光，所述信号指示入射在所述第一光敏区域上的第一光能和入射在所述第二光敏区域上的第二光能；以及
至少一个逻辑电路，其耦合到所述信号混合器且经配置以基于以下项模拟光圈控制：(i)针对第一光圈模拟设置至少部分地基于入射在所述第一光敏区域上的所述第一光能产生第一图像；以及(ii)针对第二光圈模拟设置至少部分地基于入射在所述第二光敏区域上的所述第二光能产生第二图像。
2.根据权利要求1所述的装置，其中所述第二光敏区域大于所述第一光敏区域。
3.根据权利要求1所述的装置，其中所述至少一个逻辑电路进一步经配置以基于入射在所述第一光敏区域上的所述第一光能和入射在所述第二光敏区域上的所述第二光能的组合产生所述第二图像。
4.根据权利要求1所述的装置，其进一步包括第三光电二极管，所述第三光电二极管包括第三光敏区域，所述第三光敏区域经配置以检测入射在所述第三光敏区域上的光，其中所述第一光敏区域至少部分由所述第三光敏区域围绕，其中所述信号混合器进一步经配置以组合来自(i)所述第一光敏区域、(ii)所述第二光敏区域和(iii)所述第三光敏区域的信号，其中来自所述第一、第二和第三光电二极管的信号响应于入射在每个像素上的所述第一、第二和第三光敏区域上的光，并且其中所述逻辑电路进一步经配置以至少部分地基于来自所述第三光电二极管的所述信号产生第三图像。
5.根据权利要求4所述的装置，其中所述至少一个逻辑电路进一步经配置以：
比较所述第二图像与所述第三图像，所述第二图像由所述第二光敏区域俘获，所述第三图像由所述第三光敏区域俘获；
确定所述第二图像与所述第三图像之间的相位差；以及
计算对应于所述相位差的寄存器值，其中所述信号混合器基于所述寄存器值组合来自(i)所述第一光敏区域、(ii)所述第二光敏区域和(iii)所述第三光敏区域的信号。
6.根据权利要求4所述的装置，其中
在每个像素上所述第一光敏区域相对于所述第二光敏区域和所述第三光敏区域位于中心位置，
所述第二光敏区域位于所述第一光敏区域左侧的位置，
所述第三光敏区域位于所述第一光敏区域右侧的位置，以及
所述第二光敏区域和所述第三光敏区域至少部分围绕所述第一光敏区域。
7.根据权利要求1所述的装置，其进一步包括微透镜阵列，所述微透镜阵列相对于所述像素阵列布置以使每个像素接收经由至少一个微透镜传播的光。
8.根据权利要求7所述的装置，其中每个微透镜包括一个平面表面和一个球形凸表面，并且其中所述第一光敏区域相对于所述微透镜布置使得所述第一光敏区域的中心与所述微透镜的所述球形凸表面的顶点垂直对齐。
9.一种通过像素阵列模拟光圈的方法，每个像素包括第一光电二极管和第二光电二极管，所述方法包括：
检测入射在所述第一光电二极管上的第一光敏区域上的光；
检测入射在所述第二光电二极管上的第二光敏区域上的光，其中所述第一光敏区域至少部分由所述第二光敏区域围绕；
针对每个像素组合来自所述第一光电二极管和所述第二光电二极管的信号，来自所述第一光电二极管和所述第二光电二极管的信号响应于入射在所述第一光敏区域和所述第二光敏区域上的光，所述信号指示入射在所述第一光敏区域上的第一光能和入射在所述第二光敏区域上的第二光能；
针对第一光圈模拟设置至少部分地基于入射在所述第一光敏区域上的所述第一光能产生第一图像；以及
针对第二光圈模拟设置至少部分地基于入射在所述第二光敏区域上的所述第二光能产生第二图像。
10.根据权利要求9所述的方法，其中所述第二光敏区域大于所述第一光敏区域。
11.根据权利要求9所述的方法，其进一步包括基于入射在所述第一光敏区域上的所述第一光能和入射在所述第二光敏区域上的所述第二光能的组合产生所述第二图像。
12.根据权利要求9所述的方法，其进一步包括：
检测入射在第三光电二极管上的第三光敏区域上的光，其中所述第一光敏区域至少部分由所述第三光敏区域围绕；
组合来自(i)所述第一光敏区域、(ii)所述第二光敏区域和(iii)所述第三光敏区域的信号，其中来自所述第三光敏区域的所述信号响应于入射在所述第三光敏区域上的光并且指示入射在每个像素上的所述第三光敏区域上的第三光能；以及
至少部分地基于入射在所述第三光敏区域上的所述第三光能产生第三图像。
13.根据权利要求12所述的方法，其中所述第三光敏区域大于所述第一光敏区域。
14.根据权利要求12所述的方法，其进一步包括基于入射在所述第一光敏区域上的所述第一光能、入射在所述第二光敏区域上的所述第二光能和入射在所述第三光敏区域上的所述第三光能的组合产生所述第三图像。
15.根据权利要求9所述的方法，其进一步包括微透镜阵列，所述微透镜阵列相对于所述像素阵列布置以使每个像素接收经由至少一个微透镜传播的光。
16.一种用于通过像素阵列模拟光圈的设备，所述设备包括：
用于检测入射在第一光敏区域上的光的装置；
用于检测入射在第二光敏区域上的光的装置，其中所述第一光敏区域至少部分由所述第二光敏区域围绕；
用于针对每个像素组合响应于入射在所述第一光敏区域和所述第二光敏区域上的光的信号的装置，所述信号指示入射在所述第一光敏区域上的第一光能和入射在所述第二光敏区域上的第二光能；
用于针对第一光圈模拟设置至少部分地基于入射在所述第一光敏区域上的所述第一光能产生第一图像的装置；以及
用于针对第二光圈模拟设置至少部分地基于入射在所述第二光敏区域上的所述第二光能产生第二图像的装置。
17.根据权利要求16所述的设备，其中：
所述用于检测入射在第一光敏区域上的光的装置是第一光电二极管；
所述用于检测入射在第二光敏区域上的光的装置是第二光电二极管；
所述用于组合信号的装置是模拟信号混合器；以及
所述用于产生所述第一图像和所述第二图像的装置是逻辑电路。
18.根据权利要求16所述的设备，其中所述第二光敏区域大于所述第一光敏区域。
19.根据权利要求16所述的设备，其进一步包括基于入射在所述第一光敏区域上的所述第一光能和入射在所述第二光敏区域上的所述第二光能的组合产生所述第二图像。
20.根据权利要求16所述的设备，其进一步包括：
用于检测入射在第三光敏区域上的光的装置，其中所述第一光敏区域至少部分由所述第三光敏区域围绕；
用于组合来自(i)所述第一光敏区域、(ii)所述第二光敏区域和(iii)所述第三光敏区域的信号的装置，其中来自所述第三光敏区域的所述信号响应于入射在每个像素上的所述第三光敏区域上的第三光能；以及
用于至少部分地基于入射在所述第三光敏区域上的所述第三光能产生第三图像的装置。
21.根据权利要求20所述的设备，其中所述第三光敏区域大于所述第一光敏区域。
22.根据权利要求20所述的设备，其进一步包括基于入射在所述第一光敏区域上的所述第一光能、入射在所述第二光敏区域上的所述第二光能和入射在所述第三光敏区域上的所述第三光能的组合产生所述第三图像。
23.一种包括指令的非暂时性计算机可读存储媒体，所述指令在通过设备的处理器执行时使得所述设备：
检测入射在第一光电二极管上的第一光敏区域上的光；
检测入射在第二光电二极管上的第二光敏区域上的光，其中所述第一光敏区域至少部分由所述第二光敏区域围绕；
针对每个像素组合来自所述第一光电二极管和所述第二光电二极管的信号，来自所述第一光电二极管和所述第二光电二极管的信号响应于入射在所述第一光敏区域和所述第二光敏区域上的光，所述信号指示入射在所述第一光敏区域上的第一光能和入射在所述第二光敏区域上的第二光能；
针对第一光圈模拟设置至少部分地基于入射在所述第一光敏区域上的所述第一光能产生第一图像；以及
针对第二光圈模拟设置至少部分地基于入射在所述第二光敏区域上的所述第二光能产生第二图像。
24.根据权利要求23所述的非暂时性计算机可读存储媒体，其中所述第二光敏区域大于所述第一光敏区域。
25.根据权利要求23所述的非暂时性计算机可读存储媒体，其进一步包括使得所述设备进行以下操作的指令：
基于入射在所述第一光敏区域上的所述第一光能和入射在所述第二光敏区域上的所述第二光能的组合产生所述第二图像。
26.根据权利要求23所述的非暂时性计算机可读存储媒体，其中基于以下公式产生所述第二图像：
(Es+Eb)·(a0)+Es·(1-a0)
其中Es是入射在所述第一光敏区域上的所述第一光能，Eb是入射在所述第二光敏区域上的所述第二光能，并且a0是在零和一之间的第一可配置寄存器值。
27.根据权利要求23所述的非暂时性计算机可读存储媒体，其进一步包括使得所述设备进行以下操作的指令：
检测入射在包括第三光敏区域的第三光电二极管上的光，其中所述第一光敏区域至少部分由所述第三光敏区域围绕；
组合来自(i)所述第一光敏区域、(ii)所述第二光敏区域和(iii)所述第三光敏区域的信号，其中来自所述第三光敏区域的所述信号响应于入射在所述第三光敏区域上的光并且指示入射在每个像素上的所述第三光敏区域上的第三光能；以及
至少部分地基于入射在所述第三光敏区域上的所述第三光能产生第三图像。
28.根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述第三光敏区域大于所述第一光敏区域。
29.根据权利要求27所述的非暂时性计算机可读存储媒体，其进一步包括使得所述设备进行以下操作的指令：
基于入射在所述第一光敏区域上的所述第一光能、入射在所述第二光敏区域上的所述第二光能和入射在所述第三光敏区域上的所述第三光能的组合产生所述第二图像。
30.根据权利要求27所述的非暂时性计算机可读存储媒体，其中基于以下公式产生所述第三图像：
(Es)·(a0)+(Es+Em)·(a1)+(Es+Em+Eb)·(a2)
其中Es是入射在所述第一光敏区域上的所述第一光能，Eb是入射在所述第二光敏区域上的所述第二光能，Em是入射在所述第三光敏区域上的所述第三光能，且a0是在零和一之间的第一可配置寄存器值，a1是在零和一之间的第二可配置寄存器值，并且a2是在零和一之间的第三可配置寄存器值。
CN201780035669.6A 2016-06-23 2017-04-27 用于光圈模拟的方法、装置、设备及存储媒体 Active CN109314742B9 (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/191,430 2016-06-23
US15/191,430 US10128284B2 (en) 2016-06-23 2016-06-23 Multi diode aperture simulation
PCT/US2017/029877 WO2017222643A1 (en) 2016-06-23 2017-04-27 Multi diode aperture simulation

Publications (3)

Publication Number Publication Date
CN109314742A CN109314742A (zh) 2019-02-05
CN109314742B true CN109314742B (zh) 2021-06-01
CN109314742B9 CN109314742B9 (zh) 2021-07-02

Family

ID=58800893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035669.6A Active CN109314742B9 (zh) 2016-06-23 2017-04-27 用于光圈模拟的方法、装置、设备及存储媒体

Country Status (4)

Country Link
US (1) US10128284B2 (zh)
EP (1) EP3476113A1 (zh)
CN (1) CN109314742B9 (zh)
WO (1) WO2017222643A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017051722A1 (ja) * 2015-09-24 2017-03-30 ソニー株式会社 固体撮像素子及び電子機器
US10666881B2 (en) 2015-09-24 2020-05-26 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
US10593712B2 (en) * 2017-08-23 2020-03-17 Semiconductor Components Industries, Llc Image sensors with high dynamic range and infrared imaging toroidal pixels
CN111684600B (zh) * 2018-02-05 2023-09-22 Pmd技术股份公司 用于照相机的像素阵列、照相机以及具有这种照相机的光传播时间照相机***
US10334191B1 (en) * 2018-03-02 2019-06-25 Omnivision Technologies, Inc. Pixel array with embedded split pixels for high dynamic range imaging
US10741592B2 (en) * 2018-06-07 2020-08-11 Semiconductor Components Industries, Llc Image sensors with multi-photodiode image pixels and vertical transfer gates
JP2022002229A (ja) * 2018-09-05 2022-01-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および撮像素子
KR102624107B1 (ko) 2018-12-06 2024-01-12 삼성전자주식회사 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치
US11650360B2 (en) * 2019-09-13 2023-05-16 GM Cruise Holdings LLC. Color filter array patterns for enhancing a low-light sensitivity while preserving a color accuracy in image signal processing applications
JP2022067391A (ja) * 2020-10-20 2022-05-06 キヤノン株式会社 光電変換装置、撮像システム、移動体、半導体基板
EP4365561A1 (en) * 2022-11-04 2024-05-08 STMicroelectronics (Research & Development) Limited Ambient light sensor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114105A (zh) * 2006-07-25 2008-01-30 株式会社理光 图像输入装置
CN101405650A (zh) * 2006-03-15 2009-04-08 诺基亚公司 移动相机的光圈结构
CN104241310A (zh) * 2014-09-23 2014-12-24 上海集成电路研发中心有限公司 一种具有双微透镜层的cmos图像像素阵列
CN105378556A (zh) * 2013-07-09 2016-03-02 三星电子株式会社 图像产生设备和方法及非暂时性记录介质
CN105453542A (zh) * 2013-08-21 2016-03-30 高通股份有限公司 用于通过多个图像感测元件俘获图像的***及方法
CN105594197A (zh) * 2013-09-27 2016-05-18 富士胶片株式会社 摄像装置及摄像方法
JP2016103513A (ja) * 2014-11-27 2016-06-02 キヤノン株式会社 撮像素子および撮像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006023547A2 (en) 2004-08-19 2006-03-02 Drs Sensors & Targeting Systems, Inc. Infrared radiation imager having sub-pixelization and detector interdigitation
WO2007011026A1 (ja) * 2005-07-22 2007-01-25 Nikon Corporation 撮像素子、焦点検出装置および撮像システム
EP2009911B1 (en) 2007-06-29 2015-08-26 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
JP4835710B2 (ja) * 2009-03-17 2011-12-14 ソニー株式会社 固体撮像装置、固体撮像装置の製造方法、固体撮像装置の駆動方法、及び電子機器
DE102009049203B4 (de) 2009-10-13 2016-10-13 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Diagnoseeinheit für eine elektronische Kamera und Kamerasystem
US8629868B1 (en) 2010-09-30 2014-01-14 Rockwell Collins, Inc. Systems and methods for simulating depth of field on a computer generated display
JP5956782B2 (ja) 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP5955000B2 (ja) 2012-01-25 2016-07-20 キヤノン株式会社 固体撮像素子、該固体撮像素子を備えた距離検出装置、及びカメラ
US8970740B2 (en) 2012-12-14 2015-03-03 In View Technology Corporation Overlap patterns and image stitching for multiple-detector compressive-sensing camera
US9451152B2 (en) 2013-03-14 2016-09-20 Apple Inc. Image sensor with in-pixel depth sensing
JP6288952B2 (ja) * 2013-05-28 2018-03-07 キヤノン株式会社 撮像装置およびその制御方法
WO2015005672A1 (en) 2013-07-09 2015-01-15 Samsung Electronics Co., Ltd. Image generating apparatus and method and non-transitory recordable medium
US9331118B2 (en) * 2013-09-16 2016-05-03 Omnivision Technologies, Inc. Sensor and method for color photosensor array with shielded, deep-penetration, photodiodes for color detection
JP2015115329A (ja) 2013-12-06 2015-06-22 キヤノン株式会社 撮像素子およびこれを備えた撮像装置
US9395292B2 (en) 2014-01-15 2016-07-19 Datacolor Holding Ag Method and apparatus for image-based color measurement using a smart phone
JP6347621B2 (ja) 2014-02-13 2018-06-27 キヤノン株式会社 固体撮像素子及び撮像装置
JP6562250B2 (ja) * 2015-06-08 2019-08-21 パナソニックＩｐマネジメント株式会社 撮像装置および撮像モジュール
US9711551B2 (en) * 2015-11-09 2017-07-18 Semiconductor Components Industries, Llc Image sensors with color filter windows

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405650A (zh) * 2006-03-15 2009-04-08 诺基亚公司 移动相机的光圈结构
CN101114105A (zh) * 2006-07-25 2008-01-30 株式会社理光 图像输入装置
CN105378556A (zh) * 2013-07-09 2016-03-02 三星电子株式会社 图像产生设备和方法及非暂时性记录介质
CN105453542A (zh) * 2013-08-21 2016-03-30 高通股份有限公司 用于通过多个图像感测元件俘获图像的***及方法
CN105594197A (zh) * 2013-09-27 2016-05-18 富士胶片株式会社 摄像装置及摄像方法
CN104241310A (zh) * 2014-09-23 2014-12-24 上海集成电路研发中心有限公司 一种具有双微透镜层的cmos图像像素阵列
JP2016103513A (ja) * 2014-11-27 2016-06-02 キヤノン株式会社 撮像素子および撮像装置

Also Published As

Publication number Publication date
US20170373105A1 (en) 2017-12-28
CN109314742B9 (zh) 2021-07-02
WO2017222643A1 (en) 2017-12-28
US10128284B2 (en) 2018-11-13
CN109314742A (zh) 2019-02-05
EP3476113A1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN109314742B (zh) 用于光圈模拟的方法、装置、设备及存储媒体
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
EP2351354B1 (en) Extended depth of field for image sensor
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
Galstian Smart mini-cameras
JP6460653B2 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
US20130010086A1 (en) Three-dimensional imaging device and viewpoint image restoration method
JP2009217074A (ja) 焦点検出装置
KR102621115B1 (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
KR20080017597A (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
TWI554104B (zh) 影像資料匯集高動態範圍成像系統及相關方法
US10462352B2 (en) Focus detection apparatus and image pickup apparatus
JP6748477B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP5775918B2 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2016002274A1 (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP6678505B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6467289B2 (ja) 撮像装置およびその制御方法
JP6594048B2 (ja) 撮像装置及びその制御方法
JP2015076754A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6399844B2 (ja) 撮像装置
JP2015023332A (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP5792349B2 (ja) 撮像装置及び撮像装置の制御方法
JP7094767B2 (ja) 撮像装置及びその制御方法並びにプログラム
JP6727856B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261496

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent

Correction item: Claims

Correct: Claim submitted on May 27, 2021

False: Claim submitted on December 1, 2020

Number: 23-01

Page: ??

Volume: 37

CI03 Correction of invention patent