CN110959285B - 成像***、成像方法和非瞬时性机器可读存储介质 - Google Patents

成像***、成像方法和非瞬时性机器可读存储介质 Download PDF

Info

Publication number
CN110959285B
CN110959285B CN201880048761.0A CN201880048761A CN110959285B CN 110959285 B CN110959285 B CN 110959285B CN 201880048761 A CN201880048761 A CN 201880048761A CN 110959285 B CN110959285 B CN 110959285B
Authority
CN
China
Prior art keywords
photodiode
photodiodes
light
region
luma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880048761.0A
Other languages
English (en)
Other versions
CN110959285A (zh
Inventor
M·加洛罗·格卢斯金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110959285A publication Critical patent/CN110959285A/zh
Application granted granted Critical
Publication of CN110959285B publication Critical patent/CN110959285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种成像***包含包括像素的传感器。所述像素包括共享共同微透镜的第一和第二光电二极管，所述共同微透镜被配置成将光会聚到所述第一光电二极管的第一区域和所述第二光电二极管的第二区域上。所述第一区域的有效光学中心从所述第一光电二极管的质心偏移。所述第二区域的有效光学中心从所述第二光电二极管的质心偏移。处理器被配置成：接收来自所述第一光电二极管的第一明度值；接收来自所述第二光电二极管的第二明度值；以及对包含所述第一第二明度值的多个明度值进行再取样以提供具有所述第一光电二极管的质心处的光学中心的第一再取样像素的明度和具有所述第二光电二极管的质心处的光学中心的第二再取样像素的明度。

Description

成像***、成像方法和非瞬时性机器可读存储介质
相关申请的交叉引用
无。
关于联邦政府资助的研究或开发的陈述
无。
技术领域
本公开尤其涉及图像传感器。
背景技术
数码相机和许多移动装置(例如，智能电话、平板电脑、膝上型计算机等)包含具有安置于光学组件下游的传感器的成像组合件。典型的光学组件包含一或多个透镜和孔隙。光学组件将场景的光引导到传感器上，传感器测量所述光。处理器处理传感器的测量值(明度和色度值)以产生图像。
为了记录清晰的图像，光学组件将来自场景的光聚焦到传感器上。如果光在传感器的平面处离焦，则传感器将捕获模糊的图像。
发明内容
一种成像***包含包括像素的图像传感器。所述像素包括共享共同微透镜的第一和第二光电二极管。所述共同微透镜被配置成同时将对焦光会聚到第一光电二极管的第一区域上，以及将对焦光会聚到第二光电二极管的第二区域上。第一光电二极管的第一区域的有效光学中心从第一光电二极管的质心偏移。第二光电二极管的第二区域的有效光学中心从第二光电二极管的质心偏移。一或多个处理器被配置成：接收来自第一光电二极管的第一区域的第一明度值；接收来自第二光电二极管的第二区域的第二明度值；以及对包含第一明度值和第二明度值的多个明度值进行再取样以提供具有位于第一光电二极管的质心处的光学中心的第一再取样像素的明度和具有位于第二光电二极管的质心处的光学中心的第二再取样像素的明度。
提供一种利用具有多个像素的传感器的成像方法。所述多个像素中的至少一个包括第一和第二光电二极管。所述方法包括：接收来自第一光电二极管的第一明度值和来自第二光电二极管的第二明度值。第一光电二极管和第二光电二极管共享共同微透镜。共同微透镜被配置成使得来自第一区域的光由第一光电二极管聚集并具有从第一光电二极管的质心偏移的第一位置处的有效光学中心，且使得来自第二区域的光由第二光电二极管聚集并具有从第二光电二极管的质心偏移的第二位置处的有效光学中心。第二位置不同于第一位置。通过在由传感器收集的包含第一明度值和第二明度值的多个明度值之间内插以确定均匀间隔的像素行中的具有位于第一光电二极管的质心处的光学中心的再取样像素的再取样明度值，来执行再取样。
一种成像***包括：用于接收来自共享共同微透镜的多个光电二极管的明度值的装置，使得所述明度值表示由所述多个光电二极管中的每一相应者聚集的光，且由每一相应光电二极管聚集的光具有处于从相应光电二极管的相应质心偏移的相应位置处的有效光学中心。用于对明度值进行再取样的装置在所接收明度值之间内插以估计具有位于所述多个光电二极管中的每一个的相应质心处的相应光学中心的多个再取样像素的相应再取样明度值。
一种非瞬时性机器可读存储介质包括用于处理图像传感器数据的计算机程序代码。所述计算机程序代码包括用于接收来自共享共同微透镜的多个光电二极管的明度值的代码，使得所述明度值表示照射在所述多个光电二极管中的每一相应者上的光，且照射在每一相应光电二极管上的所述光具有从相应光电二极管的相应质心偏移的相应位置处的有效光学中心。所述介质还包括用于通过以下操作对明度值进行再取样的代码：在所接收明度值之间内插以估计具有位于所述多个光电二极管中的每一个的相应质心处的相应光学中心的多个再取样像素的相应再取样明度值。
附图说明
为了清晰和容易阅读，一些图式省略了某些特征的视图。除非另外明确地陈述，否则图式未按比例绘制。
图1示意性地展示捕获场景的移动装置。
图2是如图1所示的移动装置的后视图。
图3是如图1所示的移动装置的框图。
图4是图3的成像***的光学***的示意图。
图5是在场景和如图3所示的移动装置的成像传感器之间延伸的光线的图式。
图6是如图3所示的移动装置的成像传感器的中心区中的两个像素的横截面图。
图7是图6中的两个像素的平面图。
图8是如图3所示的移动装置的成像传感器的平面图。
图9是图8的传感器的***区处的顶部像素的横截面图。
图10是图6的像素的平面上聚焦的光线的横截面图。
图11是图6的光电二极管中的两个的平面图，其具有对焦光的叠加照明区域。
图12是光电响应与相对于图9的两个光电二极管的位置的曲线图。
图13是具有每微透镜四个光电二极管的传感器的中心区中的两个像素的平面图。
图14是图13所示的像素中的一个的光电二极管的平面图。
图15是图13的光电二极管的示意图，其展示所接收光的光学中心。
图16A-16D是沿着图14的相应剖面线15A-15A、15B-15B、15C-15C和15D-15D截取的图14的光电二极管在接收光时的横截面图。
图17是一对光电二极管接收对焦光的示意图。
图18是具有四个光电二极管接收对焦光的像素的示意图。
图19是示例性方法的框图。
具体实施方式
在一些图像传感器中，每一成像像素具有由两个光电二极管共享的微透镜。下文描述的***可利用一些传感器中的微透镜形状来增加从每一像素获得的信息的量。每一光电二极管收集来自不同空间位置的光，且所述微透镜形状致使光会聚到每一光电二极管中的不同有效光学中心上。每一光电二极管的有效光学中心从光电二极管的相应质心偏移。对包含来自共享相同微透镜的两个光电二极管的明度值的多个明度值进行再取样。所述再取样使用内插以提供具有位于每一相应光电二极管的质心处的相应光学中心的再取样像素的明度值。结果为再取样像素数据的均匀间隔的阵列以用于进一步图像处理和显示。
如本文所论述，光电二极管的质心指代在光电二极管的顶部表面或顶部表面的二维投影中的所有点当中具有平均位置的点。
图1展示移动装置100捕获场景10a。移动装置100可包含智能电话101、数码相机121、平板电脑、膝上型计算机、车辆等。如图1和2中所展示，智能手机101可包含显示器102(例如，触摸屏)、一或多个前向成像组合件103和一或多个后向成像组合件104、105、106。数码相机121可包含具有显示器122和透镜组合件123的后向成像组合件107。移动装置100可被配置成显示软按钮108、109。移动装置100可包含硬按钮124。
图1中，移动装置100显示场景10a的图像10b。为了产生所显示图像10b，智能手机101的后向成像组合件104、105、106和数码相机121的透镜组合件123将从场景10a投射的光聚焦到其相应传感器上。传感器测量所接收光的明度(以及对于彩色传感器，红、绿及蓝分量)，且图像信号处理器将表示明度和色度值的数据转换为图像文件。移动装置100致使在显示器102、122上显示图像10b。
移动装置100各自包含处理***。如图3中所示，处理***300可包含一或多个处理器301、易失性存储器302a、非易失性存储器302b、一或多个输入/输出装置304、一或多个传感器305、一或多个用户接口306、一或多个电机/致动器307、一或多个内部数据总线308，以及一或多个外部通信接口309。
尽管图3将处理***300的组件展示为相异的，但处理***300的单一组件可执行多个功能。或者，一或多个组件可执行单个功能。举例来说，触摸屏显示器充当触敏输入装置和显示输出装置。在另一实例中，一些移动装置针对指令和数据使用单个随机存取存储器(RAM)。其它移动装置可具有针对指令和数据的单独RAM。
处理器301可包含一或多个相异处理器，每一处理器具有一或多个核心。所述相异处理器中的每一个可具有相同结构或分别具有不同结构。如果处理器301为通用处理器，则处理器301可由存储器302中的程序代码配置以充当专用处理器且执行特定功能或操作。在一些移动装置中，单个处理器301执行图像处理功能和其它指令处理。其它移动装置包含单独的图像信号处理器。
处理器301可包含一或多个中央处理单元(CPU)、一或多个图形处理单元(GPU)、专用集成电路(ASIC)、数字信号处理器(DSP)等。
存储器302可包含非瞬时性机器可读存储介质，例如易失性存储器302a、非易失性存储器302b，以及能够存储数据的任何其它介质。易失性存储器302a仅在被供应电力时维持数据。非易失性存储器302b可在有或无电力时维持数据，且可包含快闪存储器存储装置、电可擦除可编程只读存储器(EEPROM)、固态驱动器(SSD)等。
易失性存储器302a、非易失性存储器302b和任何其它类型的非瞬时性机器可读存储装置中的每一个可对应于位于一或多个相异位置处且各自具有不同结构的相应地不同的存储器装置。存储器302的实例包含非瞬时性计算机可读介质，例如随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、电可擦除可编程ROM(EEPROM)、例如数字通用光盘(DVD)等任何种类的光学存储盘、
Figure GDA0003020013060000041
盘、磁性存储装置、全息存储装置、硬盘驱动器(HDD)、SSD、可用于存储呈指令或数据结构的形式的程序代码的任何介质等。
本申请中描述的方法、功能和操作可完全或部分以编码有程序代码的有形和非瞬时性机器可读存储介质的形式体现。程序代码将处理器301配置为用于执行所公开的方法或功能的专用处理器。
输入-输出装置304可包含用于接收或发射例如端口和车载信息服务等数据的任何组件。输入-输出装置304可经由
Figure GDA0003020013060000051
以太网等实现有线通信。输入-输出装置304可实现与合适的存储器302的光学、磁性和全息通信。通信接口可经由
Figure GDA0003020013060000052
蜂窝式(例如，长期演进
Figure GDA0003020013060000053
载波感测多址
Figure GDA0003020013060000054
全球移动通信***
Figure GDA0003020013060000055
Figure GDA0003020013060000056
))、近场通信
Figure GDA0003020013060000057
全球定位***(GPS)等实现无线通信。处理器301和存储器302可包含用于执行输入-输出功能的专用处理器和存储器(例如，
Figure GDA0003020013060000058
模块可包含专用处理器、专用存储器和专用天线)。
传感器305可捕获环境的物理测量值且将其报告给处理器301。传感器305可包含激光图像检测和测距(LIDAR)传感器。此外，***可包含加速度传感器、运动传感器、陀螺仪等。
用户接口306实现与移动装置100的用户交互。用户接口306可包含显示器(例如，LED触摸屏)、物理按钮、扬声器、麦克风、键盘等。
电机/致动器307可移动透镜组合件123的任何光学组件以使透镜聚焦来对主体进行成像。内部数据总线308可包含定位于移动装置100(例如，智能手机101、数码相机121、车辆、膝上型计算机等)内的路径。如图3中所示，内部数据总线308可在处理器301和处理***300的其它组件之间发射数据。内部数据总线308可包含印刷在衬底(例如，逻辑电路板)上或以其它方式施加到衬底的导电路径，或单独的总线集成电路。
外部通信接口309可包含无线通信路径和有线通信路径。外部通信接口309可包含因特网连接，从而允许处理***300与可远程定位的第二处理***300通信。
如图3中所示，处理***300的组件可经由内部数据总线308和/或外部通信接口309连接。举例来说，处理器301可被配置成将数据存储在例如位于远程服务器群中的SSD等远程非易失性存储器302b上。作为另一实例，用户接口306可以是触摸屏显示器，其经由
Figure GDA0003020013060000059
或经由印刷在衬底上的导电路径连接到处理器301。
处理***300的组件可以是位于共同位置(例如，单个移动装置外壳和/或单个房间)中的组件。或者，处理***300的组件可经由有线或无线(例如，基于因特网的)通信而地理上分散和连接。
图4是成像组合件400的示意图，所述成像组合件可说明成像组合件103-106或透镜组合件123中的一些或全部，或者移动装置100的其它成像组合件(例如，安装在车辆上的成像组合件/相机)。如下文所论述，成像组合件400包括图像捕获硬件，其包含光学件和成像传感器412。成像组合件400可包含可控制以设定焦距的上游光学件401(例如，主透镜)和成像传感器412内的下游光学件402(例如，微透镜)。成像组合件400可包含外壳或覆盖物组合件，用于围封上游光学件401和下游光学件402。
上游光学件401可被配置成将聚焦光发射到下游光学件402。上游光学件401可包含透镜(例如，凸透镜和/或凹透镜)、反射镜、快门、孔隙、滤光器(例如，彩色或紫外滤光器)等。这些组件中的一些可包含用于自动聚焦调整的电机/致动器。举例来说，处理器301可被配置成：(a)指示电机沿着X轴移动(例如，滑动或致动)上游光学件401的透镜以将入射光403聚焦在下游光学件402上；(b)指示电机使上游光学件401的透镜围绕Z轴旋转以进行自动聚焦调整；(c)控制快门的打开时间以得到特定曝光时间。
处理器301可使用相位检测自动聚焦(PDAF)来控制上游光学件401的电机以捕获图像，使得视场内的所要关注区对焦。
下游光学件402可包含具有光电二极管、微透镜、彩色滤光器和屏障的传感器412(也被称为成像传感器)。成像传感器412可具有Y-Z平面中的矩形(例如，正方形)、环形(例如，圆形)周界。成像传感器412可具有沿着Y轴的宽度、沿着X轴的厚度，和沿着Z轴的高度。
成像传感器412可接收已经通过上游光学件401的光403。光403可通过微透镜和彩色滤光器，然后由光电二极管聚集。当光子接触光电二极管时，光电二极管将光转换为电流。
举例来说，光403的光子可能经由光电效应扰乱光电二极管中的电子。一些受干扰电子可能降落到光电二极管中的电子阱中。降落到电子阱中的电子的数目与通过的光的亮度对应。
由每一光电二极管的电子阱产生的电压可对应于驻留在阱内的电子的数目。通过接收每一电子阱的电压值，处理器301可估计入射到每一光电二极管上的光的亮度。处理器301可使用光的所估计亮度来产生图像文件。
图5是示意图和平面射线图，其示出上游光学件401将光403聚焦在成像传感器412上。上游光学件401已近似为具有光轴502的平凸透镜。
光线403从场景501中的第一对象O1和第二对象O2发出和/或反射。上游光学件401聚焦光403，因此致使来自O1的光线403会聚在成像传感器412上的第一区I1处，且来自O2的光线403会聚在成像传感器412上的第二区I2处。因为第一和第二区I1、I2位于成像传感器412上，所以第一对象O1和第二对象O2两者在成像传感器412的平面上对焦。
图3的处理***300被配置成执行自动聚焦操作。在自动聚焦期间，用户(或处理***300自动)可选择一或多个焦点，例如分别含有对象O1和O2的视场内对应于关注区的区I1和I2中的焦点。处理***300接着基于来自成像传感器412的测量值控制成像组合件400(例如，上游光学件401)的机械调整，使得对应于选定焦点的关注区对焦。
举例来说，处理***300可指示上游光学件401的一或多个组件(a)沿着X轴滑动或(b)围绕Z轴旋转。根据一些实例，上游光学件401被配置成相对于X轴、Y轴和/或Z轴移动(例如，沿着这些轴滑动和/或围绕这些轴旋转)。下文论述用于基于来自成像传感器412的测量值对成像组合件400进行机械控制的示例性技术。
处理***300提供用于接收来自共享共同微透镜的多个光电二极管的明度值的装置，使得所述明度值表示由所述多个光电二极管中的每一相应者聚集的光，且由每一相应光电二极管聚集的光具有处于从相应光电二极管的相应质心偏移的相应位置处的有效光学中心。
图6是成像传感器412中的两个像素640的横截面图。成像传感器412可包含第一层630、第二层620和第三层610。第一层630可包含衬底631、屏障632和具有个别PD634、635的光电二极管(“PD”)群组633。如本文所论述，PD群组633包含共享共同微透镜的所有光电二极管。第二层620可包含一层或多层电介质材料(例如，SiO2或SiO)。第三层610可包含微透镜611和彩色滤光器612的阵列。在图6的实施例中，每一PD群组633包含两个光电二极管634、635。在其它实施例中(例如，如图13所示)，每一像素可具有每微透镜四个光电二极管，且PD群组包含四个光电二极管。
一些传感器(未图示)可具有大体成形为椭圆抛物面或绕转的抛物面的一部分的“理想”微透镜，以将传入的准直光会聚在PD群组的区域的质心处，且增加落在光电二极管的周界内的入射光的百分比。当上游光学件聚焦在主体上时，来自主体上的点的光线会聚在传感器上的点处。
如图6中所展示，其它成像传感器412具有成形为具有从椭圆抛物面或绕转的抛物面的“理想”形状偏离的顶部表面(下文称为“非理想”形状)的微透镜611。术语“非理想”在本文中是为了方便识别而使用，但并不表征所识别微透镜的质量。
非理想微透镜不将光聚焦在单个点处。举例来说，在一些实施例中，微透镜611可具有大体平坦的顶部表面611b，和顶部表面中的弯曲***区611a。在其它实施例中，微透镜的顶部表面611b可稍微弯曲。也就是说，顶部表面611b(如果存在的话)的曲率与弯曲***区611a的曲率相比是更渐进的曲率。在非限制性实例中，顶部表面611b的曲率半径大于或显著大于弯曲***区611a的半径。如本文中所阐释，***可利用非理想微透镜的形状来获得每一PD群组的额外空间信息。微透镜611从“理想”(椭圆抛物面或绕转的抛物面)形状充分偏离以致使传入的准直光会聚在两个不同的位置中，每一相应光电二极管634、635的表面上一个位置。
术语“有效光学中心”描述由光电二极管聚集的光的平均位置。对于具有两个或两个以上光电二极管和单个微透镜的像素，由光电二极管中的一个聚集的光的有效光学中心从由所述光电二极管占据的区域的质心偏移。
当透镜最佳地聚焦在关注区上时，微透镜611致使来自关注区中的点的光会聚在彼此分隔近似0.5乘以像素大小的距离的两个不同的点上。两个不同的点中的第一点位于第一光电二极管上，且两个不同的点中的第二点位于第二光电二极管上。如下文所描述，本文中所描述的***和方法可利用相应光电二极管634、635的有效光学中心的两个位置之间的分隔来获得额外空间信息。
如下文所描述，微透镜611可收集聚焦光且将聚焦光发射到每一PD群组633中的所有光电二极管634、634。微透镜611可被配置成致使光会聚。彩色滤光器612可从相应色彩通道移除不合需要的光谱。举例来说，绿色滤光器612可被配置成阻挡波长小于预定值(例如，505nm)和大于第二预定值(例如，530nm)的光，但准许波长为505-530nm的光。第二层620可提供空间，从而使由微透镜611发射且穿过彩色滤光器612的光能够会聚，如图10中所展示。
衬底631可包含硅衬底、锗衬底、砷化铟镓衬底等。屏障632(也被称为光屏蔽件)可包含从衬底631朝向微透镜611投射的第一部分632a。第一部分632a可被布置成隔离PD群组633内的邻近PD和/或隔离邻近PD群组633。第一部分632a可投射穿过第二层620直至到达彩色滤光器612。或者或另外，屏障632可包含第二部分632b，其延伸到衬底631中以隔离PD群组633内的邻近PD和/或隔离邻近PD群组633。第一和/或第二部分632a、632b可包含电隔离网格片段。确切地说，第二部分632b可以是浅沟槽隔离区或植入物隔离区。
每一PD 634、635可包含多个不同部分。每一PD可包含从衬底631朝向微透镜611延伸的第一部分(例如，634x)和延伸到衬底631中限定的空隙中的第二部分(例如，634y)。为方便起见，第一部分634x仅针对一个PD 634展示，但可包含在本申请中描述的任何PD中。每一PD 634、635可包含例如一或多个涂层、接触件、p-n结、掺杂阱等。
如上文所论述，PD 634、635可被配置成使得入射光的光子使电子朝向电子阱偏置。PD 634、635可被配置成输出其电子阱的电压，所述电压基于入射光子的数目。归因于较大光子密度，较亮的光使较多电子移位到电子阱中，且较暗的光使较少电子移位到电子阱中。如此，每一PD 634、635的电压指示入射在其上的光的亮度。
像素640可包含一个微透镜611、一个彩色滤光器612、一个PD群组633，以及PD群组633内的邻近PD之间的任何屏障632。图6展示两个不同的像素640。PD 634、635的以上描述可应用于每一PD群组633中的PD。如果成像传感器412为单色传感器，则彩色滤光器612可省略。
在图6的实例中，每一微透镜611可包含弧形弯曲***区611a、平坦的顶部表面611b以及平坦或大体平坦的底部表面611c。底部表面611c在PD 634、635上方，且顶部表面611a、611b在底部表面611c上方。在其它传感器实例(未图示)中，微透镜611的顶部表面611b的中心部分近似平坦表面。也就是说，顶部表面611b(如果存在的话)的曲率与弯曲***区611a的曲率相比是更渐进的曲率。微透镜611的形状可以是抛物面、椭圆双曲面、半球体、长球体的半部、球面椭圆体的半部、扁球体的半部，或其它非球面形状。曲率半径rc可为恒定或可变的。微透镜611可具有将由微透镜611接收的准直光分别会聚在每一相应光电二极管中的不同有效光学中心上的任何形状。
在非限制性实例中，顶部表面611b的曲率半径比弯曲***区611a的边沿大得多。举例来说，微透镜611的大体上平坦的中心部分611b可具有比弧形顶部表面611a的***区的曲率半径大约10-50倍的曲率半径。
图7是从图6的剖面线7-7检视的平面图。如果微透镜611在平面图中为圆形，则弯曲***区可以是环形区。每一弯曲***区611a可具有曲率半径为rc的横截面，如图6中所展示。相对于像素640，且如下文进一步论述，微透镜611被配置成会聚光且将会聚的光提供到PD群组633。在图7中，微透镜611至少部分覆盖光电二极管634、635。
像素640的所描绘的结构仅为符合本申请的许多像素结构的实例。
在一些传感器中，单个成像传感器412内的像素640的子组可具有来自剩余像素的不同结构。参看图8，一些像素可安置于成像传感器412的中心区801中，而其它像素可安置于成像传感器412的***区802中。在中心区801中，入射光近似垂直于平坦的顶部表面611b。中心区801可表示成像传感器412的少数或多数部分。图6的像素640可安置于成像传感器412的中心区801中。
在***区802中，且如图9中所展示，传入的准直光901可近似垂直于弯曲***区611a上的点，且因此PD群组633可相对于微透镜611偏移。所述偏移使微透镜611能够将成角度的光会聚到对应于微透镜611的PD群组633上。像素640中的偏移量可基于像素640到中心区801的距离。为了方便读者，除图9以外的图式描绘安置于中心区801中的像素640。
图10展示传入、对焦和准直光1001入射在中心区801(图8)中的像素640上。在图9和10两者中，上游光学件401已经将光901、1001聚焦在成像传感器412上。光901、1001被视为准直的，因为调整透镜使得对应于由用户选择的焦点的关注区(例如，场景501的O2)对焦。
如图10中所展示，每一微透镜611致使准直聚焦光1001会聚，因此光会聚在每一PD634、635的光学区域1004c、1005c上。每一光电二极管634、635的光学区域1004c、1005c为光电二极管的所述区域的被入射光照明的部分。弯曲***区611a致使入射光径向朝内朝向中心轴线C弯曲。入射在平坦顶部表面611b上的光在相同的方向上前进。
图10展示光1001包括三个部分。第一部分1004会聚到第一PD 634的第一区域上。第二部分1005会聚到第二PD 635的第二区域上。第三部分1006入射在屏障632和/或PD634、635之间的区上。
如图10所示，聚焦光1004a、1005a照射在表面区域(微透镜611的顶部表面区域上)。聚焦光如由会聚射线1004b、1005b所指示而会聚。会聚的聚焦光由每一相应光电二极管634、635上的表面区域内的光学区域1004c、1005c聚集。
通过会聚第一PD 634的第一区域和第二PD 635的第二区域的光，微透镜611可致使较大百分比的传入光子照射在PD 634、635上，且由PD 634、635转换为电流。
参考图11，光1004、1005照射在每一相应光电二极管634、635的区域的部分1104、1105(在本文中被称作“光学区域”)上。也就是说，光电二极管634(635)的光学区域1104(1105)为光电二极管的所述区域的聚集通过微透镜611的光的部分。第一和第二光学区域1104、1105中的每一个可对应于场景501中的相应关注区。第一和第二光学区域1104、1105的联合可大致对应于来自微透镜611的视场。第一光学区域1104以虚线展示，且第二光学区域1105以实线展示。第一和第二光学区域1104、1105可具有分隔距离1103的相应的第一和第二有效光学中心1101、1102。如本文中所使用，术语“有效光学中心”指代由光电二极管聚集的光的平均位置。有效光学中心1101、1102可通过以下方式获得：检测贯穿第一和第二光学区域1104、1105的光通量分布函数；个别地对光通量分布函数乘以第一和第二光学区域1104、1105上的y求积分；以及将所述积分分别除以第一和第二区域上的光通量的积分。在图11的实例中，由于对称性的缘故，认为z坐标与相应光电二极管的质心的z坐标相同。有效光学中心1101、1102的y坐标
Figure GDA0003020013060000111
由等式(1)给出。
Figure GDA0003020013060000112
其中I为差分区域dydz上的光通量，且在光电二极管的相应光学区域上对每一相应光电二极管的双积分求积分。
如图11中所展示，通过微透镜611的左和右部分的光束可重叠。换句话说，入射在第一PD 634上的光1004可包含来自场景501的第一区域的光线，且入射在第二PD635上的光1005可包含来自场景501的第二区域的光线。场景501的所述第一和第二区域可部分重叠，但非重叠区域提供每一PD 634、635中的额外空间信息。由第二光电二极管635聚集的光的量可不同于由第一光电二极管634聚集的光的量。随着有效光学中心1101、1102之间的距离1103增加，额外空间信息的量增加。随着有效光学中心1101、1102之间的距离1103接近光电二极管634和635之间的质心到质心距离，信息(对于具有每微透镜两个光电二极管的传感器)的量接近具有每微透镜单个光电二极管的传感器所提供的信息的两倍。随着距离1103接近零，信息(对于具有每微透镜两个光电二极管的传感器)的量接近具有每微透镜单个光电二极管的传感器所提供的相同信息量。
参看图12和19，图3的处理***300可在自动聚焦期间应用有效光学中心1101、1102之间的距离。每一成像像素提供可用于成像和相位检测自动聚焦(PDAF)两者的第一光电二极管和第二光电二极管。如上文所论述，处理***300具有PDAF块302c(图3)，其提供用于基于使用所述多个光电二极管中的至少两者确定的相位差产生透镜的透镜定位信号的装置。PDAF块302c检测到达所述多个光电二极管中的第一个的光和到达所述多个光电二极管中的第二个的光之间的相位差。PDAF块302c产生用于定位透镜的透镜定位信号，使得到达所述多个光电二极管中的第一个的光和到达所述多个光电二极管中的第二个的光之间的相位差具有预定非零值。
强度分布1201是多个连续PD群组633的多个连续且相同定向的第一PD 634的响应。强度分布1202可以是相同连续PD群组633的多个连续且相同定向的第二PD 635的示例性响应。对于具有“理想”抛物面形微透镜的传感器(未图示)，峰-峰距离1203为相位差(相位差异)，且在最佳聚焦时为零。对于本文所论述的“非理想”传感器，峰-峰距离1203在透镜最佳聚焦时具有非零值。
归因于由每一PD群组633的第一和第二PD 634、635感测到的重叠光学信息，强度分布1201和1202的形状是类似的。图12的水平轴对应于沿着特定轴线(例如，图10的Y轴)的像素位置。图12的竖直轴线对应于PD响应(例如，电子阱中测得的亮度或沉积的电子)。强度分布1201、1202的类似特征之间的距离为峰-峰距离1203。如本文中所使用，水平和竖直涉及图12的曲线图，且不必对应于任何特定轴线。
如下文进一步论述，处理***300可产生对应于左和右(和/或顶部和底部)相位检测像素的来自单个曝光周期的像素数据。每一数据集合可包含两个强度分布1201、1202。每一强度分布1201、1202可包含共享共同微透镜的相应PD的值。举例来说且如下文所论述，邻近PD群组633可正交。也就是说，两个PD群组633的相应微透镜611围绕X轴旋转彼此成90度的角(其中图11中展示X、Y和Z轴)。如此，一些像素640可用于沿着Y轴的自动聚焦；当透镜对焦时，通过单个微透镜的光会聚在分别具有不同Y值的两个有效光学中心上。其它像素(未图示)可用于沿着Z轴的自动聚焦；当透镜对焦时，通过单个微透镜的光会聚在分别具有不同Z坐标的两个有效光学中心上。强度分布1201可因此仅包含来自在共同方向上定向的第一PD 634的测量值(例如，有效光学中心分别具有不同Y坐标)。
下文进一步论述的图19的一些操作通常致使成像组合件400以机械方式调整直至峰-峰距离1203(也被称为相位差)达到(例如，近似达到)预定值。所述预定值可以是已知尺寸1203(也被称为最小相位差)，其表示当来自关注区的光最佳聚焦时有效光学中心1104、1105之间的距离。可在制造成像传感器412时确定最小相位差。如上文所论述，具有大体上平坦顶部表面611b的微透镜611将光会聚在相应PD 634和635的两个不同区域上，从而产生最佳焦距处的非零最小相位差。
每一像素640的PD群组633可包含任何合适数目个PD 634、635。在图13-15和18中，每一PD群组633可包含四个不同PD 634a、634b、635a、635b。屏障632可布置成交叉样式以沿着Y和Z轴分隔群组633中的邻近PD。如图14中所展示，单个屏障632可包含多个不同且非接触的子屏障632w、632x、632y、632z。
如图13和15中所展示，共同微透镜611(图13)可产生具有第一、第二、第三和第四有效光学中心1501、1502、1503、1504(图15)的四个不同光学区域(未图示)。当入射光最佳聚焦时，邻近有效光学中心之间的Z坐标的差可为尺寸1505，且邻近有效光学中心之间的Y轴距离可为尺寸1506。
除PD群组633和屏障632的较小形状和布置外，参考图6-11中的两个PD像素640描述的任何和所有特征都可应用于图13-15中的四个PD像素640。
图16A、16B、16C、16D展示沿着图14的相应剖面线15A-15A、15B-15B、15C-15C和15D-15D截取的横截面。聚焦且准直的入射光1001(图10中展示)包含第一、第二、第三、第四和第五部分1511-1515。
第一部分1511入射在第一PD 634a上。第二部分1512入射在第二PD 635a上。第三部分1513入射在第三PD 634b上。第四部分1514入射在第四PD 635b上。入射在屏障632和/或邻近PD 634、635之间的空间上的第五部分1515不由光电二极管634a、634b、635a、635b中的任一个聚集。
成像传感器412可包含任何数目(例如，数百万)的像素640。在一些实施例中，每一像素640可包含两个PD。或者，每一像素640可包含四个PD。在各种实例中，每一像素640可包含任何合适数目个PD(例如，8或16)。在一些实施例中，每一像素640可包含相同数目的PD。或者，不同像素640可包含不同数目的PD(例如，一些像素可包含一个PD，其它像素可包含两个PD，且其它像素可包含四个PD)。
每一像素640可具有红色、绿色或蓝色滤光器612，或者如果传感器为单色传感器则无彩色滤光器。彩色滤光器可布置成任何合适的样式(例如，Bayer样式)。尽管未图示，成像传感器412的总面积的仅一部分被像素640占据。成像传感器412的其它部分可包含用以测量像素640的输出的电路(例如，水平和垂直寄存器)。此外，邻近像素640可通过电路分离。
两个PD像素：如果存在多个两个PD像素640，则每一PD群组633的第一和第二PD634、635可布置于相同方向中。或者，一些PD群组633可相对于其它PD群组633旋转。举例来说，一半的PD群组633可具有图11中展示的定向(PD在y方向中分离)，且另外一半的PD群组633可具有垂直于图11中展示的定向的定向(例如PD在z方向中分离)。或者，成像传感器412可主要包括具有左PD和右PD的像素，且以具有顶部PD和底部PD的像素稀疏地填充。此布置实现二维中的自动聚焦。
因此，且参考图12，可收集相位检测强度分布：第一强度分布对应于图11的定向中的第一PD 634，第二强度分布对应于图11的定向中的第二PD 635，第三强度分布对应于垂直于图11的定向的第一PD 634，且第四强度分布对应于垂直于图11的定向的第二PD 635。在此情况下，处理***300可执行自动聚焦以使相位差最小化，对应于将第一和第二强度分布的峰部放置成相隔预定最小距离和/或将第三和第四强度分布的峰部放置成相隔预定距离。
四个PD像素：如果包含多个四个PD像素640，则获得相同结果。举例来说，第一强度分布可对应于第一PD 634a，第二强度分布可对应于第二PD 635a，第三强度分布可对应于第三PD 634b，且第四强度分布可对应于第四PD 635b。***可确定自动聚焦期间像素640的PD 634a、635a、634b、635b中的任何两个之间的相位差。举例来说，自动聚焦***可确定第一强度分布的峰部和第二、第三或第四强度分布的峰部之间的相位差。第二强度分布可与第一、第三或第四强度分布进行比较。第三强度分布可与第一、第二或第四强度分布进行比较。第四强度分布可与第一、第二或第三强度分布进行比较。
图19是展示处理***300可被配置成执行的一系列操作的流程图，所述操作为：(a)使用例如相位检测自动聚焦成像组合件400，以及(b)使用来自具有非理想微透镜(例如，具有平坦顶部表面611b)和顶部表面的弯曲***区611a的像素640的额外空间信息增强成像组合件400的分辨率。图19是符合本申请的操作的仅一个实例。
在框1802处，可由用户(例如，通过触碰显示器102、122上的区中的焦点)或由处理***300自动选择传感器的视场内的一或多个关注区。每一关注区可对应于待聚焦的场景501的二维区域。或者或另外，每一焦点可对应于一或多个像素640(处理***300可存储将每一选定焦点链接到相应像素群组640的映射)。
在框1804处，起始自动聚焦操作以使来自关注区的光聚焦在成像传感器412的平面处。举例来说，处理***300可命令成像组合件400使成像传感器412暴露于入射光。在每一像素内，通过像素的微透镜的光会聚在像素的每一光电二极管的光学区域上。
因为不同的彩色滤光器612影响测得的明度，所以处理***300可正规化像素640的响应。举例来说，处理***300可(a)将绿色滤光器612下方的PD的响应乘以第一值(例如，一)，(b)将蓝色滤光器612下方的PD的响应乘以第二值，以及(c)将红色滤光器612下方的PD的响应乘以第三值。可应用除乘法以外的运算符。
在框1806处，处理***300可确定每一PD群组中的PD之间的相位差。在框1806处，处理***300可确定左PD 634a和右PD 635a之间的相位差，和/或顶部PD 634b和底部PD634a之间的差。
在框1808处，处理***300可将相位差与对应于传感器的视场内的关注区的最佳聚焦的预定最小相位差值进行比较。为此目的，相位差对应于由左光电二极管和右光电二极管检测到的光强度峰部之间的尺寸例如峰-峰距离1203(图12)。如上文所论述，在理想抛物面微透镜的情况下，最佳聚焦处的相位差为零，但对于扁平的非理想微透镜，最佳聚焦处的相位差为非零值。处理***300可存储对应于不同类型的PD的一或多个预定值。如上所陈述，所述预定值可在制造时确定。预定最小相位差值可以是入射光1001对焦时光学中心之间的距离。当所有像素640相同地定向且包含两个PD(即，全部左和右PD，或全部顶部和底部PD)时，预定值可以是图11的距离1103。当所有像素640包含四个PD时，值可以是图15的距离1505和1506。
在框1810处，处理***300可命令成像组合件400基于相位差中的一或多个而聚焦。处理***300基于测得的相位差和最佳聚焦处的最小相位差之间的比较确定透镜定位命令。处理***300可被配置成执行框1810，使得在基于透镜定位命令调整透镜之后，左和右光电二极管之间的相位差大体上等于预定最小相位差值。框1804-1810可表示相位检测自动聚焦技术。
在框1811中，处理***300控制移动装置100来捕获图像。传感器电压置零，且成像传感器412暴露于来自关注区的入射光持续曝光周期，所述曝光周期可由处理器301自动确定。成像传感器412的光电二极管根据由每一像素接收的光的强度累积电荷。
在框1812中，处理***300可执行一或多个内插技术以对像素640的测量值(例如，表示明度值的电压值)进行再取样以对应于一组均匀间隔的像素值，所述组均匀间隔的像素值可使用针对均匀间隔的像素阵列的图像处理技术来处理。
在框1814处，处理***300可将内插值保存为图像文件。在一些实施例中，再取样的图像数据根据针对具有均匀间隔的像素的均匀间隔的传感器阵列的图像处理链进行处理，且保存在联合摄影专家组(JPEG)或标签图像文件格式(TIFF)中。举例来说，图像处理操作可包含去马赛克、白平衡、串扰减少、噪声减少、锐化、图像滤波、透镜假影或缺陷校正等。
原始和非内插测量值(表示每一PD的明度值的电压)可在RAW格式文件中输出。或者，成像传感器412可包含芯片上电路以执行双线性或双三次内插来对图像数据进行再取样，并以RAW文件格式输出再取样的图像数据。
在框1816处，处理***300可：对原始数据进行再取样且存储再取样(内插)结果；和/或(b)命令显示器的显示元件(例如，LED、OLED)基于每一经处理图像像素而点亮。
在框1818处，处理***300可经由外部通信接口309发射图像文件。
图像可表示为具有多个显示像素的二维矩阵。每一显示像素可对应于图像的分辨率单位，且可包含RGB数据或明度和色度数据。RGB数据包含红色值、绿色值和蓝色值。显示图像的处理***300可接着基于每一RGB坐标照明液晶显示器(LCD)或发光二极管(“LED”)(例如OLED、微LED)。
除色彩内插技术外，处理***300还可对图像数据进行再取样，使得每一再取样行中的像素均匀地间隔。如上文在图15的论述中陈述，微透镜611致使光会聚在位置1501-1504处居中的位置上。位置1501-1504(有效光学中心)从每一光电二极管634a、634b、635a、635b的二维区域的质心偏移。邻近光电二极管634a、634b、635a、635b之间的有效光学中心之间的距离1505可短于像素的大小的二分之一(即，小于邻近微透镜之间的质心到质心距离的二分之一)。光电二极管634a、634b、635a、635b的光学中心1501-1504和相邻像素(未图示)中的最接近光电二极管的光学中心之间的距离比像素的大小的二分之一长。因此，沿着行的连续光电二极管的有效光学中心之间的距离在短-长-短-长之间交替。
因为许多图像处理技术基于像素之间的均匀间隔，所以通过再取样(例如，使用内插)以提供均匀间隔的再取样像素来实现分辨率增强。再取样像素的数目可等于光电二极管的数目，且每一再取样像素可位于相应光电二极管的质心处。
处理***300的再取样块302d(图3)提供用于通过以下操作对明度值进行再取样的装置：在所接收明度值之间内插以确定具有位于所述多个光电二极管中的每一个的相应质心处的相应光学中心的多个再取样像素的相应再取样明度值。
举例来说，处理***300的再取样块302d可执行双线性或双三次内插以估计或近似位于PD 634、635、634a、635a、634b、635b的质心处的再取样像素将如何响应于相同场景。因为再取样像素本身均匀间隔，所以再取样图像数据对应于具有每一光电二极管的质心的位置处的一组均匀间隔的像素的阵列。也就是说，再取样像素的位置可与相应光电二极管的位置匹配。对于具有每像素两个光电二极管(即，每微透镜两个光电二极管)的传感器，再取样图像数据提供具有每微透镜一个光电二极管的类似大小的传感器的分辨率的一倍和两倍之间的增强的分辨率。(分辨率增强的量取决于第一光电二极管的有效光学中心和第二光电二极管的有效光学中心之间的距离。有效光学中心之间的较大距离产生较大分辨率增强。)类似地，对于具有每像素四个光电二极管的传感器，再取样图像数据提供具有每微透镜一个光电二极管的类似大小的传感器的分辨率的一倍和四倍之间的分辨率。
对于双三次内插，使用来自至少五个光电二极管的照度值，包含对于其正计算再取样像素的第一PD，以及第一PD的左侧、右侧、顶侧和底侧上的邻近PD。举例来说，参看图18，使用双三次内插，PD 634a、634b、635a、PD 634a左侧的第五PD 1711，以及PD 634a下方的第六PD 1712的明度值(全部在其相应有效光学中心1501-1503处测量)可用于找到位于光电二极管634a的质心1701处的再取样像素的再取样明度值。
或者，使用双线性内插，使用至少三个PD的照度值，包含对于其正计算再取样像素的PD的左侧或右侧的邻近PD，以及对于其正计算再取样像素的PD的上方或下方的邻近PD。举例来说，PD 634a、PD 1711和PD 1712在其相应光学中心处的明度值可用于找到位于光电二极管634a的质心1701处的再取样像素的再取样明度值。
两个PD像素：参看图17，第一PD 634可具有第一质心1601且第二PD 635可具有第二质心1602。在框1812期间，处理***300可执行上文描述的双三次或双线性内插来估计具有光电二极管634的二维区域的质心1601处的光学中心的再取样像素的再取样明度值。
处理***300可执行上文所论述的相同双三次或双线性内插技术来估计具有光电二极管635的二维区域的质心1602处的光学中心的再取样像素的再取样明度值。有效光学中心1101、1102的位置和再取样PD的相应位置1601、1602之间的距离1603和1604可以是相等的量值且相反的符号。
每一像素640的内插取决于微透镜611和PD群组633之间的偏移量。处理***300可在所有像素640上执行此内插以对成像传感器412中的所有像素640进行再取样。
四个PD像素：参看图18，第一到第四PD 634a、635a、634b、635b可具有第一到第四质心1701-1704。在框1812中，处理***300可执行内插来估计或近似在光1501-1504的光学中心分别位于质心1701-1704的情况下第一到第四PD 634a-635b的明度值。
每一距离1705、1706的量值对于每一PD 634a-635b可相等，且符号可相应地调整。例如：PD 634b可具有负第一距离1705和负第二距离1706，而PD 635a可具有正第一距离1705和正第二距离1706。PD 634a和635b可各自具有一个正距离和一个负距离。如果每一PD634a-635b为正方形，则第一和第二距离1705、1706的量值可相等。
在两个PD案例和四个PD案例两者中，每一像素640的内插取决于微透镜611和PD群组633之间的偏移量。处理***300可在所有像素640上执行此内插。
虽然本文中所描述的特征、方法、装置和***可以各种形式体现，但在图式中展示且在上文描述一些示例性和非限制性实施例。本公开中所描述的一些组件是任选的，且一些实施方案可包含除本公开中明确地描述的组件以外的额外组件、与本公开中明确地描述的组件不同的组件，或比本公开中明确地描述的组件少的组件。关系术语(例如，下部、水平、向上、向下、底部等)是为了方便理解图式而提供，且不限制本公开的标的物。
标的物已利用说明性实例进行描述。所要求的发明不限于这些实例。可对所要求的发明作出改变和修改，而不脱离其精神。希望权利要求书涵盖此类改变和修改。

Claims (21)

1.一种成像***，其包括：
图像传感器，其包括像素，所述像素包括共享共同微透镜的第一和第二光电二极管，所述共同微透镜被配置成同时将对焦光会聚到所述第一光电二极管的第一区域上且将对焦光会聚到所述第二光电二极管的第二区域上，所述第一光电二极管的所述第一区域的有效光学中心从所述第一光电二极管的质心偏移，所述第二光电二极管的所述第二区域的有效光学中心从所述第二光电二极管的质心偏移；以及
一或多个处理器，其被配置成：
接收来自所述第一光电二极管的所述第一区域的第一明度值；
接收来自所述第二光电二极管的所述第二区域的第二明度值；以及
对包含所述第一明度值和所述第二明度值的多个明度值进行再取样以提供具有位于所述第一光电二极管的所述质心处的光学中心的第一再取样像素的明度值和具有位于所述第二光电二极管的所述质心处的光学中心的第二再取样像素的明度值。
2.根据权利要求1所述的成像***，其中所述第一光电二极管和所述第二光电二极管被配置成在单个曝光周期期间产生第一和第二明度值。
3.根据权利要求2所述的成像***，其中所述共同微透镜至少部分覆盖所述第一光电二极管和所述第二光电二极管中的每一个。
4.根据权利要求2所述的成像***，其中所述共同微透镜包括所述第一光电二极管和所述第二光电二极管上方的底部表面以及所述底部表面上方的顶部表面，所述顶部表面包括***区和中心区；
所述***区具有曲率，且所述中心区为大体上平坦的或具有比所述***区的所述曲率更渐进的曲率。
5.根据权利要求1所述的成像***，其中所述一或多个处理器被配置成通过以下操作对所述多个明度值进行再取样：
使用所述第一明度值和所述第二明度值执行内插以提供第一和第二再取样像素；以及
在所述第一和第二再取样像素上执行图像处理。
6.根据权利要求1所述的***，其中所述再取样包含对包含所述第一明度值和所述第二明度值的明度值执行双线性内插。
7.根据权利要求6所述的***，其中所述一或多个处理器被配置成基于所述再取样像素处理图像，所述图像的分辨率大于所述图像传感器中的微透镜的总数。
8.根据权利要求7所述的***，其中所述一或多个处理器被配置成处理所述图像使得所述第一再取样像素的所述明度值和所述第二再取样像素的所述明度值彼此不同。
9.根据权利要求1所述的***，其中所述一或多个处理器被配置成基于从所述第一和第二光电二极管确定的相位差值执行相位检测自动聚焦。
10.一种利用具有多个像素的传感器进行成像的方法，所述多个像素中的至少一个包括第一和第二光电二极管，所述方法包括：
接收来自所述第一光电二极管的第一明度值和来自所述第二光电二极管的第二明度值，其中所述第一光电二极管和所述第二光电二极管共享共同微透镜，所述共同微透镜配置成使得来自第一区域的光由所述第一光电二极管聚集且具有从所述第一光电二极管的质心偏移的第一位置处的有效光学中心，且使得来自第二区域的光由所述第二光电二极管聚集且具有从所述第二光电二极管的质心偏移的第二位置处的有效光学中心，所述第二位置不同于所述第一位置；以及
通过在由所述传感器收集的包含所述第一明度值和所述第二明度值的多个明度值之间内插来进行再取样，以确定位于均匀间隔的像素行中的所述第一光电二极管的质心处的像素的再取样明度值。
11.根据权利要求10所述的方法，其中，在所述再取样之后，来自所述传感器的再取样明度值集合的分辨率大于所述传感器上的微透镜的总数。
12.根据权利要求10所述的方法，其中所述第一区域和所述第二区域是场景中的部分重叠区。
13.根据权利要求10所述的方法，其中所述内插包含双线性内插或双三次内插。
14.根据权利要求10所述的方法，其中所述共同微透镜包括所述第一光电二极管和所述第二光电二极管上方的底部表面以及所述底部表面上方的顶部表面，所述顶部表面包括***区和中心区；
所述***区具有曲率，且所述中心区为大体上平坦的或具有比所述***区的所述曲率更渐进的曲率。
15.根据权利要求10所述的成像方法，其进一步包括基于使用所述第一光电二极管和所述第二光电二极管确定的相位差值执行相位检测自动聚焦。
16.一种成像***，其包括：
用于接收来自共享共同微透镜的多个光电二极管的明度值的装置，使得所述明度值表示由所述多个光电二极管中的每一相应者聚集的光，且由每一相应光电二极管聚集的所述光具有从所述相应光电二极管的相应质心偏移的相应位置处的有效光学中心；以及
用于通过以下操作对所述明度值进行再取样的装置：在所接收明度值之间内插以确定具有位于所述多个光电二极管中的每一个的相应质心处的相应光学中心的多个再取样像素的相应再取样明度值。
17.根据权利要求16所述的成像***，其进一步包括用于基于使用所述多个光电二极管中的至少两者确定的相位差产生透镜的透镜定位信号的装置。
18.根据权利要求17所述的成像***，其中所述用于产生所述透镜的透镜定位信号的装置被配置成：
检测到达所述多个光电二极管中的第一个的光和到达所述多个光电二极管中的第二个的光之间的相位差；以及
产生用于定位所述透镜的所述透镜定位信号，使得到达所述多个光电二极管中的所述第一个的光和到达所述多个光电二极管中的所述第二个的光之间的相位差具有预定非零值。
19.根据权利要求16所述的成像***，其中所述用于接收明度值的装置被配置成接收来自所述多个光电二极管中的第一个和所述多个光电二极管中的第二个的明度值。
20.一种非瞬时性机器可读存储介质，其包括用于处理图像传感器数据的计算机程序代码，所述计算机程序被处理器执行以进行以下步骤：
接收来自共享共同微透镜的多个光电二极管的明度值，使得所述明度值表示由所述多个光电二极管中的每一相应者聚集的光，且由每一相应光电二极管聚集的所述光具有从所述相应光电二极管的相应质心偏移的相应位置处的有效光学中心；以及
通过以下操作对所述明度值进行再取样：在所接收明度值之间内插以估计具有位于所述多个光电二极管中的每一个的相应质心处的相应光学中心的多个再取样像素的相应再取样明度值。
21.根据权利要求20所述的存储介质，其中所述计算机程序被处理器执行以进一步进行产生透镜位置命令用于调整透镜直至由所述多个光电二极管中的第一个接收的光和由所述多个光电二极管中的第二个接收的光之间的相位差达到预定非零值。
CN201880048761.0A 2017-08-07 2018-06-22 成像***、成像方法和非瞬时性机器可读存储介质 Active CN110959285B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/670,728 US10567636B2 (en) 2017-08-07 2017-08-07 Resolution enhancement using sensor with plural photodiodes per microlens
US15/670,728 2017-08-07
PCT/US2018/039123 WO2019032208A1 (en) 2017-08-07 2018-06-22 ENHANCED RESOLUTION USING MULTI-PHOTODIOD SENSOR BY MICROLENGTH

Publications (2)

Publication Number Publication Date
CN110959285A CN110959285A (zh) 2020-04-03
CN110959285B true CN110959285B (zh) 2021-07-06

Family

ID=63080460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880048761.0A Active CN110959285B (zh) 2017-08-07 2018-06-22 成像***、成像方法和非瞬时性机器可读存储介质

Country Status (3)

Country Link
US (1) US10567636B2 (zh)
CN (1) CN110959285B (zh)
WO (1) WO2019032208A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019041352A (ja) * 2017-08-29 2019-03-14 キヤノン株式会社 撮像装置及び撮像システム
US10998365B2 (en) 2019-01-30 2021-05-04 Samsung Electronics Co., Ltd. Image sensor
US10886318B2 (en) 2019-01-30 2021-01-05 Samsung Electronics Co., Ltd. Image sensor
JP2021040088A (ja) * 2019-09-05 2021-03-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
KR20210080875A (ko) * 2019-12-23 2021-07-01 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
CN115696083A (zh) * 2021-07-13 2023-02-03 爱思开海力士有限公司 图像感测装置
CN114136591B (zh) * 2021-11-26 2023-09-08 广东工业大学 一种微透镜阵列超精密加工误差评定方法与***
CN117097335B (zh) * 2023-10-18 2024-01-26 南京天易合芯电子有限公司 一种高灵敏度接近光检测传感器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934483A (zh) * 2003-11-13 2007-03-21 计量仪器股份有限公司 支持窄域和宽域模式照明和图像捕捉的手持式基于成像的条形码符号阅读器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
JP5229060B2 (ja) * 2009-03-31 2013-07-03 ソニー株式会社 撮像装置および焦点検出方法
JP5513623B2 (ja) * 2010-08-24 2014-06-04 富士フイルム株式会社 固体撮像装置
EP2618585B1 (en) 2010-09-13 2016-07-27 Fujifilm Corporation Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
JP5737971B2 (ja) * 2011-01-28 2015-06-17 キヤノン株式会社 固体撮像装置およびカメラ
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP6120508B2 (ja) 2011-10-03 2017-04-26 キヤノン株式会社 撮像素子および撮像装置
WO2013183382A1 (ja) 2012-06-07 2013-12-12 富士フイルム株式会社 撮像素子及び撮像装置
JP5529928B2 (ja) * 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
US20150062422A1 (en) 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Lens alignment in camera modules using phase detection pixels
US9445018B2 (en) 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
US20160295122A1 (en) 2015-04-03 2016-10-06 Canon Kabushiki Kaisha Display control apparatus, display control method, and image capturing apparatus
US9854150B2 (en) * 2015-10-27 2017-12-26 Blackberry Limited Auto-focus control in a camera to prevent oscillation
CN106982328B (zh) * 2017-04-28 2020-01-10 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934483A (zh) * 2003-11-13 2007-03-21 计量仪器股份有限公司 支持窄域和宽域模式照明和图像捕捉的手持式基于成像的条形码符号阅读器

Also Published As

Publication number Publication date
US20190045111A1 (en) 2019-02-07
CN110959285A (zh) 2020-04-03
WO2019032208A1 (en) 2019-02-14
US10567636B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110959285B (zh) 成像***、成像方法和非瞬时性机器可读存储介质
CN108141571B (zh) 无掩模相位检测自动聚焦
US9883128B2 (en) Imaging systems with high dynamic range and phase detection pixels
TWI535292B (zh) 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
US10284769B2 (en) Image sensor with in-pixel depth sensing
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
US9881951B2 (en) Image sensors with phase detection pixels
US20170347042A1 (en) Imaging systems with high dynamic range and phase detection pixels
US10397465B2 (en) Extended or full-density phase-detection autofocus control
US10593712B2 (en) Image sensors with high dynamic range and infrared imaging toroidal pixels
JP6064040B2 (ja) ライトフィールドの取り込み及び操作を改善するための光学系の最適化
US9363425B2 (en) Color filter arrangements for fused array imaging systems
US20180301484A1 (en) Image sensors with high dynamic range and autofocusing hexagonal pixels
US9202833B2 (en) Imaging systems with baffle grids
US20170374306A1 (en) Image sensor system with an automatic focus function
WO2018084916A1 (en) Optimized phase detection autofocus (pdaf) processing
KR102624107B1 (ko) 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치
CN109981939A (zh) 成像***
US9787889B2 (en) Dynamic auto focus zones for auto focus pixel systems
WO2023016144A1 (zh) 对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质
KR20220063575A (ko) 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
EP3700192A1 (en) Imaging device and signal processing device
US20180288306A1 (en) Mask-less phase detection autofocus
US10931902B2 (en) Image sensors with non-rectilinear image pixel arrays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant