CN210143059U - 图像传感器集成电路、图像传感器以及成像*** - Google Patents

图像传感器集成电路、图像传感器以及成像*** Download PDF

Info

Publication number
CN210143059U
CN210143059U CN201920625366.6U CN201920625366U CN210143059U CN 210143059 U CN210143059 U CN 210143059U CN 201920625366 U CN201920625366 U CN 201920625366U CN 210143059 U CN210143059 U CN 210143059U
Authority
CN
China
Prior art keywords
image
image data
circuit
rectilinear
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201920625366.6U
Other languages
English (en)
Inventor
M·米利纳尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Application granted granted Critical
Publication of CN210143059U publication Critical patent/CN210143059U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

公开了图像传感器集成电路、图像传感器和成像***。所述图像传感器可包括非直线图像像素阵列，所述非直线图像像素阵列可产生非直线图像数据。所述图像传感器可包括重采样电路以将所述非直线图像数据转换为直线图像数据，所述直线图像数据经过优化以用于向用户显示图像。可使用所述图像传感器中的缺陷校正电路、弹性滤波电路和像差校正电路以及与所述图像传感器耦接的图像信号处理器中的去马赛克电路和颜色校正电路来校正该图像数据。另选地，可将所述非直线图像数据发送到所述图像信号处理器，而不将其转换为直线图像数据。例如，机器视觉应用可直接使用和解释非直线图像数据。在这些应用中，图像传感器和图像信号处理器可包括更少部件。

Description

图像传感器集成电路、图像传感器以及成像***
技术领域
本实用新型整体涉及成像设备，并且更具体地讲，涉及图像传感器集成电路、图像传感器和成像***。
背景技术
图像传感器常在电子设备，诸如移动电话、相机和计算机中用来捕获图像。在典型布置中，电子设备设置有图像传感器，该图像传感器具有被布置成像素行和像素列的图像像素阵列。通常将电路耦接到各个像素列以用于读出来自图像像素的图像信号。
传统的成像***采用图像传感器，其中通过被布置成直线拜耳马赛克图案的红色、绿色和蓝色(RGB)图像像素对可见光谱进行采样。然而，采用直线像素阵列的成像***难以制造，得到的折中方案会降低此类***的效率和性能。
因此，可能有利的是能够提供具有改善的效率和性能的成像设备。
实用新型内容
本实用新型所要解决的技术问题是：采用直线像素阵列的传统成像***难以制造，得到的折中方案会降低此类***的效率和性能，因此需要提供具有改善的效率和性能的成像设备。
根据一实施例，本实用新型提供了一种图像传感器集成电路，所述图像传感器集成电路包括：非直线图像像素阵列，所述非直线图像像素阵列被配置为生成非直线图像数据；以及重采样电路，所述重采样电路被配置为将所述非直线图像数据转换为直线图像数据。
根据另一实施例，本实用新型提供了一种图像传感器，所述图像传感器包括：非直线图像像素阵列，所述非直线图像像素阵列被配置为生成非直线图像数据；以及去扭曲电路，所述去扭曲电路被配置为校正所述非直线图像数据中的畸变以产生去扭曲的非直线图像数据，其中，所述去扭曲电路被配置为将所述去扭曲的非直线图像数据输出到图像信号处理器。
根据再一实施例，本实用新型提供了一种成像***，所述成像***被配置为响应于光而生成图像，所述成像***包括：图像传感器和图像信号处理器。所述图像传感器包括：非直线像素阵列，所述非直线像素阵列被配置为生成非直线图像数据，其中，所述非直线像素阵列包括多个图像像素以及散布在所述多个图像像素间的多个冗余像素；以及缺陷校正电路，所述缺陷校正电路被配置为基于来自所述多个图像像素的数据从所述非直线图像数据产生校正的非直线图像数据。所述图像信号处理器被配置为从所述图像传感器接收数据。
本实用新型的技术效果是：根据本实用新型的图像传感器可具有非直线图像像素阵列。非直线图像像素阵列中的图像像素不在完全矩形的栅格中对准，而是相对于直线图像像素阵列中的像素偏移。因此，成像设备具有增强的效果和性能。
附图说明
图1是根据一个实施方案的具有图像传感器的例示性电子设备的示意图，该图像传感器可包括相位检测像素。
图2A是根据一个实施方案的例示性非直线像素阵列的示意图。
图2B是根据一个实施方案的例示性六边形(非直线)像素阵列的示意图。
图2C是根据一个实施方案的具有光敏区的例示性相位检测像素的剖面侧视图，该光敏区具有不同和非对称的角度响应。
图2D是根据至少一些实施方案的示出例示性高动态范围(HDR)六边形像素的示意图。
图2E是根据至少一些实施方案的非直线像素阵列的透视图。
图3是根据一个实施方案的例示性图像传感器的示意图，该图像传感器具有非直线像素阵列并且将直线图像数据输出到图像信号处理器。
图4是根据至少一些实施方案的示出图像传感器中的弹性滤波电路可如何校正图像像素数据的示意图。
图5A是根据至少一些实施方案的示出去马赛克电路可如何基于周围像素的像素值来估计像素值的示意图。
图5B是根据至少一些实施方案的示出去马赛克电路可如何估计像素阵列中的特定位置处的像素值的示意图。
图6和图7是根据至少一些实施方案的例示性图像传感器的示意图，该图像传感器具有非直线像素阵列并且将非直线图像数据输出到图像信号处理器。
具体实施方式
本实用新型的实施方案涉及具有非直线图像传感器像素阵列的图像传感器。
图1中示出了具有数字相机模块的电子设备。电子设备10可以是数字照相机、计算机、移动电话、医疗设备或其他电子设备。相机模块12(有时称为成像设备)可包括图像传感器14和一个或多个透镜28。在操作期间，透镜28(有时称为光学器件28)将光聚焦到图像传感器14上。图像传感器14包括将光转换成数字数据的光敏元件(例如，像素)。图像传感器可具有任何数量(例如，数百、数千、数百万或更多)的像素。典型的图像传感器可例如具有数百万的像素(例如，数兆像素)。例如，图像传感器14可包括偏置电路(例如，源极跟随器负载电路)、采样保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字(ADC)转换器电路、数据输出电路、存储器(例如，缓冲电路)、寻址电路等。
可将来自图像传感器14的静态图像数据和视频图像数据经由路径26提供给图像处理和数据格式化电路16。图像处理和数据格式化电路16可用于执行图像处理功能，诸如自动聚焦功能、深度感测、数据格式化、调节白平衡和曝光、实现视频图像稳定、脸部检测等。例如，在自动聚焦操作期间，图像处理和数据格式化电路16可处理由图像传感器14中的相位检测像素收集的数据，以确定将感兴趣的物体带入焦点中所需的透镜移动(例如，透镜28的移动)的大小和方向。
图像处理和数据格式化电路16也可用于根据需要压缩原始相机图像文件 (例如，压缩成联合图像专家组或JPEG格式)。在典型布置(有时称为片上***(SOC)布置)中，相机传感器14以及图像处理和数据格式化电路16在共用集成电路上实现。
使用单个集成电路来实现相机传感器14以及图像处理和数据格式化电路 16可有助于降低成本。然而，这仅为例示性的。如果需要，相机传感器14以及图像处理和数据格式化电路16可使用单独的集成电路来实现。如果需要，相机传感器14和图像处理电路16可形成在单独的半导体衬底上。例如，相机传感器14和图像处理电路16可形成在已堆叠的单独衬底上。
相机模块12可通过路径18将采集的图像数据传送到主机子***20(例如，图像处理和数据格式化电路16可将图像数据传送到子***20)。电子设备10 通常向用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用程序的能力。为实现这些功能，电子设备10的主机子*** 20可包括存储和处理电路24以及输入-输出设备22，诸如小键盘、输入-输出端口、操纵杆和显示器。存储和处理电路24可包括易失性和非易失性的存储器 (例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路或其他处理电路。
图像传感器有时可设置有高动态范围功能(例如，在低光环境和明亮环境中使用以在低光环境中补偿感兴趣的高光点，反之亦然)。为了提供高动态范围功能，图像传感器14可包括高动态范围像素。
图像传感器还可设置有深度感测能力(例如，以用于自动聚焦应用、3D成像应用诸如机器视觉应用等中)。为了提供深度感测能力，图像传感器14可包括相位检测像素组。如果需要，提供深度感测能力的像素组还可以提供高动态范围功能。
图像传感器可包含被布置成阵列的像素。通常，使用直线图像像素阵列。直线图像像素阵列中的像素可在栅格中对准。具体地讲，直线图像像素阵列可包括成行和成列的图像像素。相邻图像像素可具有对准的中心，从而形成矩形栅格。然而，直线图像像素阵列可难以制造并且产生的图像数据难以处理(例如，图像数据在阵列边缘上可变得模糊不清)。
为了提供增强的效率和性能，图像传感器可具有非直线图像像素阵列。非直线图像像素阵列中的图像像素不在完全矩形的栅格中对准，而是相对于直线图像像素阵列中的像素偏移。图2A至图2E中示出了可使用的例示性非矩形或非直线图像像素阵列和图像像素。
图2A是非直线图像像素阵列200的例示性示意图。非直线图像像素阵列 200可包括图像像素202。如图所示，图像像素202-1形成在第一行中，并且图像像素202-2和202-3形成在与第一行相邻的第二行中。由于阵列200是非直线的，因此图像像素202-2和202-3与图像像素202-1横向地偏移。换句话讲，图像像素202-2和202-3的中心204-2和204-3不与图像像素202-1的中心204-1 对准。该图案可在整个阵列200中重复，从而得到相邻行中的像素的中心不对准的非直线阵列。然而，每隔一行中的像素的中心可对准，如中心204-1和204-5所示。虽然图像像素202在图2A中为圆形，但这仅仅是例示性的。如图2B所示，图像像素202可为被布置成非直线阵列200的六边形图像像素。图像像素 202可为三角形、菱形、梯形、五边形、八边形或任何其他所需的形状。
图像像素阵列200可由响应于红光、绿光和蓝光而生成电荷的红色、绿色和蓝色图像像素202形成。红色、绿色和蓝色图像像素可被布置成非直线拜耳马赛克图案。如此前所述，非直线阵列可具有彼此横向地偏移的相邻像素(例如，相邻图像像素的中心可不对准)。拜耳马赛克图案由重复的2×2个图像像素的单元格组成，其中两个绿色图像像素沿对角线彼此相对，并且邻近与蓝色图像像素沿对角线相对的红色图像像素。在非直线阵列中，拜耳图案还可具有RGB像素202的重复区段，如图2B所示。然而，这仅仅是例示性的。如果需要，图像像素阵列200可由两种类型的图像像素形成，诸如红色和蓝色图像像素(例如，而不是红色、绿色和蓝色图像像素)。一般来讲，图像像素阵列200 可包括青色图像像素、品红色图像像素、黄色图像像素、红外(IR)图像像素、紫外(UV)图像像素或透明图像像素。
图2C是像素阵列200的两个图像像素的例示性剖面侧视图。在图2C中，这两个图像像素形成像素对210。像素对210可包括第一像素和第二像素，诸如像素1和像素2。像素1和像素2可包括光敏区，诸如形成于衬底(诸如硅衬底214)中的光敏区212。例如，像素1可包括相关联的光敏区，诸如光电二极管PD1，并且像素2可包括相关联的光敏区，诸如光电二极管PD2。微透镜可形成在光电二极管PD1和PD2上方，并且可用于将入射光导向光电二极管 PD1和PD2。
在图2C的布置中，微透镜216覆盖两个像素区，该布置有时可称为2×1 或1×2布置，因为有两个相位检测像素被连续地布置在一条直线上。在替代实施方案中，可将三个相位检测像素连续地布置在一条直线上，所以该布置有时可称为1×3或3×1布置。在其他实施方案中，相位检测像素可被分组为2×2或 2×4布置。一般来讲，相位检测像素可以任何所需的方式布置。
滤色器诸如滤色器元件218可插置在微透镜216和衬底214之间。滤色器元件218可通过仅允许预定波长穿过滤色器元件216来过滤入射光(例如，滤色器218可仅透过对应于绿色、红色、蓝色、黄色、青色、品红色、可见光、红外光等的波长)。滤色器218可为宽带滤色器。宽带滤色器的示例包括黄色滤色器(例如，透过红光和绿光的黄色滤色器材料)和透明滤色器(例如，透过红光、蓝光和绿光的透明材料)。一般来讲，宽带滤波器元件可透过两种或更多种颜色的光。光电二极管PD1和PD2可用于吸收由微透镜216聚焦的入射光并且产生对应于所吸收的入射光量的像素信号。
光电二极管PD1和PD2可各自覆盖微透镜216下面的衬底面积的大约一半 (作为示例)。通过仅覆盖衬底面积的一半，每个光敏区可被提供有非对称的角度响应(例如，光电二极管PD1可基于入射光到达像素对210的角度而产生不同的图像信号)。入射光相对于法线轴220到达像素对210的角度(即，入射光相对于透镜216的法线光轴220照射微透镜216的角度)在本文中可被称为入射角或入射角度。
图像传感器可使用前照式成像器布置(例如，当诸如金属互连电路之类的电路插置在微透镜和光敏区之间时)或背照式成像器布置(例如，当光敏区插置在微透镜和金属互连电路之间时)来形成。图2C中的像素1和像素2为背照式图像传感器像素的示例仅仅是例示性的。如果需要，像素1和2可为前照式图像传感器像素。像素是背照式图像传感器像素的布置在本文中有时被描述为示例。
在图2C的示例中，入射光222可源自法线轴220的右侧，并且可以相对于法线轴220的角度224到达像素对210。角度224可被认为是入射光的正角。以正角诸如角度224到达微透镜216的入射光222可朝向光电二极管PD1聚焦。在这种情况下，光电二极管PD1可产生相对高的图像信号，而光电二极管PD2 可产生相对低的图像信号(例如，因为入射光222不朝向光电二极管PD2聚焦)。然而，这仅仅是示例。入射光222可相反源自法线轴220的左侧，并以入射光的负角到达像素对210，并且可朝向光电二极管PD2聚焦(例如，光不朝向光电二极管PD1聚焦)。在这种情况下，光电二极管PD1可产生相对低的图像信号输出，而光电二极管PD2可产生相对高的图像信号输出。
光电二极管PD1和PD2的位置有时可被称为非对称的或位移位置，因为每个光敏区212的中心偏离微透镜216的光轴220(即，不与其对准)。由于衬底214中的单独光电二极管PD1和PD2的不对称形成，每个光敏区212可具有不对称的角度响应(例如，由每个光电二极管212响应于具有给定强度的入射光产生的信号输出可基于入射角而改变)。应当注意，图2C中光电二极管相邻的示例仅仅是例示性的。如果需要，光电二极管可以是不相邻的(即，光电二极管可通过一个或多个居间的光电二极管分隔开)。
来自像素对(诸如像素对210)的输出信号可用于在自动聚焦操作期间调节图像传感器14中的光学器件(例如，一个或多个透镜，诸如图1的透镜28)。可基于来自像素对210的输出信号来确定将感兴趣的对象对焦所需的透镜移动的方向和幅度。
例如，通过创建对来自透镜的一侧或另一侧的光敏感的像素对，可确定相位差。该相位差可用于确定为将感兴趣的对象对焦，图像传感器光学器件应在哪个方向调节以及调节多远。
当对象被聚焦时，来自图像传感器光学器件的两侧的光会聚以产生聚焦图像。当对象位于焦点之外时，光学器件的两侧投影的图像不会重叠，因为它们彼此不同相。通过创建其中每个像素对于来自透镜的一侧或另一侧的光敏感的像素对，可确定相位差。该相位差可用于确定为使图像同相从而对焦感兴趣的对象所需的光学器件移动的方向和幅度。用于确定相位差信息的像素块(诸如像素对210)在本文中有时称为相位检测像素、深度感测像素或相位检测自动聚焦(“PDAF”)图像传感器像素。
可通过将PD1的输出像素信号与PD2的输出像素信号进行比较来计算相位差信号。例如，可通过从PD2的像素信号输出减去PD1的像素信号输出来确定像素对210的相位差信号。对于在小于聚焦物体距离的距离处的物体，相位差信号可为负值。对于在大于聚焦物体距离的距离处的物体，相位差信号可为正值。该信息可用于自动调节图像传感器光学器件以将感兴趣的物体带入焦点中 (例如，通过使像素信号彼此同相)。
根据另一个实施方案，六边形图像传感器像素还可被细分成具有多个相位检测区的光收集区以提供高动态范围(HDR)和PDAF功能。图2D的像素202 可包括第一子像素230-1，该第一子像素可被称为内部子像素。内部子像素230-1 可被第二子像素230-2完全包围，该第二子像素可被称为外部子像素。
在图2D的示例中，像素202的外部子像素区可被分成区域230-2a和 230-2b。半环形微透镜232可形成在每个像素202上方。微透镜232可具有被半环形区包围的中心区234(参见图2D中的虚线区)。按这种方式配置时，图像传感器像素202可提供高动态范围和相位检测自动聚焦功能。
图2D中HDR PDAF像素202被分成两个外部子区的示例仅仅是例示性的，并且不起限制本实用新型实施方案的范围的作用。如果需要，外部子像素230 可被分成至少三个光电二极管区、至少四个光电二极管区、至少六个光电二极管区、或相同或不同形状/面积的任何合适数量的子区。
在另一个合适的布置中，非直线图像像素阵列200可包括可用于图像数据校正的冗余像素。如图2E所示，冗余像素240插置在图像传感器像素202之间。在图2E中，图像传感器像素202可被分割成内部子像素230-1和外部子像素230-2。如此前所讨论，内部子像素230-1和外部子像素230-2可用于为图像传感器像素202提供HDR功能。另外，图像传感器像素可具有七个较小的六边形子区，并且有时可被称为具有棋盘格状六边形组构型或“雪花”构型。然而，图像传感器像素202的形状仅仅是例示性的。图像传感器像素202可为任何所需的形状。例如，图像传感器像素202可为圆形或六边形图像传感器像素。
冗余像素240可分布在整个像素阵列200中，并且可散布在图像传感器像素202间。冗余像素240可被配置为过滤不同波长的光，并且可小于雪花像素 202。冗余像素可在低功率模式和/或低分辨率图像传感器模式下使用，用作红外像素、紫外像素、单色像素或高光像素(在HDR模式下)等。冗余像素240 所生成的数据可用于检查图像传感器像素202所生成的图像数据的准确性和/ 或校正图像传感器像素202所生成的图像数据。例如，可由图像处理电路(诸如图1的图像处理电路16)将来自图像传感器像素202的图像数据与冗余像素240所生成的数据进行比较。如果这两组图像数据在阵列200的特定位置处不匹配，则可将图像数据与周围图像传感器像素所生成的数据进行比较。如果需要，图像处理电路16可产生校正的图像数据(例如，通过对各组图像数据取平均、取代各组图像数据或其他校正方法)。
微透镜(诸如图2E的半环形微透镜242)可形成在图像传感器像素202上方。微透镜242可具有被半环形区包围的中心区244。然而，微透镜242的形状仅仅是例示性的。任何类型的微透镜可用于覆盖图像传感器像素202。
冗余像素240还可由微透镜(诸如微透镜246)覆盖。微透镜246可散布在微透镜242之间，并且可为任何所需的形状，诸如圆形或矩形微透镜。虽然图2E示出了覆盖像素阵列200的微透镜，但这仅仅是例示性的。如果需要，阵列200可保持不被覆盖。
虽然图2A至图2E示出了可用于非直线图像像素阵列200中的不同形状和类型的像素，但如果需要，可使用任何形状或类型的图像传感器像素。
图3中示出了可包括非直线图像像素阵列的例示性相机模块。具体地讲，相机模块12可包括图像传感器14。图像传感器14可包括像素阵列300，该像素阵列可为非直线图像像素阵列，诸如圆形图像像素(图2A)、六边形图像像素(图2B和图2D)或雪花图像像素(图2E)的阵列。像素阵列300可对应于图2A至图2E的像素阵列200。非直线图像像素阵列300内的图像像素可提供 HDR功能、PDAF功能、或者HDR和PDAF功能两者。然而，这些仅仅是示例。一般来讲，任何所需的图像传感器像素可结合到像素阵列300中。
像素阵列300内的像素可被配置为响应于入射光而生成电荷。所生成的电荷可转换为图像数据并且通过路径302输出到缺陷校正电路304。缺陷校正电路304可分析来自像素阵列300的图像数据并且校正任何缺陷。例如，缺陷校正电路304可将像素阵列300内的第一像素(诸如图2E的像素202)所生成的图像数据与像素阵列300内的邻近或周围像素所生成的图像数据进行比较。如果第一像素所生成的图像数据不同于周围像素所生成的图像数据，则可校正图像数据(例如，通过对来自周围像素的图像数据取平均、对来自第一像素和周围像素的图像数据取平均等等而生成第一像素位置的新图像数据)。一般来讲，可由缺陷校正电路304根据任何所需的方法处理和校正图像数据。然后缺陷校正电路304可通过路径306将像素级校正的图像数据(本文也称为校正的图像数据)输出到弹性滤波电路308。弹性滤波电路308的使用可为任选的。
弹性滤波电路308可对所接收到的校正的图像数据执行附加校正操作。具体地讲，弹性滤波电路308可使用子像素或冗余像素所生成的图像数据来校正像素阵列300中的像素所生成的图像数据。例如，图2E的内部子像素230-1和冗余像素240可用于进一步校正像素202所生成的图像数据。
图4中示出了可由弹性滤波电路308执行的例示性校正操作。如图4所示，图像像素202可包括子像素400。具体地讲，图像像素202可包括七个子像素。然而，这仅仅是例示性的。图像像素202可包括少于七个子像素、大于七个子像素或任何所需数量的子像素。图3的弹性滤波电路308可使用每个子像素400 所产生的图像数据来改善与图像像素202相关联的图像数据的准确性和稳健性。例如，弹性滤波电路308可加上由标记为“a”的子像素生成的电荷，加上由标记为“b”的子像素生成的电荷，并且加上由标记为“c”的子像素生成的电荷。然后弹性滤波电路308可对这些值取平均。例如，弹性滤波电路308可对子像素“a”、子像素“b”和子像素“c”所生成的电荷取中值。这三个电荷的中值可用于表示图像像素202所生成的电荷。然而，这仅仅是例示性的。如果需要，可使用平均值，或可对每个子像素所生成的电荷加权。一般来讲，可使用任何所需的平均法。
虽然图4仅示出了使用子像素“a”、子像素“b”和子像素“c”，但这仅仅是例示性的。如果需要，可在计算每个图像像素202处的平均电荷值时使用冗余像素和内部子像素(诸如图2E的冗余像素240和内部子像素230-2)。
弹性滤波电路308可对像素阵列300中的每个像素202进行类似计算，以对校正的图像数据增加稳健性。如图3所示，然后可通过路径310将子像素级校正的图像数据输出到重采样电路312。子像素级校正的图像数据在本文中也可被称为稳健图像数据或冗余像素校正的图像数据。如果任选的弹性滤波电路 308不包括在图像传感器14中，则缺陷校正电路304将通过路径306将校正的图像数据直接输出到重采样电路312。
然后重采样电路312可对稳健图像数据或校正的图像数据提供进一步校正。例如，重采样电路312可包括图像变换电路，该图像变换电路被配置为去扭曲图像数据。重采样电路312可被称为去扭曲电路、去畸变电路或图像变换电路，并且可产生去扭曲的图像数据、去畸变的图像数据或变换的图像数据。用于去扭曲图像数据的重采样电路312的例示性示例可见于鱼眼透镜应用。鱼眼透镜产生具有强视觉畸变的扭曲图像。重采样电路312可变换由具有鱼眼透镜的图像传感器产生的图像数据，以去扭曲该数据并形成去畸变的平面图像。重采样电路312可使用类似的过程，而不论所使用的透镜的类型如何(例如，重采样电路312可用于减少由输出平面图像的透镜产生的图像数据的畸变量)。
一般来讲，重采样电路312被配置为减少畸变和扭曲的量并且产生去畸变的图像数据。当非直线图像像素阵列用于图像传感器14中时，如果需要，重采样电路312可将像素阵列所产生的图像数据变换为直线图像数据。这可通过在传统直线组中表示非直线图像像素阵列所产生的图像数据来进行。如图3所示，重采样电路312可通过路径314将直线图像数据输出到像差校正电路316。
像差校正电路316可对直线图像数据执行波长校正操作。例如，像差校正电路316可将像素阵列300所捕获的光的波长与已知或预计的波长值进行比较 (例如，基于拍摄该图像的设置、手动用户输入或自动校准)。然后可通过修改直线图像数据来校正该数据以反映所需的波长值，并且可产生波长校正的直线图像数据。虽然像差校正电路316和重采样电路312在图3中示出为单独的电路，但这仅仅是例示性的。如果需要，像差校正电路和重采样电路可组合成单个电路。
如图3所示，然后可通过路径18将波长校正的直线图像数据输出到图像信号处理器16。图像信号处理器16可包括去马赛克电路318，该去马赛克电路可通过路径18接收波长校正的直线图像数据。去马赛克电路318可被配置为计算像素阵列300内的每个像素位置的颜色值。具体地讲，像素阵列300中的每个像素可响应于特定波长(例如，特定颜色)的光来生成电荷，而来自周围像素的数据可用于估计每个像素位置处的颜色值。例如，像素阵列300可包括分别响应于红光、绿光和蓝光而生成电荷的红色、绿色和蓝色图像像素。然后去马赛克电路318可估计整个像素阵列300中的每个像素位置处的红色、绿色和蓝色图像数据值以输出RGB图像数据。然而，一般来讲，去马赛克电路318可产生任何所需的颜色空间中的图像数据。例如，去马赛克电路318可产生YUV 图像数据(例如，亮度/色度颜色空间中的数据)。
图5A中示出了去马赛克电路318所执行的操作的示例。如图5A所示，像素阵列300可包括响应于红光、绿光和蓝光而生成电荷并产生图像信号的红色、绿色和蓝色像素202。去马赛克电路318可估计阵列300中的每个像素位置处的红色、绿色和蓝色值。例如，可能希望估计入射在像素500上的绿光的量。如图5A所示，像素500可为红色图像像素。因此，去马赛克电路318必须基于周围像素所产生的图像数据来估计入射在像素500上的绿光的量。由于阵列 300的非直线性质，去马赛克电路318可从如箭头502、504和506所指示的三个不同方向进行该估计。图5B中示出了这三个方向中的第一方向(例如，沿着箭头502)的估计。
如图5B所示，可使用第二红色像素510、第三红色像素520和绿色像素 530所产生的图像数据来估计第一红色像素500处的绿色值。第一红色像素、第二红色像素和第三红色像素所产生的红色值分别被指示为R1、R2和R3。绿色像素所产生的绿色值被指示为G4。在给定这些红色和绿色值中的每一者的情况下，可通过以下方程(1)估计第一红色像素500处的绿色值：
G1＝(R1-(R2+R3)/2))/2+G4 (1)
其中G1是第一红色像素500处的第一估计绿色值。
去马赛克电路318可沿着箭头504和506执行类似操作以确定第一红色像素500处的第二估计绿色值和第三估计绿色值。然后可对第一估计绿色值、第二估计绿色值和第三估计绿色值取平均以确定第一红色像素500的绿色值。去马赛克电路318可重复该过程以估计阵列300中的每个图像像素的红色、绿色和蓝色图像数据。虽然图5A和图5B中示出了红色、绿色和蓝色图像像素及 RGB去马赛克，但这些仅仅是例示性的。任何所需的图像像素可用于像素阵列300中，并且去马赛克电路318可用于确定每个像素位置处的缺失值以产生去马赛克的图像数据。
一旦已完成去马赛克操作，去马赛克电路318就可通过路径320将去马赛克的图像数据输出到颜色校正电路322，如图3所示。颜色校正电路322可将颜色校正矩阵(CCM)应用于去马赛克的图像数据。CCM可例如从去马赛克的图像数据提取附加图像数据。例如，如果仅红色和蓝色图像像素用于像素阵列300 中，则CCM可从红色和蓝色图像数据提取绿色图像数据以生成红色、绿色和蓝色图像数据。CCM可将图像数据转换成标准红色、标准绿色和标准蓝色图像数据(有时统称为线性sRGB图像数据或简称sRGB图像数据)。在一些情况下，可能期望提供额外的降噪(例如，通过将点滤光片应用于sRGB图像数据) 以进一步减少通过将CCM应用于图像数据所生成的噪声放大。在所需的颜色校正步骤之后，颜色校正电路322可输出颜色校正的图像数据。
如图3所示，可通过路径324或通过路径328输出颜色校正的图像数据。如果图像数据将用于机器视觉应用，则可通过路径324将颜色校正的图像数据发送到机器视觉处理电路326。然后机器视觉处理电路326可处理该图像数据以用于任何所需的机器视觉应用，诸如卷积神经网络(CNN)或卷积深度神经网络(CDNN)。例如，机器视觉处理电路326可产生CNN、CDNN或其他机器视觉应用可读取的图像数据(例如，机器可读图像数据)。CNN和CDNN可在安全应用中使用该图像数据。例如，自动CNN可使用该图像数据来评估安全条件。
另选地，如果图像数据将用于显示器视觉应用，则可通过路径328将颜色校正的图像数据发送到显示器视觉处理电路330。显示器视觉处理电路330可准备该图像数据以供用户查看。例如，显示器视觉处理电路330可产生显示器兼容的图像数据。然后可将图像数据输出到与图1的电子设备10相关联的显示器或输出到与外部设备相关联的显示器。
虽然上文结合图3所述的处理电路可用于校正图像数据以供用户查看(例如，通过提供颜色校正、去马赛克等)，但图像数据可用于机器视觉应用，而不必执行此前所述的所有校正步骤。具体地讲，非直线图像数据可与机器视觉应用直接兼容，从而使重采样和像差操作不必要。
如图6所示，可由缺陷校正电路604校正像素阵列600(例如，非直线像素阵列)所产生的图像数据。缺陷校正电路604可以以与此前结合缺陷校正电路304所述的类似的方式校正图像数据。可任选地绕过任选的弹性滤波电路、重采样电路和像差校正电路，并且可通过路径18将校正的图像数据输出到非直线机器视觉处理电路626。非直线机器视觉处理电路626可接收非直线图像数据(例如，未经过重采样电路的图像数据)并且使图像数据准备好用于机器视觉应用(例如，通过产生机器可读图像数据)。例示性机器视觉应用包括卷积神经网络(CNN)或卷积深度神经网络(CDNN)。例如，自动CNN可使用该图像数据来评估安全条件。
虽然可将非直线图像数据直接发送到非直线机器视觉处理电路626，但弹性滤波电路、重采样电路或像差校正电路可用于至少部分地校正非直线图像数据，具体取决于所需的应用。
另外，在一些机器视觉应用中，可能希望输出标准颜色空间(诸如RGB或 YUV)中的图像数据。如图7所示，图像信号处理器16所接收到的图像数据可在发送到非直线机器视觉处理电路726之前由去马赛克电路718进行处理。如此前所述，去马赛克电路718可估计整个像素阵列中的每个像素位置处的图像数据值。在被去马赛克之后，可将图像数据发送到非直线机器视觉处理电路 726以准备好用于机器视觉应用。
已描述了示出具有非直线像素阵列的图像传感器的各种实施方案。还已描述了各种图像处理技术(例如，以用于机器视觉或显示器视觉)。
在各种实施方案中，成像***可包括图像传感器集成电路，该图像传感器集成电路可具有被配置为生成非直线图像数据的非直线图像像素阵列，以及被配置为将非直线图像数据转换为直线图像数据的重采样电路。图像传感器集成电路还可包括像差校正电路，该像差校正电路耦接到重采样电路，并且被配置为对直线图像数据执行波长校正操作。
弹性滤波电路可将子像素级校正的图像数据输出到重采样电路。可通过以下方式产生子像素级校正的图像数据：使用由非直线图像像素阵列中的冗余像素或子像素产生的附加图像数据来校正由非直线图像像素阵列中的图像像素产生的图像数据。
缺陷校正电路可耦接在非直线像素阵列与重采样电路之间。缺陷校正电路可通过以下方式产生像素级校正的非直线图像数据：将由非直线图像像素阵列中的第一像素产生的第一像素数据与由非直线图像像素阵列中的第二像素产生的第二像素数据进行比较。
根据一个实施方案，图像传感器可包括生成非直线图像数据的非直线图像像素阵列及去扭曲电路，该去扭曲电路可用于校正非直线图像数据中的畸变以产生去扭曲的非直线图像数据。这可通过去扭曲或展平图像数据来进行。可将去扭曲的非直线图像数据输出到图像信号处理器。校正图像数据的缺陷校正电路可耦接在非直线图像像素阵列与去扭曲电路之间。缺陷校正电路可通过以下方式校正非直线图像数据：将由非直线图像像素阵列中的第一像素产生的第一像素数据与由非直线图像像素阵列中的第二像素产生的第二像素数据进行比较。
非直线图像像素阵列可包括这样的像素，其具有用于高动态范围功能的内部子像素和外部子像素并且具有用于相位检测和自动聚焦功能的多个光电二极管区。非直线图像像素阵列中的像素可为被布置成非直线拜耳阵列的六边形图像像素。
在各种实施方案中，成像***可包括图像传感器以及从图像传感器接收数据的图像信号处理器。图像传感器可包括产生非直线图像数据的非直线图像像素阵列。非直线图像像素阵列可包括多个图像像素以及散布在各图像像素间的多个冗余图像像素。图像传感器还可包括缺陷校正电路，该缺陷校正电路基于来自图像像素的数据来校正非直线图像数据。
图像信号处理器可包括机器视觉处理电路，该机器视觉处理电路将图像数据处理成机器可读图像数据并将其输出以用于机器视觉应用。机器视觉处理电路可耦接到缺陷校正电路，并且缺陷校正电路可将非直线图像数据输出到机器视觉处理电路。图像信号处理器中的去马赛克电路可耦接在机器视觉处理电路与图像传感器之间。去马赛克电路可被配置为产生非直线像素阵列内的每个像素位置的颜色值。
图像传感器还可包括重采样电路，该重采样电路将非直线图像数据转换为直线图像数据。图像信号处理器还可包括耦接到机器视觉处理电路的颜色校正电路，以及与机器视觉处理电路并联地耦接到颜色校正电路的显示器视觉处理电路。显示器视觉处理电路可将直线图像数据处理成显示器兼容的图像数据。
根据一个实施方案，图像传感器集成电路可包括生成非直线图像数据的非直线图像像素阵列，以及将非直线图像数据转换为直线图像数据的重采样电路。
根据另一个实施方案，图像传感器集成电路还可包括像差校正电路，该像差校正电路耦接到重采样电路，并且对直线图像数据执行波长校正操作。图像传感器集成电路还可包括弹性滤波电路，该弹性滤波电路耦接在重采样电路与非直线图像像素阵列之间，并且将子像素级校正的图像数据输出到重采样电路。
根据另一个实施方案，弹性滤波电路可通过以下方式产生子像素级校正的图像数据：使用由非直线图像像素阵列中的冗余像素产生的附加图像数据来校正由非直线图像像素阵列中的图像像素产生的图像数据。
根据另一个实施方案，图像传感器集成电路还可包括缺陷校正电路，该缺陷校正电路耦接在非直线像素阵列与重采样电路之间，并且从非直线图像数据产生像素级校正的非直线图像数据。缺陷校正电路可通过以下方式产生像素级校正的非直线图像数据：将由非直线图像像素阵列中的第一像素产生的第一像素数据与由非直线图像像素阵列中的邻近第二像素产生的第二像素数据进行比较。
根据另一个实施方案，图像传感器集成电路还可包括弹性滤波电路，该弹性滤波电路耦接到重采样电路，将子像素级校正的图像数据输出到重采样电路，并且通过以下方式产生子像素级校正的图像数据：使用由非直线图像像素阵列中的冗余像素产生的附加图像数据来校正由非直线图像像素阵列中的图像像素产生的图像数据。
根据一个实施方案，图像传感器可包括生成非直线图像数据的非直线图像像素阵列及去扭曲电路，该去扭曲电路校正非直线图像数据中的畸变以产生去扭曲的非直线图像数据，并且将去扭曲的非直线图像数据输出到图像信号处理器。
根据另一个实施方案，非直线图像像素阵列可包括这样的像素，其具有用于高动态范围功能的内部子像素和外部子像素并且具有用于相位检测和自动聚焦功能的多个光电二极管区。非直线图像像素阵列还可包括被布置成非直线拜耳阵列的红色、绿色和蓝色图像像素，并且非直线拜耳阵列可包括六边形图像像素。
根据一个实施方案，成像***可响应于光而生成图像，并且可包括图像传感器，该图像传感器具有生成非直线图像数据的非直线像素阵列。非直线像素阵列可包括多个图像像素以及散布在所述多个图像像素间的多个冗余像素。图像传感器还可包括缺陷校正电路，该缺陷校正电路基于来自所述多个图像像素的数据从非直线图像数据产生校正的非直线图像数据。成像***还可包括图像信号处理器，该图像信号处理器从图像传感器接收数据。
根据另一个实施方案，图像信号处理器可包括机器视觉处理电路，该机器视觉处理电路从校正的非直线图像数据产生机器可读图像数据。机器视觉处理电路可耦接到缺陷校正电路，并且缺陷校正电路可将校正的非直线图像数据输出到机器视觉处理电路。图像信号处理器还可包括耦接在机器视觉处理电路与图像传感器之间的去马赛克电路，并且去马赛克电路可产生非直线像素阵列内的每个像素位置的颜色值。
根据另一个实施方案，图像传感器还可包括将非直线图像数据转换为直线图像数据的重采样电路、耦接到机器视觉处理电路的颜色校正电路、以及与机器视觉处理电路并联地耦接到颜色校正电路的显示器视觉处理电路。显示器视觉处理电路可处理直线图像数据并且产生显示器兼容的图像数据。
上述内容仅仅为例示性的，并且可对所描述的实施方案进行各种修改。上述实施方案可单独实施或以任意组合方式实施。

Claims (10)

1.一种图像传感器集成电路，其特征在于，所述图像传感器集成电路包括：
非直线图像像素阵列，所述非直线图像像素阵列被配置为生成非直线图像数据；以及
重采样电路，所述重采样电路被配置为将所述非直线图像数据转换为直线图像数据。
2.根据权利要求1所述的图像传感器集成电路，其中，所述图像传感器集成电路还包括：
像差校正电路，所述像差校正电路耦接到所述重采样电路，其中，所述像差校正电路被配置为对所述直线图像数据执行波长校正操作；以及
弹性滤波电路，所述弹性滤波电路耦接在所述重采样电路与所述非直线图像像素阵列之间，其中，所述弹性滤波电路被配置为将子像素级校正的图像数据输出到所述重采样电路。
3.根据权利要求2所述的图像传感器集成电路，其中，所述弹性滤波电路被配置为通过以下方式产生所述子像素级校正的图像数据：使用由所述非直线图像像素阵列中的冗余像素产生的附加图像数据来校正由所述非直线图像像素阵列中的图像像素产生的图像数据。
4.根据权利要求2所述的图像传感器集成电路，其中，所述图像传感器集成电路还包括：
缺陷校正电路，所述缺陷校正电路耦接在所述非直线像素阵列与所述重采样电路之间，其中，所述缺陷校正电路被配置为从所述非直线图像数据产生像素级校正的非直线图像数据，并且其中，所述缺陷校正电路被配置为通过以下方式产生所述像素级校正的非直线图像数据：将由所述非直线图像像素阵列中的第一像素产生的第一像素数据与由所述非直线图像像素阵列中的邻近第二像素产生的第二像素数据进行比较。
5.根据权利要求1所述的图像传感器集成电路，其中，所述图像传感器集成电路还包括：
弹性滤波电路，所述弹性滤波电路耦接到所述重采样电路，其中，所述弹性滤波电路被配置为将子像素级校正的图像数据输出到所述重采样电路，并且其中，所述弹性滤波电路被配置为通过以下方式产生所述子像素级校正的图像数据：使用由所述非直线图像像素阵列中的冗余像素产生的附加图像数据来校正由所述非直线图像像素阵列中的图像像素产生的图像数据。
6.一种图像传感器，其特征在于，所述图像传感器包括：
非直线图像像素阵列，所述非直线图像像素阵列被配置为生成非直线图像数据；以及
去扭曲电路，所述去扭曲电路被配置为校正所述非直线图像数据中的畸变以产生去扭曲的非直线图像数据，其中，所述去扭曲电路被配置为将所述去扭曲的非直线图像数据输出到图像信号处理器。
7.根据权利要求6所述的图像传感器，其中，所述非直线图像像素阵列包括这样的像素，该像素具有用于高动态范围功能的内部子像素和外部子像素并且具有用于相位检测和自动聚焦功能的多个光电二极管区，其中，所述非直线图像像素阵列包括被布置成非直线拜耳阵列的红色、绿色和蓝色图像像素，并且其中，所述非直线拜耳阵列包括六边形图像像素。
8.一种成像***，所述成像***被配置为响应于光而生成图像，其特征在于，所述成像***包括：
图像传感器，所述图像传感器包括：
非直线像素阵列，所述非直线像素阵列被配置为生成非直线图像数据，其中，所述非直线像素阵列包括多个图像像素以及散布在所述多个图像像素间的多个冗余像素，以及
缺陷校正电路，所述缺陷校正电路被配置为基于来自所述多个图像像素的数据从所述非直线图像数据产生校正的非直线图像数据；以及
图像信号处理器，所述图像信号处理器被配置为接收来自所述图像传感器的数据。
9.根据权利要求8所述的成像***，其中，所述图像信号处理器包括机器视觉处理电路，其中，所述机器视觉处理电路被配置为从所述校正的非直线图像数据产生机器可读图像数据，其中，所述机器视觉处理电路耦接到所述缺陷校正电路，其中，所述缺陷校正电路被配置为将所述校正的非直线图像数据输出到所述机器视觉处理电路，并且其中，所述图像信号处理器还包括耦接在所述机器视觉处理电路与所述图像传感器之间的去马赛克电路，并且其中，所述去马赛克电路被配置为产生所述非直线像素阵列内的每个像素位置的颜色值。
10.根据权利要求9所述的成像***，其中，所述图像传感器还包括：
重采样电路，所述重采样电路被配置为将所述非直线图像数据转换为直线图像数据；
颜色校正电路，所述颜色校正电路耦接到所述机器视觉处理电路；以及
显示器视觉处理电路，所述显示器视觉处理电路与所述机器视觉处理电路并联地耦接到所述颜色校正电路，其中，所述显示器视觉处理电路被配置为处理所述直线图像数据并且产生显示器兼容的图像数据。
CN201920625366.6U 2018-05-08 2019-04-30 图像传感器集成电路、图像传感器以及成像*** Expired - Fee Related CN210143059U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/974,507 US10931902B2 (en) 2018-05-08 2018-05-08 Image sensors with non-rectilinear image pixel arrays
US15/974,507 2018-05-08

Publications (1)

Publication Number Publication Date
CN210143059U true CN210143059U (zh) 2020-03-13

Family

ID=68464413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201920625366.6U Expired - Fee Related CN210143059U (zh) 2018-05-08 2019-04-30 图像传感器集成电路、图像传感器以及成像***

Country Status (2)

Country Link
US (1) US10931902B2 (zh)
CN (1) CN210143059U (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071035A (zh) * 2021-11-30 2022-02-18 维沃移动通信有限公司 图像传感器、信号处理方法、装置、摄像模组及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
CN106991957B (zh) * 2017-06-07 2020-02-21 京东方科技集团股份有限公司 一种像素结构、显示基板、显示装置和显示方法
CN114143514A (zh) * 2021-11-30 2022-03-04 维沃移动通信有限公司 图像传感器、摄像模组和电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5311337A (en) 1992-09-23 1994-05-10 Honeywell Inc. Color mosaic matrix display having expanded or reduced hexagonal dot pattern
US5416515A (en) * 1992-09-28 1995-05-16 Fuji Photo Film Co., Ltd. Video camera and photometric method therein, image pick-up apparatus and method, and photometric method and focusing control method in said image pick-up apparatus
EP1389876A1 (en) 2002-08-12 2004-02-18 STMicroelectronics Limited Colour image sensor with hexagonal shaped pixels
US20040105021A1 (en) 2002-12-02 2004-06-03 Bolymedia Holdings Co., Ltd. Color filter patterns for image sensors
US20040114047A1 (en) * 2002-12-13 2004-06-17 Vora Poorvi L. Method for transforming an offset sensor array
SE525665C2 (sv) 2003-05-08 2005-03-29 Forskarpatent I Syd Ab Matris av pixlar samt elektronisk bildanordning innefattande nämnda matris av pixlar
KR100674925B1 (ko) 2004-12-07 2007-01-26 삼성전자주식회사 허니콤 구조의 능동 픽셀 센서
EP1679907A1 (en) 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
US20070018073A1 (en) 2005-07-22 2007-01-25 Taiwan Semiconductor Manufacturing Co., Ltd. CMOS image sensor device with beehive pattern color sensor cell array
US7511323B2 (en) 2005-08-11 2009-03-31 Aptina Imaging Corporation Pixel cells in a honeycomb arrangement
KR100818724B1 (ko) 2006-07-19 2008-04-01 삼성전자주식회사 Ｃｍｏｓ 이미지 센서와 이를 이용한 이미지 센싱 방법
JP5163068B2 (ja) 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
US20110317048A1 (en) * 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
JP5687676B2 (ja) * 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
JP6184080B2 (ja) * 2012-11-20 2017-08-23 ソニー株式会社 撮像素子
EP2738812B8 (en) 2012-11-29 2018-07-18 ams Sensors Belgium BVBA A pixel array
US9363425B2 (en) * 2012-12-06 2016-06-07 Semiconductor Components Industries, Llc Color filter arrangements for fused array imaging systems
US9888198B2 (en) 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US9832407B2 (en) 2014-11-26 2017-11-28 Semiconductor Components Industries, Llc Global shutter image sensor pixels having improved shutter efficiency
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly
US10110839B2 (en) 2016-05-03 2018-10-23 Semiconductor Components Industries, Llc Dual-photodiode image pixel
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071035A (zh) * 2021-11-30 2022-02-18 维沃移动通信有限公司 图像传感器、信号处理方法、装置、摄像模组及电子设备
WO2023098552A1 (zh) * 2021-11-30 2023-06-08 维沃移动通信有限公司 图像传感器、信号处理方法、装置、摄像模组及电子设备

Also Published As

Publication number Publication date
US10931902B2 (en) 2021-02-23
US20190349542A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN210143059U (zh) 图像传感器集成电路、图像传感器以及成像***
CN212752379U (zh) 图像传感器和电子设备
EP2279612B1 (en) Camera sensor correction
US9749556B2 (en) Imaging systems having image sensor pixel arrays with phase detection capabilities
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
US9888198B2 (en) Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US8478123B2 (en) Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
WO2021212763A1 (zh) 高动态范围图像处理***及方法、电子设备和可读存储介质
WO2021196553A1 (zh) 高动态范围图像处理***及方法、电子设备和可读存储介质
JP5044673B2 (ja) 固体撮像装置および画像記録装置
JP2008092247A (ja) 固体撮像素子
US9179110B2 (en) Imaging systems with modified clear image pixels
US20170054925A1 (en) Systems and methods for weighted image signal readout
CN114008782A (zh) 图像传感器、摄像头组件及移动终端
TWI795796B (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
WO2022088310A1 (zh) 图像处理方法、摄像头组件及移动终端
US20220279108A1 (en) Image sensor and mobile terminal
CN114424517B (zh) 图像传感器、控制方法、摄像头组件及移动终端
JP2009009971A (ja) 固体撮像装置
Tajbakhsh Color lens shade compensation achieved by linear regression of piece-wise bilinear spline functions
JP2011216730A (ja) 固体撮像素子及びその製造方法並びに撮像装置

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200313

CF01 Termination of patent right due to non-payment of annual fee