CN209345244U - 成像***和相机模块 - Google Patents

成像***和相机模块 Download PDF

Info

Publication number
CN209345244U
CN209345244U CN201822136723.0U CN201822136723U CN209345244U CN 209345244 U CN209345244 U CN 209345244U CN 201822136723 U CN201822136723 U CN 201822136723U CN 209345244 U CN209345244 U CN 209345244U
Authority
CN
China
Prior art keywords
image
image sensor
picture signal
light
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201822136723.0U
Other languages
English (en)
Inventor
保罗·詹姆士·凯恩
罗宾·布莱恩·詹金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Application granted granted Critical
Publication of CN209345244U publication Critical patent/CN209345244U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种成像***和相机模块。所述成像***被配置为响应于光而生成图像，所述成像***包括：双色图像传感器；单色图像传感器；和分束器，所述分束器将所述光的第一部分导向到所述双色图像传感器并且将所述光的第二部分导向到所述单色图像传感器。

Description

成像***和相机模块
技术领域
本发明整体涉及成像***和相机模块，并且更具体地讲，涉及具有多个图像传感器的成像设备。
背景技术
图像传感器常在电子设备，诸如移动电话、相机和计算机中用来捕获图像。在典型布置中，电子设备设置有图像传感器，该图像传感器具有被布置成像素行和像素列的图像像素阵列。通常将电路耦接到各个像素列以读出来自图像像素的图像信号。
传统的成像***采用单个图像传感器，其中通过被布置成拜耳马赛克图案的红色、绿色和蓝色(RGB)图像像素对可见光谱进行采样。拜耳马赛克图案由 2×2个图像像素的重复单元组成，其中两个绿色像素沿对角线彼此相对，并且其他角部为红色和蓝色。采用拜耳马赛克图案的成像***具有有限的灵敏度和空间分辨率。
因此可能有利的是能够提供具有改善的图像捕获和处理能力的成像设备。
实用新型内容
本申请提供的成像***和相机模块，具有改善的图像捕获和处理能力。
根据第一方面，提供一种成像***，被配置为响应于光而生成图像，所述成像***包括：双色图像传感器；单色图像传感器；和分束器，所述分束器将所述光的第一部分导向到所述双色图像传感器并且将所述光的第二部分导向到所述单色图像传感器。
根据第二方面，提供一种相机模块，被配置为响应于光而生成图像，所述相机模块包括：双色图像传感器，所述双色图像传感器具有第一图像传感器像素阵列；单色图像传感器，所述单色图像传感器具有第二图像传感器像素阵列；和透镜，所述透镜聚焦所述光，其中所述双色图像传感器被配置为接收所聚焦的光的第一部分，并且所述单色图像传感器被配置为接收所聚焦的光的第二部分。
根据第三方面，提供一种成像***，被配置为响应于光而生成图像，所述成像***包括：双色图像传感器，所述双色图像传感器具有第一组图像传感器像素和第二组图像传感器像素，所述第一组图像传感器像素被配置为响应于第一颜色的光而生成第一图像信号，所述第二组图像传感器像素被配置为响应于与所述第一颜色不同的第二颜色的光而生成第二图像信号；单色图像传感器，所述单色图像传感器具有一组宽带图像传感器像素，其中所述组宽带图像传感器像素被配置为响应于第三颜色的光而生成第三图像信号；和处理电路，所述处理电路被配置为对所述第一图像信号、所述第二图像信号和所述第三图像信号执行滤波操作，所述滤波操作增加与第一图像信号、所述第二图像信号和所述第三图像信号相关联的噪声相关性。
附图说明
图1是根据一个实施方案的具有成像***的示例性电子设备的示意图。
图2是根据一个实施方案的具有宽带单色图像传感器和双色图像传感器两者的示例性相机模块的示意图。
图3是根据一个实施方案的具有红色和蓝色滤波器像素的示例性像素单元格。
图4是根据一个实施方案的具有宽带滤波器像素的示例性像素单元格。
图5是根据一个实施方案的可由图1-图4所示类型的成像***执行以生成单色或彩色图像的示例性步骤的流程图。
图6是根据一个实施方案的可由成像***中的处理电路执行以产生彩色图像的示例性步骤的流程图。
图7是根据一个实施方案的可由成像***中的处理电路执行以对从经滤波的像素阵列接收的图像信号进行去马赛克和滤波的示例性步骤的流程图。
图8是根据一个实施方案的可由成像***中的处理电路执行以将点滤光片应用于从经滤波的像素阵列接收的图像信号的示例性步骤的流程图。
图9是根据一个实施方案的采用图1的实施方案的处理器***的框图。
具体实施方式
电子设备(诸如数字相机、计算机、蜂窝电话、视频摄像机、安全摄像机和其他电子设备)包括图像传感器，该图像传感器收集入射光以捕获图像。图像传感器可包括图像像素阵列。图像传感器中的像素可包括光敏元件，诸如，将入射光转换为图像信号的光电二极管。图像传感器可具有任何数量(例如，数百或数千或更多)的像素。典型的图像传感器可例如具有数十万或数百万像素(例如，数兆像素)。图像传感器可包括控制电路(诸如，用于操作图像像素的电路)和用于读出图像信号的读出电路，该图像信号与光敏元件所产生的电荷相对应。读出电路可包括耦接至每个像素列的可选择读出电路，可启用或禁用该可选择读出电路以减少设备中的功率消耗并改善像素读出操作。
图1是示例性成像和响应***的示意图，该***包括使用图像传感器捕获图像的成像***。作为示例，图1的***100可以是电子设备，诸如相机、蜂窝电话、视频摄像机、或捕获数字图像数据的其他电子设备，可以是车辆安全***(例如，主动制动***或其他车辆安全***)，或者可以是监视***。
如图1所示，***100可包括成像***(诸如成像***10)和主机子*** (诸如主机子***20)。成像***10可包括相机模块12。相机模块12可包括一个或多个图像传感器36以及一个或多个透镜34。
相机模块12中的每个图像传感器可相同，或者，在给定图像传感器阵列集成电路中可以有不同类型的图像传感器。在图像捕获操作期间，每个透镜34 可将光聚焦到相关联的图像传感器36上，或者每个透镜34可将光聚焦到多个图像传感器36上。图像传感器36可各自包括将光转换成数字数据的光敏元件 (即，像素32)的一个或多个阵列30。图像传感器可具有任何数量(例如，数百、数千、数百万或更多)的像素。像素32在本文中有时可称为图像像素32 或图像传感器像素32。典型的图像传感器可例如具有数百万的像素(例如，数兆像素)。可使用互补金属氧化物半导体(CMOS)技术或电荷耦合器件(CCD)技术或任何其他合适的光敏设备，在半导体衬底中形成图像像素32。图像像素32 可为前照式(FSI)图像像素或背照式(BSI)图像像素。
可将来自图像传感器36的静态图像数据和视频图像数据经由路径28提供给图像处理和数据格式化电路16。图像处理和数据格式化电路16可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝光、实现视频图像稳定、脸部检测等。图像处理和数据格式化电路16也可用于根据需要压缩原始相机图像文件(例如，压缩成联合图像 专家组格式或简称JPEG格式)。在典型布置(有时称为片上***(SOC)布置)中，相机传感器36以及图像处理和数据格式化电路16在共用半导体衬底(例如，共用硅图像传感器集成电路管芯)上实现。如果需要，相机传感器36和图像处理电路16可形成在单独的半导体衬底上。例如，相机传感器36和图像处理电路16可形成在已堆叠的单独衬底上。
成像***10(例如，图像处理和数据格式化电路16)可通过路径18将采集的图像数据传送到主机子***20。主机子***20可包括处理软件，该处理软件用于检测图像中的物体、检测物体在图像帧之间的运动、确定图像中物体的距离、过滤或以其他方式处理成像***10提供的图像。
如果需要，***100可向用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用程序的能力。为实现这些功能，*** 100的主机子***20可具有输入-输出设备22(诸如小键盘、输入-输出端口、操纵杆和显示器)以及存储和处理电路24。存储和处理电路24可包括易失性和非易失性的存储器(例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器，等等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。
如果需要，可在单个相机模块中使用不止一个图像传感器以允许相机模块改变输出图像的空间和光谱分辨率。具有两个图像传感器的示例性相机模块示于图2中。如图2所示，入射光202可透过透镜204，从而将光朝向分束器206 导向。分束器206可将入射光202分成第一光部分208和第二光部分210。双色图像传感器212(在本文中有时称为色度图像传感器、彩色图像传感器、双色图像传感器、两色图像传感器、二色图像传感器、或颜色图像传感器)可从分束器206接收第一光部分208，并且可向处理电路216输出对应的双色图像数据imgch(有时称为色度图像数据、彩色图像数据、双色图像数据、两色图像数据、二色图像数据、RB图像数据、或有色图像数据)。单色图像传感器214 (在本文中有时称为照度图像传感器、亮度图像传感器、宽带图像传感器、单色图像传感器、宽带单色图像传感器(broadbandmonochromatic image sensor)、或宽带单色图像传感器(broadband monochrome imagesensor))可从分束器206 接收第二光部分210，并且可向处理电路216输出对应的单色图像数据imgm(在本文中有时称为单色图像数据、亮度图像数据、照度图像数据、透明图像数据、或白色图像数据)。处理电路216可具有输出端218，并且可在输出端218上输出最终图像imgf。如果需要，最终图像imgf可由主机处理器24或***100中的其他处理电路进一步处理。
发送到双色图像传感器212以及发送到单色图像传感器214(例如，分别为第一光部分208和第二光部分210)的光的量可由分束器206控制。例如，分束器206可被配置为将一半光发送到每个传感器，将60％的光发送到单色图像传感器214并且将40％的光发送到双色图像传感器212，将70％的光发送到单色图像传感器214并且将30％的光发送到双色图像传感器212，或者将多于 70％的光发送到单色图像传感器214并且将少于30％的光发送到双色图像传感器212。然而，这些比例仅仅是示例性的。分束器206可被配置为在第一光部分208和第二光部分210之间以任何期望的比例分离光。如果需要，分束器206 可以是光谱中性的，从而允许光独立于其波长透过分束器，并且在光透过分束器206时保持光的颜色。在一些实施方案中，分束器206可以是二色性的，使得第一光部分208可具有与第二光部分210不同的光谱。在一些实施方案中，分束器206可使入射在分束器206上的光偏振，使得第一光部分208可沿第一方向偏振，并且第二光部分210可沿第二方向偏振。
色度图像传感器212和单色图像传感器214可各自包括相应的像素阵列，诸如图1的像素阵列30。色度图像传感器212和单色图像传感器214中的像素阵列30可各自设置有对应的滤色器阵列(在本文中有时称为滤色器阵列或滤色器元件阵列)。作为示例，图3示出可结合到色度图像传感器212中的滤色器阵列300。如图3所示，滤色器阵列300包含滤色器元件302的重复图案。每个滤色器元件可与下面的阵列30中的对应像素32重叠(例如，每个滤色器元件可将对应颜色的光传递到下面的光电二极管)。
滤色器阵列通常允许单个图像传感器使用被布置成拜耳马赛克图案的红色、绿色和蓝色图像传感器像素对对应的红光、绿光和蓝光(RGB)进行采样。拜耳马赛克图案由重复的2×2个图像像素的单元格组成，其中两个绿色图像像素沿对角线彼此相对，并且邻近与蓝色图像像素沿对角线相对的红色图像像素。尽管拜耳马赛克图案在捕获RGB信号方面是有效的并且因此具有有效的光谱分辨率，但是该图案可抑制最终图像的空间分辨率。因此可能希望能够提供具有改善的捕获图像的方式的图像传感器。
在一个合适的示例中，图像像素可具有蓝色和红色图像滤波器元件302，如图3所示。这些蓝色和红色图像滤波器元件可分别与下面的阵列中的蓝色和红色图像像素重叠。如图3所示，滤色器302的单元格312可由彼此对角相对的两个红色(R)滤色器以及彼此对角相对的两个蓝色(B)滤色器形成。单元格312 可在整个滤色器阵列300内重复以形成红色和蓝色滤色器302的马赛克。红色图像像素(例如，由红色滤色器重叠的像素)可响应于红光而生成红色图像信号，并且蓝色图像像素(例如，由蓝色滤色器重叠的像素)可响应于蓝光而生成蓝色图像信号。
图3的单元格312仅仅是示例性的。如果需要，可在单元格312中使用任何滤色器元件。例如，单元格312可由彼此对角相对形成的两个红色滤波器元件和彼此对角相对形成的两个绿色滤波器元件限定。在另一种合适的布置中，单元格312可由彼此对角相对形成的两个蓝色滤波器元件和彼此对角相对形成的两个绿色滤波器元件限定。然而，这仅仅是示例性的。单元格312可包括任何期望的滤波器元件，诸如青色滤波器元件、品红色滤波器元件、黄色滤波器元件、红外(IR)滤波器元件、或紫外(UV)滤波器元件。这些滤波器元件可分别与青色图像像素、品红色图像像素、黄色图像像素、红外(IR)图像像素或紫外(UV) 图像像素重叠并且相对应。如果需要，一些图像像素可不包括滤色器元件。不包括滤色器元件的图像像素以及设置有透明滤色器元件的图像像素有时可称为透明像素、白色像素、透明图像像素、或白色图像像素。如果需要，单元格312 可由彼此水平或竖直相邻形成的一种颜色的两个元件，以及同样彼此水平或竖直相邻形成的第二颜色的两个元件限定。该元件与相邻单元格中的元件对准以形成竖直或水平条图案，或者可从相邻单元格中的元件偏移以形成棋盘图案。
图4示出可结合到单色图像传感器214中的滤色器阵列400的示例。如图 4所示，滤波器阵列400包含滤波器元件402。每个滤波器元件可与下面的像素阵列30中的像素32中的一者重叠并且相对应。
如图4所示，滤波器阵列400可包括宽带滤波器402，该宽带滤波器与单色图像传感器214中的像素阵列30的宽带图像像素(在本文中有时称为白色(W) 图像像素或透明图像像素)重叠。单元格412中的宽带滤波器402可利用视觉透明滤色器形成，该滤色器透射整个可见光谱内的光(例如，宽带滤波器402 可将光传递到下面的宽带像素)然而，宽带滤波器402不限于使白光透过的滤波器。使两种或更多种颜色的光(例如，选自包含红光、蓝光和绿光的集合的两种或更多种颜色的光)透过的滤波器元件有时在本文中称为“宽带”滤波器元件。例如，被配置为使红光和绿光透过的黄色滤色器元件以及被配置为使红光、绿光和蓝光通过的透明滤色器元件在本文可称为宽带滤波器元件或宽带滤色器元件。相似地，包括宽带滤色器元件(例如，黄色或透明滤色器元件)并且因此对两种或更多种颜色的光(例如，选自包括红光、蓝光和绿光的集合的两种或更多种颜色的光)敏感的图像像素有时在本文中可称为宽带像素或宽带图像像素。相比之下，“着色”像素在本文可用于指代主要对一种颜色的光(例如，红光、蓝光、绿光或任何其他合适颜色的光)敏感的图像像素。
宽带滤波器402可具有天然敏感度，该天然敏感度由形成透明滤色器的材料和/或形成图像传感器像素的材料(例如，硅)限定。如果需要，可通过使用光吸收剂(诸如宽带滤波器402中的颜料)调整宽带图像像素的灵敏度以获得更佳的颜色再现特性和/或噪声特性。
虽然滤波器阵列400被示为仅具有图4中的宽带滤波器402，但滤波器阵列400可具有任何颜色的滤波器(例如，包括宽带滤波器)。例如，滤波器阵列 400可包括可分别对应于黄色图像像素、红外图像像素或紫外图像像素的黄色滤波器、红外(IR)滤波器或紫外(IR)滤波器。一般来讲，可使用任何宽带滤波器和对应的宽带图像像素(例如，响应于不止两种颜色的光的图像像素)。这允许单色图像传感器214产生空间分辨率比由双色图像传感器212产生的图像信号高的图像信号(例如，由于由传感器214生成的图像信号无需去马赛克来提取任何缺失像素位置的图像信号，因为传感器214中的所有像素都具有相同类型的滤色器元件)。
图5示出可由处理电路(诸如图1的处理电路16和主机处理电路24)执行以处理由图像传感器214和212中的经滤波像素阵列收集的图像信号的示例性步骤的流程图。图5的步骤可例如由处理电路16和主机处理电路24执行以减小图像信号中的噪声。
在步骤500处，图像传感器212和214(图2)可从场景捕获图像信号。由图像传感器214捕获的图像信号可包括响应于用宽带图像像素聚集的光而生成的单色图像信号，而由传感器212捕获的图像信号可包括响应于使用两组不同彩色图像像素聚集的光而生成的色度图像信号。图像信号可被转换为对应的数字图像数据。例如，单色图像传感器214可捕获宽带(W')图像数据，而色度图像传感器212可捕获红色(R’)和蓝色(B’)图像数据(例如，使用图3所示类型的滤波器布置)。这仅仅是示例性的，并且一般来讲，由色度传感器212收集的图像数据可包括任何期望的颜色(例如，具有比由单色传感器214生成的宽带信号的光谱响应值更低的光谱响应值)。在一个示例中，由传感器212中的第一组图像像素生成的图像信号(图像数据)(例如，由红色像素生成的红色图像信号)可具有第一光谱响应值(作为由第一组图像像素接收的光的频率的函数的积分信号功率电平)，由传感器212中的第二组图像像素生成的图像信号(图像数据)(例如，由蓝色像素生成的蓝色图像信号)可具有第二光谱响应值，并且宽带图像信号(图像数据)可具有第三光谱响应值，该第三光谱响应值是例如比第一图像信号宽的光谱响应(例如，比第一光谱响应值和第二光谱响应值的总和宽的光谱响应)。在另一个示例中，第三光谱响应值可大于第一光谱响应值和第二光谱响应值的总和的75％(例如，对于具有标准CIE光源E的可见光光谱上的等能量辐射器具有宽灵敏度的宽带图像信号)。图像信号可具有与由每个图像像素捕获的光的量对应的图像值(像素值)(例如，红色图像信号可包括红色图像值，蓝色图像信号可包括蓝色图像值，宽带图像信号可包括宽带图像值等)。图像传感器212和214可基于收集的图像信号来产生图像数据(例如，在将模拟图像信号转换为数字图像数据之后)，并且图像数据可被传送到处理电路16以用于图像处理。例如，图2的彩色图像数据imgch可包括图5的红色(R’) 和蓝色(B’)图像数据，而图2的单色图像数据imgm可包括图5的宽带(W’) 图像数据。
在步骤502处，处理电路16可选择期望单色图像还是彩色图像作为输出。该选择可由处理电路16基于图像传感器的应用自动确定，或者可由图像传感器的用户选择。
如果期望单色图像，则成像***可进行到步骤506，如路径504所示。在步骤506处，处理电路16(图2)可对宽带图像数据W'执行任何期望的处理操作(例如，对比度调整操作、白平衡操作、伽马校正操作、亮度调整操作等) 以生成对应的宽带图像W。由于宽带图像W中的所有像素值都是宽带像素值，因此宽带图像W也是单色图像。在步骤508处，处理电路16可输出单色宽带图像W作为最终图像imgf(如图2所示)。输出单色宽带图像可被传递到其他处理电路，诸如主机处理电路24(图1)，传递到显示设备，传递到存储器以便存储，或传递到其他地方。
如果期望彩色图像，则处理可进行到步骤512，如路径510所示。在步骤512处，处理电路16可对蓝色图像数据B'、红色图像数据R'和宽带图像数据 W'执行处理操作以生成最终彩色图像。最终彩色图像可包括响应于W’、B’和 R’图像数据而生成的像素值。例如，最终彩色图像可包括RGB图像或sRGB 图像，该RGB图像或sRGB图像在从W’、B’和/或R’图像数据的组合生成的所有像素位置处具有去马赛克像素值。在步骤514处，处理电路16可输出彩色图像作为最终图像imgf(如图2所示)。输出彩色图像可被传递到其他处理电路，诸如主机处理电路24(图1)，传递到显示设备，传递到存储器以便存储，或传递到其他地方。
图6示出可由处理电路(诸如图2的处理电路16)执行以处理由单色图像传感器214产生的宽带图像数据以及由双色图像传感器212产生的彩色图像数据以生成最终彩色图像的示例性步骤的流程图。可例如在处理图5的步骤512 时执行图6的步骤。
在步骤102处，可对宽带图像数据、红色图像数据和蓝色图像数据执行白平衡操作。在图6的示例中，可产生白平衡的红色图像数据(R)、白平衡的蓝色图像数据(B)、以及全分辨率宽带图像数据(W)。全分辨率数据W可例如是红色和蓝色图像数据的分辨率的两倍(例如，因为宽带图像数据包括在每个像素位置处的像素值，而色度图像数据中的仅一半像素值是红色像素值)。
在步骤104处，处理电路16可对色度滤波器去马赛克并将该色度滤波器应用于白平衡的图像数据以从白平衡的图像数据中提取色度去马赛克红色和蓝色图像数据。色度滤波器可应用于对白平衡图像数据进行色度去噪。处理电路16 可例如对图像数据去马赛克，并且同时、按顺序或以散布方式应用色度滤波器。应用色度滤波器并对图像数据去马赛克的该过程有时在本文可被称为“色度去马赛克”。色度滤波器可增加每种颜色的图像数据之间的噪声相关性(例如，红色、宽带和蓝色通道中的噪声起伏可以相关方式一起增加或减少)。例如，处理电路16可将红色、宽带和蓝色图像数据之间的相关噪声增加至高达与红色、宽带和蓝色图像数据相关联的所有噪声的70％或更大。
通过增加噪声相关性，处理电路16可减少将CCM应用于图像数据时所生成的噪声放大的量。对图像数据色度去马赛克可允许从可用图像数据确定缺失的彩色图像数据(例如，不是由图像像素生成的颜色的图像信号)。在该示例中，因为在单元格312(图3)中没有使用绿色滤色器，所以从所收集的图像数据中可能缺失绿色图像数据。可使用宽带、红色和蓝色图像数据(例如，通过执行减法操作)来确定绿色图像数据。一般来讲，可使用可用图像数据来确定主要添加颜色(例如，红色、绿色和蓝色)。可能期望产生红色、绿色和蓝色图像数据，而不管在图像像素阵列30上使用的滤色器，因为显示***通常使用红色、绿色和蓝色像素来显示图像。
在步骤106处，处理电路16可将颜色校正矩阵(CCM)应用于红色图像数据、宽带图像数据和蓝色图像数据。CCM可例如从宽带图像数据中提取绿色图像数据以生成红色、绿色和蓝色图像数据。例如，CCM可将图像数据转换成标准红色、标准绿色和标准蓝色图像数据(有时统称为线性sRGB图像数据或简称 sRGB图像数据)。在另一种合适的布置中，CCM可从红色和/或蓝色图像数据中提取绿色图像数据。如果需要，可对线性sRGB图像数据进行伽马校正过程。在伽马校正之后，可将sRGB图像数据用于使用图像显示设备的显示器。在一些情况下，可能期望提供额外的降噪(例如，通过将点滤光片应用于sRGB图像数据)以进一步减少通过将CCM应用于红色、白色和蓝色图像数据所生成的噪声放大。处理电路16可保留宽带图像数据以用于在任选步骤108期间对 sRGB图像数据进行进一步处理。
在任选步骤108处，处理电路16可将点滤光片应用于图像数据(例如，应用于在将CCM应用于红色、白色和蓝色图像数据之后所产生的sRGB图像数据)。点滤光片可对sRGB图像数据进行操作以生成经校正的sRGB数据。点滤光片可用于进一步降低通过将CCM应用于红色、宽带和蓝色图像数据所引起的噪声放大。当使用显示器***显示时，相比于在应用点滤光片之前的sRGB 数据，经校正的sRGB数据由此提供更佳图像质量(如，更佳亮度性能)。
图7示出可由处理电路16执行以对从图2的图像传感器212和214接收的图像信号进行去马赛克和滤波的示例性步骤的流程图。图7的步骤可例如由处理电路16执行以对由图像像素32收集的红色和蓝色图像数据执行色度去马赛克以在红色、宽带和蓝色图像数据中生成足够噪声相关性。可例如执行图7的步骤作为图6的步骤104的一部分。
在步骤112处，处理电路16可通过从每个像素的红色图像值减去宽带图像值来生成红色差值。处理电路16可通过从蓝色图像值减去宽带图像值来生成蓝色差值。可例如对于每个红色图像像素计算红色差值，并且可对于图像像素阵列30的每个蓝色图像像素计算蓝色差值。
在步骤114处，处理电路16可使用色度滤波器对红色差值和蓝色差值进行滤波。可通过例如在图像像素32的内核上计算的差值进行加权平均(例如，通过进行步骤112所计算的一组差值的加权平均值)，将色度滤波器应用于红色差值和蓝色差值。图像像素的内核可被限定为图像像素阵列30中的图像像素的子集，在该图像像素阵列上进行色度滤波(例如，内核可包括图像像素阵列30 中的图像像素中的一些或全部)。例如，使用5像素×5像素内核时，当进行色度滤波时针对图像像素阵列30中的图像像素32的5像素×5像素子集计算差值的加权平均值(例如，可使用图像像素阵列30中的25个周围图像像素处的差值计算给定图像像素32的差值的加权和)。一般来讲，可使用任何所需尺寸的内核。
在步骤116处，可将宽带图像值添加至色度滤波的红色差值和色度滤波的蓝色差值，以分别生成色度滤波的红色图像值和色度滤波的蓝色图像值。
在步骤118处，处理电路16可对色度滤波的红色图像值和色度滤波的蓝色图像值去马赛克，以产生具有增加的相关噪声的红色图像数据和蓝色图像数据 (例如，已进行色度去马赛克的红色图像数据和蓝色图像数据)。然后可使用 CCM来操作去马赛克的白色图像数据和色度去马赛克的红色和蓝色图像数据以生成标准红色、标准绿色和标准蓝色(sRGB)图像数据，如上结合图6的步骤 106所述。
图7仅仅是示例性的。如果需要，处理电路16可在生成红色和蓝色差值之前对色度滤波的红色和蓝色图像值去马赛克(例如，处理电路16可在步骤112 之前执行步骤118)。
如果差值的色度滤波在图像像素32的足够大的内核上进行，则在色度滤波之后(例如，在进行步骤114之后)，来自红色和蓝色图像数据的最小噪声可保留在红色和蓝色差值中。例如，如果内核具有15个像素×15个像素或更大的尺寸，则色度滤波可将红色和蓝色色度滤波差值中的噪声降至可忽略不计的水平。如果需要，图像像素32的内核可包括位于多个图像像素阵列30中的图像像素、位于多个图像传感器36中的图像像素和/或在多个时间帧期间所使用(例如，以允许时间去噪)的图像像素。将宽带图像值添加至色度滤波差值时，白色图像值中的噪声可支配差值中的噪声。以这种方式，在步骤116处产生的红色和蓝色图像数据中的噪声可与宽带图像数据中的噪声基本上等同。红色和蓝色图像数据中的噪声由此可高度相关，从而导致由CCM造成的噪声放大降低。与对于图像像素阵列30使用拜耳图案时相比，该过程可产生由CCM造成的较少噪声放大。
CCM可对红色、宽带和蓝色图像数据进行操作以在步骤106处产生线性 sRGB数据(图6)。例如，CCM可从白色图像数据中提取信息以生成标准绿色数据。在通过CCM对宽带图像数据(例如，由单色图像传感器214收集的宽带图像数据)进行操作之后，可保留该图像数据。sRGB图像数据可在其他三维空间诸如亮度色度色调(LCH)空间中表示。在LCH空间中，亮度通道(L)可与图像传感器36所捕获的图像的亮度有关，色度通道(C)可与图像的颜色饱和度有关，并且色调通道可与图像的具体颜色(例如，红色、紫色、黄色、绿色等) 有关。所显示图像中噪声和清晰度的感知可受到亮度通道中的噪声和信号变化的影响。可通过如下方式改善图像数据中的SNR：将sRGB数据变换成LHC 数据，将亮度通道中的亮度值替换为白色图像值(由于白色图像信号的广谱使得该白色图像值与图像总体亮度密切有关)，并且将LHC数据变换回sRGB数据。通过这种方式，CCM所导致的噪声放大可在亮度通道中得以抑制，其中当观察者观察所显示图像时，噪声对观察者来说特别明显。
如上结合图6的任选步骤108所述，可将点滤光片应用于线性sRGB数据以使用白色图像数据来产生校正的sRGB数据。点滤光片可对不具有来自相邻图像像素32的信息的单个图像像素190进行操作，而在应用于单个图像像素 32处的图像信号时色度去马赛克可能需要来自多个图像像素(例如，图像像素内核)的图像信号(例如，差值)。例如，点滤光片可对每个图像像素的标准红色值、标准绿色值和标准蓝色值进行操作。为了对sRGB数据进行点滤光片操作，处理电路16可使用红色图像数据、白色图像数据和蓝色图像数据(例如，在应用CCM之前的图像数据)来计算初始(原始)亮度信号。初始亮度信号可为白色图像数据、红色图像数据和蓝色图像数据的线性组合(例如，加权和)。如果需要，可以比线性组合中的红色和蓝色图像数据更重地加权白色图像数据。处理电路16可计算隐含的亮度信号，该信号为标准红色、标准绿色和标准蓝色图像数据的线性组合(例如，在将CCM应用于图像数据之后)。如果需要，用于计算隐含亮度信号的线性组合中的权重可基本上类似于用于计算初始亮度信号的权重。可对权重进行调整以修改点滤光片的“强度”(例如，点滤光片将 sRGB数据变换或校正的程度)。
处理电路16可通过在最简单情况下将初始亮度信号除以隐含亮度信号来生成缩放值(例如，待应用于颜色校正图像值的缩放系数)。如果需要，缩放系数可包括分子和分母。缩放值的分子和/或分母可包括初始亮度信号和隐含亮度信号的加权和。缩放值可包括可调整加权参数，该参数可变化以调整点滤光片的强度(例如，加权参数可连续变化以将点滤光片的强度从零调整为全强度)。为了将点滤光片应用于sRGB数据(例如，应用于标准红色、绿色和蓝色图像数据)，处理电路16可将sRGB数据乘以缩放系数以产生校正的sRGB数据。例如，处理电路16可将标准红色图像数据乘以缩放值，标准绿色图像数据乘以缩放值等。如果需要，校正的sRGB数据可具有大约从应用点滤光片之前(例如，在将校正的sRGB数据转换至LCH空间时)保存的色调通道和色度通道。由于宽带图像信号的固有保真性，校正的sRGB数据可具有改善的噪声和/或清晰度。
在最简单的情况下，初始亮度信号可由宽带图像数据近似。图8示出可由处理电路16执行以在将CCM应用于红色、宽带和蓝色图像数据(作为示例) 之后将点滤光片(在最简单的情况下)应用于sRGB数据的示例性步骤的流程图。处理电路16可例如将点滤光片应用于图像像素阵列30中每个图像像素32 的sRGB数据。可例如执行图8的步骤作为图6的步骤108的一部分。
在步骤130处，处理电路16可通过将红色、绿色、蓝色图像数据(例如，在应用CCM之后)组合，来生成给定图像像素32的隐含亮度值(例如，LCH 空间中的亮度值)。隐含亮度值可例如以红色、绿色和蓝色图像数据的线性组合来计算。
在步骤132处，处理电路16可通过将白色图像值除以隐含亮度值来生成缩放值。如果需要，可通过将宽带图像值除以隐含亮度值和宽带图像值的加权和来生成缩放系数。缩放系数可包括可调整的加权参数，该参数可变化以调整点滤光片的强度(例如，加权参数可连续变化以将点滤光片的强度从零调整为全强度)。缩放值可例如为对sRGB数据进行操作的操纵子。
在步骤134处，处理电路16可将sRGB数据乘以缩放值以产生校正的sRGB 数据(例如，校正的标准红色、绿色和蓝色图像数据)。例如，主机处理电路 24可将标准红色图像数据乘以缩放值，将标准绿色图像数据乘以缩放值等。校正的sRGB数据可根据需要被提供给图像显示器。与在应用点滤光片之前的 sRGB数据相比较，经校正的sRGB数据可具有改善的噪声和/或清晰度。
图6-图8的示例仅仅是示例性的。任何期望的滤色器可与所示的白色滤色器结合使用以便获得彩色图像信号。可使用期望滤色器的任何组合(例如，红色滤波器、绿色滤波器、青色滤波器、红外滤波器、紫外滤波器、蓝色滤波器、黄色滤波器、品红色滤波器、紫色滤波器等的任何组合)。如果需要，任何其他合适的三维空间可用于执行点滤光片操作。虽然上述操作相对于处理电路16 描述，但图6-图8的步骤中的一些或全部可由其他处理电路(诸如图1的主机处理器24)执行。
图9以简化形式示出了典型处理器***900，诸如数字相机，该处理器***包括成像设备200(例如，成像设备200，诸如图1-图8的成像传感器36，该成像传感器采用透明滤色器和上述操作技术)。处理器***900是可包括成像设备200的具有数字电路的示例性***。在不进行限制的前提下，此类***可包括计算机***、静态或视频摄像机***、扫描仪、机器视觉、车辆导航、视频电话、监控***、自动对焦***、星体******、运动检测***、图像稳定***、以及采用成像设备的其他***。
处理器***900通常包括透镜396，该透镜用于在快门释放按钮397被按下时将图像聚焦到设备200的像素阵列900上；中央处理单元(CPU)395，诸如控制相机功能以及一个或多个图像流功能的微处理器，该中央处理单元通过总线393与一个或多个输入/输出(I/O)设备391通信。成像设备200也通过总线393 与CPU 395通信。***900还包括随机存取存储器(RAM)392并且可包括可移动存储器394，诸如闪存存储器，该存储器也通过总线393与CPU 395通信。成像设备200可在单个集成电路或在不同芯片上与CPU组合，无论是否具有存储器存储装置。尽管总线393被示为单总线，但该总线也可以是一个或多个总线或桥接器或用于互连***部件的其他通信路径。
具有单色图像传感器和双色图像传感器两者的相机模块可允许例如对于某些操作(例如，汽车应用，其中几乎不存在误差限度，或安全应用)产生具有高信噪比的高分辨率单色图像，同时还允许在期望时产生彩色图像。虽然与单色图像相比，这些彩色图像分辨率较低并且具有较高的信噪比，但来自单色图像传感器的图像数据(例如，宽带图像数据)可用于通过使用点滤光片和色度去马赛克来减少彩色图像中的噪声。分束器可将一些光导向到单色图像传感器并且将其他光导向到双色图像传感器，从而允许在单色图像和彩色图像之间切换。将一个图像传感器作为专用单色图像传感器允许在期望时由相机输出高分辨率单色图像。当与组合宽带像素和彩色像素的单个图像传感器相比时，这些高分辨率单色图像提供增强的亮度细节。
已经描述了各种实施方案，示出了具有单色图像传感器和色度图像传感器两者的图像传感器。还描述了各种图像处理技术(例如，色度去马赛克、应用点滤光片等)以用于减少由图像信号产生的图像信号中的噪声。
在各种实施方案中，成像***可响应于光而生成图像。成像***可包括双色图像传感器和单色图像传感器。分束器可将光的第一部分导向到双色图像传感器并且将光的第二部分导向到单色图像传感器。分束器可被配置为将至少一半光朝向单色图像传感器导向。在一些实施方案中，分束器可将具有第一偏振的光传递到双色图像传感器，并且将具有第二偏振的光传递到单色图像传感器。
双色图像传感器可具有图像传感器像素的阵列，其中第一组图像传感器像素被配置为响应于第一颜色(例如，红色像素)的光而生成第一图像信号，并且第二组图像传感器像素被配置为响应于第二颜色(例如，蓝色像素)的光而生成第二图像信号。单色图像传感器可具有图像传感器像素的阵列，其中宽带图像传感器像素被配置为生成第三图像信号。第三图像信号可具有比第一图像信号宽的光谱响应，并且可具有比第二图像信号宽的光谱响应。具体地讲，第三图像信号可具有比第一图像信号和第二图像信号的光谱响应的总和宽的光谱响应。
根据一个实施方案，成像***可以是相机模块，该相机模块具有聚焦入射在相机模块上的光的透镜。双色图像传感器可接收聚焦光的第一部分，并且单色图像传感器可接收聚焦光的第二部分(例如，光的第一部分和第二部分可使用分束器分离)。双色图像传感器可包括被配置为响应于第一颜色的光而生成第一图像信号的第一组图像传感器像素，以及被配置为响应于第二颜色的光而生成第二图像信号的第二组图像传感器像素。第一组图像传感器像素和第二组图像传感器像素可以是红色、蓝色或绿色图像像素。单色图像传感器可包括被配置为响应于第三颜色的光而生成第三图像信号的图像传感器像素。单色图像传感器像素可以是宽带图像传感器像素。
在各种实施方案中，成像***还可包括处理电路，该处理电路被配置为对第一图像信号、第二图像信号和第三图像信号执行滤波操作，该滤波操作增加了与第一图像信号、第二图像信号和第三图像信号相关联的噪声相关性。滤波操作可以相关方式一起增加和减小第一图像信号、第二图像信号和第三图像信号中的噪声起伏。处理电路可为成像***输出选择单色图像或彩色图像。响应于选择彩色图像，处理电路可对第一图像信号、第二图像信号和第三图像信号执行滤波操作。响应于选择单色图像，处理电路可被配置为基于第三图像信号来输出图像。
如果彩色图像被选择为输出，则处理电路可将颜色校正矩阵应用于第三图像信号，并且从第三图像信号中提取第四图像信号。处理电路可组合第一图像信号、第二图像信号和第四图像信号以生成导出的亮度值，并且可基于第一图像信号、第二图像信号和第三图像信号来计算估计的亮度值。处理电路然后可使用导出的亮度值和估计的亮度值来修改第一图像信号、第二图像信号和第四图像信号。此外，处理电路可基于导出的亮度值和估计的亮度值来计算缩放值，并且通过以下方式来修改第一图像信号、第二图像信号和第四图像信号：将第一图像信号、第二图像信号和第四图像信号乘以生成的缩放值以产生彩色图像。
根据一个实施方案，成像***可响应于光而生成图像，并且可包括双色图像传感器、单色图像传感器、以及分束器，该分束器将光的第一部分导向到双色图像传感器，并且将光的第二部分导向到单色图像传感器。
根据另一个实施方案，双色图像传感器可具有第一像素阵列，该第一像素阵列可具有第一组图像传感器像素和第二组图像传感器像素，该第一组图像传感器像素响应于第一颜色的光而生成第一图像信号，该第二组图像传感器像素响应于第二颜色的光而生成第二图像信号，单色图像传感器可具有第二图像传感器像素阵列，并且该第二图像传感器像素阵列可包括生成第三图像信号的宽带图像传感器像素，该第三图像信号具有比第一图像信号和第二图像信号的总和宽的光谱响应。
根据另一个实施方案，第三图像信号可具有比第一图像信号宽的光谱响应。
根据另一个实施方案，第三图像信号可具有比第二图像信号宽的光谱响应。
根据另一个实施方案，第一组图像传感器像素可包括红色像素，并且第二组图像传感器像素可包括蓝色像素。
根据另一个实施方案，分束器可将至少一半光朝向单色图像传感器导向。
根据另一个实施方案，分束器可将具有第一偏振的光传递到双色图像传感器，并且将具有第二偏振的光传递到单色图像传感器。
根据一个实施方案，相机模块可响应于光而生成图像，并且可包括具有第一图像传感器像素阵列的双色图像传感器、具有第二图像传感器像素阵列的单色图像传感器，以及聚焦光的透镜，其中双色图像传感器被配置为接收聚焦光的第一部分，并且单色图像传感器被配置为接收聚焦光的第二部分。
根据另一个实施方案，第一图像传感器像素阵列可包括第一组图像传感器像素和第二组图像传感器像素，该第一组图像传感器像素被配置为响应于第一颜色的光而生成第一图像信号，该第二组图像传感器像素被配置为响应于第二颜色的光而生成第二图像信号，第二图像传感器像素阵列可包括被配置为响应于第三颜色的光而生成第三图像信号的图像传感器像素，第二阵列中的图像传感器像素可包括宽带图像传感器像素，并且第一组图像传感器像素和第二组图像传感器像素可选自由如下组成的图像传感器像素：红色图像传感器像素、蓝色图像传感器图像像素和绿色图像传感器图像像素。
根据另一个实施方案，相机模块还可包括分束器，该分束器将聚焦光的第一部分导向到双色图像传感器，并且将聚焦光的第二部分导向到单色图像传感器。
根据一个实施方案，成像***可响应于光而生成图像并且可包括：双色图像传感器，该双色图像传感器具有第一组图像传感器像素和第二组图像传感器像素，该第一组图像传感器像素被配置为响应于第一颜色的光而生成第一图像信号，该第二组图像传感器像素被配置为响应于与第一颜色不同的第二颜色的光而生成第二图像信号；单色图像传感器，该单色图像传感器具有一组宽带图像传感器像素，其中该组宽带图像传感器像素被配置为响应于第三颜色的光而生成第三图像信号；以及处理电路，该处理电路被配置为对第一图像信号、第二图像信号和第三图像信号执行滤波操作，该滤波操作增加了与第一图像信号、第二图像信号和第三图像信号相关联的噪声相关性。
根据另一个实施方案，滤波操作可被配置为以相关方式一起增加和减小第一图像信号、第二图像信号和第三图像信号中的噪声起伏。
根据另一个实施方案，处理电路可被配置为选择单色图像和彩色图像中的给定一者以便输出，处理电路可被配置为响应于选择彩色图像以便输出来对第一图像信号、第二图像信号和第三图像信号执行滤波操作，处理电路可被配置为响应于选择单色图像以便输出来基于第三图像信号输出图像，处理电路可被配置为响应于选择彩色图像以便输出来将颜色校正矩阵应用于第三图像信号，颜色校正矩阵可被配置为从第三图像信号中提取第四图像信号，处理电路可被配置为组合第一图像信号、第二图像信号和第四图像信号来生成导出的亮度值，处理电路可被配置为基于第一图像信号、第二图像信号和第三图像信号来计算估计的亮度值，处理电路可被配置为使用导出的亮度值和估计的亮度值来修改第一图像信号、第二图像信号和第四图像信号，处理电路可被配置为基于导出的亮度值和估计的亮度值来计算缩放值，并且处理电路可被配置为通过将第一图像信号、第二图像信号和第四图像信号乘以生成的缩放值来修改第一图像信号、第二图像信号和第四图像信号。
根据另一个实施方案，第一图像信号可具有第一光谱响应宽度，第二图像信号可具有第二光谱响应宽度，并且第三图像信号可具有第三光谱响应宽度，该第三光谱响应宽度大于第一光谱响应宽度并且大于第二光谱响应宽度。
前述仅仅是说明性的，并且可对所描述的实施方案进行各种修改。上述实施方案可单独实施或以任意组合方式实施。

Claims (10)

1.一种成像***，其特征在于，所述成像***被配置为响应于光而生成图像，所述成像***包括：
双色图像传感器；
单色图像传感器；和
分束器，所述分束器将所述光的第一部分导向到所述双色图像传感器并且将所述光的第二部分导向到所述单色图像传感器。
2.根据权利要求1所述的成像***，其中，所述双色图像传感器具有第一图像传感器像素阵列，所述第一图像传感器像素阵列包括第一组图像传感器像素和第二组图像传感器像素，所述第一组图像传感器像素被配置为响应于第一颜色的光而生成第一图像信号，所述第二组图像传感器像素被配置为响应于第二颜色的光而生成第二图像信号，并且其中所述单色图像传感器具有第二图像传感器像素阵列，所述第二图像传感器像素阵列包括宽带图像传感器像素，所述宽带图像传感器像素被配置为生成第三图像信号，所述第三图像信号具有比所述第一图像信号和所述第二图像信号的总和宽的光谱响应。
3.根据权利要求1所述的成像***，其中，所述分束器被配置为将具有第一偏振的光传递到所述双色图像传感器并且将具有第二偏振的光传递到所述单色图像传感器。
4.一种相机模块，其特征在于，所述相机模块被配置为响应于光而生成图像，所述相机模块包括：
双色图像传感器，所述双色图像传感器具有第一图像传感器像素阵列；
单色图像传感器，所述单色图像传感器具有第二图像传感器像素阵列；和
透镜，所述透镜聚焦所述光，其中所述双色图像传感器被配置为接收所聚焦的光的第一部分，并且所述单色图像传感器被配置为接收所聚焦的光的第二部分。
5.根据权利要求4所述的相机模块，其中，所述第一图像传感器像素阵列包括第一组图像传感器像素和第二组图像传感器像素，所述第一组图像传感器像素被配置为响应于第一颜色的光而生成第一图像信号，所述第二组图像传感器像素被配置为响应于第二颜色的光而生成第二图像信号，其中所述第二图像传感器像素阵列包括被配置为响应于第三颜色的光而生成第三图像信号的图像传感器像素，并且其中所述第二图像传感器像素阵列中的所述图像传感器像素是宽带图像传感器像素，并且所述第一组图像传感器像素和所述第二组图像传感器像素选自由如下组成的图像传感器像素：红色图像传感器像素、蓝色图像传感器图像像素和绿色图像传感器图像像素。
6.根据权利要求4所述的相机模块，其中，所述相机模块还包括：
分束器，所述分束器将所聚焦的光的所述第一部分导向到所述双色图像传感器并且将所聚焦的光的所述第二部分导向到所述单色图像传感器。
7.一种成像***，其特征在于，所述成像***被配置为响应于光而生成图像，所述成像***包括：
双色图像传感器，所述双色图像传感器具有第一组图像传感器像素和第二组图像传感器像素，所述第一组图像传感器像素被配置为响应于第一颜色的光而生成第一图像信号，所述第二组图像传感器像素被配置为响应于与所述第一颜色不同的第二颜色的光而生成第二图像信号；
单色图像传感器，所述单色图像传感器具有一组宽带图像传感器像素，其中所述组宽带图像传感器像素被配置为响应于第三颜色的光而生成第三图像信号；和
处理电路，所述处理电路被配置为对所述第一图像信号、所述第二图像信号和所述第三图像信号执行滤波操作，所述滤波操作增加与所述第一图像信号、所述第二图像信号和所述第三图像信号相关联的噪声相关性。
8.根据权利要求7所述的成像***，其中，所述滤波操作被配置为以相关方式一起增加和减小所述第一图像信号、所述第二图像信号和所述第三图像信号中的噪声起伏。
9.根据权利要求7所述的成像***，其中，所述处理电路被配置为选择单色图像和彩色图像中的给定一者以输出，其中所述处理电路被配置为响应于选择所述彩色图像以输出来对所述第一图像信号、所述第二图像信号和所述第三图像信号执行所述滤波操作，其中所述处理电路被配置为响应于选择所述单色图像以输出来基于所述第三图像信号输出图像，其中所述处理电路被配置为响应于选择彩色图像以输出来将颜色校正矩阵应用于所述第三图像信号，其中所述颜色校正矩阵被配置为从所述第三图像信号中提取第四图像信号，其中所述处理电路被配置为组合所述第一图像信号、所述第二图像信号和所述第四图像信号以生成导出的亮度值，其中所述处理电路被配置为基于所述第一图像信号、所述第二图像信号和所述第三图像信号来计算估计的亮度值，其中所述处理电路被配置为使用所述导出的亮度值和所述估计的亮度值来修改所述第一图像信号、所述第二图像信号和所述第四图像信号，并且其中所述处理电路被配置为基于所述导出的亮度值和所述估计的亮度值来计算缩放值，并且所述处理电路被配置为通过将所述第一图像信号、所述第二图像信号和所述第四图像信号乘以所述生成的缩放值来修改所述第一图像信号、所述第二图像信号和所述第四图像信号。
10.根据权利要求7所述的成像***，其中，所述第一图像信号具有第一光谱响应宽度，其中所述第二图像信号具有第二光谱响应宽度，并且其中所述第三图像信号具有第三光谱响应宽度，所述第三光谱响应宽度大于所述第一光谱响应宽度并且大于所述第二光谱响应宽度。
CN201822136723.0U 2018-01-12 2018-12-19 成像***和相机模块 Active CN209345244U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/869,221 2018-01-12
US15/869,221 US10616536B2 (en) 2018-01-12 2018-01-12 Imaging systems having broadband monochromatic and chromatic image sensors

Publications (1)

Publication Number Publication Date
CN209345244U true CN209345244U (zh) 2019-09-03

Family

ID=67214406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201822136723.0U Active CN209345244U (zh) 2018-01-12 2018-12-19 成像***和相机模块

Country Status (2)

Country Link
US (1) US10616536B2 (zh)
CN (1) CN209345244U (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
US11307094B2 (en) * 2019-05-28 2022-04-19 The Regents Of The University Of California System and method for hyperspectral imaging in highly scattering media by the spectral phasor approach using two filters
US11605171B1 (en) * 2020-10-13 2023-03-14 Unity Technologies Sf Method and apparatus for processing reference inputs for video compositing with replacement
DE102021120588A1 (de) 2021-08-09 2023-02-09 Schölly Fiberoptic GmbH Bildaufnahmevorrichtung, Bildaufnahmeverfahren, korrespondierendes Verfahren zur Einrichtung und Endoskop

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018006A (en) 1985-10-31 1991-05-21 Canon Kabushiki Kaisha Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals
JP3666886B2 (ja) * 1992-12-28 2005-06-29 キヤノン株式会社 撮像装置
JP3450374B2 (ja) 1993-05-28 2003-09-22 キヤノン株式会社 カラー撮像装置
US6330029B1 (en) 1998-03-17 2001-12-11 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US7202891B1 (en) * 2001-01-24 2007-04-10 Dalsa, Inc. Method and apparatus for a chopped two-chip cinematography camera
KR101227544B1 (ko) 2004-01-26 2013-01-31 디지털옵틱스 코포레이션 이스트 서브 픽셀 해상도를 가진 박형 카메라
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
JP4144630B2 (ja) 2006-04-14 2008-09-03 ソニー株式会社 撮像装置
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
JP2008078922A (ja) 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
US7876956B2 (en) 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
JP4846608B2 (ja) 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
JP2009005262A (ja) 2007-06-25 2009-01-08 Olympus Imaging Corp 半導体装置および撮像装置
JP5045421B2 (ja) 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5326943B2 (ja) 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8345130B2 (en) 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
US8295631B2 (en) 2010-01-29 2012-10-23 Eastman Kodak Company Iteratively denoising color filter array images
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels

Also Published As

Publication number Publication date
US10616536B2 (en) 2020-04-07
US20190222813A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
CN108650497B (zh) 具有透明滤波器像素的成像***
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN209345244U (zh) 成像***和相机模块
CN205726019U (zh) 成像***、成像设备和图像传感器
US7400332B2 (en) Hexagonal color pixel structure with white pixels
US8294797B2 (en) Apparatus and method of generating a high dynamic range image
EP1594321A2 (en) Extended dynamic range in color imagers
EP1730946A2 (en) The reproduction of alternative forms of light from an object using a digital imaging system
CN108370422A (zh) 利用单个矩阵传感器采集可见和近红外图像的***和方法
US9179110B2 (en) Imaging systems with modified clear image pixels
TWI601427B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統
Dikbas et al. Impact of Photometric Space Linearity on Demosaicing Image Quality

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant