CN110324546A - 图像处理方法和滤波器阵列 - Google Patents

图像处理方法和滤波器阵列 Download PDF

Info

Publication number
CN110324546A
CN110324546A CN201910236943.7A CN201910236943A CN110324546A CN 110324546 A CN110324546 A CN 110324546A CN 201910236943 A CN201910236943 A CN 201910236943A CN 110324546 A CN110324546 A CN 110324546A
Authority
CN
China
Prior art keywords
pixel
filter
filter element
broadband
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910236943.7A
Other languages
English (en)
Other versions
CN110324546B (zh
Inventor
C·比特纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blackmagic Design Pty Ltd
Original Assignee
Blackmagic Design Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2018901038A external-priority patent/AU2018901038A0/en
Application filed by Blackmagic Design Pty Ltd filed Critical Blackmagic Design Pty Ltd
Priority to CN202310960859.6A priority Critical patent/CN116744094A/zh
Publication of CN110324546A publication Critical patent/CN110324546A/zh
Application granted granted Critical
Publication of CN110324546B publication Critical patent/CN110324546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明涉及滤波器阵列和用于对相机中的图像数据进行处理的方法。相机被配置成使用具有相关联的滤波器阵列的图像传感器接收光并生成图像数据，所述图像传感器包括像素阵列，每个像素对应于滤波器阵列中的滤波器元件，使得像素具有由对应的滤波器元件至少部分地限定的光谱响应。滤波器阵列包括一种模式的宽带滤波器元件和至少两种类型的窄带滤波器元件。该方法包括生成亮度图像的步骤，亮度图像包括图像传感器的每个像素的宽带滤波器元件值。

Description

图像处理方法和滤波器阵列
技术领域
本发明涉及图像处理方法，并且更具体地涉及用于对从具有滤波器阵列的图像传感器获得的原始图像数据进行处理的方法。本发明还涉及滤波器阵列。
背景技术
数码彩色相机通过使用图像传感器——通常是电荷耦合装置(CCD)或互补金属氧化物半导体传感器(CMOS)——以电子方式捕获现实场景的彩色图像。由于图像传感器的单色性质，因此数码相机制造商实施各种解决方案以捕捉场景的色彩性质。这些解决方案包括：使用三传感器装置，其中，每个颜色通道使用一个传感器；使用竖向颜色敏感的感光单元；或者最常见的是使用具有颜色滤波器阵列的单个传感器装置。单个传感器装置表示了目前用于彩色成像的最具成本效益的方法之一并且广泛用于数码相机中。
在单个传感器相机中，颜色滤波器阵列(CFA)——其本质上是颜色滤波器的空间阵列——通常放置在单个图像传感器的前面以同时捕获不同的光谱分量(颜色)。CFA的滤波器在空间上与单个图像传感器的感光单元相关，使得每个感光单元具有对应的光谱选择性滤波器。由单个传感器相机捕获的原始图像通常构成马赛克式灰度图像，其中，在每个感光单元处仅具有一个颜色元素。原始图像随后进行一系列图像处理步骤，以生成实际上表示所捕获的真实视觉场景的图像。
所使用的最常见类型的CFA是具有交替的红色滤波器、绿色滤波器和蓝色滤波器的拜尔(Bayer)CFA，如图1所示。由于在每个感光单元处仅捕获一种颜色类型，因此所捕获的原始图像是红色值、绿色值和蓝色值的“马赛克”，红色值、绿色值和蓝色值各自在不同的感光单元处。已知为“去马赛克”的处理用于为每个感光单元生成全色信息。在该处理中，感光单元的缺失的颜色信息是通过插值处理从相邻的感光单元确定的。当这种三色图像采集使用于具有Bayer CFA的传感器上时，原始图像数据的量通过该去马赛克处理而增加至三倍。还可能需要进一步的处理，比如白平衡、颜色变换、降噪、色调映射。这些处理步骤可以执行如下：
(1)在相机存储图像之前执行，使得用户可以在显示器上随时查看所存储的图像。大多数消费者相机应用程序选择在原始图像数据被存储之前对原始图像数据进行处理，这是由于通常高度期望立即查看所捕获的图像或视频。
(2)相机可以延迟以上提到的一些这样的图像处理步骤直到后处理为止。这可以包括在相机上以合适的格式存储RAW数据。这种方法对于专业相机应用程序来说更为常见。两种选择具有其各自的优点和缺点。
还有用于构造具有CFA的图像传感器的各种建议，CFA具有单色元件(例如R、G、B)和宽带(白色)滤波器元件的组合。这种图像传感器通过窄带滤波RGB感光单元来提供颜色信息并且使用光谱宽带(宽带/白色)感光单元来提高灵敏度。这些结构涉及下述技术：所述技术例如是用宽带感光单元替换一些窄带感光单元、通常减少RGB感光单元的相对数量、以及经常显著增加感光单元的总数(这需要相应减小感光单元尺寸)。至于RGB感光单元和白色感光单元的实际布局，一些方法将RGB滤波器保持在拜耳布置中，以捕获在较高分辨率的宽带(白色)图像数据旁的较低分辨率的颜色信息。
图4示出了使用颜色元素和宽带滤波器元件的CFA的示例。
已知了各种算法以用于对在组合的颜色/宽带图像传感器的感光单元处捕获的像素值进行去马赛克。例如，JP2004304706A描述了一种用以利用简单的系数集来导出亮度和颜色的简单的插值方法。然而，该方法涉及不同的滤波器核尺寸，这很可能导致不同像素位置的不同的低通滤波器特性(G vs W vs R/B)。US 8274715、US 8711452和US 2011/0012011中示出的方法由于在每个单元中使用双色像素因而仅涉及相当稀疏的颜色采样。
本发明的目的是提供用于对在感光单元处捕获的图像数据进行处理的方法、以及提供用于使用组合的颜色/宽带图像颜色滤波器阵列来捕获图像数据的装置。
本说明书中对任何现有技术的引用并不是对下述情况的承认或暗示：该现有技术形成任何管辖区域中的公知常识的一部分，或者该现有技术可以被本领域技术人员合理地预期并理解、被认为是相关的和/或与现有技术的其他部分组合。
发明内容
根据本发明的第一方面，提供了一种用于对相机中的图像数据进行处理的方法，所述相机被配置成使用具有相关联的滤波器阵列的图像传感器接收光并生成图像数据，所述图像传感器包括像素阵列，每个像素对应于滤波器阵列中的滤波器元件，使得像素具有由对应的滤波器元件至少部分地限定的光谱响应，其中，滤波器阵列包括一种模式的宽带滤波器元件和至少两种类型的窄带滤波器元件，该方法包括为图像传感器的每个像素生成包括宽带滤波器元件值的亮度图像。
通常，通过将滤波器核应用于图像传感器的像素来计算宽带滤波器元件值。滤波器核优选地使得其仅使用与宽带滤波器元件相对应的像素来计算像素的宽带滤波器元件值。
滤波器核可以通过组合与同像素对角相邻的宽带滤波器元件相对应的像素来计算像素的宽带滤波器元件值。
根据像素是对应于宽带滤波器元件还是对应于窄带滤波器元件而将不同的滤波器核应用于该像素。
根据一个实施方式，滤波器核是2维高斯型滤波器或者近似于2维高斯型滤波器。
该方法可以包括生成第二亮度图像的步骤，该第二亮度图像包括图像传感器的每个像素的窄带滤波器元件值，窄带滤波器元件值仅使用与窄带滤波器元件相对应的像素来计算。
该方法可以包括将亮度图像与第二亮度图像组合的步骤。
可选地，该方法包括生成第三亮度图像的步骤，该第三亮度图像包括图像传感器的每个像素的宽带滤波器元件值，该宽带滤波器元件值仅使用与窄带滤波器元件相对应的像素来计算。
优选地，滤波器阵列包括三种类型的窄带滤波器元件。
根据实施方式，像素阵列包括与三种类型的窄带滤波器元件中的每种类型的窄带滤波器元件相对应的相等密度的像素。
滤波器阵列可以布置成使得亮度图像的光谱响应具有与第二亮度图像的光谱响应的轮廓基本匹配的轮廓。
根据本发明的另一方面，提供了一种用于对相机中的图像数据进行处理的方法，所述相机被配置成使用具有相关联的滤波器阵列的图像传感器接收光并生成图像数据，所述图像传感器包括像素阵列，每个像素对应于滤波器阵列中的滤波器元件，使得像素具有由对应的滤波器元件至少部分地限定的光谱响应，其中，滤波器阵列包括一种模式的宽带滤波器元件和至少两种类型的窄带滤波器元件，该方法包括基于与宽带滤波器元件相对应的像素的输出来生成宽带亮度图像。
优选地，滤波器阵列布置成使得宽带像素的光谱响应与窄带滤波器元件的光谱响应基本相同。
优选地，滤波器阵列包括三种类型的窄带滤波器元件，例如，类型1、类型2和类型3。每种类型的窄带滤波器元件均可以具有以不同波长为中心的通带。窄带滤波器元件严格地讲可以不是带通滤波器，但是可以是截止滤波器，这是由于其他滤波器的存在具有为阵列中的其对应的像素限定通带的效果。
优选地，像素阵列包括与三种类型的窄带滤波器元件中的每种类型的窄带滤波器元件相对应的相等密度的像素。
该方法还可以包括基于与窄带滤波器元件相对应的像素的输出来生成窄带亮度图像。
窄带亮度图像优选地直接根据与窄带滤波器元件相对应的像素的输出来计算。在优选形式中，窄带亮度图像不是从彩色平面图像的像素值导出的。
包括窄带亮度图像的像素值优选地从与窄带滤波器元件和一个或更多个滤波器核相对应的像素的输出中导出。
该方法优选地包括基于与宽带滤波器元件和一个或更多个滤波器核相对应的像素的输出来生成宽带亮度图像。
相同的滤波器核可以用于计算宽带亮度图像和窄带亮度图像。
本发明至少在优选实施方式中涉及根据组合的窄带/宽带图像传感器的宽带像素值来计算高光谱响应亮度图像。这样，可以延长图像传感器的光响应范围。反过来，具有扩展光响应范围的图像传感器实现了更高的灵敏度和更好的高速图像捕获。
使用本发明所生成的亮度图像可以有利地用于下游去马赛克和后处理操作，比如在申请人的未决的欧洲专利申请，即，公开为EP 3416128中所描述的操作，该项申请的内容通过参引并入本文。
本发明的一些实施方式包括CFA，该CFA可以有利地以收集模式操作。在这些实施方式中，CFA的单元格包括宏单元，宏单元包括一对宽带滤波器元件和一对相同类型的窄带滤波器元件。通常，这涉及将像素对沿着宏单元的对角线进行布置。诸如此类的实施方式可以具有更高灵敏度和更快读出速度的益处。
在可以以收集模式操作的实施方式中，像素类型的相对密度可以在三个窄带滤波像素类型之间具有1:1:1比率，并且在窄带像素对与宽带像素对之间也具有相同的灵敏度比率。
在收集模式中，一起读出每个像素对的读出值并组合像素值。因此，每个收集的像素对的灵敏度高于相同类型的每个单独像素的灵敏度。有利地，由于仅需要从图像传感器读出像素响应的总数的一半，因此能够实现与所有单个像素的完全读出模式相比的两倍的帧速率同时保持相同的视场。然而，在收集模式下操作的缺点是空间分辨率降低。
通常，使用每个颜色像素的感光单元处的宽带内容的估值来计算亮度图像。可以通过从一个或更多个相邻宽带像素值进行插值来计算这些估值。
可选地，该方法可以包括与亮度图像并行计算全分辨率彩色图像的步骤。还可以根据像素值的子集来计算低通滤波的宽带图像。
根据本发明的另一方面，提供了一种用于成像传感器的滤波器阵列，该滤波器阵列包括二维滤波器元件阵列，二维滤波器元件阵列包括具有三种类型的窄带滤波器元件和宽带滤波器元件的一个或更多个重复单元格，其中，每种类型的窄带滤波器元件的密度均相等。
滤波器阵列可以包括相同数量的宽带滤波器元件和窄带滤波器元件。优选地，滤波器阵列的单元格包括以下滤波器元件：
T1wT2wT3w、wT1wT2wT3、T2wT3wT1w、wT2wT3wT1、T3wT1wT2w、wT3wT1wT2，其中，‘T1’对应于类型1的窄带滤波器元件，‘w’对应于宽带滤波器，‘T2’对应于类型2的窄带滤波器元件，并且‘T3’对应于类型3的窄带滤波器元件。
类型1滤波器的优选形式可以是红色滤波器。类型2滤波器的优选形式可以是绿色滤波器。类型3滤波器的优选形式可以是蓝色滤波器。宽带滤波器可以表示未滤波的像素、中性密度滤波器、或者其他具有与类型1、类型2和类型3的滤波器相比的宽通带的滤波器。
以上方法优选地使用本文中所描述的滤波器阵列的实施例来执行。除了上下文以其他方式要求的情况，本文中使用的术语“包括(comprise)”和该术语的变型比如“包括(comprising)”、“包括(comprises)”和“包括(comprised)”并非意在排除另外的附件、部件、整体或步骤。
根据通过示例的方式给出的以下描述并参照附图，本发明的另外的方面以及在前面段落中描述的各方面的另外的实施方式将变得明显。
附图说明
现在将参照以下附图对本发明的实施方式进行描述，在附图中：
图1是拜耳CFA的图示；
图2是能够实施如本文中所描述的方法的相机的示意性框图；
图3是示出了CFA和宽带变体图像传感器的典型光谱灵敏度的曲线图；
图4是具有相关联的灵敏度曲线图的已知的RGBW CFA图案的图示。在该图中，沿着虚线框的RGBW CFA图案描绘了重复的“单元格”，该重复的“单元格”应用于图像传感器上以覆盖包含于其中的多个感光单元；
图5示出了根据本发明的实施方式的滤波器阵列，该滤波器阵列具有相关联的灵敏度曲线图；
图6示出了根据本发明的实施方式的第二滤波器阵列；
图7示出了图4的具有宽带滤波器元件与三个颜色滤波器元件的组合的CFA。该图进一步示出了使用3x3滤波器核来导出可用作亮度图像的全分辨率宽带像素阵列、以及使用5x5滤波器核来计算来自颜色感光单元的第二亮度图像并计算来自宽带像素的低通滤波宽带阵列；
图8示出了图5的CFA、以及用以导出全分辨率宽带阵列的示例性3×3滤波器组和用以根据其颜色像素计算亮度信号及根据宽带滤波像素计算低通滤波宽带图像的示例性7×7滤波器组；以及
图9示出了图8的CFA、以及用于从该CFA生成色度图像的相关联的滤波器核。
具体实施方式
现在将参照具体示例来描述本发明的实施方式，但是本发明的范围不应被视为限于这些示例。例如，将在使用具有颜色滤波器阵列的单个传感器的相机的上下文中描述说明性实施方式，颜色滤波器阵列具有红色滤波像素、绿色滤波像素和蓝色滤波像素以及未滤波(白色)像素。然而，本发明的实施方式可以应用于阵列内的包括中性密度滤波器在内的其他窄带滤波器和宽带滤波器的组合。
图2是能够实现根据本公开的方法的相机10的示意图。相机10包括图像捕获***12，图像捕获***12被配置成将接收到的光转换为原始图像数据。在该示例中，图像捕获***12包括图像传感器12A(例如，CCD或CMOS图像感测芯片或类似物)和相关联的光学滤波器12B(例如，IR截止滤波器或光学低通滤波器)。光学***14例如透镜还设置成在图像传感器上形成图像。图像传感器包括呈空间滤波器阵列形式的颜色滤波器阵列(CFA)，颜色滤波器阵列(CFA)放置在图像传感器芯片的前面以使得能够捕获由不同位置处的单独选择性像素构成的图像，彩色图像可以从单独选择性像素生成。CFA的滤波器在空间上与单个图像传感器的感光单元相关，使得每个感光单元具有对应的光谱选择性滤波器。
由图像捕获***12生成的传感器原始视频数据被传送至图像处理子***18。图像处理子***18可以包括一个或更多个数据处理器比如ASIC或FPGA或具有相关软件的微处理器，并且图像处理子***18被配置成执行一系列图像处理任务。这些任务可以包括但不限于：校正不需要的光学效应比如枕形失真或其他、去马赛克、降噪、例如通过去除死像素并校正转换效率变化来校正捕获的视频数据中的像素到像素的变化。设置工作存储器20用以在图像处理和/或图像压缩和其他任务期间实现数据或软件等的临时存储。
图像处理子***18还包括视频编码***22。视频编码***22通常将通过提供配置成使处理器能够实施一个或更多个视频编解码器的软件来执行。该***可以用于编码并可选地将视频数据压缩成所需格式。
图像处理子***18还可以包括格式转换***24，格式转换***24将视频输出数据处理成能够通过视频传输***26传输的格式。视频传输***26通常被配置成仅传输符合一个或可能地几个视频传输协议的视频数据。格式转换***24设置成将视频数据格式化为所述视频传输格式中的一个视频传输格式，以在传送至视频传输***26之前实现传输。这可以包括将视频数据从其原始格式转码为视频传输***26的适当的视频传输格式(适当的视频传输格式中的一个视频传输格式)。
视频传输***可操作成经由至少具有视频输出端口的视频接口传输(并且可选地接收)视频输出数据。视频接口可以是双向的，并且因此还包括视频输入端口。作为示例，视频接口可以是SDI接口或其他类似接口。
相机还包括呈存储器控制子***28形式的数据存储***，其被配置成对本地非易失性存储器30上的视频数据(及任何其他数据)的持久存储进行控制。本地存储器30可以使用移动式存储器比如存储卡或移动硬盘。然而，在一般情况下，存储器控制子***28布置成向本地存储器30传输控制信号以及/或者从本地存储器30接收控制信号，以控制存储器30上的视频数据的存储和检索并且还执行存储数据的任何编码或格式化。存储器30可以是根据串行ATA协议操作的固态驱动器，在这种情况下，存储器控制子***将操作成控制SATA驱动器的操作并管理通向其的数据的读取和写入。
适合与图2的相机一起使用的示例滤波器阵列50、51、52在图4至图6中示出。每个滤波器阵列50、51、52包括三种类型(类型1、类型2和类型3)的窄带滤波器的组合。每种类型的滤波器均具有特定通带。在这些示例中，每个滤波器类型具有以特定颜色为中心的通带，并且因此通过引用该颜色而被引用。例如，具有以红色波长为中心的通带的滤波器元件被称为“红色”像素并且在图中用“R”表示。以蓝色波长为中心的蓝色像素在图中用“B”表示，并且以绿色波长为中心的绿色像素用“G”表示。本发明的CFA还包括宽带滤波像素，该宽带滤波像素在图中用“W”表示。
图3(及图4和图5中的曲线图)示出了当本示例的滤波器元件类型中的每个滤波器元件类型被应用于图像传感器时图像传感器在不同波长下的灵敏度。该曲线图假设还存在红外线截止滤波器。如将理解的是，所示出的图像传感器的响应因此是传感器像素的响应与CFA的滤波器元件以及可能的其他滤波器元件比如IR截止滤波器的滤波效果的组合。可以看出，与宽带滤波器相对应的像素的峰值响应以像素与R滤波器、G滤波器、B滤波器的组合光谱响应为中心。宽带像素的响应曲线比所有三个窄带滤波器的组合响应“宽”。
如下面将详细论述的，图5的滤波器阵列51是二维阵列或者是以6×6像素图案(单元格)排列的颜色滤波器和宽带滤波器，6×6像素图案在整个滤波器阵列上重复。图4示出了颜色滤波器阵列的另一示例，该颜色滤波器阵列包括以4×4单元格布置的三个窄带滤波器和宽带滤波器。如先前示例那样，窄带滤波器标记为“R”、“G”、“B”并且分别表示具有以红色、绿色和蓝色为中心的通带的滤波器。“W”像素是具有通带的宽带像素，如图3所示。
图6示出了另一颜色滤波器阵列52，另一颜色滤波器阵列52与先前实施方式的不同之处在于其的“单元格”是6×2像素。
如在图4、图5和图6的颜色滤波器阵列中可以看到的，每个颜色滤波器阵列均具有不同的RGBW像素排列。
图4中示出的现有技术的颜色滤波器阵列(CFA)是基于将颜色滤波器RGB保持为典型的拜耳型图案并且保持具有较低的分辨率的。这样的布置在RGB像素之间实现了1:2:1的采样比率，并且这样的布置对于每个“单元格”具有1个红色像素、2个绿色像素和1个蓝色像素或者具有如图4中示出的2个红色像素、4个绿色像素和2个蓝色像素的RGB拜耳阵列是典型的。
图4还示出了将根据图4的CFA排列的红色像素、绿色像素和蓝色像素的灵敏度与其宽带像素进行比较的曲线图。上方曲线图以虚线示出了R像素、G像素和B像素的个体灵敏度。宽带像素的灵敏度用实线示出。在该上方曲线图中，所有值被归一化为宽带像素的峰值灵敏度以帮助进行比较。
图4中的虚线示出了从图4的单元格50的R像素、G像素和B像素计算的亮度值Y的光谱灵敏度。Y被计算为Y＝(R+2G+B)/4。该值表示
图4的图像传感器中的单个感光单元处的亮度灵敏度。关于图7论述了如何执行该计算的更多细节。重要的是，从该归一化值可以看出宽带像素比窄带导出值更敏感。
在图4的下方曲线图中，来自R像素、G像素和B像素的Y值按比例放大(乘以因子3)，以帮助将其光谱响应与宽带像素的光谱响应进行比较。可以看出，Y值的灵敏度在较长波长(例如，620nm以上)处很好地跟踪W值，但在绿色滤波器的中心频率附近具有更明显的峰值。这主要是由于图4的CFA中的绿色像素的双密度。
如下面将要描述的，当使用图4的CFA时，窄带像素与宽带像素之间的灵敏度的这种不匹配对于亮度图像的计算具有影响。
现在转到图5，可以看出图5的CFA的“单元格”是RGBW像素的6×6矩阵。
与图4中示出的滤波器阵列相比，滤波器阵列51具有增加密度的红色感光单元和蓝色感光单元并具有减少数量的绿色感光单元。虽然图4中示出的阵列50仅由12.5％的红色像素和12.5％的蓝色像素构成，但是图5的滤波器阵列51将这些颜色感光单元增加至16.7％的红色像素和16.7％的蓝色像素。滤波器阵列51还具有16.7％的绿色感光单元。这使得能够从CFA导出全色信息。然而，由于通过所有这些RGBW阵列中的宽带像素实现了精细图像细节的灵敏度以及分辨率，因此可以减少绿色像素而没有任何主要缺点。
图5的CFA的另一益处在于如可以在灵敏度曲线图中看到的红色感光单元、绿色感光单元和蓝色感光单元的1:1:1的采样。在图5中，上方曲线图以虚线示出了R像素、G像素和B像素的个体灵敏度。宽带像素的灵敏度用实线示出。同样，所有值被归一化为宽带像素的峰值灵敏度以帮助进行比较。
图5中的虚线示出了从图5的单元格51的R像素、G像素和B像素计算的亮度值Y的光谱灵敏度。Y被计算为Y＝(R+G+B)/3。该值表示图5的图像传感器中的单个感光单元处的亮度灵敏度。关于图8论述了如何执行该计算的更多细节。重要的是，从该归一化值可以看出宽带像素比窄带导出值更敏感。
同样，下方曲线图将来自R像素、G像素和B像素的Y值缩放3倍，以帮助将其光谱响应与宽带像素的光谱响应进行比较。可以看出，Y值的灵敏度在整个宽带滤波器通带上紧密跟踪W值的灵敏度。下面将论述该紧密匹配的优点。
图5的实施方式的另一优点是其可以在收集模式下操作，这可以有利地提高灵敏度和读出速度。如图5中可以看到的，图5的CFA的单元格51可以被分成包括一对宽带滤波器元件(W)和一对相同类型的窄带滤波器元件的宏单元。由附图标记55表示的宏像素包含沿着宏像素的对角线布置的一对红色窄带滤波器元件和一对宽带滤波器元件。水平相邻的宏像素包含绿色类型的滤波器元件，下一个水平宏像素包含蓝色类型的滤波器元件。在收集模式中，每个宏像素中的像素对的读出一起发生并组合像素值。因此，每个收集的像素对的灵敏度高于相同类型的每个单独像素的灵敏度。
有利地，由于仅需要从图像传感器读出像素响应的总数的一半，因此，能够实现与所有单个像素的完全读出模式相比的两倍的帧速率同时保持相同的视场。然而，在收集模式下操作的缺点是空间分辨率降低。
图6示出了另一替代CFA 52。CFA 52还实现了红色像素、绿色像素和蓝色像素之间的1:1:1的采样率并且仅使用6×2单元格。由图6的RGB像素生成的亮度灵敏度曲线将与图5的亮度灵敏度曲线匹配，这是由于它们具有相同的每种类型的像素密度。如指出的，从图5和图6的CFA的R像素、G像素、B像素计算的Y值的灵敏度在整个宽带滤波器通带上紧密跟踪W值的灵敏度。这有利地使图5和图6的CFA的使用能够以对使用该CFA生成的亮度图像的动态范围进行扩展的方式使用。有利地，与仅使用与宽带滤波器在空间上相关的感光单元相比，从颜色滤波器计算的亮度图像扩展了操作性地相关联的图像传感器的光响应范围。这是由于与对应于宽带滤波器的光电二极管相比，与窄带(颜色)滤波器相对应的光电二极管需要更高的饱和曝光。
在这方面，图5和图6的CFA可以用于生成两个亮度图像(一个来自窄带滤波像素，一个来自宽带滤波像素)，所述两个亮度图像在光谱范围内具有不同的绝对灵敏度但具有匹配的光谱灵敏度分布。这意味着在明亮条件下，可以以对较不敏感的亮度图像加权的方式计算亮度图像(以避免饱和)，并且在低光条件或高帧率条件下，可以以如下方式计算亮度图像：对高灵敏度亮度图像加权而不会在由此获得的图像中引起明显的颜色变化。在一些实施方式中，能够在两个亮度图像之间切换或者根据需要将它们组合。
然而，应该注意的是，图6的实施方式不可以在收集模式下操作，这是由于它不包括如图5的实施方式中的宏像素中的成对的窄带滤波器。
这些优点将通过对使用图4和图5的CFA生成亮度图像的过程进行描述而被更好地理解。图7和8描述了用于从使用相应的CFA捕获的图像生成多个亮度图像的机制，而图9示出了从使用图5的CFA捕获的图像生成色度图像。
图7使用已知的CFA说明了该过程。在这方面，CFA 50滤波器示出为具有位于左上方的单元处的4x4单元格。如可以看到的，CFA 50与图4的CFA 50相同。根据该CFA，可以使用示出的一对3×3滤波器来生成全分辨率宽带图像。示出的滤波器核表示应用于滤波器所覆盖的像素值的加权和的加权。所选择的滤波器核通过使用简化系数而近似于特定宽度的二维高斯型滤波器。然而，也可以使用更复杂的滤波器来实现相同的方法，以改善用于目标目的的频率响应，例如以从宽带像素中保留亮度图像中的精细图像细节。
对于与a像素、R像素、G像素、或B像素相对应的像素，上3×3滤波器核用于计算宽带像素值。这是通过组合水平和竖向相邻的宽带像素值(根据所呈现的滤波器核乘以2)来完成的。对于对应于宽带像素的像素，使用较低的3×3滤波器核。为了计算“W”像素的宽带像素值，将像素值(加权系数为4)与对角相邻的W像素值组合，以生成新的像素值。以这种方式生成的全分辨率宽带图像表示高灵敏度亮度图像。图像是“高灵敏度”，这是由于该图像是从高灵敏度宽带像素值导出的。可以从窄带(颜色)像素值生成第二高分辨率亮度图像。这是使用图7的中心行上表示的5×5滤波器核完成的。对于对应于a值、R值、G值或B值的像素，使用最右边的滤波器核。如上所述，在滤波器核中表示的位置(具有数值)中在空间上围绕当前像素布置的像素值以加权和的形式被组合以生成像素值。如可以看到的，这导致R像素、G像素、B像素以1:2:1的比率进行组合，其对于紧相邻像素的权重更大，并且其中，权重随着距像素的距离逐渐下降。类似地，为了生成与宽带像素位置相对应的值，使用左滤波器核。滤波器核执行感兴趣像素周围的R像素、G像素、B像素的加权和。该滤波器核再次生成表示R像素、G像素、B像素值的1:2:1组合的像素值。由此获得的图像表示从图像中的颜色像素值生成的亮度图像。由于R像素、G像素、B像素被滤波，因此它们不会像宽带像素那样容易饱和，并且因此该第二亮度图像在高光情况下是有用的。在一些实施方式中，随着从宽带像素生成的亮度图像的饱和度接近饱和，能够在两个亮度图像之间切换。然而，在其他实施方式中，两个亮度图像可以例如通过下述方式而一起使用：根据在中间光水平下对亮度图像值进行混合的所需算法将它们组合，但转换到在高光水平或低光水平下单独使用一个或另一亮度图像。相同的5x5滤波器核也可以用于以全分辨率生成低通滤波的宽带图像。
来自宽带像素的低通滤波宽带阵列可以实现更低的噪声，同时保持与从颜色感光单元计算的亮度信号类似的空间频率响应。这可以在宽带像素接近饱和时简化本发明的动态范围扩展方法。
如将理解的是，适当的去马赛克方法用以单独地为R像素值、G像素值、B像素值和W像素值生成彩色平面图像。还可以使用合适的滤波器生成色度图像。
如以上所指出的，与滤波器阵列50操作性地相关联的图像传感器也可以通过读取对角相邻的感光单元的组合电荷或电压而在像素收集模式下操作。以这种方式组合电荷或电压读数具有下述结果：与涉及基于全分辨率的读出的方法相比，增加了这种“双像素”的灵敏度同时减少了需要读出的像素的总数的结果。该操作方法有效地使可实现的帧速率加倍同时将像素阵列保持为相同的光学尺寸。保持像素阵列的光学尺寸是有利的，这是由于相机的视场不会改变。
另外，组合的双色像素与双宽带像素之间的灵敏度比率与全分辨率模式下的单色像素与宽带像素之间的灵敏度比率保持相同。对于单个像素，也可以在组合的双色像素与宽带像素之间实现相同的动态范围扩展。
在这方面，图8示出了图5的6×6CFA滤波器的使用。根据该CFA，可以使用示出的一对3×3滤波器生成全分辨率宽带图像。示出的滤波器核表示应用于滤波器所覆盖的像素值的加权和的加权。如先前实施方式那样，选择的滤波器核使用简化系数而近似于特定宽度的二维高斯型滤波器，但是在需要的情况下也可以使用其他滤波器。
对于与a像素、R像素、G像素或B像素相对应的像素，上部的3×3滤波器核用于计算宽带像素值。这是通过组合水平和竖向相邻的宽带像素值(根据所呈现的滤波器核乘以2)来完成的。对于与宽带像素相对应的像素，使用较低的3×3滤波器核。为了计算与“W”像素相对应的感光单元的宽带像素值，将对应的像素值(加权系数为4)与对角相邻的W像素值组合，以生成新的像素值。以这种方式生成的全分辨率宽带图像表示高灵敏度亮度图像。可以从颜色像素值生成第二高分辨率亮度图像。这是使用图8的中心行上表示的7×7滤波器核完成的。对于对应于R值、G值或B值的像素，使用最右边的滤波器核。如上所述，在滤波器核中表示的位置(具有数值)中在空间上围绕当前像素布置的像素值被组合以生成像素值。如可以看到的，这导致R像素、G像素、B像素以1:1:1的比率进行组合，其对于紧相邻像素的权重更大，并且其中，权重随着距像素的距离逐渐下降。类似地，为了生成与宽带像素位置相对应的值，使用左滤波器核。滤波器核执行感兴趣像素周围的R像素、G像素、B像素的加权和。该滤波器核再次生成表示R像素、G像素、B像素值的1:1:1组合的像素值。由此获得的图像表示从图像中的颜色像素值生成的亮度图像。由于R像素、G像素、B像素被滤波，因此它们不会像宽带像素那样容易饱和，并且因此该第二亮度图像在高光情况下是有用的。此外，如关于图5所示，两个亮度图像在光谱范围内的灵敏度很好地匹配，因此无论使用哪个亮度图像，图像的色彩灵敏度都是相对恒定的。
在一些实施方式中，能够在如此计算的两个亮度图像之间进行切换，所述两个亮度图像是在从宽带像素生成的亮度图像的饱和度水平下计算的。然而，在其他实施方式中，两个亮度图像可以例如通过下述方式一起使用：通过根据在中间光水平下对亮度图像值进行混合的所需算法将它们组合，但转换到在高光水平或低光水平下单独使用一个或另一亮度图像。
再次，可以使用用于计算RBG亮度图像的7×7滤波器生成低通滤波的宽带图像(全分辨率)。
来自宽带像素的低通滤波宽带阵列可以实现更低的噪声，同时保持与从颜色感光单元计算的亮度信号类似的空间频率响应。这可以在宽带像素接近饱和时简化本发明的动态范围扩展方法。
与滤波器阵列51操作性地相关联的图像传感器也可以通过读取对角相邻的感光单元的组合电荷或电压来操作。以这种方式组合电荷或电压读数具有下述结果：与涉及基于全分辨率的读出的方法相比，增加了这种“双像素”的灵敏度同时减少了需要读出的像素的总数的结果。该操作方法有效地使可实现的帧速率加倍同时将像素阵列保持为相同的光学尺寸。保持像素阵列的光学尺寸是有利的，由于相机的视场不会改变。
另外，组合的双色像素与双宽带像素之间的灵敏度比率与全分辨率模式下的单色像素与宽带像素之间的灵敏度比率保持相同。对于单个像素，也可以在组合的双色像素与宽带像素之间实现相同的动态范围扩展。图9示出了一组滤波器核56和57，所述一组滤波器核56和57可以用于从使用图5的6×6CFA捕获的图像计算色度图像。色度图像Cb和Cr在指示的地点处以全分辨率图像的四分之一分辨率生成。最左边的色度图像表示B-G通道，并且最左边的色度图像使用7×7滤波器核56来创建，以计算给定像素处的适当的Cb值。例如，在Cb色度图像中，使用最左边的滤波器核生成位于2×2RW、WR宏像素(红色宏像素)中的白色像素的Cb值。落在绿色宏像素上的白色像素的Cb图像是中心滤波器核，落在蓝色宏像素上的白色像素的Cb值使用最右边的滤波器核。
最右边的色度图像Cr表示RG通道，并且最右边的色度图像Cr使用7×7滤波器核57来创建。例如，在Cr色度图像中，使用最右边的滤波器核生成位于2x2RW、WR宏像素(红色宏像素)中的白色像素的Cr值。落在绿色宏像素上的白色像素的Cr图像是中心滤波器核，落在蓝色宏像素上的白色像素的Cb值使用最右边的滤波器核。
色度图像可以与亮度图像一起使用，以便以典型的4:2:0采样格式存储图像数据(如EP 3416128中所描述的)。如上所述，执行诸如白平衡、颜色变换、降噪、色调映射等的附加处理以生成典型RGB格式或YUV422格式的视频输出进而用于监测或流传输(现场制作)通常是有利的。
应当理解的是，在本说明书中公开和限定的本发明扩展到所提到的或者从文本或附图中明显的两个或更多个单独特征的所有替代组合。所有这些不同的组合构成了本发明的各种替代方面。

Claims (18)

1.一种用于对相机中的图像数据进行处理的方法，所述相机被配置成使用具有相关联的滤波器阵列的图像传感器来接收光并生成图像数据，所述图像传感器包括像素阵列，每个像素对应于所述滤波器阵列中的滤波器元件，使得所述像素具有由对应的滤波器元件至少部分地限定的光谱响应，其中，所述滤波器阵列包括一种模式的宽带滤波器元件和至少两种类型的窄带滤波器元件，所述方法包括为所述图像传感器的每个像素生成包括宽带滤波器元件值的亮度图像。
2.根据权利要求1所述的方法，其中，通过将滤波器核应用于所述图像传感器的像素来计算宽带滤波器元件值。
3.根据权利要求2所述的方法，其中，所述滤波器核使得其仅使用与宽带滤波器元件相对应的像素来计算像素的宽带滤波器元件值。
4.根据权利要求3所述的方法，其中，所述滤波器核通过组合与同像素对角相邻的宽带滤波器元件相对应的像素来计算该像素的宽带滤波器元件值。
5.根据权利要求4所述的方法，其中，根据像素是对应于宽带滤波器元件还是对应于窄带滤波器元件而将不同的滤波器核应用于该像素。
6.根据权利要求4所述的方法，其中，所述滤波器核是2维高斯型滤波器或者近似于2维高斯型滤波器。
7.根据权利要求1所述的方法，包括生成第二亮度图像的步骤，所述第二亮度图像包括所述图像传感器的每个像素的窄带滤波器元件值，所述窄带滤波器元件值仅使用与窄带滤波器元件相对应的像素来计算。
8.根据权利要求7所述的方法，包括将所述亮度图像与所述第二亮度图像组合的步骤。
9.根据权利要求7所述的方法，包括生成第三亮度图像的步骤，所述第三亮度图像包括所述图像传感器的每个像素的宽带滤波器元件值，所述宽带滤波器元件值仅使用与窄带滤波器元件相对应的像素来计算。
10.根据权利要求1所述的方法，其中，所述滤波器阵列包括三种类型的窄带滤波器元件。
11.根据权利要求10所述的方法，其中，所述像素阵列包括与所述三种类型的窄带滤波器元件中的每种类型的窄带滤波器元件相对应的相等密度的像素。
12.根据权利要求7所述的方法，其中，所述滤波器阵列布置成使得所述亮度图像的光谱响应具有与所述第二亮度图像的光谱响应的轮廓基本匹配的轮廓。
13.一种用于成像传感器的滤波器阵列，所述滤波器阵列包括二维滤波器元件阵列，所述二维滤波器元件阵列包括具有三种类型的窄带滤波器元件和宽带滤波器元件的一个或更多个重复单元格，其中，每种类型的窄带滤波器元件的密度均相等。
14.根据权利要求13所述的滤波器阵列，其中，所述滤波器阵列包括相同数量的宽带滤波器元件和窄带滤波器元件。
15.根据权利要求13所述的滤波器阵列，其中，所述滤波器阵列的所述单元格包括下述滤波器元件：
T1wT2wT3w、wT1wT2wT3、T2wT3wT1w、wT2wT3wT1、T3wT1wT2w、wT3wT1wT2，其中，‘T1’对应于类型1的窄带滤波器元件，‘w’对应于宽带滤波器，‘T2’对应于类型2的窄带滤波器元件，并且‘T3’对应于类型3的窄带滤波器元件。
16.根据权利要求1所述的方法，其中，使用权利要求13的滤波器阵列。
17.根据权利要求8所述的方法，还包括选择所述亮度图像或所述第二亮度图像以用于进一步的图像处理。
18.根据权利要求17所述的方法，其中，所述组合或选择是基于下述各者中的任何一者或更多者的：光级、接收到的光线等级、帧速率和曝光时间。
CN201910236943.7A 2018-03-28 2019-03-27 图像处理方法和滤波器阵列 Active CN110324546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310960859.6A CN116744094A (zh) 2018-03-28 2019-03-27 图像处理方法和滤波器阵列

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2018901038 2018-03-28
AU2018901038A AU2018901038A0 (en) 2018-03-28 Image processing method and filter array

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310960859.6A Division CN116744094A (zh) 2018-03-28 2019-03-27 图像处理方法和滤波器阵列

Publications (2)

Publication Number Publication Date
CN110324546A true CN110324546A (zh) 2019-10-11
CN110324546B CN110324546B (zh) 2023-08-22

Family

ID=66223577

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310960859.6A Pending CN116744094A (zh) 2018-03-28 2019-03-27 图像处理方法和滤波器阵列
CN201910236943.7A Active CN110324546B (zh) 2018-03-28 2019-03-27 图像处理方法和滤波器阵列

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310960859.6A Pending CN116744094A (zh) 2018-03-28 2019-03-27 图像处理方法和滤波器阵列

Country Status (4)

Country Link
US (2) US11258992B2 (zh)
EP (1) EP3547680A1 (zh)
JP (2) JP7349806B2 (zh)
CN (2) CN116744094A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726549A (zh) * 2020-06-29 2020-09-29 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
CN112504454A (zh) * 2020-11-25 2021-03-16 天津津航技术物理研究所 一种基于像素级光谱调制的超分辨光谱成像滤波器结构
CN116164841A (zh) * 2023-04-26 2023-05-26 中国科学院长春光学精密机械与物理研究所 基于计算增强型像元分光光谱成像芯片的光谱重构方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ
KR20210135380A (ko) * 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
JP2021177628A (ja) 2020-05-07 2021-11-11 ブラックマジック デザイン ピーティーワイ リミテッドBlackmagic Design Pty Ltd 変換係数処理方法
CN112884667B (zh) * 2021-02-04 2021-10-01 湖南兴芯微电子科技有限公司 一种Bayer域降噪方法和降噪***
US20230254595A1 (en) * 2023-02-13 2023-08-10 Shantanu Singh Optimal color filter array and a demosaicing method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US20060044427A1 (en) * 2004-08-26 2006-03-02 Hu Shane C Two narrow band and one wide band color filter for increasing color image sensor sensitivity
WO2008066698A2 (en) * 2006-11-30 2008-06-05 Eastman Kodak Company Producing low resolution images
KR20160091220A (ko) * 2015-07-02 2016-08-02 연세대학교 산학협력단 다중 스펙트럼 영상 생성을 위한 카메라, 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59204804A (ja) * 1983-05-09 1984-11-20 Canon Inc カラ−フイルタ−
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP4796871B2 (ja) * 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
KR20110006811A (ko) 2009-07-15 2011-01-21 삼성전자주식회사 칼라 필터 어레이 및 이를 포함하는 이미지 센서와 전자 장치
US9369681B1 (en) * 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
US10002408B2 (en) * 2016-08-04 2018-06-19 Intel Corporation Restoring color and infrared images from mosaic data
JP7182907B2 (ja) 2017-06-15 2022-12-05 ブラックマジック デザイン ピーティーワイ リミテッド カメラの画像データ処理方法およびカメラ
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US20060044427A1 (en) * 2004-08-26 2006-03-02 Hu Shane C Two narrow band and one wide band color filter for increasing color image sensor sensitivity
WO2008066698A2 (en) * 2006-11-30 2008-06-05 Eastman Kodak Company Producing low resolution images
KR20160091220A (ko) * 2015-07-02 2016-08-02 연세대학교 산학협력단 다중 스펙트럼 영상 생성을 위한 카메라, 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726549A (zh) * 2020-06-29 2020-09-29 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
CN112504454A (zh) * 2020-11-25 2021-03-16 天津津航技术物理研究所 一种基于像素级光谱调制的超分辨光谱成像滤波器结构
CN116164841A (zh) * 2023-04-26 2023-05-26 中国科学院长春光学精密机械与物理研究所 基于计算增强型像元分光光谱成像芯片的光谱重构方法

Also Published As

Publication number Publication date
US20230254597A1 (en) 2023-08-10
US20190306472A1 (en) 2019-10-03
JP2019208201A (ja) 2019-12-05
US11632525B2 (en) 2023-04-18
JP2023166546A (ja) 2023-11-21
CN110324546B (zh) 2023-08-22
JP7349806B2 (ja) 2023-09-25
CN116744094A (zh) 2023-09-12
US11258992B2 (en) 2022-02-22
EP3547680A1 (en) 2019-10-02
US20220141429A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN110324546A (zh) 图像处理方法和滤波器阵列
CN208820947U (zh) 图像传感器
US7400332B2 (en) Hexagonal color pixel structure with white pixels
EP2263373B1 (en) Generalized assorted pixel camera systems and methods
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
US7706608B2 (en) Image processing device, image processing method and image processing program
CN108650497B (zh) 具有透明滤波器像素的成像***
JP5054858B1 (ja) カラー撮像装置
US9210387B2 (en) Color imaging element and imaging device
CN109146982A (zh) 原始图像处理***及方法
US20070159542A1 (en) Color filter array with neutral elements and color image formation
CN102204258A (zh) 图像输入装置
JP2004228662A (ja) 撮像装置
US9219894B2 (en) Color imaging element and imaging device
US20150109493A1 (en) Color imaging element and imaging device
US9185375B2 (en) Color imaging element and imaging device
CN209345244U (zh) 成像***和相机模块
WO2014091706A1 (ja) 撮像装置
US12047693B2 (en) Image processing system and filter array including wideband filter elements and narrowband filter elements
JP4119565B2 (ja) カラー撮像素子及びカラー撮像装置
TWI617198B (zh) 具有透明濾波器像素之成像系統
JP2002354479A (ja) 画像圧縮伸長装置、画像圧縮伸長方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant