CN117652155A - 用于处理由图像传感器提供的数据的方法和图像处理器单元 - Google Patents

用于处理由图像传感器提供的数据的方法和图像处理器单元 Download PDF

Info

Publication number
CN117652155A
CN117652155A CN202280013423.XA CN202280013423A CN117652155A CN 117652155 A CN117652155 A CN 117652155A CN 202280013423 A CN202280013423 A CN 202280013423A CN 117652155 A CN117652155 A CN 117652155A
Authority
CN
China
Prior art keywords
gain
frame
pixel
matrix
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280013423.XA
Other languages
English (en)
Inventor
M·菲德勒
J·哈尔蒂希
C·海因里希斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dream Chip Technologies GmbH
Original Assignee
Dream Chip Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dream Chip Technologies GmbH filed Critical Dream Chip Technologies GmbH
Publication of CN117652155A publication Critical patent/CN117652155A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种用于处理由图像传感器提供的图像数据的方法，其中，所述图像数据包括由像素阵列形成的帧，所述像素阵列被滤色器阵列覆盖，使得像素根据由所述滤色器阵列定义的特定颜色图案表示颜色信息。所述方法包括以下步骤：当存储的增益矩阵被定位在所述帧上时，将所述帧的每个像素乘以在所述增益矩阵中针对对应于所述像素在所述帧中的像素位置而预定义的相应增益因子，其中，所述增益矩阵小于所述帧并且被放置在所述帧上的多个不同位置以将所述帧的每个像素乘以所述增益矩阵的相应增益因子。

Description

用于处理由图像传感器提供的数据的方法和图像处理器单元
技术领域
本发明涉及一种用于处理由图像传感器提供的图像数据的方法，其中图像数据包括由像素阵列形成的帧，所述像素阵列被滤色器阵列覆盖，使得像素根据由滤色器阵列定义的特定颜色图案表示颜色信息。
本发明还涉及一种用于处理由图像传感器提供的图像数据的图像处理器单元，所述图像传感器包括传感器像素阵列，所述传感器像素阵列提供由像素阵列形成的帧，所述像素阵列被滤色器阵列覆盖，使得像素根据由滤色器阵列定义的特定颜色图案表示颜色信息。
本发明还涉及一种计算机程序，其包括用于执行上述方法的步骤的指令。
背景技术
标准数字图像传感器的像素阵列被设计成在不偏向任何特定波长的情况下捕获光。所得到的图像是没有任何颜色信息的单色图像。为了生成颜色信息，像素阵列被滤色器阵列覆盖，该滤色器阵列是用于不同波长的滤光器的网格。最常见的滤色器阵列图案是拜耳(Bayer)滤色器，其由2×2个基本单元组成，所述基本单元包含一个红色(R)、两个绿色(G)和一个蓝色(B)像素单元点。基本单元在图像传感器的整个像素阵列之上重复，从而生成具有R、G和B像素的图像。由于该过程，颜色信息是不完整的。重建丢失的颜色信息的过程，例如针对每个像素重建R、G和B的过程，被称为去马赛克。
存在其它类型的滤色器阵列，如Quad Bayer、HexaDeca或6×6滤色器阵列。因此，先进的图像传感器使用复杂的滤色器阵列图案，不仅仅是2×2拜耳滤色器阵列，还可以是更大的N×M RGB或RGBW滤色器阵列(W＝白色)。
像素串扰的问题尤其随着高阶滤色器阵列图案的影响增加而出现。尤其是RGBW会出现串扰问题，在RGBW中，白色与彩色相互作用。对白色像素的影响取决于附近的彩色像素。结果是，可以在白色像素上看到人工N×M像素周期性网格状结构。
US10,681,290B1公开了一种用于减少串扰噪声的方法、图像传感器和图像处理设备。获得由传感器阵列生成的原始图像，该原始图像包括多个图像像素和对应于相位检测传感元件的多个相位检测像素。考虑图像传感器的曝光和***增益、相位检测像素的像素坐标以及原始图像的锐度信息来确定是否补偿当前图像像素的图像数据。
US 8,947,563 B2公开了一种用于通过在以第一增益投影远程位置的图像的同时捕获本地位置的第一图像并且在以不同于第一增益的第二增益投影图像的同时捕获本地位置的第二图像来减少显示器-相机***中的视频串扰的方法。捕获本地位置的混合图像，其包括与具有第一增益的投影图像组合的第一图像；并且捕获本地位置的第二混合图像，其包括与具有第二增益的投影图像组合的第二图像。通过确定混合图像之间的像素值变化是否受本地位置的第一和第二图像中的运动的影响，对混合图像执行串扰减少以创建本地位置的重建图像。
US10,580,384B1公开了一种校准显示面板的方法，其中使用生成的非线性模型和像素的输入值来针对给定值的颜色分量计算串扰增益。串扰增益被施加到像素的颜色分量以创建串扰补偿的分量值。串扰增益计算使用对面板的测量结果来产生多个电光转换函数，然后将这些电光转换函数相互比较以产生增益，这些增益以矩阵乘法施加到面板串扰模型的输出，从而产生经调整的串扰校正信号，***使用该经调整的串扰校正信号来生成总体增益以施加到线性RGB输入。
US2021/0227185 A1公开了一种校准电路，其被配置为接收基于从图像传感器的像素阵列输出的像素信号生成的数字图像信号。基于系数集合计算数字图像信号的颜色增益，所述系数集合基于在具有第一色温的第一光源下由参考图像传感器生成的参考图像信号来计算。颜色增益被施加到数字图像信号以生成经校准的图像信号。
发明内容
本发明的目的是提供一种用于处理由图像传感器提供的图像数据的改进的方法和图像处理单元。
所述目的通过包括权利要求1的步骤的方法、根据权利要求13的图像处理器单元和根据权利要求15的计算机程序来实现。在从属权利要求中描述了优选实施例。
为了处理包括由像素阵列形成的帧的图像数据并减少由滤色器阵列图案引起的像素串扰的视觉效果，将基于网格的增益施加到帧的像素。将每个像素值乘以提供增益网格的增益矩阵的不同增益因子之一。
减少串扰效应可以通过以下步骤来实现：当存储的增益矩阵(即增益网格)被定位在帧上时，将所述帧的每个像素乘以在所述增益矩阵中预定义的位于对应于所述帧中的所述像素的像素位置上的相应增益因子，其中，所述增益矩阵小于所述帧并且被功能性地(例如，虚拟地或计算地/数学地)放置在所述帧上的多个不同位置以将所述帧的每个像素乘以所述增益矩阵的相应增益因子。
将增益矩阵定位在由图像传感器的图像数据提供的帧的像素矩阵上被理解为将帧中的像素位置分配给增益矩阵中的相应像素位置的功能定位。不需要在帧的像素矩阵之上物理地覆盖或移动网格矩阵。虚拟的或计算的分配是足够的，并且其与增益矩阵已经被覆盖在帧像素矩阵上的效果相同。这可以通过将增益矩阵存储在数据存储器中并且计算帧的像素位置上的所选择的像素值与增益矩阵的预先选择的存储的增益因子的乘积来实现。然后，通过针对帧的像素矩阵中的多个像素访问增益矩阵中的相同增益因子，可以虚拟地重复增益矩阵以覆盖帧的所有像素，从而产生如同增益矩阵被定位在帧的多个区段之上以覆盖整个帧的效果。
通过对增益矩阵大小的帧像素阵列的多个区域使用不同的增益值，可以显著地减少串扰。特别地，对于白色像素，增益因子可以针对白色像素和周围的彩色像素而变化。这减少了白色像素值与附近彩色像素值之间的串扰效应。
分配给增益矩阵的像素位置的增益因子可以在平场参考图像上校准。
增益矩阵的大小可以优选地是滤色器阵列图案的大小，所述滤色器阵列图案被重复以形成帧大小的滤色器阵列。因此，增益矩阵的大小由滤色器阵列的基本图案的大小确定。这解决了由于像素串扰效应而在基本滤色器阵列矩阵的大小中出现的白色像素上的人工周期性网格状结构。
N×M增益网格根据基本滤色器阵列图案的N×M个单元是周期性的，并且增益矩阵根据滤色器阵列图案在帧的大小之上重复。
可以以周期性的方式将增益矩阵重复地定位在帧上，使得帧的颜色图案匹配增益矩阵中的增益因子的颜色图案分配。每个像素都可以在帧上乘以周期性重复的增益矩阵的相应增益因子。因此，增益矩阵被全局地分布在帧之上，并且提供与滤色器阵列图案匹配的增益因子图案。
然而，串扰图案可以在帧之上独立于滤色器阵列图案而变化。优选地，提供不同增益矩阵的集合，其中每个增益矩阵被分配给帧上的增益矩阵的相应位置，用于将帧的每个像素乘以被覆盖的相关增益矩阵中的像素位置上的相应增益因子。
因此，取决于帧中的位置而使用不同的增益网格以不仅仅是全局地、还可以是局部地定义N×M增益网格。
增益矩阵集合中的所选择的增益矩阵可以被分配给帧中的相关支撑点。定义增益矩阵中的支撑像素位置的支撑点与帧中的针对帧定义的相关支撑点处的像素位置相匹配，以便将所选择的增益矩阵的像素位置上的增益因子分配给帧的相应像素并且将像素值乘以相关增益因子。
因此，在帧中定义多个支撑点，例如帧中的U×V个支撑点的集合。这些“宏观”支撑点分布在整个帧中。优选地，它们均匀地分布在整个帧中。增益矩阵集合包括角点、即增益网格的支撑点，当将所选择的增益矩阵(功能性地)放置在帧之上时，所述角点被分配给相关增益矩阵中的相应支撑点。对于U×V个支撑点中的每一个，分配一个所选择的N×M增益网格以将所选择的增益网格放置在帧之上的相关支撑点的位置。
使用多个支撑点和多个增益矩阵，所述多个增益矩阵中的每一个都包括用于增益矩阵中的每个像素位置的单独增益因子集合，这允许减少在帧之上变化的串扰图案。
可以为帧中的每个支撑点提供一个特定的增益矩阵。
优选地，可以在位于相应的相邻支撑点处的相邻增益矩阵之间插值增益矩阵。因此，局部增益网格***值在支撑点之间。结果是，为了获得帧的整个像素矩阵的增益因子，不需要将增益矩阵放置在帧的每个像素上。在支撑点处的不同增益矩阵不覆盖这些像素位置的情况下，通过用相邻增益矩阵的增益因子进行插值来确定像素位置的增益因子。
可以提供不同增益矩阵的集合，其中每个增益矩阵被分配给相应的颜色。这允许颜色自适应增益网格减少图案伪影，所述图案伪影例如在具有饱和颜色的对象上再现。这种彩色图案伪影的原因例如是取决于入射光颜色的白色-彩色相互作用。
可以针对帧中的像素矩阵确定局部颜色。基于针对帧中的这种像素矩阵确定的局部颜色，利用不同增益矩阵的集合针对帧中的所述像素矩阵的像素位置确定增益因子。
因此，代替具有含相关增益因子的单个增益矩阵集合，提供了多个K个增益矩阵集合，其中每个增益矩阵集合针对一个特定颜色进行校准。
局部颜色可以通过计算在相关增益矩阵的位置上的像素矩阵的滑动窗口局部邻域中的原色像素的平均颜色值来确定。滑动窗口的像素矩阵的大小可以不同于增益矩阵的大小。然而，优选的是，滑动窗口的像素矩阵的大小与增益矩阵的N×M大小完全相同，使得测量数据尚未包含算法应该补偿的具体图案。可以计算帧上的颜色矩阵位置的N×M个像素的滑动窗口局部邻域中的红色、绿色和蓝色原色像素颜色的平均值以确定局部颜色。
可以基于所确定的局部颜色在增益矩阵集合之间插值增益因子。这允许针对多个特定颜色具有减少数量的多个增益矩阵集合。不匹配预定义增益矩阵的特定颜色的局部颜色通过在分配给与所确定的局部颜色相似的特定颜色的集合的至少两个增益矩阵之间插值增益因子来解决。然而，也可以基于相邻颜色的多于两个增益矩阵来执行插值。
优选地，基于帧中的相关像素矩阵中的颜色像素值的相应局部颜色平均值来计算增益矩阵集合中的增益因子的权重。
附图说明
通过具有附图的示例性实施例更详细地解释本发明。在附图中：
图1是图像处理器单元的示意框图；
图2是具有定位在帧之上的增益矩阵的帧像素阵列的示例；
图3是包括用于将不同增益矩阵定位在帧上的支撑点的帧的空间插值的示例；
图4是具有在局部颜色上选择的增益矩阵集合的帧的颜色自适应插值的示例。
具体实施方式
图1示出了图像处理器单元1的示例性示意框图，图像处理器单元1包括相机2和图像处理器单元3，图像处理器单元3用于处理由相机2的图像传感器4提供的原始图像数据IMGRAW。
图像传感器4包括像素Px，y的阵列，使得原始图像数据IMGRAW是每个图像的像素的原始矩阵中的数据集合。为了捕获图像中的颜色，在图像传感器4之前的光路中设置滤色器阵列CFA。相机2包括光机械透镜***5，例如固定的不受控制的透镜。
图像处理器单元1可以结合在手持设备中，如智能电话、平板电脑、可穿戴设备、图片或视频相机或诸如此类。
图像处理器单元3被布置为能够处理来自捕获图像的图像传感器4的图像数据IMGRAW，其中帧也被认为是本发明意义上的图像。
先进的图像传感器使用复杂的滤色器阵列图案。最简单的滤色器阵列图案是2×拜耳滤色器阵列。然而，存在更大的N×M RGB或RGBW滤色器阵列(其中R＝红色，G＝绿色，B＝蓝色，W＝白色)。例如，存在4×4Quad Bayer、6×6Nonacell、2×2RGBW拜耳滤色器阵列和4×4RGBW#1Kodak滤色器阵列等。
在相邻像素之间存在像素串扰的问题，对于较大的滤色器阵列图案，尤其是对于包括白色像素、其中白色与彩色相互作用的滤色器阵列图案，像素串扰增加。对白色像素的影响取决于附近的彩色像素。像素串扰是滤色器阵列图案的大小为N×M个像素的、特别是在白色像素上的人工周期性网格状结构的结果。
为了减少像素串扰效应，将基于网格的增益Wi施加到原始图像IMGRAW的像素Px，y。
图2是具有被周期性地定位在帧之上的N×M网格矩阵的帧像素阵列的示例。
帧的图像包括在x、y位置上的像素的阵列，其中每个像素被分配给滤色器阵列CFA的相应颜色。为了易于理解，该示例基于包括2×2矩阵的2×2拜耳滤色器阵列，所述2×2矩阵包括图案绿-红-蓝-绿。
对于该基本实施例，可以提供相应的N×M＝2×2增益矩阵并将其存储在数据存储器中，该增益矩阵包括用于增益矩阵中的相应像素位置的权重W1、W2、W3和W4。
图像处理器单元3可以例如通过由软件或由合适的硬件结构编程而被布置成能够将原始图像数据IMGRAW的每个像素Px，y乘以N×M增益矩阵的相应权重Wi，就好像增益矩阵被覆盖在图2所示的帧矩阵上一样。
在图2的示例中，N×M＝2×2增益矩阵在帧矩阵的整个大小之上周期性地重复，例如，如针对高度简化的示例所示出的6×4帧矩阵。
将相应x、y位置上的每个像素Pi，j乘以相同x、y位置上的相应权重Wk。结果是通过将像素位置上的像素颜色值乘以相关权重Wk来处理的每个x、y位置的像素值Pi，j的集合。
可以在平场参考图像上校准N×M增益矩阵的权重Wk。
使用具有与N×M滤色器阵列矩阵相同的大小的N×M增益矩阵的N×M个不同增益值减少了由像素串扰引起的人工N×M像素周期性网格状结构。
然而，串扰图案可以在帧之上变化。这可以通过定义N×M增益矩阵(增益网格)来解决，而不仅仅是如图2所示的全局地定义。改进的实施例取决于帧中的位置提供不同的N×M增益矩阵。
图3示出了帧的空间插值的示例，该帧包括用于将不同增益矩阵Sk定位在帧上的支撑点Sk。
通常，可以在帧、即原始图像数据IMGRAW中定义多个U×V支撑点Sn。优选地，这些支撑点Sn可以以网格布置在帧的“宏观”像素位置处，所述“宏观”像素位置均匀地分布在整个帧中。在对于帧的增益网格集合使用统一的大小N×M的情况下，U×V的数量可以是增益网格的大小N×M的整数除数。
基于图2中的具有简单的2×2拜耳滤色器阵列的基本示例，在图3的帧、即原始图像数据IMGRAW中示出了两个示例性支撑点S1和S2，以简化图示。
存在分配给相应支撑点Sk的增益矩阵Sk的集合。一个增益矩阵可以被分配给至少一个支撑点Sk。
优选地，对于在帧中定义的U×V个支撑点Sk中的每一个，都存在一个N×M增益矩阵。
如图所示，支撑点Sk中的每一个都被分配给帧的网格中的和相关增益矩阵的网格中的像素位置。“宏观”支撑点可以均匀地分布在整个帧中。
帧中的每个像素值与特定支撑点Sk相关，然后可以通过与相同支撑点Sk相关的增益矩阵的权重Wi，j来加权。这可以例如通过用于重复的2×2增益网格的公式来表示：
N×M＝2×2帧块，用于支撑点S1：
P33＝G33*W11
P34＝B34*W13
P43＝R43*W12
P44＝G44*W14
N×M＝2×2帧块，用于支撑点S2：
P53＝G53*W21
P54＝B54*W23
P63＝R63*W22
P64＝G64*W24
等等。
在进一步改进的实施例中，支撑点Sk之间的“局部”增益矩阵中的权重可以通过使用与支撑点对齐的相邻增益矩阵中的权重Wi来插值。
例如，这可以通过在相邻增益网格中针对与像素位置相关的特定颜色插值权重来利用以下公式执行：
P33＝G33*(W11+W21)/2
P34＝B34*(W13+W23)/2
P43＝R43*(W12+W22)/2
P44＝G44*(W14+W24)/2
等等。
由像素串扰引起的图案伪影也可能受到特定颜色的影响。例如，图案可以在具有饱和颜色的对象上再现。原因是白色像素与彩色像素之间的相互作用取决于入射光的颜色。
为了进一步减少所有图案伪影，可以施加颜色自适应增益网格。
图4示出了具有在局部颜色上选择的增益矩阵集合的帧的颜色自适应插值的简化示例。
代替具有单个N×M增益矩阵集合，或者附加性地，通过使用N×M×U×V增益矩阵中的支撑点Sk，可以提供多个增益矩阵集合，每个增益矩阵集合都被分配给特定颜色。每个增益矩阵集合都可以针对一种特定颜色进行校准，即R＝红色，G＝绿色，B＝蓝色。
可以基于相应像素位置Pi，j中的局部颜色在K个增益矩阵集合之间插值每个像素Pi，j的权重Wk。
像素位置Pi，j的局部颜色可以通过根据N×M滤色器阵列和N×M增益矩阵计算N×M个像素的滑动窗口局部邻域中的R、G、B原色像素的平均值来确定。
例如，可以基于局部RGB权重平均值来计算K个增益矩阵集合中的每一个增益矩阵集合的权重Wi。可以选择值K＝3用于近单色红(R)、绿(G)和蓝(B)光的校准。
可以从K个集合中的权重计算权重Wi，其中，K个增益矩阵集合中的每一个增益矩阵集合都被分配给特定颜色。局部增益矩阵中的加权因子可以除以矩阵中的局部RGB加权因子的总和，例如对于三种颜色绿色、红色和蓝色，公式如下：
Wi＝RGBi/sum(RGB)[对于i＝1，2，3]
这导致权重总和为1。
可选地，RGB白平衡增益可以被施加到局部RGB平均值。
根据本发明的一个优选实施例，精确地N×M个像素，即N×M像素集合的每个像素，都被用在滑动窗口局部邻域中。否则，测量数据可能已经包含了算法应该补偿的具体图案。
在帧矩阵中存在已知的缺陷像素或PDAF像素的情况下，应当忽略它们。
这是通过使用简单的2×2拜耳滤色器阵列，针对局部绿色、红色和蓝色定义及存储的K＝3增益矩阵集合，以及颜色自适应插值的可能例程的简化示例来解释的。
每个颜色增益矩阵包括N×M＝2×2权重集合，对于绿色增益矩阵是WG1、WG2、WG3、WG4，对于红色增益矩阵是WR1、WR2、WR3、WR4，以及对于蓝色增益矩阵是WB1、WB2、WB3、WB4。这些权重WRn、WGn和WBn也被称为增益网格。
此外，可以通过从局部RGB平均值计算这些权重来确定平均权重WR、WG和WB。
对于更高阶的N×M滤色器阵列和N×M增益矩阵，原理方案是类似的。
另外，如图3所示，可以在帧矩阵IMGRAW和相应的增益矩阵中定义支撑点Sk。这导致每个颜色R、G和B的增益矩阵集合。
相应的增益矩阵或如图2所示周期性地、或如图3所示基于支撑点Sk地覆盖在帧矩阵上。
通过原始图像数据IMGRAW、即帧矩阵中的相应像素位置上的像素值和所计算的权重Wi来计算相应x、y位置上的像素值Px，y。
像素位置的插值像素值可以例如通过以下简化公式计算：
P11＝G11*(WR*WR1+WG*WG1+WB*WB1)
P12＝B12*(WR*WR3+WG*WG3+WB*WB3)
P21＝R21*(WR*WR2+WG*WG2+WB*WB2)
P22＝G22*(WR*WR4+WG*WG4+WB*WB4)
P31＝G31*(WR*WR1+WG*WG1+WB*WB1)
P32＝B32*(WR*WR3+WG*WG3+WB*WB3)
P41＝R41*(WR*WR2+WG*WG2+WB*WB2)
P42＝G42*(WR*WR4+WG*WG4+WB*WB4)
P13＝G13*(WR*WR1+WG*WG1+WB*WB1)
P14＝B14*(WR*WR3+WG*WG3+WB*WB3)
P23＝R23*(WR*WR2+WG*WG2+WB*WB2)
P24＝G24*(WR*WR4+WG*WG4+WB*WB4)
等等，特别是当满足条件WR+WG+WB＝1时。否则，建议将上述公式归一化，例如通过除以总和(WR+WG+WB)。以下是针对第一像素位置示例性地提出的，并且可以相应地适用于所有像素位置：
P11＝G11*(WR*WR1+WG*WG1+WB*WB1)/(WR+WG+WB)
此外，可以选择将非线性施加到RGB平均值。这导致在感知颜色空间中定义的增益矩阵。
作为另一选项，可以增加局部RGB平均值的饱和度，以便始终有利于使用混合增益的纯增益网格集合。
如果R、B和G增益矩阵集合的总和不等于针对白光校准的增益矩阵集合，则该方法可能对灰色对象的效果不够好。
特别地，在这种情况下，可以通过使用下面列出的策略中的至少一个来进一步改进该方法。
优选地，对于包括白色像素的滤色器阵列，例如对于RGBW滤色器阵列，可以补充上面针对RGB滤色器阵列解释的加权方法。
使用附加增益矩阵或针对白光校准的增益矩阵集合。因此，代替如图4所示的K＝3RGB增益矩阵，定义针对四种“颜色”红、绿、蓝、白的K＝4增益矩阵集合并将其存储在数据存储器中。
使用合适的度量来计算来自局部RGB平均值的饱和度。这可以简单地通过确定max(RGB)-min(RBG)之间的差值来计算介质，即RGB像素值的最大值。合适的度量或颜色表示模型可以是例如HSL(色调、饱和度、亮度)、HSV(色调、饱和度、值)、HSB(色调、饱和度、亮度)或HSI(色调、饱和度、强度)。
来自局部RGB平均值的饱和度可以通过使用对饱和度值的二维查找表LUT的查找来计算。二维相关性可以是例如{R/(R+G+B)，B/(R+G+B)}。
二维查找表LUT具有使饱和度取决于色调的优点，使得白色网格对于一些颜色效果好。
可以通过使用饱和因子sat来计算权重，如下所示：
Wi＝sat*RGBi/sum(RGB) [对于i＝1，2，3]
W4＝1-sat [白色通道]。
结果是权重总和为1。
可选地，饱和度值集合可以被修改，例如通过施加偏移量、因子或指数、或它们的某种组合。这具有相比于饱和集合更有利于白色集合的效果。
RGB颜色模型的替代表示可以通过使用包括色调的表示来使用，即视觉感知的根据视觉区域的属性看起来类似于所感知的颜色之一(例如红色、黄色、绿色和蓝色)、或者类似于它们中的两种的组合。
定义K＝N+1增益矩阵集合并将其存储在数据存储器中，并对白色和N种不同的近单色色调进行校准。
RGB平均值被变换到包括色调信息的颜色空间中，即HSL、HSV、HSB或HIS。关于亮度、值和强度的信息可以被忽略。
针对N个色调计算权重Wi。这可以例如通过与测量的色调匹配来执行。优选地，确定高斯或最近邻等以计算所测量的色调的权重Wi。
还可以使用针对每个条目具有N个权重Wi的二维查找。查找表的二维坐标可以是例如{R/(R+G+B)，B/(R+G+B)}。
权重Wi针对中性灰色计算为Wi＝1-饱和度。
权重Wi可以被归一化，使得权重之和为1。
可选地，非线性可以被施加到色调和饱和度。

Claims (15)

1.一种用于处理由图像传感器提供的图像数据的方法，其中，所述图像数据包括由像素阵列形成的帧，所述像素阵列被滤色器阵列覆盖，使得像素根据由所述滤色器阵列定义的特定颜色图案表示颜色信息，
其特征在于，
-所述方法包括：当存储的增益矩阵被定位在所述帧上时，将所述帧的每个像素乘以在所述增益矩阵中针对对应于所述帧中的所述像素的像素位置而预定义的相应增益因子，
-其中，所述增益矩阵小于所述帧并且被放置在所述帧上的多个不同位置以将所述帧的每个像素乘以所述增益矩阵的相应增益因子。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：在平场参考图像上校准分配给增益网格的像素位置的增益因子。
3.根据权利要求1或2所述的方法，其特征在于，所述增益矩阵的大小是所述滤色器阵列图案的大小，所述滤色器阵列图案被重复以形成所述帧的大小的滤色器阵列。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法包括：以周期性重复的方式将所述增益矩阵定位在所述帧上，使得所述帧的颜色图案与分配给所述增益矩阵中的增益因子的颜色图案相匹配，并且将所述帧的每个像素乘以周期性重复的增益矩阵的相应增益因子。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法包括：提供不同增益矩阵的集合，其中，每个增益矩阵都被分配给所述增益矩阵在帧上的相应位置，用于将所述帧的每个像素乘以被覆盖的相关增益矩阵的像素位置的相应增益因子。
6.根据权利要求5所述的方法，其特征在于，所述方法包括：将所选择的增益矩阵分配给所述帧中的相关支撑点，其中，所选择的增益矩阵的被定义的支撑像素位置上的支撑点与所述帧中的所述支撑点的像素位置相匹配，以便将所选择的增益矩阵的像素位置的增益因子分配给所述帧的相应像素，并且将像素值乘以相关增益因子。
7.根据权利要求6所述的方法，其特征在于，所述方法包括：为所述帧中的每个支撑点提供一个特定增益矩阵。
8.根据权利要求6或7所述的方法，其特征在于，所述方法包括：在位于相应的相邻支撑点上的相邻增益矩阵之间插值增益矩阵。
9.根据前述权利要求中任一项所述的方法，其特征在于，所述方法包括：
-提供不同增益矩阵的集合，其中，每个增益矩阵都被分配给相应的颜色；
-确定所述帧中的像素矩阵的局部颜色；以及
-基于所确定的像素矩阵的局部颜色，利用不同增益矩阵的集合来确定所述帧中的像素矩阵的像素位置的增益因子。
10.根据权利要求9所述的方法，其特征在于，所述方法包括：通过计算所述相关增益矩阵的位置上的像素矩阵的滑动窗口局部邻域中的原色像素的平均颜色值来确定局部颜色，其中，所述像素矩阵的大小是所述增益矩阵的大小。
11.根据权利要求9或10所述的方法，其特征在于，所述方法包括：基于所确定的局部颜色在增益矩阵集合之间插值所述增益因子。
12.根据权利要求9-11中任一项所述的方法，其特征在于，所述方法包括：基于所述帧中的相关像素矩阵中的颜色像素值的相应局部颜色平均值来计算增益矩阵集合中的增益因子的权重。
13.一种用于处理由图像传感器提供的图像数据的图像处理器单元，所述图像传感器包括传感器像素阵列，所述传感器像素阵列提供由像素阵列形成的帧，所述像素阵列被滤色器阵列覆盖，使得像素根据由所述滤色器阵列定义的特定颜色图案表示颜色信息，其特征在于，所述图像处理器单元被布置成：
-当存储的增益矩阵被定位在所述帧上时，将所述帧的每个像素乘以在所述增益矩阵中定义的位于对应于所述帧中的所述像素的像素位置上的相应增益因子，
-其中，所述增益矩阵小于所述帧并且被放置在所述帧上的多个不同位置以将所述帧的每个像素乘以所述增益矩阵的相应增益因子。
14.根据权利要求13所述的图像处理器单元，其特征在于，所述图像处理器单元被布置成能够通过执行根据权利要求1-12中任一项所述的方法步骤来处理图像数据。
15.一种计算机程序，其包括指令，当所述程序由处理单元执行时，所述指令使所述处理单元执行根据权利要求1-12中任一项所述的方法的步骤。
CN202280013423.XA 2022-06-24 2022-06-24 用于处理由图像传感器提供的数据的方法和图像处理器单元 Pending CN117652155A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2022/067398 WO2023247054A1 (en) 2022-06-24 2022-06-24 Method and image processor unit for processing data provided by an image sensor

Publications (1)

Publication Number Publication Date
CN117652155A true CN117652155A (zh) 2024-03-05

Family

ID=82494111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280013423.XA Pending CN117652155A (zh) 2022-06-24 2022-06-24 用于处理由图像传感器提供的数据的方法和图像处理器单元

Country Status (4)

Country Link
EP (1) EP4315877A1 (zh)
CN (1) CN117652155A (zh)
TW (1) TW202402041A (zh)
WO (1) WO2023247054A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US8947563B2 (en) 2013-03-15 2015-02-03 Hewlett-Packard Development Company, L.P. Reducing crosstalk
US10580384B1 (en) 2018-04-05 2020-03-03 Pixelworks, Inc. Panel calibration using multiple non-linear models
US10681290B1 (en) 2019-01-03 2020-06-09 Novatek Microelectronics Corp. Method, image sensor, and image processing device for crosstalk noise reduction
US11317063B2 (en) 2020-01-21 2022-04-26 Samsung Electronics Co., Ltd. Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor

Also Published As

Publication number Publication date
EP4315877A1 (en) 2024-02-07
TW202402041A (zh) 2024-01-01
WO2023247054A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
CN102204258B (zh) 图像输入装置
US7822269B2 (en) Projector color correcting method
JP4142360B2 (ja) 電子カラー画像の色を補正する画像処理方法
KR101200178B1 (ko) 촬상 장치, 화상 처리 장치, 화상 처리 방법 및 촬상 소자
JP3806211B2 (ja) 撮像信号処理方法及び撮像信号処理装置
TWI557686B (zh) 校正影像色偏之方法與相關裝置
US20040247195A1 (en) Method and system for calculating a transformed image from a digital image
US20040028271A1 (en) Colour correction of images
CN106131460A (zh) 成像装置、成像***和信号处理方法
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
WO2006048962A1 (ja) 画素信号処理装置及び画素信号処理方法
JPH09185705A (ja) 分光によるカラー画像編集方法
WO2019104047A1 (en) Global tone mapping
JP7504629B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体
CN114240782A (zh) 图像校正方法、***及电子设备
JP4246428B2 (ja) トーンスケール関数の生成方法
RU2440615C2 (ru) Способ и устройство генерации изображения, программа генерации изображения и машиночитаемый носитель, хранящий программу
JP4725520B2 (ja) 画像処理装置、非撮像色信号算出装置及び画像処理方法
CN117652155A (zh) 用于处理由图像传感器提供的数据的方法和图像处理器单元
KR100827128B1 (ko) 휴대 영상 장치의 영상 구현 방법
JP2001078235A (ja) 画像評価方法および画像評価装置
Bae Image-quality metric system for color filter array evaluation
US20230095645A1 (en) Method for processing a pixels matrix in an image processing chain and corresponding electronic device
JP4334484B2 (ja) 画素信号処理装置及び方法
JP2001292452A (ja) 撮像装置及びカラー撮像信号の処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication