CN116916174A - 图像处理器及包括图像处理器的图像处理*** - Google Patents

图像处理器及包括图像处理器的图像处理*** Download PDF

Info

Publication number
CN116916174A
CN116916174A CN202310272577.7A CN202310272577A CN116916174A CN 116916174 A CN116916174 A CN 116916174A CN 202310272577 A CN202310272577 A CN 202310272577A CN 116916174 A CN116916174 A CN 116916174A
Authority
CN
China
Prior art keywords
image
actual
virtual
pixel
phase detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310272577.7A
Other languages
English (en)
Inventor
韩知希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN116916174A publication Critical patent/CN116916174A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

公开的是图像处理器和包括图像处理器的图像处理***，并且图像处理器包括：第一处理模块，其用于基于与以第一图案布置的第一正常像素和第一相位检测像素相对应的实际输入图像而生成通过校正第一相位检测像素的第一值而获得的实际输出图像；第二处理模块，其用于计算实际输入图像和实际输出图像之间的逆增益值；以及第三处理模块，其用于基于实际输出图像和逆增益值生成虚拟输入图像，虚拟输入图像对应于与以第二图案布置的第二正常像素和第二相位检测像素，其中，第一处理模块还基于虚拟输入图像而生成通过校正第二相位检测像素的第二值而获得的虚拟输出图像。

Description

图像处理器及包括图像处理器的图像处理***
相关申请的交叉引用
本申请要求于2022年4月20日提交的编号为10-2022-0048789的韩国专利申请的优先权，其公开内容整体通过引用并入本文。
技术领域
本公开的多种实施例涉及半导体设计技术，更具体地涉及用于处理从图像传感器生成的图像的图像处理器及包括该图像处理器的图像处理***。
背景技术
图像传感器是用于使用半导体对光做出反应的性质来捕捉图像的器件。图像传感器可以大致被分成电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。最近，CMOS图像传感器被广泛使用，这是因为CMOS图像传感器可以允许模拟和数字控制电路两者被直接实现在单个集成电路(IC)上。
每个图像传感器可以支持自动聚焦功能。图像传感器可以包括用于相位检测的相位检测像素以支持自动聚焦功能。在图像传感器中包括的像素阵列中，相位检测像素可以被稀疏地布置。相位检测像素可以根据滤色器阵列、微透镜等的方面而以多种方式布置。
发明内容
本公开的多种实施例涉及图像处理器以及包括该图像处理器的图像处理***，当相位检测像素的图案(即位置和/或密度)改变时，它们能够基于虚拟输入图像预先验证图像信号处理(ISP)算法。
根据本公开的一实施例，一种图像处理器可以包括：第一处理模块，其适于基于实际输入图像生成实际输出图像，实际输入图像对应于以第一图案布置的第一正常像素和第一相位检测像素，实际输出图像是通过校正第一相位检测像素的第一相位检测像素值而获得的；第二处理模块，其适于计算实际输入图像和实际输出图像之间的逆增益值；以及第三处理模块，其适于基于实际输出图像和逆增益值生成虚拟输入图像，虚拟输入图像对应于以与第一图案不同的第二图案布置的第二正常像素和第二相位检测像素相对应，其中，第一处理模块还适于基于虚拟输入图像生成虚拟输出图像，虚拟输出图像是通过校正第二相位检测像素的第二相位检测像素值而获得的。
根据本公开的一实施例，一种图像处理***可以包括：图像传感器，其包括以第一图案布置的第一正常像素和第一相位检测像素，以及适于生成与第一正常像素和第一相位检测像素相对应的实际输入图像；以及图像处理器，其适于：基于实际输入图像生成实际输出图像，通过使用实际输入图像和实际输出图像之间的逆增益值来生成具有与第一图案不同的第二图案的虚拟输入图像，以及基于虚拟输入图像生成虚拟输出图像。
根据本公开的一实施例，一种处理图像的方法，方法可以包括：处理第一输入图像以生成第一输出图像，第一输入图像与第一图案相对应；基于第一输出图像以及第一输入图像和第一输出图像之间的逆增益值生成第二输入图像，第二输入图像与第二图案相对应；以及处理第二输入图像以生成第二输出图像。
附图说明
图1是示出根据本公开的一实施例的图像处理***的框图。
图2是示出根据本公开的一实施例的图1所示的图像传感器的框图。
图3是示出根据本公开的一实施例的图2所示的像素阵列的示例的图。
图4是示出根据本公开的一实施例的图1所示的图像处理器的框图。
图5是示出根据本公开的一实施例的图4所示的第一处理模块的框图。
图6至图10是示出根据本公开的一实施例的图1所示的图像处理***的操作的图。
具体实施方式
本公开的多种实施例参考附图在下文进行描述，以详细地描述本公开，使本公开所属领域的技术人员可以轻松地实现本公开的技术实质。
将理解的是，当一个元素被称为被“连接至”或“耦接至”另一元素时，该元素可以被直接连接至或耦接至另一元素，或者被电连接至或耦接至另一元素，一个或多个元素置于其间。此外，还将理解的是，当术语“包括”和“包含”在本说明书中使用时，不排除存在一个或多个其他元素，而是还可以包括或具有一个或多个其他元素，除非另有提及。在本说明书的整个描述中，一些组件以单数形式进行描述，但是本公开不限于此，并且将理解的是，组件可以形成为复数。
图1是示出根据本公开的一实施例的图像处理***10的框图。
参考图1，图像处理***10可以包括图像传感器100和图像处理器200。
图像传感器100可以生成与第一正常像素R、G和B以及第一相位检测像素LP和RP相对应的实际输入图像IMG1。第一正常像素R、G和B以及第一相位检测像素LP和RP可以以第一图案布置(参考图3)。
图像处理器200可以基于与第一图案相对应的实际输入图像IMG1生成实际输出图像IMGOUT1，以及基于与第二图案相对应的虚拟输入图像IMG2生成虚拟输出图像IMGOUT2，第二图案不同于第一图案。图像处理器200可以通过使用基于实际输入图像IMG1和实际输出图像IMGOUT1的逆增益值IGs来生成虚拟输入图像IMG2。
图像处理器200可以在生成虚拟输入图像IMG2时考虑基底(pedestal)。例如，图像处理器200可以通过以下操作而考虑基底以生成虚拟输入图像IMG2：将与基底相对应的编码值(例如64)反映在实际输入图像IMG1和实际输出图像IMGOUT1中的每一个中；基于反映编码值的实际输入图像IMG1和反映编码值的实际输出图像IMGOUT1计算反映编码值的逆增益值IGs；对反映编码值的实际输出图像IMGOUT1应用反映编码值的逆增益值IGs；以及补偿编码值([{IMG1-64}/{IMGOUT1-64}]*{IMGOUT1-64}+64)。由于基底是周知的技术，省略了其详细描述。
图2是示出根据本公开的一实施例的图1所示的图像传感器100的框图。
参考图2，图像传感器100可以包括行控制器110、像素阵列120、斜坡信号生成器130和信号转换器140。
行控制器110可以生成用于针对每一行而控制像素阵列120的行控制信号RCTRLs。例如，行控制器110可以生成用于控制被布置在像素阵列120的第一行中的像素的第一行控制信号、以及生成用于控制被布置在像素阵列120的第y行中的像素的第y行控制信号，其中“y”是等于或大于2的自然数。
像素阵列120可以包括被布置在多个行和多个列的交点处的多个像素R、G、B、LP和RP(参考图3)。多个像素R、G、B、LP和RP可以基于行控制信号RCTRLs针对每一行而通过多个列线输出多个像素信号PXOUTs。例如，多个像素R、G、B、LP和RP中的被布置在第一行中的像素可以基于第一行控制信号在对第一单元行时间(unit row time)生成像素信号PXOUTs，以及多个像素R、G、B、LP和RP中的被布置在第y行中的像素可以基于第y行控制信号在第y单元行时间生成像素信号PXOUTs。
斜坡信号生成器130可以生成用于确定像素信号PXOUTs的电压电平的斜坡信号VR。例如，斜坡信号生成器130可以重复地生成斜坡信号VR，斜坡信号VR在每个单元行时间以预定图案的形式形成斜坡。
信号转换器140可以基于斜坡信号VR和像素信号PXOUTs生成实际输入图像IMG1。
图3是示出根据本公开的一实施例的图2所示的像素阵列120的示例的图。
参考图3，在像素阵列120中，第一正常像素R、G和B以及第一相位检测像素LP和RP可以以第一图案布置。第一正常像素R、G和B可以基本上以四方(quad)图案布置，以及第一相位检测像素LP和RP可以被稀疏地设置在第一正常像素R、G和B之间。例如，第一相位检测像素LP和RP可以包括彼此相邻的成对像素。成对像素中的被设置在一侧的相位检测像素LP可以具有第一滤色器(例如B)，以及成对像素中的被设置在另一侧的相位检测像素RP可以具有第二滤色器(例如G)。本实施例不限于第一图案，并且可以被应用于多种图案，例如高动态范围图案等。
图4是示出根据本公开的一实施例的图1所示的图像处理器200的框图。
参考图4，图像处理器200可以包括第一处理模块210、第二处理模块220和第三处理模块230。
第一处理模块210可以基于实际输入图像IMG1生成实际输出图像IMGOUT1。实际输出图像IMGOUT1可以包括通过校正第一正常像素R、G和B而获得的第一正常像素值以及通过校正第一相位检测像素LP和RP而获得的第一相位检测像素值。第一处理模块210可以基于虚拟输入图像IMG2生成虚拟输出图像IMGOUT2。虚拟输入图像IMG2可以包括以第二图案布置的第二正常像素R′、G′和B′以及第二相位检测像素LP′和RP′的第二正常像素值和第二相位检测像素值。虚拟输出图像IMGOUT2可以包括通过校正第二正常像素R'、G'和B'而获得的第二正常像素值以及通过校正第二相位检测像素LP’和RP’而获得的第二相位检测像素值。
第二处理模块220可以基于实际输入图像IMG1和实际输出图像IMGOUT1计算实际输入图像IMG1和实际输出图像IMGOUT1之间的逆增益值IGs。逆增益值IGs可以包括第一逆增益值GB_ratio和第二逆增益值GR_ratio。第一逆增益值GB_ratio可以基于第一正常像素R、G和B中的被设置在第一相位检测像素LP和RP***的第一***像素的第一***像素值而计算。例如，第一逆增益值GB_ratio可以通过以下等式1定义。
[等式1]
GB_ratio＝PX_input_values/PX_output_values
在下文中，“PX_input_values”可以是实际输入图像IMG1中包括的像素值中的与第一***像素值相对应的第一输入像素值，以及“PX_output_values”可以是实际输出图像IMGOUT1中包括的像素值中的与第一***像素值相对应的第一输出像素值。
即，第一逆增益值GB_ratio可以是第一输入像素值和第一输出像素值的比率。
第二逆增益值GR_ratio可以被生成为被应用于第二相位检测像素LP'和RP'中的与对被应用第一逆增益值GB_ratio的像素具有不同情况的像素。第二逆增益值GR_ratio可以通过以下等式2定义。
[等式2]
GR_ratio＝GB_ratio*α
在下文中，“α”可以是偏移值。偏移值可以是考虑第二相位检测像素LP'和RP'的滤色器的波长特性而设置的值。
即，第二逆增益值GR_ratio可以基于第一逆增益值GB_ratio和偏移值而计算。
第三处理模块230可以基于实际输出图像IMGOUT1和逆增益值IGs生成虚拟输入图像IMG2。例如，第三处理模块230可以通过根据第二图案对实际输出图像IMGOUT1应用逆增益值IGs来生成虚拟输入图像IMG2。
图5是示出根据本公开的一实施例的图4所示的第一处理模块210的框图。
参考图5，第一处理模块210可以包括第一校正模块211和第二校正模块213。
第一校正模块211可以首先基于与实际输入图像IMG1有关的实际校准增益而校正第一相位检测像素LP和RP的第一相位检测像素值。第一校正模块211可以首先基于与虚拟输入图像IMG2有关的虚拟校准增益而校正第二相位检测像素LP'和RP'的第二相位检测像素值。
第二校正模块213可以通过其次基于与实际输入图像IMG1有关的实际动态增益而校正第一相位检测像素值来生成实际输出图像IMGOUT1。第二校正模块213可以通过其次基于与虚拟输入图像IMG2有关的虚拟动态增益而校正第二相位检测像素值来生成虚拟输出图像IMGOUT2。
例如，第一校正模块211可以包括第一校正器XGC、第二校正器QGC和第三校正器PGC。
第一校正器XGC可以基于第一正常像素R、G和B的第一正常像素值而校正被设置在第一相位检测像素LP和RP***的第一***像素的第一***像素值，以及生成与实际输入图像IMG1相对应的第一实际校正图像IMG11。由于每个第一***像素值包括由第一相位检测像素LP和RP生成的串扰分量，第一校正器XGC可以补偿第一***像素值的串扰分量。第一校正器XGC可以基于第二正常像素R'、G'和B'的第二正常像素值而校正被设置在第二相位检测像素LP’和RP’***的第二***像素的第二***像素值，以及生成与虚拟输入图像IMG2相对应的第一虚拟校正图像IMG21。
第二校正器QGC可以基于第一实际校正图像IMG11中包括的第一校正像素值而校正第一正常像素R、G和B中的具有相同滤色器的像素之间的不平衡，以及生成与第一实际校正图像IMG11相对应的第二实际校正图像IMG12。第二校正器QGC可以基于第一虚拟校正图像IMG21中包括的第二校正像素值而校正第二正常像素R’、G’和B’中的具有相同滤色器的像素之间的不平衡，以及生成与第一虚拟校正图像IMG21相对应的第二虚拟校正图像IMG22。
第三校正器PGC可以基于实际校准增益而校正第一相位检测像素值，以及生成与第二实际校正图像IMG12相对应的第三实际校正图像IMG13。第三校正器PGC可以从第二实际校正图像IMG12提取或计算实际校准增益或者使用以前存储的实际校准增益。第三校正器PGC可以基于虚拟校准增益而校正第二相位检测像素值，以及生成与第二虚拟校正图像IMG22相对应的第三虚拟校正图像IMG23。第三校正器PGC可以从第二虚拟校正图像IMG22提取或计算虚拟校准增益或者使用以前存储的虚拟校准增益。
第二校正模块213可以包括第四校正器QDPC。
第四校正器QDPC可以基于实际动态增益而校正第一相位检测像素值，以及生成与第三实际校正图像IMG13相对应的实际输出图像IMGOUT1。第四校正器QDPC可以从第三实际校正图像IMG13提取实际动态增益。例如，第四校正器QDPC可以基于以第一相位检测像素LP和RP为中心的预设的核中包括的第三***像素的第三***像素值来计算可被自适应地应用的实际动态增益。第四校正器QDPC可以基于虚拟动态增益而校正第二相位检测像素值，以及生成与第三虚拟校正图像IMG23相对应的虚拟输出图像IMGOUT2。第四校正器QDPC可以从第三虚拟校正图像IMG23提取虚拟动态增益。例如，第四校正器QDPC可以基于以第二相位检测像素LP’和RP’为中心的预设的核中包括的第四***像素的第四***像素值来计算可被自适应地应用的虚拟动态增益。
在下文中，对根据实施例的具有上述配置的图像处理***10的操作进行描述。
图像传感器100可以在非饱和条件下捕捉明亮背景(即白背景)，以及生成与明亮背景相对应的实际输入图像IMG1。
在正常模式下，图像处理器200可以基于实际输入图像IMG1生成实际输出图像IMGOUT1。在验证模式下，图像处理器200可以基于虚拟输入图像IMG2生成虚拟输出图像IMGOUT2。图像处理器200的操作参考图6至图10进行描述。
对图像处理器200的根据正常模式的操作进行描述。
图6是示出根据本公开的一实施例的图像处理器200中包括的第一校正器XGC的操作的图。
参考图6，第一校正器XGC可以校正被设置在第一相位检测像素LP和RP***的第一***像素的第一***像素值，以及生成与实际输入图像IMG1相对应的第一实际校正图像IMG11。例如，第一***像素可以包括以第一相位检测像素LP和RP为中心的6x5核中包括的像素。更准确地，第一***像素可以包括以第一相位检测像素LP和RP中的一个像素LP为中心的5x5核中包括的像素、以及以第一相位检测像素LP和RP中的另一像素RP为中心的5x5核中包括的像素。由于每个第一***像素值包括由第一相位检测像素LP和RP生成的串扰分量，第一校正器XGC可以补偿第一***像素值的串扰分量。
图7是示出根据本公开的一实施例的图像处理器200中包括的第二校正器QGC的操作的图。
参考图7，第二校正器QGC可以基于第一实际校正图像IMG11中包括的第一校正像素值而校正第一正常像素R、G和B中的所有具有相同滤色器的2x2像素之间的不平衡，以及生成与第一实际校正图像IMG11相对应的第二实际校正图像IMG12。
图8是示出根据本公开的一实施例的图像处理器200中包括的第三校正器PGC的操作的图。
参考图8，第三校正器PGC可以首先基于实际校准增益而校正第一相位检测像素值，以及生成与第二实际校正图像IMG12相对应的第三实际校正图像IMG13。例如，第三校正器PGC可以通过对第一相位检测像素值应用实际校准增益来生成第三实际校正图像IMG13。实际校准增益可以由第三校正器PGC基于第二实际校正图像IMG12中包括的像素值而被提取、计算或预先存储。
图9是示出根据本公开的一实施例的图像处理器200中包括的第四校正器QDPC的操作的图。
参考图9，第四校正器QDPC可以其次基于实际动态增益而校正第一相位检测像素值，以及生成与第三实际校正图像IMG13相对应的第一实际输出图像IMGOUT1。第四校正器QDPC可以从第三实际校正图像IMG13提取实际动态增益。例如，第四校正器QDPC可以基于以第一相位检测像素LP和RP为中心的预设的核中包括的第三***像素的第三***像素值来计算可被自适应地应用的实际动态增益。
对图像处理器200的根据验证模式的操作进行描述。
第二处理模块220可以基于实际输入图像IMG1和实际输出图像IMGOUT1计算实际输入图像IMG1和实际输出图像IMGOUT1之间的逆增益值IGs。逆增益值IGs可以包括第一逆增益值GB_ratio和第二逆增益值GR_ratio。第一逆增益值GB_ratio可以基于第一正常像素R、G和B中的围绕第一相位检测像素LP和RP设置的第一***像素的第一***像素值而计算。即，第一逆增益值GB_ratio可以是第一输入像素值和第二输出像素值的比率。第二逆增益值GR_ratio可以被生成为被应用于第二相位检测像素LP'和RP'中的与被应用第一逆增益值GB_ratio的像素具有不同情况的像素。即，第二逆增益值GR_ratio可以基于第一逆增益值GB_ratio和偏移值而计算。
第三处理模块230可以基于实际输出图像IMGOUT1和逆增益值IGs生成虚拟输入图像IMG2。例如，第三处理模块230可以通过根据第二图案对实际输出图像IMGOUT1应用逆增益值IGs来生成虚拟输入图像IMG2。
图10是示出根据本公开的一实施例的虚拟输入图像IMG2的图。
如图10所示，虚拟输入图像IMG2可以对应于与实际输入图像IMG1的第一图案不同的第二图案。第二图案可以由用户设置。即，虚拟输入图像IMG2可以对应于第二正常像素R'、G'和B'和被设置在与第一相位检测像素LP和RP不同的位置处的第二相位检测像素LP’和RP’。第一逆增益值GB_ratio可以被应用于第二相位检测像素LP'和RP'的具有与第一相位检测像素LP和RP相同的滤色器的第二***像素KN1。第二逆增益值GR_ratio可以被应用于第二相位检测像素LP'和RP'的具有与第一相位检测像素LP和RP不同的滤色器的第二***像素KN2。
然后，第一校正器XGC可以基于第二正常像素R'、G'和B'的第二正常像素值而校正被设置在第二相位检测像素LP’和RP’***的第二***像素的第二***像素值，以及生成与虚拟输入图像IMG2相对应的第一虚拟校正图像IMG21。
第二校正器QGC可以基于第一虚拟校正图像IMG21中包括的第二校正像素值而校正第二正常像素R′、G′和B′中的所有具有相同滤色器的2x2像素之间的不平衡，以及生成与第一虚拟校正图像IMG21相对应的第二虚拟校正图像IMG22。
第三校正器PGC可以基于虚拟校准增益而校正第二相位检测像素值，以及生成与第二虚拟校正图像IMG22相对应的第三虚拟校正图像IMG23。例如，第三校正器PGC可以通过对第二相位检测像素值应用虚拟校准增益来生成第三虚拟校正图像IMG23。虚拟校准增益可以由第三校正器PGC基于第二虚拟校正图像IMG22中包括的像素值而被提取、计算或预先存储。
第四校正器QDPC可以基于虚拟动态增益而校正第二相位检测像素值，以及生成与第三虚拟校正图像IMG23相对应的虚拟输出图像IMGOUT2。第四校正器QDPC可以从第三虚拟校正图像IMG23提取虚拟动态增益。例如，第四校正器QDPC可以基于以第二相位检测像素LP’和RP’为中心的预设的核中包括的第四***像素的第四***像素值来计算可被自适应地应用的虚拟动态增益。
根据本公开的一实施例，在相位检测像素的图案(即位置和/或密度)被改变的图像传感器被制造之前，基于虚拟输入图像预先修改和验证图像信号处理(ISP)算法是可能的。
根据本公开的一实施例，在相位检测像素的图案(即位置和/或密度)被改变的图像传感器被制造之前，图像信号处理(ISP)算法可以基于虚拟输入图像被预先进行修改和验证，这使得减少图像处理***的开发时间是可能的。
虽然已经针对特定的实施例示出和描述了本公开，但是所公开的实施例被提供是用于描述，并且不旨在是限制性的。此外，要注意，如本领域技术人员根据本公开将认识到的，本公开可以通过落在随附权利要求的范围之内的替换、改变和修改而以多种方式实现。
例如，在本公开的一实施例中，当像素阵列具有高动态范围图案时，逆增益值需要被应用于与多个曝光时间相对应的多个输出图像中的每一个。此外，实施例可以被组合，以形成另外的实施例。

Claims (20)

1.一种图像处理器，包括：
第一处理模块，其适于基于实际输入图像生成实际输出图像，所述实际输入图像对应于以第一图案布置的第一正常像素和第一相位检测像素，所述实际输出图像是通过校正所述第一相位检测像素的第一相位检测像素值而获得的；
第二处理模块，其适于计算所述实际输入图像和所述实际输出图像之间的逆增益值；以及
第三处理模块，其适于基于所述实际输出图像和所述逆增益值生成虚拟输入图像，所述虚拟输入图像对应于以第二图案布置的第二正常像素和第二相位检测像素，所述第二图案不同于所述第一图案，
其中，所述第一处理模块还适于基于所述虚拟输入图像生成虚拟输出图像，所述虚拟输出图像是通过校正所述第二相位检测像素的第二相位检测像素值而获得的。
2.根据权利要求1所述的图像处理器，其中：
所述第一相位检测像素包括至少一个彼此相邻的成对像素，
所述成对像素包括具有第一滤色器的第一像素和具有第二滤色器的第二像素，以及
所述第二处理模块基于被设置在所述第一像素和第二像素***的***像素的像素值来计算所述逆增益值。
3.根据权利要求1所述的图像处理器，其中：
所述第一相位检测像素包括至少一个彼此相邻的第一成对像素和至少一个彼此相邻的第二成对像素，
所述第一成对像素包括具有第一滤色器的第一像素和具有第二滤色器的第二像素，
所述第二成对像素包括具有第三滤色器的第三像素和具有所述第二滤色器的第四像素，
所述逆增益值包括第一逆增益值和第二逆增益值，
所述第二处理模块基于被设置在所述第一像素和第二像素***的第一***像素的第一像素值来计算所述第一逆增益值，以及
所述第二处理模块基于所述第一逆增益值和偏移值计算所述第二逆增益值。
4.根据权利要求1所述的图像处理器，其中，所述第二处理模块基于所述第一正常像素中的被设置在所述第一相位检测像素***的***像素的像素值来计算所述逆增益值。
5.根据权利要求1所述的图像处理器，其中，所述第三处理模块通过根据所述第二图案对所述实际输出图像应用所述逆增益值来生成所述虚拟输入图像。
6.根据权利要求1所述的图像处理器，其中，所述第一处理模块包括：
第一校正模块，其适于：基于与所述实际输入图像有关的实际校准增益而校正所述第一相位检测像素值，以及基于与所述虚拟输入图像有关的虚拟校准增益而校正所述第二相位检测像素值；以及
第二校正模块，其适于：通过基于与所述实际输入图像有关的实际动态增益而校正所述第一相位检测像素值来生成所述实际输出图像，以及通过基于与所述虚拟输入图像有关的虚拟动态增益而校正所述第二相位检测像素值来生成所述虚拟输出图像。
7.根据权利要求6所述的图像处理器，其中，所述第一校正模块包括：
第一校正器，其适于：通过基于所述第一正常像素的像素值而校正被设置在所述第一相位检测像素***的***像素的像素值来生成与所述实际输入图像相对应的第一实际校正图像，以及通过基于所述第二正常像素的像素值而校正被设置在所述第二相位检测像素***的***像素的像素值来生成与所述虚拟输入图像相对应的第一虚拟校正图像；
第二校正器，其适于：通过基于所述第一实际校正图像中包括的像素值而校正所述第一正常像素中的具有相同滤色器的像素之间的不平衡来生成与所述第一实际校正图像相对应的第二实际校正图像，以及通过基于所述第一虚拟校正图像中包括的像素值而校正所述第二正常像素中的具有相同滤色器的像素之间的不平衡来生成与所述第一虚拟校正图像相对应的第二虚拟校正图像；以及
第三校正器，其适于：通过从所述第二实际校正图像提取所述实际校准增益以及基于所述实际校准增益而校正所述第一相位检测像素值来生成与所述第二实际校正图像相对应的第三实际校正图像，以及通过从所述第二虚拟校正图像提取所述虚拟校准增益以及基于所述虚拟校准增益而校正所述第二相位检测像素值来生成与所述第二虚拟校正图像相对应的第三虚拟校正图像。
8.根据权利要求6所述的图像处理器，其中，所述第二校正模块通过从所述第三实际校正图像提取所述实际动态增益以及基于所述实际动态增益而校正所述第一相位检测像素值来生成与所述第三实际校正图像相对应的所述第一实际输出图像，以及通过从所述第三虚拟校正图像提取所述虚拟动态增益以及基于所述虚拟动态增益而校正所述第二相位检测像素值来生成与所述第三虚拟校正图像相对应的所述虚拟输出图像。
9.一种图像处理***，包括：
图像传感器，其包括以第一图案布置的第一正常像素和第一相位检测像素，以及适于生成与所述第一正常像素和所述第一相位检测像素相对应的实际输入图像；以及
图像处理器，其适于：基于所述实际输入图像生成实际输出图像，通过使用所述实际输入图像和所述实际输出图像之间的逆增益值来生成具有与所述第一图案不同的第二图案的虚拟输入图像，以及基于所述虚拟输入图像生成虚拟输出图像。
10.根据权利要求9所述的图像处理***，其中：
所述第一相位检测像素包括至少一个彼此相邻的成对像素，
所述成对像素包括具有第一滤色器的第一像素和具有第二滤色器的第二像素，以及
所述图像处理器基于被设置在所述第一像素和第二像素***的***像素的像素值来计算所述逆增益值。
11.根据权利要求9所述的图像处理***，其中：
所述第一相位检测像素包括至少一个彼此相邻的第一成对像素和至少一个彼此相邻的第二成对像素，
所述第一成对像素包括具有第一滤色器的第一像素和具有第二滤色器的第二像素，
所述第二成对像素包括具有第三滤色器的第三像素和具有所述第二滤色器的第四像素，
所述逆增益值包括第一逆增益值和第二逆增益值，
所述图像处理器基于被设置在所述第一像素和第二像素***的第一***像素的第一像素值来计算所述第一逆增益值，以及
所述图像处理器基于所述第一逆增益值和偏移值计算所述第二逆增益值。
12.根据权利要求9所述的图像处理***，
其中，所述图像处理器包括：
第一处理模块，其适于生成通过基于所述实际输入图像来校正所述第一相位检测像素的第一相位检测像素值而获得的所述实际输出图像；
第二处理模块，其适于基于所述实际输入图像和所述实际输出图像计算所述逆增益值；以及
第三处理模块，其适于基于所述实际输出图像和所述逆增益值生成所述虚拟输入图像，所述虚拟输入图像对应于以所述第二图案布置的第二正常像素和第二相位检测像素，以及
其中，所述第一处理模块还适于生成通过基于所述虚拟输入图像来校正所述第二相位检测像素的第二相位检测像素值而获得的所述虚拟输出图像。
13.根据权利要求12所述的图像处理***，其中，所述第二处理模块基于所述第一正常像素中的被设置在所述第一相位检测像素***的***像素的像素值来计算所述逆增益值。
14.根据权利要求12所述的图像处理***，其中，所述第三处理模块通过根据所述第二图案对所述实际输出图像应用所述逆增益值来生成所述虚拟输入图像。
15.根据权利要求12所述的图像处理***，其中，所述第一处理模块包括：
第一校正模块，其适于：基于与所述实际输入图像有关的实际校准增益而校正所述第一相位检测像素值，以及基于与所述虚拟输入图像有关的虚拟校准增益而校正所述第二相位检测像素值；以及
第二校正模块，其适于：通过基于与所述实际输入图像有关的实际动态增益而校正所述第一相位检测像素值来生成所述实际输出图像，以及通过基于与所述虚拟输入图像有关的虚拟动态增益而校正所述第二相位检测像素值来生成所述虚拟输出图像。
16.根据权利要求15所述的图像处理***，其中，所述第一校正模块包括：
第一校正器，其适于：通过基于所述第一正常像素的像素值而校正被设置在所述第一相位检测像素***的***像素的像素值来生成与所述实际输入图像相对应的第一实际校正图像，以及通过基于所述第二正常像素的像素值而校正被设置在所述第二相位检测像素***的***像素的像素值来生成与所述虚拟输入图像相对应的第一虚拟校正图像；
第二校正器，其适于：通过基于所述第一实际校正图像中包括的像素值而校正所述第一正常像素中的具有相同滤色器的像素之间的不平衡来生成与所述第一实际校正图像相对应的第二实际校正图像，以及通过基于所述第一虚拟校正图像中包括的像素值而校正所述第二正常像素中的具有相同滤色器的像素之间的不平衡来生成与所述第一虚拟校正图像相对应的第二虚拟校正图像；以及
第三校正器，其适于：通过从所述第二实际校正图像提取所述实际校准增益以及基于所述实际校准增益而校正所述第一相位检测像素值来生成与所述第二实际校正图像相对应的第三实际校正图像，以及通过从所述第二虚拟校正图像提取所述虚拟校准增益以及基于所述虚拟校准增益而校正所述第二相位检测像素值来生成与所述第二虚拟校正图像相对应的第三虚拟校正图像。
17.根据权利要求15所述的图像处理***，其中，所述第二校正模块通过从所述第三实际校正图像提取所述实际动态增益以及基于所述实际动态增益而校正所述第一相位检测像素值来生成与所述第三实际校正图像相对应的所述第一实际输出图像，以及通过从所述第三虚拟校正图像提取所述虚拟动态增益以及基于所述虚拟动态增益而校正所述第二相位检测像素值来生成与所述第三虚拟校正图像相对应的所述虚拟输出图像。
18.一种处理图像的方法，所述方法包括：
处理第一输入图像以生成第一输出图像，所述第一输入图像与第一图案相对应；
基于所述第一输出图像以及所述第一输入图像和第一输出图像之间的逆增益值生成第二输入图像，所述第二输入图像与第二图案相对应；以及
处理所述第二输入图像以生成第二输出图像。
19.根据权利要求18所述的方法，其中，所述逆增益值是基于像素阵列所包括的正常像素中的被设置在相位检测像素***的***像素的像素值而计算的。
20.根据权利要求18所述的方法，其中，所述第二输入图像是通过根据所述第二图案对所述第一输出图像应用所述逆增益值而生成的。
CN202310272577.7A 2022-04-20 2023-03-20 图像处理器及包括图像处理器的图像处理*** Pending CN116916174A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220048789A KR20230149503A (ko) 2022-04-20 2022-04-20 이미지 프로세서 및 그를 포함하는 이미지 처리 시스템
KR10-2022-0048789 2022-04-20

Publications (1)

Publication Number Publication Date
CN116916174A true CN116916174A (zh) 2023-10-20

Family

ID=88360872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310272577.7A Pending CN116916174A (zh) 2022-04-20 2023-03-20 图像处理器及包括图像处理器的图像处理***

Country Status (3)

Country Link
US (1) US20230345139A1 (zh)
KR (1) KR20230149503A (zh)
CN (1) CN116916174A (zh)

Also Published As

Publication number Publication date
KR20230149503A (ko) 2023-10-27
US20230345139A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
EP1711880B1 (en) Techniques of modifying image field data by extrapolation
US7408576B2 (en) Techniques for modifying image field data as a function of radius across the image field
US7834921B1 (en) Compensation techniques for variations in image field data
JP4798400B2 (ja) 光学的黒画素と電圧固定画素とを用いて撮像装置の黒レベルを設定する方法および装置
CN102870404B (zh) 摄像设备及其暗电流校正方法
JP2008537406A (ja) 固体撮像装置における固定パターン雑音の低減方法及び装置
US20120086838A1 (en) Method and apparatus for image noise reduction using noise models
US8891899B2 (en) Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
WO2007054931A2 (en) Image enhancement in the mosaic domain
US20090278977A1 (en) Method and apparatus providing pre-distorted solid state image sensors for lens distortion compensation
US20060231734A1 (en) Generation and storage of column offsets for a column parallel image sensor
CN116916174A (zh) 图像处理器及包括图像处理器的图像处理***
JP2010068329A (ja) 撮像装置
US11431924B2 (en) Image capturing apparatus and control method thereof
US20220210351A1 (en) Image sensing device and operating method thereof
JP4255819B2 (ja) 信号処理方法および画像取得装置
CN113365000A (zh) 图像感测设备及其操作方法
JP2003101884A (ja) シェーディング補正装置および方法
CN113824907B (zh) 图像感测装置及其操作方法
US7990437B2 (en) Color correction in CMOS image sensor
US20230300484A1 (en) Image sensing system
CN114615448A (zh) 图像感测装置
CN113824907A (zh) 图像感测装置及其操作方法
CN118250580A (zh) 图像处理器及包括其的图像处理***和图像处理方法
JPH1023339A (ja) 固体撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination