CN113824907B - 图像感测装置及其操作方法 - Google Patents

图像感测装置及其操作方法 Download PDF

Info

Publication number
CN113824907B
CN113824907B CN202110360623.XA CN202110360623A CN113824907B CN 113824907 B CN113824907 B CN 113824907B CN 202110360623 A CN202110360623 A CN 202110360623A CN 113824907 B CN113824907 B CN 113824907B
Authority
CN
China
Prior art keywords
pixel
group
target pixel
pixels
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110360623.XA
Other languages
English (en)
Other versions
CN113824907A (zh
Inventor
李大铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN113824907A publication Critical patent/CN113824907A/zh
Application granted granted Critical
Publication of CN113824907B publication Critical patent/CN113824907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本公开涉及一种图像感测装置及其操作方法，该图像感测装置包括：图像传感器，其包括像素阵列，所述像素阵列包括以预定图案排布的具有第一滤色器的第一组像素、具有第二滤色器的第二组像素以及具有第三滤色器的第三组像素；以及图像处理器，其适于基于从所述图像传感器输出的像素值来确定所述第一组至所述第三组当中的具有最小数量的像素的组是否过饱和，并且根据确定结果校准至少一个过饱和像素的像素值。

Description

图像感测装置及其操作方法
技术领域
本公开的各种实施例大体上涉及半导体设计，并且更具体地，涉及图像感测装置及其操作方法。
背景技术
图像感测装置通过使用对光做出反应的半导体特性来捕获图像。图像感测装置可以大致分为电荷耦合器件(CCD)图像感测装置和互补金属氧化物半导体(CMOS)图像感测装置。近来，CMOS图像感测装置被广泛使用，因为CMOS图像感测装置允许在单个集成电路(IC)上直接实现模拟控制电路和数字控制电路两者。
发明内容
本公开的各种实施例涉及一种能够校准过饱和像素的像素值的图像感测装置，以及该图像感测装置的操作方法。
根据实施例，图像感测装置可以包括：图像传感器，其包括像素阵列，所述像素阵列包括以预定图案排布的具有第一滤色器的第一组像素，具有第二滤色器的第二组像素以及具有第三滤色器的第三组像素；以及图像处理器，其适于基于从所述图像传感器输出的像素值来确定所述第一组至所述第三组当中的具有最小数量的像素的组是否过饱和，并且根据确定结果校准至少一个过饱和像素的像素值。
图像处理器可以基于第一组至第三组当中的具有最小数量的像素的组的像素值和具有最大数量的像素的组的像素值来确定具有最小数量的像素的组是否过饱和。
根据实施例，图像感测装置可以包括：图像传感器，其包括像素阵列，在所述像素阵列中，具有红色滤色器的第一组像素、具有蓝色滤色器的第二组像素和具有绿色滤色器的第三组像素以第一图案排布；以及图像处理器，其适于基于从所述图像传感器输出的像素值来生成具有第二图案的图像，其中，所述图像处理器还适于在生成所述图像时基于最靠近第一组和第二组当中的每个过饱和像素排布的至少第三组的像素值来校准所述每个过饱和像素的像素值。
第一组至第三组各自的像素数量的比率是1：1：2。
第一图案可以包括四元图案，并且第二图案可以包括拜耳图案。
根据实施例，一种图像感测装置的操作方法可以包括以下步骤：首先基于具有第一滤色器的第一组像素当中的目标像素的像素值和具有第二滤色器的第二组像素当中的最靠近目标像素排布的至少一个***像素的像素值来确定目标像素是否过饱和；其次基于所述目标像素的像素值和所述第一组当中的最靠近所述目标像素排布的至少一个***像素的像素值来确定所述目标像素是否过饱和；以及根据通过首先进行的确定目标像素是否过饱和的步骤和其次进行的确定目标像素是否过饱和的步骤而获得的结果来校准目标像素的像素值。
目标像素的像素值的校准的步骤可以包括以下步骤：当两次确定的结果均指示目标像素的过饱和时，校准目标像素的像素值。
目标像素的像素值的校准的步骤可以包括以下步骤：基于目标像素的像素值和包括在第二组中的***像素的像素值来校准目标像素的像素值。
根据实施例，图像感测装置的操作方法可以包括以下步骤：从四元图案化的像素阵列生成像素值；基于条件1和条件2中的一个或更多个检测所述像素值当中的一个或更多个组的像素的过饱和像素值，每个组具有第一滤色器和第二滤色器中的一个或更多个；基于等式3至等式6校准过饱和像素值；以及基于至少校准像素值生成拜耳图案的图像，
其中：[条件1]
其中，“TP”是目标像素组的平均像素值，并且“G1”到“G4”是目标像素组***的各个绿色像素组的平均像素值，
[条件2]
其中，“α”是过饱和常数，并且“T1”到“T4”是与目标像素组具有相同滤色器并且在目标像素组***的各个彩色像素组的平均像素值，
[等式3]
[等式4]
[等式5]
以及
[等式6]
其中，“P1”至“P4”是目标像素组内的各个像素的过饱和像素值，并且“P1'”至“P4'”是各个过饱和像素值“P1”至“P4”的校准像素值。
从以下详细描述和附图中，本发明的这些和其它特征和优点对于本发明领域的普通技术人员将变得清楚。
附图说明
图1是示出根据本公开的实施例的包括图像传感器和图像处理器的图像感测装置的框图。
图2是示出图1的图像感测装置中所采用的图像传感器的示例的框图。
图3A至图3D是示出图2中所示的像素阵列的示例的配置图。
图4是示出图1的图像感测装置中所采用的图像处理器的示例的框图。
图5是示出根据本公开的实施例的图1所示的图像感测装置的操作的流程图。
图6是另外示出根据本公开的实施例的图5所示的图像感测装置的操作的图。
具体实施方式
下面参考附图描述各种实施例，以便向本公开所属领域的普通技术人员详细描述本公开，从而容易地实现本公开。
应当理解，当一个元件被称为“连接到”或“联接到”另一元件时，该一个元件可以直接连接到或联接到该另一元件，或者电连接到或联接到该另一元件，并使一个或更多个元件插置其间。此外，还应当理解，当在本说明书中使用时，术语“包括”，“包含”和“具有”表明所述及的要素的存在，而不排除一个或更多个其它要素的存在或添加。在整个说明书的描述中，一些组件以单数形式描述，但本公开不限于此，并且应当理解，组件可以以复数形式形成。
图1是示出根据本公开的实施例的以数字10表示的图像感测装置的框图。
参考图1，图像感测装置10可以包括可操作地(operatively)彼此联接的图像传感器100和图像处理器200。
图像传感器100可以生成对应于入射光的多个像素信号DPX。例如，图像传感器100可以生成对应于具有四元图案(quad pattern)的图像的像素信号DPX。
图像处理器200可以基于像素信号DPX生成图像。例如，图像处理器200可以生成具有拜耳图案的图像。具体地，当生成具有拜耳图案的图像时，图像处理器200可以确定包括在图像传感器100中的多个像素当中的目标像素是否过饱和，并根据确定结果校准(correct)过饱和像素。
图2是示出图1所示的图像传感器100的框图。
参考图2，图像传感器100可以包括可操作地彼此联接的像素阵列110和信号转换器120。
像素阵列110可以包括多个像素。像素可以按行和列排布。该多个像素可以排布成四元图案，例如图3A至图3D所示的四元图案。像素阵列110可以针对每一行生成多个像素信号VPX。例如，像素阵列110可以在第一行时间(first row time)期间从排布在第一行中的像素生成像素信号VPX，并且可以在第n行时间期间从排布在第n行中的像素生成像素信号VPX(其中“n”是大于2的自然数)。每个像素信号VPX可以是模拟类型的(analog-typed)像素信号。
信号转换器120可以将模拟类型的像素信号VPX转换成数字类型的像素信号DPX。例如，信号转换器120可以包括模数转换器。
图3A至图3D是示出图2中所示的像素阵列110的示例的配置图。
参照图3A至图3D，像素阵列110可以包括排布成四元图案的多个像素。四元图案是指这样的图案：其中，具有相同滤色器的四个像素以组为单位排布，每个组具有2×2像素，并且颜色排布以图案为单位重复，每个图案具有4×4像素或2×2组。
在图3A中，四元图案可以具有这样的结构：其中，具有绿色滤色器的四个像素G00，G01，G10和G11被排布为左上角的组，具有红色滤色器的四个像素R02，R03，R12和R13被排布为右上角的组，具有蓝色滤色器的四个像素B20，B21，B30和B31被排布为左下角的组，并且具有绿色滤色器的四个像素G22，G23，G32和G33被排布为右下角的组。
在图3B中，四元图案可以具有这样的结构：其中，具有绿色滤色器的四个像素G00，G01，G10和G11被排布为左上角的组，具有蓝色滤色器的四个像素B02，B03，B12和B13被排布为右上角的组，具有红色滤色器的四个像素R20，R21，R30和R31被排布为左下角的组，并且具有绿色滤色器的四个像素G22，G23，G32和G33被排布为右下角的组。
在图3C中，四元图案可以具有这样的结构：其中，具有红色滤色器的四个像素R00，R01，R10和R11被排布为左上角的组，具有绿色滤色器的四个像素G02，G03，G12和G13被排布为右上角的组，具有绿色滤色器的四个像素G20，G21，G30和G31被排布为左下角的组，并且具有蓝色滤色器的四个像素B22，B23，B32和B33被排布为右下角的组。
在图3D中，四元图案可以具有这样的结构：其中，具有蓝色滤色器的四个像素B00，B01，B10和B11被排布为左上角的组，具有绿色滤色器的四个像素G02，G03，G12和G13被排布为右上角的组，具有绿色滤色器的四个像素G20，G21，G30和G31被排布为左下角的组，并且具有红色滤色器的四个像素R22，R23，R32和R33被排布为右下角的组。
这里，可以看出，在4×4像素或2×2组的单元内，具有红色滤色器的像素的数量(以下称为“红色像素”)、具有蓝色滤色器的像素的数量(以下称为“蓝色像素”)和具有绿色滤色器的像素的数量(以下称为“绿色像素”)的比率是1：1：2。即，多个像素当中具有最小数量的像素的像素可以是红色像素和蓝色像素，并且多个像素当中具有最大数量的像素的像素可以是绿色像素。多个像素可以根据特性以组(即，被排布为组的像素)为单位过饱和。在本实施例中，可以确定相对少量的红色像素和蓝色像素是否过饱和并校准过饱和像素。在下文中，实施例描述了以各自具有2×2组的图案为单位确定红色像素和蓝色像素是否过饱和的示例。
图4是示出图1所示的图像处理器200的框图。
参照图4，图像处理器200可以包括第一确定模块210，第二确定模块220，校准模块230和图像处理模块240。
首先，第一确定模块210可以基于像素信号DPX确定红色像素和蓝色像素是否过饱和。例如，第一确定模块210可以基于红色像素和蓝色像素当中的目标像素组的像素值以及绿色像素当中的最靠近目标像素组排布的第一***绿色像素组(peripheral green pixelgroup)至第四***绿色像素组的像素值来确定目标像素组是否过饱和。当目标像素组满足以下条件1时，第一确定模块210可以确定目标像素组已经过饱和。
[条件1]
这里，“TP”可以表示目标像素组的像素值的平均值，“G1”可以表示第一***绿色像素组的像素值的平均值，“G2”可以表示第二***绿色像素组的像素值的平均值，“G3”可以表示第三***绿色像素组的像素值的平均值，并且“G4”可以表示第四***绿色像素组的像素值的平均值。
也就是说，当目标像素组的平均值TP大于第一***绿色像素组至第四***绿色像素组的平均值G1，G2，G3和G4的平均值时，第一确定模块210可以确定目标像素组已经过饱和。第一确定模块210可以将确定结果S1提供给校准模块230。
其次，第二确定模块220可以基于像素信号DPX确定红色像素和蓝色像素是否过饱和。例如，第二确定模块220可以基于目标像素组的像素值以及与目标像素组具有相同滤色器的像素组当中的最靠近目标像素组排布的第一***彩色像素组(peripheral colorpixel group)至第四***彩色像素组的像素值来确定目标像素组是否过饱和。当目标像素组满足以下条件2时，第二确定模块220可以确定目标像素组已经过饱和。
[条件2]
这里，“TP”可以表示目标像素组的像素值的平均值，“T1”可以表示与目标像素组具有相同滤色器的第一***彩色像素组的像素值的平均值，“T2”可以表示与目标像素组具有相同滤色器的第二***彩色像素组的像素值的平均值，“T3”可以表示与目标像素组具有相同滤色器的第三***彩色像素组的像素值的平均值，并且“T4”可以表示与目标像素组具有相同滤色器的第四***彩色像素组的像素值的平均值。
也就是说，当目标像素组的平均值TP大于第一***彩色像素组至第四***彩色像素组的平均值T1，T2，T3和T4的计算值时，第二确定模块220可以确定目标像素组已经过饱和。计算值可以包括通过将第一***彩色像素组至第四***彩色像素组的平均值T1，T2，T3和T4的平均值乘以过饱和常数(supersaturation constant)“α”而获得的值。在过饱和常数“α”为“3”的情况下，当目标像素组的平均值TP大于与第一***彩色像素组至第四***彩色像素组的平均值T1，T2，T3和T4的平均值的三倍(α＝3)相对应的计算值时，第二确定模块220可以确定目标像素组已经过饱和。第二确定模块220可以将确定结果S2提供给校准模块230。
虽然本实施例描述了第一确定模块210和第二确定模块220被配置为在确定目标像素组是否过饱和时提高准确度的示例，但是本公开不必限制于此，并且第一确定模块210和第二确定模块220中的任何一个可以根据设计来配置。
校准模块230可以根据第一确定模块210和第二确定模块220的确定结果S1和S2来校准目标像素组的像素值。校准模块230可以基于下面的等式3到等式6来校准目标像素组的过饱和像素值。
[等式3]
[等式4]
[等式5]
[等式6]
这里，“P1”可以表示包括在目标像素组中的第一像素至第四像素当中的第一像素的过饱和像素值，“P2”可以表示包括在目标像素组中的第一像素至第四像素当中的第二像素的过饱和像素值，“P3”可以表示包括在目标像素组中的第一像素至第四像素当中的第三像素的过饱和像素值，“P4”可以表示包括在目标像素组中的第一像素至第四像素当中的第四像素的过饱和像素值，“P1'”可以表示对应于第一过饱和像素值“P1”的校准第一像素值，“P2'”可以表示对应于第二过饱和像素值“P2”的校准第二像素值，“P3'”可以表示对应于第三过饱和像素值“P3”的校准第三像素值，并且“P4'”可以表示对应于第四过饱和像素值“P4”的校准第四像素值。“TP”，“G1”，“G2”，“G3”和“G4”可以与上述各个平均值相同。
也即，当第一确定模块210和第二确定模块220的确定结果S1和S2均指示目标像素组的过饱和时，校准模块230可以校准包括在目标像素组中的第一目标像素至第四目标像素的过饱和像素值P1，P2，P3和P4，并生成校准第一像素值至校准第四像素值P1'，P2'，P3'和P4'。校准模块230可以基于目标像素组的平均值TP和第一***绿色像素组至第四***绿色像素组的平均值G1，G2，G3和G4来校准第一目标像素至第四目标像素的过饱和像素值P1，P2，P3和P4。更具体地，校准模块230可以通过将第一***绿色像素组至第四***绿色像素组的平均值G1，G2，G3和G4的和值与对应于目标像素组的平均值TP的四倍的值之间的比率乘以第一目标像素至第四目标像素的相应过饱和像素值P1，P2，P3和P4来生成校准第一像素值至校准第四像素值P1'，P2'，P3'和P4'。因此，可以将过饱和目标像素组的像素值校准到与未饱和的第一***绿色像素组至第四***绿色像素组的平均值相对应的水平。
图像处理模块240可以基于像素信号DPX和从校准模块230生成的校准值DPX′来生成具有拜耳图案的图像。校准值DPX'可以包括校准第一像素值至校准第四像素值P1'，P2'，P3'和P4'。
在下文中，将描述具有上述配置的根据本实施例的图像感测装置的操作。
图5是示出根据本公开的实施例的图像感测装置的操作的流程图。
参照图5，在操作S101中，图像传感器100可以生成与入射光相对应的像素信号DPX。例如，每个像素信号DPX可以包括数字类型的像素值。
在操作S103中，图像处理器200可以基于像素信号DPX确定多个像素当中的目标像素组是否过饱和。例如，首先第一确定模块210可以确定所述多个像素当中的红色像素和蓝色像素是否过饱和，并且其次第二确定模块220可以确定所述多个像素当中的红色像素和蓝色像素是否过饱和。此时，第一确定模块210可以基于上述条件1确定目标像素组是否过饱和，并且第二确定模块220可以基于上述条件2确定目标像素组是否过饱和。
在操作S105中，图像处理器200可以根据第一确定模块210和第二确定模块220的确定结果S1和S2来校准目标像素组的像素值。例如，当第一确定模块210和第二确定模块220的确定结果S1和S2都指示目标像素组的过饱和时，校准模块230可以基于上述等式3至等式6校准目标像素组的像素值。
在操作S107中，图像处理器200可以针对红色像素和蓝色像素确定所有目标像素组中的每一个是否过饱和。当尚未针对所有目标像素组都确定了它们是否过饱和时，可以对任意剩余目标像素组重复操作S103到操作S107。
在操作S109中，图像处理器200可以基于从图像传感器100生成的像素信号DPX和从校准模块230生成的校准值DPX'来生成图像。例如，图像处理模块240可以基于对应于四元图案的像素信号DPX和校准值DPX'生成具有拜耳图案的图像。
图6是示出用于另外描述图5中所示的图像感测装置的操作的四元图案的示例的图。图6以红色像素中的任意一个目标像素组为代表性示例示出了图像处理器200的操作。
第一确定模块210可以基于红色像素当中的目标像素组的平均值TP和绿色像素当中的最靠近目标像素组排布的第一***绿色像素组至第四***绿色像素组的平均值G1，G2，G3和G4来确定目标像素组是否过饱和。例如，当目标像素组满足上述条件1时，第一确定模块210可以确定目标像素组已经过饱和。
第二确定模块220可以基于目标像素组的平均值TP和最靠近目标像素组排布的第一***红色像素组至第四***红色像素组的平均值T1，T2，T3和T4来确定目标像素组是否过饱和。第一***红色像素组至第四***红色像素组与目标像素组可以具有相同的滤色器(例如，红色滤色器)。例如，当目标像素组满足上述条件2时，第二确定模块220可以确定目标像素组已经过饱和。
当第一确定模块210和第二确定模块220的确定结果S1和S2均指示目标像素组的过饱和时，校准模块230可以校准目标像素组的像素值。例如，校准模块230可以基于上述等式3至等式6，通过将第一***绿色像素组至第四***绿色像素组的平均值G1，G2，G3和G4的和值与对应于目标像素组的平均值TP的四倍的值之间的比率乘以第一目标像素至第四目标像素的相应过饱和像素值P1，P2，P3和P4来生成校准第一像素值到校准第四像素值P1′，P2′，P3′和P4′。
根据本公开的实施例，可以通过使用***像素的像素值来容易地确定过饱和像素并容易地校准过饱和像素的像素值。此外，由于对于每个图案以均匀的比率校准排布成四元图案的像素，因此可以保持纹理(texture)。
根据本公开的实施例，可以校准过饱和像素的像素值，从而生成正常图像。
虽然已经参照特定实施例示出和描述了本公开，但是所公开的实施例是为了描述而提供的，并且不旨在是限制性的。此外，应当注意，如本领域技术人员根据本公开将认识到的那样，本公开可以通过落入所附权利要求的范围内的替换，改变和修改而以各种方式来实现。
相关申请的交叉引用
本申请要求于2020年6月18日提交的韩国专利申请No.10-2020-0074264的优先权，其全部公开内容通过引用整体并入本文。

Claims (18)

1.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括以预定图案排布的具有第一滤色器的第一组像素，具有第二滤色器的第二组像素以及具有第三滤色器的第三组像素；以及
图像处理器，所述图像处理器被配置为基于从所述图像传感器输出的像素值来确定所述第一组至所述第三组当中的具有最小数量的像素的组是否过饱和，并且根据确定结果校准至少一个过饱和像素的像素值，
其中，所述图像处理器还被配置为基于所述第一组至所述第三组当中的所述具有最小数量的像素的组内的目标像素的像素值以及最靠近所述目标像素排布的第一***组像素的像素值来确定所述目标像素是否过饱和，所述第一***组在所述第一组至所述第三组当中具有最大数量的像素，并且
根据所述确定结果，通过使用所述目标像素的像素值和所述第一***组的像素值之间的比率来校准所述目标像素的像素值。
2.根据权利要求1所述的图像感测装置，其中，所述图像处理器包括：
第一确定模块，所述第一确定模块被配置为基于所述第一组至所述第三组当中的所述具有最小数量的像素的组内的目标像素的像素值以及最靠近所述目标像素排布的第一***组像素的像素值来确定所述目标像素是否过饱和，所述第一***组在所述第一组至所述第三组当中具有最大数量的像素；
第二确定模块，所述第二确定模块被配置为基于所述目标像素的像素值和最靠近所述目标像素排布的第二***组像素的像素值来确定所述目标像素是否过饱和，所述第二***组具有所述最小数量的像素；以及
校准模块，所述校准模块被配置为根据所述第一确定模块和所述第二确定模块的确定结果校准所述目标像素的像素值。
3.根据权利要求2所述的图像感测装置，其中，当所述目标像素的像素值大于所述第一***组的像素值的平均值时，所述第一确定模块确定所述目标像素已经过饱和。
4.根据权利要求2所述的图像感测装置，其中，当所述目标像素的像素值大于所述第二***组的像素值的计算值时，所述第二确定模块确定所述目标像素已经过饱和。
5.根据权利要求4所述的图像感测装置，其中，所述计算值包括通过将所述第二***组的像素值的平均值乘以过饱和常数而获得的值。
6.根据权利要求2所述的图像感测装置，其中，当所述第一确定模块和所述第二确定模块的确定结果均指示所述目标像素的过饱和时，所述校准模块校准所述目标像素的像素值。
7.根据权利要求2所述的图像感测装置，其中，所述校准模块基于所述目标像素的像素值和所述第二***组的像素值来校准所述目标像素的像素值。
8.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器包括像素阵列，在所述像素阵列中，具有红色滤色器的第一组像素、具有蓝色滤色器的第二组像素以及具有绿色滤色器的第三组像素以第一图案排布，所述第三组在所述第一组至所述第三组当中具有最大数量的像素；以及
图像处理器，所述图像处理器被配置为基于从所述图像传感器输出的像素值来生成具有第二图案的图像，
其中，所述图像处理器还被配制为在生成所述图像时通过使用所述第一组或所述第二组当中的每个过饱和像素的像素值与最靠近所述每个过饱和像素排布的所述第三组的像素值之间的比率来校准所述每个过饱和像素的像素值。
9.根据权利要求8所述的图像感测装置，其中，所述第一组至所述第三组各自的像素数量的比率是1：1：2。
10.根据权利要求8所述的图像感测装置，其中，所述第一图案包括四元图案，并且所述第二图案包括拜耳图案。
11.根据权利要求8所述的图像感测装置，其中，所述图像处理器包括：
第一确定模块，所述第一确定模块被配置为基于所述第一组和所述第二组内的目标像素的像素值以及所述第三组当中的最靠近所述目标像素排布的第一***组像素的像素值来确定所述目标像素是否过饱和；
第二确定模块，所述第二确定模块被配置为基于所述目标像素的像素值和最靠近所述目标像素排布的第二***组像素的像素值来确定所述目标像素是否过饱和，所述第二***组与所述目标像素具有相同的滤色器；以及
校准模块，所述校准模块被配置为根据所述第一确定模块和所述第二确定模块的确定结果校准所述目标像素的像素值。
12.根据权利要求11所述的图像感测装置，其中，当所述目标像素的像素值大于所述第一***组的像素值的平均值时，所述第一确定模块确定所述目标像素已过饱和。
13.根据权利要求11所述的图像感测装置，其中，当所述目标像素的像素值大于所述第二***组的像素值的计算值时，所述第二确定模块确定所述目标像素已经过饱和。
14.根据权利要求13所述的图像感测装置，其中，所述计算值包括通过将所述第二***组的像素值的平均值乘以过饱和常数而获得的值。
15.根据权利要求11所述的图像感测装置，其中，当所述第一确定模块和所述第二确定模块的所述确定结果均指示所述目标像素的过饱和时，所述校准模块校准所述目标像素的像素值。
16.根据权利要求11所述的图像感测装置，其中，所述校准模块基于所述目标像素的像素值和所述第二***组的像素值来校准所述目标像素的像素值。
17.一种图像感测装置的操作方法，所述操作方法包括以下步骤：
首先基于具有第一滤色器的第一组像素当中的目标像素的像素值和具有第二滤色器的第二组像素当中的最靠近所述目标像素排布的至少一个***像素的像素值来确定所述目标像素是否过饱和，所述第二组比所述第一组具有更大数量的像素；
其次基于所述目标像素的像素值和所述第一组当中的最靠近所述目标像素排布的至少一个***像素的像素值来确定所述目标像素是否过饱和；以及
根据通过首先进行的确定所述目标像素是否过饱和的步骤和其次进行的确定所述目标像素是否过饱和的步骤而获得的结果，通过使用所述目标像素的像素值与包括在所述第二组中的最靠近所述目标像素排布的所述至少一个***像素的像素值之间的比率来校准所述目标像素的像素值。
18.根据权利要求17所述的操作方法，其中，校准所述目标像素的像素值的步骤包括以下步骤：当两次确定的结果均指示所述目标像素的过饱和时，校准所述目标像素的像素值。
CN202110360623.XA 2020-06-18 2021-04-02 图像感测装置及其操作方法 Active CN113824907B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200074264A KR20210156553A (ko) 2020-06-18 2020-06-18 이미지 센싱 장치 및 그의 동작 방법
KR10-2020-0074264 2020-06-18

Publications (2)

Publication Number Publication Date
CN113824907A CN113824907A (zh) 2021-12-21
CN113824907B true CN113824907B (zh) 2024-07-09

Family

ID=78912406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360623.XA Active CN113824907B (zh) 2020-06-18 2021-04-02 图像感测装置及其操作方法

Country Status (3)

Country Link
US (1) US11715749B2 (zh)
KR (1) KR20210156553A (zh)
CN (1) CN113824907B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210112042A (ko) * 2020-03-04 2021-09-14 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1528797B1 (en) * 2003-10-31 2015-07-08 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
KR100660862B1 (ko) * 2005-02-23 2006-12-26 삼성전자주식회사 동일 색상의 화소 데이터를 가산하여 출력하는 컬러 촬상장치 및 그 화소 데이터 독출 방법
US8064693B2 (en) * 2006-08-31 2011-11-22 Vestel Elektronik Sanayi Ve Ticaret A.S. Methods of and apparatus for adjusting colour saturation in an input image
JP5123137B2 (ja) * 2008-01-22 2013-01-16 株式会社リコー 撮像装置および撮像方法
JP2011097542A (ja) * 2009-11-02 2011-05-12 Sony Corp 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム
US8643742B2 (en) * 2010-10-15 2014-02-04 Cisco Technology, Inc. Crosstalk filter in a digital image processing pipeline
EP2733944B1 (en) * 2011-07-13 2016-08-03 FUJIFILM Corporation Image pickup apparatus and signal value correction method
JP5818568B2 (ja) * 2011-08-09 2015-11-18 キヤノン株式会社 画像処理装置及びその制御方法
JP2013066157A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6086663B2 (ja) * 2012-06-19 2017-03-01 オリンパス株式会社 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法
US9030572B2 (en) * 2012-12-04 2015-05-12 Samsung Techwin Co., Ltd. Apparatus, method, and program for processing image
CN103888690B (zh) * 2012-12-19 2018-08-03 韩华泰科株式会社 用于检测缺陷像素的设备和方法
US8866944B2 (en) * 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
TW201514599A (zh) * 2013-10-07 2015-04-16 Novatek Microelectronics Corp 影像感測器及影像擷取系統
TWI542217B (zh) * 2014-03-12 2016-07-11 瑞昱半導體股份有限公司 像素值校正裝置與方法
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
JP2016127389A (ja) 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
US10090347B1 (en) * 2017-05-24 2018-10-02 Semiconductor Components Industries, Llc Image sensor with near-infrared and visible light pixels
KR102520487B1 (ko) * 2018-02-21 2023-04-12 에스케이하이닉스 주식회사 이미지 센싱 장치
GB2572571B (en) * 2018-04-03 2021-09-01 Apical Ltd Image processing
JP7379024B2 (ja) * 2019-09-02 2023-11-14 キヤノン株式会社 撮像装置及び信号処理装置

Also Published As

Publication number Publication date
US20210399036A1 (en) 2021-12-23
US11715749B2 (en) 2023-08-01
CN113824907A (zh) 2021-12-21
KR20210156553A (ko) 2021-12-27

Similar Documents

Publication Publication Date Title
EP1801752A2 (en) Image processing circuit and image processing method for correcting color pixel defects
KR101442313B1 (ko) 카메라 센서 교정
JP4309345B2 (ja) 画像フィールドデータを修正する技法
JP5860936B2 (ja) 撮像装置
US7755671B2 (en) Correcting a captured image in digital imaging devices
EP2762943B1 (en) Solid state image capture element, image capture device, and focus control method
JP5453173B2 (ja) 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
TWI418221B (zh) 圖像處理裝置，圖像處理方法及攝像裝置
CN113824907B (zh) 图像感测装置及其操作方法
EP1067777A2 (en) Image sensing device, image processing apparatus and method, and memory medium
JP5423111B2 (ja) 焦点検出装置および撮像装置
US9237282B2 (en) Solid-state imaging device and camera module including AD converting units for respective pixels
JP2012253726A (ja) 画像処理装置
CN113747066B (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
CN103621070B (zh) 摄像装置及摄像装置的控制方法
JP2010243772A (ja) 撮像装置
CN113365000B (zh) 图像感测设备及其操作方法
CN104012083B (zh) 摄像装置及摄像装置的控制方法
JP7414538B2 (ja) 撮像装置及びその制御方法
JP2010104019A (ja) 画素補間方法
JP4613137B2 (ja) 固体撮像素子
US11805325B2 (en) Image sensing device correcting defective image values
JP6849107B2 (ja) 撮像素子および撮像装置
JP2008277911A (ja) 補間処理装置、撮像装置、及び、補間処理方法
JP2009124524A (ja) 撮像装置および撮像画素データ補正方法並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant