CN115134543A - 图像感测装置 - Google Patents

图像感测装置 Download PDF

Info

Publication number
CN115134543A
CN115134543A CN202210291705.8A CN202210291705A CN115134543A CN 115134543 A CN115134543 A CN 115134543A CN 202210291705 A CN202210291705 A CN 202210291705A CN 115134543 A CN115134543 A CN 115134543A
Authority
CN
China
Prior art keywords
image
value
defect
values
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210291705.8A
Other languages
English (en)
Inventor
李京镐
张栽薰
林庆默
张彻存
赵勤守
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN115134543A publication Critical patent/CN115134543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

公开了图像感测装置，其包括：多个缺陷检测器，其每个适合：检测对应的目标图像值是否有缺陷，以及，生成与检测的结果对应的检测信息；缺陷调度器，适合基于检测信息来顺序地输出一个或多个缺陷图像值，缺陷图像值是多个目标图像值之中的被检测为有缺陷的目标图像值；以及缺陷校正器，适合校正所输出的缺陷图像值。

Description

图像感测装置
相关申请的交叉引用
本申请要求于2021年3月25日提交的韩国专利申请No.10-2021-0038902的优先权，其公开内容整体通过引用并入本文。
技术领域
本公开的各种实施方式涉及半导体设计技术，并且更具体地，涉及图像感测装置。
背景技术
图像感测装置是利用半导体对光起反应的属性来捕捉图像的装置。图像感测装置可粗略地分为电荷耦合装置(CCD)图像感测装置和互补金属氧化物半导体(CMOS)图像感测装置。近来，CMOS图像感测装置被广泛使用，因为CMOS图像感测装置可以允许在单个集成电路(IC)上直接实现模拟控制电路和数字控制电路。
发明内容
本公开的各种实施方式涉及可以控制缺陷图像值的处理调度的图像感测装置。
根据本公开实施方式，图像感测装置可包括：多个缺陷检测器，适合检测多个目标图像值各自是否有缺陷，以及生成对应于检测结果的多个检测信息；缺陷调度器，适合基于多个检测信息来顺序地输出多个目标图像值之中的其中发生缺陷的一个或多个缺陷图像值；以及，缺陷校正器，适合校正一个或多个缺陷图像值。
缺陷调度器可以通过以下来顺序地输出缺陷图像值：基于检测信息来确定优先级，以及，根据优先级来顺序地选择缺陷图像值。
检测信息可包括指示对应的目标图像值是否有缺陷的标志信号以及对应的目标图像值的畸变值。
畸变值可以是对应的目标图像值与对应的目标图像值的周边图像值之间的差值之和。
根据本公开实施方式，图像感测装置可包括：多个缺陷检测器，适合：检测多个目标图像值各自是否有缺陷，以及，生成对应于检测结果的多个检测信息；优先级控制器，适合：基于多个检测信息，确定一个或多个缺陷图像值的优先级，以及，生成对应于优先级的多个控制信号；输出单元，适合基于多个控制信号根据优先级来顺序地输出一个或多个缺陷图像值；以及，缺陷校正器，适合校正一个或多个缺陷图像值。
检测信息可包括指示对应的目标图像值是否有缺陷的标志信号以及对应的目标图像值的畸变值。
畸变值可以是对应的目标图像值与对应的目标图像值的周边图像值之间的差值之和。
输出单元可包括：多个选择电路，适合根据优先级来选择缺陷图像值；以及，至少一个缓冲器电路，适合存储缺陷图像值之中的具有第二优先级或更低优先级的至少一个缺陷图像值。
根据本公开实施方式，图像感测装置可包括：图像传感器，包括布置在多个行和多个列的交叉处的多个像素，并且适合生成与从多个像素读出的像素信号对应的目标图像值；以及，图像处理器，适合：将目标图像值划分成多个组，以及，针对每个组顺序地校正目标图像值之中的一个或多个缺陷图像值。
图像处理器可以根据优先级来顺序地选择缺陷图像值。
图像处理器还可以适合根据对应于各个缺陷图像值的畸变值来确定优先级。
多个畸变值中的每一个可以是对应的缺陷图像值与对应的缺陷图像值的周边图像值之间的差值之和。
图像处理器可以根据优先级来顺序地选择一个或多个缺陷图像值。
可以分别根据对应于缺陷图像值的畸变值来确定优先级。
多个畸变值中的每一个可以是对应的目标图像值与对应的目标图像值的周边图像值之间的差值之和。
根据本公开实施方式，图像感测装置的操作方法可包括：在每个时钟处接收一组内核图像值，每个内核图像值包括目标图像值和周边图像值；针对内核图像值中的每一个，基于目标图像值和周边图像值来计算畸变程度；针对内核图像值中的每一个，基于畸变程度检测作为缺陷图像值的目标图像值；将组内具有缺陷图像值的一个或多个内核图像值按畸变程度的降序排入队列；以及以先进先出(FIFO)方式将排入队列的内核图像值排出队列，以在该组内按上述降序来校正缺陷图像值。
附图说明
图1是示出根据本公开实施方式的图像感测装置的框图。
图2是示出根据本公开实施方式的图1所示的图像传感器的框图。
图3是示出根据本公开实施方式的图2所示的像素阵列的示例的图。
图4是示出根据本公开实施方式的图1所示的图像处理器的框图。
图5是示出根据本公开实施方式的图4所示的缺陷调度器的框图。
图6是示出根据本公开实施方式的用于计算畸变值的方法的图。
图7是示出根据本公开实施方式的图1所示的图像感测装置的操作的图。
图8至图16是附加地示出根据本公开实施方式的图7所示的图像感测装置10的操作的图。
具体实施方式
下面参照附图描述了本公开的各种实施方式，以便详细地描述本公开，使得本公开所属领域的技术人员可以容易实现本公开的技术精神。
在说明书通篇，应理解，当元件被称为“连接到”或“耦接到”另一元件时，该元件可以直接连接到或直接耦接到该另一元件，或者可以通过介于其间的一个或多个元件电连接到或电耦接到另一元件。此外，还应理解，除非另外提及，否则术语“包括”、“包括有”、“包含”、“包含有”在本说明书中使用时不排除存在一个或多个其他元件，而是还可以包括或具有一个或多个其他元件。在说明书全文的描述中，一些部件以单数形式描述，但是本公开不限于此，而且应理解这些部件可以形成为多个。
图1是示出根据本公开实施方式的图像感测装置10的框图。
参照图1，图像感测装置10可包括图像传感器100和图像处理器200。
图像传感器100可生成与捕捉的图像对应的图像值DPX。
图像处理器200可处理图像值DPX。例如，图像处理器200可以将图像值DPX划分为多个组(参照图7所示的周期性提供的图像值TV1、TV2、TV3和TV4的组)，并且针对每个组顺序地校正图像值之中的一个或多个缺陷图像值。图像处理器200可以根据优先级顺序地选择一个或多个缺陷图像值。可以根据与每个缺陷图像值对应的每个畸变值来确定优先级(参照图7)。例如，图像处理器200可提供输出电路223(参照图5)，该输出电路223基于缺陷图像值的发生概率而以最佳方式被设计，由此最小化电路面积。此外，由于图像处理器200可使用用作基于先进先出(FIFO)的队列的缓冲器电路STG1、STG2和STG3(参照图5以及图7至图16)执行分时处理，因此可以减少在校正缺陷图像值时所需的处理量。
图2是示出根据本公开实施方式的图1所示的图像传感器100的框图。
参照图2，图像传感器100可包括像素阵列110和信号转换器120。
像素阵列110可包括多个像素(参考图3)。像素阵列110可针对每个行生成像素信号VPX。例如，像素阵列110可在第一行时间期间从布置在第一行中的像素生成像素信号VPX，并且在第n行时间期间从布置在第n行中的像素生成像素信号VPX，其中“n”是大于2的整数。像素信号VPX中的每一个可以是模拟类型的像素信号。
信号转换器120可以将模拟类型的像素信号VPX转换成数字类型的图像值DPX。例如，信号转换器120可包括模数转换器。
图3是示出根据本公开实施方式的图2所示的像素阵列110的示例的图。
参照图3，像素阵列110可包括布置在多个行和多个列的交叉处的多个像素。多个像素可布置成预定图案。例如，多个像素可布置成拜耳图案。拜耳图案可以由各自具有2x2像素的重复单元构成。在每一个单元中，各自具有绿色滤色器的两个像素Gb和Gr可设置成在该单元的角处斜向面向彼此，并且具有蓝色滤色器的像素B和具有红色滤色器的像素R可设置在该单元的其他角处。四个像素B、Gb、Gr和R不一定限于图3所示的布置结构，而是可以基于上述拜耳图案以不同方式设置。
图像值DPX可以以“n”x“n”像素为单位被图像处理器200使用，其中，“n”是自然数。在下文中，描述其中以5x5像素为单位生成图像值DPX并且将对应于5x5像素的图像值称作内核图像值的示例。内核图像值可包括目标图像值和周边图像值。目标图像值可以是与“5”x“5”像素内的设置在中心的像素对应的图像值。周边图像值可以是与如下像素对应的图像值，所述像素被设置在“5”x“5”像素内的设置在中心的像素的周边上并且具有与设置在中心的像素相同的滤色器。
图4是示出根据本公开实施方式的图1所示的图像处理器200的框图。为便于描述，图4仅示出了和与图像值DPX之中的对应于一个组的一组内核图像值5X5V1、5X5V2、5X5V3和5X5V4有关的部件。
参照图4，图像处理器200可包括第一至第四缺陷检测器211、213、215和217、缺陷调度器220、缺陷校正器230以及第一至第四选择器241、243、245和247。
第一缺陷检测器211可基于包括第一目标图像值的第一内核图像值5X5V1检测第一目标图像值是否有缺陷，并且生成与检测结果对应的第一检测信息DINF1。第一检测信息DINF1可包括指示第一目标图像值是否被检测为缺陷图像值的第一标志信号F1以及对应于第一目标图像值的第一畸变值V1。例如，第一缺陷检测器211可基于第一内核图像值5X5V1内的第一目标图像值和一个或多个第一周边图像值来计算第一畸变值V1，并且通过将第一畸变值V1与参考值相比较来生成与第一目标图像值是否有缺陷对应的第一标志信号F1。
第二缺陷检测器213可基于包括第二目标图像值的第二内核图像值5X5V2检测第二目标图像值是否有缺陷，并且生成对应于检测结果的第二检测信息DINF2。第二检测信息DINF2可包括指示第二目标图像值是否被检测为缺陷图像值的第二标志信号F2以及对应于第二目标图像值的第二畸变值V2。例如，第二缺陷检测器213可基于第二内核图像值5X5V2内的第二目标图像值和一个或多个第二周边图像值来计算第二畸变值V2，并且通过将第二畸变值V2与参考值相比较来生成与第二目标图像值是否有缺陷对应的第二标志信号F2。
第三缺陷检测器215可基于包括第三目标图像值的第三内核图像值5X5V3来检测第三目标图像值是否有缺陷，并且生成与检测结果对应的第三检测信息DINF3。第三检测信息DINF3可包括指示第三目标图像值是否被检测为缺陷图像值的第三标志信号F3以及对应于第三目标图像值的第三畸变值V3。例如，第三缺陷检测器215可基于第三内核图像值5X5V3内的第三目标图像值和一个或多个第三周边图像值来计算第三畸变值V3，并且通过将第三畸变值V3与参考值相比较来生成与第三目标图像值是否有缺陷对应的第三标志信号F3。
第四缺陷检测器217可基于包括第四目标图像值的第四内核图像值5X5V4来检测第四目标图像值是否有缺陷，并且生成对应于检测结果的第四检测信息DINF4。第四检测信息DINF4可包括指示第四目标图像值是否被检测为缺陷图像值的第四标志信号F4以及对应于第四目标图像值的第四畸变值V4。例如，第四缺陷检测器217可基于第四内核图像值5X5V4内的第四目标图像值和一个或多个第四周边图像值来计算第四畸变值V4，并且通过将第四畸变值V4与参考值相比较来生成与第四目标图像值是否是有缺陷对应的第四标志信号F4。
缺陷调度器220可以基于第一至第四检测信息DINF1、DINF2、DINF3和DINF4顺序地输出第一至第四目标图像值之中的包括其中发生缺陷的一个或多个缺陷图像值的缺陷内核图像值5X5V。例如，缺陷调度器220可基于第一至第四检测信息DINF1、DINF2、DINF3和DINF4来确定一个或多个缺陷图像值的优先级，并且根据优先级来顺序地选择和输出缺陷内核图像值5X5V。
缺陷校正器230可以校正缺陷内核图像值5X5V内的一个或多个缺陷图像值，并且生成第一至第四经校正图像值CV1、CV2、CV3和CV4中的至少一个。例如，缺陷校正器230可基于各个内核图像值5X5V内的各个缺陷图像值和各个缺陷图像值的周边图像值来生成第一至第四经校正图像值CV1、CV2、CV3和CV4中的至少一个。
第一选择器241可基于第一标志信号F1选择和输出第一目标图像值TV1和第一经校正图像值CV1之一。
第二选择器243可基于第二标志信号F2选择和输出第二目标图像值TV2和第二经校正图像值CV2之一。
第三选择器245可基于第三标志信号F3选择和输出第三目标图像值TV3和第三经校正图像值CV3之一。
第四选择器247可基于第四标志信号F4选择和输出第四目标图像值TV4和第四经校正图像值CV4之一。
图5是示出根据本公开实施方式的图4所示的缺陷调度器220的框图。
参照图5，缺陷调度器220可包括优先级控制器221和输出单元223。
优先级控制器221可基于第一至第四检测信息DINF1、DINF2、DINF3和DINF4确定一个或多个缺陷图像值的优先级，并且生成对应于优先级的第一至第四控制信号CRL1、CTRL2、CTRL3和CTRL4。
输出单元223可以基于其中反映了优先级的第一至第四控制信号CTRL1、CRTL2、CTRL3和CTRL4顺序地输出一个或多个缺陷图像值。例如，输出单元223可包括第一至第四选择电路M1、M2、M3和M4以及第一至第三缓冲器电路STG1、STG2和STG3。
第一选择电路M1可基于第一控制信号CTRL1选择和输出包括与第一优先级对应的缺陷图像值的缺陷内核图像值。
第二选择电路M2可基于第二控制信号CTRL2选择和输出包括与第二优先级对应的缺陷图像值的缺陷内核图像值。
第三选择电路M3可基于第三控制信号CTRL3选择和输出包括与第三优先级对应的缺陷图像值的缺陷内核图像值。
第四选择电路M4可基于第四控制信号CTRL4选择和输出包括与第四优先级对应的缺陷图像值的缺陷内核图像值。
第一缓冲器电路STG1可存储包括与第二优先级对应的缺陷图像值的缺陷内核图像值。
第二缓冲器电路STG2可存储包括与第三优先级对应的缺陷图像值的缺陷内核图像值。
第三缓冲器电路STG3可存储包括与第四优先级对应的缺陷图像值的缺陷内核图像值。
在本实施方式中，描述了其中第一至第三缓冲器电路STG1、STG2和STG3被配置为与对应于一个组的图像值5X5V1、5X5V2、5X5V3和5X5V4相关的示例。然而，缓冲器电路STG的数量不一定限于此，而是可以根据设计来改变。例如，缓冲器电路STG的数量可以根据缺陷图像值的数量等于或大于缺陷校正器230的数量的概率来确定。根据示例，缺陷图像值的数量等于或大于缺陷校正器230的数量的概率ND Prob.由以下“等式1”定义。
[等式1]
Figure BDA0003560574380000071
此处，“n”可以表示在相同时间生成的缺陷图像值的数量，“t”可以表示缺陷校正器230的数量，“s”可以表示在相同时间被处理的内核的数量，“c”可以表示组合，“pn”可以表示n个目标图像值有缺陷的概率，以及“(1-p)s-n”可以表示s-n个目标图像值没有缺陷的概率。
根据另一示例，当像素阵列110中包括相位检测自动对焦(PDAF)像素时，缺陷图像值的数量等于或大于缺陷校正器230的数量的概率PD Prob.可以由以下“等式2”定义。相位检测自动对焦像素的图像值可以被认为与缺陷图像值相同。
[等式2]
Figure BDA0003560574380000072
此处，“n”可以表示在相同时间生成的缺陷图像值的数量，“t”可以表示缺陷校正器230的数量，“a”可以表示每个组的图像值之中的相位检测自动对焦像素的图像值的数量，“s”可以表示在相同时间被处理的内核的数量，“c”可以表示组合，“pn”可以表示n个目标图像值有缺陷的概率，以及“(1-p)s-n-a”可以表示s-n-a个目标图像值没有缺陷的概率。
图6是示出根据本公开实施方式的用于计算畸变值的方法的图。
参照图6，目标图像值的畸变值可以是目标图像值与目标图像值的周边图像值之间的差值之和。例如，畸变值可以由以下“等式3”定义。
[等式3]
V＝|PV1-TV|+|PV2-TV|+|PV3-TV|+|PV4-TV|+|PV5-TV|+|PV6-TV|+|PV7-TV|+|PV8-TV|
此处，“V”可以表示畸变值，“TV”可以表示目标图像值，以及“PV1”至“PV8”可以分别表示第一至第八周边图像值。
在下文中，描述根据实施方式的具有上述配置的图像感测装置10的操作。
图7是示出根据本公开实施方式的图1所示的图像感测装置10的操作的图。图8至图16是附加地示出根据本公开实施方式的图7所示的图像感测装置10的操作的图。
参照图7，第一至第四目标图像值TV1、TV2、TV3和TV4可以根据时钟信号被周期性地输入。例如，第一至第四目标图像值TV1、TV2、TV3和TV4可以根据时钟信号的第一周期#1Clk至第九周期#9Clk被输入。
参照图7和图8，根据时钟信号的第一周期#1Clk输入的第一至第四目标图像值TV1、TV2、TV3和TV4之中的第二目标图像值TV2和第四目标图像值TV4是缺陷图像值，并且对应于第四目标图像值TV4的畸变值大于对应于第二目标图像值TV2的畸变值。图像处理器200可以为第二目标图像值TV2和第四目标图像值TV4中的第四目标图像值TV4赋予优先级。图像处理器200可将第四目标图像值TV4从输出电路223输出到缺陷校正器230，以校正第二目标图像值TV2和第四目标图像值TV4之中的具有高优先级的第四目标图像值TV4，并且将第四目标图像值TV4生成为第四经校正图像值CV4。图像处理器200可将第二目标图像值TV2和第四目标图像值TV4之中的具有低优先级的第二目标图像值TV2存储到第一缓冲器电路STG1中。
参照图7和图9，根据时钟信号的第二周期#2Clk输入的第一至第四目标图像值TV1、TV2、TV3和TV4之中的第四目标图像值TV4是缺陷图像值。图像处理器200可以将先前存储在第一缓冲器电路STG1中的第二目标图像值TV2从输出电路223输出到缺陷校正器230以校正该第二目标图像值TV2，并且将当前被输入的第四目标图像值TV4存储在第一缓冲器电路STG1中。
参照图7和图10，根据时钟信号的第三周期#3Clk输入的第一至第四目标图像值TV1、TV2、TV3和TV4之中的第二目标图像值TV2和第四目标图像值TV4是缺陷图像值，并且对应于第四目标图像值TV4的畸变值大于对应于第二目标图像值TV2的畸变值。图像处理器200可以为第二目标图像值TV2和第四目标图像值TV4中的第四目标图像值TV4赋予优先级。图像处理器200可将先前存储在第一缓冲器电路STG1中的第四目标图像值TV4从输出电路223输出到缺陷校正器230以校正该第四目标图像值TV4，并且将当前被输入的第二目标图像值TV2和第四目标图像值TV4之中的具有高优先级的第四目标图像值TV4存储到第一缓冲器电路STG1中，并且将具有低优先级的第二目标图像值TV2存储到第二缓冲器电路STG2中。
参照图7和图11，根据时钟信号的第四周期#4Clk输入的第一至第四目标图像值TV1、TV2、TV3和TV4之中的第一目标图像值TV1、第二目标图像值TV2和第四目标图像值TV4是缺陷图像值，对应于第一目标图像值TV1、第二目标图像值TV2和第四目标图像值TV4之中的第二目标图像值TV2的畸变值是最大的，并且对应于第四目标图像值TV4的畸变值是最小的。在这种情况下，图像处理器200可将第一目标图像值TV1、第二目标图像值TV2和第四目标图像值TV4之中的第二目标图像值TV2确定为第一优先级，将第一目标图像值TV1确定为第二优先级，并且将第四目标图像值TV4确定为第三优先级。图像处理器200可以将先前存储在第一缓冲器电路STG1中的第四目标图像值TV4从输出电路223输出到缺陷校正器230，以校正该第四目标图像值TV4，并且将先前存储在第二缓冲器电路STG2中的第二目标图像值TV2移位到第一缓冲器电路STG1。图像处理器200可将当前被输入的具有第一优先级的第二目标图像值TV2存储到第二缓冲器电路STG2中，并且将当前被输入的具有第二优先级的第一目标图像值TV1存储到第三缓冲器电路STG3中。此时，由于在所有第一至第三缓冲器电路STG1、STG2和STG3中已经存储了图像值，因此图像处理器200可以将当前被输入的具有第三优先级的第四目标图像值TV4作为例外来处理。例如，图像处理器200可以忽视当前被输入的具有第三优先级的第四目标图像值TV4中的缺陷，并且将第四目标图像值TV4作为正常图像值来处理。
参照图7和图12，根据时钟信号的第五周期#5Clk输入的第一至第四目标图像值TV1、TV2、TV3和TV4之中的第一目标图像值TV1是缺陷图像值。图像处理器200可将先前存储在第一缓冲器电路STG1中的第二目标图像值TV2从输出电路223输出到缺陷校正器230，以校正该第二目标图像值TV2，将先前存储在第二缓冲器电路STG2中的第二目标图像值TV2移位到第一缓冲器电路STG1，并且将先前存储在第三缓冲器电路STG3中的第一目标图像值TV1移位到第二缓冲器电路STG2。图像处理器200可将当前被输入的第一目标图像值TV1存储在第三缓冲器电路STG3中。
参照图7和图13，根据时钟信号的第六周期#6Clk输入的第一至第四目标图像值TV1、TV2、TV3和TV4之中的第三目标图像值TV3是缺陷图像值。图像处理器200可将先前存储在第一缓冲器电路STG1中的第二目标图像值TV2从输出电路223输出到缺陷校正器230，以校正该第二目标图像值TV2，将先前存储在第二缓冲器电路STG2中的第一目标图像值TV1移位到第一缓冲器电路STG1，并且将先前存储在第三缓冲器电路STG3中的第一目标图像值TV1移位到第二缓冲器电路STG2。图像处理器200可将当前被输入的第三目标图像值TV3存储在第三缓冲器电路STG3中。
参照图7以及图14至图16，当在时钟信号的第七周期#7Clk至第九周期#9Clk期间没有检测到任何缺陷图像值时，图像处理器200可以在第七周期#7Clk至第九周期#9Clk期间从输出电路223将先前存储在第一至第三缓冲器电路STG1、STG2和STG3中的图像值顺序地移位以及顺序地输出到缺陷校正器230，以校正顺序输出的图像值。
尽管图7示出了仅将缺陷图像值存储到第一至第三缓冲器电路STG1、STG2和STG3中，但是实际上可以将包括缺陷图像值的内核图像值存储到其中。
根据本公开实施方式，可以在不影响处理缺陷图像值的性能的情况下处理缺陷图像值。
根据本公开实施方式，可以在不影响处理缺陷图像值的性能的情况下最小化用于处理缺陷图像值的部件的面积。
尽管相对于具体实施方式示出并描述了本公开，但是提供所公开的实施方式是为了描述，而不是旨在限制。另外，应注意，如本领域技术人员将根据本公开认识到的，可以通过落入随附的权利要求范围内的替换、改变和修改以各种方式来实现本公开。此外，实施方式可以被结合以形成附加的实施方式。

Claims (19)

1.一种图像感测装置，包括：
多个缺陷检测器，每个缺陷检测器适合：检测对应的目标图像值是否有缺陷，以及，生成与检测的结果对应的检测信息；
缺陷调度器，适合基于所述检测信息来顺序地输出一个或多个缺陷图像值，所述一个或多个缺陷图像值是多个目标图像值之中的被检测为有缺陷的目标图像值；以及
缺陷校正器，适合校正输出的缺陷图像值。
2.根据权利要求1所述的图像感测装置，其中，所述缺陷调度器通过以下来顺序地输出所述缺陷图像值：
基于所述检测信息确定优先级，以及
根据所述优先级来顺序地选择所述缺陷图像值。
3.根据权利要求1所述的图像感测装置，其中，所述检测信息包括：指示所述对应的目标图像值是否有缺陷的标志信号，以及所述对应的目标图像值的畸变值。
4.根据权利要求2所述的图像感测装置，其中，所述畸变值是所述对应的目标图像值与所述对应的目标图像值的周边图像值之间的差值之和。
5.根据权利要求1所述的图像感测装置，其中，所述缺陷检测器中的每一个通过以下来检测所述对应的目标图像值是否有缺陷：
基于所述对应的目标图像值和所述对应的目标图像值的周边图像值来计算畸变值，以及
将所述畸变值与参考值相比较。
6.根据权利要求1所述的图像感测装置，其中，所述缺陷校正器通过基于各个输出的缺陷图像值和所述各个输出的缺陷图像值的周边图像值来生成分别与所述输出的缺陷图像值对应的经校正图像值以校正所述输出的缺陷图像值。
7.根据权利要求6所述的图像感测装置，还包括多个选择器，每个选择器适合基于包括在所述检测信息中的标志信号来选择性地输出所述对应的目标图像值和所述经校正图像值之一。
8.一种图像感测装置，包括：
多个缺陷检测器，每个缺陷检测器适合：检测对应的目标图像值是否有缺陷，以及，生成与检测的结果对应的检测信息；
优先级控制器，适合：基于所述检测信息来确定一个或多个缺陷图像值的优先级，以及，生成与所述优先级对应的多个控制信号，所述一个或多个缺陷图像值是多个目标图像值之中的被检测为有缺陷的目标图像值；
输出单元，适合基于所述多个控制信号根据所述优先级来顺序地输出所述缺陷图像值；以及
缺陷校正器，适合校正输出的缺陷图像值。
9.根据权利要求8所述的图像感测装置，其中，所述检测信息包括：指示所述对应的目标图像值是否有缺陷的标志信号，以及所述对应的目标图像值的畸变值。
10.根据权利要求9所述的图像感测装置，其中，所述畸变值是所述对应的目标图像值与所述对应的目标图像值的周边图像值之间的差值之和。
11.根据权利要求8所述的图像感测装置，其中，所述输出单元包括：
多个选择电路，适合根据所述优先级来选择所述缺陷图像值；以及
至少一个缓冲器电路，适合存储所述缺陷图像值之中的具有第二优先级或更低优先级的至少一个缺陷图像值。
12.根据权利要求8所述的图像感测装置，其中，所述缺陷检测器中的每一个通过以下来检测所述对应的目标图像值是否有缺陷：
基于所述对应的目标图像值和所述对应的目标图像值的周边图像值来计算畸变值，以及
将所述畸变值与参考值相比较。
13.根据权利要求8所述的图像感测装置，其中，所述缺陷校正器通过基于各个输出的缺陷图像值和所述各个输出的缺陷图像值的周边图像值来生成分别与所述输出的缺陷图像值对应的经校正图像值以校正所述输出的缺陷图像值。
14.根据权利要求13所述的图像感测装置，还包括多个选择器，每个选择器适合基于包括在所述检测信息中的标志信号来选择性地输出所述对应的目标图像值和所述经校正图像值之一。
15.一种图像感测装置，包括：
图像传感器，包括布置在多个行和多个列的交叉处的多个像素，并且适合生成与从所述多个像素读出的像素信号对应的目标图像值；以及
图像处理器，适合：将所述目标图像值划分成多个组，以及，针对每个组顺序地校正所述目标图像值之中的一个或多个缺陷图像值。
16.根据权利要求15所述的图像感测装置，其中，所述图像处理器根据优先级来顺序地选择所述缺陷图像值。
17.根据权利要求16所述的图像感测装置，其中，所述图像处理器进一步适合根据与各个缺陷图像值对应的畸变值来确定所述优先级。
18.根据权利要求17所述的图像感测装置，其中，所述畸变值中的每一个是对应的缺陷图像值与所述对应的缺陷图像值的周边图像值之间的差值之和。
19.一种图像处理器的操作方法，所述操作方法包括：
在每个时钟处接收一组内核图像值，每个内核图像值包括目标图像值和周边图像值；
针对所述内核图像值中的每一个，基于所述目标图像值和所述周边图像值来计算畸变程度；
针对所述内核图像值中的每一个，基于所述畸变程度检测作为缺陷图像值的所述目标图像值；
在所述组内将具有所述缺陷图像值的一个或多个内核图像值按所述畸变程度的降序排入队列；以及
以先进先出FIFO方式将排入队列的内核图像值排出队列，以在所述组内按所述降序校正所述缺陷图像值。
CN202210291705.8A 2021-03-25 2022-03-23 图像感测装置 Pending CN115134543A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0038902 2021-03-25
KR1020210038902A KR20220133594A (ko) 2021-03-25 2021-03-25 이미지 센싱 장치

Publications (1)

Publication Number Publication Date
CN115134543A true CN115134543A (zh) 2022-09-30

Family

ID=83363833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210291705.8A Pending CN115134543A (zh) 2021-03-25 2022-03-23 图像感测装置

Country Status (3)

Country Link
US (1) US11805325B2 (zh)
KR (1) KR20220133594A (zh)
CN (1) CN115134543A (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100237398B1 (ko) 1997-06-10 2000-01-15 이계철 Atm 스위치의 이중화 제어 장치
JP4508740B2 (ja) * 2004-06-22 2010-07-21 キヤノン株式会社 画像処理装置
JP5266957B2 (ja) * 2008-08-21 2013-08-21 パナソニック株式会社 欠陥画素検出装置、撮像装置、および欠陥画素検出方法
JP2011097404A (ja) * 2009-10-30 2011-05-12 Sony Corp 固体撮像装置及びデータ処理装置
JP5615155B2 (ja) * 2009-12-22 2014-10-29 キヤノン株式会社 画像処理装置及び方法
KR102069864B1 (ko) 2012-11-05 2020-01-23 에스케이하이닉스 주식회사 반도체 메모리 장치 및 이의 동작 방법
JP2020022135A (ja) * 2018-08-03 2020-02-06 オリンパス株式会社 欠陥画素補正装置、撮像装置、欠陥画素補正方法

Also Published As

Publication number Publication date
KR20220133594A (ko) 2022-10-05
US20220311934A1 (en) 2022-09-29
US11805325B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
US8571346B2 (en) Methods and devices for defective pixel detection
US7830423B2 (en) Method and apparatus providing imager noise reduction using parallel input arithmetic mean modules
EP1601187B1 (en) Method and apparatus for detecting defective pixels in accordance with readout method
US8089533B2 (en) Fixed pattern noise removal circuit, fixed pattern noise removal method, program, and image pickup apparatus
USRE44717E1 (en) Edge detecting method
JP2008537406A (ja) 固体撮像装置における固定パターン雑音の低減方法及び装置
EP1003332A2 (en) Defect correction in electronic imaging system
US9191592B2 (en) Imaging sensor anomalous pixel column detection and calibration
US20120182452A1 (en) Image processing device, image processing method, and program
CN204906538U (zh) 生成噪声校正的像素值的电子设备、减小噪声信号的电子设备和成像***
WO2012023577A1 (en) Image-pickup apparatus and method of detecting defective pixel thereof
US11172149B2 (en) Image sensing system using average pixel data and operating method thereof
CN103491310A (zh) 图像捕获装置及其控制方法
US11190717B2 (en) Solid state image sensor, image capturing apparatus, and image capturing method
US9092845B2 (en) Image processing device with defect correcting circuit and image processing method
US9237282B2 (en) Solid-state imaging device and camera module including AD converting units for respective pixels
US20130329076A1 (en) Method and apparatus for pixel data extrema detection and histogram generation
CN113747066A (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
CN115134543A (zh) 图像感测装置
US8072521B2 (en) Solid-state imaging device, method for driving solid-state imaging device and imaging apparatus
JPH11205812A (ja) 白バランス制御方法及び装置
JPH07336605A (ja) 画素欠陥補正装置
CN104639842A (zh) 影像处理装置及曝光控制方法
US20030160885A1 (en) AF evaluation value calculating device
KR20100037339A (ko) 불량화소 보정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination