CN114615448A - 图像感测装置 - Google Patents

图像感测装置 Download PDF

Info

Publication number
CN114615448A
CN114615448A CN202111292254.1A CN202111292254A CN114615448A CN 114615448 A CN114615448 A CN 114615448A CN 202111292254 A CN202111292254 A CN 202111292254A CN 114615448 A CN114615448 A CN 114615448A
Authority
CN
China
Prior art keywords
image
value
kernel
target kernel
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111292254.1A
Other languages
English (en)
Inventor
张徹存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN114615448A publication Critical patent/CN114615448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本公开涉及一种图像感测装置，该图像感测装置包括：图像传感器，所述图像传感器适用于生成与捕获图像相对应的图像值；以及图像处理器，所述图像处理器适用于基于目标内核的图像值当中的与所述目标内核的中央相对应的第一图像值和与所述目标内核的***相对应的第二图像值来分析所述捕获图像的所述目标内核的纹理。

Description

图像感测装置
技术领域
本公开的各个实施方式涉及一种半导体设计技术，并且更具体地，涉及一种图像感测装置。
背景技术
图像感测装置是用于使用半导体对光线起反应的性质来捕获图像的装置。图像感测装置可以大致分类为电荷耦合器件(CCD)图像感测装置和互补金属氧化物半导体(CMOS)图像感测装置。最近，CMOS图像感测装置被广泛使用，这是因为CMOS图像感测装置可以允许模拟控制电路和数字控制电路二者直接在单个集成电路(IC)上实现。
发明内容
本公开的各个实施方式涉及一种在分析目标内核的纹理时使用简单的计算方法的图像感测装置。
此外，本公开的各个实施方式涉及一种能够根据目标内核的分析结果省略校正操作的图像感测装置。
根据本公开的实施方式，图像感测装置可以包括：图像传感器，图像传感器适于生成与捕获图像相对应的图像值；以及图像处理器，图像处理器适于基于捕获图像的目标内核的图像值当中的与目标内核的中央相对应的第一图像值和与目标内核的***相对应的第二图像值来分析目标内核的纹理。
图像处理器还可以适于在分析目标内核的纹理时分析目标内核中是否存在缺陷图像值。
当分析目标内核的纹理的结果指示目标内核是比边缘区域更复杂的纹理区域时，图像处理器可以省略校正目标内核的缺陷图像值的操作。
根据本公开的实施方式，图像感测装置可以包括：图像传感器，图像传感器适于生成与捕获图像相对应的图像值；以及图像处理器，图像处理器适于基于与N×N个像素相对应的目标内核的图像值当中的具有相同滤色器的像素的图像值来分析目标内核的纹理，其中，“N”是大于1的整数。
图像处理器可以基于目标内核的图像值当中的与目标内核的中央相对应的第一图像值和与目标内核的***相对应的第二图像值来分析目标内核的纹理。
图像处理器还可以适于在分析目标内核的纹理的同时分析目标内核中是否存在缺陷图像值。
当分析目标内核的纹理的结果指示目标内核是比边缘区域更复杂的纹理区域时，图像处理器可以省略校正目标内核的缺陷图像值的操作。
根据本公开的实施方式，一种图像感测装置可以包括：内核分析部件，内核分析部件适于基于目标内核的图像值中的一些来分析目标内核的纹理以及目标内核中是否存在一个或更多个缺陷图像值，并且生成与分析的结果相对应的控制信号；内核校正部件，内核校正部件适于基于目标内核的图像值和控制信号来校正目标内核的缺陷图像值，并且生成经校正的图像值；以及图像输出部件，图像输出部件适于基于控制信号输出经校正的图像值和目标内核的图像值中的一者。
图像值中的一些可以包括目标内核的图像值当中与目标内核的中央相对应的第一图像值和与目标内核的***相对应的第二图像值。
当目标内核是平坦区域或边缘区域并且目标内核中存在缺陷图像值时，内核校正部件被启用，其中，当目标内核是平坦区域或边缘区域并且目标内核中不存在缺陷图像值时，内核校正部件被禁用，并且其中，当目标内核是比边缘区域更复杂的纹理区域时，内核校正部件被禁用。
根据本公开的实施方式，一种图像感测装置可以包括：图像传感器，图像传感器适于生成与图像的内核的中央相对应的第一图像值和与内核的***相对应的第二图像值的；以及图像处理器，图像处理器适于：基于第一图像值和第二图像值生成第一方差值至第三方差值，基于第一方差值至第三方差值来确定内核的纹理并检测内核中的缺陷图像值，并且当内核是平坦区域和边缘区域之间的一个时，校正缺陷图像值，而当内核是比边缘区域更复杂的纹理区域时，跳过校正。
附图说明
图1是示出根据本公开的实施方式的图像感测装置的框图。
图2是示出图1中所示的图像传感器的框图。
图3是示出图2所示的像素阵列的示例的图。
图4是示出图1中所示的图像处理器的框图。
图5是示出图4中所示的内核分析部件的框图。
图6是示出图5中所示的控制块的框图。
图7是另外示出图5中所示的第一计算块的图。
图8是另外示出图5中所示的第二计算块的图。
图9是示出图1中所示的图像感测装置的操作的流程图。
具体实施方式
下面参照附图详细描述本公开的各个实施方式，以便于针对本公开所属领域的技术人员详细地描述本公开，从而容易地执行本公开的技术精神。
当元件被称为“连接到”或“联接到”另一元件时，元件可以直接连接到或联接到另一元件，或者电连接到或联接到另一元件，其中一个或更多个元件插置于其间。另外，应当理解，除非另有描述，否则本文使用的术语“包括”、“包含”、“具有”和“含有”指定所述元件的存在，并且不排除一个或更多个其它元件的存在或添加。在下面的描述中，以单数形式描述了一些组件，但是本公开不限于此；应当理解的是，组件可以以复数形式形成。
图1是示出根据本公开的实施方式的图像感测装置的框图。
参照图1，图像感测装置可以包括图像传感器100和图像处理器200。
图像传感器100可以生成与捕获图像相对应的图像值DPX。
图像处理器200可以基于图像值DPX来分析针对捕获图像的每个内核的纹理(texture)。当分析纹理时，图像处理器200可以同时分析在每个目标内核中是否存在缺陷发生于其中的像素的缺陷图像值。
纹理可以是指示目标内核是平坦区域、边缘区域还是比边缘区域更复杂的纹理区域(下文中称为“复杂纹理区域”)的特性中的一个。平坦区域可以指比边缘区域简单的纹理区域，并且边缘区域可以指包括水平方向上的边缘、垂直方向上的边缘和对角线方向上的边缘中的一者的区域。复杂纹理区域可以指包括水平方向上的边缘、垂直方向上的边缘和对角线方向上的边缘中的至少两个的区域，或者各种颜色混合而无方向性的区域。
图像处理器200可以基于分析目标内核的纹理的结果和分析在目标内核中是否存在缺陷图像值的结果来确定是否校正目标内核中的缺陷图像值。例如，当目标内核为平坦区域或边缘区域并且在目标内核中存在缺陷图像值时，图像处理器200可以执行校正目标内核中的缺陷图像值的操作。另一方面，当目标内核为平坦区域或边缘区域并且目标内核中不存在缺陷图像值时，图像处理器200可以省略(或跳过)校正缺陷图像值的操作。另外，当目标内核为复杂纹理区域时，无论目标内核中是否存在缺陷图像值，图像处理器200都可以省略校正缺陷图像值的操作。
校正缺陷图像值的操作可以包括检测缺陷图像值的操作和将所检测的缺陷图像值恢复为无缺陷图像值的操作。在一个实施方式中，校正缺陷图像值的操作(特别地，检测缺陷图像值的操作)可以根据分析纹理的结果和分析缺陷图像值是否存在的结果而被省略。
图2是示出图1中所示的图像传感器100的框图。
参照图2，图像传感器100可以包括像素阵列110和信号转换器120。
像素阵列110可以包括在行方向和列方向上布置的多个像素(参照图3)。像素阵列110可以针对每一行生成像素信号VPX。例如，像素阵列110可以在第一行时间期间从布置在第一行中的像素生成像素信号VPX，并且在第n行时间期间从布置在第n行中的像素生成像素信号VPX，其中“n”为大于2的整数。像素信号VPX中的每一个可以是模拟类型像素信号。
信号转换器120可以将模拟类型像素信号VPX转换为数字类型图像值DPX。例如，信号转换器120可以包括模数转换器。
图3是示出图2所示的像素阵列110的示例的图。
参照图3，像素阵列110可以以预定义或设定的图案来布置。例如，像素阵列110可以以拜耳(Bayer)图案来布置。拜耳图案可以由具有2×2像素的重复单元组成。在每个单元中，具有绿色滤色器的两个像素Gr和Gb被设置为在其角部处彼此对角地面对，并且具有蓝色滤色器的像素B和具有红色滤色器的像素R可以被设置在其它角部处。四个像素B、Gb、Gr和R不一定限于图3中所示的布置结构，而是可以基于上述拜耳图案而变化地设置。
在一个实施方式中，像素阵列110可以被划分为5×5像素。5×5像素可与目标内核相对应。可以根据缺陷图像值的校正性能和纹理的分析性能来确定目标内核的尺寸。
图4是示出图1中所示的图像处理器200的框图。
参照图4，图像处理器200可以包括内核分析部件210、内核校正部件220、图像输出部件230和旁路部件240。
旁路部件240可以基于控制信号CTRL将图像值DPX旁路到图像输出部件230。根据实施方式，可以不配置旁路部件240，并且当不配置旁路部件240时，图像值DPX可以被直接输入到图像输出部件230。
内核分析部件210可以基于图像值DPX来分析针对捕获图像的每个内核的纹理。也就是说，内核分析部件210可以分析目标内核的区域的特性，并且该区域可以是平坦区域、边缘区域和复杂纹理区域中的一个。内核分析部件210可以通过使用目标内核的图像值中的一些来分析目标内核的纹理。例如，内核分析部件210可以基于目标内核的图像值当中具有相同滤色器的像素的图像值来分析目标内核的纹理。
当分析目标内核的纹理时，内核分析部件210还可以分析在目标内核中所包括的图像值中是否存在缺陷图像值。也就是说，内核分析部件210可以通过单个分析操作同时分析目标内核的纹理以及目标内核中是否存在缺陷图像值。
内核分析部件210可以基于分析目标内核的纹理的结果和分析目标内核中是否存在缺陷图像值的结果来生成与目标内核相对应的控制信号CTRL。控制信号CTRL可以是具有单个位的信号，该单个位具有高逻辑电平和低逻辑电平中的一个。
可以基于控制信号CTRL来启用或禁用内核校正部件220。当被启用时，内核校正部件220可以基于图像值DPX来生成与目标内核相对应的经校正的图像值DPX′。
例如，当目标内核是平坦区域或边缘区域并且目标内核中存在缺陷图像值时，可以启用内核校正部件220。当被启用时，内核校正部件220可以校正目标内核的图像值当中的至少一个缺陷图像值。内核校正部件220可以根据校正技术基于包括在目标内核中的图像值的一些或全部来检测缺陷图像值并将检测到的缺陷图像值恢复为无缺陷图像值。例如，校正技术可以包括：能够检测和恢复包括在目标内核中的图像值当中的最多一个缺陷图像值的单个缺陷像素校正技术，能够检测和恢复包括在目标内核中的图像值当中的最多两个缺陷图像值的对(couplet)缺陷像素校正技术，以及能够检测和恢复包括在目标内核中的图像值当中的最多三个缺陷图像值的三重缺陷像素校正技术。另一方面，当目标内核是平坦区域或边缘区域并且目标内核中不存在缺陷图像值时，可以禁用内核校正部件220。另外，当目标内核是复杂纹理区域时，无论是否存在缺陷图像值，内核校正部件220都可以被禁用。
图像输出部件230可以基于控制信号CTRL输出针对每个目标内核的旁路图像值DPX1和经校正的图像值DPX'中的一者。例如，当控制信号CTRL具有启用内核校正部件220的电平时，图像输出部件230可以输出经校正的图像值DPX'，并且当控制信号CTRL具有禁用内核校正部件220的电平时，图像输出部件230可以输出旁路图像值DPX1。根据实施方式，可以不配置旁路部件240。当不配置旁路部件240并且因此图像值DPX可以被直接输入到图像输出部件230时，图像输出部件230可以基于控制信号CTRL输出针对每个目标内核的图像值DPX和经校正的图像值DPX'中的一者。
图5是示出图4中所示的内核分析部件210的框图。
参照图5，内核分析部件210可以包括第一计算块211、第二计算块213、第三计算块215和控制块217。
第一计算块211可以基于图像值DPX计算针对每个目标内核的第一方差值VV1。第一计算块211可以通过使用包括在目标内核中的图像值中的一些来计算第一方差值VV1。例如，第一计算块211可以通过使用设置在目标内核的中央的像素的第一图像值和设置在目标内核的***的像素的第二图像值来计算第一方差值VV1。第一图像值和第二图像值可以是具有相同滤色器的像素的图像值。将参照图7更详细地描述第一方差值VV1。
第二计算块213可以基于图像值DPX计算针对每个目标内核的第二方差值VV2。第二计算块213可以通过使用包括在目标内核中的图像值中的一些来计算第二方差值VV2。例如，第二计算块213可以通过使用第二图像值来计算第二方差值VV2。将参照图8更详细地描述第二方差值VV2。
第三计算块215可以基于第一方差值VV1和第二方差值VV2来生成第三方差值VV3。例如，第三方差值VV3可以与第一方差值VV1和第二方差值VV2之间的差值相对应。
控制块217可以基于第一方差值VV1、第二方差值VV2、第三方差值VV3和图像值DPX来生成控制信号CTRL。例如，控制信号CTRL可以根据下面的“表1”来生成。
[表1]
Figure BDA0003335236240000071
在表1中，指示“↑”可以指相对大的值，指示“↓”可以指相对小的值，值“1”可以指高逻辑电平，并且值“0”可以指低逻辑电平。
控制块217可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3生成其中反应分析目标内核的纹理的结果和分析目标内核中是否存在缺陷图像值的结果二者的控制信号CTRL。例如，控制块217可以通过将第一方差值VV1与第一参考值进行比较来确定第一方差值VV1是大的值还是小的值，通过将第二方差值VV2与第二参考值进行比较来确定第二方差值VV2是大的值还是小的值，并且通过将第三方差值VV3与第三参考值进行比较来确定第三方差值VV3是大的值还是小的值。第一参考值至第三参考值可以是不同的值、相同的值或其中不同值和相同值混合的值。控制块217可以根据第一方差值VV1、第二方差值VV2和第三方差值VV3中的每一个是大的值还是小的值来识别分析目标内核的纹理的结果和分析目标内核中是否存在缺陷图像值的结果。另外，控制块217可以基于图像值DPX连同第一方差值VV1、第二方差值VV2和第三方差值VV3来更清楚地分析目标内核中是否存在缺陷图像值(见图6)。控制块217可以基于分析目标内核的纹理的结果和分析目标内核中是否存在缺陷图像值的结果来确定与目标内核相对应的控制信号CTRL的逻辑电平。
图6是示出图5中所示的控制块217的框图。
参照图6，控制块217可以包括内核区域确定单元2171、缺陷像素确定单元2173和控制信号生成单元2175。
内核区域确定单元2171可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3生成与分析目标内核的纹理的结果相对应的第一区域确定信号flatEN、第二区域确定信号edgeEN和第三区域确定信号cpxEN。内核区域确定单元2171可以包括第一区域确定组件JDG1、第二区域确定组件JDG2和第三区域确定组件JDG3。第一区域确定组件JDG1可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3来生成与平坦区域相对应的第一区域确定信号flatEN。第二区域确定组件JDG2可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3来生成与边缘区域相对应的第二区域确定信号edgeEN。第三区域确定组件JDG3可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3来生成与复杂纹理区域相对应的第三区域确定信号cpxEN。第一区域确定信号flatEN、第二区域确定信号edgeEN和第三区域确定信号cpxEN可以如下面的“表2”中所示生成。
[表2]
Figure BDA0003335236240000081
缺陷像素确定单元2173可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3来生成与分析目标内核中是否存在缺陷图像值的结果相对应的缺陷确定信号defEN。缺陷像素确定单元2173可以基于图像值DPX连同第一方差值VV1、第二方差值VV2和第三方差值VV3一起进一步提高缺陷分析能力。例如，缺陷像素确定单元2173可以通过将第一图像值与第二图像值之间的差值与阈值进行比较来确定目标内核中是否存在缺陷图像值。根据目标内核是平坦区域、边缘区域还是复杂纹理区域，阈值可以被不同地设置。例如，可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3来设置阈值。缺陷确定信号defEN可以如下“表3”中所示生成。
[表3]
Figure BDA0003335236240000091
控制信号生成单元2175可以基于第一区域确定信号flatEN、第二区域确定信号edgeEN、第三区域确定信号cpxEN和缺陷确定信号defEN来生成控制信号CTRL。
图7是另外示出图5中所示的第一计算块211的图。
参照图7，目标内核可以与5×5像素相对应。第一计算块211可以通过使用第一图像值和第二图像值来计算第一方差值VV1。第一图像值可以是设置在目标内核中央的一个像素的图像值，并且第二图像值可以是设置在目标内核的***的八个像素的图像值。
第一计算块211可以基于设置在目标内核的中央的一个像素的第一图像值和设置在目标内核的***的八个像素的第二图像值来计算第一方差值VV1。第一方差值VV1可以根据下面的“式1”来计算。
[式1]
Figure BDA0003335236240000092
在本文中，“CV”可以指第一图像值，并且“PVi”可以指第二图像值。
可以通过对第一图像值和第二图像值之间的差值求和来获得第一方差值VV1。也就是说，可以通过将图7所示的带有箭头的八条线中的每一条的两端处所设置的两个像素的图像值之间的差值全部相加来获得第一方差值VV1。
图8是另外示出图5中所示的第二计算块213的图。
参照图8，目标内核可以与5×5像素相对应。第二计算块213可以通过使用第二图像值来计算第二方差值VV2。第二图像值可以是设置在目标内核的***的八个像素的图像值。
第二计算块213可以基于设置在目标内核的***的八个像素的第二图像值来计算第二方差值VV2。第二方差值VV2可以根据下面的“式2”来计算。
[式2]
Figure BDA0003335236240000101
在本文中，“PV1”、“PV2”、“PV3”、“PV4”、“PV5”、“PV6”、“PV7”和“PV8”可以指第二图像值。
第二方差值VV2可以通过对第二图像值之间的差值求和来获得。也就是说，可以通过将图8中所示的带有箭头的八条线中的每一条的两端处所设置的两个像素的图像值之间的差值全部相加来获得第二方差值VV2。
在下文中，描述了根据本公开的实施方式的具有上述配置的图像感测装置的操作的示例。
图9是示出图1中所示的图像感测装置的操作的流程图。
参照图9，在操作S101中，图像传感器100可以生成与捕获图像相对应的图像值DPX。
在操作S103中，图像处理器200可以基于图像值DPX来分析针对每个内核的纹理。当分析目标内核的纹理时，图像处理器200还可以分析目标内核中是否存在缺陷图像值。图像处理器200可以通过单个分析操作同时分析目标内核的纹理和目标内核中是否存在缺陷图像值。例如，图像处理器200可以根据上述“式1”计算目标内核的第一方差值VV1，根据上述“式2”计算目标内核的第二方差值VV2，并且基于第一方差值VV1和第二方差值VV2来计算第三方差值VV3。图像处理器200可以基于第一方差值VV1、第二方差值VV2和第三方差值VV3来分析目标内核的纹理和目标内核中是否存在缺陷图像值二者(见上面的“表1”)。
当目标内核是平坦区域(即，操作S105中的“是”)并且目标内核中存在缺陷图像值(即，操作S107中的“是”)时，在操作S109中，图像处理器200可以执行校正缺陷图像值的操作。另选地，当目标内核是边缘区域(即，操作S111中的“是”)并且目标内核中存在缺陷图像值(即，操作S107中的“是”)时，在操作109中，图像处理器200可以执行校正缺陷图像值的操作。
相反，当目标内核是平坦区域(在操作S105中为“是”)并且目标内核中不存在缺陷图像值(在操作S107中为“否”)时，图像处理器200可以省略校正缺陷图像值的操作。另选地，当目标内核是边缘区域(即，操作S111中的“是”)并且目标内核中不存在缺陷图像值(即，操作S107中的“否”)时，图像处理器200可以省略校正缺陷图像值的操作。另选地，当在操作S113中确定目标内核是复杂纹理区域时，图像处理器200可以省略校正缺陷图像值的操作而不管目标内核中是否存在校正缺陷图像值。
根据本公开的实施方式，可以通过简单计算方法来计算方差值，并且可以基于方差值容易地分析目标内核的纹理以及目标内核中是否存在缺陷图像值。
根据本公开的实施方式，当分析目标内核的纹理时，可以通过使用简单计算方法来实现图像感测装置的低功耗和高速度。
另外，本公开的实施方式可以根据目标内核的分析结果省略校正操作，从而进一步有助于图像感测装置的低功耗和高速度。
尽管已经相对于具体实施方式示出和描述了本公开，但是本公开的实施方式被提供用于描述，而非旨在限制。此外，应当注意，本公开可以通过落在所附权利要求范围内的替换、改变和修改以各种方式实现，如本领域技术人员根据本公开将认识到的。
相关申请的交叉引用
本申请要求于2020年12月9日提交的韩国专利申请第10-2020-0170942号的优先权，其公开内容通过引用整体并入本文。

Claims (21)

1.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器生成与捕获图像相对应的图像值；以及
图像处理器，所述图像处理器基于所述捕获图像的目标内核的图像值当中的与所述目标内核的中央相对应的第一图像值和与所述目标内核的***相对应的第二图像值来分析所述目标内核的纹理。
2.根据权利要求1所述的图像感测装置，其中，所述图像处理器还在分析所述目标内核的所述纹理时分析所述目标内核中是否存在缺陷图像值。
3.根据权利要求1所述的图像感测装置，其中，当分析所述目标内核的所述纹理的结果指示所述目标内核是比边缘区域更复杂的纹理区域时，所述图像处理器省略校正所述目标内核的缺陷图像值的操作。
4.根据权利要求1所述的图像感测装置，其中，所述图像处理器包括：
内核分析部件，所述内核分析部件基于所述第一图像值和所述第二图像值来分析所述目标内核的所述纹理以及所述目标内核中是否存在一个或更多个缺陷图像值，并且生成与所述分析的结果相对应的控制信号；
内核校正部件，所述内核校正部件基于所述目标内核的所述图像值和所述控制信号来校正所述目标内核的所述缺陷图像值，并且生成经校正的图像值；以及
图像输出部件，所述图像输出部件基于所述控制信号输出所述经校正的图像值和所述目标内核的所述图像值中的一者。
5.根据权利要求4所述的图像感测装置，其中，所述内核分析部件包括：
第一计算块，所述第一计算块基于所述第一图像值和所述第二图像值来计算第一方差值；
第二计算块，所述第二计算块基于所述第二图像值来计算第二方差值；
第三计算块，所述第三计算块基于所述第一方差值和所述第二方差值来计算第三方差值；以及
控制块，所述控制块基于所述第一方差值至所述第三方差值来生成所述控制信号。
6.根据权利要求5所述的图像感测装置，其中，所述第一方差值是通过对所述第一图像值和所述第二图像值之间的差值进行求和来获得的。
7.根据权利要求5所述的图像感测装置，其中，所述第二方差值是通过对所述第二图像值之间的差值进行求和来获得的。
8.根据权利要求5所述的图像感测装置，其中，所述第三方差值是所述第一方差值与所述第二方差值之间的差值。
9.根据权利要求4所述的图像感测装置，其中，所述内核分析部件包括：
第一计算块，所述第一计算块基于所述第一图像值和所述第二图像值来计算第一方差值；
第二计算块，所述第二计算块基于所述第二图像值来计算第二方差值；
第三计算块，所述第三计算块基于所述第一方差值和所述第二方差值来计算第三方差值；以及
控制块，所述控制块基于所述第一方差值至所述第三方差值以及所述第一图像值和所述第二图像值来生成所述控制信号。
10.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器生成与捕获图像相对应的图像值；以及
图像处理器，所述图像处理器基于与N×N像素相对应的目标内核的图像值当中的具有相同滤色器的像素的图像值来分析所述目标内核的纹理，其中，“N”是大于1的整数。
11.根据权利要求10所述的图像感测装置，其中，所述图像处理器基于所述目标内核的图像值当中的与所述目标内核的中央相对应的第一图像值和与所述目标内核的***相对应的第二图像值来分析所述目标内核的纹理。
12.根据权利要求10所述的图像感测装置，其中，所述图像处理器还在分析所述目标内核的所述纹理的同时分析所述目标内核中是否存在缺陷图像值。
13.根据权利要求10所述的图像感测装置，其中，当分析所述目标内核的所述纹理的结果指示所述目标内核是比边缘区域更复杂的纹理区域时，所述图像处理器省略校正所述目标内核的缺陷图像值的操作。
14.根据权利要求11所述的图像感测装置，其中，所述图像处理器包括：
内核分析部件，所述内核分析部件基于所述第一图像值和所述第二图像值来分析所述目标内核的所述纹理以确定在所述目标内核中是否存在一个或更多个缺陷图像值，并且生成与所述分析的结果相对应的控制信号；
内核校正部件，所述内核校正部件基于所述目标内核的所述图像值和所述控制信号来校正所述目标内核的所述缺陷图像值，并且生成经校正的图像值；以及
图像输出部件，所述图像输出部件基于所述控制信号输出所述经校正的图像值和所述目标内核的所述图像值中的一者。
15.根据权利要求14所述的图像感测装置，其中，所述内核分析部件包括：
第一计算块，所述第一计算块基于所述第一图像值和所述第二图像值来计算第一方差值；
第二计算块，所述第二计算块基于所述第二图像值来计算第二方差值；
第三计算块，所述第三计算块基于所述第一方差值和所述第二方差值来计算第三方差值；以及
控制块，所述控制块基于所述第一方差值至所述第三方差值来生成所述控制信号。
16.根据权利要求15所述的图像感测装置，其中，所述第一方差值是通过对所述第一图像值与所述第二图像值之间的差值进行求和来获得的，所述第二方差值是通过对所述第二图像值之间的差值进行求和来获得的，并且所述第三方差值是所述第一方差值与所述第二方差值之间的差值。
17.根据权利要求14所述的图像感测装置，其中，所述内核分析部件包括：
第一计算块，所述第一计算块基于所述第一图像值和所述第二图像值来计算第一方差值；
第二计算块，所述第二计算块基于所述第二图像值来计算第二方差值；
第三计算块，所述第三计算块基于所述第一方差值和所述第二方差值来计算第三方差值；以及
控制块，所述控制块基于所述第一方差值至所述第三方差值以及所述第一图像值和所述第二图像值来生成所述控制信号。
18.一种图像感测装置，该图像感测装置包括：
内核分析部件，所述内核分析部件基于目标内核的图像值中的一些来分析所述目标内核的纹理以及所述目标内核中是否存在一个或更多个缺陷图像值，并且生成与所述分析的结果相对应的控制信号；
内核校正部件，所述内核校正部件基于所述目标内核的所述图像值和所述控制信号来校正所述目标内核的所述缺陷图像值，并且生成经校正的图像值；以及
图像输出部件，所述图像输出部件基于所述控制信号输出所述经校正的图像值和所述目标内核的所述图像值中的一者。
19.根据权利要求18所述的图像感测装置，其中，所述图像值中的一些包括所述目标内核的所述图像值当中的与所述目标内核的中央相对应的第一图像值和与所述目标内核的***相对应的第二图像值。
20.根据权利要求18所述的图像感测装置，
其中，当所述目标内核是平坦区域或边缘区域并且所述目标内核中存在所述缺陷图像值时，所述内核校正部件被启用，
其中，当所述目标内核是所述平坦区域或所述边缘区域并且所述目标内核中不存在所述缺陷图像值时，所述内核校正部件被禁用，并且
其中，当所述目标内核是比所述边缘区域更复杂的纹理区域时，所述内核校正部件被禁用。
21.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器生成与图像的内核的中央相对应的第一图像值和与所述内核的***相对应的第二图像值；以及
图像处理器，所述图像处理器：
基于所述第一图像值和所述第二图像值生成第一方差值、第二方差值和第三方差值，
基于所述第一方差值至所述第三方差值来确定所述内核的纹理并检测所述内核中的缺陷图像值，并且
当所述内核是平坦区域和边缘区域中的一个时，校正所述缺陷图像值，而当所述内核是比所述边缘区域更复杂的纹理区域时，跳过所述校正。
CN202111292254.1A 2020-12-09 2021-11-03 图像感测装置 Pending CN114615448A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0170942 2020-12-09
KR1020200170942A KR102604109B1 (ko) 2020-12-09 2020-12-09 이미지 센싱 장치

Publications (1)

Publication Number Publication Date
CN114615448A true CN114615448A (zh) 2022-06-10

Family

ID=81848070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111292254.1A Pending CN114615448A (zh) 2020-12-09 2021-11-03 图像感测装置

Country Status (4)

Country Link
US (1) US20220180498A1 (zh)
JP (1) JP2022091698A (zh)
KR (1) KR102604109B1 (zh)
CN (1) CN114615448A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218808A1 (en) * 1999-05-04 2004-11-04 Prince David P. Systems and methods for detecting defects in printed solder paste
US20050276504A1 (en) * 2004-06-14 2005-12-15 Charles Chui Image clean-up and pre-coding
JP2008128651A (ja) * 2006-11-16 2008-06-05 Olympus Corp パターン位置合わせ方法、パターン検査装置及びパターン検査システム
CN102595061A (zh) * 2011-01-14 2012-07-18 索尼公司 图像处理装置、图像处理方法和程序
US20130051665A1 (en) * 2011-08-31 2013-02-28 Hirotaka SHINOZAKI Image processing apparatus, image processing method, and program
JP2014049780A (ja) * 2012-08-29 2014-03-17 Samsung Techwin Co Ltd 欠陥画素判定装置および欠陥画素判定方法
US20140192236A1 (en) * 2013-01-07 2014-07-10 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors
CN104243767A (zh) * 2013-06-13 2014-12-24 聚晶半导体股份有限公司 去除图像噪声的方法
US20150015754A1 (en) * 2013-07-11 2015-01-15 Sony Corporation Solid-state imaging device, solid-state imaging method, and electronic apparatus
US20160035069A1 (en) * 2014-02-17 2016-02-04 Samsung Electronics Co., Ltd. Method and apparatus for correcting image
US20170011502A1 (en) * 2015-07-10 2017-01-12 Ricoh Company, Ltd. Defect inspection apparatus for inspecting sheet-like inspection object, computer-implemented method for inspecting sheet-like inspection object, and defect inspection system for inspecting sheet-like inspection object
US9578320B1 (en) * 2014-01-03 2017-02-21 Marvell International Ltd. Methods and apparatus for defect correction in image sensor outputs
US20170054910A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshhiba Image processing apparatus and image capturing apparatus
CN108965749A (zh) * 2018-08-16 2018-12-07 上海晔芯电子科技有限公司 基于纹理识别的缺陷像素检测和校正装置及方法
US20200145572A1 (en) * 2018-11-07 2020-05-07 Inuitive Ltd. Stereoscopic apparatus and a method for determining exposure time

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN800796A0 (en) * 1996-02-09 1996-03-07 Unisearch Limited Visual inspection system for leather hide
JP3678941B2 (ja) * 1999-05-28 2005-08-03 シャープ株式会社 画像処理装置及びそれを備えた画像形成装置
WO2002045023A1 (fr) * 2000-11-29 2002-06-06 Nikon Corporation Procede et dispositif de traitement d'images, procede et dispositif de detection et procede et systeme d'exposition
US6753965B2 (en) * 2001-01-09 2004-06-22 The University Of Hong Kong Defect detection system for quality assurance using automated visual inspection
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
JP3747909B2 (ja) * 2002-12-24 2006-02-22 ソニー株式会社 画素欠陥検出補正装置及び画素欠陥検出補正方法
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
KR100780224B1 (ko) * 2006-05-11 2007-11-27 삼성전기주식회사 이미지 센서의 불량 화소 검출 및 복원방법
JP4205739B2 (ja) * 2006-07-26 2009-01-07 エルピーダメモリ株式会社 レチクルパターンの欠陥修正装置およびその修正方法
JP4703601B2 (ja) * 2007-04-27 2011-06-15 株式会社東芝 撮像装置
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
JP2011114537A (ja) * 2009-11-26 2011-06-09 Toshiba Corp 画像処理装置
KR101175737B1 (ko) * 2010-12-14 2012-08-21 엠텍비젼 주식회사 결함 화소 처리 방법 및 장치
US8731323B2 (en) * 2011-11-23 2014-05-20 Stmicroelectronics Asia Pacific Pte Ltd. General banding and codec banding artifact removal
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218808A1 (en) * 1999-05-04 2004-11-04 Prince David P. Systems and methods for detecting defects in printed solder paste
US20050276504A1 (en) * 2004-06-14 2005-12-15 Charles Chui Image clean-up and pre-coding
JP2008128651A (ja) * 2006-11-16 2008-06-05 Olympus Corp パターン位置合わせ方法、パターン検査装置及びパターン検査システム
CN102595061A (zh) * 2011-01-14 2012-07-18 索尼公司 图像处理装置、图像处理方法和程序
US20130051665A1 (en) * 2011-08-31 2013-02-28 Hirotaka SHINOZAKI Image processing apparatus, image processing method, and program
JP2014049780A (ja) * 2012-08-29 2014-03-17 Samsung Techwin Co Ltd 欠陥画素判定装置および欠陥画素判定方法
US20140192236A1 (en) * 2013-01-07 2014-07-10 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors
CN104243767A (zh) * 2013-06-13 2014-12-24 聚晶半导体股份有限公司 去除图像噪声的方法
US20150015754A1 (en) * 2013-07-11 2015-01-15 Sony Corporation Solid-state imaging device, solid-state imaging method, and electronic apparatus
US9578320B1 (en) * 2014-01-03 2017-02-21 Marvell International Ltd. Methods and apparatus for defect correction in image sensor outputs
US20160035069A1 (en) * 2014-02-17 2016-02-04 Samsung Electronics Co., Ltd. Method and apparatus for correcting image
US20170011502A1 (en) * 2015-07-10 2017-01-12 Ricoh Company, Ltd. Defect inspection apparatus for inspecting sheet-like inspection object, computer-implemented method for inspecting sheet-like inspection object, and defect inspection system for inspecting sheet-like inspection object
US20170054910A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshhiba Image processing apparatus and image capturing apparatus
CN108965749A (zh) * 2018-08-16 2018-12-07 上海晔芯电子科技有限公司 基于纹理识别的缺陷像素检测和校正装置及方法
US20200145572A1 (en) * 2018-11-07 2020-05-07 Inuitive Ltd. Stereoscopic apparatus and a method for determining exposure time

Also Published As

Publication number Publication date
US20220180498A1 (en) 2022-06-09
KR102604109B1 (ko) 2023-11-21
JP2022091698A (ja) 2022-06-21
KR20220081464A (ko) 2022-06-16

Similar Documents

Publication Publication Date Title
US8571346B2 (en) Methods and devices for defective pixel detection
US7015961B2 (en) Digital image system and method for combining demosaicing and bad pixel correction
US10277830B2 (en) Solid-state imaging apparatus and light-shielding pixel arrangements thereof
US9723234B2 (en) Solid-state imaging device, solid-state imaging method, and electronic apparatus
US8581995B2 (en) Method and apparatus for parallax correction in fused array imaging systems
US7283164B2 (en) Method for detecting and correcting defective pixels in a digital image sensor
US8212899B2 (en) Imaging apparatus capable of highly accurate defective pixel correction processing
US7366347B2 (en) Edge detecting method
US8013914B2 (en) Imaging apparatus including noise suppression circuit
US20130229550A1 (en) Defective pixel correction apparatus, method for controlling the apparatus, and program for causing computer to perform the method
US9030579B2 (en) Image processing apparatus and control method that corrects a signal level of a defective pixel
EP2324624A2 (en) Bad pixel cluster detection
JP2016048815A (ja) 画像処理装置、画像処理方法、及び、画像処理システム
US7450751B2 (en) Color interpolation method of image sensor
Cho et al. Real-time photo sensor dead pixel detection for embedded devices
EP1045578B1 (en) Filtering of defective picture elements in digital imagers
JP4331120B2 (ja) 欠陥画素検出方法
CN114615448A (zh) 图像感测装置
US11889241B2 (en) Image sensing device for detecting and correcting color noise of a target pixel value and operating method thereof
US8938120B2 (en) Image sensing device and image data processing method using the same
TWI528817B (zh) 數位攝像裝置及其影像處理方法
US20220279150A1 (en) Image sensor, control method, camera component and mobile terminal
Alrajeh et al. Welcome to the First Workshop on Requirements Engineering for Investigating and Countering Crimes (iRENIC 2016)
US20230094311A1 (en) Photoelectric conversion apparatus having measurement circuits, imaging apparatus, control method, and storage medium
KR100531941B1 (ko) 마이크로렌즈가 쉬프트된 화소 어레이를 갖는이미지센서의 고정 패턴 잡음 테스트 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination