CN103888690A - 用于检测缺陷像素的设备和方法 - Google Patents

用于检测缺陷像素的设备和方法 Download PDF

Info

Publication number
CN103888690A
CN103888690A CN201310681177.8A CN201310681177A CN103888690A CN 103888690 A CN103888690 A CN 103888690A CN 201310681177 A CN201310681177 A CN 201310681177A CN 103888690 A CN103888690 A CN 103888690A
Authority
CN
China
Prior art keywords
pixel
pixel value
neighborhood pixels
value
object pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310681177.8A
Other languages
English (en)
Other versions
CN103888690B (zh
Inventor
平野真理子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012277230A external-priority patent/JP6063728B2/ja
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN103888690A publication Critical patent/CN103888690A/zh
Application granted granted Critical
Publication of CN103888690B publication Critical patent/CN103888690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种用于检测缺陷像素的设备和方法。所述设备包括:计算器,计算包括围绕目标像素并排列在多个预定方向中的一个方向上的邻近像素的邻近像素组的像素值的梯度;识别单元,从所述多个预定方向之中识别由计算器计算的梯度最小的方向;确定器,基于目标像素的像素值和包括在邻近像素组中的邻近像素的像素值之间的差,确定目标像素是否为缺陷像素,所述邻近像素在由识别单元识别的方向上与目标像素颜色相同并与目标像素相邻。

Description

用于检测缺陷像素的设备和方法
本申请要求于2012年12月19日提交到日本专利局的第2012-0277230号日本专利申请以及于2013年08月28日提交到韩国知识产权局的第10-2013-0102660号韩国专利申请的权益,其公开完整地包含于此,以资参考。
技术领域
本发明的一个或更多个实施例涉及一种用于检测缺陷像素的设备和方法,其可应用于四个不同的滤色镜被分配到每个2×2像素阵列的成像装置。
背景技术
成像装置,诸如电荷耦合装置(CCD)或互补金属氧化物半导体图像传感器(CIS),不可避免地导致缺陷像素。
对于由制造工艺造成的像素缺陷,当像素缺陷被转发给工厂出货时成像装置记住缺陷的位置信息,以在执行拍摄时基于缺陷的位置信息校正缺陷。除此之外,当执行拍摄时,成像装置动态地检测和校正发生在已制成的成像装置中的像素缺陷。
作为确定捕获到的图像的目标像素是否为缺陷像素的技术,比较目标像素的像素值和具有与目标像素相同颜色的相邻像素的像素值的方法,以确定目标像素是否为孤立像素。然而,如果缺陷像素存在于捕获到的图像的三行之上或周围,则很难利用具有与目标像素相同颜色的相邻像素来检测缺陷像素。因此,如专利文件1中所公开,拜耳排列(Bayer arrangement)的成像装置通过使用以格子图案排列在目标像素周围的绿色(G)像素来检测边缘方向并基于在边缘方向上相邻于目标像素的绿色(G)像素的像素信息来确定目标像素是否为缺陷像素,以改善检测性能。
【现有技术文件1】日本公开号为2008-154276的专利文件
发明内容
然而,对于其中以每个2×2像素周期排列的四个不同的滤色镜的成像装置而言,不存在适合检测类似于拜耳排列的G像素的边缘方向的像素。同样,很难通过使用具有与目标像素相同颜色的相邻像素检测存在于捕获到的图像的三行之上或周围的缺陷像素。
本发明的一个或更多个实施例包括用于检测缺陷像素的设备和方法,通过所述设备和方法,四个不同的滤色镜以每个2×2像素周期被分配的成像装置基于多个彩色像素确定存在于捕获到的图像的三行之上或周围的缺陷像素。
其他方面将在随后的描述中部分地阐述,并且部分地从描述中将是明显的,或可通过提出的实施例的实践得知。
根据本发明的一个或更多个实施例,一种用于检测缺陷像素的设备,包括:计算器,计算包括围绕目标像素并排列在多个预定方向中的一个方向上的邻近像素的邻近像素组的像素值的梯度;识别单元,从所述多个预定方向之中识别由计算器计算的梯度最小的方向;确定器,基于目标像素的像素值和包括在邻近像素组中的邻近像素的像素值之间的差,确定目标像素是否为缺陷像素,所述邻近像素在由识别单元识别的方向上与目标像素颜色相同并与目标像素相邻。
邻近像素组可包括在由识别单元识别的方向上与目标像素颜色相同并与目标像素相邻的邻近像素。
计算器可基于针对在预定的方向上与目标像素相邻的邻近像素组的彩色像素的组合分别计算的像素值之间的差来计算梯度。
如果目标像素的像素值在由识别单元识别的方向上与目标像素相邻的两个相同颜色的相邻像素的像素值之间的相对大小关系相同,并且目标像素的像素值和所述两个相同颜色的相邻像素的像素值之间的所有差均大于阈值,则确定器可确定目标像素是缺陷像素。
所述设备还可包括:校正器,校正目标像素的像素值。如果确定器确定目标像素是缺陷像素,则校正器可基于邻近像素的像素值校正目标像素的像素值。
校正器可基于在由识别单元识别的方向上与目标像素颜色相同并与目标像素相邻的邻近像素组的邻近像素的像素值来校正目标像素的像素值。
目标像素和邻近像素可以是形成通过成像装置输出的图像的像素,其中,四个不同的滤色镜以每个2×2像素阵列的矩阵排列在图像上。
根据本发明的一个或更多个实施例,一种检测缺陷像素的方法,包括:计算包括围绕目标像素并排列在多个预定方向中的一个方向上的邻近像素的邻近像素组的像素值的梯度;从所述多个预定方向之中识别计算的梯度最小的方向;基于目标像素的像素值和包括在邻近像素组中的邻近像素的像素值之间的差,确定目标像素是否为缺陷像素,所述邻近像素在识别的方向上与目标像素颜色相同并与目标像素相邻。
附图说明
通过下面结合附图对实施例进行的描述,本发明的这些和/或其他方面将会变得清楚和更易于理解,其中:
图1是示出根据本发明的实施例的用于检测缺陷像素的设备的示图;
图2是示出根据本发明的实施例的用于检测缺陷像素的设备的结构的框图;
图3是示出根据本发明的实施例的输入到用于检测缺陷像素的设备的图像的像素结构的示图;
图4是示出根据本发明的实施例的用于检测缺陷像素的设备的操作的流程图;
图5是示出根据本发明的实施例的由用于检测缺陷像素的设备处理的图像的示图;
图6是示出根据本发明的实施例的用于通过计算器计算在0°方向上的分布指标的邻近像素组的示图;
图7是示出根据本发明的实施例的用于通过计算器计算在90°方向上的分布指标的邻近像素组的示图;
图8是示出根据本发明的实施例的用于通过计算器计算在45°方向上的分布指标的邻近像素组的示图;
图9是示出根据本发明的实施例的用于通过计算器计算在-45°方向上的分布指标的邻近像素组的示图;
图10是示出具有与目标像素相同颜色的相邻像素的组合的示图;以及
图11是示出根据本发明的实施例的通过使用确定器确定缺陷像素的方法的示图。
具体实施方式
现在对实施例进行详细的描述,其示例表示在附图中,其中,相同的标号始终表示相同部件。在这方面,本实施例可具有不同形式并且不应被解释为限于这里所阐述的实施方式。因此,以下通过参照附图仅对实施例进行描述以解释本实施方式的多个方面。
参照图2,用于检测缺陷像素的设备1包括:计算器11、识别单元13和确定器15。计算器11计算邻近像素组的像素值的梯度,邻近像素组由围绕目标像素并在多个预定方向中的一个方向上排列的多种颜色的邻近像素组成。识别单元13识别由计算器计算的梯度最小的方向。确定器15基于目标像素的像素值和邻近像素的像素值之间的差,确定目标像素是否为缺陷像素,所述邻近像素是在由识别单元识别的方向上定向的邻近像素组之中的与目标像素具有相同颜色的像素。
现在将参照图1描述根据本发明实施例的设备1。
图1是示出根据本发明的实施例的设备1的示图。如图1所示,设备1检测并校正图像20的缺陷像素210。这里,图像21是指被扩大的图像20的一部分,并且图像21中的每个单元格表示一个像素。图像21包括具有在其中心具有高的值的像素的带状部分,以及具有在其两端具有低的值的像素的带状部分,其中,缺陷像素210具有低的像素值并且位于图像21的中心。设备1检测图像21的缺陷像素210并输出具有校正的像素220的校正的图像22。现在将描述设备1的操作。
设备1针对将根据目标像素是否为缺陷像素来估计的目标像素,识别对于排列在目标像素周围的相邻像素发生最小像素值变化(即,最小梯度)的方向。例如,在图像21中,具有大像素值的带状部份针对目标像素210在90°方向上延续,因此排列在90°方向上的像素的像素值的梯度较小。具有小像素值的部分与具有大像素值的部分在目标像素210的0°、45°和-45°方向上交替,并且排列在目标像素210的0°、45°和-45°方向上的像素的像素值的梯度很大。因此,设备1识别90°方向是梯度最小的方向。
设备1基于在与邻近像素对应的梯度最小的方向上存在的邻近像素,确定目标像素是否为缺陷像素。例如,在图像21中,具有大像素值的像素在目标像素210的90°方向上延续。因此,设备1比较目标像素210的像素值与在90°方向上存在的邻近像素的像素值,以确定目标像素210是否具有最小像素值从而是否为缺陷像素。
如上所述,设备1识别在目标像素周围的邻近像素的像素值的梯度最小的方向并利用排列在梯度最小的方向上的邻近像素确定缺陷像素。因此,设备1可基于多个彩色像素来确定存在于捕获到的图像的三行之上的缺陷像素。
这里,一般而言,成像装置具有拜耳排列的滤色镜,拜耳排列包括以每个2×2像素周期的一个红色(R)滤镜、两个绿色(G)滤镜和一个蓝色(B)滤镜。由这种成像装置获取的图像包括以格子图案排列的G像素,并且G像素的数量比R像素的数量和B像素的数量大。在这种成像装置中,R像素以每两个像素重复,B像素以每两个像素重复,而G像素以每隔一个像素重复。因此,在专利文件1中,利用大量的G像素识别边缘方向,所述大量的G像素适于检测边缘方向并且排列在狭窄的空间中。
然而,如果与R、G和B滤色镜不同的滤色镜代替G滤色镜在拜耳排列中排列,则获取的图像的R、G和B像素的数量变得与其他彩色像素的数量相等。并且,每个彩色像素每隔两个像素相互隔开。因此,获取的图像不具有适于检测边缘方向的像素,因此很难将专利文件1中的教导应用到边缘方向的检测。
设备1不仅限于G像素。反之,设备1利用其它彩色像素识别梯度最小的方向,并基于识别的方向检测缺陷像素。因此,虽然图像装置的滤色镜具有拜耳排列,并且四个不同滤色镜以每个2×2像素周期被实现,但设备1可稳定检测缺陷像素。
设备1已在上面描述。现在将参照图2和图3描述设备1的结构。
图2是示出根据本发明的实施例的用于检测缺陷像素的设备1的结构的框图。如图2所示,设备1包括:计算器11、识别单元13、确定器15和校正器17。设备1从拍摄设备2输出的图像检测缺陷像素,校正缺陷像素,然后将校正的图像输出到相机信号处理器3。现在将详细描述设备1的元件、拍摄设备2和相机信号处理器3。
拍摄设备2具有成像装置,并将捕获的图像输出到设备1。拍摄设备2的滤色镜可具有各种类型的结构,诸如拜耳排列等。在本实施例中,拍摄设备2的成像装置包括每个2×2像素周期以矩阵排列的四个不同的滤色镜。详细地说,拍摄设备2包括代替拜耳排列的G滤镜而添加的红外(IR)滤色镜的滤镜。这里,图3中示出具有滤色镜的拍摄设备2输出到设备的图像。
图3是示出根据本发明的实施例的输出到设备1的图像23的像素结构的示图。如图3所示,输出到设备1的图像23包括以每个2×2像素周期排列并分别对应于滤色镜的R、G、B和IR像素。此外,在下文中,包括在图像23中的像素由表格24中所示的符号来识别。例如,像素A11是R像素,并且与像素A11相邻的像素B12是G像素。此外,具有与像素A33相同颜色且邻近于像素A33相邻的像素A11、A13、A15、A31、A35、A51、A53和A55被称为像素A33的相同颜色的相邻像素。
从拍摄设备2输出的图像被输入到设备1中,详细地说,输入到计算器11和校正器17中。
计算器11计算在多个方向上的表示邻近像素组的像素的像素值的变化的梯度,所述邻近像素组针对从拍摄设备2输出的目标像素排列在多个方向上,其中,邻近像素组包括多个邻近像素。稍后将描述通过使用计算器11计算梯度的方法。计算器11将计算的梯度输出到识别单元13。
识别单元13基于由计算器11计算的梯度来识别梯度最小的方向。识别单元13将识别的方向输出到确定器15。
确定器15利用由识别单元13识别的方向来确定目标像素是否为缺陷像素。详细地讲,确定器15基于在由识别单元13识别的方向上与目标像素相邻并与目标像素具有相同颜色的两个邻近像素(即,相同颜色的相邻像素)的像素值,确定目标像素是否为缺陷像素。确定器15还将确定结果输出到校正器17。
校正器17基于确定器15的确定结果来校正从拍摄设备2输出的图像的目标像素。更具体地讲,校正器17基于排列在由识别单元13识别的方向上的邻近像素组的像素的像素值来校正目标像素的像素值。校正器17将校正的图像输出到相机信号处理器3。
相机信号处理器3对缺陷像素已被校正的图像执行压缩,诸如伽马校正、白平衡调整、或颜色插值。
已描述了设备1的结构。
现在将参照图4至图11描述设备1的操作。设备1在操作S104至操作S124中确定从拍摄设备2输出的图像的像素是否为缺陷像素并在操作S128中校正目标像素。
图4是示出根据本发明的实施例的设备1的操作的流程图。如图4中所示,在操作S104中,计算器11计算在多个方向上的邻近像素组的像素值的梯度,其中,邻近像素组由围绕目标像素并在多个预定方向中的一个方向上排列的多个颜色的邻近像素构成。更具体地讲,计算器11计算包括在相邻像素组中的所有相邻像素的像素值,所述相邻像素组存在于指示梯度的分布指标被计算的方向上。
这里,现在将参照图5详细描述通过计算器11计算梯度的处理。图5是示出根据本发明的实施例的由设备1处理的图像的示图。图5的图像26具有表格25中所示的12比特的示例性像素值。图5的图像26的每个像素对应于图3中的表格24。如同图1的图像21,图像26包括在其中心具有高值的像素的带状部分,以及在其两端具有低值的像素的带状部分。这里,将由设备1检测为缺陷像素并进行校正的目标像素对应于具有像素值365并位于表格25中的图像26的中心的像素A33。
在操作S104中,计算器11计算在多个方向上的每个邻近像素组的像素值的梯度。例如,计算器11计算包括邻近像素组的所有颜色的邻近像素的邻近像素组的像素值的梯度,所述邻近像素组的所有颜色的邻近像素围绕图5的目标像素A33在0°、90°、45°和-45°方向上排列。这里,图6至图9示出包括在邻近像素组中并排列在目标像素A33周围的0°、90°、45°和-45°方向上的颜色邻近像素。
图6是示出根据本发明的实施例的用于通过计算器11计算在0°方向上的分布指标的邻近像素组的示图。图7是示出根据本发明的实施例的用于通过计算器11计算在90°方向上的分布指标的邻近像素组的示图。图8是示出根据本发明的实施例的用于通过计算器11计算在45°方向上的分布指标的邻近像素组的示图。图9是示出根据本发明的实施例的用于通过计算器11计算在-45°方向上的分布指标的邻近像素组的示图。
利用图6至图9中所示的邻近像素组,计算器11通过使用排列在目标像素周围的四种颜色的相邻像素的像素值来计算分布指标。这里,计算器11基于对包括邻近像素组中的不同颜色的相邻像素的组合计算的像素值之间的差来计算分布指标,所述邻近像素组在预定方向上彼此直接相邻或者跨过目标像素而彼此相邻。详细地讲,计算器11基于以下等式1-4计算在0°方向上的分布指标d0、在90°方向上的分布指标d1、在45°方向上的分布指标d2、以及在-45°方向上的分布指标d3。
d0=|A31-A35|+|B32-B34|+|C21-C23|
+|C23-C25|+|C41-C43|+|C43-C45|
+|D22-D24|+|D42-D44|          …(1)
其中,等式1的右边表示针对在0°方向上的相同颜色的相邻像素的每个组合计算的像素值的差的绝对值的总和,所述0°方向上的相同颜色的相邻像素包括在图6中所示的0°方向上的邻近像素组中。
d1=|A13-A53|+|B12-B32|+|B32-B52|
+|B14-B34|+|B34-B54|+|C23-C43|
+|D22-D42|+|D24-D44|        …(2)
其中,等式2的右边表示针对在90°方向上的相同颜色的相邻像素的每个组合计算的像素值的差的绝对值的总和,所述90°方向上的相同颜色的相邻像素包括在图7中所示的90°方向上的邻近像素组中。
d2=|A13-A31|/2+|A15-A51|+|A35-A53|/2
+|B14-B32|+|B34-B52|+|C23-C41|
+|C25-C43|+|D22-D40|/2+|D24-D42|
+|D26-D44|/2               …(3)
其中,等式3的右边表示针对在45°方向上的相同颜色的相邻像素的每个组合计算的像素值的差的绝对值的总和,所述45°方向上的相同颜色的相邻像素包括在图8中所示的45°方向上的邻近像素组中。此外,在等式3中,为平衡等式1和等式2的相同颜色的相邻像素的组合的数量,指示离目标像素A33最远的位置的组合的第四项被乘以1/2。
d3=|A11-A55|+|A13-A35|/2+|A31-A53|/2
+|B12-B34|+|B32-B54|+|C21-C43|
+|C23-C45|+|D20-D42|/2+|D22-D44|
+|D24-D46|/2              …(4)
其中,等式4的右边表示对在-45°方向上的相同颜色的相邻像素的每个组合计算的像素值的差的绝对值的总和,所述-45°方向上的相同颜色的相邻像素包括在图9中所示的-45°方向上的邻近像素组中。在等式4中,指示离目标像素A33最远的位置的组合的第四项与方程3中一样被乘以1/2。
如果等式1至等式4中计算出的分布指标都很大,则分布指标指示邻近像素的像素值的梯度很大。如果分布指标都很小,则分布指标指示梯度很小。此外,针对某个方向的小梯度意味着排列在该方向上的像素的像素值的变化小,并且排列在该方向上的像素的像素值之间的相关性高。这里,在等式1至等式4中,计算器11不使用目标像素A33的像素值来计算分布指标。因此,虽然目标像素A33是具有异常像素值的缺陷像素,但计算器11可不受异常像素值的影响而计算分布指标。
如果在操作S104中计算出多个方向的分布指标,则识别单元13识别由计算器11计算的分布指标最小的方向。例如,如图4中所示,识别单元13识别由以下等式5计算的分布指标最小的方向:
dmin=MIN(d0,d1,d2,d3)      …(5)
其中,dmin表示分布指标d0、d1、d2和d3之中的最小值。根据图5的表格25中所示的像素值和等式1至等式5,dmin=d1。因此,识别单元13识别90°方向为目标像素A33的分布指标最小的方向。
在操作S112中,确定器15确定最小值dmin是否小于或等于阈值th1。
如果在操作S112中最小值dmin超过阈值th1,则确定器15确定目标像素不是缺陷像素。在这种情况下,图4中所示的处理结束。如果在操作S112中最小值dmin小于或等于阈值th1,则确定器15在操作S116中计算目标像素的像素值和在由识别单元13识别的方向上的与目标像素相邻的两个相同颜色的相邻像素的像素值之间的差。
在操作S120中,计算器11确定目标像素的像素值是否与两个相同颜色的相邻像素的像素值之间的相对大小关系相同以及在步骤S116中计算的所有差是否大于或等于阈值th2。换句话说,计算器11确定以下等式6的条件是否被满足:
(((Target Pixel-P0≥th2)AND(Target Pixel-P1≥th2))
            OR
((P0-Target Pixel≥th2)AND(P1-Target Pixel≥th2)))     …(6)
其中,“Target Pixel”表示目标像素的像素值,P0和P1分别表示与目标像素相邻的相同颜色的相邻像素的像素值。
如果在操作S120中不满足以上条件,则确定器15确定目标像素不是缺陷像素并结束处理。如果在操作S120中满足以上条件,则确定器15在操作S124中确定目标像素是否为缺陷像素。更具体地讲,如果目标像素的像素值与在由识别单元13识别的方向上的两个相同颜色的相邻像素的像素值之间的相对大小关系相同,并且像素值之间的差大于或等于阈值th2,则确定器15确定目标像素是缺陷的像素。如果不是这样,则确定器15确定目标像素不是缺陷的像素。
这里,将描述关于目标像素A33在操作S116和S120中由确定器15执行差计算以及与阈值th2的比较。
确定器15计算目标像素A33的像素值与在分布指标最小的方向上的邻近像素组的相同颜色的相邻像素的差。确定器15比较目标像素A33和两个相同颜色的相邻像素的像素值的大小,并比较计算的差和阈值th2,以确定目标像素A33是否为缺陷像素。这里,如果分布指标是在0°、90°、45°和-45°四个方向上的最小值,则将由确定器15计算的将与阈值th2相比较其差的相同颜色的相邻像素的组合P0和P1如图10中所示。
图10是示出目标像素A33的相同颜色的相邻像素的组合的示图。如图10中所示,在目标像素A33的0°方向上的相同颜色的相邻像素为A31和A35,并且在90°方向上的相同颜色的相邻像素为A13和A53。在目标像素A33的45°方向上的相同颜色的相邻像素为A15和A51,并且在-45°方向上的相同颜色的相邻像素为A11和A55。
确定器15计算目标像素的像素值和在由识别单元13识别的90°方向上的相同颜色的相邻像素P0(A13)和P1(A53)的像素值之间的差。如果目标像素的像素值和两个相同颜色的相邻像素的像素值之间的相对大小关系相同,并且目标像素的像素值和两个相同颜色的相邻像素的像素值之间的所有的差大于阈值th2,则确定器15确定目标像素A33是缺陷的像素。否则,确定器15确定目标像素A33不是缺陷的像素。
由确定器15确定为缺陷像素的目标像素A33可具有比相同颜色的相邻像素P0和P1更大的像素值(模式1:以上等式6的上半部分),而且可具有比相同颜色的相邻像素P0和P1更小的像素值(模式2:以上等式6的下半部分)。现在将参照图11描述由确定器15确定为缺陷像素的模式1和模式2。
图11是示出根据本发明的实施例的确定器15确定缺陷像素的方法的示图。如图11中所示,就模式1而言,目标像素A33的像素值大于相同颜色的相邻像素P0的像素值达到阈值th2或更多,并且大于相同颜色的相邻像素P1的像素值达到阈值th2或更多。在这种情况下,确定器15确定目标像素A33是缺陷像素。换句话说,如果满足以下代表等式6的上半部分的等式7,则确定器15确定如模式1的目标像素A33为缺陷像素。
A33-P0≥th2,A33-P1≥th2        …(7)
如图11中所示,就模式2而言,目标像素A33的像素值小于相同颜色的相邻像素P0的像素值达到阈值th2或更多,并且小于相同颜色的相邻像素P1的像素值达到阈值th2或更多。在这种情况下,确定器15确定目标像素A33为缺陷像素。换句话说,如果满足以下代表等式6的下半部分的等式8,则确定器15确定如模式2的目标像素A33是缺陷像素。
P0-A33≥th2,P1-A33≥th2         …(8)
由于分布指标在90°方向上最小,因此确定器15计算目标像素A33的像素值和在90°方向上的相同颜色的相邻像素A13和A53的像素值之间的差。如果计算的差满足等式7或等式8,则确定器15确定目标像素A33是缺陷像素。
再次参照图4,如果在操作S124中确定器15确定目标像素是缺陷像素,则校正器17在操作S124之后的操作S128中校正目标像素的像素值。更详细地说,校正器17基于在由识别单元13识别的方向上具有与目标像素相同颜色并与目标像素相邻的临近像素的像素值(即,相同颜色的相邻像素P0和P1的像素值)来校正目标像素的像素值。因此,校正器17可将缺陷像素的像素值设定为与相同颜色的相邻像素的像素值相似。
例如,参照图3和以下的等式9,为了校正作为缺陷像素的目标像素A33,校正器17以在90°方向上的相同颜色的相邻像素P0和P1的像素A13和A53的像素值的平均值代替目标像素A33的像素值。
A33=(P0+P1)/2
=(A13+A53)/2          …(9)
已描述了用于检测和校正图像26的像素之中的一个像素(即,缺陷像素)的设备1的操作。设备1针对图像26的所有像素执行以上描述的操作,以校正整个图像26。
由设备1校正的图像被输出到相机信号处理器3。
如上所述,设备1识别排列在目标像素周围的临近像素的像素值的梯度最小的方向,并利用识别的方向检测缺陷像素。因此,设备1可检测存在于由四个不同的滤色镜以每个2×2像素周期被分配的成像装置捕获的图像中的三行之上或周围的缺陷像素。设备1可校正检测的缺陷像素以提高捕获到的图像的品质。
确定器15基于临近像素组的所有彩色像素,确定目标像素是否为缺陷像素。为此,可考虑仅基于具有与目标像素相同颜色的像素确定缺陷像素的比较示例。然而,在以下比较示例中,设备1还可以检测很难检测到的缺陷像素。
例如,图5中的图像的像素A33是具有大像素值的带状部分中的孤立点。然而,在比较示例中,仅将相同颜色的相邻像素的像素值称为缺陷像素,而不会将像素A33确定为缺陷像素。原因如下。由于像素A33具有在数值上与像素A11、A15、A31、A35、A51和A55的像素值接近的像素值,所以像素A33在比较示例中不会被确定为缺陷像素,这是因为像素A11、A15、A31、A35、A51和A55与相同颜色的相邻像素A13和A53的像素值大有不同。然而,设备1利用如上所述的所有彩色像素识别梯度最小的方向,并利用该方向确定目标像素是否为缺陷像素。因此,设备1可确定像素A33是缺陷像素并校正像素A33。
设备1基于临近像素组的所有彩色像素识别梯度最小的方向,并针对在识别的方向上的相同颜色的相邻像素检测缺陷像素。在另一个比较示例中,仅基于临近像素组的与目标像素具有相同颜色的像素提取潜在的缺陷像素,并参考其他彩色像素缩小缺陷像素的范围。然而,在比较示例中,设备1可检测很难检测到的缺陷像素。
例如,在比较示例中,很难参考如上所述的相同颜色的相邻像素的像素值将图5中的图像的像素A33提取为潜在的缺陷像素。因此,很难确定像素A33是否为缺陷像素。例如,在比较示例中,如上所述,像素A33具有与像素A11、A15、A31、A35、A51和A55的像素值接近的像素值。因此,参考这些像素值很难确定像素A33是否为潜在的缺陷像素。然而,设备1基于如上所述的临近像素组的所有彩色像素识别梯度最小的方向,从而确定像素A33为缺陷像素。
在上述实施例中,通过具有滤色镜的成像装置输出由设备处理的图像,四个不同的滤色镜以每个2×2阵列分配给所述成像装置,但不限于此。例如,设备1可从通过具有拜耳排列的滤色镜的成像装置输出的图像检测缺陷像素,并校正缺陷像素的像素值。
如上所述,根据本发明的以上一个或更多个实施例,可基于多个像素检测缺陷像素。缺陷像素存在于由四个不同的滤色镜以每个2×2阵列分配的成像装置捕获到的图像的三行之上或周围。
执行与设备1的元件相同的功能的计算机程序可以写为由诸如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等硬件执行的指令。此外,可以提供存储程序的存储介质。
虽然已参照附图描述了本发明的一个或更多个实施例,但本领域普通技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可对其进行形式上和细节上的各种变动。

Claims (13)

1.一种用于检测缺陷像素的设备,所述设备包括:
计算器,计算包括围绕目标像素并排列在多个预定方向中的一个方向上的邻近像素的邻近像素组的像素值的梯度;
识别单元,从所述多个预定方向之中识别由计算器计算的梯度最小的方向;以及
确定器,基于目标像素的像素值和包括在邻近像素组中的邻近像素的像素值之间的差,确定目标像素是否为缺陷像素,所述邻近像素在由识别单元识别的方向上与目标像素颜色相同并与目标像素相邻。
2.根据权利要求1所述的设备,其中,邻近像素组包括在由识别单元识别的方向上与目标像素颜色相同并与目标像素相邻的邻近像素。
3.根据权利要求1或2所述的设备,其中,计算器基于针对在预定的方向上与目标像素相邻的邻近像素组的彩色像素的组合分别计算的像素值之间的差来计算梯度。
4.根据权利要求1所述的设备,其中,如果目标像素的像素值在由识别单元识别的方向上与目标像素相邻的两个相同颜色的相邻像素的像素值之间的相对大小关系相同,并且目标像素的像素值和所述两个相同颜色的相邻像素的像素值之间的所有差均大于阈值,则确定器确定目标像素是缺陷像素。
5.根据权利要求2所述的设备,其中,如果目标像素的像素值在由识别单元识别的方向上与目标像素相邻的两个相同颜色的相邻像素的像素值之间的相对大小关系相同,并且目标像素的像素值和所述两个相同颜色的相邻像素的像素值之间的所有差均大于阈值,则确定器确定目标像素是缺陷像素。
6.根据权利要求3所述的设备,其中,如果所述目标像素的像素值在由识别单元识别的方向上与目标像素相邻的两个相同颜色的相邻像素的像素值之间的相对大小关系相同,并且目标像素的像素值和所述两个相同颜色的相邻像素的像素值之间的所有差均大于阈值,则确定器确定目标像素是缺陷像素。
7.根据权利要求1所述的设备,所述设备还包括:
校正器,校正目标像素的像素值,
其中,如果确定器确定目标像素是缺陷像素,则校正器基于邻近像素的像素值校正目标像素的像素值。
8.根据权利要求7所述的设备,其中,校正器基于在由识别单元识别的方向上与目标像素颜色相同并与目标像素相邻的邻近像素组的邻近像素的像素值,来校正目标像素的像素值。
9.根据权利要求1所述的设备,其中,目标像素和邻近像素是形成通过成像装置输出的图像的像素,其中,四个不同的滤色镜以每个2×2像素阵列的矩阵排列在图像上。
10.一种检测缺陷像素的方法,所述方法包括:
计算包括围绕目标像素并排列在多个预定方向中的一个方向上的邻近像素的邻近像素组的像素值的梯度;
从所述多个预定方向之中识别计算的梯度最小的方向;以及
基于目标像素的像素值和包括在邻近像素组中的邻近像素的像素值之间的差,确定目标像素是否为缺陷像素,所述邻近像素在识别的方向上与目标像素颜色上相同并与目标像素相邻。
11.根据权利要求10所述的方法,其中,邻近像素组包括在识别的方向上与目标像素颜色相同并与目标像素相邻的邻近像素。
12.根据权利要求10或11所述的方法,其中,基于针对在预定方向上与目标像素相邻的邻近像素组的彩色像素的组合分别计算的像素值之间的差,来计算所述梯度。
13.根据权利要求10所述的方法,其中,如果目标像素的像素值在识别的方向上与目标像素相邻的两个相同颜色的相邻像素的像素值之间的相对大小关系相同,并且目标像素的像素值和两个相同颜色的相邻像素的像素值之间的所有差均大于阈值,则将目标像素确定为缺陷像素。
CN201310681177.8A 2012-12-19 2013-12-12 用于检测缺陷像素的设备和方法 Active CN103888690B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012277230A JP6063728B2 (ja) 2012-12-19 2012-12-19 欠陥画素検出装置、欠陥画素検出方法及びプログラム
JP2012-277230 2012-12-19
KR1020130102660A KR102015587B1 (ko) 2012-12-19 2013-08-28 결함 화소 검출 장치, 결함 화소 검출 방법 및 프로그램
KR10-2013-0102660 2013-08-28

Publications (2)

Publication Number Publication Date
CN103888690A true CN103888690A (zh) 2014-06-25
CN103888690B CN103888690B (zh) 2018-08-03

Family

ID=50957391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310681177.8A Active CN103888690B (zh) 2012-12-19 2013-12-12 用于检测缺陷像素的设备和方法

Country Status (1)

Country Link
CN (1) CN103888690B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147858A (zh) * 2016-03-01 2017-09-08 佳能株式会社 图像处理装置及其控制方法
CN107736013A (zh) * 2015-06-26 2018-02-23 优利斯公司 红外图像采集设备中的坏像素的检测
CN110827245A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种检测屏幕显示断线的方法及设备
WO2020181522A1 (zh) * 2019-03-13 2020-09-17 深圳市汇顶科技股份有限公司 图像坏点的检测方法、图像处理芯片及电子设备
CN113824907A (zh) * 2020-06-18 2021-12-21 爱思开海力士有限公司 图像感测装置及其操作方法
CN113962974A (zh) * 2021-10-27 2022-01-21 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248671A1 (en) * 2004-05-07 2005-11-10 Dialog Semiconductor Gmbh Single line bayer RGB bad pixel correction
US20100026862A1 (en) * 2008-07-31 2010-02-04 Katsuhiro Nishiwaki Image capture device and image processing method for the same
CN102055917A (zh) * 2009-11-02 2011-05-11 索尼公司 像素缺陷校正器件、成像设备、像素缺陷校正方法和程序
CN102739916A (zh) * 2011-03-30 2012-10-17 索尼公司 图像处理装置、图像处理方法以及程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248671A1 (en) * 2004-05-07 2005-11-10 Dialog Semiconductor Gmbh Single line bayer RGB bad pixel correction
US20100026862A1 (en) * 2008-07-31 2010-02-04 Katsuhiro Nishiwaki Image capture device and image processing method for the same
CN102055917A (zh) * 2009-11-02 2011-05-11 索尼公司 像素缺陷校正器件、成像设备、像素缺陷校正方法和程序
CN102739916A (zh) * 2011-03-30 2012-10-17 索尼公司 图像处理装置、图像处理方法以及程序

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107736013A (zh) * 2015-06-26 2018-02-23 优利斯公司 红外图像采集设备中的坏像素的检测
CN107736013B (zh) * 2015-06-26 2020-05-19 优利斯公司 检测乱真像素的方法、介质和图像处理装置
CN107147858A (zh) * 2016-03-01 2017-09-08 佳能株式会社 图像处理装置及其控制方法
WO2020181522A1 (zh) * 2019-03-13 2020-09-17 深圳市汇顶科技股份有限公司 图像坏点的检测方法、图像处理芯片及电子设备
CN112020729A (zh) * 2019-03-13 2020-12-01 深圳市汇顶科技股份有限公司 图像坏点的检测方法、图像处理芯片及电子设备
CN110827245A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种检测屏幕显示断线的方法及设备
CN113824907A (zh) * 2020-06-18 2021-12-21 爱思开海力士有限公司 图像感测装置及其操作方法
CN113962974A (zh) * 2021-10-27 2022-01-21 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN103888690B (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
US8576309B2 (en) Pixel defect correction device, imaging apparatus, pixel defect correction method, and program
CN103475828B (zh) 一种图像坏点校正方法及图像传感器
CN101304485B (zh) 一种坏点补偿的方法及装置
CN103888690A (zh) 用于检测缺陷像素的设备和方法
CN112837303A (zh) 一种用于模具监视的缺陷检测方法、装置、设备及介质
US10348989B2 (en) Image processing device, image processing method, and image processing system
US9131174B2 (en) Image processing device, image processing method, and program for detecting and correcting defective pixel in image
US20010052938A1 (en) Color image processing apparatus
KR20160117450A (ko) 포화된 이미지의 비-포화된 이미지로의 변환을 위한 방법
CN110149486B (zh) 一种新增异常点的自动检测方法、校正方法及***
TWI492621B (zh) 適應性影像處理方法及其相關裝置
US8913163B2 (en) Method for detecting/correcting bad pixel in image sensor
CN107248147B (zh) Raw-rgb图像中坏点消除的方法
CN102236790A (zh) 一种图像处理方法和设备
CN110782426A (zh) 一种背景提取方法及目标判别方法
KR102015587B1 (ko) 결함 화소 검출 장치, 결함 화소 검출 방법 및 프로그램
JP4331120B2 (ja) 欠陥画素検出方法
CN109671081B (zh) 一种基于fpga查找表的坏簇统计方法及装置
CN106952236A (zh) 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法
JP2014002718A (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
US20150092080A1 (en) Image processing apparatus, imaging apparatus, and image processing method
CN112581403B (zh) 一种鱼眼图像校正方法、***及介质
CN110458768B (zh) 图像处理方法、计算机设备和可读存储介质
CN103685988A (zh) 用于确定缺陷像素的设备和方法
TWI528817B (zh) 數位攝像裝置及其影像處理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

Free format text: CORRECT: ADDRESS; FROM:

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeongnam Changwon City, South Korea

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190228

Address after: Gyeonggi Do city of South Korea

Patentee after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA AEROSPACE Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.