CN1893618B - 用于处理拜耳模式数字彩***信号的方法和装置 - Google Patents

用于处理拜耳模式数字彩***信号的方法和装置 Download PDF

Info

Publication number
CN1893618B
CN1893618B CN2006100898778A CN200610089877A CN1893618B CN 1893618 B CN1893618 B CN 1893618B CN 2006100898778 A CN2006100898778 A CN 2006100898778A CN 200610089877 A CN200610089877 A CN 200610089877A CN 1893618 B CN1893618 B CN 1893618B
Authority
CN
China
Prior art keywords
pixel
value
current pixel
information signal
neighbor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006100898778A
Other languages
English (en)
Other versions
CN1893618A (zh
Inventor
蒂莫非·厄瓦罗夫
李亨根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1893618A publication Critical patent/CN1893618A/zh
Application granted granted Critical
Publication of CN1893618B publication Critical patent/CN1893618B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08Machine parts specially adapted for dentistry
    • A61C1/088Illuminating devices or attachments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C3/00Dental tools or instruments
    • A61C3/02Tooth drilling or cutting instruments; Instruments acting like a sandblast machine
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0064Health, life-saving or fire-fighting equipment
    • F21V33/0068Medical equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21WINDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2131/00Use or application of lighting devices or systems not provided for in codes F21W2102/00-F21W2121/00
    • F21W2131/20Lighting for medical use
    • F21W2131/202Lighting for medical use for dentistry

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供一种方法和装置,用于处理拜耳模式数字彩***信号,其中视频信号处理装置包括BP检测器,其基于当前像素数据和相邻像素数据之间的差,从输入视频数据中产生表示当前像素是好像素还是坏像素的像素信息信号PIS,以及内插器,其响应像素信息信号使用相邻像素数据对坏像素进行内插。

Description

用于处理拜耳模式数字彩***信号的方法和装置
技术领域
本发明涉及数字视频信号处理,尤其,涉及用于处理固态图像传感装置产生的数字彩***信号的方法和装置。
背景技术
图1是传统固态图像传感装置100的方框图。参见图1,固态图像传感装置100包括有源像素传感器(APS)阵列110,行驱动器120和模拟-数字转换器130。此外,固态图像传感装置100进一步包括控制器(未示出),用于产生定时控制信号来控制行驱动器110和模-数转换器130以及产生寻址信号来选择APS阵列110的像素并且输出由APS阵列110感测的视频信号。在彩色固态图像传感装置中,通常滤色器位于APS阵列110的每个像素上以便只接收特定颜色的光,如图2所示。在此,至少排列三种滤色器来建立彩色信号。最一般的滤色器阵列具有拜耳模式,其中红色和绿色图案反复在一行中排列以及绿色和蓝色图案反复在另一行中排列。在这种情况下,绿色与亮度信号密切相关并且被排列在所有的行中,以及红色和蓝色交替排列在行中来提高亮度分辨率。在蜂窝电话、数字像机等中,使用具有多于百万像素排列为APS阵列110的CMOS图像传感器/电荷耦合器件(CIS/CCD)。
在具有拜耳模式像素结构的固态图像传感装置110中,APS阵列110使用光电二极管感测光线并将传感光线转换成电信号来产生视频信号。从APS阵列110输出的视频信号包括红、绿和蓝的模拟信号。模-数转换器130接收从APS阵列110输出的模拟视频信号并将其转换成数字视频信号。
产生的像素数据并且输出内插的像素数据到显示器330来改善观看质量。
然而,应用到诸如蜂窝电话和数字像机的视频信号处理***的拜耳APS阵列的输出信号的失真并未被充分校正。需要校正的失真包括边缘混叠、颜色莫尔波纹(moire)、细节丢失/模糊现象、错误/伪彩色现象等等。这些失真现象是由于比如行或边缘的高频区域在用内插数据代替坏像素的过程期间未适当地内插而产生的。特别地,这些坏像素会产生白或黑斑。
发明内容
本发明提供一种视频信号处理方法,用新方案处理拜耳模式(Bayer-pattern)数字彩***信号来在显示器上高质量地显示图像。
本发明也提供一种视频信号处理装置,用于从拜耳模式数字彩***信号中检测坏像素并对检测到的坏像素进行内插。
根据本发明的一方面,提供了一种视频信号处理方法,包括:接收输入视频数据;基于当前像素和相邻像素之间的差产生表示当前像素是好像素或坏像素的像素信息信号;以及响应像素信息信号使用相邻像素数据对坏像素进行内插,其中,产生所述像素信息信号包括:将差的绝对值的最小值与第一和第二阈值进行比较来决定像素信息信号,当差的绝对值的最小值大于第一阈值时,产生表示当前像素是坏像素的像素信息信号,而当差的绝对值的最小值小于第二阈值时,产生表示当前像素是好像素的像素信息信号;以及当差的绝对值的最小值在第一阈值和第二阈值之间时,基于第三阈值决定像素信息信号,对于该第三阈值,反映当最小值在第一和第二阈值之间时当前像素的相邻像素的平均方差(average variance),并且当当前像素数据与当前像素数据和相邻像素数据项之间的差的平均值之间的差小于第三阈值时,产生表示当前像素是好像素的像素信息信号,而当当前像素数据与该平均值之间的差大于第三阈值时,产生表示当前像素是坏像素的像素信息信号。
根据本发明的另一个方面,提供一种视频信号处理装置,包括坏像素(BP)检测器和内插器。BP检测器基于当前像素和相邻像素之间的差,从输入视频数据产生表示当前像素是否是好像素或坏像素的像素信息信号。内插器响应像素信息信号使用相邻像素数据对坏像素进行内插,其中,BP检测器包括:阈值检查单元,将差的绝对值的最小值与第一和第二阈值进行比较来决定像素信息信号,当差的绝对值的最小值大于第一阈值时,产生表示当前像素是坏像素的像素信息信号,而当差的绝对值的最小值小于第二阈值时,产生表示当前像素是好像素的像素信息信号;以及平均方差检查单元,当差的绝对值的最小值在第一阈值和第二阈值之间时基于第三阈值决定像素信息信号,对于该第三阈值,反映当最小值在第一和第二个阈值之间时当前像素的相邻中的平均方差,并且当当前像素数据与当前像素数据和相邻像素数据项之间的差的平均值之间的差小于第三阈值时,产生表示当前像素是好像素的像素信息信号,而当当前像素数据与该平均值之间的差大于第三阈值时,产生表示当前像素是坏像素的像素信息信号。
附图说明
本发明的上述和其他特性和优点将通过参考附图详细描述具体实施方式变得更明显,其中
图1是传统的固态图像传感装置的方框图;
图2说明拜耳模式像素阵列;
图3是传统的视频信号处理***的方框图;
图4是根据本发明实施例的视频信号处理装置的方框图;
图5是图4的坏像素(BP)检测器的方框图;
图6是表示图5的BP检测器的操作的流程图;
图7A是用于解释当前像素G和相邻像素之间差的方框图;
图7B是用于解释当前像素R和相邻像素之间差的方框图;
图8是表示在当前像素值和平均值之间关系中的由人眼察觉到的区域和人眼察觉不到的区域的图表;
图9说明由在边缘附近未检测到的坏像素导致的结果;
图10是可被添加到图5的BP检测器中的边缘/行检查单元的方框图;
图11A说明其中好相邻像素位于当前像素的左边、左上和上方的情况;
图11B说明其中好相邻像素位于当前像素的左边、左上和左下的情况;
图11C说明其中好相邻像素位于当前像素的上方、左上和下方的情况;以及
图12是图4的内插器的结构图。
具体实施方式
本发明将参照附图充分描述,其中说明了本发明的具体方式。然而,本发明可以以许多不同形式实施并不应该限制于在此所述的实施例;相反,提供这些实施例使得本发明是详尽和完全的,并且对于本领域技术人员来说将完全覆盖本发明的概念。贯穿附图,相同的附图标记表示相同的元件。
图4是根据本发明实施例的视频信号处理装置400的方框图。参考图4,视频信号处理装置400包括坏像素(BP)检测器410和内插器420。
视频信号处理装置400可被应用到视频信号处理***,诸如蜂窝电话和数字像机。
视频信号处理装置400处理从固态图像传感装置输出的RGB数字视频数据来补偿信号失真,从而以高质量显示图像,该固态图像传感装置使用CMOS图像传感器/电荷耦合器件(CIS/CCD)。
BP检测器410基于当前像素数据和相邻像素数据项之间的差从输入视频数据产生表示当前像素是好像素还是坏像素的像素信息信号PIS。输入视频数据可以是从固态图像传感装置输出的拜耳模式的RGB数字数据。内插器420响应像素信息信号PIS、使用相邻像素数据对坏像素实现内插。
图5是图4的BP检测器的方框图。参见图5,BP检测器410包括阈值检查单元460、平均方差检查单元470和一致性检查单元480。BP检测器410的操作参考图6来解释。
阈值检查单元460包括最小差计算器461和第一判定部分462。例如,最小差计算器461接收拜耳模式的5×5视窗数据,如图7A或7B(图6的S10)所示。5×5视窗数据是如图2所示的拜耳模式的数字数据。最小差计算器461计算最小差MINDIFF用于确定每一个当前像素R,G和B是好还是坏的同时至少一个一个地移动当前像素。图7A示出当前像素G周围的5×5视窗数据,并且图7B示出当前像素R周围的5×5视窗数据。当前像素B周围的5×5视窗数据以如图7B所示的模式接收。
当接收5×5视窗数据时,最小差计算器461从输入视频数据计算当前像素数据和相邻像素数据项之间的差并且获得在差的绝对值中的最小差MINDIFF,如等式1所表示(图6的S11)。
[等式1]
MINDIFF=min{ABS(RAW[i]-CPV)}
其中RAW[i]表示相邻像素数据,CPV表示当前像素数据值,并且ABS()表示绝对值。
相邻像素数据对应于具有与当前像素颜色相同的像素的数据,其在不同方向上最接近当前像素。例如,图7A中当前像素G的相邻像素包括具有与当前像素G颜色相同的像素P02、P11、P20、P31、P42、P33、P24和P13。图7B中的当前像素R的相邻像素包括具有与当前像素R的颜色相同的像素P02、P00、P20、P40、P42、P44、P24和P04。当前像素B的相邻像素类似地像当前像素R的那些而排列。
第一判定部分462将由最小差计算器461计算的最小差MINDIFF与第一和第二阈值TDIFF和BDIFF进行比较以产生表示当前像素是好还是坏的像素信息信号PIS。例如,当最小差MINDIFF大于第一阈值TDIFF时(图6的S12),当前像素被作为坏像素并且第一判定部分462产生表示当前像素是坏的像素信息信号PIS。坏像素的数据由内插器420内插的像素数据代替(图6的S15)。当最小差MINDIFF不大于第一阈值TDIFF时(图6的S12),第一判定部分462确定最小差MINDIFF是否小于第二阈值BDIFF(图6的S13)。当最小差MINDIFF小于第二个阈值BDIFF时,当前像素被作为好像素并且第一判定部分462产生表示当前像素是好的像素信息信号PIS。好像素的数据不需要内插(图6的S14)。
当步骤S12和S13都不满足时,最小差MINDIFF在第一和第二阈值TDIFF和BDIFF之间,并且当前像素被怀疑是坏象素。在此,当第一判定部分462产生与其对应的像素信息信号PIS时,操作平均方差检查单元470。
参见图5,平均方差检查单元470包括平均方差计算器471和第二判定部分472。平均方差检查单元470确定当最小差MINDIFF落在第一和第二阈值TDIFF和BDIFF之间时当前像素是坏的还是好的。平均方差计算器471计算当前像素数据和相邻像素数据项之间的差的平均值,该差由最小差计算器461计算,如等式2所示,并且从所计算的平均值计算当前像素的相邻中的平均方差,如等式3所示。在等式2和3中,n-1表示差的数量,在如图7A和7B所示的情况下其对应于8。
[等式2]
MEAN={SUM(RAW[i]-CPV)}/(n-1)
[等式3]
AVGVAR={SUM(ABS(RAW[i]-MEAN))}/(n-1)
此外,平均方差计算器471计算第三阈值THR,对于计算第三阈值THR,反映当前像素的相邻中的平均方差(图6的S16)。第三阈值THR用于第二判定部分472。第三阈值THR用等式4表示。在等式4中,MUL表示具有正实数值的乘数。
[等式4]
THR=MUL*AVGVAR
因此,第二判定部分472基于第三阈值THR判断当前像素是好的还是坏的(图6的S17)。例如,在当前像素数据和平均值MEAN之间的差小于第三阈值THR时,当前像素被作为好像素并且第二判定部分472产生表示当前像素是好像素的像素信息信号PIS(图6的S17)。然而,在当前像素数据和平均值MEAN之间的差大于第三阈值THR时,当前像素被怀疑是坏象素。在这种情况下,第二判定部分472产生表示当前像素是坏的像素信息信号PIS,然后操作一致性检查单元480。
同时,当对应于坏像素的图像没有被适当内插而在多帧中显示时,会在屏幕上产生白或黑斑。然而,并非所有的斑都能够被人眼察觉。例如,图8显示了在当前像素值和平均值之间的关系中由人眼察觉的区域1A和1B和人眼没有察觉的区域2A和2B。在区域1A,当前像素数据的灰度电平比相邻中的灰度电平的平均值更小并且坏像素会产生黑斑。在区域1B,当前像素数据的灰度电平比相邻中的灰度电平的平均值更大,坏像素会产生白斑。在区域2A,所有当前像素数据和相邻像素数据都有大的灰度电平并且由坏像素产生的白和黑斑几乎不被察觉到。在区域2B,所有当前像素数据和相邻像素数据都有小的灰度电平并且由坏像素产生的白和黑斑几乎不被察觉到。其中可察觉到斑的区域1A和1B以及其中不可察觉到斑的区域2A和2B的范围取决于R、G和B像素中的哪一个是当前像素。
基于这个考虑,当第二判定部分472基于第三阈值THR来判断当前像素是好或坏时,其可调整等式4的乘数MUL。在通常情况下,当乘数MUL在大约2到4之间时能够获得令人满意的结果。然而,在其中斑点不被察觉到的区域2A和2B中,即使在当前像素数据和平均值之间的差较大时,也期望令人满意的结果。因此,第二判定部分472增加乘数MUL以便对于区域2A和2B而将第三阈值THR变得更大,其中平均值与当前像素数据的灰度电平类似。对于区域1A和1B,第二判定部分472减小乘数MUL来减小第三阈值THR。例如,第二判定部分472对于区域1A和1B将乘数MUL调整为2到2.5,并且对于区域2A和2B将其控制为3.5到4。
如上所述,当平均方差检查单元470怀疑当前像素是坏像素时,操作一致性检查单元480。一致性检查单元480是可选的。一致性检查单元480可操作来减小由平均方差计算器471不适当地将好像素标记为坏像素的数量。一致性检查单元480检查与当前像素紧邻的相邻像素。一致性检查单元480在这样的假设下操作,两个以上的坏像素相互紧邻的概率很低并且1个像素宽度的高对比边缘或行的概率很高。
基于假设,一致性检查单元480将至少一个相邻像素的平均方差LOCVAR与当前像素相邻中的平均方差AVGVAR进行比较来确定像素信息信号PIS(图6的S18)。相邻像素中的平均方差LOCVAR由平均方差计算器471计算,如等式3所示。在此,相邻像素包括图7A中所示的像素P11、P12、P13、P21、P23、P31、P32和P33,并且这些像素至少之一的平均方差与当前像素的相邻中的平均方差进行比较。当多个平均方差进行比较时,给比较值适当的加权来将其反映到像素信息信号PIS的决定上。在当前像素的相邻中的平均方差AVGVAR小于相邻像素中的平均方差LOCVAR时,当前像素被认为是好像素并且一致性检查单元480产生表示当前像素是好的像素信息信号PIS。否则,当前像素看作坏像素并且一致性检查单元480产生表示当前像素是坏的像素信息信号PIS。
为了在图像边缘和行附近将好像素从坏像素中分辨出来,需要更精确的判定。当边缘/行附近的坏像素没有被适当地检测到时,不期望的斑点将产生在屏幕上,如图9所示。
为了更高精度地在图像边缘/行附近将好像素从坏像素中分辨出来,图10所示的边缘/行检查单元500能作为可选项添加到图5中的BP检测器410。参见图10,边缘/行检查单元500包括好的相邻值(GN)计数器510,第一比较器520,方向***分530和第二比较器540。
GN计数器510基于当前像素和8个与当前像素紧邻的相邻像素之间的差对好的相邻像素的数量进行计数。例如,在当前像素和相邻像素之间的差的绝对值小于预定阈值时,相邻像素被作为好的相邻像素。图5中的平均方差检查单元470可响应计数值CGNV控制第三阈值THR。例如,平均方差检查单元470当计数值CGNV具有更大的值时,增加乘数MUL来提高第三阈值THR。
当阈值检查单元460产生表示当前像素是坏像素的像素信息信号PIS时,第一比较器520确定表示当前像素是否是好的信号PIS 1,并且响应计数值CGNV对应于行或边缘,并输出信号PIS 1作为阈值检查单元460的像素信息信号。例如,当计数值CGNV比大约4更大时,第一比较器520将当前像素看作好像素并产生与其相应的信号PIS 1。当计数值CGNV是2时,当前像素对应于行。但是,对于当前绿色(G)像素,计数值CGNV 2也可能是边缘的情况。
当计数值CGNV是3时,并且相对应的好的相邻像素相互紧邻,那么当前像素对应于边缘。在这种情况下,方向***分530从计数值CGNV产生边缘方向值。在当前像素对应于边缘时,第一比较器520在信号PIS 1中包括边缘方向值。例如,当好的相邻像素(+)如图11A所示位于当前像素C的左边、左上和顶部时,因为紧邻三个好的相邻像素,所以当前像素C被作为边缘。在此,边缘方向对应于朝向好的相邻像素N10的方向,并且此时的方向值确定为指定值。然而,当好的相邻像素(+)如图11C所示位于当前像素C的顶部、左上和底部时,当前像素C不被作为边缘而是作为坏像素,因为没有三个好的相邻像素相邻。
当图5中的一致性检查单元480产生表示当前像素是坏像素的像素信息信号时,第二比较器540响应边缘方向值确定表示当前像素是好的还是坏的信号PIS 3,并且输出信号PIS 3作为一致性检查单元480的像素信息信号。例如,当当前像素的边缘方向值与至少一个与当前像素颜色不同的相邻像素的边缘方向值相同时,第二比较器540将当前像素作为好像素,并产生与其对应的信号PIS 3。例如,当图11B中与当前像素C紧邻的相邻像素N00的边缘方向值与当前像素C的边缘方向值相同时,当前像素C被认为是好像素。
图12是图4的内插器420的方框图。参见图12,内插器420包括边缘/行内插单元421、BP代替单元422和复用器423。边缘/行内插单元421当当前像素对应于边缘或行时响应像素信息信号PIS、基于当前像素的相应方向实现内插。在此,通用拜耳内插方案可以被使用。
BP代替单元422包括分类符计算器426、平均值内插器427和方向内插器428。BP代替单元422当像素信息信号PIS表示当前像素是坏像素时使用相邻像素数据对当前像素进行内插,并且用内插数据代替坏像素。对于此,分类符计算器426计算表示在当前像素的相邻中的水平数据梯度的水平分类符以及在当前像素的相邻中的垂直数据梯度的垂直分类符。例如,对于图7B中的当前像素P22,水平分类符通过对像素P20、P21、P22、P23和P24应用预定的加权而获得,并且垂直分类符通过对像素P02、P12、P22、P32和P42应用预定的加权来计算。在此,当前像素P22不能包括在分类符(classifier)的计算中。
平均值内插单元427当由分类符计算器426计算的分类符之间差的绝对值小于预定阈值时执行中值内插或平均值内插。例如,用于计算水平分类符的像素P20、P21、P22、P23和P24的像素值的平均值或中值能够用当前像素P22的值代替。否则,用于计算垂直分类符的像素P02、P12、P22、P32和P42的像素值的平均值或中值能够用当前像素P22的值代替。众所周知,中值可对应于用来计算的除了最大和最小元素以外的元素的平均值。
方向内插单元428响应分类符的级别执行定向内插。当水平分类符小于垂直分类符时,当前像素值用这样的值代替,该值通过应用预定的加权到用于水平分类符的计算的像素P20、P21、P22、P23和P24的像素值并且将上述值相加来获得。当垂直分类符小于水平分类符时,当前像素值用这样值代替,该值通过应用预定的加权到用于垂直分类符的计算的像素P02、P12、P22、P32和P42的值并且将上述值相加来获得。
复用器423选择由边缘/行内插单元内插的值之一,平均值内插单元427和方向内插单元428响应像素信息信号PIS并且输出选择的值作为代替坏象素的值。
如上所述,在根据本发明的视频信号处理装置400中,BP检测器410基于当前像素数据和相邻像素数据之间的差、从输入视频数据中产生表示当前像素是好的还是坏的像素信息信号PIS。内插器420响应像素信息信号PIS使用相邻像素数据对坏像素进行内插。
将根据本发明的视频信号处理装置应用于包括数字像机的和蜂窝电话的便携式***来最小化混叠、颜色莫尔波纹、模糊、错误/伪彩色效应、白或黑斑等,并且根据从拜耳模式数字颜***信号、通过三步BP检测和基于BP检测的信号内插来改进可视质量。
由于本发明已经参照具体实施例特别的表示和描述,本领域技术人员应当理解在不脱离本发明权利要求所定义的精神和范围内有关技术中的形式和细节的各种变型都可存在。

Claims (24)

1.一种视频信号处理方法,包括:
接收输入视频数据;
基于当前像素和相邻像素之间的差来产生表示当前像素是好像素或坏像素的像素信息信号;以及
响应像素信息信号使用相邻像素数据对坏像素进行内插,
其中,产生所述像素信息信号包括:
将差的绝对值的最小值与第一和第二阈值进行比较来决定像素信息信号,当差的绝对值的最小值大于第一阈值时,产生表示当前像素是坏像素的像素信息信号,而当差的绝对值的最小值小于第二阈值时,产生表示当前像素是好像素的像素信息信号;以及
当差的绝对值的最小值在第一阈值和第二阈值之间时,基于第三阈值决定像素信息信号,对于该第三阈值,反映当最小值在第一和第二阈值之间时当前像素的相邻像素的平均方差,并且当当前像素数据与当前像素数据和相邻像素数据项之间的差的平均值之间的差小于第三阈值时,产生表示当前像素是好像素的像素信息信号,而当当前像素数据与该平均值之间的差大于第三阈值时,产生表示当前像素是坏像素的像素信息信号。
2.如权利要求1所述的方法,其中,基于第三阈值产生像素信息信号进一步包括将至少一个相邻像素中的平均方差与当前像素的相邻中的平均方差进行比较来决定像素信息信号。
3.如权利要求1所述的方法,其中,第三阈值对于第一区域增加,在该第一区域中相邻像素数据的平均值与当前像素数据的灰度电平类似,但对于第二区域减小,在该第二区域中相邻像素数据的平均值不与当前像素数据的灰度电平类似。
4.如权利要求3所述的方法,其中,第一和第二区域取决于R、G和B像素中的哪个像素是当前像素来定义。
5.如权利要求1所述的方法,其中,相邻像素数据对应于具有与当前像素颜色相同的像素数据,其在拜耳模式下、在不同方向上最接近于当前像素。
6.如权利要求1所述的方法,进一步包括基于当前像素和与当前像素紧邻的相邻像素之间的差对好的相邻像素的数量进行计数。
7.如权利要求6所述的方法,其中,第三阈值响应计数值进行调整。
8.如权利要求6所述的方法,进一步包括:
根据计数值产生边缘方向值;以及
当通过将当前像素和相邻像素之间的差的绝对值的最小值与第一和第二阈值进行比较而确定的像素信息信号表示当前像素是坏像素时,响应计数值决定表示当前像素是否是好像素并对应于行或边缘的信号,并且输出该信号作为像素信息信号,
其中,在当前像素对应于边缘时,边缘方向值包括在像素信息信号中。
9.如权利要求8所述的方法,其中,当计数值比4更大时当前像素对应于好像素,当计数值是3并且相应的好的相邻像素互相紧邻时,当前像素对应于边缘,并且边缘方向值指定从当前像素到好相邻像素中的中间的好相邻像素的方向,并且当计数值是2时,当前像素对应于行。
10.如权利要求8所述的方法,进一步包括当通过将至少一个相邻像素中的平均方差和当前像素的相邻中的平均方差进行比较而确定的像素信息信号表示当前像素是坏像素时,响应边缘方向值确定表示当前像素是好像素还是坏像素的信号,并且输出该信号作为像素信息信号,
其中,在当前像素的边缘方向值与具有不同于当前像素颜色的至少一个相邻像素的边缘方向值相同时,当前像素对应于好像素。
11.如权利要求9所述的方法,其中,当像素信息信号表示当前像素对应于边缘或行时,基于相应的方向执行内插。
12.如权利要求1所述的方法,其中,对坏象素进行内插包括:
当像素信息信号表示当前像素是坏像素时,计算表示当前像素的相邻中水平数据梯度的水平分类符以及表示当前像素的相邻中的垂直数据梯度的垂直分类符;
当水平和垂直分类符之间的差的绝对值小于预定阈值时,执行平均值内插或中值内插;以及
当水平和垂直分类符之间的差的绝对值大于该阈值时,响应水平和垂直分类符的级别实现定向内插,
其中,执行定向内插的步骤包括:当水平分类符小于垂直分类符时,当前像素值用这样的值代替,该值通过应用预定的加权到用于水平分类符的计算的像素的值并且将上述值相加来获得;当垂直分类符小于水平分类符时,当前像素值用这样值代替,该值通过应用预定的加权到用于垂直分类符的计算的像素的值并且将上述值相加来获得。
13.一种视频信号处理装置,包括:
BP检测器,基于当前像素和相邻像素之间的差,从输入视频数据产生表示当前像素是好像素还是坏像素的像素信息信号;以及
内插器,响应像素信息信号、使用相邻像素数据对坏像素进行内插,
其中,BP检测器包括:
阈值检查单元,将差的绝对值的最小值与第一和第二阈值进行比较来决定像素信息信号,当差的绝对值的最小值大于第一阈值时,产生表示当前像素是坏像素的像素信息信号,而当差的绝对值的最小值小于第二阈值时,产生表示当前像素是好像素的像素信息信号;以及
平均方差检查单元,当差的绝对值的最小值在第一阈值和第二阈值之间时基于第三阈值决定像素信息信号,对于该第三阈值,反映当最小值在第一和第二个阈值之间时当前像素的相邻中的平均方差,并且当当前像素数据与当前像素数据和相邻像素数据项之间的差的平均值之间的差小于第三阈值时,产生表示当前像素是好像素的像素信息信号,而当当前像素数据与该平均值之间的差大于第三阈值时,产生表示当前像素是坏像素的像素信息信号。
14.如权利要求13所述的装置,其中,BP检测器进一步包括一致性检查单元,当平均方差检查单元基于第三阈值决定像素信息信号时,将至少一个相邻像素中的平均方差与在当前像素的相邻中的平均方差进行比较来决定像素信息信号。
15.如权利要求13所述的装置,其中,平均方差检查单元增大用于第一区域的第三阈值,在该区域中相邻像素数据的平均值与当前像素数据的灰度电平类似,但减小用于第二区域的第三阈值,在该第二区域中相邻像素数据的平均值不与当前像素数据的灰度电平类似。
16.如权利要求15所述的装置,其中第一和第二区域取决于R、G和B像素中的哪个像素是当前像素来定义。
17.如权利要求13所述的装置,其中,相邻像素数据对应于具有与当前像素的颜色相同的像素的数据,其在拜耳模式下、在不同方向上最接近于当前像素。
18.如权利要求13所述的装置,进一步包括计数器,用于基于当前像素和与当前像素邻近的相邻像素之间的差对好的相邻像素的数量进行计数。
19.如权利要求18所述的装置,其中,平均方差检查单元响应计数值调整第三阈值。
20.如权利要求18所述的装置,进一步包括:
方向检查单元,其根据计数值产生边缘方向值;以及
第一比较器,当由阈值检查单元决定的像素信息信号表示当前像素是坏像素时,其响应计数值来决定表示当前像素是否是好像素并对应于行或边缘的信号,并且输出该信号作为像素信息信号,
其中,在当前像素对应于边缘时,边缘方向值包括在像素信息信号中。
21.如权利要求20所述的装置,其中,当计数值比4更大时,当前像素对应于好像素,当计数值是3并且相应的好相邻像素互相紧邻时,当前像素对应于边缘,并且边缘方向值指定从当前像素到好相邻像素中的中间的好相邻像素的方向,以及当计数值是2时,当前像素对应于行。
22.如权利要求20所述的装置,进一步包括第二比较器,当通过将至少一个相邻像素的平均方差和当前像素的相邻中的平均方差进行比较而确定的像素信息信号表示当前像素是坏像素时,其响应边缘方向值确定表示当前像素是好像素还是坏像素的信号,并且输出该信号作为像素信息信号,
其中,在当前像素的边缘方向值与具有不同于当前像素的颜色的至少一个相邻像素的边缘方向值相同时,当前像素对应于好像素。
23.如权利要求21所述的装置,其中,当像素信息信号表示当前像素对应于边缘或行时,内插器基于相应的方向执行内插。
24.如权利要求13所述的装置,其中当像素信息信号表示当前像素是坏像素时,内插器计算表示当前像素的相邻中水平数据梯度的水平分类符以及表示当前像素的相邻中的垂直数据梯度的垂直分类符,当水平和垂直分类符之间差的绝对值小于预定阈值时,执行平均值内插或中值内插,并且当水平和垂直分类符之间差的绝对值不小于阈值时,响应水平和垂直分类符的级别来实现定向内插,
其中,执行定向内插包括:当水平分类符小于垂直分类符时,当前像素值用这样的值代替,该值通过应用预定的加权到用于水平分类符的计算的像素的值并且将上述值相加来获得;当垂直分类符小于水平分类符时,当前像素值用这样值代替,该值通过应用预定的加权到用于垂直分类符的计算的像素的值并且将上述值相加来获得。
CN2006100898778A 2005-04-27 2006-04-27 用于处理拜耳模式数字彩***信号的方法和装置 Expired - Fee Related CN1893618B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050034913A KR100652408B1 (ko) 2005-04-27 2005-04-27 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치
KR34913/05 2005-04-27

Publications (2)

Publication Number Publication Date
CN1893618A CN1893618A (zh) 2007-01-10
CN1893618B true CN1893618B (zh) 2010-08-18

Family

ID=37572896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100898778A Expired - Fee Related CN1893618B (zh) 2005-04-27 2006-04-27 用于处理拜耳模式数字彩***信号的方法和装置

Country Status (3)

Country Link
US (1) US7671909B2 (zh)
KR (1) KR100652408B1 (zh)
CN (1) CN1893618B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5483796B2 (ja) * 2006-08-31 2014-05-07 キヤノン株式会社 画像表示装置および画像表示システム
CN101329281B (zh) * 2007-06-20 2011-08-10 佛山普立华科技有限公司 影像感测晶片污点检测***及其检测方法
KR101442242B1 (ko) * 2007-12-12 2014-09-29 삼성전자주식회사 불량 화소 및 잡음 제거 방법
CN101588447B (zh) * 2008-05-23 2011-04-20 比亚迪股份有限公司 一种图像坏点的校正方法、***及图像传感器
KR101595257B1 (ko) * 2009-04-28 2016-02-18 삼성전자주식회사 디지털 영상 처리 장치 및 방법과 이를 위한 기록매체
US20110032272A1 (en) * 2009-08-06 2011-02-10 Panasonic Corporation Video processing apparatus
JP5633518B2 (ja) * 2009-11-27 2014-12-03 株式会社ニコン データ処理装置
JP5697353B2 (ja) * 2010-03-26 2015-04-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
KR20120114021A (ko) * 2011-04-06 2012-10-16 삼성디스플레이 주식회사 불량 픽셀 보정 방법
TWI573464B (zh) * 2014-04-17 2017-03-01 Morpho Inc An image processing apparatus, an image processing method, an image processing program, and a recording medium
CN104202583B (zh) * 2014-08-07 2017-01-11 华为技术有限公司 图像处理装置和方法
CN105430382A (zh) * 2015-12-02 2016-03-23 厦门雅迅网络股份有限公司 一种视频图像检测黑边的方法和装置
DE112019002127T5 (de) * 2018-04-26 2021-01-21 Rohm Co., Ltd. Halbleitervorrichtung, anzeigevorrichtung und fahrzeuggestütztes anzeigesystem

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1290059A (zh) * 2000-11-08 2001-04-04 华中科技大学 电力线路保护方法及用于该方法的行波传感器
CN1303071A (zh) * 1999-12-15 2001-07-11 罗技电子股份有限公司 动态异常象素的检测与校正
JP2002237997A (ja) * 2001-02-07 2002-08-23 Matsushita Electric Ind Co Ltd 固体撮像素子の欠陥画素補正装置およびそれを備えた固体撮像装置
JP2002271806A (ja) * 2001-03-09 2002-09-20 Hitachi Kokusai Electric Inc Ccd撮像素子の画素欠陥信号補正回路

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4099361A (en) * 1972-03-20 1978-07-11 Crown Cork & Seal Company, Inc. Apparatus for and method of closing containers
US3852941A (en) * 1973-08-20 1974-12-10 Pennwalt Corp Vial capping apparatus
US4075820A (en) * 1976-07-28 1978-02-28 Abbott Laboratories Spin welding apparatus
US4299072A (en) * 1979-01-17 1981-11-10 John H. Holstein Turret drive system
EP0107429A3 (en) * 1982-10-18 1985-03-13 Metal Closures Limited Improvements in capping machines for containers
IT1242601B (it) * 1990-10-31 1994-05-16 Azionaria Costruzioni Acma Spa Apparecchiatura per l'applicazione di tappi a contenitori.
EP0496573B1 (en) * 1991-01-24 1995-12-20 Matsushita Electric Industrial Co., Ltd. Pixel defect removing circuit for solid-state image pickup device
US5419094A (en) * 1994-03-02 1995-05-30 Crown Cork & Seal Company, Inc. Constant speed spindles for rotary capping machine
US5528879A (en) * 1995-05-26 1996-06-25 Diversified Capping Equipment, Inc. Apparatus for applying closures to containers
IT1293251B1 (it) * 1997-07-17 1999-02-16 Ima Spa Apparato per le macchine a giostra adibite alla tappatura di flaconi o simili con tappi a vite.
JP4662584B2 (ja) * 1998-01-27 2011-03-30 イーストマン コダック カンパニー 画像センサのライン毎ノイズ除去装置及び方法
JP4115574B2 (ja) 1998-02-02 2008-07-09 オリンパス株式会社 撮像装置
US6115992A (en) * 1998-03-25 2000-09-12 New England Machinery, Inc. Apparatus and method for pre-capping containers
US6549233B1 (en) * 1998-08-07 2003-04-15 Intel Corporation Color interpolation system
JP2000285229A (ja) * 1999-03-15 2000-10-13 Texas Instr Inc <Ti> ディジタルイメージャのための不良画素フィルタリング
JP2000287135A (ja) 1999-03-31 2000-10-13 Sony Corp 撮像装置並びに固体撮像素子の画素欠陥検出装置及び方法
DE69904946T2 (de) * 1999-11-23 2003-11-06 Arol Spa Vorrichtung und Verfahren zur Dichtigkeitsprufung einer Schraubverschlusskappe auf einem Behälter
US6965395B1 (en) * 2000-09-12 2005-11-15 Dialog Semiconductor Gmbh Methods and systems for detecting defective imaging pixels and pixel values
US6985180B2 (en) 2001-06-19 2006-01-10 Ess Technology, Inc. Intelligent blemish control algorithm and apparatus
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
JP4054184B2 (ja) 2001-10-03 2008-02-27 オリンパス株式会社 欠陥画素補正装置
US6662526B2 (en) * 2001-11-27 2003-12-16 Alcoa Closure Systems International, Inc. Modular turret cage for a capping machine
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
FR2848545A1 (fr) * 2002-12-13 2004-06-18 Serac Group Dispositif de vissage de bouchons
JP3747909B2 (ja) * 2002-12-24 2006-02-22 ソニー株式会社 画素欠陥検出補正装置及び画素欠陥検出補正方法
KR100521030B1 (ko) * 2002-12-27 2005-10-11 매그나칩 반도체 유한회사 이미지센서의 불량픽셀 보상장치
US7388609B2 (en) 2003-07-07 2008-06-17 Zoran Corporation Dynamic identification and correction of defective pixels
EP1594308A1 (en) * 2004-05-07 2005-11-09 Dialog Semiconductor GmbH Single line Bayer filter RGB bad pixel correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1303071A (zh) * 1999-12-15 2001-07-11 罗技电子股份有限公司 动态异常象素的检测与校正
CN1290059A (zh) * 2000-11-08 2001-04-04 华中科技大学 电力线路保护方法及用于该方法的行波传感器
JP2002237997A (ja) * 2001-02-07 2002-08-23 Matsushita Electric Ind Co Ltd 固体撮像素子の欠陥画素補正装置およびそれを備えた固体撮像装置
JP2002271806A (ja) * 2001-03-09 2002-09-20 Hitachi Kokusai Electric Inc Ccd撮像素子の画素欠陥信号補正回路

Also Published As

Publication number Publication date
KR20060112449A (ko) 2006-11-01
CN1893618A (zh) 2007-01-10
US7671909B2 (en) 2010-03-02
KR100652408B1 (ko) 2006-12-01
US20060284862A1 (en) 2006-12-21

Similar Documents

Publication Publication Date Title
CN1893618B (zh) 用于处理拜耳模式数字彩***信号的方法和装置
US20060233439A1 (en) Method and apparatus for processing a Bayer-pattern color digital image signal
EP3327666B1 (en) Control method and electronic apparatus
US20120057029A1 (en) Capture of video with motion-speed determination and variable capture rate
US8515210B2 (en) Image processing method and image processing device
US20100277628A1 (en) Solid-state image sensor and imaging apparatus using the same
US8248496B2 (en) Image processing apparatus, image processing method, and image sensor
AU2012374649A1 (en) Image processing device, image-capturing element, image processing method, and program
KR100765751B1 (ko) 비월 주사 방식의 cmyg 컬러 포맷의 컬러 보간 방법 및그 장치
JP2006013558A (ja) 画像処理装置、画像処理プログラム
US20210067689A1 (en) Image processing apparatus, image processing method, and program
CN111225135A (zh) 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
JP4104495B2 (ja) データ処理装置、画像処理装置およびカメラ
JP2005175590A (ja) 画像補間装置及び画像補間方法
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
US8126284B2 (en) Method and apparatus for resolution improvement in digital capturing
JP2011114473A (ja) 画素欠陥補正装置
KR100733010B1 (ko) 이미지 센서의 결함픽셀 보간 방법 및 장치
JP2004173060A (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム
JP3711401B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP2010283888A (ja) 画像処理装置、画像処理プログラム
JP2000078594A (ja) 単板式カラーカメラの広ダイナミックレンジ化処理方法
JPH11146409A (ja) ビデオカメラ
US8350962B2 (en) Method and system for video format conversion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100818