CN1666501A - 缺陷图像采样的错误图像采样数据的检测设备和方法 - Google Patents
缺陷图像采样的错误图像采样数据的检测设备和方法 Download PDFInfo
- Publication number
- CN1666501A CN1666501A CN03815788.8A CN03815788A CN1666501A CN 1666501 A CN1666501 A CN 1666501A CN 03815788 A CN03815788 A CN 03815788A CN 1666501 A CN1666501 A CN 1666501A
- Authority
- CN
- China
- Prior art keywords
- image sampling
- sampling data
- test
- image
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000001514 detection method Methods 0.000 title claims description 20
- 230000002950 deficient Effects 0.000 title description 10
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims description 136
- 238000012360 testing method Methods 0.000 claims description 98
- 230000007547 defect Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012634 optical imaging Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 2
- 239000007924 injection Substances 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- PMHURSZHKKJGBM-UHFFFAOYSA-N isoxaben Chemical compound O1N=C(C(C)(CC)CC)C=C1NC(=O)C1=C(OC)C=CC=C1OC PMHURSZHKKJGBM-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Input (AREA)
Abstract
建议了一种用于对来自一个像素矩阵的废弃或者干扰像素的像素信息进行动态修复的实时像素校正算法。该算法适用于CCD和CMOS成像器。
Description
技术领域
本发明涉及一种检测多个图像采样数据的错误图像采样数据的方法。而且本发明涉及一种图像处理方法，其中光学***向一个图像彩色传感器提供一个图像，所述图像彩色传感器适于检测各种彩色，并且将图像检测为多个图像采样，并且其中从图像传感器的每个单独图像采样读出图像采样数据，图像采样数据包括彩色信息并且其在图像信号中从图像传感器传送到信号处理器，信号处理器从图像信号中导出一个视频输出，其中从多个图像采样数据检测和校正缺陷图像采样的错误图像采样数据，其中测试一个图像采样数据从而检测错误图像采样数据并且通过利用一个校正的图像采样数据代替一个错误图像采样数据来校正错误图像采样数据。而且，本发明涉及一种处理设备，一个成像器***以及应用于计算机***的程序产品。
背景技术
在现代固态照相机中，使用了多种光电图像传感器。这种图像传感器可以是例如基于一个电荷传送成像器、一个电耦设备(CCD)、一个戽链式(bucket-brigade)成像器、一个电荷注入设备(CID)或者一个CMOS-成像器的检测器。
这种光电图像传感器(最好是一个CMOS成像器或者一个电荷传送成像器)通常通过集成电路技术制造，并且基本构成了被称为像素或者图像采样的离散元素矩阵，该矩阵能够利用多个离散图像采样对一幅图像取样。通常可以使用一个CMOS成像器。但是，使用电荷传送类型的成像器能够在噪声性能上带来很多优点。可以读取图像传感器中的每个图像采样，提供一个包含每个图像采样的图像采样数据的模拟信号。模拟信号也可以被转换成包含每个图像采样的图像采样数据的数字信号。这种数字信号可以进一步有益地通过数字信号处理(DSP)来进行处理。
一旦上述的电荷传送设备的一个离散元、像素或者图像采样存在缺陷，这将导致缺陷图像采样的错误图像采样数据。结果，这将导致上述光电图像传感器再生的图像中出现看得见的点或者行。
传统的方法试图通过分解图像、存储光电图像传感器的缺陷元素的位置并且接下来校正分配给存储器中记录和存储的缺陷图像采样的错误图像采样数据来去除缺陷图像采样的错误图像采样数据。传统的方法因此被看作是仅能够使用先前记录的信息或者存储在存储器中的校准以脱机处理的方式执行图像采样数据的校正。由于光电图像传感器的图像采样的缺陷状态取决于各种使用环境，例如温度、电压或者邻近图像采样的应用，上述记录缺陷图像采样的位置或者某种校准的传统方法不太可靠。
而且，这种传统方法基于存储器和错误图像采样数据的中间记录，这将导致处理性能的降低。通常，基于坐标的像素校正算法利用为其设计的专用硬件工作。这意味着通常不使用微处理器，但是校正算法通常是DSP功能块的一部分或者是一个用于执行数字信号处理的模块的一部分。因此由于传统方法造成的处理性能的降低仍然存在。
在EP1003332A2中建议了一种在电子成像***中校正缺陷的方法，这种方法依赖于缺陷存储器的使用。使用一个存储器来中间记录图像采样数据或者存储缺陷图像采样位置，导致处理性能的较大降低并且其不能在实时设备中应用。
在US4253120中建议了一种含有一个电荷传送成像器的缺陷检测***，其中信号处理装置处理一系列电荷传送成像器的输出信号，信号处理装置包括一个缺陷检测装置，用于标明一系列输出信号当中与邻近的图像采样相比存在某种对比特征的每个单独的伪造图像采样。这允许伪造的采样利用从其邻近采样导出的内插值进行校正。US4253120的教导直接涉及一种低成本成像器的解决方案，其能够实时检测固态照相机实际使用成像器的过程中成像器的缺陷元素所产生的伪造信号。
但是，上述建议的用于检测缺陷图像采样的错误图像采样数据的方案依赖于简单的对比特征，这些特征通常仅适合于黑/白-成像器。这种成像器的所有像素以相同的方式被考虑，不区分像素是否具有一个特定的彩色。US4253120的方案建议一种方法，对于任何单独的图像采用，如果其实际值落在该单独图像采样内插值的可能范围之外则将其标明为伪造的。所述的可能内插值的范围由所述的该单独图像采样的邻近图像采样的每个值确定。该方法适用于提供上述的特定对比特征。但是不论像素的彩色如何都执行内插。因此US4253120的方案不适用于彩色传感器或者彩色成像器，由于彩色成像器在亮度、彩色，、轮廓以及对比度上提供具有不同特征的不同彩色平面。
如果根据US4253120的方案处理含有不同彩色的图像，即使不同彩色的像素也将以同样的方式被考虑并且这将导致低质量的处理图像。
发明内容
这就是本发明的来源，本发明的目的是提供一种检测缺陷图像采样的错误图像采样数据的方法以及一种图像处理方法，进一步提供一种处理器设备、一种图像***以及一种适于改进含有彩色信息的图像采样数据的图像处理的程序产品。特别是，能够以高效的方式实现彩色传感器(尤其是RGB-拜耳图像传感器)的图像采样数据的实时图像处理。
关于该方法，其目的是通过一种在引言中所述的错误图像采样数据的检测方法来实现的，其中根据本发明，多个图像采样数据包括分配了第一彩色的第一数目的图像采样数据和分配了第二彩色的至少第二数目图像采样数据，其中测试中的一个图像采样数据相对于进一步的图像采样数据而进行测试并且
-相对于分配了与测试中的图像采样数据所分配的彩色相同的其它图像采样数据执行第一种测试；以及
-相对于被分配了与测试中的图像采样数据所分配的彩色不同的其它进一步的图像采样数据执行第二种测试。
在一个最好的结构中，在第一步骤中测试的图像采样数据与一个门限值相比较。特别是，门限值是噪声电平的最大值。如果图像采样数据低于该电平，相应的图像采样不被认为是缺陷的，并且图像采样数据被看作是处于黑色电平的事物，其将不会被干扰，否则在黑色中将存在显著的图像模糊。图像采样数据可以作为一个信号电压来提供，该电压在门限测试中被测试从而检测其是否具有意义。
在一个优选结构中，似然性(plausibility)测试可以作为第三种测试执行，尤其是，考虑先前的和/或以后测试的似然性测试。特别是，第三种测试可以考虑来自于电荷传送设备矩阵的图像采样的先前行的图像采样数据信息。更特别是，可以检测在相同列的前一行或者之前的列或者在测试列之后的列中是否存在任何校正。
图像采样通常相应于一个光电图像传感器的矩阵的离散元，所述传感器为例如一个电荷传送设备或者一个CMOS成像器。这种离散元通常指的是一个像素。相应的，图像采样数据包括一个像素值、特别是一个信号电压值。
本发明源于期望提供一种处理彩色图像传感器(特别是一个RGB传感器)的图像数据的合适的图像处理方法和设备。在作为一个彩色传感器(特别是一个RGB-拜耳传感器)的一部分的像素矩阵中，每个像素被分配一个特定的彩色并且被安排来检测特定的彩色。在一个RGB-拜耳传感器中，第一种像素被分配为绿色，第二种像素被分配为红色，第三种像素被分配为蓝色。每种彩色的像素根据矩阵中的每种彩色的特定模式排列。RGB-拜耳传感器中最小的2×2像素矩阵包括两个绿像素、一个红像素以及一个蓝像素。一种特定彩色的像素模式的多个像素被称为一个彩色平面。包括不同彩色平面的图像含有每个彩色平面的图像采样数据。因此，主要思想是提供多种可能来处理分配给多种不同彩色平面的图像采样数据。为了进行处理，由于空间滤波器分别对每种彩色的像素模型敏感，因此每个彩色平面的图像采样数据被分别提供。本方法中的空间滤波器利用一个使用中的彩色传感器的彩色滤波模式。本发明通过相对于第一和第二彩色平面执行测试显著改进了图像传感器的错误图像采样数据的检测方法。
给出光学***的空间频率响应的调制传输功能块、图像传感器或者其他与图像相关的设备不能消除一个单独的像素。结果，即使作为图像一部分并且源于缺陷像素的一个非常微小或者细小的特征都应出现在不同的彩色平面中。因此相对于不同彩色平面的测试提供一个用于区分彩色图像的真实特征和缺陷像素的简单可靠的测量。尽管来自于不同彩色平面的所有数据最好以同样的方式处理并且最好不存在依赖于检测或设置的彩色平面，但可以从相同彩色平面或者另一个不同的彩色平面的进一步的图像采样数据导出条件。就后者而言，如果需要，也可以考虑相同或者其他彩色平面的进一步图像采样数据的校正。如果在第一彩色平面执行的第一种测试表明了错误数据，可以有益地执行第二种测试，作为在第二彩色平面的一致性检测。这使得所提出的方法特别可靠。而且允许高效实现彩色传感器的图像采样数据的图像处理。特别是，这种方案最好相对于实时处理对RGB-图像器进行优化。
在该动态(on-the-fly)缺陷像素检测和校正方法的发展中的最为重要的优点在于：
当使用基于坐标的算法时，解决了生产线上昂贵的校准周期。
缺陷像素的数量和位置不是100％稳定的。有时可能出现一个新的缺陷像素，并且有时一个已经存在的缺陷像素会消失。尽管如此，所建议的方法仍然实现了可靠的结果。
不需要用于存储缺陷像素的附加存储器支持。
这些优点还可以通过在从属方法权利要求中进一步列出的连续发展的结构来改进。
在一个优选结构中，另一种测试包括从含有：最邻近-比较，次邻近比较以及更邻近比较的组中选择出来的至少一种测试。通常，测试中的图像采样数据可以相对于其最邻近的数据(即正在测试的图像采样数据的水平、垂直和/或对角邻近象素)而被测试。另一个测试可以相对于次邻近(即与最邻近的图像采样数据相邻的图像采样数据)进行测试。也可以执行更邻近测试，测试邻近层次中的更高相关性的图像采样数据。
这种测试尤其是测试中的图像采样数据与其它图像采样数据的比较。
而且这种测试可以包括仅在与测试中的图像采样数据的彩色不同的图像采样数据之间的测试。在图像采样数据的一个彩色平面上执行这种测试最为有利，即测试分配给相同彩色的图像采样数据。另外的图像采样数据可以在相同色彩但不是同一个彩色平面中测试。该彩色平面与测试中的图像采样数据所分配的彩色平面不同。而且，可以与测试中的采样数据组合来测试不同彩色平面的图像采样数据。
在一个连续发展的结构中，至少一个测试，例如门限测试或者多个邻近测试中的任何一个，即至少第一或第二种测试，会考虑噪声电平校正。这种噪声电平校正可以包括关于一个偏移的校正。而且这种校正可以包括因子校正。特别是，一个图像采样数据可以被噪声偏移降低，并且与考虑了光子发射噪声的因子相乘。这种噪声电平校被有利地用于每个彩色平面。尤其是，这种噪声电平校正有利地适用于每个相应的彩色平面，特别是关于偏移和/或因子。
在一个优选结构中，测试基本上基于二维图像采样数据矩阵中的一维邻近比较。这种测量提高了信号处理次数，并且允许实时性能。由此有效避免了缺陷存储器的使用。而且，任何测试，特别是第一种测试，可以有益地根据最大值比较执行。
不管怎样，如果合适，可以执行二维测试和除了最大值比较以外的比较，例如平均值比较。
在一个进一步开发的结构中，建议方法的上述参数，例如偏移、门限和方差，可以通过堆栈中的多个图像采样数据推导得出。门限可以定义为方差和偏移的和。
优选配置包括至少两个图像采样数据的差值关于方差的比较。可以相对于照相机的多种模式定义其它变化的方差值。特别定义关于快照模式的第一方差值和关于视频模式的第二方差值。
有利的是，应用一个彩色参数，例如考虑到噪声电平，来区别相对于分配相同彩色的图像采样数据的测试和分配不同彩色或不同彩色平面的图像采样数据的测试。
而且，对于本方法，其目的是通过引言当中所述的图像处理方法实现的，其中根据本发明多个图像采样数据包括分配了第一彩色的第一数目的图像采样数据和分配了第二彩色的至少第二数目的图像采样数据，并且其中对于测试中的图像采样数据的检测包括步骤：
比较测试中的图像采样数据与门限值，
对于分配了与测试中的图像采样数据所分配的相同彩色的其它图像采样数据执行第一种测试，
对于分配了与测试中的图像采样数据所分配的彩色不同的彩色的进一步的其它图像采样数据执行第二种测试，
执行似然性测试作为第三种测试，考虑所述进一步的其它图像采样数据的先前和/或以后的测试。
继续开发的结构在从属的方法权利要求中被进一步描述。
关于错误图像采样数据的校正，这样的数据可以利用校正的图像采样数据来代替，其中校正包括内插。
特别是，为了检测和校正，可以提供一个移位寄存器、一个门限计算和一个存储器。最好提供一个一位行存储器(one-bit-line-memory)或者一个二位行存储器(two-bit-line-memory)。这样的方法将改进单一的处理。图像传感器读出最好是一个串行读出。
所建议的方法最适用于一个RGB-拜耳传感器。
关于处理器设备的目的，本发明提出了一种用于从一个图像信号中推导视频输出的处理器设备，该处理设备包括一个存储器、一个处理单元以及一个接口，特别是一个能够与一个图像传感器连接的接口以及一个能够连接到一个监视器的接口，其适用于执行诸如上述建议的检测方法。
本发明还提出了一种成像器***，包括一个光学***、光电图像传感器和一个适于执行诸如上述方法的处理器设备。特别是，这种图像***可以包括一个CMOS或者CCD或者CID图像传感器，特别是一个RGB-拜耳传感器。
特别是，本发明提出了一种用于计算机***的程序产品，其能够存储在一个可由计算机***读取的介质上，该程序产品包括一个软件代码部分，当在计算机***上执行该产品时，软件代码部分引导计算机***执行建议的检测方法。特别是，该产品能够在所建议的处理器设备或者图像***上执行。最佳的算法将在详细的说明书中描述。
现在参照追加的附图详细对本发明进行描述。详细的说明书将说明和描述本发明的优选实施例。当然能够理解在不背离本发明精神的范围内在形式或细节上可以做出各种改变和变形。因此本发明并不局限于这里所描述和所示出的精确形式和细节，也不局限于任何少于这里公开的和之后要求的本发明的全部内容。而且，在记载本发明的说明书、附图和权利要求中所描述的特征，其单独或者组合对于本发明来说都是必要的。
附图说明
附图1以递减的顺序表明了黑色列像素值的堆栈；
附图2是测试中的列；
附图3是缺陷采样的错误图像采样数据的检测方法的优选实施例的流程图；
附图4是表明如果Ri-Rj＞σ，则Ri和Rj都低于附图3所示的黑色偏移寄存器电平的一个例子；
附图5是一个处理器设备或一个信号处理器的优选实施例的设计说明。
具体实施方式
在所建议的信号处理方法中，最重要的是检测阶段而非校正阶段，从而避免干扰好像素中的图像信息。而且，在传感器中没有必须校正的废弃像素，即仅有正向偏差需要被校正。而且有利的是，没有缺陷像素族需要被校正。如果存在任何废弃像素或者缺陷像素族，由附加测量来处理这些缺陷，所述测量可以被快速有效地建立并且其考虑了实时处理的需要。这种方案也适用于CMOS传感器。
优选实施例可以被分成一个缺陷检测阶段和一个缺陷校正阶段。特别是对于缺陷检测阶段，最好执行一个σ方差计算从而更好和更有利的考虑图像采样数据的不同彩色平面。
对于缺陷检测，图像采样数据(即像素的值)的堆栈首先被提供。在优选实施例中，在所有的黑色列，或者可能是行，或者至少二者之一中进行搜索，在快照模式下，搜索第一少数最大像素值。如图1所示，在堆栈1中以递减的顺序排列这些值。这些值中的一些是由于泄漏像素5(附图1中的***部分)，而其余的像素将非常接近被称为门限3的噪声电平3的最大值。而且，黑色偏移寄存器电平(BOR)可以被定义为偏移2，并且能够由用户编程。这样门限3和偏移2(黑色偏移寄存器电平，BOR)之间的差给出了噪声4的分布的良好估计。噪声4的分布被称为伪方差σ。可以为噪声(σ)分布4选择堆栈1中的电平，并对之编程。
下面将详细地描述设计和定时。
在附图2中，在附图2的第一行6中显示了能够排成一行或者一列的多个像素的数字，在附图2的第二行7中表明了它们的参考名称。分配给绿色的像素被称为G像素，分配给红色的像素被称为R像素，以及另外(未显示)分配给蓝色的像素被称为B像素。测试中的像素8被称为G0。
在附图3的流程图中描述了一个优选实施例，图3也可以描述一个应用于一个计算机***的程序产品的相应算法的流程。
该流程图表明了优选方法实施例的四个部分A’，B’，C’和D’。
在第一部分A’，执行测试，从而确定信号是否高于利用噪声伪方差(σ＝3)校正的黑色偏移寄存器电平(BOR＝2)。第一检测判断信号(即正被考虑的图像采样数据的电压)是否具有意义。特别是，如果信号低于黑色噪声电平(BOR)，不需要进行校正，并且像素不被看作是缺陷像素。由于黑电平中的某些内容正被考虑，且其不能被打扰，则要执行一个退出操作，否则将在黑色图像中出现显著的污点。
在第二部分B’，执行测试，从而确定测试中的像素是否具有一个高于其相同彩色平面的相邻值的值。如果该值较小，执行一个退出操作，因为这意味着该像素非常适应所处的环境。在该步骤中，要考虑光子发射噪声(D0*(max(Gi)-BOR))以及附加的全部黑的噪声4(σ)，即(D0*(max(Gi)-BOR)+σ)。应当注意BOR电平2用于移位信号视频，因此，如果一个信号视频利用某信号的一个百分比，其不得不涉及BOR电平2，而不是零。这就是使用“max(Gi)-BOR”的原因。实验结果表明D0的一个最佳值是12.5％。在某些条件下(所述条件取决于成像器所检查的光束的增益和特性)，更小的D0值会给出更好的结果。为此，提供了另一个6.25％的可编程值。
在涉及C’的第三部分，特别是C-1’，C’-3，C1’和C3’，执行测试从而确定测试中的像素G0是否具有一个高于其相同彩色平面内的邻近像素的值，以及在不同彩色平面的邻近像素中是否存在阶跃变化(steptransition)。
如果一个测试中的像素相应于一个细小行(或者一个小特征)，并且它不是一个缺陷，那么非常可能来自于一个场景的一些光线被定向到不同彩色平面的紧挨着的邻近像素上，因此产生一个阶跃变化。
如果在其他的彩色平面中发现了一个阶跃变化，像素不能被检测为一个缺陷。为了进行这种判断，不同信号之间的差应当超出噪声4(σ)。就通过附图3中的“Ri-Rj＞σ”来测试。脚标i，j可以采用附图3和4中所示的值1，-1，3或者-3。
参照附图4，应当注意，关于计算噪声4(σ)的方式，其通常等于噪声的真实方差值的3和6倍。因此如果Ri-Rj＞σ，则Ri和Rj不可能都等于低于黑色偏移寄存器电平2(BOR)的值，如图1所示。在附图4中示出了一个这样的例子。在附图4所示的每种情况下，至少一个Ri，Rj的值超出了黑色偏移寄存器电平2(BOR)。Ri-Rj的差值用箭头表示。
附图5表明了一个处理器设备或者一个信号处理器装置的优选实施例的设计说明，其中设计说明包括附图1所示的σ-计算。
如图5所示，一旦检测到缺陷就将其校正。这样校正最好通过利用内插的图像采样数据代替缺陷图像采样数据来执行。这种内插可以在一个矩阵的一维内插中考虑邻近者。但是，二维内插是也是有利的。
而且，还提供了一个移位寄存器以及一个中间存储器，最好尺寸为1×512。
下面将参照附图5详细描述σ计算。
原则上一个传感器存在两种操作模式，快照模式(1)或者视频模式(2)。对两种模式提供一个特定的定时波形和特定的σi(i＝1，2)。对于快照模式，提供一个σ1-值。对于视频模式，提供一个σ2-值。
“快照”位用于区别两种模式：
快照＝1→快照模式，
快照＝0→视频模式。
堆栈中用作门限电平的位置，被指定为一个3-位寄存器“N_largest”。
在快照模式下，通过输入脉冲“snap_kp”检测黑像素的有效性：
snap_kp＝1→输入数据被用于σ计算，
snap_kp＝0→输入数据不用于σ计算。
在视频模式下，输入“kp”与快照模式下的“snap_kp”具有同样的目的。输入“clk”和“rst”分别涉及时钟和复位。而且，还提供输入“r_dpc_param”，“grey_mem_add”，“di”和“bor”，并且还有输出“do”。
在控制寄存器中编程“snapshot”和“N_largest”。
| RECOFF | REOCRS | SNAPSHOT | N_largest2 | N-largest1 | N-largest0 |
在快照模式，在读取激活像素值前，应获得σ1-值，而在视频模式，在一帧的结束计算σ2-值，并且将该值应用到下一帧。在两种模式下，在每个新的帧开始时，复位堆栈，如图1所示。这样，校正更新和计算σi需要三个输入：
1.new_frame＝1→复位堆栈
2.end_frame＝1→在视频模式，标记一帧的结束并且将其用于更新σ
3.end_black_rows＝1→在快照模式，标记黑色行的结束
信号“end_frame”和“end_black_rows”仅可以在操作的一种特殊模式下互相排他地生成。
在快照模式，用两个3-位寄存器“Srow”(开始行)和“Erow”(结束行)指定用于σ1的黑色行的开始和结束，“Srow”和“Erow”都可以包含在一个单独的寄存器当中：
| - | - | Erow2 | Erow1 | Erow0 | Srow2 | Srow1 | Srow0 |
在附图5的设计说明中，缺陷像素检测和校正应用如下。为了更加灵活的进行缺陷像素检测，在下面的字节中包含几种可编程的选择：
| - | Cor_avg | NumNei | D1.2 | D1.1 | D0 | EnMem | Encor |
“NumNei”(邻近像素的数目)定义了被考虑用于执行相同彩色平面的邻近测试B’的邻近像素数目。
“NumNei”的值：0→左侧两个邻近像素，右侧两个邻近像素
1→左侧三个邻近像素，右侧三个邻近像素
“NumNei”的缺省值：0
D1.2，D1.1用于对于上述的不同彩色平面，即不同步骤尺寸，具有如上所列不同的D值。下面的表格中表明了D1.2，D1.1的几个值的例子：
| D1.2 | D1.1 | D |
| 0 | 0 | 0 |
| 0 | 1 | 6.25％ |
| 1 | 0 | 12.5％ |
| 1 | 1 | 25％ |
{D1.2，D1.1}的缺省值是{10}，这意味着D＝12.5％。D0用于测试相同彩色平面内的邻近像素。
D0的值：1→12.5％
0→6.25％
D0的缺省值：1
“EnMem”用于从先前行可获得更多信息，从而避免校正非常细小的行。
“EnMem”的值：1→使用先前行的信息
0→不使用先前行的信息
“EnMem”的缺省值：1
“Encor”用于启动或者禁用像素校正
“Encor”的值：1使用校正算法
0→不使用校正算法
“Encor”的缺省值：1
“Cor_avg”用于表示像素被校正的方式。
“Cor_avg”的值：1使用邻近的平均值
0→使用最大的邻近值
“Cor_avg”的缺省值：1
总之，建议了一种用于对被称为错误图像采样数据的一个像素矩阵的废弃或者干扰像素的像素信息进行动态恢复的实时像素校正算法。该算法能够用于CCD和CMOS成像器。
附图标记列表
1 堆栈
2 黑色偏移寄存器电平(BOR)，用户编程
3 门限＝噪声电平的最大值
4 伪方差
σ＝门限-BOR＝噪声分布
5 泄漏
6 像素数
7 像素名称
8 测试中的像素
9 Gi-指定为绿色的像素
10 Ri-指定为红色的像素
A’ 意义测试
B’ 相同彩色平面的邻近测试
C’ 不同彩色平面的邻近测试
C’-1，C’1 最邻近比较
C’-3，C’3 次邻近比较
D’ 相关性测试
Claims (23)
1.从多个图像采样数据中检测缺陷图像采样的错误图像采样数据的方法，多个图像采样数据包括分配了第一彩色的第一数目图像采样数据以及分配了第二彩色的至少第二数目的图像采样数据，其中测试中的图像采样数据相对于其它图像采样数据而被测试并且
-相对于被分配了与测试中的图像采样数据所分配的彩色相同的其它图像采样数据执行第一种测试；以及
-相对于被分配了与测试中的图像采样数据所分配的彩色不同的进一步的其它图像采样数据执行第二种测试。
2.根据权利要求1所述的方法，特征在于一个图像采样数据包括与一个图像采样相对应的像素值。
3.根据前面任何一个权利要求所述的方法，特征在于将测试中的图像采样数据与一个门限值进行比较，特别是与噪声电平的最大值进行比较。
4.根据权利要求1所述的方法，特征在于第一或者第二种测试基于最大数值比较。
5.根据前面任何一个权利要求所述的方法，特征在于图像采样数据被安排在堆栈中，并且从中定义图像采样数据的偏移、门限和方差。
6.根据权利要求3所述的方法，特征在于门限被定义为方差和偏移的和。
7.根据权利要求5或6所述的方法，特征在于测试包括将至少两个图像采样数据的差值相对于方差进行比较。
8.根据权利要求5-7中任何一个所述的方法，特征在于相对于多种模式为方差定义各种方差值，特别是相对于快照模式定义第一方差值，相对于视频模式定义第二方差值。
9.根据前面任何一个权利要求所述的方法，特征在于第一或者第二种测试考虑噪声电平校正。
10.根据前面任何一个权利要求所述的方法，特征在于第一或者第二种测试本质上基于图像采样数据一维矩阵或者二维矩阵中的邻近比较。
11.根据权利要求1-10所述的方法，特征在于再一个第二种测试包括从以下的组中选择的至少一种测试，所述组包含：最邻近比较，次邻近比较，更邻近比较。
12.根据前面任何一个权利要求所述的方法，特征在于执行似然性测试作为第三种测试，特别是似然性测试考虑先前的和/或以后的测试。
13.根据前面任何一个权利要求所述的方法，特征在于实时性能，特别是避免使用缺陷存储器。
14.根据前面任何一个权利要求所述的方法，特征在于应用一个彩色参数来区别相对于分配了相同彩色的图像采样数据的测试和相对于分配了不同彩色的图像采样数据的测试。
15.图像处理方法，其中
-光学***向一个图像彩色传感器提供一幅图像，所述传感器适于检测各种彩色，特别是红、绿或蓝，并且将图像检测为多个图像采样，并且其中
-从图像传感器的每个单独图像采样读出图像采样数据，并且图像采样数据包括彩色信息，特别是红、绿或蓝的彩色信息，
-在图像信号中，从图像传感器向信号处理器传送图像采样数据，以及
-信号处理器从图像信号种推导出一个视频输出，其中缺陷图像采样中的错误图像采样数据被检测并且根据多个图像采样数据进行校正，其中
图像采样数据被测试，从而检测错误图像采样数据并且通过利用校正的图像采样数据代替错误图像采样数据来校正错误的图像采样数据，
特征在于
多个图像采样数据包括分配了第一彩色的第一数目的图像采样数据以及分配了第二彩色的至少第二数目的图像采样数据，并且其中
对于测试中的图像采样数据，检测包括步骤：
-将测试中的图像采样数据与门限值进行比较，
-相对于分配了与测试中的图像采样数据所分配的相同彩色的其它图像采样数据执行第一种测试，
-相对于分配了与测试中的图像采样数据所分配的不同彩色的进一步的其它图像采样数据执行第二种测试，
-执行似然性测试作为第三种测试，考虑所述进一步的其它图像采样数据的一个先前和/或以后的测试。
16.根据前面任何一个权利要求所述的方法，特征在于为了检测和校正，提供了一个移位寄存器、一个门限计算和一个存储器。
17.根据权利要求15或者16所述的方法，特征在于校正包括内插。
18.根据权利要求16所述的方法，特征在于提供了一个一位行存储器或者一个二位行存储器。
19.根据权利要求15所述的方法，特征在于图像传感器的读出是一个串行读出。
20.一种用于从一个图像信号中推导出一个视频输出的处理器设备，包括一个存储器和一个处理单元以及一个能够与一个光电图像传感器以及监视器相连的接口，其适于执行权利要求1-14的任何一个所述的检测方法。
21.一种成像器***，包括一个光学***、一个光电图像传感器和一个适于执行权利要求15-20任何一个所述的图像处理方法的处理器设备。
22.根据权利要求21所述的成像器***，其中光电图像传感器由一个从以下的组中选择的传感器构成，所述组包括：一个CMOS成像器、一个CCD成像器、一个电荷传送成像器、一个电荷注入设备、一个戽链式成像器以及一个RGB-拜耳图像传感器。
23.一种用于一个计算机***或者一个处理器设备的程序产品，其能够存储在一个介质上并且能够由计算机***或者处理器设备读取，该程序产品包括软件代码部分，当在计算机***或者处理器设备上执行该产品时，特别是当在权利要求21的处理器设备或者权利要求22或23中任何一个所述的图像***中执行时，软件代码部分引导计算机***或者处理器设备执行权利要求1-20中任何一个所述的检测方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP02077605 | 2002-07-01 | ||
| EP02077605.0 | 2002-07-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1666501A true CN1666501A (zh) | 2005-09-07 |
Family
ID=29797251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN03815788.8A Pending CN1666501A (zh) | 2002-07-01 | 2003-06-23 | 缺陷图像采样的错误图像采样数据的检测设备和方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20050243181A1 (zh) |
| EP (1) | EP1525744A1 (zh) |
| JP (1) | JP2005531974A (zh) |
| CN (1) | CN1666501A (zh) |
| AU (1) | AU2003244966A1 (zh) |
| WO (1) | WO2004004319A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100546343C (zh) * | 2006-10-26 | 2009-09-30 | 佳能株式会社 | 摄像设备和校正方法 |
| CN101222580B (zh) * | 2006-10-13 | 2010-11-03 | 索尼株式会社 | 成像***及像素缺陷校正装置 |
| CN101764926B (zh) * | 2008-09-29 | 2012-05-30 | 凹凸电子（武汉）有限公司 | 缺陷像素检测纠正设备、***及检测纠正缺陷像素的方法 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
| EP1594308A1 (en) * | 2004-05-07 | 2005-11-09 | Dialog Semiconductor GmbH | Single line Bayer filter RGB bad pixel correction |
| US8571346B2 (en) * | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
| US7750956B2 (en) | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
| US7920186B2 (en) | 2006-01-19 | 2011-04-05 | Qualcomm Incorporated | Method and apparatus for defective pixel detection based on the human visual system |
| US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
| DE202006007875U1 (de) | 2006-05-15 | 2007-09-20 | Big Dutchman International Gmbh | Eierzählsensor |
| US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
| US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
| US20080245954A1 (en) * | 2007-04-03 | 2008-10-09 | Lite-On Semiconductor Corporation | Color sensitive device with temperature compensation and variable gain and display system using the same |
| TWI375290B (en) * | 2007-04-26 | 2012-10-21 | Visera Technologies Co Ltd | Test system and method |
| US8724895B2 (en) | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
| US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
| US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
| US8780128B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
| US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
| US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
| US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
| US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
| US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
| CN102752625A (zh) * | 2012-06-19 | 2012-10-24 | 广东欧珀移动通信有限公司 | 一种摄像头模组暗电流噪声的测试方法 |
| CN102855189B (zh) * | 2012-08-09 | 2015-09-09 | 中标软件有限公司 | 办公软件兼容性测试方法及其装置 |
| US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
| US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
| US9382070B2 (en) | 2012-10-24 | 2016-07-05 | Big Dutchman International Gmbh | Conveyor and method to convey animal products in an agricultural business |
| US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
| US9418400B2 (en) | 2013-06-18 | 2016-08-16 | Nvidia Corporation | Method and system for rendering simulated depth-of-field visual effect |
| US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
| US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
| DE202014007282U1 (de) | 2014-09-12 | 2015-12-16 | Big Dutchman International Gmbh | Dosiervorrichtung |
| DE202016105370U1 (de) | 2016-09-27 | 2018-01-02 | Big Dutchman International Gmbh | Fütterungsvorrichtung für Geflügeltiere |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4253120A (en) * | 1979-12-05 | 1981-02-24 | Rca Corporation | Defect detection means for charge transfer imagers |
| BE1007354A3 (nl) * | 1993-07-23 | 1995-05-23 | Philips Electronics Nv | Signaalcorrectieschakeling. |
| KR960003298A (ko) * | 1994-06-02 | 1996-01-26 | 이헌조 | 캠코더의 촬상관 결점보상 방법 및 장치 |
| US5546091A (en) * | 1994-11-23 | 1996-08-13 | Hughes Aircraft Company | Psuedo-color display for enhanced visual target detection |
| GB9816088D0 (en) * | 1998-07-23 | 1998-09-23 | Axis Biochemicals Asa | System |
| US6529622B1 (en) * | 1998-10-30 | 2003-03-04 | General Electric Company | Method and apparatus for identifying defective regions in a discrete pixel detector |
| US6625318B1 (en) * | 1998-11-13 | 2003-09-23 | Yap-Peng Tan | Robust sequential approach in detecting defective pixels within an image sensor |
| EP1158766A1 (en) * | 2000-05-24 | 2001-11-28 | Hewlett-Packard Company, A Delaware Corporation | Method and apparatus for selection of items |
| JP2002010274A (ja) * | 2000-06-20 | 2002-01-11 | Olympus Optical Co Ltd | カラー画像処理装置 |
| JP3636046B2 (ja) * | 2000-07-31 | 2005-04-06 | 株式会社日立国際電気 | 固体撮像素子の画素欠陥検出方法およびその方法を用いた撮像装置 |
-
2003
- 2003-06-23 JP JP2004517150A patent/JP2005531974A/ja not_active Withdrawn
- 2003-06-23 CN CN03815788.8A patent/CN1666501A/zh active Pending
- 2003-06-23 AU AU2003244966A patent/AU2003244966A1/en not_active Abandoned
- 2003-06-23 EP EP03738440A patent/EP1525744A1/en not_active Withdrawn
- 2003-06-23 WO PCT/IB2003/002940 patent/WO2004004319A1/en not_active Application Discontinuation
- 2003-06-23 US US10/519,052 patent/US20050243181A1/en not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101222580B (zh) * | 2006-10-13 | 2010-11-03 | 索尼株式会社 | 成像***及像素缺陷校正装置 |
| CN101800848B (zh) * | 2006-10-13 | 2012-11-28 | 索尼株式会社 | 成像***及像素缺陷校正装置 |
| CN100546343C (zh) * | 2006-10-26 | 2009-09-30 | 佳能株式会社 | 摄像设备和校正方法 |
| CN101764926B (zh) * | 2008-09-29 | 2012-05-30 | 凹凸电子（武汉）有限公司 | 缺陷像素检测纠正设备、***及检测纠正缺陷像素的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20050243181A1 (en) | 2005-11-03 |
| EP1525744A1 (en) | 2005-04-27 |
| WO2004004319A1 (en) | 2004-01-08 |
| JP2005531974A (ja) | 2005-10-20 |
| AU2003244966A1 (en) | 2004-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1666501A (zh) | 缺陷图像采样的错误图像采样数据的检测设备和方法 | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US8576309B2 (en) | Pixel defect correction device, imaging apparatus, pixel defect correction method, and program | |
| US8253828B2 (en) | Image capture device including edge direction determination unit, and image processing method for the same | |
| US7911514B2 (en) | Defective pixel correction device | |
| CN1732693A (zh) | 像素缺陷检测和校正设备以及像素缺陷检测和校正方法 | |
| CN1226877C (zh) | 图像***装置 | |
| US20050099516A1 (en) | Error calibration for digital image sensors and apparatus using the same | |
| CN1960439A (zh) | 图像信号处理的方法和装置 | |
| CN1914580A (zh) | 通过外推来对图像场数据进行建模的技术 | |
| CN101047798A (zh) | 图像传感器 | |
| CN1526242A (zh) | 信息存储设备及其方法 | |
| CN101049011A (zh) | 镜头滑移校正方法和设备 | |
| CN1856042A (zh) | 固态图像拾取设备、其驱动方法和图像拾取装置 | |
| CN1700744A (zh) | 成像装置和成像方法 | |
| JP2002010274A (ja) | カラー画像処理装置 | |
| CN1617563A (zh) | 隐藏带测试模式的图像传感器中的缺陷像素的方法 | |
| CN102204239B (zh) | 基于单一行的缺陷像素修正的***和方法 | |
| TW201334526A (zh) | 適應性影像處理方法及其相關裝置 | |
| CN1604613A (zh) | 成像设备 | |
| US20040189836A1 (en) | System and method for compensating for noise in image information | |
| JP4331120B2 (ja) | 欠陥画素検出方法 | |
| JP5309940B2 (ja) | 画像処理装置、および撮像装置 | |
| CN1606330A (zh) | 图像处理设备和图像处理方法 | |
| JP2010193100A (ja) | 画像読み取り装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Open date: 20050907 |