CN101658027B - 用于图像帧的降噪方法和单元 - Google Patents

用于图像帧的降噪方法和单元 Download PDF

Info

Publication number
CN101658027B
CN101658027B CN2008800111539A CN200880011153A CN101658027B CN 101658027 B CN101658027 B CN 101658027B CN 2008800111539 A CN2008800111539 A CN 2008800111539A CN 200880011153 A CN200880011153 A CN 200880011153A CN 101658027 B CN101658027 B CN 101658027B
Authority
CN
China
Prior art keywords
value
pixel
packing
pixel value
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800111539A
Other languages
English (en)
Other versions
CN101658027A (zh
Inventor
Z·雷
C·昂鲁
M·西迪奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Deutschland GmbH
Original Assignee
Sony International Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony International Europe GmbH filed Critical Sony International Europe GmbH
Publication of CN101658027A publication Critical patent/CN101658027A/zh
Application granted granted Critical
Publication of CN101658027B publication Critical patent/CN101658027B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于当前图像帧中的降噪的方法，其中当前图像帧是图像帧序列的一部分，包括比较当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的该像素的对应像素值；如果当前像素值和对应像素值之间的像素差低于像素阈值，则确定当前像素值和对应像素值的堆积值，其中像素阈值取决于对应像素值和/或当前像素值。还提供了用于块和颜色处理的对应方法以及降噪单元。

Description

用于图像帧的降噪方法和单元
技术领域
本发明涉及用于当前图像帧中的降噪方法以及用于降低当前图像帧中的噪声的降噪单元。本发明还涉及图像捕获装置。本发明还涉及图像显示装置以及计算机程序产品。 
背景技术
现今，在许多电子装置和消费者装置中，使用成像技术以便提供信息或多媒体娱乐。为了确保所传送的图像信息的高质量再现，通常使用降噪方法。常规技术会遇到运动伪影的问题，尤其是在低对比度的图像区域中更是如此。在那些区域中，这些算法不能区别期望的图像内容和噪声干扰。结果，由时间(temporal)降噪滤波器造成运动伪影。噪声水平越高，常规技术所遇到的问题越严重。 
除了运动伪影之外，还可能面临如何保持所讨论图像的自然印象(impression)的挑战。 
发明内容
本发明的目标是避免这样的问题。 
该目标是通过分别根据权利要求1、27、37、38和39的方法、降噪单元、图像捕获装置、图像显示装置和计算机程序产品而实现的。 
进一步的实施例被限定在从属权利要求中。 
本发明的进一步细节将通过考虑附图和随后描述而变得显而易见。 
附图说明
图1示出了本发明的一个实施例的主要步骤， 
图2示出了本发明的进一步实施例的框图， 
图3示出了本发明的进一步实施例的框图， 
图4示出了本发明的进一步实施例的框图， 
图5示出了用于确定像素的像素权重因子(weight factor)的实施例， 
图6示出了用于确定像素的像素权重因子的进一步实施例， 
图7到11是用于说明根据本发明实施例的堆积(piling)过程的图示， 
图12A、12B示例性地示出了用于根据像素值确定像素阈值的曲线图， 
图13A-C关于不同取心(coring)结构说明了本发明的实施例。 
图14A、B是用于关于块权重因子说明本发明实施例的示意框图。 
图15是用于关于颜色权重因子说明本发明实施例的示意框图。 
图16是用于关于累积权重因子说明本发明实施例的示意图。 
图17A、17B示出了用于确定堆积值的实施例的框图。 
图18示出了根据本发明实施例的降噪单元的框图。 
图19A-19D是用于关于所谓的噪声掩盖(noise concealment)的子过程说明本发明实施例的示意框图， 
图20是用于关于其整体结构进一步说明本发明实施例的示意框图。 
图21是用于在图像处理方法和***的意义上说明本发明实施例的更详细示意框图。 
图22A、B是用于关于预处理方面说明本发明实施例的进一步细节的示意框图。 
具体实施方式
下面描述本发明的实施例。重要的是注意，下面所有描述的实施例以及其性质和技术特征可以任何方式进行组合，即不存在某些描述的实施例、性质和技术特征不能与其他实施例、性质和技术特征进行组合的限制。 
在图1中，在步骤S100，将当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的像素的对应像素值进行比较，所述至少一个相邻图像帧在图像帧的序列或集合中在时域上与当前图像帧相邻。所述图像帧被布置成序列或集合并且可能被作为图像捕获装置的用于静止图像的数字照相机或摄像机获取。图像帧还可能被称为“图像”或“帧”。相邻图像帧是在该序列中相对于当前图像帧的先前图像帧或接下来(next)的图像帧。在该序列中在当前图像帧之前或当前图像帧之后的、但不必是该图像帧序列或集合中的直接邻居的图像帧也可能被称为“相 邻”图像帧。 
像素的对应像素值被视为是具有与该像素的当前像素值相同类型信息的像素值，例如对应像素值以及当前像素值都可能表示亮度或色度或者另一用于描述相同测量类别的值。 
在步骤S102，确定当前像素值和对应像素值之间的像素差。更进一步，检查该像素差是否低于像素阈值。所述像素阈值取决于对应像素值和/或当前像素值。 
在步骤S104，根据当前像素值和对应像素值确定堆积值。 
措辞“堆积值(piled-up value)”指的是根据当前像素值和对应像素值计算的值，该值可能是例如当前像素值和对应像素值的平均值或加权平均值或加权中值。还可能使用其他统计算符，其中当前像素值和对应像素值两者的影响都存在。 
换言之，当来自不同图像帧的像素值差异不太大时，对像素值进行平均。利用这种方法，能够避免因连续图像帧之间的运动所致的伪影。如果对象在图像帧的区域内移动，则对象区中的连续图像帧的像素值会显著不同。在这种情况下，如果应用堆积值操作或平均值操作，则该运动会极大地影响堆积值操作。这还可能导致移动对象在最终图像中不再可见的后果，原因在于不移动的背景会对堆积值具有强得多的影响。如果在用于堆积值操作的某个时间间隔期间，例如移动对象在该像素处仅存在该时间间隔的十分之一，则背景的像素值可能用于最终堆积值的9/10而移动对象的像素值仅用于最终平均像素值的1/10。在这个实施例中，在这种情况下将不存在堆积值计算，使得具有移动对象的当前图像将保持与其最初被拍摄的一样。所述阈值可以被存储在查找表(LUT)中。堆积值的确定在本说明书中也被称为“堆积(piling)”。 
用于区分图像内容与噪声的阈值可以对应于图像噪声水平(noiselevel)。因而，当选择阈值时可以把噪声统计量考虑在内。例如，图像噪声可能不是高斯分布的，即噪声方差或其他类似统计量不是恒定的而是泊松分布的，即其方差与图像像素值成比例。因而，可能自适应地选择阈值。然而，阈值还可能被选择为对于所有像素值是恒定的，在TV传输中所出现的模拟高斯白噪声(Analog White Gaussian Noise，AWGN)的情况下尤其如此。 
在进一步的实施例中，确定像素权重因子，其取决于像素差；其中 在确定堆积值的步骤中，像素权重因子被用来减小对应像素值对堆积值的影响。在本说明书内，“像素权重因子”还被称为“来自像素的堆积因子”。 
所谓的取心技术有时候被用来分离噪声与图像内容。输入通常是差信号，将该输入与阈值进行比较。根据比较结果，取心过程的输出将支持(in favour of)噪声或者图像内容。逻辑或硬取心是取心技术的其中一种变型。其实施简单。其输出具有两种状态：真(1)或假(0)。软取心或模糊取心是取心技术的另一种变型。其输出具有在真(1)和假(0)之间的过渡状态以致通常能够很好地避免脉冲噪声。此外，由于过渡状态，对阈值的要求通常不像硬取心技术那样苛刻。存在其他种类的也能够应用于相同目的的取心技术。 
取心技术可能还被用来识别失效的运动补偿。 
在进一步的实施例中，把当前图像帧和该至少一个相邻图像帧划分成多个块；基于包括该像素的相应块的当前像素值确定当前块堆积值；基于所述相应块的对应像素值确定对应块堆积值；将当前块堆积值与对应块堆积值进行比较；并且如果当前块堆积值和对应块堆积值之间的块差低于预定块阈值，则确定该堆积值。通过这个实施例，可以有效地降低图像帧内的脉冲噪声，原因在于脉冲噪声不会导致大的块差。 
对应块堆积值被视为是具有与当前块堆积值相同类型信息的块堆积值，例如对应块堆积值以及当前块堆积值都可能表示亮度或色度或者另一用于描述相同测量类别的值。块堆积值可能是块平均值或块中值或者另一描述块中像素值的平均的统计值。 
逐块处理与逐像素处理相比通常对噪声不那么敏感，因为它倾向于评估所讨论的两个块的所有像素，例如对两个块的所有像素的绝对差一起进行相加。同时，降低了单个像素的影响。 
该块可以从图像的左上部移到右下部。为了避免块伪影(blockingartefact)，可以叠加这些块。为了节省计算负荷，可以使用中间运动估计结果，例如匹配准则的SAD(SAD＝绝对差之和)(若适用的话)。优选的是根据通过空间降噪滤波器所预先滤波的图像来计算SAD。代替SAD，还能够应用其他中间运动估计结果，例如MSE(均方误差)或互相关系数。 
如果运动估计没有被应用于帧堆积***，或者中间运动估计结果由 于与数据传输有关的ASIC设计问题而不便于从前端传输到后端，则能够在单独的步骤中计算SAD值。即，根据输入数据或其他类似度量来直接计算SAD。 
在进一步的实施例中，根据块差来确定块权重因子；其中在确定堆积值的步骤中，块权重因子被用来减小对应像素值对堆积值的影响。该块权重因子在本说明书内也被称为来自块的堆积因子。块堆积值可能是该块的像素的像素值的绝对差之和。如同逐像素处理，逐块处理结果还经过取心技术。 
在进一步的实施例中，当前像素值和对应像素值描述像素的亮度。 
在进一步的实施例中，当前像素值和对应像素值描述像素的色度。 
在进一步的实施例中，为每个像素提供多个像素值，所述多个像素值描述像素在色空间模型中的色值，其中如果像素的该多个像素值的每个像素值之间的色差低于相应阈值，则确定该多个像素值的每个像素值的堆积值。 
像素的对应色值被视为是具有与该像素的当前色值相同类型信息的色值，例如对应色值以及当前色值都可能表示特殊的测量类别，例如HSV(色调、饱和度、值)的色调值或饱和度值或者YUV色空间的Cb-或Cr-色度值或者另一用于描述相同测量类别的值。 
在进一步的实施例中，根据色差来确定颜色权重因子；其中在确定堆积值的步骤中，颜色权重因子被用来减小对应像素值对堆积值的影响。该颜色权重因子在本说明书内也被称为来自颜色的堆积因子。 
可以利用颜色信息来帮助区别期望的图像内容和噪声干扰。为了这个目的，能够利用颜色恒常性原理或色差度量，例如CIEΔE*简写为dE*，即在由CIE Lab/Luv坐标表示的两个颜色之间的欧几里德距离或直线距离[注意：CIE＝国际照明委员会]。可以对颜色分量进行强的滤波以降低颜色噪声的影响，其中利用对人类视觉***的知识。区别决策是借助于对人类视觉***的知识而做出的，并且与图像素材无关。根据所讨论的两个颜色像素(color pixel)计算的“色差”与“阈值”之间的比较结果被应用来区别期望的图像内容和噪声干扰。 
在进一步的实施例中，色空间(例如YUV色空间)的亮度值、第一色度值和第二色度值被用作所述多个像素值的相应像素值。通过使用YCbCr色空间，与在RGB和HSV空间中相比能够更有效地降低噪声。因而， “色差”是从YCbCr色空间计算的。 
在进一步的实施例中，基于像素值之差、基于块堆积值之差以及基于色值之差确定累积权重因子，其中在确定堆积值的步骤中，累积权重因子被用来减小对应像素值对堆积值的影响。累积权重因子在本说明书内也被称为“总堆积因子”。 
在进一步的实施例中，如果颜色权重因子的分辨率低于像素权重因子的分辨率，则颜色权重因子被上采样至像素权重因子的分辨率。“上采样”必须处理不同的输入图像格式，例如4∶2∶2。根据输入图像格式，累积权重因子例如就U分量和V分量进行下采样，例如在4∶2∶2格式的情况下按2进行下采样(downsample by 2)。 
在进一步的实施例中，不移动对象的图像帧的前序列(pre-sequence)被存储，通过对图像帧的前序列的一个像素的像素值进行平均而生成降噪图像，通过比较图像帧的前序列的像素的像素值来确定像素值的方差，并且根据该方差确定像素阈值。利用这个实施例，确定简单可靠的像素阈值，该阈值取决于像素值。 
在进一步的实施例中，估计该序列的图像帧之间的运动并且补偿该运动以便空间对准该序列中的连续图像，由于像素调整到图像中的对象，这导致更好的降噪。这可能通过利用关于当前帧的运动内插/传播来执行。在另一种情形下，可能关于当前帧在该序列中的每个帧之间估计该运动。通过使用这个直接估计，运动补偿的质量可能得以提高，并且因此降噪图像的整体质量也可能得以提高。这种情形例如可以应用于软件实施例中，其中用户可以选择该序列中的任何帧进行降噪并且一旦完成了此就能够应用空间对准。对于硬件实施方式而言，由于诸如帧存储器等之类的硬件限制，第一情形(即空间对准连续图像)可能是可应用的。 
在进一步的实施例中，在比较当前像素值和对应像素值的步骤之前，对像素值进行空间滤波。 
在进一步的实施例中，确定图像帧的像素的堆积值的差值，并且如果该差值低于差异阈值，则在图像帧的相邻像素的堆积值之间执行空间降噪。该差值可能是方差值。空间降噪在本说明书中也被称为“噪声掩盖(noise concealment)”。噪声掩盖意指对非堆积或较少堆积区域的空间降噪。空间降噪能够由任何边缘保持滤波器来实现。然而，已知 的空间降噪方法会造成图像锐度损失。期望的是掩盖噪声并且使图像锐度损失保持尽可能小。 
通常，仅在高频区域中遇到图像锐度损失问题。因此，可能检测高频信号区域。一种方法是检查方差值或本领域技术人员已知的类似度量。如果方差值很大，则断定所讨论的图像区域含有高频信号。否则，所讨论的图像区域仅含有低频信号。 
能够在重叠或非重叠窗口中计算该方差或类似度量。为了提高高频信号区域检测的可靠性，能够根据按比例缩小(down-scaled)的图像计算方差或类似度量。 
空间降噪可以仅被应用于低频区域。在高频信号的区域中，不应用或应用较少的空间降噪，这起到锐度保持乃至增强的作用。 
在进一步的实施例中，空间降噪量是基于差值的。 
在进一步的实施例中，确定当前图像帧中的纹理区域和均匀区域；并且纹理区域的累积权重因子是基于两个差(即像素差和块差)的。 
在进一步的实施例中，确定当前图像帧中的纹理区域和均匀区域并且均匀区域的累积权重因子是基于像素差、块差和色差的。 
可能造成颜色模式干扰(color pattern disturbance)。这样的颜色模式干扰通常仅在平坦图像区域中才明显。为了纠正这个问题，可以识别均匀区域或纹理区域。从像素差和块差导出均匀区域的堆积因子，而从像素差、SAD和色度差导出纹理区域的堆积因子。 
在进一步的实施例中，存储该序列的多个图像帧的权重因子并且确定堆积值的步骤S104是基于该多个图像帧的像素值和权重因子。 
在进一步的实施例中，存储在前图像帧的堆积值，并且确定当前图像帧的堆积值的步骤S104是基于在前图像帧的堆积值。因此不必存储整个参考帧使得能够降低存储器要求。 
在进一步的实施例中，在比较当前像素值和对应像素值的步骤之前，生成具有参照像素值的参考帧，该参考帧被视为该序列的第一图像帧。 
在进一步的实施例中，确定堆积值的步骤S104是基于参考帧的参考像素值。所谓的“递归方法”不要求保存所有帧，这就导致低存储器要求。对于递归方法，先前堆积结果被保存并且将被应用于与当前帧的帧堆积。递归帧堆积方法具有两种变型。开始时，参考帧被用来初始化先前堆积结果。 
在进一步的实施例中，像素阈值基于参考帧的参考像素值。 
在进一步的实施例中，像素阈值基于在前图像帧的堆积值。 
在图2中，描绘了用于降低当前图像帧中的噪声的降噪单元200。该降噪单元包括：像素比较器202，被配置成比较当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的该像素的对应像素值；以及处理器204，被配置成如果当前像素值和对应像素值之间的像素差低于像素阈值则确定当前像素值和对应像素值的堆积值，其中像素阈值取决于对应像素值和/或当前像素值。 
降噪单元200可能被实现为数字或模拟电路。换言之，当来自不同图像帧的像素值相差不太大时，如关于图1已经讨论的，对像素值进行平均。能够避免因连续图像帧之间的运动引起的伪影。 
根据进一步的实施例，像素比较器202被进一步配置成根据像素差来确定像素权重因子；并且处理器204被进一步配置成基于像素权重因子来确定堆积值以便减小对应像素值对堆积值的影响。 
根据进一步的实施例，降噪单元200包括块比较器，该块比较器被配置成将当前图像帧和该至少一个相邻图像帧划分成多个块、并且根据包括该像素的当前图像帧的相应块的当前像素值确定当前块堆积值以及根据包括该像素的相邻图像帧的该相应块的对应像素值确定对应块堆积值、并且比较当前块堆积值和对应块堆积值。 
根据进一步的实施例，降噪单元200可以包括块比较器，该块比较器被配置成接收当前图像帧的当前块堆积值、接收相邻图像帧的对应块堆积值并且被进一步配置成比较当前块堆积值和对应块堆积值。 
根据进一步的实施例，块比较器被进一步配置成根据当前块堆积值和对应块堆积值之间的块差来确定块权重因子；并且处理器被进一步配置成基于块权重因子来确定堆积值以便减小对应像素值对堆积值的影响。 
根据进一步的实施例，降噪单元200包括颜色比较器，该颜色比较器被配置成将当前图像帧内的像素的当前色值和至少一个相邻图像帧中的该像素的对应色值进行比较；其中该处理器被进一步配置成如果当前色值和对应色值之间的色差低于颜色阈值则确定堆积值。 
根据进一步的实施例，颜色比较器被进一步配置成根据当前色值和对应色值之间的色差来确定颜色权重因子；并且该处理器被进一步配置 成基于颜色权重因子来确定堆积值以便减小对应像素值对堆积值的影响。 
根据进一步的实施例，降噪单元200包括查找表，该查找表被配置成存储与像素值相关的阈值。 
根据进一步的实施例，降噪单元200包括运动估计及运动补偿机构。 
根据进一步的实施例，降噪单元200包括噪声掩盖机构，该噪声掩盖机构被配置成确定图像帧的像素的堆积值的差值并且如果该差值低于差异阈值则执行图像帧的相邻像素的堆积值之间的空间降噪。 
在图3中，描绘了图像显示装置300，例如电视机或监视器，其包括显示器302和如上所描述的降噪单元200。例如在视频游戏应用中或在显示影片中，图像显示装置300能够使用降噪单元的降噪来显示具有较少噪声的图像。 
在图4中，描绘了图像捕获装置400，例如视频图像捕获装置，其包括被配置成生成图像帧序列的光学设备402以及如上所描述的降噪单元200。图像捕获装置400可以使用降噪单元200的降噪来在存储芯片404上存储降噪图像。 
根据进一步的实施例，提供包括程序代码的计算机程序产品，所述程序代码当被加载到处理器内时被配置成执行上面描述的方法。 
图5和6示出了逐像素处理。“像素1”和“像素2”是来自待堆积的两个帧的两个像素。将它们差的绝对值与阈值/LUT值进行比较。然后，使比较结果经受取心处理500。这意味着对参考帧的每个像素做出模糊决策。使用选定的色空间YUV(可选地可以使用HSV色空间[色调、饱和度、值]的V分量)，基于像素的决策是基于YUV色空间的亮度通道的。亮度通道代表图像集合中所描绘的场景的黑到白(black-to-white)表示(典型地为8位；覆盖从0到255的值范围)。由于大多数信号信息被存储在Y通道中(色度通道含有低范围的值)的事实；将使用这个数据来解释实际的处理。 
图6示出了两个图像(两者均来自图像集合：一个是参考图像(例如图像Yn被视为参考图像))的基于像素的处理。 
假设运动补偿获得了“完美结果”(整体和局部运动都被完美补偿)，则在这种情况下两个信号被完全对准。图7描绘了在‘通过运动估计和补偿而完全对准’的假设下的这种情况。 
可以看到，信号I和II两者由于存在噪声而不等同。创建两者的差分信号的绝对值(参见图6；信号III)，能够假设留在信号III中的仅有信号分量代表噪声。差分信号示于图8中。 
使用基于对应信号处的亮度值的自适应阈值(查找表；LUT)。降噪能力的总性能很大程度取决于这个LUT的精确设计。如图6中可见，将被用来选择与亮度相关的阈值的亮度值是参考帧的空间滤波(降噪)版本。这样做的目的是为了对LUT被应用在其上的亮度值进行空间平滑。通过应用这个滤波器，能够避免LUT阈值的局部不连续性。 
如果在图9中取决于亮度值的阈值被应用于剩余噪声分量，则所有这些值应当小于自适应阈值。(根据亮度值的)自适应阈值也示于图9中。 
可以看到，与亮度值无关，剩余噪声分量小于这些阈值。这意味着所有那些像素可以被完全‘堆积’。在这种情况下，所有那些像素的基于像素的决策准则为1(权重＝1)。在根据图6所描绘的信号路径的正确处理之后，将从噪声分量中减去与亮度相关的阈值。由于所有值都低于自适应阈值，所以这个减去的结果是负的。即使它未示于图9中，但是低于零的那些逐像素结果(减去之后为负值)将被截取(clip)到零(并且因此在应用‘软取心’块之后这个基于像素的决策的最终决策值仍将为1，即“全堆积”那些像素)。 
在基于像素的准则的第一示例中已经假设待堆积的这两个图像是完全对准的(任何整体和/或局部的运动都已被补偿)。第二示例示例性示出了如果这两个图像是‘未完全对准的’(例如由于上面提及的原因；例如不正确的运动估计和补偿或者根本没有补偿)时基于像素的准则的性能。 
对于第二示例，图10B示出‘未对准图像’。由于阈值取决于经过空间滤波的参考帧的亮度值的事实，它们具有已经用于图10A所示的第一示例的相同值。 
通过应用图6所描绘的信号路径，图11中能够看到差分信号的绝对值。 
示出了由于非对准信号(在一些像素位置上的一些非对准信号)，差分值高于LUT阈值(由偏移ε表示；还参见图6，信号IV)。这进而指示空间对准不足并且这些位置和像素值应小心处理。如果‘全堆积’ 那些像素(两个亮度值的加权平均)，则效果是边缘变得模糊和/或运动伪影可能出现在结果中。 
使用硬取心技术，逐像素的决策将不堆积那些像素(这将由权重＝0表示)。但如图6中可见，存在软取心块600。软取心负责将剩余差分信号ε(还参见图6，信号IV)映射到例如从0到1的整个范围。 
为了合并已经用来获得(一个或多个)图像的传感器和/或人类视觉***(HVS)的噪声敏感度的一些先验知识，与值相关的阈值可以被建模/设计/指定以便合并这个附加信息，其效果是就可靠区分噪声和期望的信号而言决策会更加精确、鲁棒得多。 
可以应用以下步骤从而获得与强度相关的先验方差。稳定光源被用于成像。选择成像对象以使得所得到的图像能够代表整个值范围，例如对于8位数据范围而言该值从0到255。数字图像捕获装置可以被安装到三脚架上并且拍摄大量的无运动图像，例如20幅以上图像。每个单独图像可能表现出某种严重噪声。这些单独图像被平均以获得其噪声水平可忽略的参考图像。参考图像可以用于两个目的：作为用于噪声方差估计的无噪声图像以及其像素值被用作与值相关的阈值的索引(index)。利用这种方法，像素值阈值可能关于用于对应***的实际图像捕获装置(例如传感器特性)进行适配。 
用参考图像和噪声图像估计噪声方差(或其它统计结果，像例如绝对差的标准偏差)。在大图像尺寸的情况下，存在许多具有相同像素值的像素。对于每个像素值，计算其噪声水平。对于8位数据范围，总共生成256个噪声水平(从0到255)。在图12A中，描绘了对应曲线图。 
在下一步骤，与数据值相关的曲线(也称作查找表LUT)通过使用低通滤波器(优选地为递归滤波器)进行平滑。平滑后的方差曲线示于图12B中。还可能使用与数据值相关的曲线而无需低通滤波。 
由于递归滤波器的性质，在数据范围边界处的方差值缺失了(数据范围的上边界)。即使低通滤波器不造成缺失值，在数据范围边界处的方差值仍可能较小，因为与其它种类的像素相比存在更少的极暗或极亮像素。例如，标准电视信号的像素值从16变化到235。为了在数据范围的边界区处获得可靠的方差值，能够使用外插技术来生成这些值。 
在应用外插技术之后，获得整个数据范围的与数据值相关的阈值。也能够使用其它噪声水平估计方法和后处理技术。 
图13A到13C示出了如何可以应用映射的一些示例性特性曲线。通过在应用自适应阈值后使用软取心，能够避免二元决策‘全堆积’和‘不堆积’之间的突变，这尤其就降噪能力而言产生结果的更加平滑的总印象。 
在利用以下方程应用软取心之后，能够总结基于像素的处理的最终决策，而软取心曲线的实际形状由残差ε的函数(f(ε))根据比率的定义方程(1)来建模： 
Figure G2008800111539D00121
在图14A和14B中描绘逐块处理的实施例。逐块处理与逐像素处理相比通常对噪声不那么敏感，因为它倾向于评估所讨论的两个块的所有像素，例如对两个块的所有像素的差一起进行相加。同时，降低了单个像素的影响。 
该块通常从图像的左上部移到右下部。为了避免块伪影，应当叠加这些块(例如滑动窗口)。为了节省计算负荷，可以使用中间运动估计结果，例如匹配准则的SAD(SAD＝绝对差之和)(若适用的话)，并且运动估计已经成为预处理块的一部分。优选的是根据由空间降噪滤波器所预先滤波的图像来计算SAD，因为SAD对噪声干扰很敏感。代替SAD，还能够应用其他中间运动估计结果，例如MSE(均方误差)或互相关系数或者两个块之间的DC偏移。 
如果没有运动估计被作为预处理步骤应用于帧堆积***，或者中间运动估计结果由于与数据传输有关的ASIC设计问题而不便于从前端传输到后端，则能够在单独的步骤中计算SAD值。即，根据输入数据或本领域技术人员已知的其他类似度量来直接计算SAD。 
如同逐像素处理，逐块处理结果也经受取心技术，如图14A所描绘的取心块1400。关于软取心块1410(图14B)的使用的细节在讨论逐像素处理的部分中进行解释。 
图15以示意方式说明了用于颜色的特征/堆积因子pc的构成。可以看出，对于两个不同的图像或帧，组合两个相应颜色通道(例如b和r)。将绝对差之和与关于颜色水平的阈值进行比较以及对其应用取心(具体 地是应用软取心处理)产生用于颜色的特征/堆积因子pc。 
可以利用颜色信息来帮助区别期望的图像内容和噪声干扰。为了这个目的，能够利用颜色恒常性原理或色差度量-CIEΔE*简写为dE*，即在由CIE Lab/Luv坐标表示的两个颜色之间的欧几里德距离或直线距离[注意：CIE＝国际照明委员会]。可以对颜色分量进行强的滤波以降低颜色噪声的影响，其中再次利用对人类视觉***的知识。区别决策是借助于对人类视觉***的知识而做出的，并且与图像素材(imagematerial)无关。根据所讨论的两个颜色像素计算的“色差”与“阈值”之间的比较结果被应用来区别期望的图像内容和噪声干扰。 
使用YCbCr色空间，与在RGB和HSV空间中相比能够更有效地降低噪声。因而，“色差”是从YCbCr色空间计算的。 
根据本发明的实施例，用于图像处理的方法和***可以基于堆积因子p的概念，该堆积因子p可以被称为总或整体堆积因子。图16以示意方式说明了堆积因子p或整体或总堆积因子p的构成。如图16所示，总堆积因子p形成为组合，例如形成为一组特征因子或“局部”堆积因子的值的乘积。这些特征因子可以是来自像素的特征/堆积因子pp、来自块的特征/堆积因子pb、以及来自颜色的特征/堆积因子pc。然而，根据本发明的其它实施例，提及的特征/堆积因子pp、pb、pc或图16的任何子集都可能足以构成总或整体堆积因子p。然而，根据本发明的其它实施例，可以扩大这组特征/堆积因子。 
为了实际确定堆积值或为了堆积帧，不同的结构是可能的。 
这样的结构的实施例是堆积图(piling map)方法。这种方法尤其与硬取心技术有关，因为仅需要对1和0进行计数。对于每个像素，对堆积因子进行计数。这种计数从通常在参考帧(帧0)和其直接邻近帧(帧1)之间的第一个分离结果开始，而止于最后帧。所计数的数量意指能够堆积多少帧而不造成运动伪影。如果该数量等于1，则其意味着没有其它帧能够与参考帧进行堆积。对于这种方法，必须为每个像素存储计数结果，因为计数结果可能随像素而不同。 
这样的结构的进一步实施例是堆积图的后处理的方法。它也被称为决策图方法，其类似于上面描述的堆积图方法。代替简单计数，对于每个帧，首先由排序(rank-order)滤波器(优选地是递归中值滤波器)处理为1或0的堆积因子，以使得能够将脉冲噪声保持得尽可能不可见。 然后对处理后的堆积决策进行计数。 
在借助于堆积图方法或决策图方法进行计数之后，所有帧被加权并且被一起相加。如果所讨论的两个像素不应当被堆积，则加权因子等于0；相反，加权因子等于1。将相加结果除以计数数量，所述计数数量已经从堆积图或决策图中导出。 
这样的结构的另一个实施例是递归方法。该递归方法不要求所有帧都被保存。因此，与堆积图和决策图方法相比其对存储器的要求更低。对于递归方法，先前堆积结果被保存并且被应用于与当前帧的帧堆积。递归帧堆积方法具有两种变型。开始时，参考帧被用来初始化先前的堆积结果。 
在图17A所示的第一变型中，可以使用通过加权相加三个输入的递归方法。该第一变型使用参考帧ref(通常为帧0，并且标记为x(0))、标记为x(t)的实际帧图像或者实际运动补偿的图像、以及标记为y(t-1)的先前堆积结果。加权因子等于堆积因子。在图17A中，n代表当前帧的号，ref代表参考帧。参考帧被用来初始化y(t)。 
在图17B所示的第二变型中，可以使用通过加权相加两个输入的递归方法。它需要两个输入：实际图像或者实际运动补偿的图像、以及先前堆积结果。符号具有与图17A中的相同意义。 
从第二帧起，第二变型不堆积通常有噪声的参考帧。因而，对于第二变型而言能够预期更有效的降噪。此外，不需要存储参考帧以致与第一变型相比能够降低存储器要求。 
图18示出了降噪单元200的实施例的简化整体结构。这个框图描绘了单独的三个模块1802、1804和1806以及NC(噪声掩盖)系数估计块1810的互连。这些模块群是堆积因子/权重块1802、亮度处理块1804以及颜色处理块1806。 
堆积因子/权重块1802确定累积的权重因子或堆积因子。‘堆积因子’具有与Y分量(亮度)相同的空间分辨率，即使色度分量已经被空间子采样也是如此。非常普遍的是使用YUV色空间的YUV 4∶2∶2表示，而色度分量按因子二进行空间(水平)子采样。为了提供与Y分量相同的分辨率，必须上采样那些颜色堆积因子。 
亮度处理块1804可以包括两个功能模块。第一功能模块是递归滤波1820而第二功能模块是噪声掩盖1822。 
颜色处理块1806中的颜色处理类似于亮度处理。在这个实施例中，‘下采样’块1830已经被添加到该信号路径并且噪声掩盖的方式是不同的。下采样块1830可能用于4∶2∶2或4∶2∶0格式，但不会用于4∶4∶4格式。 
在噪声掩盖块1810中计算将用于处理亮度和/或色度信号的噪声掩盖量，即噪声掩盖系数(NC系数)。 
噪声掩盖意味着对非堆积或堆积较少区域的空间降噪。空间降噪能够通过任何边缘保持滤波器实现。然而，已知的空间降噪方法造成图像锐度损失。期望的是掩盖噪声并且将图像锐度损失保持得尽可能小。 
通常，仅在高频区域中遇到图像锐度损失问题。因而，应当检测高频信号区域。一种方法是检查方差值或本领域技术人员已知的类似度量。如果方差值很大，则断定所讨论的图像区域含有高频信号。否则，所讨论的图像区域仅含有低频信号。 
能够在重叠或非重叠窗口中计算该方差或类似度量。为了提高高频信号区域检测的可靠性，能够从按比例缩小的图像中计算方差或类似度量。 
空间降噪仅被应用于低频区域。在高频信号的区域中，不应用或应用较少的空间降噪，这起到锐度保持乃至增强的作用。 
如果对于在“实施噪声掩盖(1)”或“不实施噪声掩盖(0)”之间的转换而言没有过渡状态，即采用硬取心块1900，则排序滤波器(优选地为中值滤波器1910)应当被应用以便尽可能地防止造成脉冲噪声。如果平滑曲线被用来决定由高频信号度量(例如方差)所控制的噪声掩盖量(软取心)，则能够省略这样的非线性滤波。 
图19A示出了利用硬取心技术的噪声掩盖方法。 
虽然图19A描绘了三个输入，但是这三个输入通常并且也优选地为相同的从而使得能够降低图像存储器要求。 
利用软取心技术的噪声掩盖方法示于图19B中。它类似于利用硬取心技术的噪声掩盖方法，除了硬取心由软取心替代以及省略了中值滤波器。 
图19A所示的方法能够更好地保持图像锐度。然而，它造成脉冲干扰的印象。图19B所示的方法与图19A所示的相比具有较低复杂度，并且能够抑制脉冲干扰。然而，它造成锐度损失的印象。 
关于如何计算该系数的详细描述可以从图19C中看到。NC系数计算纯粹基于亮度分量Y并且与噪声掩盖阈值thresholdNC进行比较。 
图19D描绘了噪声掩盖块1822的进一步实施例。 
与图18的整体功能视图对应的实施例的更详细视图示于图20中。 
Y(n)和Y(n+1)代表所讨论的两个图像的Y分量，其中n为帧号。类似地，Cr(n)和Cr(n+1)代表所讨论的两个图像的RMY(V)分量；Cb(n)和Cb(n+1)代表所讨论的两个图像的BMY(U)分量。索引“n”被用来除以堆积系数，该堆积系数指的是图16的右部分。 
开始时，即n＝1，还没有中间帧堆积结果。因而，LUT由应当通过空间降噪滤波器预先滤波的参考帧图像寻址。从n＝2起，LUT由中间帧堆积结果寻址。 
nc(n)代表噪声掩盖结果。fp(n)和“堆积系数”来自帧堆积部分。 
使用非二元(实际上该决策能够被视为是‘模糊的’，覆盖从0...1的范围)权重的原因在于以下事实：二元决策/权重可能导致结果中‘椒盐’类的噪声。使用最终二元准则可能起因于以下事实：对于给定的像素，所有单独准则可能都指示不满足单独的条件(＝＞不堆积这个像素)，但唯独因为该准则被应用于其上的值稍微大于准则阈值。在这个帧堆积***中使用的所有阈值都已经被非常精确地选择。 
帧堆积***的一个方面是抑制图像噪声并且同时防止造成运动伪影。所公开的帧堆积***集成了不同技术。它可以由运动估计过程(作为前端部)和帧堆积过程(作为后端部)组成。这例证于图21、22A、22B中，示出了前端和后端结构。 
图21借助于示意框图说明了本发明从方法的角度以及从***的角度看的进一步实施例，其中分别增加了附加预处理步骤S0和单元0、以及预处理步骤S4和单元4。预处理步骤S0或单元0接收图像II’或帧的集合、系列或序列S’作为原始数据。在预处理之后，根据步骤S0或单元0，输入图像或帧II的集合、系列或序列S被获得，其被供应到帧堆积步骤S2或单元2，步骤S2或单元2的产物是帧堆积的图像或帧，作为后续步骤S3或单元3中的输出图像或帧OI，所述帧堆积的图像或帧然后根据图21的实施例可以被供应到后处理步骤S4或单元4以便生成经过后处理的输出图像或帧OI’。 
图22A和22B说明了包含运动估计S0-1和运动补偿S0-2的概念的后处理步骤S0和单元0。应当注意，可选地或附加地，可以包含其它预处理步骤或单元。然而，还应当注意，预处理步骤或单元不是必需的，因为本发明的概念在其可以被使用而没有预处理的意义上例如在运动估计/补偿的意义上来说是有利的。 
该预处理可以是例如： 
●色空间转换，或者 
●关于参考帧的运动估计和补偿***，或者 
●所有/单独信号分量的空间滤波(降噪)(参见主题：来自颜色的堆积因子) 
●根本不处理，或者 
●任何其它种类的典型预处理步骤/技术 
●和/或上述的任何组合。 

Claims (35)

1.用于当前图像帧中的降噪方法，其中所述当前图像帧是图像帧序列的一部分，该方法包括：
比较所述当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的该像素的对应像素值，其中，当前像素值以及对应像素值描述相应像素的亮度和/或色度；
如果所述当前像素值和所述对应像素值之间的像素差低于像素阈值，则确定所述当前像素值和所述对应像素值的堆积值，其中所述像素阈值取决于所述对应像素值和/或所述当前像素值，
其中，所述堆积值是所述当前像素值和所述对应像素值的平均值或加权平均值或加权中值，或者是由所述当前像素值和所述对应像素值二者影响的其他统计算符的结果。
2.根据权利要求1的方法，进一步包括：
根据像素差确定像素权重因子；其中在确定堆积值的步骤中，所述像素权重因子被用来减小所述对应像素值对所述堆积值的影响。
3.根据权利要求1的方法，进一步包括：
将当前图像帧和该至少一个相邻图像帧划分成多个块；
基于包括该像素的相应块的当前像素值，确定当前块堆积值；
基于所述相应块的对应像素值，确定对应块堆积值；
比较所述当前块堆积值和所述对应块堆积值；
如果所述当前块堆积值和对应块堆积值之间的块差低于预定块阈值，则确定该堆积值，
其中，块堆积值是块平均值或块中值或另一描述块中的像素值的平均的统计值，或者块的像素的像素值的绝对差之和。
4.根据权利要求3的方法，进一步包括：
根据块差确定块权重因子；其中在确定堆积值的步骤中，所述块权重因子被用来减小所述对应像素值对所述堆积值的影响。
5.根据权利要求1的方法，其中为每个像素提供多个像素值，所述多个像素值描述该像素在色空间模型中的色值，其中如果像素的所述多个像素值的每个像素值之间的色差低于相应阈值，则针对每个像素的多个像素值的每个像素值确定堆积值。
6.根据权利要求5的方法，进一步包括：
根据色差确定颜色权重因子；其中在确定堆积值的步骤中，所述颜色权重因子被用来减小所述对应像素值对所述堆积值的影响。
7.根据权利要求6的方法，其中色空间的亮度值、第一色度值和第二色度值被用作所述多个像素值的相应像素值。
8.根据权利要求5的方法，进一步包括：
基于像素值之差、基于块堆积值之差以及基于色值之差，确定累积权重因子；其中在确定堆积值的步骤中，所述累积权重因子被用来减小所述对应像素值对所述堆积值的影响。
9.根据权利要求6的方法，进一步包括：
如果颜色权重因子的分辨率低于像素权重因子的分辨率，则将颜色权重因子上采样至像素权重因子的分辨率。
10.根据权利要求1的方法，进一步包括：
存储不移动对象的图像帧的前序列；
通过对所述图像帧的前序列的一个像素的像素值进行平均来生成降噪图像；
通过比较所述图像帧的前序列的像素的像素值来确定像素值的方差；并且
根据所述方差确定像素阈值。
11.根据权利要求1的方法，进一步包括：
在比较当前像素值和对应像素值的步骤之前，估计和补偿该序列的图像帧之间的运动。
12.根据权利要求1的方法，进一步包括：
在比较当前像素值和对应像素值的步骤之前，对像素值进行空间滤波。
13.根据权利要求1的方法，进一步包括：
确定图像帧的像素的堆积值的差值；
如果该差值低于差异阈值，则在图像帧的相邻像素的堆积值之间执行空间降噪。
14.根据权利要求13的方法，其中该差值是方差值。
15.根据权利要求13的方法，其中空间降噪量是基于该差值的。
16.根据权利要求3的方法，进一步包括：
确定当前图像帧中的纹理区域和均匀区域；
基于纹理区域的像素差和块差来确定累积权重因子，其中所述累积权重因子被用来减小所述对应像素值对所述堆积值的影响。
17.根据权利要求8的方法，进一步包括：
将当前图像帧和该至少一个相邻图像帧划分成多个块；
基于包括该像素的相应块的当前像素值，确定当前块堆积值；
基于所述相应块的对应像素值，确定对应块堆积值；
比较所述当前块堆积值和所述对应块堆积值；
如果所述当前块堆积值和对应块堆积值之间的块差低于预定块阈值，则确定该堆积值，
其中，块堆积值是块平均值或块中值或另一描述块中的像素值的平均的统计值，或者块的像素的像素值的绝对差之和；
确定当前图像帧中的纹理区域和均匀区域；
基于像素差、块差以及色差来确定均匀区域的累积权重因子。
18.根据权利要求2的方法，进一步包括：
存储该序列的多个图像帧的权重因子；
其中确定堆积值的步骤基于所述多个图像帧的像素值和权重因子。
19.根据权利要求1的方法，进一步包括：
存储在前图像帧的堆积值；其中确定当前图像帧的堆积值的步骤是基于所述在前图像帧的堆积值的。
20.根据权利要求1的方法，进一步包括：
在比较当前像素值和对应像素值的步骤之前，生成具有参照像素值的参考帧，该参考帧被视为该序列的第一图像帧。
21.根据权利要求20的方法，其中确定堆积值的步骤基于参考帧的参考像素值。
22.根据权利要求20的方法，其中像素阈值基于参考帧的参考像素值。
23.根据权利要求19的方法，其中像素阈值基于在前图像帧的堆积值。
24.用于降低当前图像帧中的噪声的降噪单元，包括：
像素比较器，其被配置成比较所述当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的该像素的对应像素值，其中，当前像素值以及对应像素值描述相应像素的亮度和/或色度；
处理器，其被配置成如果所述当前像素值和对应像素值之间的像素差低于像素阈值则确定所述当前像素值和所述对应像素值的堆积值，其中所述像素阈值取决于所述对应像素值和/或所述当前像素值，
其中，所述堆积值是所述当前像素值和所述对应像素值的平均值或加权平均值或加权中值，或者是由所述当前像素值和所述对应像素值二者影响的其他统计算符的结果。
25.根据权利要求24的降噪单元，其中像素比较器被进一步配置成根据像素差来确定像素权重因子；并且处理器被进一步配置成基于像素权重因子来确定所述堆积值以便减小所述对应像素值对所述堆积值的影响。
26.根据权利要求24的降噪单元，进一步包括：
块比较器，其被配置成将所述当前图像帧和所述至少一个相邻图像帧划分成多个块，并且根据包括该像素的所述当前图像帧的相应块的当前像素值确定当前块堆积值以及根据包括该像素的相邻图像帧的该相应块的对应像素值确定对应块堆积值，并且比较所述当前块堆积值和所述对应块堆积值，
其中，块堆积值是块平均值或块中值或另一描述块中的像素值的平均的统计值，或者块的像素的像素值的绝对差之和。
27.根据权利要求24的降噪单元，进一步包括：
块比较器，其被配置成接收当前图像帧的当前块堆积值，接收相邻图像帧的对应块堆积值并且被进一步配置成比较当前块堆积值和对应块堆积值，
其中，块堆积值是块平均值或块中值或另一描述块中的像素值的平均的统计值，或者块的像素的像素值的绝对差之和。
28.根据权利要求26的降噪单元，其中所述块比较器被进一步配置成根据当前块堆积值和对应块堆积值之间的块差来确定块权重因子；并且所述处理器被进一步配置成基于块权重因子来确定堆积值以便减小所述对应像素值对所述堆积值的影响。
29.根据权利要求24的降噪单元，进一步包括：
颜色比较器，其被配置成将当前图像帧内的像素的当前色值和至少一个相邻图像帧中的该像素的对应色值进行比较；其中该处理器被进一步配置成如果所述当前色值和所述对应色值之间的色差低于颜色阈值则确定所述堆积值。
30.根据权利要求29的降噪单元，其中所述颜色比较器被进一步配置成根据当前色值和对应色值之间的色差来确定颜色权重因子；并且该处理器被进一步配置成基于颜色权重因子来确定所述堆积值以便减小所述对应像素值对所述堆积值的影响。
31.根据权利要求24的降噪单元，进一步包括：
查找表，其被配置成存储与像素值相关的阈值。
32.根据权利要求24的降噪单元，进一步包括：
运动估计及运动补偿机构。
33.根据权利要求24的降噪单元，进一步包括：
噪声掩盖机构，其被配置成确定像素的堆积值的差值并且如果该差值低于差异阈值则执行相邻像素的堆积值之间的空间降噪。
34.图像捕获装置，包括：
光学设备，其被配置成生成图像帧序列；以及
根据权利要求24的降噪单元。
35.图像显示装置，包括：
显示器；以及
根据权利要求24的降噪单元。
CN2008800111539A 2007-03-31 2008-03-20 用于图像帧的降噪方法和单元 Expired - Fee Related CN101658027B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07006797.0 2007-03-31
EP07006797 2007-03-31
PCT/EP2008/002272 WO2008119480A2 (en) 2007-03-31 2008-03-20 Noise reduction method and unit for an image frame

Publications (2)

Publication Number Publication Date
CN101658027A CN101658027A (zh) 2010-02-24
CN101658027B true CN101658027B (zh) 2013-04-10

Family

ID=39535809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800111539A Expired - Fee Related CN101658027B (zh) 2007-03-31 2008-03-20 用于图像帧的降噪方法和单元

Country Status (3)

Country Link
US (1) US8339516B2 (zh)
CN (1) CN101658027B (zh)
WO (1) WO2008119480A2 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153739A1 (en) * 2007-12-14 2009-06-18 Texas Instruments Incorporated Method and Apparatus for a Noise Filter for Reducing Noise in a Image or Video
US8199215B2 (en) * 2007-12-20 2012-06-12 Nxp B.V. Image filtering
WO2010071636A1 (en) 2008-12-16 2010-06-24 Hewlett-Packard Development Company, L.P. Controlling artifacts in video data
US8588544B2 (en) * 2009-10-13 2013-11-19 Sony Corporation Method and system for reducing ringing artifacts of image deconvolution
TR200908688A2 (tr) * 2009-11-17 2011-06-21 Vestel Elektron�K San. Ve T�C. A.�. Çoklu görüntülü videoda derinlik dengelemeli gürültü azaltımı.
KR101166322B1 (ko) * 2010-03-30 2012-07-18 삼성전자주식회사 블랙 레벨 보상 방법 및 장치
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
US8929651B2 (en) 2010-11-16 2015-01-06 Thomson Licensing System and method for the repair of anomalies in images
US20120169763A1 (en) * 2010-12-30 2012-07-05 Zebra Imaging, Inc. Preprocessing a Current Frame According to Next Frames
BR112013028782A2 (pt) * 2011-05-11 2017-01-31 I-Cubed Res Center Inc aparelho de processamento de imagem, método de processamento de imagem, e meio de armazenamento onde um programa é armazenado
US9215355B2 (en) 2011-09-30 2015-12-15 Apple Inc. Scene adaptive temporal filtering
CN102377953A (zh) * 2011-10-17 2012-03-14 天津天地伟业数码科技有限公司 视频数据的滤波降噪***及滤波降噪方法
EP2605210A1 (en) * 2011-12-15 2013-06-19 ST-Ericsson SA Acquiring a picture representing a scene
CN102665086B (zh) * 2012-04-26 2014-03-05 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9659237B2 (en) 2012-10-05 2017-05-23 Micro Usa, Inc. Imaging through aerosol obscurants
WO2014112611A1 (ja) 2013-01-21 2014-07-24 興和株式会社 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体
US9275437B2 (en) * 2013-03-14 2016-03-01 Algotec Systems Ltd. Method for efficient digital subtraction angiography
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
CN104168405B (zh) * 2013-05-20 2017-09-01 聚晶半导体股份有限公司 噪声抑制方法及其图像处理装置
US20150023436A1 (en) * 2013-07-22 2015-01-22 Texas Instruments Incorporated Method and apparatus for noise reduction in video systems
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
CN105991900B (zh) * 2015-02-05 2019-08-09 扬智科技股份有限公司 噪声检测方法和去噪方法
US9842410B2 (en) 2015-06-18 2017-12-12 Samsung Electronics Co., Ltd. Image compression and decompression with noise separation
EP3113107B1 (en) * 2015-07-02 2018-12-05 Continental Automotive GmbH Static soiling detection and correction
CN105915761A (zh) * 2015-07-24 2016-08-31 乐视云计算有限公司 一种自适应视频空域去噪方法及装置
CN106612386B (zh) * 2015-10-27 2019-01-29 北京航空航天大学 一种联合时空相关特性的降噪方法
CN105491358B (zh) * 2015-11-26 2018-11-16 努比亚技术有限公司 一种图像处理方法及装置、终端
CN105513021B (zh) * 2015-11-27 2019-07-12 努比亚技术有限公司 图像去噪装置和方法
KR20170107252A (ko) * 2016-03-15 2017-09-25 삼성전자주식회사 이미지 데이터의 노이즈 제거 방법
CN108174057B (zh) * 2018-01-10 2020-06-23 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
FR3083415B1 (fr) * 2018-06-29 2020-09-04 Electricite De France Traitement d'un bruit impulsionnel dans une sequence video
CN110706171B (zh) * 2019-09-26 2024-04-26 中国电子科技集团公司第十一研究所 图像降噪方法及装置
CN112950484B (zh) * 2019-12-11 2023-06-16 鸣医(上海)生物科技有限公司 一种对摄影影像进行颜色污染祛除的方法
CN111340839A (zh) * 2020-05-15 2020-06-26 杭州微帧信息科技有限公司 一种基于分块的视频噪声估计方法
CN115314717B (zh) * 2022-10-12 2022-12-20 深流微智能科技(深圳)有限公司 视频传输方法、装置、电子设备和计算机可读存储介质
CN116016807B (zh) * 2022-12-30 2024-04-19 广东中星电子有限公司 一种视频处理方法、***、可存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
CN1301025A (zh) * 1999-12-17 2001-06-27 通用电气公司 实施荧光显示噪扰降低的方法和设备
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9607668D0 (en) * 1996-04-12 1996-06-12 Snell & Wilcox Ltd Video noise reducer
EP1100260A1 (en) * 1999-11-12 2001-05-16 STMicroelectronics S.r.l. Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders
US6958783B2 (en) * 2002-07-16 2005-10-25 Broadcom Corporation Adaptive non-linear noise reduction techniques
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
US7535515B2 (en) * 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
KR100624421B1 (ko) * 2004-05-04 2006-09-19 삼성전자주식회사 디지탈 영상 신호 필터링 장치 및 방법
WO2006010275A2 (en) * 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d noise reduction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
CN1301025A (zh) * 1999-12-17 2001-06-27 通用电气公司 实施荧光显示噪扰降低的方法和设备
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction

Also Published As

Publication number Publication date
WO2008119480A3 (en) 2008-12-11
CN101658027A (zh) 2010-02-24
US20100091194A1 (en) 2010-04-15
US8339516B2 (en) 2012-12-25
WO2008119480A2 (en) 2008-10-09

Similar Documents

Publication Publication Date Title
CN101658027B (zh) 用于图像帧的降噪方法和单元
US6625325B2 (en) Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
US6842536B2 (en) Image processing apparatus, image processing method and computer program product for correcting image obtained by shooting subject
US7876956B2 (en) Noise reduction of panchromatic and color image
US8948506B2 (en) Image processing device, image processing method, and program
US8224085B2 (en) Noise reduced color image using panchromatic image
US7366347B2 (en) Edge detecting method
CN102025918B (zh) 图像处理装置、成像设备、图像处理方法和程序
EP1289310A2 (en) Method and system for adaptive demosaicing
US20050041116A1 (en) Image processing apparatus and image processing program
US20060192693A1 (en) Image processing device and image processing method
KR20110033801A (ko) Ｌ₁거리 척도에 기초한 국소 이미지 유사성 측정 방법
US9959599B2 (en) System for enhanced images
US20070109430A1 (en) Image noise estimation based on color correlation
US8736718B2 (en) Noise elimination method of image sequence
US8606016B2 (en) Edge detection apparatus and computing circuit employed in edge detection apparatus
US20160203587A1 (en) Method and apparatus for color correction in an alpha matting process
US7136508B2 (en) Image processing apparatus, method, and program for processing a moving image
Lin An automatic white balance method based on edge detection
US8655058B2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
CN101778297B (zh) 影像序列的干扰消除方法
Lee et al. Purple fringing correction using colorization in Yxy color space
US20130038773A1 (en) Image processing apparatus and control method for the same
Lee et al. Colourisation in Yxy colour space for purple fringing correction
US11488286B2 (en) Method for determining Moire pattern, method for suppressing Moire pattern and circuit system thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130410

Termination date: 20150320

EXPY Termination of patent right or utility model