CN101527852A - 信号处理装置、方法和程序 - Google Patents

信号处理装置、方法和程序 Download PDF

Info

Publication number
CN101527852A
CN101527852A CN200910118331A CN200910118331A CN101527852A CN 101527852 A CN101527852 A CN 101527852A CN 200910118331 A CN200910118331 A CN 200910118331A CN 200910118331 A CN200910118331 A CN 200910118331A CN 101527852 A CN101527852 A CN 101527852A
Authority
CN
China
Prior art keywords
pixel
filter
pixel value
interest
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910118331A
Other languages
English (en)
Other versions
CN101527852B (zh
Inventor
山丈浩章
青山幸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101527852A publication Critical patent/CN101527852A/zh
Application granted granted Critical
Publication of CN101527852B publication Critical patent/CN101527852B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

信号处理装置、方法和程序。信号处理装置包括下面的部件。区域方差值计算装置计算围绕用作输入图像上感兴趣像素的预定像素的区域的区域方差值,区域方差值表明位于区域中的像素的像素值相对于位于区域中的像素的平均像素值的变化度。滤波处理装置使用滤波器对感兴趣像素的像素值应用滤波处理。反映量确定装置基于区域方差值确定反映量,反映量表明通过由滤波处理装置应用滤波处理而获得的滤波器输出值对产生输出图像与感兴趣像素相对应像素的像素值的贡献度。组合装置基于通过多个滤波处理装置应用滤波处理而获得的每个滤波器输出值、相对于滤波器输出值确定的每个反映量以及感兴趣像素的像素值来计算输出图像与感兴趣像素相对应的像素的像素值。

Description

信号处理装置、方法和程序
相关申请的交叉引用
本发明包含与2008年3月3日在日本专利局提交的日本专利申请JP2008-052035相关的主题,其整个内容通过引用包含于此。
技术领域
本发明涉及信号处理装置和方法以及程序。更具体地说,本发明涉及使用多个滤波器提供简单和可靠的噪声降低的信号处理装置和方法,以及程序。
背景技术
蚊式噪声和块噪声是通过使用运动图像专家组(MPEG,MovingPicture Experts Group)技术进行图像压缩处理所引起的噪声的例子。
蚊式噪声是沿着图像上的物体的轮廓产生伪轮廓的噪声。块噪声以压缩处理中的离散余弦变换(DCT,discrete cosine transform)块为单位产生。块噪声引起DCT块之间的边界处的不连续。
据信:蚊式噪声和块噪声是由在图像压缩处理中DCT变换中的量化导致的高阶图像信息或高频分量的丢失引起的。
已经提出了用于降低这种噪声的算法。例如,如日本未审查专利申请公报2004-336651中公开的用于降低蚊式噪声的方法。在该方法中,检测图像中的边缘区域,并使用非线性平滑滤波器,在保持图像的清晰度的同时从检测到的边缘区域去除蚊式噪声。
在例如国际公开WO 98/54892中公开了用于降低块噪声的方法,其中,计算用于根据输入图像数据确定块失真所需的参数,并基于计算的参数和检测到的指示图像编码中难度等级的参数来确定块失真。在该方法中,块失真的确定的结果被用来计算用于降低块失真的校正值,并使用该校正值来校正输入图像数据。
然而,蚊式噪声降低技术和块噪声降低技术之一不会既降低蚊式噪声又降低块噪声。两种技术的简单组合可能导致蚊式噪声降低的效果与块噪声降低的效果之间的冲突,或者可能导致处理之一不利地影响另一个处理的准确性的结果。
具体来说,通过使用多个滤波器而被应用于给定区域的滤波处理可能将效果减半。或者,使用某个滤波器对区域进行的滤波处理可能阻止该区域被检测为要使用其它滤波器进行滤波处理的区域。
因此,已经提出了使用降低蚊式噪声和降低块噪声的组合来降低噪声的方法(参见,例如日本未审查专利申请公报2005-318614)。在日本未审查专利申请公报2005-318614公开的方法中,输入图像基于输入图像的方差图像被分成多个块,并且得到的块被分类为平滑、纹理或边缘块。滤波平滑块以降低块噪声,并使用模糊滤波器滤波边缘块以降低蚊式噪声。因此,实现输入图像的有效降噪。
发明内容
然而,在用于使用降低蚊式噪声和降低块噪声的组合来降低噪声的方法中,因为针对每个块切换蚊式噪声降低处理和块噪声降低处理,所以难以从图像中可靠地降低噪声。
具体地说,在针对每个块切换蚊式噪声降低处理和块噪声降低处理的机制中,尽管在相同块或若干相邻块中蚊式噪声和块噪声均发生,但是降噪处理中的一个起作用而另一个降噪处理不起作用。
此外,由于根据阈值分类块,因为每一个块被应用不同滤波处理,所以用于确定分类的值接近阈值的若干相邻块可能引起块之间的边界处的不连续。此外,当从运动图像中去除噪声时,图像的相同部分中的块取决于时间(或帧)可经受不同滤波处理,这可能随着处理时间削弱稳定性。
因此,期望使用多个滤波器更容易和可靠地降低噪声。
本发明的实施例提供了一种信号处理装置,用于使用多个滤波器对输入图像执行滤波处理以产生输出图像。信号处理装置包括下面的元件。区域方差值计算装置计算围绕用作输入图像上感兴趣像素的预定像素的区域的区域方差值,区域方差值表明位于区域中的像素的像素值相对于位于区域中的像素的平均像素值的变化度。滤波处理装置使用滤波器对感兴趣像素的像素值应用滤波处理。反映量确定装置基于区域方差值确定反映量,反映量表明通过由滤波处理装置应用滤波处理而获得的滤波器输出值对产生输出图像的与感兴趣的像素相对应的像素的像素值的贡献度。组合装置计算输出图像的与感兴趣的像素相对应的像素的像素值,计算是基于通过由多个滤波处理装置应用滤波处理而获得的每一个滤波器输出值、相对于滤波器输出值确定的每一个反映量以及感兴趣的像素的像素值而进行的。
组合装置可以通过将感兴趣的像素的像素值与滤波器输出值之间的差乘以反映量以确定差值,并将差值的总和加到感兴趣的像素的像素值来计算输出图像的像素的像素值。
反映量确定装置可以使用表明相对于区域方差值的大小的反映量的值的信息,根据由区域方差值计算装置计算的区域方差值确定滤波器输出值的反映量,所述信息针对滤波处理中使用的每一个滤波器预先确定。
多个滤波处理装置中的第一滤波处理装置可以使用执行滑动平均处理的滤波器执行滤波处理,并且多个滤波处理装置中的第二滤波处理装置可以用来使用执行平滑处理的滤波器执行滤波处理。
本发明的另一个实施例提供了一种信号处理方法或程序,用于使用多个滤波器对输入图像执行滤波处理以产生输出图像,信号处理方法或程序包括步骤:计算围绕用作输入图像上感兴趣像素的预定像素的区域的区域方差值,区域方差值表明位于区域中的像素的像素值相对于位于区域中的像素的平均像素值的变化度;在滤波处理装置处,使用滤波器对感兴趣像素的像素值应用滤波处理;基于区域方差值确定反映量,反映量表明通过由滤波处理装置应用滤波处理而获得的滤波器输出值对产生输出图像的与感兴趣的像素相对应的像素的像素值的贡献度;以及计算输出图像的与感兴趣的像素相对应的像素的像素值,该计算是基于通过由多个滤波处理装置应用滤波处理而获得的每一个滤波器输出值、相对于滤波器输出值确定的每一个反映量以及感兴趣的像素的像素值而进行的。
根据本发明的实施例,计算围绕用作输入图像上感兴趣像素的预定像素的区域的区域方差值,区域方差值表明位于区域中的像素的像素值相对于位于区域中的像素的平均像素值的变化度;使用滤波器对感兴趣像素的像素值应用滤波处理;基于区域方差值确定反映量,反映量表明通过滤波处理而获得的滤波器输出值对产生输出图像的与感兴趣的像素相对应的像素的像素值的贡献度;以及基于通过多个滤波处理而获得的每一个滤波器输出值、相对于滤波器输出值确定的每一个反映量以及感兴趣的像素的像素值来计算输出图像的与感兴趣的像素相对应的像素的像素值。
因此,根据本发明的实施例,使用多个滤波器可以更容易和可靠地降低噪声。
附图说明
图1是示出根据本发明实施例的信号处理装置的示例性结构的框图;
图2是描述降噪处理的流程图;
图3A和图3B是示出示例性增益曲线的图;
图4是示出示例性增益曲线的图;以及
图5是示出计算机的示例性结构的框图。
具体实施方式
下文中将参考附图描述本发明的实施例。
图1是示出根据本发明实施例的信号处理装置11的示例性结构的框图。
信号处理装置11包括方差计算单元21、滤波器单元22、滤波器控制单元23和滤波器组合单元24。
要应用降噪处理的输入图像的输入图像信号被输入给信号处理装置11。输入图像信号被提供给方差计算单元21、滤波器单元22和滤波器组合单元24。输入图像信号可以是例如:通过对使用MPEG技术等进行了压缩(或编码)的运动图像数据应用扩展(或解码)处理所获得的图像信号。
方差计算单元21基于提供的输入图像信号产生子区域方差信号,并且将该子区域方差信号提供给滤波器控制单元23。子区域方差信号表明输入图像上的像素的像素值的方差。例如,输入图像上的特定像素被指定为感兴趣的像素,并且围绕感兴趣的像素的区域被指定为子区域。则,表明子区域中的像素的像素值相对于像素的平均像素值的变化度的子区域方差值被指定为子区域方差信号的信号值。
滤波器单元22将滤波处理应用到所提供的输入图像信号。具体地说,滤波器单元22包括滤波处理单元31-1到31-n,并且滤波处理单元31-1到31-n各具有有限脉冲响应(FIR)滤波器。FIR滤波器可以由例如滑动平均滤波器、平滑滤波器、epsilon(ε)滤波器、块噪声降低滤波器等来实现,这根据使用来预先确定。
滤波处理单元31-1到31-n中的每一个使用相应的FIR滤波器对所提供的输入图像信号进行滤波处理,并且将通过滤波处理获得的滤波器输出信号提供给滤波器组合单元24。除非单独另作说明,滤波处理单元31-1到31-n下文中被简称为“滤波处理单元31”。
滤波器控制单元23基于从方差计算单元21提供的子区域方差信号确定反映量。反映量代表滤波处理单元31-1到31-n中提供的每个FIR滤波器对从输入图像信号中去除噪声的贡献率。
具体地说,滤波器控制单元23包括增益曲线保持单元32-1到32-n,并且每一增益曲线保持单元32-1到32-n保持滤波处理单元31-1到31-n的FIR滤波器中的一个的增益曲线。增益曲线可以是根据相应FIR滤波器的特性预先确定的曲线,并且其代表FIR滤波器的增益,即反映量和子区域方差值之间的关系。更具体地说,每一个增益曲线保持单元32-1到32-n包括表明增益曲线的函数、表格等。
增益曲线保持单元32-1到32-n中的每一个基于从方差计算单元21提供的子区域方差信号和保持的增益曲线,来确定代表相应FIR滤波器的贡献率的反映量,即FIR滤波器的权重。反映量可取例如0到1的值。
增益曲线保持单元32-1到32-n将确定的反映量提供给滤波器组合单元24。除非单独另作说明,增益曲线保持单元32-1到32-n下文中被简称为“增益曲线保持单元32”。
滤波器组合单元24执行从提供的输入图像信号中去除噪声的处理。具体地说,滤波器组合单元24基于提供的输入图像信号、来自滤波处理单元31的滤波器输出信号以及来自增益曲线保持单元32的反映量来产生与去除了噪声的输入图像信号相对应的输出图像信号,并且输出该输出图像信号。
接下来,将参考图2中所示的流程图描述信号处理装置11从输入图像信号中去除噪声并且输出所得到的输出图像信号的降噪处理。
在步骤S11中,方差计算单元21基于提供的输入图像信号指定输入图像上的像素中的一个像素为感兴趣的像素,并且确定感兴趣的像素的子区域方差值。
例如,假设以感兴趣的像素为中心的输入图像的子区域是具有M行像素和N列像素(M个像素×N个像素)的区域,而且该子区域中的像素的像素值的平均值被表示成Ave。进一步假设感兴趣的像素是位于相对于输入图像上的基准点的第i行、第j列的像素,而且表明位于相对于基准点的第(i+m)行、第(j+n)列的像素的像素值的输入图像信号的信号值被表示成X(i+m,j+n)。在这种情况下,方差计算单元21计算下面的等式(1)来确定感兴趣的像素的子区域方差值Var(i,j):
Var ( i , j ) = 1 M · N Σ m = - ( M - 1 ) / 2 ( M - 1 ) / 2 Σ n = - ( N - 1 ) / 2 ( N - 1 ) / 2 ( X ( i + m , j + n ) - Ave ) 2 · · · ( 1 )
具体地说,感兴趣的像素的子区域方差值Var(i,j)是通过确定子区域中的各像素的像素值与平均值Ave之间的差的平方,并将所确定的各个像素的差的平方的总和除以子区域中的像素数(即M×N)而获得的。
请注意,为了降低计算成本,方差计算单元21可以计算下面的等式(2)来确定准方差(quasi-variance),并且可以将计算出的方差用作感兴趣的像素的子区域方差值Var(i,j):
Var ( i , j ) = 1 M · N Σ m = - ( M - 1 ) / 2 ( M - 1 ) / 2 Σ n = - ( N - 1 ) / 2 ( N - 1 ) / 2 | X ( i + m , j + n ) - Ave | · · · ( 2 )
由等式(2)给出的子区域方差值是通过确定子区域中的各像素的像素值与平均值Ave之间的差的绝对值,并且将所确定的各个像素的差的绝对值的总和除以子区域中的像素数而获得的。
按上述方式确定的感兴趣的像素的方差值,即表明子区域方差值的子区域方差信号被从方差计算单元21提供给增益曲线保持单元32。
在步骤S12中,增益曲线保持单元32-1到32-n中的每一个基于从方差计算单元21提供的子区域方差值和保持的增益曲线,确定FIR滤波器的对应一个的反映量。
例如,增益曲线保持单元32保持图3A或3B中所示的增益曲线。在图3A和3B中,纵坐标轴代表FIR滤波器的增益,即反映量,横坐标轴代表子区域方差值。
在图3A所示的增益曲线中,当子区域方差值在0到V1的范围内时,反映量被设定为1。当子区域方差值在从V1到V2的范围内时,反映量随着子区域方差值增加而降低。当子区域方差值为V2或更大时,反映量被设定为0。
因此,在图3A中所示的增益曲线中,子区域方差值越小,则相应FIR滤波器对输出图像信号的产生的贡献越大。当子区域方差值为V2或更大时,相应FIR滤波器不用于产生输出图像信号。
例如,增益曲线保持单元32保持图3A中所示的增益曲线。在这种情况下,当从方差计算单元21中提供等于值V1的子区域方差值时,增益曲线保持单元32基于增益曲线提供反映量1给滤波器组合单元24。
在图3B所示的增益曲线中,当子区域方差值在0到V11范围内时,反映量被设定为0。当子区域方差值在V11到V12的范围内时,反映量随着子区域方差值增加而增加。当子区域方差值在V12到V13范围内时,反映量被设定为1。当子区域方差值在V13到V14范围内时,反映量随着子区域方差值增加而减小。当子区域方差值为V14或更大时,反映量被设定为0。在图3B所示的增益曲线中,当子区域方差值在预定范围之内时,相应FIR滤波器对输出图像信号的产生的贡献大。
此处,将考虑从输入图像信号中去除块噪声和蚊式噪声。
块噪声可能发生在图像的平滑部分,其可能是具有较小亮度改变的区域。一般而言,使用涉及宽范围像素(或宽像素区域)的滤波器(即使用相对宽像素区域执行处理的滤波器)来去除块噪声。因此,例如7-抽头的滑动平均滤波器适合于去除块噪声。
另一方面,蚊式噪声可能发生在图像上具有大幅度的部分,其可能是在亮度值方面具有较大变化的区域,例如边缘。去掉小幅高频分量的滤波器适合于去除蚊式噪声。即,平滑其亮度值改变较少但改变较快的区域的滤波器适用,例如仅使用与中心像素(或感兴趣的像素)的差在阈值范围内的像素来执行平滑的5-抽头的ε滤波器。
因此,为了从输入图像信号中同时去除块噪声和蚊式噪声,滤波处理单元31中保持的n个FIR滤波器包括至少一个滑动平均滤波器和一个ε滤波器。
在这种情况下,滑动平均滤波器和ε滤波器具有例如图4中所示的增益曲线。在图4中,纵坐标轴代表FIR滤波器的增益,即反映量,横坐标轴代表子区域方差值。滑动平均滤波器具有增益曲线GC1,而ε滤波器具有增益曲线GC2。
在滑动平均滤波器的增益曲线GC1中,当子区域方差值在从0到V21的范围内时,反映量被设定为1。当子区域方差值在从V21到V23的范围内时,反映量随着子区域方差值的增加而减小。当子区域方差值为V23或更大时,反映量被设定为0。
因此,在增益曲线GC1中,子区域方差值越小,相应滑动平均滤波器对输出图像信号的产生的贡献越大,更具体地说,通过使用滑动平均滤波器执行滤波而获得的滤波器输出信号大大有助于输出图像信号的产生。当子区域方差值为V23或更大时,滑动平均滤波器不用于产生输出图像信号。
在输入图像中具有较小亮度变化的平滑区域中,其中,块噪声可能会发生,因此,适于去除块噪声的滑动平均滤波器对输出图像信号的产生有很大的贡献。这使得块噪声从输入图像中被完全去除。在块噪声可能较少发生的具有较大子区域方差值的区域中,例如输入图像的边缘或纹理,滑动平均滤波器不用于产生输出图像信号。可以防止输入图像的重要部分的模糊。
在ε滤波器的增益曲线GC2中,当子区域方差值在从0到V22的范围内时,反映量被设定为0。当子区域方差值在从V22到V24内变化时,反映量随着子区域方差值增加而增加。当子区域方差值为V24或更大时,反映量被设定为1。
因此,在增益曲线GC2中,子区域方差值越大,相应ε滤波器对输出图像信号的产生的贡献越大,更具体地说,通过使用ε滤波器执行滤波而获得的滤波器输出信号对输出图像信号的产生的贡献越大。当子区域方差值为V22或更小时,ε滤波器不用于产生输出图像信号。
因此,在可能发生蚊式噪声的、具有大子区域方差值的输入图像的边缘或纹理区域中,适于去除蚊式噪声的ε滤波器大大有助于输出图像信号的产生。这使得蚊式噪声从输入图像中被完全去除。在输入图像中可能较少发生蚊式噪声的具有小亮度变化的平滑区域中,ε滤波器不用来产生输出图像信号。可以防止输入图像的重要部分的模糊。
以这种方式,基于输入图像中的每个像素的子区域方差值,即基于局部方差来控制每个FIR滤波器对输出图像信号的产生的贡献。因此,可以有效地降低输入图像上的块噪声以及蚊式噪声二者。
请注意,可以使用三个FIR滤波器去除来自输入图像的块噪声和蚊式噪声。在这种情况下,滤波处理单元31中保持的FIR滤波器可以包括例如:滑动平均滤波器、ε滤波器和中值滤波器。
中值滤波器是用于从输入图像中去除可能难以使用ε滤波器或滑动平均滤波器从输入图像中去除的噪声,即由MPEG压缩处理之外的源所引起的噪声的滤波器。设计中值滤波器,使得当子区域方差值小时,增益曲线显示出大约中间值的反映量,例如大约0.5。
以这种方式,使用滑动平均滤波器、ε滤波器和中值滤波器的组合产生输出图像的像素的像素值。这可以解决更多各种失真图像。换句话说,可以从输入图像中去除更大数量的噪声。
回头参考图2的流程图,增益曲线保持单元32基于子区域方差值和增益曲线来确定FIR滤波器的反映量,并且将反映量提供给滤波器组合单元24。
在步骤S13中,滤波处理单元31-1到31-n中的每一个使用保持的FIR滤波器对提供的输入图像信号,更具体地说,对感兴趣的像素的像素值应用滤波处理。则,滤波处理单元31-1到31-n中的每一个将通过滤波处理获得的滤波器输出信号的信号值,即已经进行了滤波处理的感兴趣的像素的像素值,提供给滤波器组合单元24。
在步骤S14中,滤波器组合单元24基于所提供的感兴趣的像素的像素值、来自增益曲线保持单元32的反映量以及来自滤波处理单元31的像素值(滤波器输出信号)确定输出图像信号的像素的像素值。具体地说,确定了位于与通过从输入图像中去除噪声而获得的输出图像中的感兴趣的像素相同的位置上的像素的像素值,并且表明该像素值的信号值被输出为输出图像信号。
例如,假设感兴趣的像素的像素值被表示成“in”,并假设从滤波处理单元31-i(其中1≤i≤n)中输出的像素值(即滤波器输出信号的值)被表示成fi。进一步假定相对于滤波器输出信号的值fi的反映量被表示成bli。则,滤波器组合单元24计算下面的等式(3)来确定输出图像信号的像素的像素值Out:
out = in + Σ i = 1 n ( f i - in ) · bl i · · · ( 3 )
通过将各个滤波器输出信号的值fi与感兴趣的像素的像素值“in”之间的差乘以相应于滤波器输出信号的值fi的反映量bli,然后确定针对各个滤波器输出信号确定的反映量与差值之间的乘积的总和,并且将像素值“in”加到该总和来获得由等式(3)给出的像素值Out。
可以确定每个增益曲线的反映量的值,使得相对于n个增益曲线中的各个子区域方差值的反映量的总和(即n个反映量的总和)等于1或小于1或大于1。在任一情况下,每个滤波器输出信号的值与感兴趣的像素的像素值之间的差乘以表明每个滤波器(即每个滤波器输出信号)对输出图像的产生的贡献度的反映量。因此,可以实现有效的噪声去除。
具体地说,例如,如果每个滤波器输出信号的值与感兴趣的像素的像素值之间的差被简单地加到感兴趣的像素的像素值,则差的总和变大以使感兴趣的像素的像素值过于显著。反之,在这种情况下,各个滤波器的作用可以互相抵消。相反,在信号处理装置11中,根据围绕感兴趣的像素的区域的特性,针对每个感兴趣的像素确定每个滤波器的反映量,且与每个滤波器输出信号的反映量相对应的校正值,即通过将滤波器输出信号的值与感兴趣的像素的像素值之间的差乘以反映量获得的值,被加到感兴趣的像素的像素值。这在没有抵消各个滤波器的作用的情况下,可提供输入图像的有效的噪声去除。
在步骤S15中,信号处理装置11确定处理是否结束。例如,如果对于所提供的输入图像信号的全部帧,输入图像的像素被指定为感兴趣的像素,并且已经从各个帧的输入图像中去除了噪声,则确定为处理结束。
如果在步骤S15中确定处理未结束,则处理返回到步骤S11,并且重复上述处理。在处理中,例如,输入图像上的还没有被指定为感兴趣的像素的像素被指定为新的感兴趣的像素,或者输入图像上的后续帧的像素被指定为感兴趣的像素。即,各个帧的输入图像上的像素被按顺序指定为感兴趣的像素,并且确定输出图像的像素的像素值。
另一方面,如果在步骤S15中确定处理结束,则信号处理装置11中的每一个单元都终止正在进行的处理,并且降噪处理结束。
以这种方式,信号处理装置11针对输入图像上的每个像素根据输入图像信号确定子区域方差值,并且基于子区域方差值确定每个FIR滤波器的反映量。基于该反映量,信号处理装置11产生输出图像信号,根据该输出图像信号从滤波器输出信号和输入图像信号中去除了噪声。
因此,基于局部确定的子区域方差值,确定反映量,并且根据该反映量改变每个FIR滤波器对噪声去除的贡献度以产生输出图像信号。这允许在没有削弱图像中的重要部分的情况下,针对输入图像的每个像素使用更多合适的滤波器的组合来去除噪声。因此,噪声可以更容易且可靠地降低。例如,块噪声和蚊式噪声均可被容易并且可靠地从输入图像中去除。
另外,在信号处理装置11中,确定子区域方差值,并基于该子区域方差值确定每个FIR滤波器的反映量。这允许使用输入图像的压缩处理中预先得到的信息,以低计算成本,即在没有使用被用于压缩处理或扩展处理的各种参数的情况下,有效降低可能由压缩处理引起的输入图像中的失真。
例如,即使在使用再现设备扩展输入图像以放大输入图像时,位于再现设备之后的用于显示输入图像的设备可以执行降噪处理以防止由于扩展处理或放大处理中引起的失真或噪声导致的图像质量的劣化。
此外,在信号处理装置11中,根据FIR滤波器的反映量,使用FIR滤波器的组合来去除噪声。换言之,对要被处理的区域更有效的FIR滤波器被更重地加权以执行处理。
这可以防止多个滤波器彼此抵消作用,或可防止由于多个滤波器的使用而出现不期望的产物。此外,可以防止可能由切换两个滤波器使得选择性地使用滤波器中的一个的相关技术的机制引起的不便,诸如针对输入图像的时间不稳定滤波处理或输入图像上的不自然地显著的DCT块边界。
此外,在用于再现输入图像的便携视频再现设备等中,例如,当低清晰度MPEG图像被作为输入图像输入时,常常可能没有为期望的降噪性能准备足够的计算成本。即使在这种情况下,因为不需要将输入图像分成块或对块进行分类,所以信号处理装置11可以在保持锐度的同时,使用低成本的计算处理来改进MPEG图像的压缩失真。换言之,信号处理装置11可以确保低计算成本高性能降噪。
上面描述的一系列处理可以通过硬件或软件来执行。当一系列处理由软件执行时,从程序记录介质中将构成软件的程序安装到合并有专用硬件的计算机中,或安装到能够通过在其中安装各种程序来执行各种功能的诸如通用计算机的设备中。
图5是示出根据程序执行上述一系列处理的计算机的示例性硬件结构的框图。
在计算机中,中央处理单元(CPU)201、只读存储器(ROM)202和随机访问存储器(RAM)203通过总线204彼此连接。
输入/输出接口205也被连接到总线204。输入/输出接口205被连接到包括键盘、鼠标和麦克风的输入单元206、包括显示器和扬声器的输出单元207、包括硬盘和非易失性存储器的记录单元208、包括网络接口的通信单元209,以及用于驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质211的驱动器210。
在具有上述配置的计算机中,例如,CPU 201将记录在记录单元208上的程序经由输入/输出接口205和总线204加载到RAM 203上,并且执行该程序,从而执行上述一系列处理。
由计算机(即,CPU 201)执行的程序可以被记录在可移动介质211上,可移动介质211为由例如磁盘(包括软盘)、光盘(诸如压缩盘只读存储器(CD-ROM)或数字通用光盘(DVD))、磁光盘或半导体存储器形成的封装式记录介质,或者由计算机执行的程序可经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质提供。
可以通过将可移动介质211放置在驱动器210中,将程序经由输入/输出接口205安装到记录单元208上。可选择地,可以经由有线或无线传输介质在通信单元209处接收程序,并且可以将该程序安装到记录单元208上。还可以在ROM 202或记录单元208中预先安装程序。
由计算机执行的程序可以是这样的程序,使得根据这里所述的顺序按时序执行处理,或者可以是这样的程序,使得处理被并行执行或例如当启动程序时在期望时间执行。
本发明的实施例不局限于上述实施例,并且可以在不偏离本发明的范围的情况下做出各种变型。
本领域的技术人员应当理解,根据设计需求和其它因素,可以进行各种变型,组合,子组合和修改,只要它们在所附权利要求书或其等同表述的范围内。

Claims (7)

1.一种信号处理装置,用于使用多个滤波器对输入图像执行滤波处理以产生输出图像,所述信号处理装置包括:
区域方差值计算装置,用于计算围绕用作所述输入图像上感兴趣像素的预定像素的区域的区域方差值,所述区域方差值表明位于所述区域中的像素的像素值相对于位于所述区域中的像素的平均像素值的变化度;
滤波处理装置,用于使用所述滤波器对所述感兴趣像素的像素值应用滤波处理;
反映量确定装置,用于基于所述区域方差值确定反映量,所述反映量表明通过由所述滤波处理装置应用所述滤波处理而获得的滤波器输出值对产生所述输出图像的与所述感兴趣的像素相对应的像素的像素值的贡献度;以及
组合装置,用于计算所述输出图像的与所述感兴趣的像素相对应的像素的像素值,所述计算是基于通过由多个滤波处理装置应用滤波处理而获得的每一个滤波器输出值、相对于所述滤波器输出值确定的每一个反映量以及所述感兴趣的像素的像素值而进行的。
2.如权利要求1所述的信号处理装置,其中,所述组合装置通过将所述感兴趣的像素的像素值与所述滤波器输出值之间的差乘以所述反映量以确定差值,并将所述差值的总和加到感兴趣的像素的像素值来计算所述输出图像的像素的像素值。
3.如权利要求1所述的信号处理装置,其中,所述反映量确定装置使用表明相对于区域方差值的大小的反映量的值的信息,根据由所述区域方差值计算装置计算的所述区域方差值确定所述滤波器输出值的反映量,所述信息针对所述滤波处理中使用的每一个滤波器预先确定。
4.如权利要求1所述的信号处理装置,其中,所述多个滤波处理装置包括用来使用执行滑动平均处理的滤波器执行所述滤波处理的第一滤波处理装置,并且
所述多个滤波处理装置还包括用来使用执行平滑处理的滤波器执行所述滤波处理的第二滤波处理装置。
5.一种信号处理方法,用于使用多个滤波器对输入图像执行滤波处理以产生输出图像,所述信号处理方法包括步骤:
计算围绕用作所述输入图像上感兴趣像素的预定像素的区域的区域方差值,所述区域方差值表明位于所述区域中的像素的像素值相对于位于所述区域中的像素的平均像素值的变化度;
在滤波处理装置处,使用所述滤波器对所述感兴趣像素的像素值应用滤波处理;
基于所述区域方差值确定反映量,所述反映量表明通过由所述滤波处理装置应用所述滤波处理而获得的滤波器输出值对产生所述输出图像的与所述感兴趣的像素相对应的像素的像素值的贡献度;以及
计算所述输出图像的与所述感兴趣的像素相对应的像素的像素值,所述计算是基于通过由多个滤波处理装置应用滤波处理而获得的每一个滤波器输出值、相对于所述滤波器输出值确定的每一个反映量以及所述感兴趣的像素的像素值而进行的。
6.一种信号处理程序,用于使用多个滤波器对输入图像执行滤波处理以产生输出图像,所述程序使计算机执行包括这样步骤的处理:
计算围绕用作所述输入图像上感兴趣像素的预定像素的区域的区域方差值,所述区域方差值表明位于所述区域中的像素的像素值相对于位于所述区域中的像素的平均像素值的变化度;
在滤波处理装置处,使用所述滤波器对所述感兴趣像素的像素值应用滤波处理;
基于所述区域方差值确定反映量,所述反映量表明通过由所述滤波处理装置应用所述滤波处理而获得的滤波器输出值对产生所述输出图像的与所述感兴趣的像素相对应的像素的像素值的贡献度;以及
计算所述输出图像的与所述感兴趣的像素相对应的像素的像素值,所述计算是基于通过由多个滤波处理装置应用滤波处理而获得的每一个滤波器输出值、相对于所述滤波器输出值确定的每一个反映量以及所述感兴趣的像素的像素值而进行的。
7.一种信号处理装置,用于使用多个滤波器对输入图像执行滤波处理以产生输出图像,所述信号处理装置包括:
区域方差值计算单元,用于计算围绕用作所述输入图像上感兴趣像素的预定像素的区域的区域方差值,所述区域方差值表明位于所述区域中的像素的像素值相对于位于所述区域中的像素的平均像素值的变化度;
滤波处理单元,用于使用所述滤波器对所述感兴趣像素的像素值应用滤波处理;
反映量确定单元,用于基于所述区域方差值确定反映量,所述反映量表明通过由所述滤波处理单元应用所述滤波处理而获得的滤波器输出值对产生所述输出图像的与所述感兴趣的像素相对应的像素的像素值的贡献度;以及
组合单元,用于计算所述输出图像的与所述感兴趣的像素相对应的像素的像素值,所述计算是基于通过由多个滤波处理单元应用滤波处理而获得的每一个滤波器输出值、相对于所述滤波器输出值确定的每一个反映量以及所述感兴趣的像素的像素值而进行的。
CN2009101183314A 2008-03-03 2009-02-27 信号处理装置和方法 Expired - Fee Related CN101527852B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-052035 2008-03-03
JP2008052035A JP5035029B2 (ja) 2008-03-03 2008-03-03 信号処理装置および方法、並びにプログラム
JP2008052035 2008-03-03

Publications (2)

Publication Number Publication Date
CN101527852A true CN101527852A (zh) 2009-09-09
CN101527852B CN101527852B (zh) 2011-07-06

Family

ID=40515027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101183314A Expired - Fee Related CN101527852B (zh) 2008-03-03 2009-02-27 信号处理装置和方法

Country Status (4)

Country Link
US (1) US8238684B2 (zh)
EP (1) EP2099224B1 (zh)
JP (1) JP5035029B2 (zh)
CN (1) CN101527852B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821230A (zh) * 2011-06-09 2012-12-12 索尼公司 图像处理装置和图像处理方法
CN106488079A (zh) * 2015-09-01 2017-03-08 深圳市中兴微电子技术有限公司 一种视频去噪的方法及装置
CN113170068A (zh) * 2018-12-05 2021-07-23 微软技术许可有限责任公司 视频帧亮度滤波器
CN113812137A (zh) * 2019-05-16 2021-12-17 三菱电机株式会社 图像处理装置和方法、图像读取装置、程序和记录介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2011013861A (es) * 2009-06-19 2012-02-13 Mitsubishi Electric Corp Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen y metodo de decodificacion de imagen.
US8842184B2 (en) * 2010-11-18 2014-09-23 Thomson Licensing Method for determining a quality measure for a video image and apparatus for determining a quality measure for a video image
CN103299637B (zh) 2011-01-12 2016-06-29 三菱电机株式会社 图像编码装置、图像译码装置、图像编码方法以及图像译码方法
JP6058924B2 (ja) * 2012-07-04 2017-01-11 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JPWO2014013792A1 (ja) * 2012-07-19 2016-06-30 ソニー株式会社 ノイズ評価方法、画像処理装置、撮像装置およびプログラム
US9639919B2 (en) 2014-10-07 2017-05-02 Stmicroelectronics (Grenoble 2) Sas Detection and correction of artefacts in images or video
US11257190B2 (en) * 2019-03-01 2022-02-22 Topcon Corporation Image quality improvement methods for optical coherence tomography
JP7342827B2 (ja) * 2020-09-18 2023-09-12 カシオ計算機株式会社 ノイズ波形除去装置、モデル訓練装置、ノイズ波形除去方法、モデル訓練方法、及びウェアラブル機器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2756359B2 (ja) 1990-10-26 1998-05-25 東洋インキ製造株式会社 有機珪素系組成物
JPH0496473A (ja) * 1990-08-10 1992-03-27 Nec Corp 画像信号復号化における後処理フィルタ回路
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
EP0568478A1 (en) * 1992-04-29 1993-11-03 International Business Machines Corporation Darkfield alignment system using a confocal spatial filter
JPH07236074A (ja) * 1993-09-21 1995-09-05 Mitsubishi Electric Corp 画像雑音除去装置
US5940536A (en) 1995-09-05 1999-08-17 Matsushita Electric Industrial Co., Ltd. Ringing detector and filter
JP3781387B2 (ja) * 1995-09-05 2006-05-31 松下電器産業株式会社 リンギング検出器およびフィルタ
JPH09312787A (ja) * 1996-05-24 1997-12-02 Nippon Hoso Kyokai <Nhk> 画像方向性適応型テンポラル処理装置
KR100529483B1 (ko) 1997-05-28 2005-11-22 소니 가부시끼 가이샤 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치
US6018600A (en) * 1998-04-15 2000-01-25 Arch Development Corp. Sampling and reconstruction of signals and images including MR images of multiple regions
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
JP4413504B2 (ja) 2003-02-13 2010-02-10 株式会社東芝 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
JP4539027B2 (ja) 2003-05-12 2010-09-08 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
US7339601B2 (en) 2003-07-10 2008-03-04 Samsung Electronics Co., Ltd. Methods of suppressing ringing artifact of decompressed images
US7346224B2 (en) 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
JP4280614B2 (ja) * 2003-12-09 2009-06-17 Okiセミコンダクタ株式会社 ノイズ低減回路及び方法
JP2005318614A (ja) 2004-04-27 2005-11-10 Mitsubishi Electric Research Laboratories Inc 入力画像中のアーチファクトを低減する方法
US8194757B2 (en) 2005-01-28 2012-06-05 Broadcom Corporation Method and system for combining results of mosquito noise reduction and block noise reduction
CN101142592B (zh) * 2005-03-22 2010-07-07 奥林巴斯株式会社 图像处理装置及内窥镜装置
DE102005038940B4 (de) * 2005-08-17 2007-08-30 Siemens Ag Verfahren zur Filterung tomographischer 3D-Darstellungen nach erfolgter Rekonstruktion von Volumendaten
US7933435B2 (en) * 2005-11-21 2011-04-26 Vala Sciences, Inc. System, method, and kit for processing a magnified image of biological material to identify components of a biological object
WO2008010375A1 (fr) 2006-07-20 2008-01-24 Hitachi Medical Corporation Dispositif ultrasonographique
JP4925771B2 (ja) 2006-08-24 2012-05-09 株式会社ブリヂストン 情報表示用パネルの製造方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821230A (zh) * 2011-06-09 2012-12-12 索尼公司 图像处理装置和图像处理方法
CN106488079A (zh) * 2015-09-01 2017-03-08 深圳市中兴微电子技术有限公司 一种视频去噪的方法及装置
CN106488079B (zh) * 2015-09-01 2019-06-28 深圳市中兴微电子技术有限公司 一种视频去噪的方法及装置
CN113170068A (zh) * 2018-12-05 2021-07-23 微软技术许可有限责任公司 视频帧亮度滤波器
CN113812137A (zh) * 2019-05-16 2021-12-17 三菱电机株式会社 图像处理装置和方法、图像读取装置、程序和记录介质
CN113812137B (zh) * 2019-05-16 2024-03-15 三菱电机株式会社 图像处理装置和方法、图像读取装置和记录介质

Also Published As

Publication number Publication date
EP2099224B1 (en) 2011-10-19
EP2099224A1 (en) 2009-09-09
JP5035029B2 (ja) 2012-09-26
US20090220168A1 (en) 2009-09-03
US8238684B2 (en) 2012-08-07
JP2009212672A (ja) 2009-09-17
CN101527852B (zh) 2011-07-06

Similar Documents

Publication Publication Date Title
CN101527852B (zh) 信号处理装置和方法
US6970605B1 (en) Image processing apparatus, image processing method, noise-amount estimate apparatus, noise-amount estimate method, and storage medium
US8279345B2 (en) System and method for random noise estimation in a sequence of images
US8818109B2 (en) Context-aware image processing
EP1469680B1 (en) Method and apparatus for removing blocking effects in a motion picture decoder
US6678330B1 (en) Image processing apparatus, image processing method, data-processing apparatus, data processing method, and storage medium
CN100379259C (zh) 使用模式自适应滤波来使视频信号平滑的设备和方法
JP2012231389A (ja) 画像処理装置、画像処理方法、及びプログラム
US8055093B2 (en) Method and system for noise level detection in image data
US7970228B2 (en) Image enhancement methods with consideration of the smooth region of the image and image processing apparatuses utilizing the same
US8090215B2 (en) Method and system for noise level detection in image data
CN101552922B (zh) 信号处理设备和方法
US8208753B2 (en) Method and system for noise level detection in image data
US6564180B1 (en) Data processing apparatus and data processing method
US8811766B2 (en) Perceptual block masking estimation system
EP1001372B1 (en) Data processing apparatus and data processing methods
JP2002199418A (ja) 画質評価方法
US7474800B2 (en) Method and apparatus for removing image compression artifacts
KR100468858B1 (ko) 영상의 잡음 수준 추정 장치 및 방법
Rajesh et al. Restoration of High Density Salt and Pepper Noisy Gray & Color Videos using MDBUTMF
JP2007166490A (ja) 画像評価装置、画像評価方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110706

Termination date: 20170227