CN102473293B - 图像处理设备和图像处理方法 - Google Patents

Abstract

一种图像处理设备，包括：距离计算单元，计算第一与第二分布之间的距离，其中第一分布是在图像中包括的焦点像素周围的像素的像素值的分布，第二分布是在中心包括焦点像素的窗口中包括的像素周围的像素的像素值的分布，以及对于窗口中包括的每个像素而获得第二分布；系数计算单元，使用第一与第二分布之间的距离为窗口中包括的每个像素计算滤波器系数；以及滤波器处理单元，通过使用滤波器系数对窗口中包括的每个像素执行滤波器处理过程，来为焦点像素计算校正值。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及降低图像数据中的噪声的图像处理设备、图像处理方法、以及计算机程序。

背景技术

由诸如扫描器以及数字摄像机的图像捕捉装置获取的图像包含噪声，诸如暗电流噪声、热噪声、以及拍摄噪声。该噪声取决于成像元件以及电路的特性。为了形成高质量图像，需要降低噪声的过程。然而，如果以使用低通滤波器的简单方式降低噪声，则丢失对于使图像对于图像观察者可识别来说重要的诸如边缘的元素，最终，降低图像质量。因此，要求根据图像不同部分的特性的用于噪声降低的技术。

一个这样的噪声降低技术使用ε滤波器(见非专利文件1)。ε滤波器能够以焦点像素的信号与每个选择像素的信号之差小于或等于阈值的方式，来用从周围像素中选择的像素的平均值代替焦点像素的像素值，从而降低噪声，同时保持具有大的信号差的诸如边缘的分量。

此外，用使用双向滤波器的技术(见非专利文件2)，使用焦点像素与周围像素之间的信号差以及空间距离来为每个周围像素计算滤波器系数，然后焦点像素的像素值用乘以所有周围像素的像素值的滤波器系数之和代替。如同ε滤波器，该技术同样实现噪声降低以及边缘保持两者。

已经公开了各种先进的ε滤波器/双向滤波器技术。在日本专利申请公开号2008-205737(专利文件1)中公开的图像捕捉***等等中，在滤波器系数中体现焦点像素的RGB值与周围像素的RGB值之间的距离。这使能彩色图像中噪声的有效降低。用日本专利申请公开号2007-288439(专利文件2)中公开的图像处理设备等等，检测焦点像素的色调与周围像素的色调之差，然后在滤波器系数中体现色调差，其使能平滑，以便防止形成波纹图形。

然而，在与以上专利文件1以及2中公开的图像处理设备等等相关联的发明中，因为在滤波器系数中体现各个像素之间的距离，所以如果存在高水平噪声，则因为不能够计算像素之间的距离以及适当的滤波器系数，所以计算的值是不正确的，其不利地降低了噪声降低效果。

本发明用传统技术解决以上问题，本发明的目的是提供一种用于计算适当的滤波器系数以便降低噪声同时保持对使图像对于图像观察者可识别来说重要的诸如边缘的元素的图像处理设备、图像处理方法、以及计算机程序。

发明内容

根据本发明的图像处理设备具有实现以上目的的以下配置。

一种根据本发明的图像处理设备，包括：距离计算单元，计算第一与第二分布之间的距离，其中第一分布是图像中包括的焦点像素周围的像素的像素值的分布，第二分布是在中心包括焦点像素的窗口中包括的像素周围的像素的像素值的分布，对于窗口中包括的每个像素而获得第二分布；系数计算单元，使用第一与第二分布之间的距离为窗口中包括的每个像素计算滤波器系数；以及滤波器处理单元，通过使用滤波器系数对窗口中包括的每个像素执行滤波器处理过程来为焦点像素计算校正值。

这使能即使当噪声水平高时，也提供一种用于计算适当的滤波器系数以便降低噪声同时保持对使图像对于图像观察者可识别来说重要的诸如边缘的元素的图像处理设备、图像处理方法、以及计算机程序。

能够将解决以上问题的本发明作为图像处理设备中使用的图像处理方法、以及使计算机运行图像处理方法的计算机程序实施。

用根据本发明的图像处理设备、图像处理方法、以及计算机程序，提供一种即使当噪声水平高时也计算适当的滤波器系数以便降低噪声同时保持对使图像对于图像观察者可识别来说重要的诸如边缘的元素的图像处理设备、图像处理方法、以及计算机程序。

附图说明

图1是根据第一实施例的图像处理设备的示例的功能图。

图2是根据第一实施例的图像处理方法的流程图。

图3是在焦点像素周围的像素的像素值的分布的示例以及在窗口内侧像素周围的像素的像素值的分布的示例的示意图。

图4是根据给定函数的滤波器系数相对于分布之间距离而绘制的图表。

图5说明具有相互最接近的像素值的像素之间的距离。

图6说明每对像素之间的距离。

图7是根据第七实施例的图像处理设备的示例的功能图。

图8是根据第七实施例的图像处理方法的流程图。

具体实施方式

以下将参考附图详细描述本发明的示例性实施例。

[本发明的实施例]

[第一实施例：使用平均值计算分布之间的像素值距离(灰阶图像)]

在第一实施例中描述的示例中，将要处理的图像是灰阶图像，分布之间的像素值距离是平均值之间的距离。

图1是根据第一实施例的图像处理设备的示例的功能图。图像处理设备100接收将要处理的图像11以及输出噪声降低的图像12。图像处理设备100包括图像取得单元101、焦点图像选择单元102、窗口内侧像素选择单元103、距离计算单元104、滤波器系数计算单元105、第一确定单元106、滤波器计算单元107、以及第二确定单元108。

图像取得单元101接收将要处理的图像11。焦点图像选择单元102从将要处理的图像11中选择焦点像素。窗口内侧像素选择单元103从窗口内侧(inside window)的像素中选择一个窗口内侧像素，其中，窗口定义为包围焦点像素。距离计算单元104计算焦点像素周围的像素的像素值的分布与由窗口内侧像素选择单元103选择的像素周围的像素的像素值的分布之间的距离。

滤波器系数计算单元105使用分布之间像素值距离计算单元104计算的距离，为窗口内侧像素选择单元103选择的像素计算滤波器系数。第一确定单元106确定窗口内侧像素选择单元103、距离计算单元104、以及滤波器系数计算单元105的每个是否已经完成对于窗口内侧的每个像素的处理过程。滤波器计算单元107使用由滤波器系数计算单元105计算的滤波器系数对窗口内侧的像素执行滤波器计算。因此，作为滤波器处理过程的结果，计算用于焦点像素的校正值。

第二确定单元108确定将要处理的图像11的每个像素是否已经由焦点图像选择单元102选择以及是否已经经过滤波器计算。

图2是根据第一实施例的图像处理方法的流程图。在图2所示的图像处理方法中，图像处理设备100的单元处理所接收的将要处理的图像11以及输出噪声降低的图像12。

在图2的步骤S101，图像取得单元101获取将要处理的图像11。

在步骤S102，焦点图像选择单元102从将要处理的图像11中选择焦点图像。不限制选择的次序。例如，能够用光栅扫描顺序地选择像素。

在步骤S103，窗口内侧像素选择单元103从定义为包围焦点像素的窗口内侧的像素中选择一个像素。不限制窗口的形状，窗口形状能够是矩形或者椭圆形。

在步骤S104，距离计算单元104计算焦点像素周围的像素的像素值的分布与在步骤S103选择的窗口内侧像素周围的像素的像素值的分布之间的距离。

图3是焦点像素周围的像素的像素值的分布的示例以及窗口内侧像素周围的像素的像素值的分布的示例的示意图。图3所示的每个正方形块表示一个像素。窗口由9×9像素组成。把焦点像素周围的矩形区域之内的5×5像素的像素值的分布以及一个窗口内侧像素周围的另一矩形区域之内的5×5像素的像素值的分布的每个创建为直方图。在步骤S104，例如，使用图3所示的分布来计算每个矩形区域的平均值，然后计算平均值之间的距离。

在步骤S105，滤波器系数计算单元105使用在步骤S104计算的分布之间的距离来计算滤波器系数。在第一实施例中，提供某一阈值ε，如果分布之间的距离大于或者等于该阈值ε，则将滤波器系数设置为0，而如果确定为否，则将滤波器系数设置为1。这使能滤波器计算排除使用属于不同于包含焦点像素的部分的部分的任何像素。结果，对使图像对于图像观察者可识别来说重要的诸如边缘的元素保持未改变。

在步骤S106，第一确定单元106确定是否已经选择窗口内侧的每个像素。如果已经选择每个像素，则过程控制前进到步骤S107，如果确定不是，则过程控制返回到步骤S103。

在过程步骤S107，使用由滤波器计算单元107计算的滤波器系数来执行滤波器计算。更具体地，过程涉及用相对应的滤波器系数与每个像素值相乘以及将窗口内侧的所有像素的乘积相加。然后，将该和除以滤波器系数之和，从而执行规则化。商设置为噪声降低的图像12的相对应像素的像素值。

在过程步骤S108，第二确定单元108确定是否已经选择将要处理的图像的每个像素。如果发现未选择的像素，则过程控制返回到过程步骤S102，如果已经选择了每个像素，则输出噪声降低的图像12，然后过程结束。

在第一实施例中，通过使用在步骤S104的分布之间的距离，计算对噪声鲁棒的滤波器系数。此外，虽然在本实施例中，滤波器系数是在步骤S105设置为0或者1的二元值，但是为了执行更精确的过程，滤波器系数能够是多值。例如，通过图4所示的单调减小的正函数，使用分布之间的距离x，能够计算滤波器系数y。图4说明作为示例的三个函数(a)至(c)。在图4的公式(a)至(c)中包括的希腊字母是参数，他们根据例如图像处理设备的应用来设置。应该注意，在公式(c)表示的函数中，如果ω趋向于无穷大，则它趋向于使用阈值ε的滤波器系数在0与1之间切换的上述方式。

[第二实施例：使用平均值计算分布之间的像素值距离(彩色图像)]

在描述为第二实施例的示例中，将要处理的图像是彩色图像，分布之间的像素值距离是平均值之间的距离。

根据第二实施例的图像处理设备100具有与图1所示相同的功能配置，除距离计算单元104的操作之外，以与在第一实施例中相同的方式进行操作。因此，在此将描述距离计算单元104。

虽然根据第一实施例的处理的灰色图像只具有一种类型的平均值，但是彩色图像具有三基色，因此存在三维向量。因此，例如，计算每个R、G、及B的平均值。假定在焦点像素周围的像素的R、G、以及B的平均值分别设置为R0、G0、以及B0，在窗口内侧像素周围的像素的R、G、以及B的平均值分别设置为R1、G1、以及B1。使用这些值，计算分布之间的距离D，如公式(1)以及(2)所示：

D＝α|R₀-R₁|+β|G₀-G₁|+γ|B₀-B₁|…(1)

$D=\sqrt{\mathrm{\α}{|R_0-R_1|}^2+\mathrm{\β}{|G_0-G_1|}^2+\mathrm{\γ}{|B_0-B_1|}^2}...\left(2\right)$

在公式(1)以及(2)中，α、β、以及γ是根据例如图像处理设备100的应用而设置的参数，以便保持R、G、与B之间的平衡。公式(3)通过实现公式(1)以及(2)取决于实数p而定义分布之间的距离D；公式(4)使用色差来定义分布之间的距离D。

$d={(\mathrm{\α}{|R_0-R_1|}^p+\mathrm{\β}{|G_0-G_1|}^p+\mathrm{\γ}{|B_0-B_1|}^p)}^{\frac{1}{p}}...\left(3\right)$

$D={(\mathrm{\α}{|(G_0-R_0)-(G_1-R_1)|}^p+\mathrm{\β}{|G_0-G_1|}^p+\mathrm{\γ}{|(G_0-B_0)-(G_1-B_1)|}^p)}^{\frac{1}{p}}...\left(4\right)$

允许使用均匀色空间诸如L*a*b*或者L*u*v*中的欧氏距离而不是RGB。此外，因为使用像素周围的像素的像素值的分布，所以即使当单色像素值如以Bayer阵列存在于一个像素位置时，也有可能使用第二实施例的方法计算分布之间的像素值距离。

在第二实施例中，通过如上所述距离计算单元104的操作来执行图2的步骤S104的过程。

[第三实施例：使用平均值以及方差计算分布之间的像素值距离(灰阶图像)]

在第三实施例中描述的示例中，将要处理的图像是灰阶图像，分布之间的像素值距离使用分布的平均值以及方差来计算。

根据第三实施例的图像处理设备100具有与图1所示相同的功能配置，除距离计算单元104的操作之外，以与在第一实施例中相同的方式进行操作。因此，在此将描述距离计算单元104。

在第三实施例中，距离计算单元104使用分布的平均值以及方差来计算分布之间的像素值距离。过程执行如下。首先，计算包围焦点像素的像素的像素值的像素值平均值m₀以及像素值方差σ² ₀。然后，计算包围窗口内侧像素的像素的像素值的像素值平均值m₁以及像素值方差σ² ₁。用以下公式使用这些值来计算分布之间的距离D：

$D=\frac{{(m_0-m_1)}^2}{{\mathrm{\σ}}_0^2+{\mathrm{\σ}}_1^2}...\left(5\right)$

公式(5)是示例。在本实施例中能够使用一些其它公式，只要分布之间的距离D相对于平均值之间的距离增加并且相对于方差的大小降低即可。

在第三实施例中，通过如上所述的距离计算单元104的操作来执行图2的步骤S104的过程。

根据第三实施例，计算由于噪声的周围像素值的改变来作为方差。通过平均值之间的距离除以方差，根据噪声强度来适当地调节距离；因此，计算对噪声鲁棒的滤波器系数。

[第四实施例：使用平均值以及方差计算分布之间的像素值距离(彩色图像)]

在第四实施例中描述的示例中，将要处理的图像是彩色图像，分布之间的像素值距离使用分布的平均值以及方差计算。

根据第四实施例的图像处理设备100具有与图1所示相同的功能配置，除距离计算单元104的操作之外，以与在第一实施例中相同的方式进行操作。因此，在此将描述距离计算单元104。

在第四实施例中，距离计算单元104使用分布的平均值(向量)以及方差-协方差矩阵计算分布之间的像素值距离。过程执行如下。

首先，计算焦点像素周围的像素的像素值的平均向量μ₀以及方差-协方差矩阵Σ₀。如果将要处理的图像11是RGB图像，则平均向量μ₀的分量与RGB分量相对应，方差-协方差矩阵Σ₀的对角线分量表示RGB的方差，方差-协方差矩阵Σ₀的非对角线分量表示RGB的协方差。

以同样的方式，计算一个窗口内侧像素周围的像素的像素值的平均向量μ₁以及方差-协方差矩阵Σ₁。用以下公式(6)使用这些值来计算分布之间的距离D：

D＝(μ₀-μ₁)^T(∑₀+∑₁)^-1(μ₀-μ₁)…(6)

或者，使用线性判别分析。计算方向e(单位向量)，以便相关比(种类之间偏差相对于总偏差的比)标记最大值，然后计算方向e的平均值以及偏差，因此，然后可获得根据第三实施例的相同的方法。使用以下公式(7)以及(8)计算方向e的平均值m_i以及方差σ² _i：

m_i←e^Tμ_i…(7)

σ² _i←e^T∑_ie…(8)

在第四实施例中，通过如上所述的距离计算单元104的操作来执行图2的步骤S104的过程。

根据本实施例，用考虑到的颜色分量之间的相关来计算分布之间的距离，即使当彩色图像包含噪声时，也计算鲁棒的滤波器系数。

[第五实施例：使用Kullback-Leibler信息计算分布之间的像素值距离]

在第五实施例描述的示例中，使用Kullback-Leibler信息来计算分布之间的像素值距离。

根据第五实施例的图像处理设备100具有与图1所示相同的功能配置，除距离计算单元104的操作之外，以与在第一实施例中相同的方式进行操作。因此，在此将描述距离计算单元104。

在第五实施例中，距离计算单元104使用Kullback-Leibler信息来计算分布之间的像素值距离。过程执行如下。

首先，创建焦点像素周围的像素的像素值的直方图P(x)。假定像素值x适当离散化。不管图像是灰色图像还是彩色图像，通过适当地离散化像素值间隔来创建直方图。以同样的方式，创建窗口内侧像素周围的像素的像素值的直方图Q(x)。用以下公式(9)使用这些值来计算分布之间的距离D：

$D=\underset{x}{\mathrm{\Σ}}P\left(x\right)\log \frac{P\left(x\right)}{Q\left(x\right)}...\left(9\right)$

公式(9)的分布之间的距离D与Kullback-Leibler信息相对应。在本实施例中，虽然不满足与距离相关的数学公理，但是将此用作分布之间的距离。公式(9)的P(x)与Q(x)有可能相互替换。

在第五实施例中，通过如上所述的距离计算单元104的操作执行图2的步骤S104的过程。

根据第五实施例，即使当周围像素值的分布不是如大多数情况下遵循的正态分布时，也计算适当的滤波器系数。

[第六实施例：使用成对像素的像素之间的距离来计算分布之间的像素值距离]

在第六实施例描述的示例中，使用成对的像素之间的距离来计算分布之间的像素值距离。

根据第六实施例的图像处理设备100具有与图1所示相同的功能配置，除距离计算单元104的操作之外，以与在第一实施例中相同的方式进行操作。因此，在此将描述距离计算单元104。

在第六实施例中，距离计算单元104使用成对的像素之间的距离来计算分布之间的像素值距离。过程执行如下。

计算具有相互最接近的像素值的像素之间的距离，其中一个像素从焦点像素周围的像素中选择并具有像素值{pi}，而另一像素从窗口内侧像素周围的像素中选择并具有像素值{qi}。图5说明具有相互最接近的像素值的像素之间的距离。图5所示的距离d1是具有相互最接近的像素值的像素之间的距离。在以下公式(10)中，分布之间的像素值距离D表示具有相互最接近的像素值的像素之间的距离：

$D=\underset{i,j}{\min }\left|\right|p_i-q_j\left|\right|...\left(10\right)$

在公式中(10)中，||·||是像素值间隔所定义的规范。

或者，允许以一对一的方式使焦点像素周围的像素的像素值{pi}与窗口内侧像素周围的像素的像素值{qi}相关联，以便在每对像素中每个像素之间的距离之和具有最小值，将此和设置为分布之间的距离。图6说明在每对像素中像素之间的距离。把图6所示的箭头指示的距离之和设置为分布之间的像素值距离D。使用例如加权匹配算法产生二部图(bipartite graph)来计算每对像素中的每个像素之间的距离的最小和。分布之间的像素值距离D用以下公式(11)表示，其中S是没有叠加像素的对的集合：

$D=\underset{s}{\min }\underset{(i,j)\∈S}{\mathrm{\Σ}}\left|\right|p_i-q_j\left|\right|...\left(11\right)$

在第六实施例中，通过如上所述的距离计算单元104的操作来执行图2的步骤S104的过程。

根据第六实施例，不使用统计来计算距离；因此，即使当几乎不存在周围像素时，也鲁棒地计算距离，然后设置滤波器系数。

[第七实施例：空间距离的体现]

在第一实施例至第六实施例的任意一个中，在滤波器系数中体现焦点像素周围的像素的像素值的分布与窗口内侧像素周围的像素的像素值的分布之间的距离。在本实施例中，在滤波器系数中还体现焦点像素与窗口内侧像素之间的空间距离。例如，使用双向滤波器。

图7是根据第七实施例的图像处理设备110的示例的功能图。图像处理设备110包括图像取得单元101、焦点图像选择单元102、窗口内侧像素选择单元103、距离计算单元104、空间距离计算单元201、滤波器系数计算单元202、第一确定单元106、滤波器计算单元107、以及第二确定单元108。

图像处理设备110不仅包括图1所示的图像处理设备100的分量，而且包括空间距离计算单元201。具有与图1所示的图像处理设备100相同功能以及配置的图7所示的图像处理设备110的单元用相同的附图标记表示，不重复相同的描述。

空间距离计算单元201计算焦点像素与窗口内侧像素之间的空间距离。更具体地，焦点像素的空间位置(二维向量)设置为u₀，窗口内侧像素的空间位置设置为u₁，空间距离D′使用如以下公式(12)的规范||·||表示：

D′＝||u₀-u₁||…(12)

滤波器系数计算单元202计算滤波器系数。更具体地，滤波器系数计算单元202以按照第一实施例至第六实施例的任意一个中解释的方式而计算的分布之间的像素值距离D以及由空间距离计算单元201计算的空间距离D′的每一个代替图4所示的函数(a)至(c)中任意一个的自变量x，从而计算滤波器系数。滤波器系数计算单元202将计算的两个系数相乘，设置乘积为滤波器系数。

图8是根据第七实施例的图像处理方法的流程图。与参考图2描述的图像处理方法中相同的图8的步骤用相同步骤号表示，不重复相同的描述。图8的图像处理方法具有步骤S201以及S202，而取代图2的图像处理方法的步骤S105。

在步骤S201，空间距离计算单元使用公式(12)计算空间距离D′。在步骤S202，滤波器系数计算单元202使用分布之间的像素值距离D以及空间距离D′两者计算滤波器系数。

根据第七实施例，因为考虑到焦点像素与窗口内侧像素之间的空间距离，所以在滤波器处理中强烈体现空间上与焦点像素接近的像素即期望与焦点像素强相关的像素的像素值。

(通过使用计算机或者类似物的实施方式)

根据本发明实施例的图像处理设备能够通过使用例如个人计算机等等来实施。例如，当CPU执行存储在ROM、硬盘装置、或者类似物中的程序以及加载程序到作为工作区域的诸如RAM的主内存上时，执行根据本发明的实施例的图像处理方法。

虽然描述了本发明的最优实施方式，但是本发明并不局限于作为最优实施方式而描述的以上实施例。在本发明的范围内，允许进行各种修改。

Claims (5)

1.一种图像处理设备，包括：

距离计算单元，计算第一与第二分布之间的距离，其中第一分布是在图像中包括的焦点像素周围的像素的像素值的分布，第二分布是在中心包括该焦点像素的窗口中包括的像素周围的像素的像素值的分布，对于该窗口中包括的每个像素，获得该第二分布；

系数计算单元，使用该第一与第二分布之间的距离来为该窗口中包括的每个像素计算滤波器系数；以及

滤波器处理单元，通过使用该滤波器系数对该窗口中包括的每个像素执行滤波器处理过程，来为该焦点像素计算校正值；

其中，通过将该焦点像素周围的像素的像素值的平均值与该窗口中包括的像素周围的像素的像素值的平均值之间的距离除以该焦点像素周围的像素的像素值的方差与该窗口中包括的像素周围的像素的像素值的方差之和，来计算该第一与第二分布之间的距离。

2.根据权利要求1所述的图像处理设备，其中，当该图像是彩色图像时，用于计算该第一与第二分布之间的距离的像素值的平均值是三维向量，其中，该三维向量的分量是该像素值中包括的三色分量的平均值。

3.根据权利要求1或2所述的图像处理设备，其中，当该第一与第二分布之间的距离大于或者等于预定值时，该系数计算单元设置该滤波器系数为0。

4.根据权利要求1或2所述的图像处理设备，其中，该系数计算单元使用因变量的值作为计算该滤波器系数的权重，其中，所述因变量是包含作为自变量的该第一与第二分布之间的距离的单调减小函数的变量。

5.一种图像处理方法，包括：

计算第一与第二分布之间的距离，其中，第一分布是图像中包括的焦点像素周围的像素的像素值的分布，第二分布是在中心包括该焦点像素的窗口中包括的像素周围的像素的像素值的分布，对于该窗口中包括的每个像素，获得该第二分布；

使用该第一与第二分布之间的距离为该窗口中包括的每个像素计算滤波器系数；以及

通过使用该滤波器系数对该窗口中包括的每个像素执行滤波器处理过程，来为该焦点像素计算校正值；

其中，通过将该焦点像素周围的像素的像素值的平均值与该窗口中包括的像素周围的像素的像素值的平均值之间的距离除以该焦点像素周围的像素的像素值的方差与该窗口中包括的像素周围的像素的像素值的方差之和，来计算该第一与第二分布之间的距离。