CN106934806A - 一种基于结构清晰度的无参考图失焦模糊区域分割方法 - Google Patents

Abstract

本发明公开一种基于结构清晰度的无参考图失焦模糊区域分割方法，包括以下步骤：(1)缩放图像，将图像缩放为原图像面积的约1/4倍；(2)计算清晰度差值，分别计算原图和缩放后图像对应位置图像块的结构清晰度，并计算二者的差；(3)提取模糊区域，滤除差值图像的噪声，使用图像分割算法分割出模糊区域，并对分割后的结果进行上采样。针对无参考图像的失焦模糊区域分割，本发明使用原始图像构造缩放图像，分别计算缩放图像以及原始图像的清晰度，进而获得模糊度分布图像，最终快速有效地分割出图像失焦模糊区域。

Description

一种基于结构清晰度的无参考图失焦模糊区域分割方法

技术领域

本发明涉及数字图像技术，具体涉及一种基于结构清晰度的无参考图失焦模糊区域分割方法。

背景技术

图像模糊就是一种常见的图像退化过程，通常是因为在曝光过程中相机的移动、物体的移动或者对焦不准而产生，也有的情况下是为了追求某种艺术效果而人为形成的，包括在摄影或者后期的图像处理过程中。失焦模糊是一种常见的图像模糊，主要是由对焦不准导致的。图像模糊导致了图像中信息的丢失，为进一步处理图像造成了困难。准确而高效的发现模糊像素在图像分割、物体检测、场景分类、图像编辑等领域都有着重要且实际的应用。无参考图模糊区域分割应用中，只有一张输入图像，目前无参考图像失焦模糊区域分割方法主要包括图像频率域方法、空间域方法和一些结合机器学习算法的方法。然而这些算法主要存在两个问题，首先，处理速度慢，实用性不强，其次，分割效果不佳。

一个理想的图像质量评价指标能够有效的区分模糊和清晰图像，因此可以用来做图像模糊区域分割。无参考图结构清晰度图像质量评价指标(NRSS)就是一个效果较好的图像质量评价指标，其在结构清晰度(SSIM)指标的基础上实现了无参考图图像质量评价。但是，目前使用NRSS进行图像模糊区域分割的方法还比较少，即使有最后的分割效果也较差。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于结构清晰度的无参考图失焦模糊区域分割方法。

技术方案：本发明所述的一种基于结构清晰度的无参考图失焦模糊区域分割方法，包括如下步骤：

(1)缩放原始图像：将原始图像等比例缩放为原来图像面积的约0.25倍，即原始图像的尺寸为M×N，缩放后图像的尺寸为采用双线性插值对缩放后的图像进行插值，从而得到缩放后的图像；

(2)计算图像清晰度差值：

(2.1)对原始图像和步骤(1)中缩放后的图像进行分块，从而得到原始图像块集合R和缩放后图像块集合S；

(2.2)分别计算每个图像块的无参考图结构相似性用于衡量每个图像块的清晰程度；

(2.3)分别计算每个图像块清晰程度的差，得到差值矩阵；

(3)分割出模糊区域：

(3.1)使用导向滤波对步骤(2)中获得的差值矩阵进行滤波以滤除噪声；

(3.2)使用大津阈值法对去噪后的图像进行分割，即先找出能够最大化类间方差的灰度值，并以此灰度值进行二值化；

(3.3)对分割后的图像进行上采样，恢复为原始图像尺度。

进一步的，所述步骤(2.1)的具体过程为：

首先，从原始图像中选取图像块，步长为(2,2)，即：从图像的左上角开始，先每次沿X轴移动2个像素，然后沿着Y移动2个像素，重复上述步骤，直到获取所有图像块为止，选取的图像块集合为R，每个图像块记为R_i,j；

其中，i表示行标记，j表示列标记，假设图像块的大小为2m×2n，则

接着，从缩放后的图像中选取图像块，步长为(1,1)，即：从图像的左上角开始，先每次沿着X轴移动1个像素，然后沿着Y轴移动1个像素，重复上述步骤，直到获取所有图像块为止；选取的图像块序列记为S,每个图像块记为S_i,j；

其中，i表示行标记，j表示列标记，假设图像块的大小为m×n，则

集合R和S中图像块的个数应保持一致。

进一步的，所述步骤(2.2)的具体过程为：

假设给定图像块P，无参考图结构相似性的计算步骤如下：模糊图像块P，使用高斯模糊对图像块进行模糊得到图像P_b；提取梯度，使用Sobel算子提取图像块的水平和垂直方向的梯度，图像块P和P_b的梯度图像分别记为G和G_b；找出梯度图像中信息最丰富的N个图像块，梯度信息的丰富程度使用图像的方差衡量，即找出其中方差最大的N个图像块；计算图像块P的无参考图结构清晰度NRSS，NRSS的计算公式为：

其中，G中图像块记为Gⁱ,G_b中图像块记为Gⁱ _b；SSIM函数用来计算两个图片块的结构相似性，该函数同时考虑图像块之间的亮度、对比度和结构信息的相关性。在给定两个图像块a、b的情况下，SSIM函数可以表示为：

SSIM(a,b)＝[l(a,b)]^α[c(a,b)]^β[s(a,b)]^γ

其中，

s(a,b)＝(σ_ab+C₃)/(σ_aσ_b+C₃)，

u_a,u_b分别表示图像块a,b的图像灰度均值，σ_a,σ_b分别表示图像块a,b的图像灰度标准差，σ_ab表示图像块a,b的图像灰度协方差，α,β,γ为参数项，C₁,C₂,C₃是常数项，用以防止分母接近于零时出现运算不稳定的情况。

进而分别得到NRSS(S_i,j)和NRSS(R_i,j)。

进一步的，所述步骤(2.3)的方法如下：

计算图像块集合R和S中对应图像块清晰度的差值M′_i,j，从而得到差值矩阵M′＝{M′_i,j}：

M′_i,j＝NRSS(S_i,j)-NRSS(R_i,j)；

对矩阵M′进行归一化得到矩阵M＝{M_i,j}，采用最大值最小值归一化：

M_i,j＝(M′_i,j-min(M′))/(max(M′)-min(M′))，其中max(M′)表示矩阵中元素的最大值，min(M′)表示矩阵中元素的最小值。

有益效果：本发明不失一般性，图像缩小后，原来模糊的图像会变得清晰，因此可以使用缩小后图像和原始图像的清晰度差作为新的判别指标。基于这一方法可获得图像的模糊度分布，结合图像分割算法，最终有效的分割出图像模糊区域。通过图像尺度变换，所需处理的数据量大大降低，所以本发明的算法处理速度快，同时，分割效果优于现有算法。

综上所述，本发明具有分割速度快、分割效果好、适用于无参考图像等优点。

附图说明

图1为实施例中原始灰度图像；

图2为实施例中采用其他方法人工分割出的图像；

图3为实施例中使用本发明得出的归一化后差值矩阵；

图4为实施例中使用本发明得到的分割结果；

图5为实施例中效果对比图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例：

步骤1：读取原始彩色图像，取得彩色图像矩阵；

步骤2：将彩色图像矩阵转换为灰度图像矩阵，从而得到如图1所述的灰度图像，此时确定图像的大小为640x621；

步骤3：缩放图像，确定缩放后图像的大小为320x310，使用线性插值把图1所示的图像缩放成上述大小的图像；

步骤4：图像分块并计算每个图像块的清晰度。对原始图像和缩放后的图像进行分块，在此过程中，原始图像的移动步长为(2,2)，缩放后图像的移动步长为(1,1)，原始图像的图像块大小为32x32，缩放后图像的图像块大小为16x16，此过程完成后得到原始图像块集合R和缩放后图像块集合S。对集合中的每个图像块计算无参考图结构清晰度(NRSS)，用以衡量每个图像块的清晰程度，此过程完成后得到原始图像清晰度矩阵R^c和缩放后图像清晰度矩阵S^c；

步骤5：计算清晰度的差，根据步骤4中计算得到的清晰度矩阵R^c和S^c，可得到差值矩阵M′＝S^c-R^c；

步骤6：对差值矩阵M′进行归一化得到M，具体的归一化方法可以采用最大值最小值归一化方法，即M_i,j＝(M′_i,j-min(M′))/(max(M′)-min(M′))，得到的归一化图像如图3所示。

步骤7：对矩阵M进行导向滤波，把M自身作为参考图像；

步骤8：使用大津法对差值矩阵M进行分割；

步骤9：放大图像，对分割后的结果进行上采样并使用线性插值算法进行插值，得到最终分割结果，如图4所示。

另外，再对图1中的原始灰度图像采用人工分割，得到如图2所示的图像，然后将采用两种方法分割的结构进行效果对比，如图5所示，图中白色为重叠清晰区域，黑色为重叠模糊区域，灰色为误判区域。

由此可以看出，本发明分割效果好，更加精准。

Claims (4)

1.一种基于结构清晰度的无参考图失焦模糊区域分割方法，包括如下步骤：

(1)缩放原始图像：将原始图像等比例缩放为原来图像面积的约0.25倍，即原始图像的尺寸为M×N，缩放后图像的尺寸为采用双线性插值对缩放后的图像进行插值，从而得到缩放后的图像；

(2)计算图像清晰度差值：

(2.1)对原始图像和步骤(1)中缩放后的图像进行分块，从而得到原始图像块集合R和缩放后图像块集合S；

(2.2)分别计算每个图像块的无参考图结构相似性用于衡量每个图像块的清晰程度；

(2.3)分别计算每个图像块清晰程度的差，得到差值矩阵；

(3)分割出模糊区域：

(3.1)使用导向滤波对步骤(2)中获得的差值矩阵进行滤波以滤除噪声；

(3.2)使用大津阈值法对去噪后的图像进行分割，即先找出能够最大化类间方差的灰度值，并以此灰度值进行二值化；

(3.3)对分割后的图像进行上采样，恢复为原始图像尺度。

2.根据权利要求1所述的基于结构清晰度的无参考图失焦模糊区域分割方法，其特征在于：所述步骤(2.1)的具体过程为：

首先，从原始图像中选取图像块，步长为(2,2)，即：从图像的左上角开始，先每次沿X轴移动2个像素，然后沿着Y移动2个像素，重复上述步骤，直到获取所有图像块为止，选取的图像块集合为R，每个图像块记为R_i,j；

其中，i表示行标记，j表示列标记，假设图像块的大小为2m×2n，则

接着，从缩放后的图像中选取图像块，步长为(1,1)，即：从图像的左上角开始，先每次沿着X轴移动1个像素，然后沿着Y轴移动1个像素，重复上述步骤，直到获取所有图像块为止；选取的图像块序列记为S,每个图像块记为S_i,j；

其中，i表示行标记，j表示列标记，假设图像块的大小为m×n，则

集合R和S中图像块的个数应保持一致。

3.根据权利要求1所述的基于结构清晰度的无参考图失焦模糊区域分割方法，其特征在于：所述步骤(2.2)的具体过程为：

假设给定图像块P，无参考图结构相似性的计算步骤如下：模糊图像块P，使用高斯模糊对图像块进行模糊得到图像P_b；提取梯度，使用Sobel算子提取图像块的水平和垂直方向的梯度，图像块P和P_b的梯度图像分别记为G和G_b；找出梯度图像中信息最丰富的N个图像块，梯度信息的丰富程度使用图像的方差衡量，即找出其中方差最大的N个图像块；计算图像块P的无参考图结构清晰度NRSS，NRSS的计算公式为：

$NRSS\left(P\right)=1/N\underset{1}{\overset{N}{\Σ}}SSIM(G^i,G_b^i);$

其中，G中图像块记为Gⁱ,G_b中图像块记为SSIM函数用来计算两个图片块的结构相似性，该函数同时考虑图像块之间的亮度、对比度和结构信息的相关性。在给定两个图像块a、b的情况下，SSIM函数可以表示为：

SSIM(a,b)＝[l(a,b)]^α[c(a,b)]^β[s(a,b)]^γ

其中，

$l(a,b)=(2u_a{u}_b+C_1)/(u_a^2+u_b^2+C_1),$

$c(a,b)=(2{\mathrm{\σ}}_a{\mathrm{\σ}}_b+C_2)/({\mathrm{\σ}}_a^2+{\mathrm{\σ}}_b^2+C_2),$

s(a,b)＝(σ_ab+C₃)/(σ_aσ_b+C₃)，

u_a,u_b分别表示图像块a,b的图像灰度均值，σ_a,σ_b分别表示图像块a,b的图像灰度标准差，σ_ab表示图像块a,b的图像灰度协方差，α,β,γ为参数项，C₁,C₂,C₃是常数项，用以防止分母接近于零时出现运算不稳定的情况；

进而分别得到NRSS(S_i,j)和NRSS(R_i,j)。

4.根据权利要求1所述的基于结构清晰度的无参考图失焦模糊区域分割方法，其特征在于：所述步骤(2.3)的方法如下：

计算图像块集合R和S中对应图像块清晰度的差值M′_i,j，从而得到差值矩阵M’＝{M′_i,j}：

M′_i,j＝NRSS(S_i,j)-NRSS(R_i,j)；

对矩阵M’进行归一化得到矩阵M＝{M_i,j}，采用最大值最小值归一化：

M_i,j＝(M'_i,j-min(M'))/(max(M')-min(M'))，其中max(M')表示矩阵中元素的最大值，min(M')表示矩阵中元素的最小值。