CN107945125A - 一种融合频谱估计法和卷积神经网络的模糊图像处理方法 - Google Patents

Abstract

本发明提供一种融合频谱估计法和卷积神经网络的模糊图像处理方法，首先将输入图像进行灰度化处理，并进行傅里叶变换，生成频谱图；其次，通过对频谱图经过二值化处理并生成水平投影图来计算模糊长度和角度；最后，利用维纳滤波对模糊图像进行复原，并通过卷积神经网络进一步加强效果。本发明方法简单高效，具有良好的发展前景。

Description

一种融合频谱估计法和卷积神经网络的模糊图像处理方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种融合频谱估计法和卷积神经网络的模糊图像处理方法。

背景技术

随着科技的发展，图像在日常生活中的应用越来越频繁，不论是日常办公，还是上网娱乐，都能用到图像。与之相适应的，退化图像的图像复原也显得越来越重要。运动模糊图像是其中常见的一种模糊图像。当我们使用手机照相的时候，常常会发生这样的情况：当我们按下快门的那一瞬间，我们手抖了，然后就会发现这张照片就变得很模糊。通过这种方式拍摄所得的图像被称为“运动模糊图像”。众所周知，图像复原这项技术，在整个图像处理模块中都占有很重要的地位，它的主要目的就是让很模糊的图像能够恢复到原本的图像的质量标准。而在图像复原之中，运动模糊图像又是其中很重要的一部分，很有现实意义，因而能够广泛应用于现实生活当中，前景开阔。

图像复原作为图像处理技术中十分重要的一部分，自然受到国内外学者的广泛关注，也进行了许多相关研究。从最初的去卷积(即逆滤波)方法开始，到之后的线性恢复方法，以及图像盲反卷积算法等，之后的各种图像复原方法，基本都是围绕这三种方法发展改进的。其中，去卷积复原算法的主要内容有：功率谱均衡，几何均值滤波以及Wiener滤波，等等，这些较为传统且十分经典的图像复原方法，比较适合线性空间不变，或者噪声信号不相关的情况。六十年代中期，就已经开始采用Wiener滤波中的点扩散函数(简称PSF)对望远镜中由于大气涌动而引起的模糊图像进行去卷积处理。图像盲反卷积复原方法能够直接根据模糊图像来估计图像的真实信号和降质函数。但是使用这种方法所得的目标图像结果好坏，直接取决于初始条件的选择，而且所得的图像结果可能不唯一。如果图像信噪比较低时，就不适宜采用这种方法。传统的Wiener滤波处理方式都是在已知运动模糊的角度和长度的情况下，进行检验操作，这就对现实的使用有很大的局限性。

发明内容

针对上述现有技术的不足，本发明提出一种融合频谱估计法和卷积神经网络的模糊图像处理方法，在传统的图像复原基础上，结合频谱估计法和卷积神经网络实现的超分辨率，来提高基于计算机视觉的图像质量，通过频谱图分析法，将传统的Wiener滤波的使用转换成可以直接通过点扩散函数参数的变化来适应不同的运动模糊图像。

为实现上述目的，本发明的技术方案是：一种融合频谱估计法和卷积神经网络的模糊图像处理方法，包括：

步骤1：输入模糊图像；

步骤2：对模糊图像进行灰度化处理，并进行傅里叶变换，生成频谱图；

步骤3：对频谱图进行二值化处理，并生成水平投影图，计算模糊长度和角度；

步骤4：利用维纳滤波对模糊图像进行复原，并输入卷积神经网络得到最后图像。进一步地，所述步骤2具体包括：

步骤21：对图像先进行颜色空间的转换为YCbCr，然后提取Y通道进行灰度化处理，采用如下式子：Gray(x,y)＝αR(x,y)+βG(x,y)+γB(x,y)，其中Gray(x,y)为对应图像位置(x,y)的灰度值，R、G、B分别为对应位置的红、绿、蓝三种颜色的分量，α、β、γ为参数；

步骤22：将N行N列的灰度化图像按行按列进行一维傅里叶变换，利用如下式子：先按行进行离散傅里叶变换，再按列进行离散傅里叶变换，将图像从空间域f(x,y)转换为频域F(u,v)，最后得到包含实部和虚部的频域值，其中f(x,y)为对应位置(x,y)的灰度值，u为行变换后的频率分量，v为列变换后的频率分量，F(u,v)为对应u、v下的频谱值；

步骤23：将频谱图像的原点从起始点(0,0)移到图像的中心点(N/2,N/2)；

步骤24：将傅里叶变换的复数值进行操作，得到对应的幅度，Re为复数的实数部分，Im为复数的虚数部分；

步骤25：将幅度图进行归一化操作。

更进一步地，α＝0.30,β＝0.59,γ＝0.11。

进一步地，所述步骤3具体包括：

步骤31：对频谱图中各个灰度级像素个数进行统计，并计算各个灰度级像素数目占整幅图像的比例，利用阈值分割为前景和背景，分别计算分为前景的概率w₀及其平均灰度值q₀和分为背景的概率w₁及其平均灰度值q₁，采用遍历的方法并利用公式σ＝w₀*w₁*(q₀-q₁)²求得使σ最大的分割阈值，然后对图像进行阈值化，变为非黑即白的二值化图像；

步骤32：将二值化图像按像素点进行分割，从上往下按行进行搜索，寻找第一个出现白色像素点的行，然后从左往右按列进行搜索寻找第一个出现白色像素点的列，重叠两次搜索结果得到左上角的目标点A(x₁,y₁)；然后使用同样的方法得到右下角的目标点B(x₂,y₂)，采用如下公式：计算得到运动模糊的模糊角度θ；

步骤33：对二值化图像进行顺时针旋转角度θ，按列计算累计值并得到最大值和图像的水平距离D，然后对整幅图像中超过最大值一半的重新赋为最大值的一半，遍历得到最小值区域Ω；在Ω内计算距中心光斑的第一个条纹的距离d，利用如下公式：得到运动模糊图像的模糊长度L。

进一步地，所述步骤4具体包括：

步骤41：一幅清晰图像f在运动模糊的点扩散函数h_L,θ作用下，加上噪声n的污染，变为模糊图像g，利用如下式子：(h_L,θ*f)(x,y)+n(x,y)＝g(x,y)，对模糊图像实现去卷积进行图像恢复；

步骤42：输入一系列训练图片{X_i,Y_i}，X_i为输入的原图片，Y_i为处理后的模糊图片，总共有m组图片数据，采用均方误差作为损失函数，其中Θ代表训练过程中的各个参数，F函数为在一系列参数Θ作用下将Y_i进行去模糊操作，训练时调整参数使得均方误差最小，并使用随机梯度算法反向传播，调整参数使损失最小化，将维纳滤波处理后的图像输入训练好的卷积神经网络。

与现有技术相比，本发明具有有益效果：

通过结合频谱估计法和卷积神经网络恢复运动模糊图像，利用傅里叶变换后得到的频谱图，并结合水平投影图来估计运动模糊的长度和角度，针对传统的Wiener滤波处理方式都是在已知运动模糊的角度和长度的情况下进行检验操作，这对现实的使用有很大的局限性，本发明通过频谱图分析法，将传统的Wiener滤波的使用转换成可以直接通过点扩散函数参数的变化来适应不同的运动模糊图像，然后计算运动模糊的角度和长度，方法简单高效，具有良好的发展前景。

附图说明

图1是本发明一种融合频谱估计法和卷积神经网络的模糊图像处理方法流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

针对传统处理方法都是已知模糊角度和长度的情况，提出了结合点扩散函数和卷积神经网络的方法。基于卷积神经网络可以自主从数据中隐式学习特征，不需要人为手动的选择合适的特征，通过权值共享、最大池化等操作可以加快网络的训练速度并降低网络的复杂度。本发明在传统的图像复原基础上，结合以深度卷积神经网络实现的超分辨率，来提高基于计算机视觉的图像质量。

如图1所示，本发明提供的一种融合频谱估计法和卷积神经网络的模糊图像处理方法，包括：

步骤1：输入模糊图像；

步骤2：对模糊图像进行灰度化处理，并进行傅里叶变换，生成频谱图；

步骤3：对频谱图进行二值化处理，并生成水平投影图，计算模糊长度和角度；

步骤4：利用维纳滤波对模糊图像进行复原，并输入卷积神经网络得到最后图像。在本实施例中，所述步骤2具体包括：

步骤21：对图像先进行颜色空间的转换为YCbCr，然后提取Y通道进行灰度化处理，采用如下式子：Gray(x,y)＝αR(x,y)+βG(x,y)+γB(x,y)，其中Gray(x,y)为对应图像位置(x,y)的灰度值，R、G、B分别为对应位置的红、绿、蓝三种颜色的分量，α、β、γ为参数；

步骤22：将N行N列的灰度化图像按行按列进行一维傅里叶变换，利用如下式子：先按行进行离散傅里叶变换，再按列进行离散傅里叶变换，将图像从空间域f(x,y)转换为频域F(u,v)，最后得到包含实部和虚部的频域值，其中f(x,y)为对应位置(x,y)的灰度值，u为行变换后的频率分量，v为列变换后的频率分量，F(u,v)为对应u、v下的频谱值；

步骤23：将频谱图像的原点从起始点(0,0)移到图像的中心点(N/2,N/2)；

步骤24：将傅里叶变换的复数值进行操作，得到对应的幅度，Re为复数的实数部分，Im为复数的虚数部分；

步骤25：将幅度图进行归一化操作。

在本实施例中，α＝0.30,β＝0.59,γ＝0.11。

在本实施例中，所述步骤3具体包括：

步骤31：对频谱图中各个灰度级像素个数进行统计，并计算各个灰度级像素数目占整幅图像的比例，利用阈值分割为前景和背景，分别计算分为前景的概率w₀及其平均灰度值q₀和分为背景的概率w₁及其平均灰度值q₁，采用遍历的方法并利用公式σ＝w₀*w₁*(q₀-q₁)²求得使σ最大的分割阈值，然后对图像进行阈值化，变为非黑即白的二值化图像；

步骤32：将二值化图像按像素点进行分割，从上往下按行进行搜索，寻找第一个出现白色像素点的行，然后从左往右按列进行搜索寻找第一个出现白色像素点的列，重叠两次搜索结果得到左上角的目标点A(x₁,y₁)；然后使用同样的方法得到右下角的目标点B(x₂,y₂)，采用如下公式：计算得到运动模糊的模糊角度θ；

步骤33：对二值化图像进行顺时针旋转角度θ，按列计算累计值并得到最大值和图像的水平距离D，然后对整幅图像中超过最大值一半的重新赋为最大值的一半，遍历得到最小值区域Ω；在Ω内计算距中心光斑的第一个条纹的距离d，利用如下公式：得到运动模糊图像的模糊长度L。

在本实施例中，所述步骤4具体包括：

步骤41：一幅清晰图像f在运动模糊的点扩散函数h_L,θ作用下，加上噪声n的污染，变为模糊图像g，利用如下式子：(h_L,θ*f)(x,y)+n(x,y)＝g(x,y)，对模糊图像实现去卷积进行图像恢复；

步骤42：输入一系列训练图片{X_i,Y_i}，X_i为输入的原图片，Y_i为处理后的模糊图片，总共有m组图片数据，采用均方误差作为损失函数，其中Θ代表训练过程中的各个参数，F函数为在一系列参数Θ作用下将Y_i进行去模糊操作，训练时调整参数使得均方误差最小，并使用随机梯度算法反向传播，调整参数使损失最小化，将维纳滤波处理后的图像输入训练好的卷积神经网络。

卷积神经网络可以自主从数据中学习，不需要人为手动的选择合适的特征，通过权值共享、最大池化等操作加快网络的训练速度并降低网络的复杂度。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种融合频谱估计法和卷积神经网络的模糊图像处理方法，其特征在于，包括：

步骤1：输入模糊图像；

步骤2：对模糊图像进行灰度化处理，并进行傅里叶变换，生成频谱图；

步骤3：对频谱图进行二值化处理，并生成水平投影图，计算模糊长度和角度；

步骤4：利用维纳滤波对模糊图像进行复原，并输入卷积神经网络得到最后图像。

2.根据权利要求1所述的模糊图像处理方法，其特征在于，所述步骤2具体包括：

步骤21：对图像先进行颜色空间的转换为YCbCr，然后提取Y通道进行灰度化处理，采用如下式子：Gray(x,y)＝αR(x,y)+βG(x,y)+γB(x,y)，其中Gray(x,y)为对应图像位置(x,y)的灰度值，R、G、B分别为对应位置的红、绿、蓝三种颜色的分量，α、β、γ为参数；

步骤22：将N行N列的灰度化图像按行按列进行一维傅里叶变换，利用如下式子：

先按行进行离散傅里叶变换，再按列进行离散傅里叶变换，将图像从空间域f(x,y)转换为频域F(u,v)，最后得到包含实部和虚部的频域值，其中f(x,y)为对应位置(x,y)的灰度值，u为行变换后的频率分量，v为列变换后的频率分量，F(u,v)为对应u、v下的频谱值；

步骤23：将频谱图像的原点从起始点(0,0)移到图像的中心点(N/2,N/2)；

步骤24：将傅里叶变换的复数值进行操作，得到对应的幅度，Re为复数的实数部分，Im为复数的虚数部分；

步骤25：将幅度图进行归一化操作。

3.根据权利要求2所述的模糊图像处理方法，其特征在于，

α＝0.30,β＝0.59,γ＝0.11。

4.根据权利要求1所述的模糊图像处理方法，其特征在于，所述步骤3具体包括：

步骤31：对频谱图中各个灰度级像素个数进行统计，并计算各个灰度级像素数目占整幅图像的比例，利用阈值分割为前景和背景，分别计算分为前景的概率w₀及其平均灰度值q₀和分为背景的概率w₁及其平均灰度值q₁，采用遍历的方法并利用公式σ＝w₀*w₁*(q₀-q₁)²求得使σ最大的分割阈值，然后对图像进行阈值化，变为非黑即白的二值化图像；

步骤32：将二值化图像按像素点进行分割，从上往下按行进行搜索，寻找第一个出现白色像素点的行，然后从左往右按列进行搜索寻找第一个出现白色像素点的列，重叠两次搜索结果得到左上角的目标点A(x₁,y₁)；然后使用同样的方法得到右下角的目标点B(x₂,y₂)，采用如下公式：计算得到运动模糊的模糊角度θ；

步骤33：对二值化图像进行顺时针旋转角度θ，按列计算累计值并得到最大值和图像的水平距离D，然后对整幅图像中超过最大值一半的重新赋为最大值的一半，遍历得到最小值区域Ω；在Ω内计算距中心光斑的第一个条纹的距离d，利用如下公式：得到运动模糊图像的模糊长度L。

5.根据权利要求1所述的模糊图像处理方法，其特征在于，所述步骤4具体包括：

步骤41：一幅清晰图像f在运动模糊的点扩散函数h_L,θ作用下，加上噪声n的污染，变为模糊图像g，利用如下式子：(h_L,θ*f)(x,y)+n(x,y)＝g(x,y)，对模糊图像实现去卷积进行图像恢复；

步骤42：输入一系列训练图片{X_i,Y_i}，X_i为输入的原图片，Y_i为处理后的模糊图片，总共有m组图片数据，采用均方误差作为损失函数，其中Θ代表训练过程中的各个参数，F函数为在一系列参数Θ作用下将Y_i进行去模糊操作，训练时调整参数使得均方误差最小，并使用随机梯度算法反向传播，调整参数使损失最小化，将维纳滤波处理后的图像输入训练好的卷积神经网络。