CN106508045B - 一种基于图像边缘保持自适应分解的超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种图像超分辨率重建方法。该方法包括两部分：1、图像的自适应分解。这里所谓的自适应是指图像数据自适应的驱动分解过程。2、在图像自适应分解的基础上进行超分辨率放大。把图像自适应分解为低频信息和高频的信息的基础上，在高频部分应用高斯混合模型作为先验模型进行超分辨率放大，低频部分采用样条插值，最后进行叠加。本发明可以实现图像的高品质放大。

Description

一种基于图像边缘保持自适应分解的超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于图像边缘保持自适应分解的单幅图像超分辨重建方法。

背景技术

近年来，图像超分辨率方法一直是研究的热点，在图像跟踪、图像分割和视频检索等领域都有着密切的联系，因此图像超分辨率算法的研究有着十分重要的意义，特别在集成电路场发射扫描电镜图像的采集方面意义重大。因此开发基于图像边缘保持自适应分解的超分辨率重建算法就成为集成电路场发射扫描电镜采集的中心任务之一。

目前已有的方法都是建立在对图像建立概率统计模型的基础上，把图像假设为一个非平稳随机场，确定图像的统计模型假设和条件概率模型，根据贝叶斯理论，最大化后验概率得到在最大后验概率条件下的估值。本文认为，把图像分离为光滑部分和振动部分，并在各个组分的基础上建立概率统计模型是科学的。因为笼统的把图像统一建模的话，其各个成分混叠，建立的概率统计模型并不科学。本发明在各种图像上做了验证，就目前所掌握的资料，本发明所提出的方法好于其他的图像超分辨率重建算法。

可对比的文献有以下几篇：

[1]C.Bouman and K.Sauer，“A generalized Gaussian image model foredge-preserving MAP estimation，”IEEE Trans.Image Processing，vol.2，pp.296-310，July 1993.

[2]H.Hou and H.Andrews，“Cubic splines for image interpolation anddiagonal filtering，”IEEE Trans.Accoust Speech Signal Processing，vol.26，pp.508-517，Dec.1978.

[3]S.Lertrattanapanich and N.K.Bose，“High resolution image formationfrom low resolution frames using Delaunay triangulation，”IEEE Trans.Image Processing，vol.11，no.12，pp.1427-1441，Dec.2002.

[4]Shubin Zhao，Hua Han，Silong Peng，“Wavelet-domain HMT-based imagesuper-resolution”，International Conference on Image Processing-ICIP，pp.953-956，2003.

[5]Jian Sun，Jian Sun，Zongben Xu；Heung-Yeung Shum，“Imagesuper-resolution using gradient profile prior”，CVPR 2008，pp.1-8.

发明内容

本发明的目的在于提供一种适用于场发射扫描电镜图像的超分辨率重建方法。

本发明所提出的一种基于自适应分解和高斯混合概率模型的图像超分辨率重建方法，其特征在于，该方法包括以下步骤：

步骤1，输入初始图像；

步骤2，对初始图像进行图像边缘保持自适应分解，得到初始图像的卡通部分图像与振动部分图像；

步骤3，对分解得到的卡通部分图像与振动部分图像分别进行放大；

步骤4，对放大后的卡通部分图像和振动部分图像进行叠加得到最终的超分辨率重建图像。

除了场发射扫描电镜集成电路图像，还允许用户输入任何其它类型图像，输出为经过本***超分辨率重建的图像。本发明首先对给定的图像进行自适应的分解，分解出卡通部分和振动部分，然后通过对卡通部分和振动部分分别统计建模，得到对应的放大图像，进行叠加，最后得到超分辨率重建图像。本发明中所用到的图像文件的格式为图像的标准格式之一JPG格式。

本发明提出了应用自适应图像边缘保持自适应分解的结构进行超分辨率重构，结果表明这种超分辨率重构优于其它的一些超分辨率重构算法(比如经典的三次样条插值算法、隐马尔科夫随机场方法)。

本发明具有普适性，对图像类型不敏感，因为该发明的基础是图像边缘保持的自适应分解，进行了卡通部分和振动部分的分离，并且分别建模，所以通用性较好，不论自然纹理和人工合成纹理，该方法都是有效的。场发射电镜采集集成电路图像部分属于人工合成纹理，有的部分属于分片光滑部分，应用该发明是适合的。结果表明应用该方法取得了积极的结果，超分辨率的重建的各项评价指标对比经典超分辨率重建算法得到显著的提高。

附图说明

图1是本发明所提出的图像超分辨率重建方法流程图。

图2是图像的卡通部分与振动部分分离方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明所提出的基于图像边缘保持自适应分解的图像超分辨率重建方法流程图。如图1所示，本发明所提出的基于图像边缘保持自适应分解的图像超分辨率重建方法，具体包括以下步骤：

步骤1，输入初始图像。

本发明中，初始图像的数据格式为BMP格式。

步骤2，对初始图像进行图像边缘保持自适应分解，得到初始图像的卡通部分图像与振动部分图像。

所述步骤2进一步包括以下步骤：

步骤2.1，根据初始图像I确定邻域尺度；

根据输入的初始图像I确定邻域尺度，该领域尺度可选为[3X3]、[5X5]等。

步骤2.2，根据初始图像I的灰度信息计算得到局部邻域的极值；

本发明中，取邻域尺度为[3X3]。

步骤2.3，根据极值点信息构造上下包络图像；

在该步骤中，使用下式根据极值点信息构造上下包络图像：

s.t. E(r)＝I(r)，r∈Q，

其中，E表示待求的包络图像，J(E)为关于包络图像E的目标函数，r和s为初始图像中的任一点的位置，E(r)、E(s)分别为对应点r和s位置上的包络图像像素点，I(r)为对应点r位置上的初始图像像素点，Q表示局部极值位置，w_rs表示所采用的局部邻域权重系数，w_rs的加权和为1。如果Q表示局部极大值位置，则求解出的E(r)为上包络，如果Q表示局部极小值位置，则求解出的E(r)为下包络。

步骤2.4，取上下包络图像的平均值得到平均包络图像，即卡通部分图像；

所述得到的卡通部分图像(表示低频信息)表示为：

C＝(E_u+E_d)/2，

其中，C表示卡通部分图像，E_u表示上包络图像，E_d表示下包络图像。

步骤2.5，求取初始图像与卡通部分图像的差，得到振动部分图像；

所述得到的振动部分图像(表示高频信息)表示为：

O＝I-C，

其中，O表示振动部分图像，I为初始图像，C为卡通部分图像。

步骤3，对分解得到的卡通部分图像与振动部分图像分别进行放大。

所述步骤3进一步包括以下步骤：

步骤3.1，对于分解得到的卡通部分图像进行三次样条插值放大，得到放大的卡通部分图像I_s；初始化迭代次数m为0。

步骤3.2，使m＝m+1，对于上次迭代得到的振动部分图像建立混合高斯模型，应用最大期望EM算法估计得到混合高斯模型的参数集合：θ＝{w_j，μ_j，Σ_j}，其中，j＝1，...，k，k为混合高斯模型中不同的高斯模型的个数，w_j为权重系数(满足加权和为1)，u_j，∑_j为对应高斯模型的均值和方差；

步骤3.3，建立目标函数，并根据目标函数求得新振动部分图像

所述目标函数为：

其中，I为初始图像，为每次迭代时想要得到的超分辨率图像的振动部分，w_j为权重系数(满足加权和为1)，为高斯混合模型部分，i为原始图像中任一点的位置，k为混合高斯模型中不同的高斯模型的个数，N为图像的像素数，H为模糊核矩阵，L_O＝I，为的对应位置的灰度值，m为迭代次数。

步骤3.4，如果迭代得到的新振动部分图像满足一定条件，则认为是合适的放大的振动部分图像，否则返回步骤3.2重新估计参数进行迭代。

所述条件为：

其中，m为迭代次数，为2-范数运算，ε为一个较小的值，比如0.000001。

步骤4，对放大后的卡通部分图像和振动部分图像进行叠加得到最终的超分辨率重建图像。

最终放大后的图像，即超分辨率重建图像可表示为：

其中，I_L为最终得到的超分辨率重建图像，I_s为放大的卡通部分图像，为放大的振动部分图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种图像超分辨率重建方法，其特征在于，该方法包括以下步骤：

步骤1，输入初始图像；

步骤2，对初始图像进行图像边缘保持自适应分解，得到初始图像的卡通部分图像与振动部分图像；

步骤3，对分解得到的卡通部分图像与振动部分图像分别进行放大；

步骤4，对放大后的卡通部分图像和振动部分图像进行叠加得到最终的超分辨率重建图像；

所述步骤2进一步包括以下步骤：

步骤2.1，根据初始图像I确定邻域尺度；

步骤2.2，根据初始图像I的灰度信息计算得到局部邻域的极值；

步骤2.3，根据极值点信息构造上下包络图像；

步骤2.4，取上下包络图像的平均值得到平均包络图像，即卡通部分图像；

步骤2.5，求取初始图像与卡通部分图像的差，得到振动部分图像；

所述步骤2.3中，使用下式根据极值点信息构造上下包络图像：

$J\left(E\right)=min\left(\underset{r\∉Q}{\Σ}{\left(E\left(r\right)-\underset{s}{\Σ}{w}_{rs}E\left(s\right)\right)}^2\right),$

s.t.E(r)＝I(r)，r∈Q，

其中，E表示待求的包络图像，J(E)为关于包络图像E的目标函数，r和s为初始图像中的任一点的位置，E(r)、E(s)分别为对应点r和s位置上的包络图像像素点，I(r)为对应点r位置上的初始图像像素点，Q表示局部极值位置，w_rs表示所采用的局部邻域权重系数，w_rs的加权和为1，如果Q表示局部极大值位置，则求解出的E(r)为上包络，如果Q表示局部极小值位置，则求解出的E(r)为下包络；

所述步骤2.4中得到的卡通部分图像表示为：

C＝(E_u+E_d)/2，

其中，C表示卡通部分图像，E_u表示上包络图像，E_d表示下包络图像；

所述步骤2.5中得到的振动部分图像表示为：

O＝I-C，

其中，O表示振动部分图像，I为初始图像，C为卡通部分图像；

所述步骤3进一步包括以下步骤：

步骤3.1，对于分解得到的卡通部分图像进行三次样条插值放大，得到放大的卡通部分图像I_s，初始化迭代次数m为0；

步骤3.2，使m＝m+1，对于上次迭代得到的振动部分图像建立混合高斯模型，应用最大期望EM算法估计得到混合高斯模型的参数集合：θ＝{w_j，μ_j，Σ_j}，其中，j＝1，...，k，k为混合高斯模型中不同的高斯模型的个数，w_j为权重系数，u_j，Σ_j为对应高斯模型的均值和方差；

步骤3.3，建立目标函数，并根据目标函数求得新振动部分图像

步骤3.4，如果迭代得到的新振动部分图像满足一定条件，则认为是合适的放大的振动部分图像，否则返回步骤3.2重新估计参数进行迭代；

所述步骤3.3中的目标函数为：

$\widehat{I_T^m}={\mathrm{argmax}}_I\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp \left(\frac{\left|\right|H(I_s+I_T^m)-Lo|{|}_2^2}{2{\mathrm{\σ}}^2}\right)\·\underset{i=1}{\overset{N}{\Π}}\underset{j=1}{\overset{k}{\Σ}}{w}_{j}g\left(I_{T,i}^m\right|{\mathrm{\μ}}_j,{\Σ}_j),$

其中，I为原始图像，为每次迭代时想要得到的超分辨率图像的振动部分，w_j为权重系数，为高斯混合模型部分，i为原始图像中任一点的位置，k为混合高斯模型中不同的高斯模型的个数，N为图像的像素数，H为模糊核矩阵，L_O＝I，为的对应位置的灰度值，m为迭代次数；

所述步骤3.4中的条件为：

$\left|\right|I_T^m-I_T^{m-1}|{|}_2<\mathrm{\&epsiv;},$

其中，m为迭代次数，||·||为2-范数运算，ε为一个较小的值；

所述权重系数w_j的加权和为1；

最终得到的超分辨率重建图像表示为：

$I_L=I_s+I_T^m,$

其中，I_L为最终得到的超分辨率重建图像，I_s为放大的卡通部分图像，为放大的振动部分图像。