CN104778659A - 基于深度学习的单帧图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的单帧图像超分辨率重建方法。本发明包括以下步骤：1、首先通过训练两个自动编码器用于获得低分辨率和对应高分辨率图像块的特征；2、基于已获得高分辨率和低分辨率图像块的特征，再训练一个单层神经网路学习两个特征的非线性映射关系；3、基于两个自动编码器和单层神经网络，构建三层的深度网络，以低分辨率图像块作为输入，高分辨率图像块作为输出，微调三层深度网络的参数；步骤4、依据得到的三层深度网络做单帧图像超分辨率重建，以低分辨率图像块的灰度值为输入，得到输出即为对应高分辨率图像块的灰度值。本发明不仅提高了超分辨率重建图像的质量，而且缩短了超分辨率重建时间，基本上可以达到实时的要求。

Description

基于深度学习的单帧图像超分辨率重建方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度学习的单帧图像超分辨率重建方法。

背景技术

超分辨率图像重建是从由低分辨率图像或视频重建高分辨率图像或视频的处理过程。与传统的图像增强不同，图像增强是图像中某些细节细息由弱变强的一个过程，超分辨率图像重建则是某些细节细息从无到有的一个重建过程，同时，也包含图像增强的成分。

在成像过程中，图像质量退化是不可避免的。仅靠物理传感材料及器件提高图像的分辨率，不仅成本昂贵，而且提升幅度也很有限。受高分辨率图像或视频应用需求的牵引，超分辨率重建已成为计算机视觉与图像处理领域的研究热点。超分辨率重建技术成本低、提升空间大，无需对硬件进行升级就能够重建出高分辨率图像或视频。

在目前的单帧图像超分辨率重建方法研究中，Freeman等提出通过马尔可夫随机场学得低分辨率图像块和高分辨率图像块的关系。Chang等受局部线性嵌入的启发，认为低分辨率和高分辨率图像块间可以构成具有相似局部几何结构的流形。Yang等人基于稀疏信号表示提出了一种单帧图片的超分辨率重建方法,该方法首先构建图像块的超完备字典，所有图像块均可以表示为该完备字典的线性组合，对每个低分辨率图像块，使用稀疏表示系数产生高分辨率的图像块。利用低分辨率图像块和高分辨率图像块的表示系数的相似性，采用基于实例的方法重建高分辨率图像，得到了较好的重建效果。但超分辨率图像重建是一类典型的不适定性科学问题，在数学上称为病态问题(ill-posed problem)，尚不能从理论上得到彻底解决，超分辨率图像重建研究属于国际公认的难度大、有重大影响的、探索性强的基础性问题，正是由于其重要的学术研究价值和广泛的应用价值，才得到了学术界广泛地关注。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于深度学习的单帧图像超分辨率重建方法。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1、在训练深度网络的过程中，首先通过训练两个自动编码器用于获得低分辨率和对应高分辨率图像块的特征；

步骤2、在训练深度网络的过程中，基于步骤1已获得高分辨率和低分辨率图像块的特征，再训练一个单层神经网路学习两个特征的非线性映射关系；

步骤3、在训练深度网络的过程中，基于步骤1和2中的两个自动编码器和单层神经网络，构建三层的深度网络，以低分辨率图像块作为输入，高分辨率图像块作为输出，微调三层深度网络的参数；

步骤4、依据步骤1、2和3中所得到的三层深度网络做单帧图像超分辨率重建，以低分辨率图像块的灰度值作为输入，得到的输出即为对应高分辨率图像块的灰度值。

步骤1所述的通过训练两个自动编码器分别获得低分辨率图像块和高分辨率图像块的特征，具体如下：

1-1.提取训练图像库中的低分辨率图像块y₁,y₂，...，y_i,...,y_n和高分辨率图像块x₁,x₂，...，x_i,...,x_n，其中x_i(i＝1,2,L L,n)是y_i(i＝1,2,L L,n)对应的高分辨率图像块。

1-2.为了得到低分辨率图像块的特征，构建一个两层自动编码器LRAE，设第一层的权重矩阵和偏移第二层的权重矩阵和偏移以低分辨率图像块y_i(i＝1,2,L L,n)为输入，训练自动编码器LRAE，使得输出与输入相同，其目标函数E_l如公式1所示：

$E_l=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{y}}_i-y_i\left|\right|}_2^2$   (公式1)

其中 $\left\{\begin{array}{c}{\hat{y}}_i=f(W_2^L{h}_i^L+b_2^L)\\ h_i^L=f(W_1^L{y}_i+b_1^L)\end{array}\right.,f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数。

1-3.采用backpropogation算法优化目标函数E_l，优化完成后，即为y_i的特征。

1-4.为了得到高分辨率图像块的特征，构建一个两层自动编码器HRAE，设第一层的权重矩阵和偏移第二层的权重矩阵和偏移以高分辨率图像块x_i(i＝1,2,L L,n)为输入，训练自动编码器HRAE，使得输出与输入尽可能相同，其目标函数

$E_h=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{x}}_i-x_i\left|\right|}_2^2$   (公式2)

其中 $\left\{\begin{array}{c}{\hat{x}}_i=f(W_2^H{h}_i^H+b_2^H)\\ h_i^H=f(W_1^H{x}_i+b_1^H)\end{array}\right.,f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数。

1-5.采用backpropogation算法优化目标函数E_h。优化完成后，即为x_i的特征。

步骤2所述的训练一个单层神经网络学习低分辨率图像块和对应高分辨率图像块的非线性映射关系，具体如下：

2-1.构建一个一层神经网络，设其权重矩阵W和偏移b，输入为低分辨率图像块的特征输出为其目标函数E_nonliear如公式3所示：

$E_{\mathrm{nonliear}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{h}}_i^H-h_i^H\left|\right|}_2^2$   (公式3)；

其中 ${\hat{h}}_i^H=f({\mathrm{Wh}}_i^L+b),f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数。

步骤3所述的生成一个三层的深度网络，该深度网络以低分辨率图像块的灰度值作为输入，得到的输出即为对应的超分辨率图像重建的结果，从而实现快速的单帧图像超分辨率重建，具体如下：

3-1.构建三层的深度网络，其第i(i＝1,2,3)层的权重矩阵为W_i，偏移为b_i，对参数进行如下初始化：

$\left\{\begin{array}{c}{W}_1={W_1}^L\\ b_1=b_1^L\\ W_2=W\\ b_2=b\\ W_3={W_2}^H\\ b_3=b_2^H\end{array}\right.$

其目标函数E如公式4所示：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{x}}_i-x_i\left|\right|}_2^2$   (公式4)；

3-2.用backpropogation算法优化目标函数E，其中输入为y₁,y₂,L L,y_n，输出为

其中，公式4中 $\left\{\begin{array}{c}{\hat{x}}_i=f(W_3{h}_i^H+b_3)\\ h_i^H=f(W_2{h}_i^L+b_2)\\ h_i^L=f(W_1{y}_i+b_1)\end{array}\right.;$

3-3.训练结束后，将测试图像库中的任一低分辨率图像块作为三层深度网络的输入，得到的输出就是超分辨率重建后的高分辨率图像块。

本发明具有的有益的效果是：

通过学习提取低分辨率图像块和高分辨率图像块的特征和学习低分辨率图像块和高分辨率图像块特征的非线性映射关系，指导单帧图像超分辨率重建过程，不仅提高了超分辨率重建图像的质量，而且使得超分辨率重建的时间大大缩短，基本上可以达到实时的要求。

附图说明

图1是本发明流程图；

图2是本发明基于深度学习的单帧图像超分辨率重建方法的训练过程框架示意图；

图3是本发明中基于深度学习的单帧图像超分辨率重建方法的重建过程框架示意图；

具体实施方式

下面结合附图对本发明作进一步说明。

如图1-3所示，基于深度学习的单帧图像超分辨率重建方法，具体包括如下步骤：

步骤1、在训练深度网络的过程中，首先通过训练两个自动编码器用于获得低分辨率和对应高分辨率图像块的特征；

步骤2、在训练深度网络的过程中，基于步骤1已获得高分辨率和低分辨率图像块的特征，再训练一个单层神经网路学习两个特征的非线性映射关系；

步骤3、在训练深度网络的过程中，基于步骤1和2中的两个自动编码器和单层神经网络，构建三层的深度网络，以低分辨率图像块作为输入，高分辨率图像块作为输出，微调三层深度网络的参数；

步骤4、依据步骤1、2和3中所得到的三层深度网络做单帧图像超分辨率重建，以低分辨率图像块的灰度值作为输入，得到的输出即为对应高分辨率图像块的灰度值。

如图2所示，步骤1所述的通过训练两个自动编码器分别获得低分辨率图像块和高分辨率图像块的特征，具体如下：

1-1.提取训练图像库中的低分辨率图像块y₁,y₂，...，y_i,...,y_n和高分辨率图像块x₁,x₂，...，x_i,...,x_n，其中x_i(i＝1,2,L L,n)是y_i(i＝1,2,L L,n)对应的高分辨率图像块。

1-2.为了得到低分辨率图像块的特征，构建一个两层自动编码器LRAE，设第一层的权重矩阵阵和偏移第二层的权重矩阵和偏移以低分辨率图像块y_i(i＝1,2,L L,n)为输入，训练自动编码器LRAE，使得输出与输入相同，其目标函数E_l如公式1所示：

$E_l=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{y}}_i-y_i\left|\right|}_2^2$   (公式1)

其中 $\left\{\begin{array}{c}{\hat{y}}_i=f(W_2^L{h}_i^L+b_2^L)\\ h_i^L=f(W_1^L{y}_i+b_1^L)\end{array}\right.,f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数。

1-3.采用backpropogation算法优化目标函数E_l，优化完成后，即为y_i的特征。

1-4.为了得到高分辨率图像块的特征，构建一个两层自动编码器HRAE，设第一层的权重矩阵和偏移第二层的权重矩阵和偏移以高分辨率图像块x_i(i＝1,2,L L,n)为输入，训练自动编码器HRAE，使得输出与输入尽可能相同，其目标函数

$E_h=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{x}}_i-x_i\left|\right|}_2^2$   (公式2)

其中 $\left\{\begin{array}{c}{\hat{x}}_i=f(W_2^H{h}_i^H+b_2^H)\\ h_i^H=f(W_1^H{x}_i+b_1^H)\end{array}\right.,f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数。

1-5.采用backpropogation算法优化目标函数E_h。优化完成后，即为x_i的特征。

如图3所示，步骤2所述的训练一个单层神经网络学习低分辨率图像块和对应高分辨率图像块的非线性映射关系，具体如下：

2-1.构建一个一层神经网络，设其权重矩阵W和偏移b，输入为低分辨率图像块的特征输出为其目标函数E_nonliear如公式3所示：

$E_{\mathrm{nonliear}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{h}}_i^H-h_i^H\left|\right|}_2^2$   (公式3)；

其中 ${\hat{h}}_i^H=f({\mathrm{Wh}}_i^L+b),f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数。

步骤3所述的生成一个三层的深度网络，该深度网络以低分辨率图像块的灰度值作为输入，得到的输出即为对应的超分辨率图像重建的结果，从而实现快速的单帧图像超分辨率重建，具体如下：

3-1.构建三层的深度网络，其第i(i＝1,2,3)层的权重矩阵为W_i，偏移为b_i，对参数进行如下初始化：

$\left\{\begin{array}{c}{W}_1={W_1}^L\\ b_1=b_1^L\\ W_2=W\\ b_2=b\\ W_3={W_2}^H\\ b_3=b_2^H\end{array}\right.$

其目标函数E如公式4所示：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{x}}_i-x_i\left|\right|}_2^2$   (公式4)；

3-2.用backpropogation算法优化目标函数E，其中输入为y₁,y₂,L L,y_n，输出为

其中，公式4中 $\left\{\begin{array}{c}{\hat{x}}_i=f(W_3{h}_i^H+b_3)\\ h_i^H=f(W_2{h}_i^L+b_2)\\ h_i^L=f(W_1{y}_i+b_1)\end{array}\right.;$

3-3.训练结束后，将测试图像库中的任一低分辨率图像块作为三层深度网络的输入，得到的输出就是超分辨率重建后的高分辨率图像块。

Claims (4)

1.基于深度学习的单帧图像超分辨率重建方法，其特征在于包括如步骤：

步骤1、在训练深度网络的过程中，首先通过训练两个自动编码器用于获得低分辨率和对应高分辨率图像块的特征；

步骤2、在训练深度网络的过程中，基于步骤1已获得高分辨率和低分辨率图像块的特征，再训练一个单层神经网路学习两个特征的非线性映射关系；

步骤3、在训练深度网络的过程中，基于步骤1和2中的两个自动编码器和单层神经网络，构建三层的深度网络，以低分辨率图像块作为输入，高分辨率图像块作为输出，微调三层深度网络的参数；

步骤4、依据步骤1、2和3中所得到的三层深度网络做单帧图像超分辨率重建，以低分辨率图像块的灰度值作为输入，得到的输出即为对应高分辨率图像块的灰度值。

2.如权利要求1所述的基于深度学习的单帧图像超分辨率重建方法，其特征在于步骤1所述的通过训练两个自动编码器分别获得低分辨率图像块和高分辨率图像块的特征，具体如下：

1-1.提取训练图像库中的低分辨率图像块y₁,y₂，...，y_i,...,y_n和高分辨率图像块x₁,x₂，...，x_i,...,x_n，其中x_i是y_i对应的高分辨率图像块；i＝1,2,L L,n；

1-2.为了得到低分辨率图像块的特征，构建一个两层自动编码器LRAE，设第一层的权重矩阵和偏移第二层的权重矩阵和偏移以低分辨率图像块y_i为输入，训练自动编码器LRAE，使得输出与输入相同，其目标函数E_l如公式1所示：

$E_l=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{y}}_i-y_i\left|\right|}_2^2$ (公式1)

其中 $\left\{\begin{array}{c}{\hat{y}}_i=f(W_2^L{h}_i^L+b_2^L)\\ h_i^L=f({W_1}^L{y}_i+b_1^L)\end{array}\right.,$ $f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数；

1-3.采用backpropogation算法优化目标函数E_l，优化完成后，即为y_i的特征；

1-4.为了得到高分辨率图像块的特征，构建一个两层自动编码器HRAE，设第一层的权重矩阵和偏移第二层的权重矩阵和偏移以高分辨率图像块x_i为输入，训练自动编码器HRAE，使得输出与输入尽可能相同，其目标函数

$E_h=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{x}}_i-x_i\left|\right|}_2^2$ (公式2)

其中 $\left\{\begin{array}{c}{\hat{x}}_i=f(W_2^H{h}_i^H+b_2^H)\\ h_i^H=f({{W_1}^{H}x}_i+b_1^H)\end{array}\right.,$ $f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数；

1-5.采用backpropogation算法优化目标函数E_h；优化完成后，即为x_i的特征。

3.如权利要求1所述的基于深度学习的单帧图像超分辨率重建方法，其特征在于步骤2所述的训练一个单层神经网络学习低分辨率图像块和对应高分辨率图像块的非线性映射关系，具体如下：

2-1.构建一个一层神经网络，设其权重矩阵W和偏移b，输入为低分辨率图像块的特征输出为i＝1,2,L L,n；其目标函数E_nonliear如公式3所示：

$E_{\mathrm{nonliear}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{h}}_i^H-h_i^H\left|\right|}_2^2$ (公式3)；

其中 ${\hat{h}}_i^H=f({\mathrm{Wh}}_i^L+b),$ $f\left(x\right)=\frac{1}{1+\exp (-x)}$ 为sigmoid函数。

4.如权利要求1所述的基于深度学习的单帧图像超分辨率重建方法，其特征在于步骤3所述的生成一个三层的深度网络，该深度网络以低分辨率图像块的灰度值作为输入，得到的输出即为对应的超分辨率图像重建的结果，从而实现快速的单帧图像超分辨率重建，具体如下：

3-1.构建三层的深度网络，其第i层的权重矩阵为W_i，偏移为b_i，i＝1,2,3；对参数进行如下初始化：

$\left\{\begin{array}{c}{W}_1={W_1}^L\\ b_1={b_1}^L\\ W_2=W\\ b_2=b\\ W_3={W_2}^H\\ b_3=b_2^H\end{array}\right.$

其目标函数E如公式4所示：

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\hat{x}}_i-x_i\left|\right|}_2^2$ (公式4)；

3-2.用backpropogation算法优化目标函数E，其中输入为y₁,y₂,L L,y_n，输出为i＝1,2,L L,n；

其中，公式4中 $\left\{\begin{array}{c}{\hat{x}}_i=f(W_3{h}_i^H+b_3)\\ h_i^H=f(W_2{h}_i^L+b_2)\\ h_i^L=f(W_1{y}_i+b_1)\end{array}\right.;$

3-3.训练结束后，将测试图像库中的任一低分辨率图像块作为三层深度网络的输入，得到的输出就是超分辨率重建后的高分辨率图像块。