CN113191947B - 一种图像超分辨率的方法及*** - Google Patents
一种图像超分辨率的方法及*** Download PDFInfo
- Publication number
- CN113191947B CN113191947B CN202110310875.1A CN202110310875A CN113191947B CN 113191947 B CN113191947 B CN 113191947B CN 202110310875 A CN202110310875 A CN 202110310875A CN 113191947 B CN113191947 B CN 113191947B
- Authority
- CN
- China
- Prior art keywords
- image
- local
- convolution
- network
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 9
- 239000010410 layer Substances 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 50
- 230000009467 reduction Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012512 characterization method Methods 0.000 claims description 13
- 238000013461 design Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000002356 single layer Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims 1
- 238000000513 principal component analysis Methods 0.000 description 47
- 238000002474 experimental method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100164980 Arabidopsis thaliana ATX3 gene Proteins 0.000 description 1
- 101100456616 Arabidopsis thaliana MEA gene Proteins 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 101150051720 SET5 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像超分技术领域，公开了一种图像超分辨率的方法及***，所述图像超分辨率的方法包括：结合图像非局部自相似性，利用3D卷积神经网络3DCNN处理图像SR，提出基于3DCNN的非局部超分辨率方法；直接利用3DCNN建模非局部相似性，提取自然图像的非局部相似信息；构造基于8层全卷积网络的3DCNN基础模型；进行3DCNN中的3D卷积神经网络的设计，提出基于RNN的改进模型，使基础模型成为改进模型的一种特例。本发明提供的非局部操作的利用能有效地捕获图像中的非局部相似信息，提升SR重建性能；与现有CNN模型相比，表现出明显的重建优势，在结构信息丰富的图像场景上表现突出。
Description
技术领域
本发明属于图像超分技术领域，尤其涉及一种图像超分辨率的方法及***。
背景技术
目前，基于学习的超分辨率因为其计算速度快，性能表现优异近十几年来成为了主流的图像超分辨方案，它是计算机视觉方向上的一个病态(ill-posed)问题。和基于插值和重构方法不一样的是，基于数据的超分辨率应用场景更加丰富，可以获得较高的重建图像质量。通过学习LR图像和HR图像隐含的映射关系，然后在通过这种关系进行图像的超分辨率重构根据学习的对象和学习方式，基于学习的超分辨率重构可以分成：基于流行学习的方法，基于超完备字典的学习方法，基于K-近邻的学习方法，基于实例学习方法和基于深度学习的方法。
随着深度学习技术在计算机各个领域的发展，基于深度学习的方法日益成熟。各学者把更多的目光集中在研究深度学习网络的研究上，尤其是卷积神经网络(Convolutional Neural Network，CNN)的提出和完善使得深度学习技术在图像分类，语义分割，目标检测以及图像复原等各个领域的性能得到了极大的提升。CNN使用卷积核来代替人类中的视野，这样即降低了计算量，又可以有效的保留图像的特征，同时还能对图片进行更加高效的处理。其中局部感受野，权值共享是最突出的两个思想，在这两个思想的结合延伸下，CNN网络在提取特征时拥有位移，尺度不变性等优点。在超分辨重构的领域，CNN模型通过具有以上特点的网络结构，表现出优异的特征学习能力，这些特征都是生成高质量的SR图像的必要条件。
在2014年，Dong首次提出使用CNN处理图像超分辨，提出了SRCNN算法，将CNN引入了SR领域。该算法先将LR图像进行上采样处理，然后将其输入到一个深度为3的网络结构去，联合了特征提取，非线性映射以及图像重建三个部分，通过端到端的方式学习了LR-HR映射关系，开启了SR的研究热潮。随后Dong又进一步提出了FSRCNN。因为SRCNN首先对LR图像插值然后在超分重构，明显增加了网络计算量，因此FSRCNN直接将LR图像放到网络中训练，最后在使用反卷积层对图像进行重构。这样使得网络可以输入未插值的小图，又因为反卷积层位于网络末端，大大的减少网络计算量。同时网络引入1×1降维和升维以及将5×5的卷积核分解成2个3×3的卷积核，这样一来再次降低了网络计算量。之后的网络都使用这种方法来降低数据的运算量。此后出现的ESPCN以为通过插值法上采样输入到网络会增加网络的运算量，而使用反卷积会产生大量的计算冗余，在放大图像的同时也放大了噪声，影响重建图像的质量。
ESPCN的主要是亚像素卷积层(sub-pixel convolutional layer)。网络输入原始低分辨率图像，然后通过三个卷积层，得到通道数为r2(r2是图像放大倍数)的与输入图像大小一样的特征图像。再将特征图像每个像素的r2个通道重新排列成一个r*r的区域，对应高分辨率图像中一个r2*H*W大小的子块，从而大小为r2*H*W的特征图像被重新排列成1*rH*rW的高分辨率图像。这个变换虽然被称作sub-pixel convolution,但实际上并没有卷积操作。图像从低分辨率到高分辨率放大的过程，插值函数被隐含地包含在前面的卷积层中，可以自动学***滑。三是在重建高分辨率图像时，如果只用一次上采样的操作，在获得大倍数(8倍以上)的上采样因子时就会比较困难。而且在不同的应用时，需要训练不同上采样倍数的模型。
大多数基于CNNI(ConvolutionalNeuralNetwork)的SR算法并未充分考虑图像的非局部相似性，而该性质在传统非局部方法中被证实能有效地提升图像的重建性能。同时，目前仅有少数研究探索如何将图像非局部自相似性与深度学习结合，发掘出更大潜力的SR算法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)通过插值法上采样输入到网络会增加网络的运算量，而使用反卷积会产生大量的计算冗余，在放大图像的同时也放大了噪声，影响重建图像的质量。
(2)金字塔深度学习模型需要使用预先定义好的上采样操作来获得目标的空间尺寸，这样的操作增加了额外的计算开销，同时也会导致可见的重建伪影。
(3)有的方法使用了亚像素卷积层或者反卷积层这样的操作来替换预先定义好的上采样操作，这些方法的网络结构又相对比较简单，性能较差，并不能学好低分辨率图像到高分辨率图像复杂的映射。
(4)在训练网络时使用L2型损失函数时，不可避免地会产生模糊的预测，恢复出的高分辨率图片往往会太过于平滑。
(5)在重建高分辨率图像时，如果只用一次上采样的操作，在获得大倍数的上采样因子时就会比较困难，而且在不同的应用时，需要训练不同上采样倍数的模型。
(6)大多数基于CNNI的SR算法并未充分考虑图像的非局部相似性，而该性质在传统非局部方法中被证实能有效地提升图像的重建性能。
解决以上问题及缺陷的难度为：
通过引入PCA降维，把图像去噪和图像超分结合同时利用块匹配算法提取图像非局部相似块，训练的时候使用L1型损失函数，利用3DCNN实现了端到端的图像重建。该流程值得注意在PCA降维的同时，需要保留原始信息，因此界定好作降维处理的数据和不作降维处理数据是非常关键的，同时块匹配使用KNN算法尽可能的降低复杂度，最后在设计3DCNN的时候，需要设计合理的网络结构。
解决以上问题及缺陷的意义为：
实验证明，所提方法的基础模型和改进模型，与已有方法相比，均实现了有效的性能提升。其中改进模型在与基础模型相同的参数量情况下实现了对比算法中最好的SR性能，在图像超分领域提供了一种新的思路。
发明内容
针对基于CNN重建模型在捕获图像非局部自相似性信息上的不足，本发明提供了一种图像超分辨率的方法及***，尤其涉及一种基于块匹配和3D卷积神经网络的非局部图像超分辨率的方法、***、介质、设备及处理终端。
本发明是这样实现的，一种图像超分辨率的方法，所述图像超分辨率的方法包括：结合图像非局部自相似性，利用3D卷积神经网络3DCNN处理图像SR，提出基于3DCNN的非局部超分辨率方法；直接利用3DCNN建模非局部相似性，提取自然图像的非局部相似信息；构造基于8层全卷积网络的3DCNN基础模型；进行3DCNN中的3D卷积神经网络的设计，提出基于RNN的改进模型，使基础模型成为改进模型的一种特例。
进一步，所述3D卷积神经网络包括三个部分，分别是：
1)单层3D卷积层和ReLU组合，用以将输入图像块集转化到特征空间；
2)一个特征子网络，用以提取局部和非局部信息；
3)单层3D卷积层，用以输出残差图像块集；设计的3D网络输出为残差图像块集与输入图像块集之间的和。
进一步，所述图像超分辨率的方法包括以下步骤：
步骤一，对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型作为图像的训练模型，模型的第三维信息用非局部相似性质；
步骤二，根据混合残差单元和残差网络，提取图像的非局部特性；
步骤三，将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
步骤四，采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
步骤五，从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
进一步，步骤一中，所述对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质，包括：
三维图像块集的前两维保存着图像2D局部信息，而第三维保存着非局部信息。对这样的三维数据，采用能力更强的3d卷积将会更有效得到SR图像。
2D卷积提取上一层特征图的局部邻域中的特征，与2D卷积不同之处在于，输入图像多了一个深度维度，卷积核也多了一个Kd维度，因此3D卷积核的尺寸为(Kh,Kw,Kd)。每次滑窗与窗口内的值进行相关操作，得到输出3D图像中的一个值。其中卷积核深度大小小于输入层深度，核大小<通道大小；3D卷积核可以在所有三个方向，即图像的高度、宽度和通道上移动，在每个位置，逐元素的乘法和加法都会得到一个数值，对于这样的三维数据处理，可以增强获取数据信息的能力。其中2D卷积由公式可以表示为：
其中，可以表示当前l的第j个特征位置是(x,y)的值，其中i表示上一层特征图集合的位置坐标，/>表示为连接是第i个特征图时在核是(p,q)位置的值，Pl和Ql为卷积核的尺寸。3D卷积被定义为：
其中，表示当前l层第j个3D位置为(x,y,z)时的值，Rl表示3D卷积的第三维尺度信息。
对于三维图像块集，3D卷积是指在一个小的三维感受野范围中，计算的目标像素值是局部和非局部像素点的联合加权平均值。随着卷积层的堆叠，随着感受野的扩大最终将覆盖到整个图像块集的局部和非局部信息，从而达到特征提取的效果。
在网络设计上通过一个全卷积3D网络，利用3D卷积层捕获图像块集的局部和非局部信息。整个网络由一系列非线性单元和3D卷积层组成，通过卷积核来提取特征，利用残差学习策略被采用去缓解梯度消失或***问题并且可以堆叠使用更多的网络层或者使每层提取更多的特征，即网络的输入和输出跳跃连接。一般情况下，经过卷积操作后数据尺寸缩小，通过在训练过程中对每层卷积层通过补零操作来保证网络输入输出的尺寸一致。而对于激活函数，提出方法则选用ReLU，则第l层的3D卷积和非线性操作可以被定义为：
Hl(Hl-1)＝max(0,Wl*Hl-1+bl)；
其中，Hl-1表示上一层的输出，即当前层的输入。定义Wl*Hl-1为当前层的3D卷积操作。设计的3DCNN目的是学习LR图像块集Y与HR图像块集X之间的映射F(Y)，使其尽可能接近X。3DCNN以LR图像块集作为输入(即H0＝Y)，则网络的第一层输出可表示成：
H1＝H1(Y)＝max(0,W1*Y+b1)；
设定网络深度为D，即有D层卷积层。在3DCNN的基础模型中，总共包含8层卷积层，即D＝8。则整个网络的输出F(Y)可计算为：
F(Y)＝H8(H7(......H1(Y)))+Y。
进一步，步骤三中，所述将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，包括：
(1)引入PCA对部分数据集降维，选取数据集中部分数据利用采用主从分析PCA将数据降维，去除图像信息冗余部分，特取图像相似特征，去除图像噪声保证非局部相似性。同时保留部分数据集的原始数据作为数据集的另一部分，保证图像原始信息和局部信息不丢失。
对于n*m的图像样本，共有n个样本，每行为m维，对没有m维的样本通过插值到达m维，p*n的实矩阵可以分解为：
X＝U∑VT；
正交阵U的维数是n×m，正交阵V的维数是m×m，正交阵满足：UUT＝VTV＝1；∑是m×m的对角阵。将∑分割成r列，记作∑r；利用U和V得到降维数据样本Yr：
Yr＝U∑r；
(2)采用BM算法来提取LR图像的非局部块。首先将数据样本Yr的LR图像打散成尺寸p*p的图像集合其中N＝(dh-p+1)×(dw-p+1)表示整张图像打散成块的数量。对于Ωp中第i个目标图像块p(i)，可计算为：
p(i)＝R(i)ybic；
其中dw是一个二值稀疏矩阵，表示提取的第i个图像块。
(3)BM算法使用一个基于欧式距离的s*s大小的搜索窗口收集一系列相近的图片。最后每个窗口收集的图片叠在一起作为网络训练所需要的LR图像集Y。对于图像集Y里的每一个元素都由K个图像块组成，从降维数据集Yr选取a个数据块，然后从原始数据集选取b个数量块，其中a+b＝k。对于生成的对于对应的HR图像x，利用相同方式进行处，理形成HR图像块集同时，在HR图像中收集相似图像块需要保证插值图像中的非局部相似位置，而不是要重新计算距离搜索。3DCNN采用图像块集的方式表示非局部相似图像块，它能很好地保存图像中的局部和非局部相似信息。
进一步，步骤四中，所述采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块，包括：
构建的3DCNN输出为一系列增强图像块集ΩY中所有增强图像块集向量化后可以表示成/>形成图像块集合；最终的SR图像由/>中的图像重建恢复，被定义为：
考虑到的元素会被重复叠加，因而一个权值向量需要被考虑来平均重叠的元素值：
其中，是一个元素值为1的常列向量。最后，SR图像/>能被计算为：
本发明的另一目的在于提供一种应用所述的图像超分辨率的方法的图像超分辨率的***，所述图像超分辨率的***包括：
3DCNN基础模型构建模块，用于对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；
图像非局部特性提取模块，用于根据混合残差单元和残差网络，提取图像的非局部特性；
降维处理模块，用于将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
非局部相似图像块提取模块，用于采用传统块匹配方法从LR图像数据集中提取非局部相似图像块；
非局部相似图像块表征模块，用于对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
SR图像输出模块，用于从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；
根据混合残差单元和残差网络，提取图像的非局部特性；
将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；
根据混合残差单元和残差网络，提取图像的非局部特性；
将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的图像超分辨率的***。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的图像超分辨率的方法，针对CNN模型中图像非局部相似信息提取不足的问题，进行了深入的研究，并从不同角度出发开展了如下两个工作：从数据层面出发，提出了基于块匹配和3D卷积神经网络的非局部SR方法。该方法利用块匹配方法从二维图像中提取非局部相似图像块，并形成了三维图像块集。基于三维图像块集，它构建并训练一个3D卷积神经网络用于提取其中局部和非局部相似信息，并学习出LR-HR图像块集之间的映射关系。最后该方法从预测的图像块集中重建出HR图像。从网络结构出发，提出了基于非局部神经网络的图像SR模型。该方法改造现有基于CNN的非局部操作，并将其与传统CNN结构联合，提出了混合残差单元。以混合残差单元作为循环单元，该方法构建了一个循环网络用于在LR空间提取图像的局部和非局部信息。最后利用上采样网络将特征转换到HR空间并实现HR图像的重建。实验结果显示，非局部操作的利用能有效地捕获图像中的非局部相似信息，提升SR重建性能。所提出的非局部残差网络，与现有CNN模型相比，表现出明显的重建优势，并在结构信息丰富的图像场景上表现突出。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像超分辨率的方法流程图。
图2是本发明实施例提供的图像超分辨率的***结构框图；
图中：1、3DCNN基础模型构建模块；2、图像非局部特性提取模块；3、降维处理模块；4、非局部相似图像块提取模块；5、非局部相似图像块表征模块；6、SR图像输出模块。
图3是本发明实施例提供的网络模型示意图。
图4是本发明实施例提供的2D卷积和3D卷积的操作对比图。
图4(a)是本发明实施例提供的2D卷积示意图。
图4(b)是本发明实施例提供的3D卷积示意图。
图5是本发明实施例提供的选取数据集作PCA处理部分和非PCA处理部分比例r跟原始数据结果对比示意图。
图6是本发明实施例提供的不同方法制作数据集的对比图。
图7是本发明实施例提供的引入残差网络和未引入残差模型示意图。
图8(a)是本发明实施例提供的原图(PSNR/SSIM)。
图8(b)是本发明实施例提供的Bicubic(29.55/0.8432)示意图。
图8(c)是本发明实施例提供的ScSR(30.77/0.8749)示意图。
图8(d)是本发明实施例提供的SelfExSR(31.18/0.8859)示意图。
图8(e)是本发明实施例提供的SRCNN(31.36/0.8882)示意图。
图8(f)是本发明实施例提供的FSRCNN(31.50/0.8909)示意图。
图8(g)是本发明实施例提供的未引入pca our(32.89/0.9106)示意图。
图8(h)是本发明实施例提供的引入pca our(33.01/0.9109)示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种图像超分辨率的方法及***，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的图像超分辨率的方法包括以下步骤：
S101，对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；
S102，根据混合残差单元和残差网络，提取图像的非局部特性；
S103，将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
S104，采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
S105，从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
如图2所示，本发明实施例提供的图像超分辨率的***包括：
3DCNN基础模型构建模块1，用于对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；
图像非局部特性提取模块2，用于根据混合残差单元和残差网络，提取图像的非局部特性；
降维处理模块3，用于将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
非局部相似图像块提取模块4，用于采用传统块匹配方法从LR图像数据集中提取非局部相似图像块；
非局部相似图像块表征模块5，用于对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
SR图像输出模块6，用于从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
下面结合实施例对本发明的技术方案作进一步描述。
实施例1
本发明针对CNN模型中图像非局部相似信息提取不足的问题，进行了深入的研究，并从不同角度出发开展了如下两个工作：从数据层面出发，提出了基于块匹配和3D卷积神经网络的非局部SR方法。该方法利用块匹配方法从二维图像中提取非局部相似图像块，并形成了三维图像块集。基于三维图像块集，它构建并训练一个3D卷积神经网络用于提取其中局部和非局部相似信息，并学习出LR-HR图像块集之间的映射关系。最后该方法从预测的图像块集中重建出HR图像。从网络结构出发，提出了基于非局部神经网络的图像SR模型。该方法改造现有基于CNN的非局部操作，并将其与传统CNN结构联合，提出了混合残差单元。以混合残差单元作为循环单元，该方法构建了一个循环网络用于在LR空间提取图像的局部和非局部信息。最后利用上采样网络将特征转换到HR空间并实现HR图像的重建。实验结果显示，非局部操作的利用能有效地捕获图像中的非局部相似信息，提升SR重建性能。所提出的非局部残差网络，与现有CNN模型相比，表现出明显的重建优势，并在结构信息丰富的图像场景上表现突出。
针对基于CNN重建模型在捕获图像非局部自相似性信息上的不足，本发明提出了基于块匹配和3D卷积神经网络的非局部图像超分辨率和基于非局部卷积神经网络的图像超分辨率模型。
第一步，选取数据集中部分数据利用采用主从分析PCA将数据降维，去除图像信息冗余部分，特取图像相似特征，去除图像噪声保证非局部相似性。同时保留部分数据集的原始数据作为数据集的另一部分，保证图像原始信息和局部信息不丢失。
第二步，根据式从LR图像数据集中提取非局部相似图像块，并表征它们。提取的方法采用传统块匹配方法来提取非局部相似块，最后对图像块堆叠形成三维图像块集作为表征这些非局部图像块。
第三步，设计3D卷积神经网络用来对图像块集信息进行提取，并且增强这些非局部图像块。如图3所示，构造的3D网络包括三个部分，分别是：1)单层3D卷积层和ReLU组合，用以将输入图像块集转化到特征空间；2)一个特征子网络，用以提取局部和非局部信息；3)单层3D卷积层，用以输出残差图像块集。设计的3D网络输出为残差图像块集与输入图像块集之间的和。
第四步，从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
实施例2
本发明实施例提供的超分辨的方法包括：结合图像非局部自相似性，首次利用3D卷积神经网络(3DConvolutionalNeuralNetwork，3DCNN)处理图像SR，提出了基于3DCNN的非局部超分辨率方法。该方法直接利用3DCNN建模非局部相似性，提取自然图像的非局部相似信息。构造了基于8层全卷积网络的3DCNN基础模型(Basemodel)。然后在此基础上，进一步研究3DCNN中的3D网络设计，提出了基于RNN的改进模型，使基础模型成为改进模型的一种特例。
本发明实施例提供的网络模型示意图如图3所示。
本发明实施例提供的超分辨的方法包括以下步骤：
步骤一，大部分基于CNN的SR方法是基于传统的网络结构，未能充分利用非局部自相似性质，对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质。
步骤二，根据混合残差单元和残差网络，提取图像的非局部特性。
步骤三，首先将部分数据集经过PCA处理降维，降维可以使得数据集更易使用，降低算法的计算开销，同时在去除噪声和冗余信息的同时保留图像的原始信息，为接下来的块匹配做预处理。
步骤四，从LR图像数据集中提取非局部相似图像块，并表征它们。提取的方法采用传统块匹配方法来提取非局部相似块，最后对图像块堆叠形成三维图像块集作为表征这些非局部图像块。
步骤五，3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
所述步骤三中包括：
(1)引入PCA对部分数据集降维，选取数据集中部分数据利用采用主从分析PCA将数据降维，去除图像信息冗余部分，特取图像相似特征，去除图像噪声保证非局部相似性。同时保留部分数据集的原始数据作为数据集的另一部分，保证图像原始信息和局部信息不丢失。
对于n*m的图像样本，共有n个样本，每行为m维，对没有m维的样本通过插值到达m维，p*n的实矩阵可以分解为：
X＝U∑VT；
正交阵U的维数是n×m，正交阵V的维数是m×m(正交阵满足：UUT＝VTV＝1)，∑是m×m的对角阵。接下来，将∑分割成r列，记作∑r；利用U和V便能够得到降维数据样本Yr：
Yr＝U∑r；
然后采用传统BM算法来提取LR图像的非局部块。首先将数据样本Yr的LR图像打散成尺寸p*p的图像集合其中N＝(dh-p+1)×(dw-p+1)表示整张图像打散成块的数量。对于Ωp中第i个目标图像块p(i)，可计算为：
p(i)＝R(i)ybic；
其中dw是一个二值稀疏矩阵，表示提取的第i个图像块。
2)然后BM算法使用一个基于欧式距离的s*s大小的搜索窗口收集一系列相近的图片。最后每个窗口收集的图片叠在一起作为网络训练所需要的LR图像集Y。对于图像集Y里的每一个元素都由K个图像块组成，为了充分利用图像的非局部特性和局部特性，从降维数据集Yr选取a个数据块，然后从原始数据集选取b个数量块，其中a+b＝k。对于生成的对于对应的HR图像x，利用相同方式进行处，理形成HR图像块集同时，在HR图像中收集相似图像块需要保证插值图像中的非局部相似位置，而不是要重新计算距离搜索。3DCNN采用图像块集的方式表示非局部相似图像块，它能很好地保存图像中的局部和非局部相似信息。
所述步骤一中包括：
卷积多数指的是2D卷积，它擅长处理二维数据信息。但对于三维数据(如视频)，3D卷积可以进行更有效的处理。在本发明提出方法中，三维图像块集的前两维保存着图像2D局部信息，而第三维保存着非局部信息。对这样的三维数据，采用能力更强的3d卷积将会更有效得到SR图像。
2D卷积提取上一层特征图的局部邻域中的特征，与2D卷积不同之处在于，输入图像多了一个深度(depth)维度，卷积核也多了一个Kd维度，因此3D卷积核的尺寸为(Kh,Kw,Kd)。每次滑窗与窗口内的值进行相关操作，得到输出3D图像中的一个值。其中卷积核深度大小小于输入层深度(核大小<通道大小)。3D卷积核可以在所有三个方向(图像的高度、宽度、通道)上移动，在每个位置，逐元素的乘法和加法都会得到一个数值，对于这样的三维数据处理，可以增强获取数据信息的能力。其中2D卷积由公式可以表示为：
/>
其中，可以表示当前l的第j个特征位置是(x,y)的值，其中i表示上一层特征图集合的位置坐标，/>表示为连接是第i个特征图时在核是(p,q)位置的值，Pl和Ql为卷积核的尺寸。类似2D卷积公式，3D卷积可以被定义为：
其中，表示当前l层第j个3D位置为(x,y,z)时的值，Rl表示3D卷积的第三维尺度信息。如图4展示了2D卷积核3D卷积操作的对比。
对于三维图像块集，3D卷积是指在一个小的三维感受野范围中，计算的目标像素值是局部和非局部像素点的联合加权平均值。随着卷积层的堆叠，随着感受野的扩大最终将覆盖到整个图像块集的局部和非局部信息，从而达到特征提取的效果。
在网络设计上通过一个全卷积3D网络，利用3D卷积层(简称Conv3D)捕获图像块集的局部和非局部信息。整个网络由一系列非线性单元和3D卷积层组成，通过卷积核来提取特征，
利用残差学习策略被采用去缓解梯度消失或***问题并且可以堆叠使用更多的网络层或者使每层提取更多的特征，即网络的输入和输出跳跃连接。一般情况下，经过卷积操作后数据尺寸缩小，通过在训练过程中对每层卷积层通过补零操作来保证网络输入输出的尺寸一致。而对于激活函数，提出方法则选用ReLU，则第l层的3D卷积和非线性操作可以被定义为：
Hl(Hl-1)＝max(0,Wl*Hl-1+bl)；
其中，Hl-1表示上一层的输出，即当前层的输入。定义Wl*Hl-1为当前层的3D卷积操作。设计的3DCNN目的是学习LR图像块集Y与HR图像块集X之间的映射F(Y)，使其尽可能接近X。3DCNN以LR图像块集作为输入(即H0＝Y)，则网络的第一层输出可表示成：
H1＝H1(Y)＝max(0,W1*Y+b1)；
设定网络深度为D，即有D层卷积层。在3DCNN的基础模型中，总共包含8层卷积层，即D＝8。则整个网络的输出F(Y)可计算为：
F(Y)＝H8(H7(......H1(Y)))+Y。
所述步骤四中包括：
提出方法的最后一步是从增强的图像块中重建出SR图像。构建的3DCNN输出为一系列增强图像块集ΩY中所有增强图像块集向量化后可以表示成形成图像块集合。最终的SR图像/>由/>中的图像重建恢复。它可以被定义为：
考虑到的元素会被重复叠加，因而一个权值向量需要被考虑来平均重叠的元素值：/>
其中，是一个元素值为1的常列向量。最后，SR图像/>能被计算为：
实施例3
一、模型设置
1)训练集和测试集
采用常用的291图像集，它由Yang等人制作的91张图像和来自BSD的200张图像组成。这个数据集被广泛应用于SR模型的训练。将这291张图像经过PCA处理得到的数据集和没经过PCA处理图像的原始数据集共同作为所需LR图像块集。验证图像SR效果和比较算法性能，目前有一些不同图片数量、质量、种类的数据集可供使用，本发明选取了常用的Set5、Set14和BSD100测试集用来评估算法SR性能，图像内容丰富多样，其中包括人类，动物，植物，自然景观，建筑等，并采用PSNR和SSIM作为评价SR性能好坏的客观指标。
2)训练设置
在设计的3D卷积网络中，除了输出层，每一个卷积层均都采用64个大小为3×3×3的3D卷积核用来提取特征。所有模型均在实验室PC机上基于Tensorflow深度学习框架开发实现。软件采用Windows10操作***、Python3.7、Tensorflow2.0，硬件采用英特尔酷睿i7-3770CPU、英伟达GTX1080ti显卡、16G内存。
3)模型设置
采用He等人提出的方法初始化卷积层的权重，据验证该初始方法能与ReLU更好的结合。优化器采用Adam优化器用来训练所有实验模型，其中参数设置为：β1＝0.9，β2＝0.999，ε＝10-8。优化器初始学习设置为3×10-4并每训练30轮学习率下降10倍。训练过程中的数据小批量大小设置为512。
在基础模型的前提下加上残差模型，残差元主要包括快捷连接和恒等影映射两个功能，快捷连接使得残差变得具有可能性，而恒等映射可以通过激活函数和跳跃连接使得网络变得更深。3D网络采用端到端的训练方式，损失函数用于指导模型参数的更新。
在图像SR任务上，最小化l2损失函数等同于最大化PSNR。然而近些年一些工作表明l1损失函数具有巨大的潜力。在提出方法中，l1损失函数被作为模型损失函数，表示为：
l(F(Y),X)＝||F(Y)-X||；
因此本方法选择l1损失函数被作为模型损失函数。通过不断训练模型，优化权重参数，直到损失函数值稳定在区间[0，0.0005]。
二、实验对比指标
通过比对图像的PSNR和SSIM来对图像重建性能判断，对于图像重建，PSNR由最大像素值和图像见得均方误差决定；给定一张m*n的压缩前图像x，压缩后重建图像为，将均方误差和PSNR定义为：
/>
SSIM的想法是测量两个图像之间的结构相似性，而不是像PSNR这样的像素间差异。基本假设是人眼对图像结构的变化更敏感。x与压缩后重建图像为y之间的SSIM可以定义为：
其中，ux或uy表示原图像x或压缩重建图像y的像素均值，σx或σy表示x或y的像素标准差值，σxy代表σx和σy之间的协方差，c1和c2表示一个常量扰动防止不稳定。
三、实验分析
1)非局部块集
选取291图集里的首先用步长为100分解成为2750张尺寸为100*100的图像块，同时按一定比例r(0<r<1)分成2部分，对其中一部分做PCA降维处理提取相似特征图集保证非局部信息不掺杂噪声，另一部分不做PCA处理的图像块用来保证局部信息不丢失。对于这2部分块集合都用KNN算法去做收集。最后把这2部分块集合并到一起，一共275万个图像块集作为模型的训练集。因此按照这种做法有以下参数需要考虑，包括KNN搜索的窗口尺寸s，打散图像块的尺寸p，非局部尺度k以及做降维处理数据和选取数据的比例r。理论上来说搜索窗口s越大搜索越精确，非局部尺度k越大信息提取的越多。但是参数的增加对于3DCNN来说，数据计算成本太大，根据之前别人经验可以选择窗口大小31是最合适。然后根据实验确定p,k,s。
实验模型选取上面所讨论模型。
表1显示了选择不同搜索窗口s和非局部尺度k做3倍SR情况下在SET5和SET14下的PSNR的测试结果，考虑计算成本实验选取5，7，9三个参数作对比方案从而确定合适的搜索窗口s和非局部尺度k。
表1图像块集和性能表
如表1结果显示越大的尺寸p会带来越高的PSNR值，增加非局部尺度k会提升SR性能。最后，本发明选择设置：p＝9，k＝9，即在之后的实验中采用尺寸为9×9×9的非局部图像块集。
为了进一步验证引入PCA降维后选取的非局部图像块集的优势，下面通过设计几组对比实验来说明，通过比对选取做降维处理当数据集和选取数据集的比例r来验证PCA降维对非局部相似性块选取的优势。其中分别选取r＝0,0.1,0.2,0.3,0.4,0.5。r表示数据集中做过PCA处理的图像占比例r，对比方案证明了当数据中有部分数据做过PCA处理的时候可以更好的提取图像的非局部相似性块。先通过实验验证在验证集上做PCA降维时，去除冗余信息比降维带来的影响更大时的最佳降维维度。本实验采用PCA去除数据集的冗余，PCA通过线性映射将高纬度空间数据降维到低维度空间去，需要尽量使得低纬度空间的数据方差大，这样在保持原数据点关系不变的情况下可以有效的降低维度，基于这个原理，统计出得到各主成分方差比重得到降维后维度和精度的关系。
表2 PCA不同维度的相似度精度对比
| 维度 | 128 | 64 | 32 | 16 | 8 |
| 精度 | 0.9133 | 0.9141 | 0.9237 | 0.9049 | 0.8188 |
从表2可以看出选取的维度过大，不利于去除图像的冗余信息，当选取的维度过小时PCA降维所丢失的信息比冗余信息要多，因此下面实验选择维度32作为降维的维度。
2)数据集作PCA处理的图像和不作处理图像比例r的实验对比图
在确定降维维度后，接下来实验验证在降维数据在图像数据中占多少比例时效果是最好的，在3DCNN不能仅仅关注非局部相似性，局部信息也需要得到尽可能的提取。其中选取作PCA的数据通过随机选取保证实验的有限性，同时通过多次随机选取作多对实验并对结果作均值处理，因此数据作PCA处理的部分和不作PCA处理的部分比例r需要实验证明。
由图5可以发现，当选取作PCA处理部分比例为0.15时，实验结果是最好的，能够有效的在去噪的同时保留图像的非局部信息。随着选取部分变大实验效果变差，图像的局部信息丢失的比较严重。接下来选取作PCA处理部分比例为0.15作接下来的实验。
3)不同方法制作数据集下的对比图
接下来为了证明在3DCNN中非局部相似性运用设计的有效性以及选择PCA处理后的有效性，做了对比实验。首先训练集被重新制作，对比图像块集中的图像块是随机挑选的和不做PCA处理下通过KNN搜索的相似图像块，然后对比做PCA处理后通过KNN搜索的相似图像块和不做PCA处理通过KNN搜索的相似图像块。
由图6可以发现，随机打散数据集在提取图像非局部信息时明显不如做过处理后的数据集，在训练轮次适中的时候部分数据集被PCA处理过的在用同样KNN算法选取的图像块性能时优于未PCA处理的数据集，当训练轮次较大时部分数据集被PCA处理后的性能勉强优于未做处理后的数据集。说明经过PCA处理后的数据集可以有效的提取图像特征，减少冗余对数据集的干扰。当训练轮次逐渐增加后模型可以从未进过PCA处理的数据集提取足够的非局部信息，相对而言数据集部分经过PCA处理后的优势没有那么明显。
4)引入残差块后的对比图
为了展示出残差学习策略带来的影响，去除基础模型输入与输出之间的跳跃连接，其他的采用相同的训练方式重新训练。
基础模型中，采用的是全局残差学习策略，即3D网络学习的是残差图像块集。如图7所示，2PSNR对比曲线表明，在提出方法中残差学习策略实现了更快更稳定的模型收敛效果和更高的重建性能。
5)图像自融合
最后一步是从增强的图像块中重建出SR图像，将一张图像多角度旋转，得到一组图像，将这一组送入模型中结果进行取中值，得到最终的超分结果。进一步加强图像各部分信息融合，使得图像表征得到更好的效果。
3.4.3重建性能对比
在这一章节里，本发明将本发明实验模型跟现有的SR算法进行比较，其中它们包括基于字典学习的ScSR,基于内部实例自相似性的SelfExSR，基于CNN的SRCNN和FSRCNN。表3、表4分别总结了提出的方法和对比算法在Set5和BSD100测试集上的PSNR和SSIM性能评估。由表可知，本发明提出实验模型性能优于其他对比SR模型，引入PCA降维处理的本发明在PSNR上略优于未引入PCA降维模型，在SSIM上略弱于未引入PCA降维的模型。说明在PCA处理后对图像总体结构的信息存在这一定的丢失，但对于非局部去噪对性能提升有帮助。由于BSD100测试集中图像种类相对丰富，结构复杂，所以更具有适用性和说服力。在BSD100测试集的定量评估中，可以发现不同图像的PSNR指标提升变化很大，这些图像都蕴含丰富的纹理信息，呈现出较强结构相似性。性能的提升直接说明了提出方法在挖掘图像的结构相似信息体现出优势。
表3不同算法在Set5上的PSNR/SSIM评估结果
表4不同算法在BSD100上的PSNR/SSIM评估结果
接下来，图8展示了提出方法和其他SR算法的重建图。图片选取BSD100测试集的，从视觉上，本发明提出的方法展现了更加鲜明的结构轮廓。特别在动物图像中，提出方法重建出更加清晰的动物图像，这主要是因为提出的方法充分考虑到动物图像中呈现非常强的非局部相似性。通过这些相似信息的提取与增强，提出方法对此类场景表现出更突出的SR重建性能
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种图像超分辨率的方法，其特征在于，所述图像超分辨率的方法包括：结合图像非局部自相似性，利用3D卷积神经网络3DCNN处理图像SR，提出基于3DCNN的非局部超分辨率方法；直接利用3DCNN建模非局部相似性，提取自然图像的非局部相似信息；构造基于8层全卷积网络的3DCNN基础模型；进行3DCNN中的3D卷积神经网络的设计，提出基于RNN的改进模型；
所述3D卷积神经网络包括三个部分，分别是：
1)单层3D卷积层和ReLU组合，用以将输入图像块集转化到特征空间；
2)一个特征子网络，用以提取局部和非局部信息；
3)单层3D卷积层，用以输出残差图像块集；设计的3D网络输出为残差图像块集与输入图像块集之间的和；
所述图像超分辨率的方法包括以下步骤：
步骤一，对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；
步骤二，根据混合残差单元和残差网络，提取图像的非局部特性；
步骤三，将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
步骤四，采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
步骤五，从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像；
步骤一中，所述对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质，包括：
三维图像块集的前两维保存着图像2D局部信息，而第三维保存着非局部信息；对这样的三维数据，采用能力更强的3d卷积将会更有效得到SR图像；
2D卷积提取上一层特征图的局部邻域中的特征，与2D卷积不同之处在于，输入图像多了一个深度维度，卷积核也多了一个Kd维度，因此3D卷积核的尺寸为(Kh,Kw,Kd)；每次滑窗与窗口内的值进行相关操作，得到输出3D图像中的一个值；其中卷积核深度大小小于输入层深度，核大小<通道大小；3D卷积核可以在所有三个方向，即图像的高度、宽度和通道上移动，在每个位置，逐元素的乘法和加法都会得到一个数值，对于这样的三维数据处理，增强获取数据信息的能力；其中2D卷积由公式可以表示为：
其中，可以表示当前l的第j个特征位置是(x,y)的值，其中i表示上一层特征图集合的位置坐标，/>表示为连接是第i个特征图时在核是(p,q)位置的值，Pl和Ql为卷积核的尺寸；3D卷积被定义为：
其中，表示当前l层第j个3D位置为(x,y,z)时的值，Rl表示3D卷积的第三维尺度信息；
对于三维图像块集，3D卷积是指在一个小的三维感受野范围中，计算的目标像素值是局部和非局部像素点的联合加权平均值；随着卷积层的堆叠，随着感受野的扩大最终将覆盖到整个图像块集的局部和非局部信息，从而达到特征提取的效果；
在网络设计上通过一个全卷积3D网络，利用3D卷积层捕获图像块集的局部和非局部信息；整个网络由一系列非线性单元和3D卷积层组成，通过卷积核来提取特征，利用残差学习策略被采用去缓解梯度消失或***问题并且可以堆叠使用更多的网络层或者使每层提取更多的特征，即网络的输入和输出跳跃连接；经过卷积操作后数据尺寸缩小，通过在训练过程中对每层卷积层通过补零操作来保证网络输入输出的尺寸一致；而对于激活函数，提出方法则选用ReLU，则第l层的3D卷积和非线性操作可以被定义为：
Hl(Hl-1)＝max(0,Wl*Hl-1+bl)；
其中，Hl-1表示上一层的输出，即当前层的输入；定义Wl*Hl-1为当前层的3D卷积操作；设计的3DCNN目的是学习LR图像块集Y与HR图像块集X之间的映射F(Y)，使其尽可能接近X；3DCNN以LR图像块集作为输入，即H0＝Y，则网络的第一层输出可表示成：
H1＝H1(Y)＝max(0,W1*Y+b1)；
设定网络深度为D，即有D层卷积层；在3DCNN的基础模型中，总共包含8层卷积层，即D＝8；则整个网络的输出F(Y)可计算为：
F(Y)＝H8(H7(......H1(Y)))+Y。
2.如权利要求1所述的图像超分辨率的方法，其特征在于，步骤三中，所述将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，包括：
(1)引入PCA对部分数据集降维，选取数据集中部分数据利用采用主从分析PCA将数据降维，去除图像信息冗余部分，特取图像相似特征，去除图像噪声保证非局部相似性；同时保留部分数据集的原始数据作为数据集的另一部分，保证图像原始信息和局部信息不丢失；
对于n*m的图像样本，共有n个样本，每行为m维，对没有m维的样本通过插值到达m维，p*n的实矩阵可以分解为：
X＝UΣVT；
正交阵U的维数是n×m，正交阵V的维数是m×m，正交阵满足：UUT＝VTV＝1；Σ是m×m的对角阵；将Σ分割成r列，记作Σr；利用U和V得到降维数据样本Yr：
Yr＝UΣr；
(2)采用BM算法来提取LR图像的非局部块；首先将数据样本Yr的LR图像打散成尺寸p*p的图像集合其中N＝(dh-p+1)×(dw-p+1)表示整张图像打散成块的数量；对于Ωp中第i个目标图像块p(i)，可计算为：
p(i)＝R(i)ybic；
其中dw是一个二值稀疏矩阵，表示提取的第i个图像块；
(3)BM算法使用一个基于欧式距离的s*s大小的搜索窗口收集一系列相近的图片；最后每个窗口收集的图片叠在一起作为网络训练所需要的LR图像集Y；对于图像集Y里的每一个元素都由K个图像块组成，从降维数据集Yr选取a个数据块，然后从原始数据集选取b个数量块，其中a+b＝k；对于生成的对于对应的HR图像x，利用相同方式进行处，理形成HR图像块集同时，在HR图像中收集相似图像块需要保证插值图像中的非局部相似位置，而不是要重新计算距离搜索；3DCNN采用图像块集的方式表示非局部相似图像块，它能很好地保存图像中的局部和非局部相似信息。
3.如权利要求1所述的图像超分辨率的方法，其特征在于，步骤四中，所述采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块，包括：
构建的3DCNN输出为一系列增强图像块集ΩY中所有增强图像块集向量化后可以表示成/>形成图像块集合；最终的SR图像/>由中的图像重建恢复，被定义为：
考虑到的元素会被重复叠加，因而一个权值向量需要被考虑来平均重叠的元素值：
其中，是一个元素值为1的常列向量；最后，SR图像/>能被计算为：
4.一种实施权利要求1～3任意一项所述的图像超分辨率的方法的图像超分辨率的***，其特征在于，所述图像超分辨率的***包括：
3DCNN基础模型构建模块，用于对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；
图像非局部特性提取模块，用于根据混合残差单元和残差网络，提取图像的非局部特性；
降维处理模块，用于将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；
非局部相似图像块提取模块，用于采用传统块匹配方法从LR图像数据集中提取非局部相似图像块；
非局部相似图像块表征模块，用于对图像块堆叠形成三维图像块集作为表征所述非局部图像块；
SR图像输出模块，用于从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～3任意一项所述的图像超分辨率的方法。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～3任意一项所述的图像超分辨率的方法。
7.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求4所述的图像超分辨率的***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110310875.1A CN113191947B (zh) | 2021-03-23 | 2021-03-23 | 一种图像超分辨率的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110310875.1A CN113191947B (zh) | 2021-03-23 | 2021-03-23 | 一种图像超分辨率的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191947A CN113191947A (zh) | 2021-07-30 |
| CN113191947B true CN113191947B (zh) | 2024-05-14 |
Family
ID=76973652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110310875.1A Active CN113191947B (zh) | 2021-03-23 | 2021-03-23 | 一种图像超分辨率的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191947B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505860B (zh) * | 2021-09-07 | 2021-12-31 | 天津所托瑞安汽车科技有限公司 | 盲区检测训练集的筛选方法、装置、服务器及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952228A (zh) * | 2017-03-10 | 2017-07-14 | 北京工业大学 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111602147A (zh) * | 2017-11-17 | 2020-08-28 | 脸谱公司 | 基于非局部神经网络的机器学习模型 |
| CN112308772A (zh) * | 2019-08-02 | 2021-02-02 | 四川大学 | 基于深度学习局部与非局部信息的超分辨率重建方法 |
-
2021
- 2021-03-23 CN CN202110310875.1A patent/CN113191947B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952228A (zh) * | 2017-03-10 | 2017-07-14 | 北京工业大学 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
| CN111602147A (zh) * | 2017-11-17 | 2020-08-28 | 脸谱公司 | 基于非局部神经网络的机器学习模型 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN112308772A (zh) * | 2019-08-02 | 2021-02-02 | 四川大学 | 基于深度学习局部与非局部信息的超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 唐艳秋 ; 潘泓 ; 朱亚平 ; *** ; .图像超分辨率重建研究综述.电子学报.2020,(07),全文. * |
| 翟森 ; 任超 ; 熊淑华 ; 占文枢 ; .基于深度学习局部与非局部信息的单幅图像超分辨率重建.现代计算机.2019,(33),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191947A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Multi-level wavelet convolutional neural networks | |
| CN109978762B (zh) | 一种基于条件生成对抗网络的超分辨率重建方法 | |
| CN110136063B (zh) | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 | |
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| Xie et al. | Deep coordinate attention network for single image super‐resolution | |
| Muqeet et al. | HRAN: Hybrid residual attention network for single image super-resolution | |
| CN110246084B (zh) | 一种超分辨率图像重构方法及其***、装置、存储介质 | |
| Tu et al. | SWCGAN: Generative adversarial network combining swin transformer and CNN for remote sensing image super-resolution | |
| CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| Zhu et al. | Generative adversarial image super‐resolution through deep dense skip connections | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| Liu et al. | Single image super resolution techniques based on deep learning: Status, applications and future directions | |
| Zhang et al. | Deformable and residual convolutional network for image super-resolution | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN111861886A (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN115660955A (zh) | 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质 | |
| CN110288529B (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
| CN110288603B (zh) | 基于高效卷积网络和卷积条件随机场的语义分割方法 | |
| CN113627487B (zh) | 一种基于深层注意力机制的超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |