CN109191376B

CN109191376B - 基于srcnn改进模型的高分辨率太赫兹图像重构方法

Info

Publication number: CN109191376B
Application number: CN201810806760.XA
Authority: CN
Inventors: 羊恺; 袁一丹; 顾岩; 任向阳; 陈鑫; 李镇; 陈新蕊
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2022-11-25
Anticipated expiration: 2038-07-18
Also published as: CN109191376A

Abstract

本发明实施例公开了一种基于SRCNN改进模型的高分辨率太赫兹图像重构方法，包括：基于SRCNN的模型结构，构建双层的特征提取的改进SRCNN的模型结构，在双层特征提取之后进行插值放大，然后再加入池化；对改进SRCNN模型结构的每一层依次经过第三层卷积，第三次卷积视为全连接层的非线性映射；经过第四层重建出最后的高分辨率图像。本发明改进了现有SRCNN模型在进行训练模型时需要大量时间以及重构后图像分辨率低的问题，通过模型内部不断的修改权重以及其他参数来获得最终的模型及最优参数，直到插损值达到很小的值为止。本发明设计的改进SRCNN四层卷积神经网络模型进行训练，相比于现有技术的SRCNN模型处理的结果PSNR量提高了2.4dB。

Description

基于SRCNN改进模型的高分辨率太赫兹图像重构方法

技术领域

本发明涉及图像数据处理技术领域，尤其是一种基于SRCNN改进模型的高分辨率太赫兹图像重构方法。

背景技术

在现有技术中，解决太赫兹图像质量问题主要有两种方法：①从太赫兹成像的源头开始解决，提高太赫兹成像设备的成像分辨率，并且降低成像过程中的噪声；②从得到的太赫兹图像开始处理，优化并且改进算法处理太赫兹图像。

第一种方法优点是解决了问题的本源，但是设备成本很高，性价比低；第二种方法利用数字图像处理算法实现太赫兹图像的相关处理以及应用，但存在太赫兹图像成像清晰度低的问题。

SRCNN模型是由汤晓鸥团队设计的一种模型，这种模型是基于卷积神经网络来实现图像重构，该模型仅仅使用了三层的神经网络结构，代表传统的稀疏表示的图像重构的步骤。但是现有的SRCNN模型处理图像的清晰度不够。

因此，现有技术需要改进。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种基于SRCNN改进模型的高分辨率太赫兹图像重构方法，以解决现有技术存在的问题，所述基于SRCNN改进模型的高分辨率太赫兹图像重构方法包括：

基于SRCNN的模型结构，构建双层的特征提取的改进SRCNN的模型结构，在双层特征提取之后进行插值放大，然后再进行池化；

对改进SRCNN的模型结构每一层依次经过第三层卷积，视为全连接层的非线性映射；

经过第四层重建出最后的高分辨率图像。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述基于SRCNN的模型结构，构建双层的特征提取的改进SRCNN的模型结构，在双层特征提取之后进行插值放大，然后再加入池化包括：

设定目标经过放大后输入图像为Y，X为原始图像，第一层卷积网络计算出输出图像F₁如式(1)所示：

F₁(Y)＝max(0,W₁*Y+B₁) (1)

式中，B₁代表权值偏置，*是卷积操作，W₁用来表示n₁个c×f₁×f₂滤波器，其中c表示的是图像的通道数，彩色图像是3，灰度图像是1，B₁代表n₁个偏置量；

第二层卷积神经网络在第一层生成的n₁个特征图的基础上通过映射成为n₂个特征图，计算公式如式(2)：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂) (2)

式中，B₂代表权值偏置，*代表卷积操作，W₂用来表示n₂个n₁×f₂×f₂滤波器，B₂表示n₂个偏置量；

第三层进行图像的重建，利用式(3)建立重建层：

F(Y)＝W₃*F₂(Y)+B₃ (3)

式中W₃用来表示c个n₂×f₃×f₃的滤波器，B₃表示c个偏置量。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述设定目标经过放大后输入图像为Y，X为原始图像，第一层卷积网络计算出输出图像F₁如式(1)中，参数为f₁＝9,n₁＝64。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述第二层卷积神经网络在第一层生成的n₁个特征图的基础上通过映射成为n₂个特征图，计算公式如式(2)中，参数为f₂＝1,n₂＝32。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述第三层进行图像的重建，利用式(3)建立重建层中，参数为c＝3,f₃＝5。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述经过第四层重建出最后的高分辨率图像包括：

把原始的彩色图像转化为灰度图像，通过将原图缩小再放大的方式制作低分辨率图像；

把训练集中的多张图像按照设定步长重叠分割，得到多个子图片；

将训练集和测试集转化成H5py格式进行存储；

导入Tensorflow中必要的工具包以及数据集；

定义初始化函数，随机的给权重制造噪声来消除完全对称，设定标准差；

定义损失函数来结束训练的结果，优化器选用Adam，给予一个极小的学习率；

开始训练过程，初始化所有参数，设置batch_size(批尺寸)大小，迭代次数，每设定周期次数的训练输出损失，实时评测模型的性能；

把子图片重建成一整张图片,作为重建后高分辨率的输出图片。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述设定标准差的值为：0.01。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述给予一个极小的学习率的值为0.000001。

在基于本发明上述基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例中，所述设置batch_size大小，迭代次数，每设定周期次数的训练输出损失的值分别为：batch_size大小为128，迭代次数为100000次，设定周期次数为1000。

与现有技术相比，本发明具有以下优点：

本发明提出了一种基于SRCNN改进模型的高分辨率太赫兹图像重构方法，改进了现有SRCNN模型在进行训练模型的时候需要大量的时间的问题，通过模型内部不断的修改权重以及其他参数来获得最终的模型及最优参数，直到插损值达到很小的值为止。本发明设计的四层卷积神经网络的改进SRCNN模型后进行训练，相比于现有技术的SRCNN模型的PSNR量提高了2.4dB。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明的基于SRCNN改进模型的高分辨率太赫兹图像重构方法的一个实施例的流程图；

图2为本发明的基于SRCNN改进模型的高分辨率太赫兹图像重构方法的另一个实施例的流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

如图1所示，所述基于SRCNN改进模型的高分辨率太赫兹图像重构方法包括：

10，基于SRCNN的模型结构，构建双层的特征提取的改进SRCNN的模型结构，在双层特征提取之后进行插值放大，然后再进行池化；通过增加模型的层数，与现有技术的只有一层的特征提取相比，一层的特征提取层会引入噪声并且信息提取不完全，所以本发明使用了双层的特征提取，相比改进前的SRCNN模型未进行差值放大，直接进行池化提高了图像的质量和分辨率；

20，对改进SRCNN的模型结构每一层依次经过第三层卷积，视为全连接层的非线性映射；

30，经过第四层重建出最后的高分辨率图像。

SRCNN改进模型可以更直观的看到端到端的映射，并且在改进模型中没有加入池化层，池化层是通过减小图片的大小，从而减少参数，减少计算量，提高训练速度，但是本本发明主要是实现高分辨率重建，所以当池化之后图像缩减可能引起图片的主要信息丢失，因此本发明改进的SRCNN模型是在双层特征提取之后，进行插值放大，然后再加入池化，此时的加入的池化不是现有技术中的缩小图像大小，相反它是为了放大图像的大小，从而使得最终的输出图像大小尽量接近输入图像大小，避免造成图像主要信息的丢失。

所述基于SRCNN的模型结构，构建双层的特征提取的改进SRCNN的模型结构，在双层特征提取之后进行插值放大，加入池化包括：

F₁(Y)＝max(0,W₁*Y+B₁) (1)

式中W₁和B₁代表滤波器和权值偏置，*是卷积操作，W₁用来表示n₁个c×f₁×f₂滤波器，其中c表示的是图像的通道数，彩色图像是3，灰度图像是1，B₁代表n₁个偏置量；

F₂(Y)＝max(0,W₂*F₁(Y)+B₂) (2)

式中W₂和B₂代表滤波器和权值偏置，*代表卷积操作，W₂用来表示n₂个n₁×f₂×f₂滤波器，B₂表示n₂个偏置量；

第三层进行图像的重建，利用式(3)建立重建层：

F(Y)＝W₃*F₂(Y)+B₃ (3)

所述设定目标经过放大后输入图像为Y，X为原始图像，第一层卷积网络计算出输出图像F₁如式(1)中，参数为f₁＝9,n₁＝64。

所述第二层卷积神经网络在第一层生成的n₁个特征图的基础上通过映射成为n₂个特征图，计算公式如式(2)中，参数为f₂＝1,n₂＝32。

所述第三层进行图像的重建，利用式(3)建立重建层中，参数为c＝3,f₃＝5。

下述实施例采用的相关初始参数包括：数据集中一共包含91张训练集图片，以及19张测试集图像，其中5张Set5和14张Set14数据集。

如图2所示，所述经过第四层重建出最后的高分辨率图像包括：

101，把原始的彩色图像转化为灰度图像，通过将原图缩小再放大的方式制作低分辨率图像，其实现程序包括如下：

image＝cv2.cvtColor(image,cv2.COLOR_BGR2YCrCb)

image＝image[:,:,0:3]

im_label＝modcrop(image,scale)

(hei,wid,_)＝im_label.shape

im_input＝cv2.resize(im_label,(0,0),fx＝1.0/scale,fy＝1.0/scale,interpolation＝cv2.INTER_CUBIC)

im_input＝cv2.resize(im_input,(0,0),fx＝scale,fy＝scale,interpolation＝cv2.

INTER_CUBIC)

102，把训练集中的多张图像按照设定步长重叠分割，得到多个子图片，举例说明：

把训练集中的91张图像重叠分割，步长为14，分割后的子图片的大小是33*33，这样就可以得到21884个子图片，具体实现程序如下：

for x in range(0,hei-size_input+1,stride):

for y in range(0,wid-size_input+1,stride):

subim_input＝im_input[x:x+size_input,y:y+size_input,0:3]

subim_label＝im_label[x+padding:x+padding+size_label,y+padding:y+paddin g+size_label,0:3]

subim_input＝subim_input.reshape([size_input,size_input,3])

subim_label＝subim_label.reshape([size_label,size_label,3])

103，将训练集和测试集转化成H5py格式进行存储，解决内存占用大和读取慢的问题，其实现程序如下：

with h5py.File(savepath,'w')as hf:

hf.create_dataset('test_input',data＝im_input)

hf.create_dataset('test_label',data＝im_label)

with h5py.File(savepath,'w')as hf:

hf.create_dataset('input',data＝data)

hf.create_dataset('label',data＝label)

104，导入Tensorflow中必要的工具包以及数据集，其实现程序如下：

import tensorflow as tf

import h5py

import numpy as np

import matplotlib.pyplot as plt

import string

import cv2

with h5py.File('train_py.h5','r')as hf:

hf_data＝hf.get('input')

data＝np.array(hf_data)

hf_label＝hf.get('label')

label＝np.array(hf_label)

with h5py.File('test_py.h5','r')as hf:

hf_test_data＝hf.get('test_input')

test_data＝np.array(hf_test_data)

hf_test_label＝hf.get('test_label')

test_label＝np.array(hf_test_label)

105，定义初始化函数，随机的给权重制造噪声来消除完全对称，设定标准差；导入数据以及工具包结束就可以实现这个卷积神经网络需要大量的权重和偏置，在一个具体的实施例中，所述设定标准差的值为：0.01。权重和偏置的设定程序如下：

def init_weights(shape):

return tf.Variable(tf.random_normal(shape,stddev＝0.01))

W1＝init_weights([9,9,3,64])

W2＝init_weights([3,3,64,32])

W3＝init_weights([1,1,32,16])

W4＝init_weights([5,5,16,3])

B1＝tf.Variable(tf.zeros([64]),name＝"Bias1")

B2＝tf.Variable(tf.zeros([32]),name＝"Bias2")

B3＝tf.Variable(tf.zeros([16]),name＝"Bias3")

B4＝tf.Variable(tf.zeros([3]),name＝"Bias4")

tf.nn.conv2d是TensorFlow中的卷积函数，参数中X代表输入，W代表卷记参数权值，Strides代表卷积模板西东的步长，Padding是边界处理方式，SAME代表给边界填零使得卷积的输出和输入有同样的尺寸，VALID代表不处理边界，这样图像经过卷积之后就会变小。在输入数据之前的定义变量可以使用占位符来代替输入，输入量为X，加上的标签(lable)为Y，实现程序如下：

X＝tf.placeholder("float32",[None,33,33,3])

Y＝tf.placeholder("float32",[None,19,19,3])

L1＝tf.nn.relu(tf.nn.conv2d(X,W1,strides＝[1,1,1,1],padding＝'VALID')+B1)

L2＝tf.nn.relu(tf.nn.conv2d(L1,W2,strides＝[1,1,1,1],padding＝'VALID')+B2)

L3＝tf.nn.relu(tf.nn.conv2d(L2,W3,strides＝[1,1,1,1],padding＝'VALID')+B3)

hypothesis＝tf.nn.conv2d(L3,W4,strides＝[1,1,1,1],padding＝'VALID')+B4

106，定义损失函数来结束训练的结果，优化器选用Adam，给予一个极小的学习率；在一个具体的实施例中，所述给予一个极小的学习率的值为0.000001。实现程序如下：

cost＝tf.reduce_mean(tf.reduce_sum(tf.square((Y-subim_input)-hypothesis),

reduction_indices＝0))

var_list＝[W1,W2,W3,W4,B1,B2,B3,B4]

optimizer＝tf.train.AdamOptimizer(learning_rate).minimize(cost,var_list＝var_list)

107，开始训练过程，初始化所有参数，设置batch_size大小，迭代次数，每设定周期次数的训练输出损失，实时评测模型的性能；在一个具体的实施例中，所述设置batch_size大小，迭代次数，每设定周期次数的训练输出损失的值分别为：batch_size大小为128，迭代次数为100000次，设定周期次数为1000。其实现程序如下：

with tf.Session()as sess:

tf.initialize_all_variables().run()

for i in range(train_num):

batch_data,batch_label＝batch.__next__()

sess.run(optimizer,feed_dict＝{X:batch_data,Y:batch_label})

step+＝1

if(epoch_number+step)％1000＝＝0:

print_step＝(epoch_number+step)

epoch_cost_string＝"[epoch]:"+(str)(print_step)+"[cost]:"

current_cost_sum＝0.0

mean_batch_size＝(int)((data.shape[0]/128))

for j in range(0,mean_batch_size):

current_cost_sum+＝sess.run(cost.feeed_dict＝{X:data[j](1,33,33,3)}),

Y:lable[j].reshape(1,19,19,3)})

epoch_cost_string+＝str(float(current_cost_sum/mean_batch_size))

epoch_cost_string+＝"\n"

print(epoch_cost_string)

108，把子图片重建成一整张图片,作为重建后高分辨率的输出图片。实现程序如下：

with tf.Session()as sess:

if(epoch_number+step)％1000＝＝0:

test_L1＝tf.nn.relu(tf.nn.conv2d(test_data,W1,strides＝[1,1,1,1],padding＝'SAM E')+B1)

test_L2＝tf.nn.relu(tf.nn.conv2d(test_L1,W2,strides＝[1,1,1,1],padding＝'SAME')+B2)

test_L3＝tf.nn.relu(tf.nn.conv2d(test_L1,W2,strides＝[1,1,1,1],padding＝'SAME')+B3)

test_hypothesis＝tf.nn.conv2d(test_L2,W3,strides＝[1,1,1,1],padding＝'SAME')+B3)

output_image＝sess.run(test_hypothesis)[0,:,:,0:3]

output_image+＝test_data[0,:,:,0:3]

for k in range(0,test_data.shape[1]):

for j in range(0,test_data.shape[2]):

for c in range(0,3):

if(output_image[k,j,c]>1.0):output_image[k,j,c]＝1；

elif(output_image[k,j,c]<0):output_image[k,j,c]＝0；

temp_image＝(output_image*255).astype('uint8')

temp_image＝cv2.cvtColor(temp_image,cv2.COLOR_YCrCb2RGB)

plt.imshow(temp_image)

subname＝"shot/"+str(epoch_number+step)+".jpg"

plt.savefig(subname)

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，包括：

基于SRCNN的模型结构，构建双层的特征提取的改进SRCNN模型结构，在双层特征提取之后进行插值放大，然后再进行池化；

经过第四层卷积重建出最后的高分辨率图像；

所述经过第四层重建出最后的高分辨率图像包括：

将训练集和测试集转化成H5py格式进行存储；

导入Tensorflow中必要的工具包以及数据集；

开始训练过程，初始化所有参数，设置batch_size大小，迭代次数，每设定周期次数的训练输出损失，实时评测模型的性能；

2.根据权利要求1所述的基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，所述基于SRCNN的模型结构，构建双层的特征提取的改进SRCNN的模型结构，在双层特征提取之后进行插值放大，然后进行池化包括：

F₁(Y)＝max(0,W₁*Y+B₁) (1)

F₂(Y)＝max(0,W₂*F₁(Y)+B₂) (2)

第三层进行图像的重建，利用式(3)建立重建层：

F(Y)＝W₃*F₂(Y)+B₃ (3)

式中W₃用来表示c个n₂×f₃×f₃的滤波器，B₃表示c个偏置量；

f₁＝9，f₂＝1，f₃＝5。

3.根据权利要求2所述的基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，所述设定目标经过放大后输入图像为Y，X为原始图像，第一层卷积网络计算出输出图像F₁如式(1)中，参数为n₁＝64。

4.根据权利要求2所述的基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，所述第二层卷积神经网络在第一层生成的n₁个特征图的基础上通过映射成为n₂个特征图，计算公式如式(2)中，参数为n₂＝32。

5.根据权利要求2所述的基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，所述第三层进行图像的重建，利用式(3)建立重建层中，参数为c＝3。

6.根据权利要求1所述的基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，所述设定标准差的值为：0.01。

7.根据权利要求1所述的基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，所述给予一个极小的学习率的值为0.000001。

8.根据权利要求1所述的基于SRCNN改进模型的高分辨率太赫兹图像重构方法，其特征在于，所述设置batch_size大小，迭代次数，每设定周期次数的训练输出损失的值分别为：batch_size大小为128，迭代次数为100000次，设定周期次数为1000。