CN115424337A - 基于先验引导的虹膜图像修复*** - Google Patents

Abstract

本发明涉及图像处理技术领域，提出了基于先验引导的虹膜图像修复***，包括生成器和判别器，所述生成器包括：退化去除子网络，用于对输入图像进行特征提取，得到第一图像y_c；所述第一图像y_c为超分辨率、去模糊的图像；先验估计子网络，用于根据第一图像y_c得到先验知识中的风格信息p_i；所述风格信息p_i中包含虹膜图像的颜色、形状和纹理信息；先验融合子网络，用于将第一图像y_c和风格信息p_i进行融合，得到先验融合特征；所述先验融合特征用于生成清晰的修复图像

通过上述技术方案，解决了现有技术中低分辨率、模糊的虹膜图像导致虹膜识别准确率下降的问题。

Description

基于先验引导的虹膜图像修复***

技术领域

本发明涉及图像处理技术领域，具体的，涉及基于先验引导的虹膜图像修复***。

背景技术

虹膜识别作为最具有潜力的生物特征识别技术之一，因其准确性高、非接触等优势，已在公安司法、金融银行、移动互联网等领域和行业得到广泛应用。然而，现有的虹膜识别***在图像采集过程中易受外界因素干扰。一方面，在中远距离场景(如1米以上距离)，图像的采集分辨率下降，难以捕捉足够分辨率的高质量虹膜图像。另一方面，虹膜相机成像的景深小(即清晰成像的范围小)，当用户处于景深之外或正在移动的情况，图像易模糊。

低分辨率和模糊的低质量虹膜图像会导致虹膜的有效识别区域减小，有效纹理信息减少，同时会影响虹膜预处理如虹膜分割的准确度，进而导致识别的准确率下降。

发明内容

本发明提出基于先验引导的虹膜图像修复***，解决了相关技术中低分辨率、模糊的虹膜图像导致虹膜识别准确率下降的问题。

本发明的技术方案如下：包括生成器和判别器，所述生成器包括：

退化去除子网络，用于对输入图像进行特征提取，得到第一图像y_c；所述第一图像y_c为超分辨率、去模糊的图像；

先验估计子网络，用于根据第一图像y_c得到先验知识中的风格信息p_i；所述风格信息p_i中包含虹膜图像的颜色、形状和纹理信息；

先验融合子网络，用于将第一图像y_c和风格信息p_i进行融合，得到先验融合特征；所述先验融合特征用于生成清晰的修复图像

进一步，所述先验估计子网络包括连接成沙漏结构的多个残差通道注意力模块，在所述沙漏结构的对称层之间采用跳跃连接机制，并且对称层之间加入卷积层；任一所述对称层包括：对称分布在沙漏结构中心两侧的两个残差通道注意力模块；

所述先验估计子网络中最后N个残差通道注意力模块与所述先验融合子网络连接，所述风格信息p_i包括所述最后N个残差通道注意力模块的输出；所述N为正整数。

进一步，所述先验融合子网络采用通道感知注意力机制；

所述先验估计子网络的沙漏结构中，按照从前向后的顺序，所述最后N个残差通道注意力模块中第n个模块的输出表示为；n为自然数，且n≤N；

在将第一图像y_c和风格信息p_i进行融合，得到先验融合特征的方面，所述先验融合子网络具体用于：

执行N次特征融合操作，得到先验融合特征；

其中，第n次特征融合操作包括：

利用卷积和映射函数对p_in进行仿射变换，将p_in转化为通道注意力机制中的权重系数

将特征图

切分为具有空间信息的空间特征

和空间特征

根据权重系数

和空间特征

得到风格特征；

将风格特征与空间特征

进行拼接，得到第n次特征融合操作对应的融合特征；

在首次特征融合操作中，特征图

为对所述第一图像y_c进行下采样处理后得到的特征；

在其他次特征融合操作中，特征图

为前一次特征融合操作对应的融合特征；

第N次特征融合操作后得到的融合特征作为先验融合特征。

进一步，所述退化去除子网络具体包括：依次连接的卷积层、三个残差通道注意力模块和两个卷积层，所述卷积层均采用3×3的卷积核。进一步，所述生成器的损失函数为：

其中，L_rec、L_perc、L_style、

分别为重构损失、感知损失、风格损失、对抗损失，λ₁、λ₂、λ₃、λ₄分别为权衡参数；

所述重构损失

y为真实图像，||||₁表示L1范数；

所述感知损失

所述感知损失通过将修复图像

和真实图像y输入VGG-19网络计算得到，Φ_i为VGG-19网络的第i层的激活图；N_i为第i层激活图的像素总数；

所述风格损失

为由所述第i层激活图构造的C_j×C_j格拉姆矩阵，C_j为所述第i层激活图的通道数；

所述对抗损失

D_Ra为判别器，

表示真实图像y和修复图像

之间的误差，E[]为期望值计算。

本发明的工作原理及有益效果为：

本发明基于对抗生成网络，首先利用退化去除子网络对输入图像进行粗略的恢复，可以降低先验知识的预测难度；粗略恢复的第一图像y_c被发送到两个分支，即先验估计子网络和先验融合子网络，先验估计子网络提取特征并估计虹膜先验知识中的风格信息p_i，风格信息p_i中往往包含虹膜图像的颜色、形状、纹理等信息；同时，第一图像y_c输入到先验融合子网络与风格信息p_i进行融合，使风格信息p_i指导特征提取，有利于生成清晰的修复图像，从而保证虹膜识别的准确度。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明生成器整体网路结构示意图；

图2为本发明中先验融合子网络结构示意图；

图3为本实施例数据集示意图(CA4L)；

图4为本实施例数据集示意图(CA4T)；

图5为裁剪后的虹膜图像。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都涉及本发明保护的范围。

1.整体框架

如图1所示，本实施例基于生成对抗网络，包括生成器和判别器两部分，判别器采用相对平均判别器。而生成器主要由三部分组成：退化去除子网络，先验融合子网络和先验估计子网络。假定x为退化的低分辨率、模糊的输入图像，y为真实图像。

和p分别是输出的高质量虹膜图像和先验估计子网络预测的先验信息。退化图像x(输入图像)可能因为太模糊而无法进行先验知识估计，所以本实施例首先利用退化去除子网络进行特征提取，恢复出粗糙的超分辨率、去模糊的图像：

y_c＝l(x) (1)

l表示输入图像x到高分辨率图像y_c的映射函数。然后，将y_c输入到先验估计子网络P和先验融合子网络F中，分别为：

p＝P(y_c) (2)

其中，先验融合子网络F对y_c提取特征，并将先验估计子网络P得到的先验知识与提取的特征进行基于注意力机制的软融合，生成更加清晰的高质量虹膜图像。

送入判别器判断真假，与生成器相互博弈，迫使生成器生成可以欺骗判别器的逼真图像。

2.网络结构细节

该部分对生成器的退化去除子网络、先验融合子网络和先验估计子网络的结构和操作细节进行描述。

2.1退化去除子网络

如图1所示，首先利用退化去除子网络对退化图像进行粗略的恢复。退化图像可能因未知的严重退化导致先验信息估计不准确，因此使用退化去除子网络进行简单的自适应恢复可以降低先验知识的预测难度。该子网络首先是一个3×3的卷积层将3通道图像转化为64通道特征图，后续是3个残差网络和两个卷积层的堆叠，均采用3×3的卷积核，通道数量为64。

2.2先验估计子网络

粗略恢复的虹膜图像被发送到两个分支，即先验估计子网络和先验融合子网络。先验估计子网络提取特征并估计虹膜先验信息。虹膜既有特有的拓扑结构(如环状结构等)，又具有独特的纹理分布特性(如随机分布性、环向相关性、径向延展性等)，可以对其先验知识进行建模和估计。但是由于虹膜纹理的复杂性，简单的关键点、解析图等很难对图像的修复提供有效的增益。考虑到图像的风格信息中往往包含大量的图像的颜色、形状、纹理等信息，可以利用不同阶段、不同尺度的风格先验指导特征提取。

具体的，本实施例采用沙漏结构来估计先验信息。先验估计网络的详细结构如图1所示，由不同尺度的残差通道注意力模块堆叠而成。为了有效地整合跨尺度的特征并保留不同尺度下的空间信息，沙漏结构在对称层之间使用了跳跃连接机制，随后使用3×3卷积层对获得的特征进行后处理。最终，将最后三个残差注意力模块的输出p_i1、p_i2、p_i3(p_i1、p_i2、p_i3按照从输入到输出的顺序排列)作为虹膜图像的风格信息。三部分的先验特征因在网络中的位置和尺度的不同而有所区别，其中尺寸较小、靠前的部分偏向于颜色、形状等信息，而靠后的部分偏向于纹理信息。

2.3先验融合子网络

先验融合子网络也是由不同尺度的残差通道注意力模块组和而成，如图1所示。通过尺度变化，将输入的粗略的修复图像

提取出更加丰富的特征。令先验估计网络的输出为p_i，y_c经过特征提取后得到特征图

需要对输入的先验知识与特征图进行融合。现有的融合方法通常是将先验知识与特征直接拼接或相加，如进行人脸修复任务FSRNet等。然而，简单的操作可能会忽略存在于先验知识中的特定信息的优先性，导致先验知识没有被充分利用。

因此，本实施例通过一个新的感知注意融合模块来解决上述问题，针对先验估计子网络最后三个残差注意力模块的输出p_i1、p_i2、p_i3，执行三次特征融合操作，得到先验融合特征；第一次特征融合操作如图2所示，包括：

将p_i1利用卷积和映射函数进行仿射变换，将p_i1转化为通道注意力机制中的权重系数

同时，将特征图

均匀切分为具有空间信息的特征

和特征

则风格特征

为：

最后，将风格特征

与空间特征

进行拼接，得到第一次特征融合操作对应的融合特征

由于风格特征

中加入了权重系数

保证了风格信息p_i1的充分利用。

再其他次特征融合操作中，将前一次融合后的特征作为特征图

第三次融合后的特征作为先验融合特征。

2.4损失函数

本实施例采用感知损失、风格损失、重构损失、对抗损失来约束生成器生成图像的质量。重构损失用于衡量图像之间像素级差异，对粗略恢复的中间图像和最终输出的图像同时进行监督，公式如下：

对抗生成网络GAN在图像修复方面表现出了强大的能力，可以生成比基于L1、L2损失的深度模型更出色的逼真图像，其关键思想是使用判别网络来区分重建图像和真实图像，并训练生成器网络来欺骗判别器。

令判别器为D_Ra，判别器损失定义为：

生成器的对抗性损失呈对称形式：

为了捕捉高层次的语义并模拟人类对图像的感知，提出使用感知损失，通过使用在ImageNet数据集上预训练的网络提取虹膜特征图，以计算不同特征之间的差异，其计算方式如下：

其中Φ_i是VGG-19骨干网络的第i层的激活图，在本实施例的工作中，Φ_i对应于ReLu3_1、ReLu4_1和ReLu5_1的激活图。

风格损失用于计算图片之间的风格差异，本实施例中主要用于对风格先验进行约束，公式如下所示：

是由选定的激活图构造的C_j×C_j格拉姆矩阵，C_j为激活图的通道数，所使用的激活图与感知损失中的相同。

生成器损失总体为：

λ₁、λ₂、λ₃、λ₄分别为重构损失、感知损失、风格损失、对抗损失的权衡参数。

3.实验验证

3.1数据集

本实施例使用中科院虹膜数据集中的灯光数据集(CASIA Iris Image DatabaseV4 Lamp，CA4L)和千人数据集(CASIA Iris Image Database V4 Thousand，CA4T)，如图3、图4所示。CA4L包括822个类别，由411个人的左右眼组成，同一个人的左右眼为不同类，一共16212幅图像。CA4T包括2000个类别，由1000个人的左右眼组成，一共20000张图片。将两数据集进行合并和筛选，得到2738个类别、28089张虹膜图像的合并数据集用于本次实验。原始图像分辨率为640x480，经过虹膜检测定位并裁剪为分辨率224x224，如图5所示。

模型主要在生成数据集上训练，这些数据近似于真实的低质量图像，并在测试过程中推广到真实世界的图像。本实施例采用以下退化模型来合成训练数据：

高质量图像y首先与模糊核k_σ卷积，然后进行比例因子r的下采样操作。对于每个训练对，本实施例分别从{1:4}，{3:15}，{3:15}中随机抽取下采样比例因子、运动模糊核、高斯模糊核。测试数据集采用与训练数据相同的合成方式。测试数据和训练数据集没有重叠。

3.2实验设置

在训练过程中，数据集原始数据为灰度单通道虹膜图像，本实施例将其转换为3通道RGB图像，从而模型的输入和输出是RGB图像，尺寸为224×224×3。批次加载的图片数量为16。学习率最初设置为0.0001，每100000次迭代衰减一半。Adam用作优化器，其中β₁＝0.9，β₂＝0.999，ζ＝10^-8。

使用的深度学***衡各损失函数，λ₁、λ₂、λ₃、λ₄分别为1，0.01，0.01，0.1。

3.3生成指标对比分析

首先，本实施例对生成图像的质量进行评估和分析。为更有效地评估本实施例所提出的方法，本方法与目前通用图像修复、人脸图像修复领域所提出的先进的修复算法进行比较，包括通用超分辨率算法EDSR、RCAN、SRGAN、ESRGAN；人脸超分辨率算法SISN、SPARNet；以及去模糊算法DeblurGAN v2；进行了定量的比较，评估的指标包括峰值信噪比(peak signal-to-noise ratio，PSNR)、结构相似度(structural similarity，SSIM)和可学***比较，以上所有算法均在本实施例提供的数据集上进行了重新训练。表1列出了所有方法的定量结果。

从表1可以观察到，本实施例所提的方法在两个数据集上都实现了最佳的PSNR，SSIM和LPIPS性能。值得注意的是，尽管基于的GAN的方法(DeblurGAN v2)PSNR和SSIM指标稍差，但在LPIPS性能上大大优于普通卷积网络(EDSR、RCAN)，说明生成对抗网络可以恢复更多的图像细节。而本实施例所提的方法在各个指标都较为优异，表明该方法恢复了更多的真实图像的细节，相比其他方法保留了更多的与真实图像之间的像素级一致性，说明了本实施例方法的优越性。

表1各方法定量比较结果

3.4消融实验

本实施例进一步实施消融研究来衡量风格损失函数、先验融合模块和先验估计子网络的有效性。首先，将同时移除了风格损失、先验融合模块和先验估计子网络的基线模型称为模型1，将只移除了风格损失、而保留先验融合模块和先验估计子网络的模型称为模型2，只移除先验融合模块的模型称为模型3，同时移除风格损失和先验融合模块的模型为模型4，包含了所有模块的模型为模型5。数据集上的PSNR，SSIM和LPIPS性能如表2所示。

表2消融试验结果

从表2中可以看到，模型4相比基线模型1，重建图像的质量得到较大提高，表明了先验知识引导对于算法具有较大的增益。模型2相比模型1、模型4性能有较大提高，说明了说明先验融合模块提高了对于先验知识的利用。模型3相比模型1、模型4具有优势，表明风格损失加强了对虹膜风格信息的约束。本实施例所提出的方法不仅能够高效提取图像特征，而且还引入了先验知识引导，利用风格损失协同监督，以获得更逼真的修复图像。结果证明了所提出方法的优越性。

本实施例提出的基于先验引导的虹膜图像修复***，可以修复低分辨率、运动模糊、离焦模糊等未知退化的虹膜图像，提高虹膜识别的鲁棒性。基于虹膜先验知识可以指导生成网络，本实施例利用沙漏网络将待生成目标的风格信息进行分布建模提高生成图像的质量。并且，本实施例提出注意力融合机制来整合先验知识，将不同尺度的风格信息逐级注入生成网络，提高先验信息的利用率。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于先验引导的虹膜图像修复***，用于对低分辨率的模糊图像进行修复，包括生成器和判别器，其特征在于，所述生成器包括：

退化去除子网络，用于对输入图像进行特征提取，得到第一图像y_c；所述第一图像y_c为超分辨率、去模糊的图像；

先验估计子网络，用于根据第一图像y_c得到先验知识中的风格信息p_i；所述风格信息p_i中包含虹膜图像的颜色、形状和纹理信息；

先验融合子网络，用于将第一图像y_c和风格信息p_i进行融合，得到先验融合特征；所述先验融合特征用于生成清晰的修复图像

2.根据权利要求1所述的基于先验引导的虹膜图像修复***，其特征在于，所述先验估计子网络包括连接成沙漏结构的多个残差通道注意力模块，在所述沙漏结构的对称层之间采用跳跃连接机制，并且对称层之间加入卷积层；任一所述对称层包括：对称分布在沙漏结构中心两侧的两个残差通道注意力模块；

所述先验估计子网络中最后N个残差通道注意力模块与所述先验融合子网络连接，所述风格信息p_i包括所述最后N个残差通道注意力模块的输出；所述N为正整数。

3.根据权利要求1所述的基于先验引导的虹膜图像修复***，其特征在于，

所述先验融合子网络采用通道感知注意力机制；

所述先验估计子网络的沙漏结构中，按照从前向后的顺序，所述最后N个残差通道注意力模块中第n个模块的输出表示为；n为自然数，且n≤N；

在将第一图像y_c和风格信息p_i进行融合，得到先验融合特征的方面，所述先验融合子网络具体用于：

执行N次特征融合操作，得到先验融合特征；

其中，第n次特征融合操作包括：

利用卷积和映射函数对p_in进行仿射变换，将p_in转化为通道注意力机制中的权重系数

将特征图

切分为具有空间信息的空间特征

和空间特征

根据权重系数

和空间特征

得到风格特征；

将风格特征与空间特征

进行拼接，得到第n次特征融合操作对应的融合特征；

在首次特征融合操作中，特征图

为对所述第一图像y_c进行下采样处理后得到的特征；

在其他次特征融合操作中，特征图

为前一次特征融合操作对应的融合特征；

第N次特征融合操作后得到的融合特征作为先验融合特征。

4.根据权利要求1所述的基于先验引导的虹膜图像修复***，其特征在于，所述退化去除子网络具体包括依次连接的卷积层、三个残差通道注意力模块和两个卷积层。

5.根据权利要求2所述的基于先验引导的虹膜图像修复***，其特征在于，所述生成器的损失函数为：

其中，L_rec、L_perc、L_style、

分别为重构损失、感知损失、风格损失、对抗损失，λ₁、λ₂、λ₃、λ₄分别为权衡参数；

所述重构损失

y为真实图像，||||₁表示L1范数；

所述感知损失

所述感知损失通过将修复图像

和真实图像y输入VGG-19网络计算得到，Φ_i为所述VGG-19网络的第i层的激活图；N_i为第i层激活图的像素总数；

所述风格损失

为由所述第i层激活图构造的C_j×C_j格拉姆矩阵，C_j为所述第i层激活图的通道数；

所述对抗损失

D_Ra为判别器，

表示真实图像y和修复图像

之间的误差，E[]为期望值计算。

Images