CN115424337A - 基于先验引导的虹膜图像修复*** - Google Patents
基于先验引导的虹膜图像修复*** Download PDFInfo
- Publication number
- CN115424337A CN115424337A CN202211074175.8A CN202211074175A CN115424337A CN 115424337 A CN115424337 A CN 115424337A CN 202211074175 A CN202211074175 A CN 202211074175A CN 115424337 A CN115424337 A CN 115424337A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- prior
- feature
- priori
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及图像处理技术领域,具体的,涉及基于先验引导的虹膜图像修复***。
背景技术
虹膜识别作为最具有潜力的生物特征识别技术之一,因其准确性高、非接触等优势,已在公安司法、金融银行、移动互联网等领域和行业得到广泛应用。然而,现有的虹膜识别***在图像采集过程中易受外界因素干扰。一方面,在中远距离场景(如1米以上距离),图像的采集分辨率下降,难以捕捉足够分辨率的高质量虹膜图像。另一方面,虹膜相机成像的景深小(即清晰成像的范围小),当用户处于景深之外或正在移动的情况,图像易模糊。
低分辨率和模糊的低质量虹膜图像会导致虹膜的有效识别区域减小,有效纹理信息减少,同时会影响虹膜预处理如虹膜分割的准确度,进而导致识别的准确率下降。
发明内容
本发明提出基于先验引导的虹膜图像修复***,解决了相关技术中低分辨率、模糊的虹膜图像导致虹膜识别准确率下降的问题。
本发明的技术方案如下:包括生成器和判别器,所述生成器包括:
退化去除子网络,用于对输入图像进行特征提取,得到第一图像yc;所述第一图像yc为超分辨率、去模糊的图像;
先验估计子网络,用于根据第一图像yc得到先验知识中的风格信息pi;所述风格信息pi中包含虹膜图像的颜色、形状和纹理信息;
进一步,所述先验估计子网络包括连接成沙漏结构的多个残差通道注意力模块,在所述沙漏结构的对称层之间采用跳跃连接机制,并且对称层之间加入卷积层;任一所述对称层包括:对称分布在沙漏结构中心两侧的两个残差通道注意力模块;
所述先验估计子网络中最后N个残差通道注意力模块与所述先验融合子网络连接,所述风格信息pi包括所述最后N个残差通道注意力模块的输出;所述N为正整数。
进一步,所述先验融合子网络采用通道感知注意力机制;
所述先验估计子网络的沙漏结构中,按照从前向后的顺序,所述最后N个残差通道注意力模块中第n个模块的输出表示为;n为自然数,且n≤N;
在将第一图像yc和风格信息pi进行融合,得到先验融合特征的方面,所述先验融合子网络具体用于:
执行N次特征融合操作,得到先验融合特征;
其中,第n次特征融合操作包括:
第N次特征融合操作后得到的融合特征作为先验融合特征。
进一步,所述退化去除子网络具体包括:依次连接的卷积层、三个残差通道注意力模块和两个卷积层,所述卷积层均采用3×3的卷积核。进一步,所述生成器的损失函数为:
本发明的工作原理及有益效果为:
本发明基于对抗生成网络,首先利用退化去除子网络对输入图像进行粗略的恢复,可以降低先验知识的预测难度;粗略恢复的第一图像yc被发送到两个分支,即先验估计子网络和先验融合子网络,先验估计子网络提取特征并估计虹膜先验知识中的风格信息pi,风格信息pi中往往包含虹膜图像的颜色、形状、纹理等信息;同时,第一图像yc输入到先验融合子网络与风格信息pi进行融合,使风格信息pi指导特征提取,有利于生成清晰的修复图像,从而保证虹膜识别的准确度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明生成器整体网路结构示意图;
图2为本发明中先验融合子网络结构示意图;
图3为本实施例数据集示意图(CA4L);
图4为本实施例数据集示意图(CA4T);
图5为裁剪后的虹膜图像。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都涉及本发明保护的范围。
1.整体框架
如图1所示,本实施例基于生成对抗网络,包括生成器和判别器两部分,判别器采用相对平均判别器。而生成器主要由三部分组成:退化去除子网络,先验融合子网络和先验估计子网络。假定x为退化的低分辨率、模糊的输入图像,y为真实图像。和p分别是输出的高质量虹膜图像和先验估计子网络预测的先验信息。退化图像x(输入图像)可能因为太模糊而无法进行先验知识估计,所以本实施例首先利用退化去除子网络进行特征提取,恢复出粗糙的超分辨率、去模糊的图像:
yc=l(x) (1)
l表示输入图像x到高分辨率图像yc的映射函数。然后,将yc输入到先验估计子网络P和先验融合子网络F中,分别为:
p=P(yc) (2)
其中,先验融合子网络F对yc提取特征,并将先验估计子网络P得到的先验知识与提取的特征进行基于注意力机制的软融合,生成更加清晰的高质量虹膜图像。送入判别器判断真假,与生成器相互博弈,迫使生成器生成可以欺骗判别器的逼真图像。
2.网络结构细节
该部分对生成器的退化去除子网络、先验融合子网络和先验估计子网络的结构和操作细节进行描述。
2.1退化去除子网络
如图1所示,首先利用退化去除子网络对退化图像进行粗略的恢复。退化图像可能因未知的严重退化导致先验信息估计不准确,因此使用退化去除子网络进行简单的自适应恢复可以降低先验知识的预测难度。该子网络首先是一个3×3的卷积层将3通道图像转化为64通道特征图,后续是3个残差网络和两个卷积层的堆叠,均采用3×3的卷积核,通道数量为64。
2.2先验估计子网络
粗略恢复的虹膜图像被发送到两个分支,即先验估计子网络和先验融合子网络。先验估计子网络提取特征并估计虹膜先验信息。虹膜既有特有的拓扑结构(如环状结构等),又具有独特的纹理分布特性(如随机分布性、环向相关性、径向延展性等),可以对其先验知识进行建模和估计。但是由于虹膜纹理的复杂性,简单的关键点、解析图等很难对图像的修复提供有效的增益。考虑到图像的风格信息中往往包含大量的图像的颜色、形状、纹理等信息,可以利用不同阶段、不同尺度的风格先验指导特征提取。
具体的,本实施例采用沙漏结构来估计先验信息。先验估计网络的详细结构如图1所示,由不同尺度的残差通道注意力模块堆叠而成。为了有效地整合跨尺度的特征并保留不同尺度下的空间信息,沙漏结构在对称层之间使用了跳跃连接机制,随后使用3×3卷积层对获得的特征进行后处理。最终,将最后三个残差注意力模块的输出pi1、pi2、pi3(pi1、pi2、pi3按照从输入到输出的顺序排列)作为虹膜图像的风格信息。三部分的先验特征因在网络中的位置和尺度的不同而有所区别,其中尺寸较小、靠前的部分偏向于颜色、形状等信息,而靠后的部分偏向于纹理信息。
2.3先验融合子网络
先验融合子网络也是由不同尺度的残差通道注意力模块组和而成,如图1所示。通过尺度变化,将输入的粗略的修复图像提取出更加丰富的特征。令先验估计网络的输出为pi,yc经过特征提取后得到特征图需要对输入的先验知识与特征图进行融合。现有的融合方法通常是将先验知识与特征直接拼接或相加,如进行人脸修复任务FSRNet等。然而,简单的操作可能会忽略存在于先验知识中的特定信息的优先性,导致先验知识没有被充分利用。
因此,本实施例通过一个新的感知注意融合模块来解决上述问题,针对先验估计子网络最后三个残差注意力模块的输出pi1、pi2、pi3,执行三次特征融合操作,得到先验融合特征;第一次特征融合操作如图2所示,包括:
第三次融合后的特征作为先验融合特征。
2.4损失函数
本实施例采用感知损失、风格损失、重构损失、对抗损失来约束生成器生成图像的质量。重构损失用于衡量图像之间像素级差异,对粗略恢复的中间图像和最终输出的图像同时进行监督,公式如下:
对抗生成网络GAN在图像修复方面表现出了强大的能力,可以生成比基于L1、L2损失的深度模型更出色的逼真图像,其关键思想是使用判别网络来区分重建图像和真实图像,并训练生成器网络来欺骗判别器。
令判别器为DRa,判别器损失定义为:
生成器的对抗性损失呈对称形式:
为了捕捉高层次的语义并模拟人类对图像的感知,提出使用感知损失,通过使用在ImageNet数据集上预训练的网络提取虹膜特征图,以计算不同特征之间的差异,其计算方式如下:
其中Φi是VGG-19骨干网络的第i层的激活图,在本实施例的工作中,Φi对应于ReLu3_1、ReLu4_1和ReLu5_1的激活图。
风格损失用于计算图片之间的风格差异,本实施例中主要用于对风格先验进行约束,公式如下所示:
生成器损失总体为:
λ1、λ2、λ3、λ4分别为重构损失、感知损失、风格损失、对抗损失的权衡参数。
3.实验验证
3.1数据集
本实施例使用中科院虹膜数据集中的灯光数据集(CASIA Iris Image DatabaseV4 Lamp,CA4L)和千人数据集(CASIA Iris Image Database V4 Thousand,CA4T),如图3、图4所示。CA4L包括822个类别,由411个人的左右眼组成,同一个人的左右眼为不同类,一共16212幅图像。CA4T包括2000个类别,由1000个人的左右眼组成,一共20000张图片。将两数据集进行合并和筛选,得到2738个类别、28089张虹膜图像的合并数据集用于本次实验。原始图像分辨率为640x480,经过虹膜检测定位并裁剪为分辨率224x224,如图5所示。
模型主要在生成数据集上训练,这些数据近似于真实的低质量图像,并在测试过程中推广到真实世界的图像。本实施例采用以下退化模型来合成训练数据:
高质量图像y首先与模糊核kσ卷积,然后进行比例因子r的下采样操作。对于每个训练对,本实施例分别从{1:4},{3:15},{3:15}中随机抽取下采样比例因子、运动模糊核、高斯模糊核。测试数据集采用与训练数据相同的合成方式。测试数据和训练数据集没有重叠。
3.2实验设置
在训练过程中,数据集原始数据为灰度单通道虹膜图像,本实施例将其转换为3通道RGB图像,从而模型的输入和输出是RGB图像,尺寸为224×224×3。批次加载的图片数量为16。学习率最初设置为0.0001,每100000次迭代衰减一半。Adam用作优化器,其中β1=0.9,β2=0.999,ζ=10-8。
使用的深度学***衡各损失函数,λ1、λ2、λ3、λ4分别为1,0.01,0.01,0.1。
3.3生成指标对比分析
首先,本实施例对生成图像的质量进行评估和分析。为更有效地评估本实施例所提出的方法,本方法与目前通用图像修复、人脸图像修复领域所提出的先进的修复算法进行比较,包括通用超分辨率算法EDSR、RCAN、SRGAN、ESRGAN;人脸超分辨率算法SISN、SPARNet;以及去模糊算法DeblurGAN v2;进行了定量的比较,评估的指标包括峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似度(structural similarity,SSIM)和可学***比较,以上所有算法均在本实施例提供的数据集上进行了重新训练。表1列出了所有方法的定量结果。
从表1可以观察到,本实施例所提的方法在两个数据集上都实现了最佳的PSNR,SSIM和LPIPS性能。值得注意的是,尽管基于的GAN的方法(DeblurGAN v2)PSNR和SSIM指标稍差,但在LPIPS性能上大大优于普通卷积网络(EDSR、RCAN),说明生成对抗网络可以恢复更多的图像细节。而本实施例所提的方法在各个指标都较为优异,表明该方法恢复了更多的真实图像的细节,相比其他方法保留了更多的与真实图像之间的像素级一致性,说明了本实施例方法的优越性。
表1各方法定量比较结果
3.4消融实验
本实施例进一步实施消融研究来衡量风格损失函数、先验融合模块和先验估计子网络的有效性。首先,将同时移除了风格损失、先验融合模块和先验估计子网络的基线模型称为模型1,将只移除了风格损失、而保留先验融合模块和先验估计子网络的模型称为模型2,只移除先验融合模块的模型称为模型3,同时移除风格损失和先验融合模块的模型为模型4,包含了所有模块的模型为模型5。数据集上的PSNR,SSIM和LPIPS性能如表2所示。
表2消融试验结果
从表2中可以看到,模型4相比基线模型1,重建图像的质量得到较大提高,表明了先验知识引导对于算法具有较大的增益。模型2相比模型1、模型4性能有较大提高,说明了说明先验融合模块提高了对于先验知识的利用。模型3相比模型1、模型4具有优势,表明风格损失加强了对虹膜风格信息的约束。本实施例所提出的方法不仅能够高效提取图像特征,而且还引入了先验知识引导,利用风格损失协同监督,以获得更逼真的修复图像。结果证明了所提出方法的优越性。
本实施例提出的基于先验引导的虹膜图像修复***,可以修复低分辨率、运动模糊、离焦模糊等未知退化的虹膜图像,提高虹膜识别的鲁棒性。基于虹膜先验知识可以指导生成网络,本实施例利用沙漏网络将待生成目标的风格信息进行分布建模提高生成图像的质量。并且,本实施例提出注意力融合机制来整合先验知识,将不同尺度的风格信息逐级注入生成网络,提高先验信息的利用率。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
2.根据权利要求1所述的基于先验引导的虹膜图像修复***,其特征在于,所述先验估计子网络包括连接成沙漏结构的多个残差通道注意力模块,在所述沙漏结构的对称层之间采用跳跃连接机制,并且对称层之间加入卷积层;任一所述对称层包括:对称分布在沙漏结构中心两侧的两个残差通道注意力模块;
所述先验估计子网络中最后N个残差通道注意力模块与所述先验融合子网络连接,所述风格信息pi包括所述最后N个残差通道注意力模块的输出;所述N为正整数。
3.根据权利要求1所述的基于先验引导的虹膜图像修复***,其特征在于,
所述先验融合子网络采用通道感知注意力机制;
所述先验估计子网络的沙漏结构中,按照从前向后的顺序,所述最后N个残差通道注意力模块中第n个模块的输出表示为;n为自然数,且n≤N;
在将第一图像yc和风格信息pi进行融合,得到先验融合特征的方面,所述先验融合子网络具体用于:
执行N次特征融合操作,得到先验融合特征;
其中,第n次特征融合操作包括:
第N次特征融合操作后得到的融合特征作为先验融合特征。
4.根据权利要求1所述的基于先验引导的虹膜图像修复***,其特征在于,所述退化去除子网络具体包括依次连接的卷积层、三个残差通道注意力模块和两个卷积层。
5.根据权利要求2所述的基于先验引导的虹膜图像修复***,其特征在于,所述生成器的损失函数为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211074175.8A CN115424337A (zh) | 2022-09-02 | 2022-09-02 | 基于先验引导的虹膜图像修复*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211074175.8A CN115424337A (zh) | 2022-09-02 | 2022-09-02 | 基于先验引导的虹膜图像修复*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115424337A true CN115424337A (zh) | 2022-12-02 |
Family
ID=84201373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211074175.8A Pending CN115424337A (zh) | 2022-09-02 | 2022-09-02 | 基于先验引导的虹膜图像修复*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115424337A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117974508A (zh) * | 2024-03-28 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
-
2022
- 2022-09-02 CN CN202211074175.8A patent/CN115424337A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117974508A (zh) * | 2024-03-28 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
CN117974508B (zh) * | 2024-03-28 | 2024-06-07 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
CN112163498B (zh) | 前景引导和纹理聚焦的行人重识别模型建立方法及其应用 | |
CN109800710B (zh) | 行人重识别***及方法 | |
CN113688723A (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
CN112288627B (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
CN115018727A (zh) | 一种多尺度图像修复方法、存储介质及终端 | |
CN110070574A (zh) | 一种基于改进PSMNet的双目视觉立体匹配算法 | |
CN110852935A (zh) | 一种人脸图像随年龄变化的图像处理方法 | |
CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及*** | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
CN115424337A (zh) | 基于先验引导的虹膜图像修复*** | |
KR20230081378A (ko) | 3차원 휴먼 자세 추정을 위한 단시점 모델의 다시점 준지도 학습 시스템 | |
CN117058727B (zh) | 一种基于图像增强的手部静脉图像识别方法及装置 | |
CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
CN114360058B (zh) | 一种基于行走视角预测的跨视角步态识别方法 | |
CN115035170A (zh) | 基于全局纹理与结构的图像修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |