CN111738058A - 基于生成对抗网络的针对生物模板保护的重构攻击方法 - Google Patents
基于生成对抗网络的针对生物模板保护的重构攻击方法 Download PDFInfo
- Publication number
- CN111738058A CN111738058A CN202010377787.9A CN202010377787A CN111738058A CN 111738058 A CN111738058 A CN 111738058A CN 202010377787 A CN202010377787 A CN 202010377787A CN 111738058 A CN111738058 A CN 111738058A
- Authority
- CN
- China
- Prior art keywords
- hash
- network
- image
- hash code
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 12
- 238000013139 quantization Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000012938 design process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000011426 transformation method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的针对生物模板保护的重构攻击方法,包括步骤:1)基础数据处理,包括图像裁剪、特征提取、哈希码生成以及训练集与测试集划分;2)构造生物哈希重构攻击网络,包含哈希网络以及生成对抗网络,其中,生成对抗网络包含两个阶段,第一阶段通过给定哈希码生成低分辨率图像,第二阶段结合低分辨率图像以及给定哈希码生成高分辨率图像;3)哈希网络权重更新;4)生成对抗网络权重更新;5)针对生物模板保护进行重构攻击。本发明结合语义保持以及视觉相似,通过哈希网络以及生成对抗网络从给定哈希码重构生物图像,既能通过生物识别***验证又能与真实生物图像保持较高的视觉相似性。
Description
技术领域
本发明涉及生物识别的技术领域,尤其是指一种基于生成对抗网络的针对生物模板保护的重构攻击方法。
背景技术
随着生物识别***包括虹膜、人脸、指纹、声音等在不同的身份认证领域的广泛应用,人们对于生物识别的安全性问题越来越重视,同时吸引越来越多的研究者开始关注这一领域。为了避免生物模板信息泄露所造成的不可挽回的损失,研究者们提出了许多不同的生物模板保护方案,基于模板保护的生物识别***与原始的生物识别***区别在于特征提取单元与匹配器之间增加了一个模板保护单元。一般而言,一个理想的生物模板保护方案需要满足以下四个特性:1.不可逆性:难以从受保护的模板信息推断原始模板信息;2.可撤销性:一旦发生泄露则受保护的模板可以销毁并生成另一个受保护的模板;3.不相关性:受保护的模板无法在多个数据库间进行匹配;4.可用性:模板保护方案不应该显著降低识别***识别率。根据生物信息保护的The ISO/IEC 24745标准,生物模板保护主要分为两种形式,既特征变换方法以及生物加密方法。在特征变换方法中,为了保护模板信息,原始的模板信息经过不可逆或者单向的变换。在验证阶段,所输入模板特征经过相同的变换操作并与数据库中已有的经过变换的模板进行匹配。而在生物加密方法中,主要根据纠错编码技术从原始模板信息生成用于辅助信息,辅助信息不包含原始模板信息中的关键信息而是主要用于原始模板的恢复。尽管两种模板保护方案各有优劣,相比于生物加密方法,特征变换方法下模板通过改变哈希参数更更容易撤销而且由于哈希空间中模板的匹配算法约束较少从而可以设计复杂的匹配算法来区分类内类间差异从而保证***识别错误率更低。
在众多特征变换方法中,生物哈希由于其计算过程高效性以及简便性已经被广泛应用在生物识别领域。生物哈希将原始空间的生物信息映射为二值空间的离散哈希码,由于这一过程是有损且多对一的映射,从哈希码逆推原始生物信息被认为是欠定的,因此理论上从哈希码重构原始生物信息是不可行的从而保证了生物信息的安全性。但是另一方面,生物哈希的可用性依赖于哈希空间中二值哈希相似性搜索的准确性,而为了确保这一准确性,哈希映射需要满足原始空间与哈希空间中的数据存在一定程度的相似性关联,我们称之为相似性保持。这种相似性保持特征无可避免地为生物模板的数据安全带来隐患,越来越多的攻击者试图利用这种特性从经过变换的生物模板重构原始生物数据。对于生物图像重构攻击方面的研究不仅可以引起相关研究者对于生物哈希算法的安全性重视,同时启发研究者在相关哈希算法设计过程中引入必要的机制防范可能的安全性风险。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于生成对抗网络的针对生物模板保护的重构攻击方法,解决传统重构攻击方法中重构图像无法满足视觉真实性的问题,利用给定哈希码所重构真实生物图像既能通过生物识别***验证又能与真实生物图像保持较高的视觉相似性,本发明不仅可以引起相关研究者对于生物模板保护中相关生物哈希算法的安全性重视,同时启发研究者在相关生物哈希算法设计过程中引入必要的机制防范可能的安全性风险。
为实现上述目的,本发明所提供的技术方案为:基于生成对抗网络的针对生物模板保护的重构攻击方法,包括以下步骤:
S1、基础数据处理,包括图像裁剪、特征提取、哈希码生成以及训练集与测试集划分;
S2、构造生物哈希重构攻击网络,包含哈希网络以及生成对抗网络,其中,生成对抗网络包含两个阶段,第一阶段通过给定哈希码生成低分辨率图像,第二阶段结合低分辨率图像以及给定哈希码生成高分辨率图像;
S3、哈希网络权重更新;
S4、生成对抗网络权重更新;
S5、针对生物模板保护进行重构攻击。
在步骤S1中,对于基础数据中图像进行裁剪分别获取低分辨率图像以及高分辨率图像,其中低分辨率为64×64,高分辨率图片为256×256,然后利用特征提取方法resnet-50提取图像特征,其中resnet-50是一种深度学习中常见的用于图像分类的网络结构,接着根据生物哈希提取方法之一的迭代量化哈希iterative quantization生成哈希码,迭代量化哈希是生物模板保护中一种通过反复迭代缩小量化误差的哈希编码方法;最后根据生物图像所属类别进行训练集以及测试集划分,选取部分类别图像包括低分辨率图像Il、高分辨率图像I以及对应哈希码y作为训练集,剩余部分类别图像包括低分辨率图像高分辨率图像It以及对应哈希码yt作为测试集。
在步骤S2中,构造生物哈希重构攻击网络,包括以下步骤:
S2.1、构造一个多层的全连接网络来拟合高分辨率图像到哈希码的映射关系,此网络将高分辨率图像转换成连续变量y'用于逼近哈希码y,称这一网络为哈希网络,该哈希网络主要用于解决哈希码不可导的问题,从而进一步优化重构图像对应哈希码与输入哈希码之间的汉明距离;高分辨率图像所提取的哈希码经过不同的隐藏层后,再经过一个激活函数层sigmoid,并输出最终的近似连续变量y';其中,哈希网络包含1个隐藏层和1个输出层,隐藏层包含一个全连接层FC和一个激活函数层sigmoid,输出层包含一个全连接层FC和一个激活函数层sigmoid;
S2.2、构造一个生成对抗网络用于拟合哈希码到图像的映射关系,从而满足图像空间的视觉相似性,同时将哈希网络融合到生成对抗网络中形成重构攻击模型,哈希网络用于指导生成对抗网络在哈希空间的语义表达,从而满足哈希空间的语义不变形;生成对抗网络包含第一阶段生成器G0、第二阶段生成器G1和第一阶段鉴别器D0、第二阶段鉴别器D1,重构攻击模型的第一阶段首先通过给定哈希码y生成低分辨率图像Il,然后第二阶段结合低分辨率图像Il以及给定哈希码y生成高分辨率图像I;假设表示卷积层-归一化层-Relu层结构,表示卷积层-归一化层-leakyRelu层结构,其中n表示卷积核层数,s表示步长;在第一阶段生成器G0中,哈希码首先和高斯噪声z合并,然后依次通过一个包含4个的上采样块和一个3×3卷积层,最后经过一个激活函数层Tanh输出低分辨率重构图像在第一阶段鉴别器D0中,重构图像经过一个包含4个的下采样块输出一个张量,此时哈希码y依次经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并依次经过一个和一个4×4卷积层输出判别得分;在第二阶段生成器G1中,重构图像依次经过一个和一个包含2个的下采样块输出一个张量,此时哈希码y依次经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并依次经过一个两个残差块以及一个包含4个层的上采样块后,再依次经过一个3×3卷积层和一个激活函数层Tanh输出高分辨率重构图像在第二阶段鉴别器D1中,重构图像依次经过一个包含6个的下采样块和2个并输出一个张量,此时哈希码y依次经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并依次经过一个和一个4×4卷积层输出判别得分。
在步骤S3中,哈希网络权重更新,包括以下步骤:
S3.1、初始化哈希网络权重参数Whash,迭代次数i=0;
S3.3、随机选取批量训练集中高分辨率图像I以及对应哈希码y;
S3.4、输入哈希码y获取连续变量y';
S3.5、计算连续变量y'与y之间的距离,距离利用交叉熵损失衡量,表述如下:
其中,yi'∈(0,1),yi∈{0,1},i=1,2,...,n,yi'和yi分别表示y'以及y的第i位;
S3.6、利用adam优化器更新权重参数,表示如下:
S3.7、迭代次数i=i+1并转至S3.2。
在步骤S4中,生成对抗网络权重更新,包括以下步骤:
S4.3、随机选取批量训练集中低分辨率图像Il以及对应哈希码y;
S4.5、计算对抗损失,表示如下:
其中,z表示随机高斯噪声,G0表示第一阶段生成器,D0表示第一阶段鉴别器,D0(Il,y)表示第一阶段鉴别器D0以低分辨率图像Il以及哈希码y作为输入的输出,G0(z,y)表示第一阶段生成器G0以噪声z以及哈希码y作为输入所输出的低分辨率重构图像D0(G0(z,y),y)表示第一阶段鉴别器D0以重构图像以及哈希码y作为输入的输出,表示低分辨率图像Il以及哈希码y作为变量的联合分布期望,Ez,y表示噪声z以及哈希码y作为变量的联合分布期望;
S4.6、利用adam优化器更新权重参数,表示如下:
S4.7、迭代次数j=j+1并转至S4.2;
S4.9、随机选取批量训练集中高分辨率图像I以及对应哈希码y;
S4.12、计算哈希空间语义损失,表示如下:
其中,H‘表示哈希网络;
S4.13、计算对抗损失,表示如下:
其中,G1表示第二阶段生成器,D1表示第二阶段鉴别器,D1(I,y)表示第二阶段鉴别器D1以高分辨率图像I以及哈希码y作为输入的输出,表示第二阶段生成器G1以低分辨率重构图像以及哈希码y作为输入所输出的高分辨率重构图像表示第二阶段鉴别器以重构图像以及哈希码y作为输入的输出,EI,y表示高分辨率图像I以及哈希码y作为变量的联合分布期望,表示低分辨率重构图以及哈希码y作为变量的联合分布期望;
S4.14、计算重构攻击网络整体损失,表示如下:
L=L0+L1+λ·Lsem
其中,λ表示语义损失权重;
S4.15、利用adam优化器更新权重参数,表示如下:
S4.16、迭代次数k=k+1并转至S4.8。
在步骤S5中,针对生物模板保护进行重构攻击,包括以下步骤:
S5.1、初始化迭代次数m=0,汉明距离d=1,攻击次数t,攻击有效阈值θ;
S5.2、选取测试集中哈希码yt;
S5.3、判断攻击是否结束:若m<t成立,转至S5.4,否则转至S5.7;
S5.6、连续变量y'经过以下量化操作输出yh:
其中,y'k表示连续变量y'的第k位;
S5.8、m=m+1并转至S5.3;
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明方法首次将针对生物模板保护的重构攻击中重构图像的语义不变形以及视觉相似性相结合,使得重构图像既能通过生物识别***验证又能与真实生物图像保持较高的视觉相似性。
2、本发明方法通过引入哈希网络学习图像到哈希码的映射关系用于逼近真实生物哈希码,使得重构攻击不需要获取生物哈希算法先验知识,同时适用于生物模板保护中不同的生物哈希算法。
3、本发明方法首次引入生成对抗网络用于针对给定生物模板保护的重构攻击,生成对抗网络通过学习到哈希码到图像的映射关系,使得重构图像与真实图像保持一定视觉真实性。
4、本发明方法通过有效的重构攻击可以引起相关研究者对于生物模板保护中生物哈希算法的安全性重视,同时启发研究者在相关哈希算法设计过程中引入必要的机制防范可能的安全性风险。
附图说明
图1为本发明方法逻辑流程框架图。
图2为本发明使用的哈希网络H'架构图。
图3为本发明使用的第一阶段生成器G0架构图。
图4为本发明使用的第一阶段鉴别器D0架构图。
图5为本发明使用的第二阶段生成器G1架构图。
图6为本发明使用的第二阶段鉴别器D1架构图。
图7为实施例中选取重构攻击成功中部分原始图像与重构图像对比图。
具体实施方式
下面结合具体实施例对本发明作进一步说明,但本发明的实施方式不限于此。
参见图1至图7所示,本实施例所提供的基于生成对抗网络的针对生物模板保护的重构攻击方法,包括以下步骤:
1)基础数据处理,包括图像裁剪,特征提取,哈希码生成,以及训练集与测试集划分。
表1训练集以及测试集
本实例所选数据集为CMU PIE,由卡内基梅隆大学计算机系研究人员所采集的68个不同个体在不同姿态,表情以及光照条件下的40000张人脸图像,本文选取在同一种姿势下的68个个体的不同人脸图像作为本文的数据集,每个个体包含24张不同光照以及表情下的人脸图像,其中包含60个个体的1440张人脸图像作为本文训练集图像,另外8个个体的192张人脸图片作为本文训练集图像,对于数据集中图像进行裁剪分别获取低分辨率图像以及高分辨率图像,其中低分辨率为64×64,高分辨率图片为256×256,然后利用特征提取方法resnet-50提取图像特征,其中resnet-50是一种深度学习中常见的用于图像分类的网络结构,然后根据生物哈希提取方法之一的迭代量化哈希iterative quantization生成哈希码,哈希码长度为512比特,其中迭代量化哈希是生物模板保护中一种通过反复迭代缩小量化误差的哈希编码方法;最后根据生物图像所属类别进行训练集以及测试集划分,分别选取部分类别图像包括低分辨率图像Il、高分辨率图像I以及对应哈希码y作为训练集,剩余部分类别图像包括低分辨率图像高分辨率图像It以及对应哈希码yt作为测试集。
2)构造生物哈希重构攻击网络,包含哈希网络以及生成对抗网络,其中,生成对抗网络包含两个阶段,第一阶段通过给定哈希码生成低分辨率图像,第二阶段结合低分辨率图像以及给定哈希码生成高分辨率图像;
2.1)哈希网络如图2所示,包含1个隐藏层和1个输出层,图像经过特征提取算法resnet-50所提取特征作为输入,隐藏层包含一个全连接层FC和一个激活函数层sigmoid,输出层包含一个全连接层FC和一个激活函数层sigmoid。
2.2)生成对抗网络第一阶段生成器G0、第二阶段生成器G1和第一阶段鉴别器D0、第二阶段鉴别器D1分别如图3至图6所示,其中N表示卷积核层数,s表示卷积步长;假设表示卷积层-归一化层-Relu层结构,表示卷积层-归一化层-leakyRelu层结构,其中n表示卷积核层数以及s表示步长;在第一阶段生成器G0中,哈希码首先和高斯噪声z合并然后通过一个包含4个 的上采样块和一个3×3卷积层,最后经过一个激活函数层Tanh输出重构图像在第一阶段鉴别器D0中,重构图像经过一个包含4个 的下采样块输出一个张量,此时哈希码y经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并经过一个和一个4×4卷积层输出判别得分;在第二阶段生成器G1中,重构图像经过一个一个包含2个的下采样块输出一个张量,此时哈希码y经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并经过一个两个残差块以及一个包含4个 的上采样块,然后经过一个3×3卷积层和一个激活函数层Tanh输出高分辨率重构图像在第二阶段鉴别器D1中,重构图像经过一个包含6个的下采样块和2个并输出一个张量,此时哈希码y经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个块合并形成一个新的张量,并经过一个和一个4×4卷积层输出判别得分。
3)哈希网络权重更新。
3.1)采用Xavier方法初始化哈希网络权重参数Whash,迭代次数i=0;
3.3)随机批量选取训练集64对256*256高分辨率图像I以及哈希码y;
3.4)输入哈希码通过哈希网络获取连续变量y';
3.5)计算连续变量y'与y之间的距离,距离利用交叉熵损失衡量,表述如下:
其中,yi'∈(0,1),yi∈{0,1},i=1,2,...,n,yi'和yi分别表示y'以及y的第i位;
3.6)利用adam优化器(adam优化器超参数β1,β2分别设置为0.5,0.999)更新权重参数,表示如下:
3.7)迭代次数i=i+1并转至3.2)。
4)生成对抗网络权重更新。
4.3)随机批量选取训练集64对64*64低分辨率图像Il以及对应哈希码y;
4.5)计算对抗损失,表示如下:
其中,z表示随机高斯噪声,G0表示第一阶段生成器,D0表示第一阶段鉴别器,D0(Il,y)表示第一阶段鉴别器D0以低分辨率图像Il以及哈希码y作为输入的输出,G0(z,y)表示第一阶段生成器G0以噪声z以及哈希码y作为输入所输出的低分辨率重构图像D0(G0(z,y),y)表示第一阶段鉴别器D0以重构图像以及哈希码y作为输入的输出,表示低分辨率图像Il以及哈希码y作为变量的联合分布期望,Ez,y表示噪声z以及哈希码y作为变量的联合分布期望;
4.6)利用adam优化器更新权重参数,表示如下:
4.7)迭代次数j=j+1并转至4.2);
4.9)随机批量选取训练集64对256*256高分辨率图像I以及哈希码y;
4.13)计算对抗损失其中,G1表示第二阶段生成器,D1表示第二阶段鉴别器,D1(I,y)表示第二阶段鉴别器D1以高分辨率图像I以及哈希码y作为输入的输出,表示第二阶段生成器G1以低分辨率重构图像以及哈希码y作为输入所输出的高分辨率重构图像 表示第二阶段鉴别器D1以重构图像以及哈希码y作为输入的输出,EI,y表示高分辨率图像I以及哈希码y作为变量的联合分布期望,表示低分辨率重构图以及哈希码y作为变量的联合分布期望;
4.14)计算重构攻击网络整体损失L=L0+L1+λ·Lsem;其中,λ表示语义损失权重;
4.15)利用adam优化器更新权重参数,表示如下:
4.16)迭代次数k=k+1并转至4.8)。
5)针对生物模板保护进行重构攻击。
5.1)初始化迭代次数m=0,汉明距离d=1,攻击次数t=1000,攻击有效阈值θ=0.4;
5.2)从测试集中选取待攻击用户对应哈希码yt,其中哈希码长度为512比特;
5.3)判断攻击是否结束:若m<k成立,转至5.4),否则转至5.7);
5.6)连续变量y'经过以下量化操作输出yh:
其中,y'k表示连续变量y'的第k位;
5.8)m=m+1并转至5.3);
实验结果:
本实例在针对测试集中192个哈希码进行重构攻击,最终攻击成功率为0.89。选取重构攻击成功中部分原始图像与重构图像对比,参见图7所示,第一行为原始图像,第二行为重构图像。
综上所述,本发明为针对生物模板保护的重构攻击引入了全连接网络以及生成对抗网络的架构,提出了一种既能通过生物识别***验证又能与真实生物图像保持较高的视觉相似性的重构攻击方法。这一攻击方法不仅可以引起相关研究者对于生物哈希算法的安全性重视,同时启发研究者在相关哈希算法设计过程中引入必要的机制防范可能的安全性风险。
上述实施例为本发明较佳实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合。
Claims (6)
1.基于生成对抗网络的针对生物模板保护的重构攻击方法,其特征在于,包括以下步骤:
S1、基础数据处理,包括图像裁剪、特征提取、哈希码生成以及训练集与测试集划分;
S2、构造生物哈希重构攻击网络,包含哈希网络以及生成对抗网络,其中,生成对抗网络包含两个阶段,第一阶段通过给定哈希码生成低分辨率图像,第二阶段结合低分辨率图像以及给定哈希码生成高分辨率图像;
S3、哈希网络权重更新;
S4、生成对抗网络权重更新;
S5、针对生物模板保护进行重构攻击。
2.根据权利要求1所述的基于生成对抗网络的针对生物模板保护的重构攻击方法,其特征在于:在步骤S1中,对于基础数据中图像进行裁剪分别获取低分辨率图像以及高分辨率图像,其中低分辨率为64×64,高分辨率图片为256×256,然后利用特征提取方法resnet-50提取图像特征,其中resnet-50是一种深度学习中常见的用于图像分类的网络结构,接着根据生物哈希提取方法之一的迭代量化哈希iterative quantization生成哈希码,迭代量化哈希是生物模板保护中一种通过反复迭代缩小量化误差的哈希编码方法;最后根据生物图像所属类别进行训练集以及测试集划分,选取部分类别图像包括低分辨率图像Il、高分辨率图像I以及对应哈希码y作为训练集,剩余部分类别图像包括低分辨率图像高分辨率图像It以及对应哈希码yt作为测试集。
3.根据权利要求1所述的基于生成对抗网络的针对生物模板保护的重构攻击方法,其特征在于:在步骤S2中,构造生物哈希重构攻击网络,包括以下步骤:
S2.1、构造一个多层的全连接网络来拟合高分辨率图像到哈希码的映射关系,此网络将高分辨率图像转换成连续变量y'用于逼近哈希码y,称这一网络为哈希网络,该哈希网络主要用于解决哈希码不可导的问题,从而进一步优化重构图像对应哈希码与输入哈希码之间的汉明距离;高分辨率图像所提取的哈希码经过不同的隐藏层后,再经过一个激活函数层sigmoid,并输出最终的近似连续变量y';其中,哈希网络包含1个隐藏层和1个输出层,隐藏层包含一个全连接层FC和一个激活函数层sigmoid,输出层包含一个全连接层FC和一个激活函数层sigmoid;
S2.2、构造一个生成对抗网络用于拟合哈希码到图像的映射关系,从而满足图像空间的视觉相似性,同时将哈希网络融合到生成对抗网络中形成重构攻击模型,哈希网络用于指导生成对抗网络在哈希空间的语义表达,从而满足哈希空间的语义不变形;生成对抗网络包含第一阶段生成器G0、第二阶段生成器G1和第一阶段鉴别器D0、第二阶段鉴别器D1,重构攻击模型的第一阶段首先通过给定哈希码y生成低分辨率图像Il,然后第二阶段结合低分辨率图像Il以及给定哈希码y生成高分辨率图像I;假设表示卷积层-归一化层-Relu层结构,表示卷积层-归一化层-leakyRelu层结构,其中n表示卷积核层数,s表示步长;在第一阶段生成器G0中,哈希码首先和高斯噪声z合并,然后依次通过一个包含4个的上采样块和一个3×3卷积层,最后经过一个激活函数层Tanh输出低分辨率重构图像在第一阶段鉴别器D0中,重构图像经过一个包含4个的下采样块输出一个张量,此时哈希码y依次经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并依次经过一个和一个4×4卷积层输出判别得分;在第二阶段生成器G1中,重构图像依次经过一个和一个包含2个的下采样块输出一个张量,此时哈希码y依次经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并依次经过一个两个残差块以及一个包含4个层的上采样块后,再依次经过一个3×3卷积层和一个激活函数层Tanh输出高分辨率重构图像在第二阶段鉴别器D1中,重构图像依次经过一个包含6个的下采样块和2个并输出一个张量,此时哈希码y依次经过一个全连接层和一个leaky-Relu层输出一个张量,以上两个张量合并形成一个新的张量,并依次经过一个和一个4×4卷积层输出判别得分。
4.根据权利要求1所述的基于生成对抗网络的针对生物模板保护的重构攻击方法,其特征在于:在步骤S3中,哈希网络权重更新,包括以下步骤:
S3.1、初始化哈希网络权重参数Whash,迭代次数i=0;
S3.3、随机选取批量训练集中高分辨率图像I以及对应哈希码y;
S3.4、输入哈希码y获取连续变量y';
S3.5、计算连续变量y'与y之间的距离,距离利用交叉熵损失衡量,表述如下:
其中,y′i∈(0,1),yi∈{0,1},i=1,2,...,n,y′i和yi分别表示y'以及y的第i位;
S3.6、利用adam优化器更新权重参数,表示如下:
S3.7、迭代次数i=i+1并转至S3.2。
5.根据权利要求1所述的基于生成对抗网络的针对生物模板保护的重构攻击方法,其特征在于:在步骤S4中,生成对抗网络权重更新,包括以下步骤:
S4.3、随机选取批量训练集中低分辨率图像Il以及对应哈希码y;
S4.5、计算对抗损失,表示如下:
其中,z表示随机高斯噪声,G0表示第一阶段生成器,D0表示第一阶段鉴别器,D0(Il,y)表示第一阶段鉴别器D0以低分辨率图像Il以及哈希码y作为输入的输出,G0(z,y)表示第一阶段生成器G0以噪声z以及哈希码y作为输入所输出的低分辨率重构图像D0(G0(z,y),y)表示第一阶段鉴别器D0以重构图像以及哈希码y作为输入的输出,表示低分辨率图像Il以及哈希码y作为变量的联合分布期望,Ez,y表示噪声z以及哈希码y作为变量的联合分布期望;
S4.6、利用adam优化器更新权重参数,表示如下:
S4.7、迭代次数j=j+1并转至S4.2;
S4.9、随机选取批量训练集中高分辨率图像I以及对应哈希码y;
S4.12、计算哈希空间语义损失,表示如下:
其中,H‘表示哈希网络;
S4.13、计算对抗损失,表示如下:
其中,G1表示第二阶段生成器,D1表示第二阶段鉴别器,D1(I,y)表示第二阶段鉴别器D1以高分辨率图像I以及哈希码y作为输入的输出,表示第二阶段生成器G1以低分辨率重构图像以及哈希码y作为输入所输出的高分辨率重构图像 表示第二阶段鉴别器D1以重构图像以及哈希码y作为输入的输出,EI,y表示高分辨率图像I以及哈希码y作为变量的联合分布期望,表示低分辨率重构图以及哈希码y作为变量的联合分布期望;
S4.14、计算重构攻击网络整体损失,表示如下:
L=L0+L1+λ·Lsem
其中,λ表示语义损失权重;
S4.15、利用adam优化器更新权重参数,表示如下:
S4.16、迭代次数k=k+1并转至S4.8。
6.根据权利要求1所述的基于生成对抗网络的针对生物模板保护的重构攻击方法,其特征在于:在步骤S5中,针对生物模板保护进行重构攻击,包括以下步骤:
S5.1、初始化迭代次数m=0,汉明距离d=1,攻击次数t,攻击有效阈值θ;
S5.2、选取测试集中哈希码yt;
S5.3、判断攻击是否结束:若m<t成立,转至S5.4,否则转至S5.7;
S5.6、连续变量y'经过以下量化操作输出yh:
其中,y'k表示连续变量y'的第k位;
S5.8、m=m+1并转至S5.3;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010377787.9A CN111738058B (zh) | 2020-05-07 | 2020-05-07 | 基于生成对抗网络的针对生物模板保护的重构攻击方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010377787.9A CN111738058B (zh) | 2020-05-07 | 2020-05-07 | 基于生成对抗网络的针对生物模板保护的重构攻击方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111738058A true CN111738058A (zh) | 2020-10-02 |
CN111738058B CN111738058B (zh) | 2023-04-25 |
Family
ID=72648179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010377787.9A Active CN111738058B (zh) | 2020-05-07 | 2020-05-07 | 基于生成对抗网络的针对生物模板保护的重构攻击方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111738058B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465092A (zh) * | 2020-10-29 | 2021-03-09 | 深圳大学 | 一种二维码样本的生成方法、装置、服务器和存储介质 |
CN113034517A (zh) * | 2021-03-31 | 2021-06-25 | 华南理工大学 | 基于生成对抗模型的全自动抠图方法及装置、介质和设备 |
CN113642427A (zh) * | 2021-07-29 | 2021-11-12 | 中国人民解放军战略支援部队信息工程大学 | 一种针对人工智能伪造的图像保护方法 |
CN115878823A (zh) * | 2023-03-03 | 2023-03-31 | 中南大学 | 基于图卷积网络的深度哈希方法及交通数据检索方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107294943A (zh) * | 2016-04-13 | 2017-10-24 | 天津工业大学 | 一种具有安全威胁监测能力的生物特征模板保护方法 |
CN108259932A (zh) * | 2018-03-15 | 2018-07-06 | 华南理工大学 | 基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法 |
CN109241313A (zh) * | 2018-08-14 | 2019-01-18 | 大连大学 | 一种基于高阶深度哈希学习的图像检索方法 |
CN109800768A (zh) * | 2018-12-15 | 2019-05-24 | 中国人民解放军陆军工程大学 | 半监督gan的散列特征表示学习方法 |
CN109918528A (zh) * | 2019-01-14 | 2019-06-21 | 北京工商大学 | 一种基于语义保护的紧凑的哈希码学习方法 |
CN110046579A (zh) * | 2019-04-18 | 2019-07-23 | 重庆大学 | 一种深度哈希的行人再识别方法 |
US20190251612A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Generating user-customized items using a visually-aware image generation network |
CN110598022A (zh) * | 2019-08-05 | 2019-12-20 | 华中科技大学 | 一种基于鲁棒深度哈希网络的图像检索***与方法 |
CN110660128A (zh) * | 2019-09-23 | 2020-01-07 | 云南电网有限责任公司电力科学研究院 | 一种基于生成对抗网络的三维语义场景重建方法 |
CN110929080A (zh) * | 2019-11-26 | 2020-03-27 | 西安电子科技大学 | 基于注意力和生成对抗网络的光学遥感图像检索方法 |
-
2020
- 2020-05-07 CN CN202010377787.9A patent/CN111738058B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107294943A (zh) * | 2016-04-13 | 2017-10-24 | 天津工业大学 | 一种具有安全威胁监测能力的生物特征模板保护方法 |
US20190251612A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Generating user-customized items using a visually-aware image generation network |
CN108259932A (zh) * | 2018-03-15 | 2018-07-06 | 华南理工大学 | 基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法 |
CN109241313A (zh) * | 2018-08-14 | 2019-01-18 | 大连大学 | 一种基于高阶深度哈希学习的图像检索方法 |
CN109800768A (zh) * | 2018-12-15 | 2019-05-24 | 中国人民解放军陆军工程大学 | 半监督gan的散列特征表示学习方法 |
CN109918528A (zh) * | 2019-01-14 | 2019-06-21 | 北京工商大学 | 一种基于语义保护的紧凑的哈希码学习方法 |
CN110046579A (zh) * | 2019-04-18 | 2019-07-23 | 重庆大学 | 一种深度哈希的行人再识别方法 |
CN110598022A (zh) * | 2019-08-05 | 2019-12-20 | 华中科技大学 | 一种基于鲁棒深度哈希网络的图像检索***与方法 |
CN110660128A (zh) * | 2019-09-23 | 2020-01-07 | 云南电网有限责任公司电力科学研究院 | 一种基于生成对抗网络的三维语义场景重建方法 |
CN110929080A (zh) * | 2019-11-26 | 2020-03-27 | 西安电子科技大学 | 基于注意力和生成对抗网络的光学遥感图像检索方法 |
Non-Patent Citations (4)
Title |
---|
YANZHI CHEN 等: "Deep Secure Quantization: On secure biometric hashing against similarity-based attacks" * |
YONGWEI WANG 等: "RevHashNet: Perceptually de-hashing real-valued image hashes for similarity retrieval" * |
彭晏飞 等: "基于哈希算法及生成对抗网络的图像检索" * |
毋立芳 等: "生物特征模板保护综述" * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465092A (zh) * | 2020-10-29 | 2021-03-09 | 深圳大学 | 一种二维码样本的生成方法、装置、服务器和存储介质 |
CN112465092B (zh) * | 2020-10-29 | 2023-03-03 | 深圳大学 | 一种二维码样本的生成方法、装置、服务器和存储介质 |
CN113034517A (zh) * | 2021-03-31 | 2021-06-25 | 华南理工大学 | 基于生成对抗模型的全自动抠图方法及装置、介质和设备 |
CN113034517B (zh) * | 2021-03-31 | 2023-02-14 | 华南理工大学 | 基于生成对抗模型的全自动抠图方法及装置、介质和设备 |
CN113642427A (zh) * | 2021-07-29 | 2021-11-12 | 中国人民解放军战略支援部队信息工程大学 | 一种针对人工智能伪造的图像保护方法 |
CN115878823A (zh) * | 2023-03-03 | 2023-03-31 | 中南大学 | 基于图卷积网络的深度哈希方法及交通数据检索方法 |
CN115878823B (zh) * | 2023-03-03 | 2023-04-28 | 中南大学 | 基于图卷积网络的深度哈希方法及交通数据检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111738058B (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111738058B (zh) | 基于生成对抗网络的针对生物模板保护的重构攻击方法 | |
Zhang et al. | Deep cascade model-based face recognition: When deep-layered learning meets small data | |
CN101443786B (zh) | 在多维坐标系中处理生物测定数据的方法及*** | |
EP3818693A1 (en) | Facial image recognition using pseudo-images | |
CN108664911A (zh) | 一种基于图像稀疏表示的鲁棒人脸识别方法 | |
Nguyen et al. | Complex-valued iris recognition network | |
Baek et al. | Generative adversarial ensemble learning for face forensics | |
Gou et al. | A new discriminative collaborative neighbor representation method for robust face recognition | |
CN111368734B (zh) | 一种基于正常表情辅助的微表情识别方法 | |
CN112949707A (zh) | 一种基于多尺度语义信息监督的跨模态人脸图像生成方法 | |
Li et al. | Transformer based defense GAN against palm-vein adversarial attacks | |
Salem et al. | A vertex chain code approach for image recognition | |
KR102538209B1 (ko) | 얼굴 인식을 위한 심층 소프트맥스 협업 표현 분류 장치 및 그 방법 | |
Chen et al. | A finger vein recognition algorithm based on deep learning | |
Soleymanpour et al. | Offline handwritten signature identification and verification using contourlet transform and Support Vector Machine | |
Nozaripour et al. | Robust vein recognition against rotation using kernel sparse representation | |
CN113128364A (zh) | 一种基于深度神经网络编码的指纹生物密钥生成方法 | |
Sudhakar et al. | Deep learning for multi-instance biometric privacy | |
Mohamed et al. | Artificial face recognition using Wavelet adaptive LBP with directional statistical features | |
CN113673325B (zh) | 一种多特征人物情绪识别方法 | |
CN115862097A (zh) | 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置 | |
Nozaripour et al. | Image classification via convolutional sparse coding | |
CN114495163A (zh) | 基于类别激活映射的行人重识别生成学习方法 | |
Kumar et al. | Genetic algorithm optimized structured dictionary for discriminative block sparse representation | |
Wu et al. | Learning domain-invariant representation for generalizing face forgery detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |