CN114036553A - 一种结合k匿名的行人身份隐私保护方法 - Google Patents

一种结合k匿名的行人身份隐私保护方法 Download PDF

Info

Publication number
CN114036553A
CN114036553A CN202111261508.3A CN202111261508A CN114036553A CN 114036553 A CN114036553 A CN 114036553A CN 202111261508 A CN202111261508 A CN 202111261508A CN 114036553 A CN114036553 A CN 114036553A
Authority
CN
China
Prior art keywords
pedestrian
image
identity
data set
anonymous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111261508.3A
Other languages
English (en)
Inventor
匡振中
滕龙斌
陈超
俞俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111261508.3A priority Critical patent/CN114036553A/zh
Publication of CN114036553A publication Critical patent/CN114036553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioethics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种结合k匿名的行人身份隐私保护方法。本发明通过交叉身份训练策略，生成更高质量的匿名图像；最后通过设计的k匿名隐私保护方法，保留行人图像数据隐私的同时也保留了数据的可用性；具体步骤：步骤1：代理数据集采集与图像预处理；步骤2：建立k匿名机制；步骤3：构建匿名行人生成对抗网络；步骤4：匿名行人生成目标函数；步骤5：采用公开数据集进行训练及测试，输出最终结果。本发明既保留了行人身份隐私又保留了属性。在匿名行人生成方面，一方面本方法结合了将属性以及目标背景融合到行人生成过程中，另一方面本方法提出交叉身份训练策略，提高了生成图像的质量。

Description

一种结合k匿名的行人身份隐私保护方法
技术领域
本发明是关于图像隐私保护领域，提出了一种结合k匿名的行人身份隐私保护方法。
背景技术
随着摄像头被越来越多的部署在公共场所，以及深度神经网络不断发展，使人脸以及行人识别算法允许比以往更可靠地识别隐私相关信息，避免隐私泄露风险变得的越来越具有挑战性。
目前的隐私保护方法大多集中在人脸匿名性方面，而忽略了行人隐私的特殊性，因此迫切需要提出一种针对行人的隐私保护方法。为解决隐私泄露风险，提供可靠的身份混淆方法是必要的。理想情况下，这种方法不仅应该有效地隐藏身份信息，但也保留数据可用性。在本方法中，行人隐私保护的目标是避免泄露数据中的个人身份，并保护数据可用性，包括属性、行为等。与人脸不同的是，生物性和非生物性都可能导致行人信息(即身份)的泄露，因此我们需要对行人整体进行匿名。
传统的视觉加密算法直接应用于图像上虽然保护了身份隐私，但是也完全消除了感兴趣区域，导致加密区域的数据可用性大大降低。随着神经网络的不断发展，模糊、马赛克等图像模糊隐私保护方法也能被神经网络恢复隐藏的信息导致隐私泄露。基于深度学习的隐私保护方法，如CIAGAN一个可用于图像和视频的基于条件生成对抗网络的匿名化方法，能够消除脸和身体的特征，同时生成可用于检测或跟踪任务的图像或视频。但是在行人数据集上CIAGAN生成的行人图像真实性较低。可用于身份交换的行人重识别模型DG-Net与行人姿态转换的PATN能够生成高质量行人图像，但是两者都不适用于行人匿名。其中DG-Net无法将行人服装纹理匿名，PATN无法保留背景。此外K-Same-Net结合k匿名方法以及生成式神经网络生成匿名人脸。其中K-Same-Net通过将至少k个人的身份映射到同一个身份上实现了k匿名。
发明内容
本发明的目的是针对现有技术的不足，提供一种结合k匿名的行人身份隐私保护方法。本发明首先提出了一种全新的行人匿名模型PPAGAN用于行人匿名；其次通过交叉身份训练策略，生成更高质量的匿名图像；最后通过设计的k匿名隐私保护方法，保留行人图像数据隐私的同时也保留了数据的可用性；具体实现步骤如下：
步骤1：代理数据集采集与图像预处理；
步骤2：建立k匿名机制；
步骤3：构建匿名行人生成对抗网络；
步骤4：匿名行人生成目标函数；
步骤5：采用公开数据集进行训练及测试，输出最终结果。
进一步的，所述的步骤1代理数据集采集与图像预处理，具体步骤如下：
1-1.代理数据集采集，采集隐私不敏感行人图像作为代理数据集。
1-2.图像标记，对行人图像的身份以及属性进行标记，生成图像标签。
1-3.特征提取，采用预训练的行人重识别模型提取行人图像特征。
1-4.使用行人姿态解析器解析图像，得到行人姿态。
1-5.使用实例分割模型得到行人区域掩码图像。
进一步的，所述步骤2建立k匿名机制，具体步骤如下：
2-1.计算行人身份特征。
用行人的平均特征作为行人身份特征，具体采用如下公式：
Figure BDA0003325907130000021
其中，Fi是身份为i的行人身份特征，Ni是身份为i的行人图像数，
Figure BDA0003325907130000022
是身份为i的行人的第j张图像的图像特征。
所述的平均特征是指一个行人对应的多张行人图像求解的多个图像特征的平均值；
2-2.身份聚类分组。
根据属性对行人进行分组，再在各属性分组下进行特征分组。
特征分组用k-means变体算法对行人身份特征进行聚类，并且使各个聚类的组内行人数量相同，得到聚类中心。对于同一组内的k个行人都用同一个代理行人，以实现k匿名理论。
2-3.行人代理身份映射。
首先将待匿名数据集进行身份聚类分组。其次将待匿名数据集聚类中心映射到代理数据集，并以最小映射距离时的映射关系作为目标，得到行人代理身份映射。映射距离具体采用如下公式：
Figure BDA0003325907130000031
其中DM表示映射距离，n表示聚类数量，
Figure BDA0003325907130000032
表示待匿名数据集第i个聚类中心的行人身份特征，fi表示第i个聚类中心映射的代理行人的身份，
Figure BDA0003325907130000033
表示身份为fi的代理行人的行人身份特征。
进一步的，所述步骤3构建匿名行人生成对抗网络(PPAGAN，Pose-preservingPerson Anonymous Generative Adversarial Network)，具体步骤如下：
3-1.构建生成器。
生成器的目标是学习从源图像IS到生成图像IG的映射，并且使生成图姿势KG与目标图姿势KT的特征相同。使用姿势-注意转移块(PATB)作为PPAGAN中的生成器。且多个姿势-注意转移块是级联的；从初始图像特征和姿势特征开始，多个PATB逐步更新这两个特征。PATB最终的输出通过多个反卷积层和一个卷积层对最终图像特征进行解码，以获得生成图像IG，同时丢弃最终姿势特征。在PPAGAN中使用9个PATB，通过卷积层与全连接层提取图像特征与姿势特征输入级联的PATB生成器。
所述的初始图像特征即为源图像IS的图像特征；姿势特征包括生成图姿势KG与目标图姿势KT的特征。
3-2.构建鉴别器。
鉴别器包括图像鉴别器DI和姿势鉴别器DK，其中DI鉴别输入图像的真实性以及输入图像和输入属性之间的相似性，DK判别输入图像与输入姿势之间的相似性。DI的输入包括了(目标图像，属性)二元组以及(生成图像，属性)二元组，并判断前者为真后者假。DK的输入包括了(目标图像，姿势)二元组以及(生成图像，姿势)二元组，并判断前者为真后者假。DI中图像特征和属性特征通过卷积层与全连接层融合，最后的图像真实度SI是通过将图像鉴别器DI中的融合图像特征输入到3个残差块中获得的。将姿势图像与行人图像叠加的特征输入1个下采样卷积层和3个剩余残差块，得到姿势真实度SK。最后将图像真实度SI和姿势真实度SK组合：S＝SISK。
进一步的，所述步骤4匿名行人生成目标函数，具体步骤如下：
4-1.联合各个行人生成目标函数，具体公式如下所示：
L＝λ1LGAN+λ2LI+λ3LF
其中，λ1是GAN的目标函数的权重，λ2重构损失目标函数的权重，λ3是身份交叉特征损失函数的权重。其中λ1＝10，λ2＝10，λ3＝1。
4-2.GAN的目标函数。
GAN的核心思想在于生成器和鉴别器之间的对抗性博弈。生成器的目标是生成鉴别器无法辨别的真实图像。鉴别器的目标是判别图像是否由生成器生成，这个过程可以用如下方程表示：
Figure BDA0003325907130000041
其中，IS、IT和IG分别表示源图像、目标图像、生成图像，BT表示目标背景，A表示属性，KS和KT分别表示源姿势和目标姿势。
4-3.重构损失目标函数。
PPAGAN的重构目标损失采用行人区域的像素级损失，允许网络更多地关注目标人物的生成以及与背景的融合，具体如下公式：
LI＝||MT⊙(IT-IG)||1 (4)
其中，⊙表示元素级乘，MT为二值行人区域掩码。
4-4.身份交叉特征损失函数。
身份交叉训练阶段，采用特征间损失约束身份交叉行人生成。具体的通过预训练的行人重识别模型提取生成图像中行人的图像特征，根据源图像中行人与目标图像中行人身份是否一致，选择不同的身份交叉特征损失函数，具体公式如下：
Figure BDA0003325907130000051
其中，FS是源图像中行人的图像特征，FT是目标图像中行人的图像特征，FG是生成图像中行人的图像特征。
进一步的，所述步骤5训练模型并测试数据，具体步骤如下：
5-1.准备数据集，例如采用公开行人数据集(Market1501)按照步骤1所述进行预处理获得图像的标签、特征、姿势以及行人区域掩码。并将其训练集作为代理数据集，测试集作为待匿名数据集。
5-2.将数据集分为训练集和测试集，并且两者不存在身份重复，并在训练集上进行训练。
5-3.用步骤3与步骤4训练的行人匿名网络，结合行人代理身份映射生成匿名行人。
5-4.为了验证所提出方法的有效性，将其与目前优秀方法进行比较，计算匿名率(包括行人重识别率)以及数据可用率(属性保持率、关键点保持率和图像质量)。
本发明具有的有益的效果是：
本方法在行人匿名方面，对行人属性进行分组，并在各个属性分组内依据身份特征进行聚类生成行人代理身份映射，最终实现了k匿名机制，既保留了行人身份隐私又保留了属性。在匿名行人生成方面，一方面本方法结合了将属性以及目标背景融合到行人生成过程中，另一方面本方法提出交叉身份训练策略，提高了生成图像的质量。
附图说明
图1是k匿名机制图；
图2是匿名流程图；
表1是本方法各个模块的消融实验；
表2是本方法与其他方法对比实验结果。
具体实施方式
下面结合附图对本发明作进一步说明。
基于生成对抗网络的行人隐私保护技术，k匿名机制如图1所示，图1中输入数据集中的k个行人映射到一个代理行人上，这里k取2。一个椭圆形表示一个映射关系，虚线框中的行人为代理行人。图2匿名流程图，整体框架流程图如图2所示，其中IT表示待匿名目标行人，IP表示代理行人，IA表示匿名行人，BT表示目标背景，KP表示代理行人姿势，KT表示目标行人姿势，A表示属性，FK表示姿势特征，FI表示图像特征，FF表示融合图像特征，DK表示姿势判别器，DI表示图像判别器。本发明具体实现步骤如下：
步骤1：代理数据集采集与图像预处理；
步骤2：建立k匿名机制；
步骤3：构建匿名行人生成对抗网络；
步骤4：匿名行人生成目标函数；
步骤5：采用公开数据集进行训练及测试，输出最终结果。
步骤1代理数据集采集与图像预处理，具体步骤如下：
1-1.代理数据集采集，采集隐私不敏感行人图像作为代理数据集，可以通过公开的行人数据集(例如Market1501)或者招募志愿者采集。
1-2.图像标记，对行人图像的身份以及属性进行标记，生成图像标签。例如行人身份可以用1到n的n个整数标记，性别属性可以男性0、女性1来标记，上衣可以用短袖0、长袖1来标记。
1-3.特征提取，采用基于ResNet50的行人重识别模型提取行人图像特征。其中特征为ResNet50最后一个全连接层前的输入，维度为2048。
1-4.使用行人姿态解析器(例如OpenPose)解析图像，得到行人姿态。具体包括了18个主要关键点，如鼻子、耳朵、肩部等关键点。
1-5.使用实例分割模型(例如Mask RCNN)得到行人区域掩码图像。行人区域掩码图像为二值化图像，长宽与行人图像一致，1表示行人部分，0表示背景部分。
步骤2建立k匿名机制，具体步骤如下：
2-1.计算行人身份特征。对于所有图像用预训练的行人重识别模型计算特征，再用行人图像的平均特征作为行人的身份特征，具体采用如下公式：
Figure BDA0003325907130000071
其中，Fi为身份为i的行人身份特征，Ni为身份为i的行人图像数，
Figure BDA0003325907130000072
为身份为i的行人的第j张图像的特征。
2-2.身份聚类分组。根据属性对行人进行分组，再在各属性分组下进行特征分组。特征分组算法用在ELKI开源数据挖掘软件中提出的簇大小相同的k-means变体算法实现，该算法保持每个聚类簇大小，并通过簇之间元素交换使整体方差变小，最后收敛到较优聚类分组。
2-3.行人代理身份映射。行人代理身份映射指的是从待匿名数据集聚类中心到代理数据集身份的映射f，映射距离具体采用如下公式：
Figure BDA0003325907130000073
其中DM表示映射距离，n表示聚类数量，
Figure BDA0003325907130000074
表示待匿名数据集第i个聚类中心的行人身份特征，fi表示第i个聚类中心映射的代理行人的身份，
Figure BDA0003325907130000075
表示身份为fi代理行人的行人身份特征。最终代理身份映射f通过求解
Figure BDA0003325907130000081
得到，并且为了满足匿名图像的多样性求解最小映射时满足对于任意的i、j有fi≠fj。当待匿名数据集同个属性分组下聚类簇数量不大于该属性下代理行人的身份数量时，这个问题可以看为带权二分图最大匹配问题，其中权重为聚类中心的行人与代理行人间的行人身份特征的欧几里得距离。并且上述条件可以通过调整k的值满足，因此我们可以采用匈牙利算法求解行人代理身份映射f。
步骤3构建匿名行人生成对抗网络，具体步骤如下：
3-1.生成器生成行人过程。输入到姿势-注意转移块(PATB)的特征包括融合图像特征和姿势特征，其中融合图像特征通过属性特征和图像特征融合获得。为了获得图像特征，我们在颜色通道上将源行人和目标背景叠加输入卷积层。为了获得属性特征，我们将属性标签输入7个全连接层。融合图像特征是通过将由属性特征和图像特征叠加的特征输入卷积层获得的。我们将源姿势和目标姿势的热力图在深度通道上堆叠，并其输入卷积层以获得姿势特征。上述三个卷积层结构相同，均为三层下采样卷积层，包括批归一化层和ReLU激活函数。
获得融合图像特征和姿势特征后，我们将其输入9个级联的PATB中的首个PATB，并依次取上一个PATB的输出作为下一个PATB的输入，最后将最终PATB的图像特征通过2个反卷积层以及1个卷积层进行解码获得解码图像Io。生成图像IG通过MT融合Io以及目标背景BT，公式如下所示：
Figure BDA0003325907130000082
其中，MT为二值行人区域掩码1表示行人，0表示背景，⊙为元素级乘，
Figure BDA0003325907130000083
为元素级加。
3-2.构建鉴别器。本方法包括了图像鉴别器以及姿势鉴别器，结构都是参考残差网络。具体的，包括了1个下采样层和3个残差块，最后通过sigmoid函数输出。下采样层由3个批归一化层、3个ReLU层和3个卷积层构成。残差块由2个批归一化层、1个ReLU层、2个卷积层和1个DropOut层构成，并采用ResNet一样的残差连接结构。
步骤4匿名行人生成目标函数，具体步骤如下：
4-1.联合各个行人生成目标函数，具体公式如下所示：
L＝λ1LGAN+λ2LI+λ3LF
其中，λ1是GAN的目标函数的权重，λ2重构损失目标函数的权重，λ3是身份交叉特征损失函数的权重。训练中我们取λ1＝10，λ2＝10，λ3＝1。
步骤5训练模型并测试数据，具体步骤如下：
5-1.选择合适的数据集，然后用步骤1所述将数据集进行预处理。比如可以采用包括了1501个行人身份共32668张图像的Market-1501数据集。其中训练集作为代理数据集，测试集作为待匿名数据集。
5-2.将数据集中训练集采用步骤4的目标函数训练步骤3的匿名行人生成对抗网络。训练时我们采用Adam优化器，并将学习率设置为0.0002，β1系数设置为0.5，β2系数设置为0.999，批大小为32。网络共训练700轮，前300轮不包括身份交叉，后400轮以0.3的概率进行身份交叉。
5-3.为了验证所提出方法的有效性，将其与模糊、像素化、面部去除等传统方法进行比较，另外还与深度学习方法如条件身份匿名化生成对抗网络CIAGAN以及跨身份行人生成的DG-Net进行比较。为了验证融合背景以及属性的有效性，我们进行了消融实验。我们采用了计算匿名率(包括行人重识别率)以及数据可用率(属性保持率、关键点保持率和图像质量)去评估我们的方法。其中匿名率采用预训练的行人重识别率进行评估，重识别率越高匿名率越低；属性保持率用预训练的属性预测器进行评估；关键点保持率采用预训练的姿势识别模型OpenPose识别关键点，并用PCKh进行衡量。图像质量用匿名数据集与目标数据集间的结构相似性(SSIM)进行衡量。
实验结果
1.表1是本方法在Market1501数据集上各模块的消融实验。
2.表2是本方法在Market1501数据集上与模糊、像素化、扣去脸部、DG-Net以及CIAGAN方法在匿名率、属性保持率、关键点保持率以及图像质量指标上的对比实验结果；
表1本方法在Market1501数据集上各个模块的消融实验结果，A表示基线，B表示融合背景，C表示融合属性，D表示交叉身份训练，k＝10。
Figure BDA0003325907130000101
表2本方法在Market1501数据集上与其他方法对比实验结果，k＝10
Figure BDA0003325907130000102

Claims (6)

1.一种结合k匿名的行人身份隐私保护方法，其特征在于首先提出了一种全新的行人匿名模型PPAGAN用于行人匿名；其次通过交叉身份训练策略，生成更高质量的匿名图像；最后通过设计的k匿名隐私保护方法，保留行人图像数据隐私的同时也保留了数据的可用性；具体实现步骤如下：
步骤1：代理数据集采集与图像预处理；
步骤2：建立k匿名机制；
步骤3：构建匿名行人生成对抗网络；
步骤4：匿名行人生成目标函数；
步骤5：采用公开数据集进行训练及测试，输出最终结果。
2.根据权利要求1所述的一种结合k匿名的行人身份隐私保护方法，其特征在于步骤1代理数据集采集与图像预处理，具体步骤如下：
1-1.代理数据集采集，采集隐私不敏感行人图像作为代理数据集；
1-2.图像标记，对行人图像的身份以及属性进行标记，生成图像标签；
1-3.特征提取，采用预训练的行人重识别模型提取行人图像特征；
1-4.使用行人姿态解析器解析图像，得到行人姿态；
1-5.使用实例分割模型得到行人区域掩码图像。
3.根据权利要求1或2所述的一种结合k匿名的行人身份隐私保护方法，其特征在于步骤2建立k匿名机制，具体步骤如下：
2-1.计算行人身份特征；
用行人的平均特征作为行人身份特征，具体采用如下公式：
Figure FDA0003325907120000011
其中，Fi是身份为i的行人身份特征，Ni是身份为i的行人图像数，
Figure FDA0003325907120000012
是身份为i的行人的第j张图像的图像特征；
所述的平均特征是指一个行人对应的多张行人图像求解的多个图像特征的平均值；
2-2.身份聚类分组；
根据属性对行人进行分组，再在各属性分组下进行特征分组；
特征分组用k-means变体算法对行人身份特征进行聚类，并且使各个聚类的组内行人数量相同，得到聚类中心；对于同一组内的k个行人都用同一个代理行人，以实现k匿名理论；
2-3.行人代理身份映射；
首先将待匿名数据集进行身份聚类分组；其次将待匿名数据集聚类中心映射到代理数据集，并以最小映射距离时的映射关系作为目标，得到行人代理身份映射；映射距离具体采用如下公式：
Figure FDA0003325907120000021
其中DM表示映射距离，n表示聚类数量，
Figure FDA0003325907120000022
表示待匿名数据集第i个聚类中心的行人身份特征，fi表示第i个聚类中心映射的代理行人的身份，
Figure FDA0003325907120000023
表示身份为fi的代理行人的行人身份特征。
4.根据权利要求3所述的一种结合k匿名的行人身份隐私保护方法，其特征在于步骤3构建匿名行人生成对抗网络，具体步骤如下：
3-1.构建生成器；
生成器的目标是学习从源图像IS到生成图像IG的映射，并且使生成图姿势KG与目标图姿势KT的特征相同；使用姿势-注意转移块(PATB)作为PPAGAN中的生成器；且多个姿势-注意转移块是级联的；从初始图像特征和姿势特征开始，多个PATB逐步更新这两个特征；PATB最终的输出通过多个反卷积层和一个卷积层对最终图像特征进行解码，以获得生成图像IG，同时丢弃最终姿势特征；在PPAGAN中使用9个PATB，通过卷积层与全连接层提取图像特征与姿势特征输入级联的PATB生成器；
所述的初始图像特征即为源图像IS的图像特征；姿势特征包括生成图姿势KG与目标图姿势KT的特征；
3-2.构建鉴别器；
鉴别器包括图像鉴别器DI和姿势鉴别器DK，其中DI鉴别输入图像的真实性以及输入图像和输入属性之间的相似性，DK判别输入图像与输入姿势之间的相似性；DI的输入包括了(目标图像，属性)二元组以及(生成图像，属性)二元组，并判断前者为真后者假；DK的输入包括了(目标图像，姿势)二元组以及(生成图像，姿势)二元组，并判断前者为真后者假；DI中图像特征和属性特征通过卷积层与全连接层融合，最后的图像真实度SI是通过将图像鉴别器DI中的融合图像特征输入到3个残差块中获得的；将姿势图像与行人图像叠加的特征输入1个下采样卷积层和3个剩余残差块，得到姿势真实度SK；最后将图像真实度SI和姿势真实度SK组合：S＝SISK。
5.根据权利要求1所述的一种结合k匿名的行人身份隐私保护方法，其特征在于步骤4匿名行人生成目标函数，具体步骤如下：
4-1.联合各个行人生成目标函数，具体公式如下所示：
L＝λ1LGAN+λ2LI+λ3LF
其中，λ1是GAN的目标函数的权重，λ2重构损失目标函数的权重，λ3是身份交叉特征损失函数的权重；其中λ1＝10，λ2＝10，λ3＝1；
4-2.GAN的目标函数；
GAN的核心思想在于生成器和鉴别器之间的对抗性博弈；生成器的目标是生成鉴别器无法辨别的真实图像；鉴别器的目标是判别图像是否由生成器生成，这个过程可以用如下方程表示：
Figure FDA0003325907120000031
IG＝G(IS，KS，A，BT)
其中，IS、IT和IG分别表示源图像、目标图像、生成图像，BT表示目标背景，A表示属性，KS和KT分别表示源姿势和目标姿势；
4-3.重构损失目标函数；
PPAGAN的重构目标损失采用行人区域的像素级损失，允许网络更多地关注目标人物的生成以及与背景的融合，具体如下公式：
LI＝||MT⊙(IT-IG)||1 (4)
其中，⊙表示元素级乘，MT为二值行人区域掩码；
4-4.身份交叉特征损失函数；
身份交叉训练阶段，采用特征间损失约束身份交叉行人生成；具体的通过预训练的行人重识别模型提取生成图像中行人的图像特征，根据源图像中行人与目标图像中行人身份是否一致，选择不同的身份交叉特征损失函数，具体公式如下：
Figure FDA0003325907120000041
其中，FS是源图像中行人的图像特征，FT是目标图像中行人的图像特征，FG是生成图像中行人的图像特征。
6.根据权利要求5所述的一种结合k匿名的行人身份隐私保护方法，其特征在于步骤5训练模型并测试数据，具体步骤如下：
5-1.准备数据集，采用公开行人数据集Market1501按照步骤1所述进行预处理获得图像的标签、特征、姿势以及行人区域掩码；并将其训练集作为代理数据集，测试集作为待匿名数据集；
5-2.将数据集分为训练集和测试集，并且两者不存在身份重复，并在训练集上进行训练；
5-3.用步骤3与步骤4训练的行人匿名网络，结合行人代理身份映射生成匿名行人；
5-4.为了验证所提出方法的有效性，将其与目前优秀方法进行比较，计算匿名率以及数据可用率。
CN202111261508.3A 2021-10-28 2021-10-28 一种结合k匿名的行人身份隐私保护方法 Pending CN114036553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111261508.3A CN114036553A (zh) 2021-10-28 2021-10-28 一种结合k匿名的行人身份隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111261508.3A CN114036553A (zh) 2021-10-28 2021-10-28 一种结合k匿名的行人身份隐私保护方法

Publications (1)

Publication Number Publication Date
CN114036553A true CN114036553A (zh) 2022-02-11

Family

ID=80135635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111261508.3A Pending CN114036553A (zh) 2021-10-28 2021-10-28 一种结合k匿名的行人身份隐私保护方法

Country Status (1)

Country Link
CN (1) CN114036553A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549883A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法、装置和设备
CN114817991A (zh) * 2022-05-10 2022-07-29 上海计算机软件技术开发中心 一种车联网图像脱敏方法和***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549883A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法、装置和设备
CN114549883B (zh) * 2022-02-24 2023-09-05 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法、装置和设备
CN114817991A (zh) * 2022-05-10 2022-07-29 上海计算机软件技术开发中心 一种车联网图像脱敏方法和***
CN114817991B (zh) * 2022-05-10 2024-02-02 上海计算机软件技术开发中心 一种车联网图像脱敏方法和***

Similar Documents

Publication Publication Date Title
Li et al. Anonymousnet: Natural face de-identification with measurable privacy
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及***
Nataraj et al. Detecting GAN generated fake images using co-occurrence matrices
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
Li et al. Linestofacephoto: Face photo generation from lines with conditional self-attention generative adversarial networks
CN111680672B (zh) 人脸活体检测方法、***、装置、计算机设备和存储介质
Do et al. Deep neural network-based fusion model for emotion recognition using visual data
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
Schwarcz et al. Finding facial forgery artifacts with parts-based detectors
Agarwal et al. Privacy preservation through facial de-identification with simultaneous emotion preservation
Zobaed et al. Deepfakes: Detecting forged and synthetic media content using machine learning
Rahman et al. A qualitative survey on deep learning based deep fake video creation and detection method
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
CN115862120A (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
Li et al. Multi-scale joint feature network for micro-expression recognition
CN115424314A (zh) 一种可识别的人脸匿名化处理方法及***
Wang et al. Text2sketch: Learning face sketch from facial attribute text
Zeng et al. Occlusion‐invariant face recognition using simultaneous segmentation
Zhang et al. X-Net: A binocular summation network for foreground segmentation
CN111737688A (zh) 基于用户画像的攻击防御***
CN113591797B (zh) 一种深度视频行为识别方法
CN113205044B (zh) 一种基于表征对比预测学习的深度伪造视频检测方法
Saif et al. Aggressive action estimation: a comprehensive review on neural network based human segmentation and action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination