CN110363183B - 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 - Google Patents
基于生成式对抗网络的服务机器人视觉图片隐私保护方法 Download PDFInfo
- Publication number
- CN110363183B CN110363183B CN201910695530.5A CN201910695530A CN110363183B CN 110363183 B CN110363183 B CN 110363183B CN 201910695530 A CN201910695530 A CN 201910695530A CN 110363183 B CN110363183 B CN 110363183B
- Authority
- CN
- China
- Prior art keywords
- data
- privacy
- picture
- data set
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 24
- 238000012360 testing method Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 7
- 230000036544 posture Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle‑GAN算法获取特征模型，用于所述图片转换。本发明能从源头上使图片数据本身不涉及隐私内容，且具有训练时间短、隐私图片转化的泛化能力强的特点。
Description
技术领域
本发明涉及隐私保护领域，具体涉及一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法。
背景技术
用于照顾老年人的智能家居***，因其广泛使用摄像头、语音监听设备而存在隐私泄漏的风险，影响人的心理状态甚至会引起心理障碍，这是此类***部署推广的最大障碍之一。目前研究主要面向已经存在安全隐患、带有隐私信息的数据进行研究，并非从源头上使数据本身不涉及隐私内容。
为了从源头解决因机器人视觉设备而引起的用户隐私泄露的问题，可以通过图像转换方法，使源头的视觉图片本身不涉及隐私内容，从而实现源头的视觉图片隐私保护。现有技术中，图片的转换方法虽然采用由生成对抗网络(GAN)衍生的Cycle-GAN进行转换，该方法在图像的风格迁移上有很多优势，能将图片从X域转换到Y域再从Y领域还原到X域，在结构上，Cycle-GAN一个判别器共用两个生成器，两个生成器各带一个判别器，但当应用的场景只需将图片从X域转换到Y域时，就存在冗余的判别器，这会产生损失，导致损失率不容易收敛，训练时间增长，且泛化能力低。
发明内容
本发明的目的在于克服上述缺点而提出了一种训练时间短、隐私图片转化的泛化能力强的基于生成式对抗网络的服务机器人视觉图片隐私保护方法。
本发明的一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，包括：视觉数据的采集端、隐私识别与保护、训练数据生长与特征学习等模块，其中：所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换；
所述改进的Cycle-GAN算法，具体步骤如下：
(1)初始化训练轮次、网络结构参数、学习率等参数，并给定对抗损失总函数模型；初始化当前轮次t＝0；
(2)加载训练数据源数据集合X与目标数据集Y，分别生成三维特征点向量Fx和Fy；
(3)for i＝0 to n；
(4)
(5)将U输入生成器G(x)生成图片
和
(6)对
和
执行池化操作；
(7)将
和
输入判别器DY，计算
的得分；
(8)根据
得分更新权值矩阵与偏置矩阵，形成新的特征模型FW；
(9)t＝t+1；
(10)if t＞N，输出特征模型FW；否则转到(3)。
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述改进的Cycle-GAN算法的步骤(1)中，需给定训练轮次N，神经网络的层数L，网络结构矩阵Q＝[y1，h2，…，hj，…，hL](hj表示第j层的神经元个数)，随机初始化输入层的权值矩阵W1与偏置矩阵b1，并给定学习率α；
所述对抗损失总函数模型的总对抗损失率计算公式为：
LGAN(G，F，DX，DY)＝LGAN(G，DY，X，Y)+λLcvc(G，F)
其中：
式中，DY为Cycle-GAN在X域鉴别生成的Y域图片所带的判别器，x服从先验分布Pdata(x)，y服从非真实数据的分布Pdata(y)，E(*)表示期望；
Lcyc(G，F)＝Ex～Pdata(x)[||F(G(x))-x||1]+Ey～Pdata(y)[||G(F(y))-y||1]
所述学习率根据下列公式动态调整：
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述改进的Cycle-GAN算法的步骤(5)中，生成器G(x)由4个卷积层和9个残差网络组成，卷积层采用ReLU函数为激活，残差层的激活函数为Tanh函数。
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述改进的Cycle-GAN算法的步骤(8)中，采用随机梯度下降法(Stochastic gradient descent，SGD)优化生成器与判别器，并采用Adam算法计算每个参数的自适应学习，学习率的更新公式为：
式中，
为t时刻目标函数的梯度，mt和Vt是梯度的1阶和2阶估计，α为步长值，β1，β2为指数衰减率，ε为保证分母的非0参数。
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述的用于训练数据集的更新的训练数据生长，采用基于NCC的训练数据集生长算法，具体步骤如下：
(1)初始化最大相似性度阈值MR＝0.95；
(2)加载源数据集X＝{X1，X2，...，Xi，...，Xn}、目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}，形成并集U＝X∪Y；
(3)采用NCC算法将通过数据采集获取到的任意图片数据Xpic分割为R1，R2，R3和R4四个模块以建立搜索图区域；
(4)对于每一个Ui∈U，运用NCC算法分别计算Ui与模板块R1，R2，R3和R4间的相似度MR1，MR2，MR3和MR4；
(5)若MR1，MR2，MR3和MR4均小于MR，则将图片数据Xpic归属到Fi所在的类别；否则设置图片数据Xpic的类别为null；
(6)如果图片数据Xpic的类别不为null，则将图片数据Xpic复制到所属类别的源数据集X或者目标数据集Y。
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据输入隐私识别与保护进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换。其中改进的Cycle-GAN算法，是将生成图片
和
输入判别器DY，计算
的得分，即通过剔除冗余判别器，采用一个判别器共享两个生成器，以达到改善损失率与提高训练速度的目的，即因为结构的改进，使得训练时间开销下降的同时输出更加鲁棒的特征模型，使得改进后的算法在将涉及隐私的图片转化为不包含隐私信息的图片时，具有更好的转换成功率，能够输出相似度更高、特征更明显的图片。采用基于NCC的训练数据集生长算法进行训练数据集的更新，当训练数据集被更新后，***的工作站定期重新训练以完善特征模型，而后服务机器人下载新的特征模型用于图片的转换，从而提高***的隐私图片转化的泛化能力，即***具有根据环境变化而自动拓展训练集的能力，从而提高***的泛化能力。总之，本发明能从源头上使图片数据本身不涉及隐私内容，且具有训练时间短、隐私图片转化的泛化能力强的特点。
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
图1为本发明的流程图；
图2为本发明的改进的Cycle-GAN模型；
图3为实施例中的不同模型的对抗损失率变化趋势图；
图4为实施例中的哈希差值Ad盒子图。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法的具体实施方式、特征及其功效，详细说明如后。
参见图1，本发明的一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，包括：视觉数据的采集端、隐私识别与保护、训练数据生长与特征学习等模块，其中：所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换；所述的用于训练数据集的更新的训练数据生长，采用基于NCC的训练数据集生长算法。该改进的Cycle-GAN算法和改进的Cycle-GAN算法详细内容如下：
1 Cycle-GAN
生成式对抗网络(Generative Adversarial Networks，GAN)是一种能够实现无监督学习的深度学习模型。GAN模型至少包括一个生成器G和判别器D两个模型，其基本原理是生成器不断学习真实数据的概率分布，判别器不断判断数据来源为真实数据还是生成数据，两者在博弈与对抗中提升各自的生成能力及判别能力。Cycle-GAN是以GAN为基础于2017年在文献中提出，它通过学习可以将图片从源图像域X到目标域Y，通过映射G：X→Y，最终生成器G(X)生成的图像分布与目标域Y的图像分布无法用对抗性损失区分开来。同理，它可以通过逆映射F：Y→X循环执行完成F(G(X))≈X的任务。Cycle-GAN在不存在配对训练数据的情况下能够完成包括风格转换、对象变形、季节转换、图像增强等工作。单向Cycle-GAN通过生成器G(X)将X领域图像转换为目标域Y中图像的过程，即G：X→Y，它的目标函数为
其中，DY为Cycle-GAN在X域鉴别生成的Y域图片所带的判别器，x服从先验分布Pdata(x)，y服从非真实数据的分布Pdata(y)，E(*)表示期望。
2 改进的Cycle-GAN
虽然Cycle-GAN在图像的风格迁移上有很多优势，能将图片从X域转换到Y域再从Y领域还原到X域，在结构上，Cycle-GAN一个判别器共用两个生成器，两个生成器各带一个判别器，当应用的场景只需将图片从X域转换到Y域时，就存在冗余的判别器，这会产生损失，导致损失率不容易收敛，训练时间增长。出于这种考虑，可以通过剔除冗余判别器，采用一个判别器共享两个生成器，以达到改善损失率与提高训练速度的目的。此时，修改后的Cycle-GAN的连续损失函数为
Lcyc(G，F)＝Ex～Pdata(x)[||F(G(x))-x||1]+Ey～Pdata(y)[||G(F(y))-y||1] (2)
联合公式(1)与(2)，可得修改后的Cycle-GAN的总损失函数为
LGAN(G，F，DX，DY)＝LGAN(G，DY，X，Y)+λLcyc(G，F) (3)
为了提高局部小区域的特征获取能力以输出高精度图像，设计了具有5层隐藏层的判别器DY，卷积核大小为16×16，改进的Cycle-GAN模型如图2所示，改进的Cycle-GAN算法如算法1所示。
算法1：改进的Cycle-GAN算法
输入：源数据集X＝{X1，X2，...，Xi，...，Xn}，目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}；
输出：特征模型FW；
1)初始化训练轮次、网络结构参数、学习率等参数，并给定对抗损失总函数模型；初始化当前轮次t＝0；
2)加载源数据集合X与目标数据集Y，分别生成三维特征点向量Fx和Fy；
3)for i＝0 to n；
4)
5)将U输入生成器G(x)生成图片
和
6)对
和
执行池化操作；
7)将
和
输入判别器DY，计算
的得分；
8)根据
得分更新权值矩阵与偏置矩阵，形成新的特征模型FW；
9)t＝t+1；
10)if t＞N，输出离线特征模型FW；否则转到3)
需要特别说明的是，步骤1)中，需要给定训练轮次N(后文后测试中，N＝200)，神经网络的层数L，网络结构矩阵Q＝[h1，h2，…，hj，…，hL](hj表示第j层的神经元个数)，随机初始化输入层的权值矩阵W1与偏置矩阵b1，并给定学习率α。本研究中，总对抗损失率按公式(3)计算，学习率根据公式(4)动态调整。
步骤5)中，生成器G(x)由4个卷积层和9个残差网络组成，卷积层采用ReLU函数为激活，残差层的激活函数为Tanh函数。
步骤8)中，采用随机梯度下降法(Stochastic gradient descent，SGD)优化生成器与判别器，并采用Adam算法计算每个参数的自适应学习率，学习率的更新公式为
式中，
为t时刻目标函数的梯度，mt和Vt是梯度的1阶和2阶估计，α为步长值，β1，β2为指数衰减率，ε为保证分母的非0参数。采用交叉熵函数刻画两个分布之间的距离，从而更新权重系数。当生成的图片越接近真实图片时，经过交叉熵函数输出的值越小，反之则输出的值越大。
3 基于NCC的训练数据集生长算法
若***能够根据环境变化而自动拓展训练集，则有利于提高***的泛化能力。考虑到归一化交叉相关(Normalized cross correlation，NCC)可以用于描述两个图片的相关程度，它通过计算模板图像和搜索图像的互相关值而刻画两幅图片的匹配程度与相似性。为了拓展训练数据集，让***具有根据环境变化而自动拓展训练集的能力，从而提高***的泛化能力，针对***通过摄像头获得的任意图片数据Xpic，提出了如算法2所示的基于NCC的训练数据集生长算法。
算法2：基于NCC的训练数据集生长算法
输入：目标图片数据Xpic，源数据集X＝{X1，X2，...，Xi，...，Xn}，目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}；
输出：图片Xpic在训练集中的归属类别。
1)初始化最大相似性度阈值MR＝0.95；
2)加载源数据集X＝{X1，X2，...，Xi，...，Xn}、目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}，形成并集U＝X∪Y；
3)采用NCC算法将Xpic分割为R1，R2，R3和R4四个模块以建立搜索图区域；
4)对于每一个Ui∈U，运用NCC算法分别计算Ui与模板块R1，R2，R3和R4间的相似度MR1，MR2，MR3和MR4。
5)若MR1，MR2，MR3和MR4均小于MR，则将图片Xpic归属到Fi所在的类别。否则设置图片Xpic的类别为null。
6)如果图片Xpic的类别不为null，则将图片Xpic复制到所属类别的源数据集X或者目标数据集Y。
特别需要说明的是，当图片Xpic与源数据集和目标数据集中的数据均不匹配时，则图片Xpic不被加入到训练数据集。
下面为了测试本发明实施例的性能，通过实验进行评估分析得到有益效果如下：
(1)实验平台
实验平台为服务机器人平台。平台的显示屏是7.9寸IPad mini 4，视觉***是Microsoft Kinect V2深度摄像头，主机为Intel NUC mini主机，配置有i7-6770HQ处理器和Intel IRIS Pro显卡，移动底盘为EAI B1。以ELLTOWER 5810为练数据集的工作站。服务机器人主机和工作站的操作***为Ubuntu16.04 LTS，并安装了Kinect版本ROS(RobotOperation System)***、CPU版本的TensorFlow深度学习框架和OpenCV 3.3.0。服务机器人与工作站均具有无线通信模块以实现他们间的通信和数据交换。
基于前节所述的硬件平台，采用Python、C语言进行了集成开发，实现了基于本发明的方法与Cycle-GAN的视觉图片隐私保护功能，图1是机器人视觉图片隐私保护***的总体工作流程。***中的隐私识别模块采用改进的YOLO特征提取算法实现，它能够判定摄像头数据是否存在隐私。整个隐私识别处理部分，可以将涉及隐私的图片转换成不涉及隐私的数据并进行存储。训练数据生长与特征学习部分，主要实现基于训练数据集的特征模型获取、以及基于NCC的训练数据集的更新功能。当训练数据集被更新后，***的工作站定期重新训练以完善特征模型，而后服务机器人下载新的特征模型用于图片的转换，从而提高***的隐私图片转化的泛化能力。
(2)训练数据集
构建了具有48000张图片的训练数据，其中涉及隐私的源数据集X与不涉及隐私的目标数据集Y分别24000张。数据来源包括以下2类：
1)采用所构建平台的摄像头在实验室模拟家居环境采集而得。这类图片约占总数的96％，人物包括4人，涉及6类包含大面积身体裸露的日常生活场景，具体为：C1：单人笔直站立时的各种姿势；C2：单人非笔直站立时的各种姿势；C3：单人躺在床上的各种姿势；C4：单人蹲着的各种姿势；C5：单人坐着的各种姿势；C6：2人以上在C1～C5的场景中。这一类数据，在采集图片时，尽可能使得源数据集与目标数据集的图片能够对应。目标数据集中的服饰主要有黑色长袖、图案毛衣、长袖衬衣、白色短袖。
2)从百度图库中收集、筛选并进行适当处理后的图片，它们具有不同的场景、对象、光亮、角度、背景与像素，以丰富数据集。这一类数据，源数据集与目标数据集间的图片基本上不存在对应的情况。
(3)测试方案与测试数据集
为了测试***的性能，设计了4个实验。
实验1.测试对象(人)与背景包括在训练数据集中，只存在1个人。
实验2.测试对象与背景包括在训练数据集中，存在2-4人。
实验3.测试对象不包括在训练数据集中但场景是训练数据集中场景。
实验4.网络图片。对于这一类数据，测试对像与背景均不包括在训练数据集中。
实验1与2主要考查***的特征提取的准确性，实验3与4主要检查***的提取的特征模型的泛化能力与鲁棒性。实验1～实验3每个实验使用100张图片。由于法律等问题，在百度图库难以找到大量的符合要求的图片，因此，实验4的实验只使用30张图片。
(4)评价标准
为了客观的评价***将涉及隐私的图片转化为不包含隐私信息的成像效果，采用转换成功率As、体现图片相似度的哈希差值Ad、以及体现脸部成像精度的人脸识别率Af作为评价标准。具体计算方式如下：
1)转换成功率As。设N0为所输入的涉及隐私内容的图片总数，N1代表成功去除隐私内容的图片总数，则
As值越大，表明***转换的成功率越高。
2)哈希差值Ad。对于此值的计算，将测试数据集中每一张图与***转换后输出的对应的目标图作为输入调用差值哈希算法程序获得。限于篇幅不再详述。Ad值越大，表示原图与生成的目标图之间的差异越大，相反则两图的相似度越高。
3)体现脸部成像精度的人脸识别率Af。设A0为测试数据集中人脸识别算法能够识别出人脸的图片数量，设A1为***输出的已经成功将隐私内容去除的图片中人脸识别算法能够识别出人脸的图片数量，则
(5)测试结果与分析
训练过程中，分别运用本发明的方法与Cycle-GAN算法训练数据集获得特征模型，训练过程中两种方法的损失率如图3所示，训练过程中不同模型的图片处理速度如表1所示。测试时，模拟摄像头的工作机制，分别将测试图片输入到***中，转换成功率As、以及体现脸部成像精度的人脸识别率Af、体现图片相似度的哈希差值Ad的统计结果如表2和表3所示。哈希差值Ad统计盒子图如图4所示。
1)观察图3可知，在模型训练阶段，两种算法的损失率均随着迭代次数和增加而呈现下降的趋势，但是Cycle-GAN的损失率在训练趋于结束时稳定在0.35左右，本发明的算法的损失率则最终稳定在0.19左右，下降超过45％，这表明本发明改进的结构有利于生成保留原图片元素的目标图片，可以促进获得更好的特征模型。在处理速度方面，由表1可知，改进模型的训练速度从原来的1.5张/秒提高到3张/秒，训练时间缩短了一半，这表明改进后的结构有利于减少***的处理时间。
表1 不同模型训练速度
Tab.2 Training speed of different models
2)观察表2中实验1～实验4的转换成功率可知，Cycle-GAN算法的为96％，94％，92％，86％，而本发明的算法的分别为97％，96％，94％和93％，均高于Cycle-GAN算法的转换成功率，Cycle-GAN算法和本发明的算法的四个实验的平均转换成功率分别为92％和95％，这表明改进后的算法在特征提取的准确性方面优于Cycle-GAN算法。观察体现脸部成像精度的人脸识别率Af可知，在试验1～试验3中，Cycle-GAN的脸部成像精度的人脸识别率分别为91％，68％，5％，而本发明的算法分别为95％，84％，15％。这表明改进的结构可以输出更多的脸部特征完全的图片，能够获得更好的关键部位的特征模型。需要特别说明的是，实验4中的测试图片来自网络，难以找到脸部特征明显的图片，因此没有这一项统计数据。
表2 As和Af的统计结果
Tab.2 Statistics of As and Af
表3 不同算法的Ad统计结果
Tab.3 Statistical results of Ad with different algorithms
3)观察表3可知，实验1中，Cycle-GAN的图像相似度哈希差值均值为30.89，本发明的算法为8.94，仅为Cycle-GAN的28.9％。与此同时，Cycle-GAN与本发明的算法对应的方差分别为23.311和10.622。实验3中，Cycle-GAN的哈希差值均值与方差分别为28.5和46.05，而本发明的算法则分别为12.58和12.812，其均值下降了55.86％。在实验3中Cycle-GAN的均值和方差分别为22.43和11.77，而本发明的算法分别仅是Cycle-GAN的61.68％和55.65％。实验4中，本发明的算法的均值与方差分别为17.87％和30.53％，分别仅是Cycle-GAN的61.68％和71.92％。整体上而言，在4个实验中，本发明算法的哈希差值与Cycle-GAN相比均有较大幅度的下降，最大降幅达71.06％，最小降幅为38.32％，这表明改进后的算法成像相似性均优于Cycle-GAN。与此同时，由图4中的盒子图可知，本发明的算法对应的盒图的矩形区域均较窄，没有离散点，而Cycle-GAN的矩形区域较大且存在离散点，这表明本发明的算法能够输出一致性更好的图片，比Cycle-GAN具有更好的稳定性。
总之，本发明正是因为算法结构的改进，使得训练时间开销下降的同时输出更加鲁棒的特征模型，使得改进后的算法在将涉及隐私的图片转化为不包含隐私信息的图片时，具有更好的转换成功率，能够输出相似度更高、脸部特征更明显的图片，本发明所提出的方法优于Cycle-GAN。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (5)
1.一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，包括：视觉数据的采集端、隐私识别与保护、训练数据生长与特征学习模块，其特征在于：所述隐私识别与保护包括数据预处理、隐私识别、图片转换功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换；
所述改进的Cycle-GAN算法，具体步骤如下：
(1)初始化训练轮次N、网络结构参数、学习率参数，并给定对抗损失总函数模型；初始化当前轮次t＝0；
(2)加载训练数据源数据集合X与目标数据集Y，分别生成三维特征点向量Fx和Fy；
(3)循环次数从i＝0到i＝n终止；
(4)构建由三维特征点向量分向量
和
组成的数据集U，
(5)将U输入生成器G(x)生成图片
和
(6)对
和
执行池化操作；
(7)将
和
输入判别器DY，计算
的得分；
(8)根据
得分更新权值矩阵与偏置矩阵，形成新的特征模型FW；
(9)当前轮次t加1，t＝t+1；
(10)如果当前轮次t大于训练轮次N，输出特征模型FW；否则转到(3)。
2.如权利要求1所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述改进的Cycle-GAN算法的步骤(1)中，需给定训练轮次N，神经网络的层数L，网络结构矩阵Q＝[h1,h2,…,hj,…,hL]，hj表示第j层的神经元个数，随机初始化输入层的权值矩阵W1与偏置矩阵b1，并给定学习率α；
所述对抗损失总函数模型的总对抗损失率计算公式为：
LGAN(G,F,DX,DY)＝LGAN(G,DY,X,Y)+λLcyc(G,F)
该式中，DY为Cycle-GAN在X域鉴别生成的Y域图片所带的判别器，x服从先验分布Pdata(x)，y服从非真实数据的分布Pdata(y)，E(*)表示期望，λ为惩罚系数；
Lcyc(G，F)＝Ex～Pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
其中F(G(x))表示逆映射F:Y→X执行F(G(X))≈X的图像；同理，G(F(y))表示映射G(F(y))≈Y的图像；
所述学习率根据下列公式动态调整：
3.如权利要求1所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述改进的Cycle-GAN算法的步骤(5)中，生成器G(x)由4个卷积层和9个残差网络组成，卷积层采用ReLU函数为激活函数，残差层的激活函数为Tanh函数。
4.如权利要求1所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述改进的Cycle-GAN算法的步骤(8)中，采用随机梯度下降法优化生成器与判别器，并采用Adam算法计算每个参数的自适应学习，学习率的更新公式为：
式中，
为t时刻目标函数的梯度，θt-1为t-1时刻需要优化的参数，mt和Vt是梯度的1阶和2阶估计，α为学习率，β1，β2为指数衰减率，ε为保证分母的非0参数。
5.如权利要求1至4中任一项所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述的用于训练数据集更新的训练数据生长是采用基于NCC的训练数据集生长算法，具体步骤如下：
(1)初始化最大相似性度阈值MR＝0.95；
(2)加载源数据集X＝{X1,X2,…,Xi,…,Xn}、目标数据集Y＝{Y1,Y2,…,Yi,…,Yn}，形成并集U＝X∪Y；
(3)采用NCC算法将通过数据采集获取到的任意图片数据Xpic分割为R1,R2,R3和R4四个模块以建立搜索图区域；
(4)对于每一个Ui∈U，运用NCC算法分别计算Ui与模板块R1,R2,R3和R4间的相似度MR1,MR2,MR3和MR4；
(5)若MR1,MR2,MR3和MR4均小于MR，则将图片数据Xpic归属到Fi所在的类别；否则设置图片数据Xpic的类别为null；
(6)如果图片数据Xpic的类别不为null，则将图片数据Xpic复制到所属类别的源数据集X或者目标数据集Y。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910695530.5A CN110363183B (zh) | 2019-07-30 | 2019-07-30 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910695530.5A CN110363183B (zh) | 2019-07-30 | 2019-07-30 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363183A CN110363183A (zh) | 2019-10-22 |
| CN110363183B true CN110363183B (zh) | 2020-05-08 |
Family
ID=68221800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910695530.5A Active CN110363183B (zh) | 2019-07-30 | 2019-07-30 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363183B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144274B (zh) * | 2019-12-24 | 2023-06-09 | 南京航空航天大学 | 一种面向yolo检测器的社交图片隐私保护方法和装置 |
| CN111177757A (zh) * | 2019-12-27 | 2020-05-19 | 支付宝(杭州)信息技术有限公司 | 一种图片中隐私信息保护的处理方法及装置 |
| CN111193920B (zh) * | 2019-12-31 | 2020-12-18 | 重庆特斯联智慧科技股份有限公司 | 一种基于深度学习网络的视频画面立体拼接方法和*** |
| CN111242290B (zh) * | 2020-01-20 | 2022-05-17 | 福州大学 | 一种轻量级隐私保护生成对抗网络*** |
| CN114419712A (zh) * | 2020-05-14 | 2022-04-29 | 支付宝(杭州)信息技术有限公司 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
| CN111860434B (zh) * | 2020-07-31 | 2021-05-25 | 贵州大学 | 机器人视觉隐私行为识别与保护方法 |
| CN112084962B (zh) * | 2020-09-11 | 2021-05-25 | 贵州大学 | 基于生成式对抗网络脸部隐私保护方法 |
| CN112529978B (zh) * | 2020-12-07 | 2022-10-14 | 四川大学 | 一种人机交互式抽象画生成方法 |
| CN112308770B (zh) * | 2020-12-29 | 2021-03-30 | 北京世纪好未来教育科技有限公司 | 人像转换模型生成方法及人像转换方法 |
| CN113657350B (zh) * | 2021-05-12 | 2024-06-14 | 支付宝(杭州)信息技术有限公司 | 人脸图像处理方法及装置 |
| CN113190811B (zh) * | 2021-05-13 | 2022-02-01 | 深圳奥赛思科技有限公司 | 可安全传输网络数据的方法以及云服务器 |
| CN113329000B (zh) * | 2021-05-17 | 2023-01-10 | 山东大学 | 一种基于智能家居环境下的隐私保护和安全监测一体化*** |
| CN113271469B (zh) * | 2021-07-16 | 2021-10-29 | 南京大学 | 一种安全可逆的视频隐私安全保护***及保护方法 |
| CN113793258A (zh) * | 2021-09-18 | 2021-12-14 | 超级视线科技有限公司 | 监控视频图像的隐私保护方法及其装置 |
| CN113919998B (zh) * | 2021-10-14 | 2024-05-14 | 天翼数字生活科技有限公司 | 一种基于语义和姿态图引导的图片匿名化方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292345A (zh) * | 2017-07-03 | 2017-10-24 | 贵州大学 | 隐私情境检测方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10535120B2 (en) * | 2017-12-15 | 2020-01-14 | International Business Machines Corporation | Adversarial learning of privacy protection layers for image recognition services |
-
2019
- 2019-07-30 CN CN201910695530.5A patent/CN110363183B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292345A (zh) * | 2017-07-03 | 2017-10-24 | 贵州大学 | 隐私情境检测方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363183A (zh) | 2019-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363183B (zh) | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 | |
| US10417526B2 (en) | Object recognition method and device | |
| CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和*** | |
| CN108520216B (zh) | 一种基于步态图像的身份识别方法 | |
| CN110728330A (zh) | 基于人工智能的对象识别方法、装置、设备及存储介质 | |
| WO2021143101A1 (zh) | 人脸识别方法和人脸识别装置 | |
| CN108665005B (zh) | 一种利用dcgan提高基于cnn图像识别性能的方法 | |
| CN101558431B (zh) | 脸认证设备 | |
| CN106815566A (zh) | 一种基于多任务卷积神经网络的人脸检索方法 | |
| CN112464730B (zh) | 一种基于域无关前景特征学习的行人再识别方法 | |
| CN112801015A (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
| CN112686191B (zh) | 基于人脸三维信息的活体防伪方法、***、终端及介质 | |
| CN112766165B (zh) | 基于深度神经网络与全景分割的跌倒预判方法 | |
| CN111488850A (zh) | 一种基于神经网络的老年人跌倒检测方法 | |
| CN112418041A (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
| CN111144566A (zh) | 神经网络权重参数的训练方法、特征分类方法及对应装置 | |
| CN107194344A (zh) | 自适应骨骼中心的人体行为识别方法 | |
| CN108564061A (zh) | 一种基于二维主元分析的图像识别方法和*** | |
| CN109522865A (zh) | 一种基于深度神经网络的特征加权融合人脸识别方法 | |
| CN112669343A (zh) | 一种基于深度学习的壮族少数民族服饰分割方法 | |
| CN114511901B (zh) | 一种年龄分类辅助的跨年龄人脸识别算法 | |
| CN116740485A (zh) | 病变检测模型的训练方法和装置、电子设备及存储介质 | |
| CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 | |
| Zaidan et al. | A novel hybrid module of skin detector using grouping histogram technique for Bayesian method and segment adjacent-nested technique for neural network | |
| Kouzani | Locating human faces within images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |