CN111814165B - 一种基于深度神经网络中间层的图像隐私保护方法 - Google Patents
一种基于深度神经网络中间层的图像隐私保护方法 Download PDFInfo
- Publication number
- CN111814165B CN111814165B CN202010647806.5A CN202010647806A CN111814165B CN 111814165 B CN111814165 B CN 111814165B CN 202010647806 A CN202010647806 A CN 202010647806A CN 111814165 B CN111814165 B CN 111814165B
- Authority
- CN
- China
- Prior art keywords
- convolution kernel
- middle layer
- neural network
- privacy
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 15
- 210000002569 neuron Anatomy 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度神经网络中间层的图像隐私保护方法,属于机器学习和图像处理技术领域。该方法包括:S1:选择深度神经网络需要添加噪声的一层神经元设定为当前中间层,计算当前中间层卷积核方差均值,并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组;S2:对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。本发明既能有效的从本地保护了用户的隐私防止不可信第三方或服务器造成的隐私泄露又兼顾了深度神经网络服务的质量,还能够根据用户对隐私敏感程度的不同自主调节对数据的保护程度,使用户获得适合自己的隐私保护程度以及服务质量。
Description
技术领域
本发明属于机器学习和图像处理技术领域,涉及一种基于深度神经网络中间层的图像隐私保护方法。
背景技术
随着智能手机、智慧医疗工具以及IoT设备的普及,使得在移动设备上运行的机器学习服务如图像识别,语言翻译,健康监控等的需求量越来越大。由于深度神经网络在这些领域的突出表现,将其植入到移动终端中似乎是一个不错的解决办法。但移动设备的存储空间,计算能力或者电量供给很难满足深度神经网络的要求,因此工业上目前的解决方案是将大型的深度神经网络分成本地和云端两部分,计算量较小以及对算力要求不高的浅层神经网络部署在移动终端,剩下的较大神经网络部署在云端,这样既满足了移动设备对机器学习服务的需求,又解决的大型深度神经网络无法部署在移动终端上的问题。
由于机器学习服务中对图像识别或处理的任务占比很大,这类服务大多要求用户上传图片,而图片中除了包含用户愿意上传的数据,还带有很多用户并不想发布到云端的敏感数据。这使得用户失去了对自己数据的控制,导致别有用心的攻击者或者服务提供方能够通过截取中间数据重建出用户上传的原始图像,得到用户的敏感信息,造成用户的隐私泄露。目前对这类隐私泄露问题提供的保护方法主要有两种:原始数据加噪,同态加密。原始数据加噪主要是在用户将数据输入到深度神经网络之前,对其添加服从某种分布的噪声以达到对数据的保护作用,这种保护方法操作简便,保护性较好,但会对深度神经网络的服务质量产生很大的影响,会大大降低用户体验。同态加密方法基于密码学实现对数据的保护,但其效率低、时间复杂度大,而且对运算的种类和运算的次数都有极为严格的要求,很难应用到计算次数多,计算复杂的深度神经网络之中。
发明内容
有鉴于此,本发明的目的在于提供一种基于深度神经网络中间层的图像隐私保护方法,结合深度神经网络部署在移动终端的特点,分析本地部分神经网络卷积核的特征,将噪声按本地神经网络输出特征图所含信息的多少合理的添加其中,实现本地化的隐私保护。
为达到上述目的,本发明提供如下技术方案:
一种基于深度神经网络中间层的图像隐私保护方法,包括以下步骤:
S1:选择深度神经网络需要添加噪声的一层神经元设定为当前中间层,计算深度神经网络当前中间层卷积核方差均值,并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组;
S2:对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。
进一步,所述步骤S1具体包括以下步骤:
S11:对于当前中间层的第j个卷积核Kj,其尺寸为w×h×c,w和h分别是卷积核的长和宽,c表示卷积核的通道数;计算卷积核Kj的方差均值,其第i个通道的方差为i∈c,则卷积核Kj的方差均值/>
S12:设置卷积核分组阈值λ=ηmax/4,其中ηmax是当前中间层中卷积核方差均值的最大值;将当前中间层的卷积核按其卷积核方差均值超过λ的分成G1组,未超过λ的分成G2组。
进一步,所述步骤S2具体包括以下步骤:
S21:对于G1中每一个输出的特征图,生成与其同中心,尺寸为H-block_size+1且服从概率为ξ1的伯努利分布的0,1矩阵Mask1,其中H表示特征图的长宽,block_size为用户设定的遮挡块的尺寸,ξ1为用户设定的遮挡块生成概率;对于G2中每一个输出的特征图,按同样的尺寸生成服从概率为ξ2的伯努利分布的0,1矩阵Mask2,其中ξ2=ξ1/4;
S22:将Mask矩阵全1填充成和输出特征图尺寸相同的矩阵;以Mask矩阵中值为0的位置为中心将其周围长宽为block_size的矩形区域全置为0;
S23:添加保护的输出特征图为f'=f·Mask,其中f表示原始特征图。
本发明的有益效果在于:本发明通过在深度神经网络中间层加入噪声的技术,保护用户的隐私同时保证了网络输出的准确率。隐私的保护程度是用户在本地可控的,最终用户将扰动后的数据上传给服务器完成深度神经网络后部分的计算,服务器计算出结果后返回给用户。本发明既能有效的从本地保护了用户的隐私防止不可信第三方或服务器造成的隐私泄露又兼顾了深度神经网络服务的质量,还能够根据用户对隐私敏感程度的不同自主调节对数据的保护程度,使用户获得适合自己的隐私保护程度以及服务质量。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为在深度神经网络中间层保护用户图像隐私机制的总体框架图;
图2为Mask矩阵示意图;
图3为加噪后上传到服务器的特征图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
请参阅图1~图3,本发明考虑一个用户需要向服务器上传图像信息来获得服务的场景,通过在用户上传到服务器的图像中添加噪声来保护用户图像中的隐私数据。本发明优选了一种在深度神经网络中间层特征图上进行扰动以保护用户图像隐私的保护算法,用户能够根据自己对图像隐私保护程度的不同要求去调整算法的保护强度以便获得更高的服务质量。
在具体解释本发明实施例之前,先解释本实施例涉及的4个概念。
(1)卷积神经网络是一类包含卷积计算其具有深度结构的前馈神经网络,是深度学习的代表算法之一。
(2)深度卷积神经网络是在卷积神经网络的基础上,增加其深度使其具有更好的特征提取和高维拟合能力的一种神经网络。本发明为解决这类神经网络进行图像处理任务时存在的隐私泄露问题提供了一种对中间层特征图添加噪声的保护机制。
(3)SSIM结构相似性,是一种衡量两幅图像相似度的指标。其取值范围在0到1之间,当两张图一模一样时,SSIM的值等于1。本发明用这个指标衡量中间层特征图所包含信息的多少。
(4)0-1分布,指一次随机试验,结果只有两种,即一个随机变量的取值只有0和1。记为:0-1分布或B(1,p),其中p表示一次伯努利实验中结果为正或为1的概率。
一种基于深度神经网络中间层的图像隐私保护方法,用户在本地对其数据进行加噪保护,在该过程中用户能够控制隐私保护的强度,与此同时,还能够保证深度学***均值,并以当前层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组;第二部分:对第一阶段分成两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。
第一部分,包括以下两个步骤:
步骤1:对于当前中间层的第j个卷积核Kj,其尺寸为w×h×c,w和h分别是卷积核的长和宽,c表示卷积核的通道数。计算卷积核Kj的方差均值,其第i个通道的方差为i∈c,则卷积核Kj的方差均值/>
步骤2:设置卷积核分组阈值λ=ηmax/4,其中ηmax是当前中间层中卷积核方差均值的最大值。将当前中间层的卷积核按其卷积核方差均值是否超过λ分成两组,未超过λ的为G1组,超过λ的为G2组。
第二部分,包括以下三个步骤:
步骤1:对于G1中每一个输出的特征图,生成与其同中心,尺寸为H-block_size+1且服从概率为ξ1的伯努利分布的0,1矩阵Mask1,其中H表示特征图的长宽,block_size为用户设定的遮挡块的尺寸,ξ1为用户设定的遮挡块生成概率。对于G2中每一个输出的特征图,按同样的尺寸生成服从概率为ξ2伯努利分布的0,1矩阵Mask2,其中ξ2=ξ1/4。
步骤2:将Mask矩阵全1填充成和输出特征图尺寸相同的矩阵。以Mask矩阵中值为0的位置为中心将其周围长宽为block_size的矩形区域全置为0。如图2所示,灰色区域表示全1填充前的Mask矩阵,矩阵中“×”位置的值为0,其中较粗的“×”表示按伯努利分布生成Mask矩阵中值为0的位置。
步骤3:添加保护的输出特征图f'=f·Mask,其中f表示原始特征图。
验证实施例:将ImageNet数据集在VGG16以及ResNet50上的模拟,如图3所示,证实了本发明相比已有的相关工作提供了更强的隐私保护,同时保证了深度卷积网络的服务质量和任务准确率。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种基于深度神经网络中间层的图像隐私保护方法,其特征在于,该方法包括以下步骤:
S1:选择深度神经网络需要添加噪声的一层神经元设定为当前中间层,计算当前中间层卷积核方差均值,并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组;具体包括以下步骤:
S11:对于当前中间层的第j个卷积核Kj,其尺寸为w×h×c,w和h分别是卷积核的长和宽,c表示卷积核的通道数;计算卷积核Kj的方差均值,其第i个通道的方差为则卷积核Kj的方差均值/>
S12:设置卷积核分组阈值λ=ηmax/4,其中ηmax是当前中间层中卷积核方差均值的最大值;将当前中间层的卷积核按其卷积核方差均值是否超过λ分成两组,未超过λ的为G1组,超过λ的为G2组;
S2:对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私;具体包括以下步骤:
S21:对于G1中每一个输出的特征图,生成与其同中心,尺寸为H-block_size+1且服从概率为ξ1的伯努利分布的0,1矩阵Mask1,其中H表示特征图的长宽,block_size为用户设定的遮挡块的尺寸,ξ1为用户设定的遮挡块生成概率;对于G2中每一个输出的特征图,按同样的尺寸生成服从概率为ξ2的伯努利分布的0,1矩阵Mask2,其中ξ2=ξ1/4;
S22:将Mask矩阵全1填充成和输出特征图尺寸相同的矩阵;以Mask矩阵中值为0的位置为中心将其周围长宽为block_size的矩形区域全置为0;
S23:添加保护的输出特征图为f'=f·Mask,其中f表示原始特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010647806.5A CN111814165B (zh) | 2020-07-07 | 2020-07-07 | 一种基于深度神经网络中间层的图像隐私保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010647806.5A CN111814165B (zh) | 2020-07-07 | 2020-07-07 | 一种基于深度神经网络中间层的图像隐私保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814165A CN111814165A (zh) | 2020-10-23 |
CN111814165B true CN111814165B (zh) | 2024-01-26 |
Family
ID=72841872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010647806.5A Active CN111814165B (zh) | 2020-07-07 | 2020-07-07 | 一种基于深度神经网络中间层的图像隐私保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814165B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541574B (zh) * | 2020-12-03 | 2022-05-17 | 支付宝(杭州)信息技术有限公司 | 保护隐私的业务预测方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
CN107704877A (zh) * | 2017-10-09 | 2018-02-16 | 哈尔滨工业大学深圳研究生院 | 一种基于深度学习的图像隐私感知方法 |
CN108717680A (zh) * | 2018-03-22 | 2018-10-30 | 北京交通大学 | 基于全稠密连接网络的空域图像隐写分析方法 |
CN109034228A (zh) * | 2018-07-17 | 2018-12-18 | 陕西师范大学 | 一种基于差分隐私和层级相关性传播的图像分类方法 |
WO2019042139A1 (zh) * | 2017-08-29 | 2019-03-07 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理装置、神经网络的训练方法 |
CN111324870A (zh) * | 2020-01-22 | 2020-06-23 | 武汉大学 | 一种基于安全双方计算的外包卷积神经网络隐私保护*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018072957A (ja) * | 2016-10-25 | 2018-05-10 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像加工方法、画像加工システム及びプログラム |
US11157646B2 (en) * | 2018-09-27 | 2021-10-26 | Intel Corporation | Systems and methods for processing and handling privacy-sensitive image data |
-
2020
- 2020-07-07 CN CN202010647806.5A patent/CN111814165B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
WO2019042139A1 (zh) * | 2017-08-29 | 2019-03-07 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理装置、神经网络的训练方法 |
CN107704877A (zh) * | 2017-10-09 | 2018-02-16 | 哈尔滨工业大学深圳研究生院 | 一种基于深度学习的图像隐私感知方法 |
WO2019071754A1 (zh) * | 2017-10-09 | 2019-04-18 | 哈尔滨工业大学深圳研究生院 | 一种基于深度学习的图像隐私感知方法 |
CN108717680A (zh) * | 2018-03-22 | 2018-10-30 | 北京交通大学 | 基于全稠密连接网络的空域图像隐写分析方法 |
CN109034228A (zh) * | 2018-07-17 | 2018-12-18 | 陕西师范大学 | 一种基于差分隐私和层级相关性传播的图像分类方法 |
CN111324870A (zh) * | 2020-01-22 | 2020-06-23 | 武汉大学 | 一种基于安全双方计算的外包卷积神经网络隐私保护*** |
Non-Patent Citations (4)
Title |
---|
"Find and Dig: A Privacy-Preserving Image Processing Mechanism in Deep Neural Networks for Mobile Computation";Hongyu Huang等;2021 International Joint Conference on neuralnetworks;第1-8页 * |
"一种基于自注意力机制的文本图像生成对抗网络";黄宏宇等;重庆大学学报;第43卷(第(03)期);第55-61页 * |
"机器学习***的隐私和安全问题综述";何英哲等;计算机研究与发展;第56卷(第(10)期);第2049-2070页 * |
基于DCGAN反馈的深度差分隐私保护方法;毛典辉;李子沁;蔡强;薛子育;;北京工业大学学报(第06期);870-877 * |
Also Published As
Publication number | Publication date |
---|---|
CN111814165A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Hermes: an efficient federated learning framework for heterogeneous mobile clients | |
Brutzkus et al. | Low latency privacy preserving inference | |
Hesamifard et al. | Cryptodl: Deep neural networks over encrypted data | |
Xu et al. | Cryptonn: Training neural networks over encrypted data | |
CN113159329B (zh) | 模型训练方法、装置、设备及存储介质 | |
CN113949505B (zh) | 一种隐私保护的多方安全计算方法和*** | |
CN113065866B (zh) | 基于区块链的物联网边缘计算***及方法 | |
CN110874571A (zh) | 人脸识别模型的训练方法及装置 | |
CN111814165B (zh) | 一种基于深度神经网络中间层的图像隐私保护方法 | |
Zhu et al. | 2p-dnn: Privacy-preserving deep neural networks based on homomorphic cryptosystem | |
CN112231742A (zh) | 基于隐私保护的模型联合训练方法及装置 | |
Kalapaaking et al. | Smpc-based federated learning for 6g-enabled internet of medical things | |
Han et al. | Zt-bds: A secure blockchain-based zero-trust data storage scheme in 6g edge iot | |
CN110991462B (zh) | 基于隐私保护cnn的密态图像识别方法及*** | |
CN115907231A (zh) | 一种电网数据预测的方法及装置 | |
Ramachandran et al. | S++: A fast and deployable secure-computation framework for privacy-preserving neural network training | |
CN117216788A (zh) | 基于区块链的联邦学习隐私保护视频场景识别方法 | |
CN114492847B (zh) | 一种高效个性化联邦学习***和方法 | |
CN115941351A (zh) | 一种基于云服务和加密技术的可信隐私计算*** | |
Zhang et al. | Scalable Binary Neural Network applications in Oblivious Inference | |
Liao et al. | Homomorphic CNN for Privacy Preserving Learning On Encrypted Sensor Data | |
Yao et al. | A novel privacy-preserving neural network computing approach for E-Health information system | |
Shanthala et al. | An improved IoT based security model for fitness tracker using quantum fruit fly optimization improved faster RCNN | |
Wang et al. | TensorHE: A homomorphic encryption transformer for privacy-preserving deep learning | |
Stewart et al. | One-shot federated learning with neuromorphic processors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |