CN117668874A - 一种基于深度学习训练过程的数据隐私保护方法 - Google Patents
一种基于深度学习训练过程的数据隐私保护方法 Download PDFInfo
- Publication number
- CN117668874A CN117668874A CN202311670970.8A CN202311670970A CN117668874A CN 117668874 A CN117668874 A CN 117668874A CN 202311670970 A CN202311670970 A CN 202311670970A CN 117668874 A CN117668874 A CN 117668874A
- Authority
- CN
- China
- Prior art keywords
- data
- deep learning
- data set
- server
- type server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 230000008569 process Effects 0.000 title claims abstract description 32
- 238000013136 deep learning model Methods 0.000 claims abstract description 71
- 238000012795 verification Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 40
- 238000012512 characterization method Methods 0.000 claims description 19
- 230000008485 antagonism Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Storage Device Security (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及深度学习领域,具体涉及一种基于深度学习训练过程的数据隐私保护方法,其包括如下步骤:在第一类服务器中根据深度学习模型的训练任务生成数据索取请求,并将数据索取请求发送至第二类服务器;在第二类服务器中验证数据索取请求,并根据验证结果获取第一数据集;加密第一数据集,并将加密后的第一数据集发送至第三类服务器;在第三类服务器中利用加密的第一数据集生成与第一数据集中数据分布相同的第二数据集,并将第二数据集发送至第一类服务器;在第一类服务器中利用第二数据集训练深度学习模型,并用训练后的深度学习模型识别样本数据标签。本发明旨在提供更安全的深度学习训练环境,为云计算中的隐私敏感数据处理提供有效保障。
Description
技术领域
本发明涉及深度学习领域,具体涉及一种基于深度学习训练过程的数据隐私保护方法。
背景技术
在当今数字化时代,大量敏感数据的生成和处理使得数据隐私保护面临着严峻的挑战。特别是在深度学习模型的训练过程中,需要大量的原始数据,而这些数据可能包含个人隐私信息。传统的数据隐私保护方法在保护数据的同时,往往会影响深度学习模型的性能,存在着隐私与效用之间的矛盾。
由于深度学习模型对原始数据的高度依赖,直接使用原始数据进行模型训练可能导致隐私信息泄露,尤其是对于包含个人身份和敏感信息的数据;为了保护隐私,传统的方法往往采用加密等手段,但加密后数据分布可能与原始数据存在差异,导致深度学习模型在实际应用中表现不佳。同时,在一些云服务器运行环境相爱,数据的传输和存储可能受到威胁,需要采取额外的手段确保数据的安全性。
发明内容
针对实际应用的需求,本发明提供了一种基于深度学习训练过程的数据隐私保护方法,旨在解决基于深度学习训练过程的数据隐私保护问题。
第一方面,本发明提供了一种基于深度学习训练过程的数据隐私保护方法,所述基于深度学习训练过程的数据隐私保护方法包括如下步骤:在第一类服务器中,根据深度学习模型的训练任务生成数据索取请求,并将所述数据索取请求发送至第二类服务器;在所述第二类服务器中,验证所述数据索取请求,并根据验证结果获取第一数据集,加密所述第一数据集,并将加密后的第一数据集发送至第三类服务器;在所述第三类服务器中,利用加密的第一数据集,生成与第一数据集中数据分布相同的第二数据集,并将所述第二数据集发送至第一类服务器;在所述第一类服务器中,利用所述第二数据集训练所述深度学习模型,并用训练后的深度学习模型识别样本数据标签。
本发明通过引入多服务器交互机制,有效解决了深度学习训练过程中的数据隐私泄露问题。首先,通过第三类服务器验证来自第一类服务器上深度学习模型的数据索取请求,并根据验证结构获取并加密第一数据;接着,第二类服务器利用加密后的数据生成与原始数据分布相同的第二数据集。最后,将经过多重隐私处理的数据传回第一类服务器,用于训练第一来服务器中的深度学习模型。本发明所提供的方法在云计算环境中有广泛应用潜力,为深度学习模型训练提供了可行的隐私保护方案,确保了数据在训练过程中的安全性,同时保持了训练效果。
可选地,所述第一类服务器的存储器中存储有一个或者多个深度学***台上高效进行多个模型训练和执行,同时实现对数据隐私的有效保护。
可选地,所述第一类服务器包括若干个第一类子服务器,任一个第一类子服务器的存储器中存储有一个深度学习模型的第一程序指令,并存储有训练或者执行对应深度学习模型的第二程序指令,还存储有生成对应深度学习模型的数据索取请求的第三程序指令。本可选项中对第一类服务器进行了架构划分,提高了第一类服务器的可扩展性和并行性,使得多个模型能够同时独立进行训练和执行,提升了整体性能。本可选项所提供的分布式第一类服务器,在保护数据隐私的同时,能够有效优化深度学习训练过程的效率和灵活性,为大规模深度学习应用提供了强大支持。
可选地,所述在所述第二类服务器中,验证所述数据索取请求,并根据验证结果获取第一数据集,加密所述第一数据集,并将加密后的第一数据集发送至第三类服务器,包括如下步骤:通过所述数据索取请求中数据索取方身份信息,验证所述数据索取请求的合法性;根据所述数据索取请求中数据需求规格,获取满足数据需求规格的第一数据集;对所述第一数据集中的任一样本数据进行加密,并将加密后的第一数据集发送至第三类服务器。本可选项综合运用身份验证、数据定制和强化加密,全面保障了深度学习训练所需数据的隐私安全。
可选地,所述对所述第一数据集中的任一样本数据进行加密,包括如下步骤:根据样本数据的通道信息将所述样本数据展开成一个或者多个通道向量,并基于所述通道向量构建样本数据的表征向量,所述表征向量满足如下表征模型:其中,L1×(α(m×n))表示通道数量为α,大小为(m×n)的样本数据的表征向量,/>表示样本数据的第一通道向量,/>表示样本数据的第二通道向量,/>表示样本数据的第三通道向量,/>表示样本数据的第α通道向量;基于所述样本数据的通道信息和数据大小,构建随机变形矩阵,所述随机变形矩阵满足如下表征模型:Θ(α(m×n))×(α(m×n)),其中,α(m×n)表示随机变形矩阵的行数或者列数;结合所述随机变形矩阵和所述表征向量,加密所述样本数据,加密后的样本数据满足如下表征模型:Φ=L1×(α(m×n))·Θ(α(m×n))×(α(m×n)),Φ表示加密后的样本数据矩阵,L1×(α(m×n))表示样本数据的表征向量。本可选项通过样本数据的通道信息将其展开成通道向量,并构建了样本数据对应的表征向量,以确保数据的维度和结构不受损;基于通道信息和数据大小创建随机变形矩阵,该矩阵在行数或列数上符合α(m×n)。进一步将随机变形矩阵与表征向量结合以实施样本数据的加密操作。本可选项所提供的加密操作有效地增强了数据的安全性,防范潜在隐私泄露风险。
可选地,所述随机变形矩阵满足如下的数据分布:ε=(α(m×n))/ω,其中,θε×ε表示初始随机变形矩阵,Θ表示随机变形矩阵,ε表示初始随机变形矩阵的行数或者列数,m表示样本数据的行数,n表示样本数据的列数,ω∈N+,ω<<α(m×n),N+表示正整数,Θ(x,y)表示随机变形矩阵在第x行第x列的数据,θx-Nε,y-Nε表示初始随机变形矩阵θε×ε在第x-Nε行和第y-Nε列的数据,N<<ε,N表示整数。
可选地,所述第三类服务器为云服务器。本可选项保障了高效的计算资源、灵活的存储容量,以及强大的网络连接,能够适应不同规模和变化的任务需求。
可选地,所述第三类服务器包括一个或者多个数据生成模型,任一个所述数据生成模型用于生成与第一数据集中数据分布相同的第二数据集。本可选项通过使用多个数据生成模型,增加本发明方法应用的灵活性和适应性,能够同时处理不同类型的数据,提高了数据生成的多样性,为隐私保护提供了更全面的解决方案。
可选地,所述述数据生成模型包括生成对抗网络模型或者条件生成对抗网络模型。本可选项允许根据需求选择不同类型的数据生成模型,以适用于各种复杂的应用场景。
可选地,所述在所述第一类服务器中,利用所述第二数据集训练所述深度学习模型,并用训练后的深度学习模型识别样本数据标签,还包括如下步骤:将训练好的深度学习模型中的第一卷积层发送至第二类服务器;在所述第二类服务器中,利用所述随机变形矩阵增强所述第一卷积层,并将增强后的第一卷积层发送至第一类服务器;在所述第一类服务器中,通过将原始的第一卷积层替换增强后的第一卷积层,获得更新后的深度学习模型,并利用更新后的深度学习模型识别样本数据标签。本可选项对训练好的深度学习模型中的第一卷积层进行增强,提高了深度学习模型对加密数据的适应性,从而在保护数据隐私的同时,能够更为准确地识别样本数据标签。
附图说明
图1为本发明实施例所提供的基于深度学习训练过程的数据隐私保护方法流程图;
图2为本发明实施例中所提供的第一类服务器、第二类服务器以及第三类服务器分布示意图。
具体实施方式
下面将详细描述本发明的具体实施例,应当注意,这里描述的实施例只用于举例说明,并不用于限制本发明。在以下描述中,为了提供对本发明的透彻理解,阐述了大量特定细节。然而,对于本领域普通技术人员显而易见的是:不必采用这些特定细节来实行本发明。在其他实例中,为了避免混淆本发明,未具体描述公知的电路,软件或方法。
在整个说明书中,对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着:结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此,在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外,可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外,本领域普通技术人员应当理解,在此提供的示图都是为了说明的目的,并且示图不一定是按比例绘制的。
在一个实施例中,请参见图1,图1为本发明实施例所提供的基于深度学习训练过程的数据隐私保护方法流程图。如图1所示,所述基于深度学习训练过程的数据隐私保护方法,包括如下步骤:S01、在第一类服务器中,根据深度学习模型的训练任务生成数据索取请求,并将所述数据索取请求发送至第二类服务器。
在本实施例中,所述第一类服务器的存储器中存储有一个或者多个深度学习模型的第一程序指令,并存储有训练或者执行任一个深度学习模型的第二程序指令,还存储有生成任一个深度学习模型的数据索取请求的第三程序指令。
所述第一程序指令用于定义一个或多个深度学习模型。具体地,包括定义深度学习模型结构、设置网络参数、配置损失函数及优化器等。所述第一程序指令中定义例深度学习模型的网络层次结构和网络连接方式,所述网络层次结构和网络连接方式可以是基于卷积神经网络的层次结构和连接方式;也可以是基于循环神经网络的层次结构和连接方式;还可以是基于其他典型神经网络或者根据需求搭建的神经网络的层次结构和连接方式。
所述第二程序指令用于训练或执行深度学习模型。具体地,所述第二程序指令用于执行模型的训练步骤,包括权重更新、梯度计算、保存模型训练结果等。针对具有多个深度学习模型的情况,所述第二程序指令包括多个第二子程序指令,任一个第二子程序指令用于训练或执行对应深度学习模型。
所述第三程序指令用于生成深度学习模型的数据索取请求。具体地,所述数据索取请求包括:数据索取方身份信息和数据需求规格,其中,所述数据索取方身份信息包括对应的第一类服务器IP或者其他身份标识,所述数据索取方身份信息用于验证数据索取请求的合法性和确保只有授权的服务器可以发起请求。所述数据需求规格包括对所需训练数据的详细规格,如数据类型、数量、特征等,所述数据需求规格有助于第三类服务器理解和生成符合需求的数据集,确保生成的数据符合深度学习训练的具体要求。同理。针对具有多个深度学习模型的情况,所述第三程序指令包括多个第三子程序指令,任一个第三子程序指令生成对应深度学习模型的数据索取请求。
在一个可选的实施例中,请参见图2,图2为本发明实施例中所提供的第一类服务器、第二类服务器以及第三类服务器分布示意图。如图2所示,步骤S01中所述的第一类服务器包括若干个第一类子服务器,任一个第一类子服务器的存储器中存储有一个深度学习模型的第一程序指令,并存储有训练或者执行该深度学习模型的第二程序指令,还存储有生成该深度学习模型的数据索取请求的第三程序指令。
在本实施例中,任一个第一类子服务器中所存储的第一程序指令、第二程序指令以及第三程序指令,与第一类子服务器中所存储的第一程序指令、第二程序指令以及第三程序指令相同;在其他的一个或者多个实施例中,任一个第一类子服务器中所存储的第一程序指令、第二程序指令以及第三程序指令,与第一类子服务器中所存储的第一程序指令、第二程序指令以及第三程序指令不同。
在又一个实施例中,请参见图1,图1为本发明实施例所提供的基于深度学习训练过程的数据隐私保护方法流程图。如图1所示,所述基于深度学习训练过程的数据隐私保护方法,还包括如下步骤:S02、在所述第二类服务器中,验证所述数据索取请求,并根据验证结果获取第一数据集,加密所述第一数据集,并将加密后的第一数据集发送至第三类服务器。
基于上述实施例中针对本发明步骤S01中所述的第一类服务器的解释,容易理解的是,所述第一类服务器是作为训练数据的需求方生成对应的数据索取请求;进一步地,本发明所述第二类服务器即为训练数据的提供方,该提供方可根据所述数据索取请求中具体内容获取对应的原始训练数据集,即本文所述的第一数据集。
进一步地,在本实施例中,步骤S02所述的在所述第二类服务器中,验证所述数据索取请求,并根据验证结果获取第一数据集,加密所述第一数据集,并将加密后的第一数据集发送至第三类服务器,包括如下步骤:
S021、通过所述数据索取请求中数据索取方身份信息,验证所述数据索取请求的合法性。
进一步地,第二类服务器中可对应设置身份验证机制,通过所述身份验证机制结合数据索取方身份信息以验证第一类服务器的身份信息,进而确保数据索取请求来自合法来源,防止未经授权的访问或潜在的安全风险。具体地,所述身份验证机制包括比对身份白名单、验证数字签名或者检索其他安全协议。
S022、根据所述数据索取请求中数据需求规格,获取满足数据需求规格的第一数据集。
当所述数据索取请求通过了第二类服务器的验证后,第二类服务器将会根据数据索取请求中数据需求规格获取对应的样本数据。进一步地,所述样本数据的类型包括文本、图像、视频等,具体样本数据的类型的深度学习任务和模型的需求。
S023、对所述第一数据集中的任一样本数据进行加密,并将加密后的第一数据集发送至第三类服务器。
在本实施例中,所述样本数据为单通道或者多通道的图像样本。进一步地,步骤S023所述的对所述第一数据集中的任一样本数据进行加密,包括如下步骤:
S0231、根据样本数据的通道信息将所述样本数据展开成一个或者多个通道向量,并基于所述通道向量构建样本数据的表征向量。
基于大小为m×n的单通道图像样本,按照其唯一通道进行展开获得对应的通道向量L1×(m×n);由于单通道图像样本只有一个通道向量,因此,单通道样本数据的表征向量L=L1×(m×n)。
基于大小为m×n的三通道图像样本,将其分别按照第一通道、第二通道以及第三通道进行展开,分别获得第一通道向量第二通道向量/>以及第三通道向量/>其中,(m×n)表示三通道图像样本中任一通道向量中的像素数据个数。进一步地,基于多个通道向量的单通道样本数据,其表征向量/>
同理,基于大小为m×n,α个通道的图像样本,将其分别按照第一通道、第二通道、第三通道、…、第α通道进行展开,分别获得第一通道向量第二通道向量/>第三通道向量/>…、第α通道向量/>其中,(m×n)表示α个通道的图像样本中任一通道向量中的像素数据个数。进一步地,基于多个通道向量的单通道样本数据,其表征向量/>
S0232、基于所述样本数据的通道信息和数据大小,构建随机变形矩阵。
具体地,步骤S0231所述的基于所述样本数据的通道信息和数据大小,构建随机变形矩阵包括如下步骤:基于所述样本数据的通道信息和数据大小构建初始随机变形矩阵,并将所述初始随机变形矩阵扩展为随机变形矩阵。
其中,所述初始随机变形矩阵的大小可根据样本数据的通道信息和数据大小进行随机调整,具体地,所述初始随机变形矩阵满足如下表征模型:θε×ε,其中,ε=(α(m×n))/ω,其中,ε表示初始随机变形矩阵的行数或者列数,α表示样本数据的通道数量,m表示样本数据的行数,n表示样本数据的列数,ω∈N+,ω<<α(m×n)。
进一步地,基于所述初始随机变形矩阵扩展的随机变形矩阵Θ(α(m×n))×(α(m×n)),具体满足如下数据分布模型:其中,Θ(x,y)表示随机变形矩阵Θ(α(m×n))×(α(m×n))在第x行第x列的数据,θx-Nε,y-Nε表示初始随机变形矩阵θε×ε在第x-Nε行和第y-Nε列的数据,N<<ε,具体地,N表示远小于ε的整数。
S0233、结合所述随机变形矩阵和所述表征向量,加密所述样本数据。
在本实施例中,加密后的样本数据满足如下表征模型:Φ=L1×(α(m×n))·Θ(α(m×n))×(α(m×n))。
在又一个实施例中,请参见图1,图1为本发明实施例所提供的基于深度学习训练过程的数据隐私保护方法流程图。如图1所示,所述基于深度学习训练过程的数据隐私保护方法,还包括如下步骤:S03、在所述第三类服务器中,利用加密的第一数据集,生成与第一数据集中数据分布相同的第二数据集,并将所述第二数据集发送至第一类服务器。
为更好实现第三类服务器与第一类服务器以及第二类服务器之间的数据信息传输,所述第三类服务器为云服务器。容易理解的是,云服务器可以提供强大的计算资源和灵活的存储容量,能够适应生成大量深度学习模型训练所需的数据集的运算需求;同时,云服务器通常有高速的网络带宽和优越的连接性,有助于快速而稳定地传输数据;云服务器通常分布在全球各地,能够更好适应布式团队和全球化合作的需求。
在本实施例中,所述第三类服务器包括一个或者多个数据生成模型,任一个所述数据生成模型用于生成与第一数据集中数据分布相同的第二数据集。进一步地,所述数据生成模型可以是生成对抗网络模型,也可以是条件生成对抗网络模型。
其中,生成对抗网络模型(GAN,Generative Adversarial Network)旨在生成与训练数据相似但并非完全相同的新数据,它由生成器(Generator)和判别器(Discriminator)组成,二者通过对抗训练来共同演化,生成对抗网络模型中的生成器在生成数据时不考虑特定的条件或标签。条件生成对抗网络模型(CGAN,Conditional Generative AdversarialNetwork)允许在生成过程中引入条件。生成器接收除了随机噪声之外的额外信息,如类别标签或其他条件信息。在本实施例中,为使得生成的数据带有对应的标签,以供便于后续深度学习模型训练,因此,所述数据生成模型选择为条件生成对抗网络模型。
在又一个实施例中,请参见图1,图1为本发明实施例所提供的基于深度学习训练过程的数据隐私保护方法流程图。如图1所示,所述基于深度学习训练过程的数据隐私保护方法,还包括如下步骤:S04、在所述第一类服务器中,利用所述第二数据集训练所述深度学习模型,并用训练后的深度学习模型识别样本数据标签。
容易理解的是,步骤S04中训练深度学习模型所用的训练集是基于加密后的原始数据生成的第二数据集;因此,相较于直接用原始数据训练出的深度学习模型的识别能力,利用第二数据集训练出的深度学习模型针的识别能力存在差别。为弥补训练数据带来的损失,在本实施例中,步骤S04所述的在所述第一类服务器中,利用所述第二数据集训练所述深度学习模型,并用训练后的深度学习模型识别样本数据标签,还包括如下步骤:
S041、将训练好的深度学习模型中的第一卷积层发送至第二类服务器。
容易理解的是,深度学习模型中包括多个卷积层,进一步地,本发明所述的第一卷积层是指与深度学习输入层连接的第一个卷积层。
S042、在所述第二类服务器中,利用所述随机变形矩阵增强所述第一卷积层,并将增强后的第一卷积层发送至第一类服务器。
在本实施例中,增强后的第一卷积层满足如下模型:C′=Φ·C0,其中,C′表示增强后的第一卷积层,Φ表示随机变形矩阵,C0表示原始的第一卷积层。在第二类服务器中,根据第二服务器的加密操作,通过增强训练好的深度学习模型中的第一卷积层以弥补训练数据带来的损失。
S043、在所述第二服务器中,通过将原始的第一卷积层替换增强后的第一卷积层,获得更新后的深度学习模型,并利用更新后的深度学习模型识别样本数据标签。
更新后的深度学习模型考虑了通过随机变形矩阵引入的额外随机性,提高了模型对于加密数据的适应性。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于深度学习训练过程的数据隐私保护方法,其特征在于,包括如下步骤:
在第一类服务器中,根据深度学习模型的训练任务生成数据索取请求,并将所述数据索取请求发送至第二类服务器;
在所述第二类服务器中,验证所述数据索取请求,并根据验证结果获取第一数据集,加密所述第一数据集,并将加密后的第一数据集发送至第三类服务器;
在所述第三类服务器中,利用加密的第一数据集,生成与第一数据集中数据分布相同的第二数据集,并将所述第二数据集发送至第一类服务器;
在所述第一类服务器中,利用所述第二数据集训练所述深度学习模型,并用训练后的深度学习模型识别样本数据标签。
2.根据权利要求1所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述第一类服务器的存储器中存储有一个或者多个深度学习模型的第一程序指令,并存储有训练或者执行任一个深度学习模型的第二程序指令,还存储有生成任一个深度学习模型的数据索取请求的第三程序指令。
3.根据权利要求2所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述第一类服务器包括若干个第一类子服务器,任一个第一类子服务器的存储器中存储有一个深度学习模型的第一程序指令,并存储有训练或者执行对应深度学习模型的第二程序指令,还存储有生成对应深度学习模型的数据索取请求的第三程序指令。
4.根据权利要求1所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述在所述第二类服务器中,验证所述数据索取请求,并根据验证结果获取第一数据集,加密所述第一数据集,并将加密后的第一数据集发送至第三类服务器,包括如下步骤:
通过所述数据索取请求中数据索取方身份信息,验证所述数据索取请求的合法性;
根据所述数据索取请求中数据需求规格,获取满足数据需求规格的第一数据集;
对所述第一数据集中的任一样本数据进行加密,并将加密后的第一数据集发送至第三类服务器。
5.根据权利要求4所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述对所述第一数据集中的任一样本数据进行加密,包括如下步骤:
根据样本数据的通道信息将所述样本数据展开成一个或者多个通道向量,并基于所述通道向量构建样本数据的表征向量,所述表征向量满足如下表征模型为 其中,L1×(α(m×n))表示通道数量为α,大小为(m×n)的样本数据的表征向量,/>表示样本数据的第一通道向量,/>表示样本数据的第二通道向量,/>表示样本数据的第三通道向量,/>表示样本数据的第α通道向量;
基于所述样本数据的通道信息和数据大小,构建随机变形矩阵,所述随机变形矩阵满足如下表征模型为Θ(α(m×n))×(α(m×n)),其中,α(m×n)表示随机变形矩阵的行数或者列数;
结合所述随机变形矩阵和所述表征向量,加密所述样本数据,加密后的样本数据满足如下表征模型:Φ=L1×(α(m×n))·Θ(α(m×n))×(α(m×n)),Φ表示加密后的样本数据矩阵,L1×(α(m×n))表示样本数据的表征向量。
6.根据权利要求5所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述随机变形矩阵满足如下的数据分布:ε=(α(m×n))/ω,其中,θε×ε表示初始随机变形矩阵,Θ表示随机变形矩阵,ε表示初始随机变形矩阵的行数或者列数,m表示样本数据的行数,n表示样本数据的列数,ω∈N+,ω<<α(m×n),N+表示正整数,Θ(x,y)表示随机变形矩阵在第x行第x列的数据,θx-Nε,y-Nε表示初始随机变形矩阵θε×ε在第x-Nε行和第y-Nε列的数据,N<<ε,N表示整数。
7.根据权利要求1所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述第三类服务器为云服务器。
8.根据权利要求7所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述第三类服务器包括一个或者多个数据生成模型,任一个所述数据生成模型用于生成与第一数据集中数据分布相同的第二数据集。
9.根据权利要求8所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述述数据生成模型包括生成对抗网络模型或者条件生成对抗网络模型。
10.根据权利要求7所述的基于深度学习训练过程的数据隐私保护方法,其特征在于,所述在所述第一类服务器中,利用所述第二数据集训练所述深度学习模型,并用训练后的深度学习模型识别样本数据标签,还包括如下步骤:
将训练好的深度学习模型中的第一卷积层发送至第二类服务器;
在所述第二类服务器中,利用所述随机变形矩阵增强所述第一卷积层,并将增强后的第一卷积层发送至第一类服务器;
在所述第一类服务器中,通过将原始的第一卷积层替换增强后的第一卷积层,获得更新后的深度学习模型,并利用更新后的深度学习模型识别样本数据标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311670970.8A CN117668874B (zh) | 2023-12-07 | 2023-12-07 | 一种基于深度学习训练过程的数据隐私保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311670970.8A CN117668874B (zh) | 2023-12-07 | 2023-12-07 | 一种基于深度学习训练过程的数据隐私保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117668874A true CN117668874A (zh) | 2024-03-08 |
CN117668874B CN117668874B (zh) | 2024-06-07 |
Family
ID=90067717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311670970.8A Active CN117668874B (zh) | 2023-12-07 | 2023-12-07 | 一种基于深度学习训练过程的数据隐私保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117668874B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及*** |
CN112632620A (zh) * | 2020-12-30 | 2021-04-09 | 支付宝(杭州)信息技术有限公司 | 一种增强隐私保护的联邦学习方法和*** |
CN114780999A (zh) * | 2022-06-21 | 2022-07-22 | 广州中平智能科技有限公司 | 一种深度学习数据隐私保护方法、***、设备和介质 |
CN115292728A (zh) * | 2022-07-15 | 2022-11-04 | 浙江大学 | 一种基于生成对抗网络的图像数据隐私保护方法 |
-
2023
- 2023-12-07 CN CN202311670970.8A patent/CN117668874B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及*** |
CN112632620A (zh) * | 2020-12-30 | 2021-04-09 | 支付宝(杭州)信息技术有限公司 | 一种增强隐私保护的联邦学习方法和*** |
CN114780999A (zh) * | 2022-06-21 | 2022-07-22 | 广州中平智能科技有限公司 | 一种深度学习数据隐私保护方法、***、设备和介质 |
CN115292728A (zh) * | 2022-07-15 | 2022-11-04 | 浙江大学 | 一种基于生成对抗网络的图像数据隐私保护方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117668874B (zh) | 2024-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Joint optimization of offloading utility and privacy for edge computing enabled IoT | |
Makri et al. | EPIC: efficient private image classification (or: Learning from the masters) | |
US20210409191A1 (en) | Secure Machine Learning Analytics Using Homomorphic Encryption | |
CN106972927B (zh) | 一种针对不同安全等级的加密方法及*** | |
CN111460453B (zh) | 机器学习训练方法、控制器、装置、服务器、终端和介质 | |
Awan et al. | Secure framework enhancing AES algorithm in cloud computing | |
Gong et al. | Quantum image encryption algorithm based on quantum image XOR operations | |
CN106921493B (zh) | 一种加密方法及*** | |
CN111125727B (zh) | 混淆电路生成方法、预测结果确定方法、装置和电子设备 | |
DE112013000357B4 (de) | System zum Authentifizieren einer Annahme einer Zeichenfolge durch einen Automaten | |
CN106911712B (zh) | 一种应用于分布式***的加密方法及*** | |
US20210150042A1 (en) | Protecting information embedded in a machine learning model | |
WO2014007296A1 (ja) | 順序保存暗号化システム、暗号化装置、復号化装置、暗号化方法、復号化方法およびこれらのプログラム | |
CN112631550A (zh) | 区块链随机数生成方法、装置、设备及计算机存储介质 | |
CN110110535A (zh) | 一种基于像素矩阵的低失真隐写方法 | |
Sirichotedumrong et al. | Privacy-preserving deep neural networks using pixel-based image encryption without common security keys | |
US11133926B2 (en) | Attribute-based key management system | |
US20220271914A1 (en) | System and Method for Providing a Secure, Collaborative, and Distributed Computing Environment as well as a Repository for Secure Data Storage and Sharing | |
CN116069957A (zh) | 一种信息检索方法、装置及设备 | |
Hranický et al. | Distributed password cracking in a hybrid environment | |
CN117668874B (zh) | 一种基于深度学习训练过程的数据隐私保护方法 | |
Mihailescu et al. | Brute-Force and Buffer Overflow Attacks | |
Dinesh et al. | Security aware data transaction using optimized blowfish algorithm in cloud environment | |
US20210173957A1 (en) | Encrypted tag generation device, search query generation device, and searchable encryption system | |
CN114745173B (zh) | 登陆验证方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |