CN113435583B - 基于联邦学习的对抗生成网络模型训练方法及其相关设备 - Google Patents
基于联邦学习的对抗生成网络模型训练方法及其相关设备 Download PDFInfo
- Publication number
- CN113435583B CN113435583B CN202110758657.4A CN202110758657A CN113435583B CN 113435583 B CN113435583 B CN 113435583B CN 202110758657 A CN202110758657 A CN 202110758657A CN 113435583 B CN113435583 B CN 113435583B
- Authority
- CN
- China
- Prior art keywords
- image
- clipping
- gradient
- network model
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000035945 sensitivity Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例属于人工智能领域，应用于智慧安防领域中，涉及一种基于联邦学习的对抗生成网络模型训练方法，包括将随机噪声数据输入至生成器中，得到第一影像生成数集，将影像训练集和第一影像生成集输入至判别器进行判别，得到判别结果，当判别结果不满足预设条件时，对判别器的原始梯度进行裁剪，得到裁剪梯度，并根据裁剪梯度确定添加噪声，根据裁剪梯度以及添加噪声调整判别器的模型参数，根据调整模型参数后的判别器指导更新生成器的模型参数。本申请还提供一种基于联邦学习的对抗生成网络模型训练装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，影像训练集可存储于区块链中。本申请可以有效地保护本地影像数据集的隐私。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于联邦学习的对抗生成网络模型训练方法及其相关设备。
背景技术
随着人工智能在医疗领域的快速发展，尤其是医学图像识别领域有了很多成熟应用，医疗信息化和生物技术不断地发展，医疗数据的类型和规模正以前所未有的速度增长。由于医学影像数据是保密数据，加上法律法规的约束，多家医疗机构想要实现数据互通，扩充病例维度是不可能的。
通过联邦学习能够让各医疗机构影像数据不出本地实现协作与分散化的神经网络训练，打破数据壁垒的同时保护隐私数据。然而在分布式模型训练中攻击者可以从梯度更新中获取参数进行恢复梯度即可得到医学影像数据。目前联邦学习采用的防御方法有梯度裁剪和加噪、权重参数加密等方式，梯度隐私得到了一定程度上的保护，但对于本地数据未采取保护措施，仍有攻击者破解加密权重参数，反推模型获取本地医疗数据集的风险。
发明内容
本申请实施例的目的在于提出一种基于联邦学习的对抗生成网络模型训练方法及其相关设备，以解决相关技术中本地医疗影像数据容易被解密获取，安全性隐私性不高的技术问题。
为了解决上述技术问题，本申请实施例提供一种基于联邦学习的对抗生成网络模型训练方法，采用了如下所述的技术方案：
将随机噪声数据输入至对抗生成网络模型的生成器中，得到第一影像生成集；
将所述影像训练集和所述第一影像生成集输入至所述对抗生成网络模型的判别器中进行判别，得到判别结果；
当所述判别结果不满足预设条件时，对所述判别器的原始梯度进行裁剪，得到裁剪梯度，并根据所述裁剪梯度确定添加噪声的噪声值；
根据所述裁剪梯度以及所述噪声值调整所述判别器的模型参数，并根据调整模型参数后的所述判别器指导更新所述生成器的模型参数；
将与所述噪声值对应的噪声输入至调整参数后的所述生成器中，得到第二影像生成集；
将影像验证集和所述第二影像生成集输入至所述判别器，计算所述对抗生成网络模型的隐私损失值，若所述隐私损失值不在预设范围内，则对所述对抗生成网络模型进行迭代更新，直至所述隐私损失值落入预设范围内。
进一步的，所述将所述影像训练集和所述第一影像生成集输入至所述对抗生成网络模型的判别器中进行判别，得到判别结果的步骤包括：
通过所述判别器对所述影像训练集和所述第一影像生成集进行分类判别，得到分类结果；
根据所述分类结果确定所述判别器鉴别出所述第一影像生成集的鉴别概率；
比较所述鉴别概率和预设概率，得到判别结果。
进一步的，所述对所述判别器的原始梯度进行裁剪，得到裁剪梯度的步骤包括：
获取所述判别器的每层神经网络的原始梯度向量；
基于所述原始梯度向量确定每层所述神经网络对应的裁剪阈值；
根据所述裁剪阈值裁剪所述原始梯度向量得到每层所述神经网络对应的所述裁剪梯度。
进一步的，所述基于所述原始梯度向量计算出每层所述神经网络对应的裁剪阈值的步骤包括：
确定所述原始梯度向量的二阶范数，根据所述二阶范数计算出所述裁剪阈值。
进一步的，所述根据所述裁剪阈值裁剪所述原始梯度向量得到每层所述神经网络对应的所述裁剪梯度的步骤包括：
将所述二阶范数除以所述裁剪阈值得到第一商值；
将所述第一商值与第一数值进行比较，获取所述第一商值与所述第一数值之中的最大值；
计算所述原始梯度向量与所述最大值的比值，得到所述裁剪梯度。
进一步的，所述根据所述裁剪梯度确定添加噪声的步骤包括：
获取所述随机噪声的高斯分布；
根据所述高斯分布和所述裁剪梯度计算得到所述噪声值。
进一步的，所述计算所述对抗生成网络模型的隐私损失值的步骤包括：
根据所述影像训练集和所述第一影像生成数集计算出差分隐私敏感度；
基于所述差分隐私敏感度，采用马尔科夫公式计算出所述隐私损失值。
为了解决上述技术问题，本申请实施例还提供一种基于联邦学习的对抗生成网络模型训练装置，采用了如下所述的技术方案：
生成模块，用于将随机噪声数据输入至对抗生成网络模型的生成器中，得到第一影像生成数集；
判别模块，用于将所述影像训练集和所述第一影像生成集输入至所述对抗生成网络模型的判别器中进行判别，得到判别结果；
裁剪模块，用于当所述判别结果不满足预设条件时，对所述判别器的原始梯度进行裁剪，得到裁剪梯度，并根据所述裁剪梯度确定添加噪声的噪声值；
调整模块，用于根据所述裁剪梯度以及所述添加噪声调整所述判别器的模型参数，并根据调整模型参数后的所述判别器指导更新所述生成器的模型参数；
所述生成模块，还用于将与所述噪声值对应的噪声输入至调整参数后的所述生成器中，得到第二影像生成集；
所述判别模块，还用于将影像验证集和所述第二影像生成集输入至所述判别器，计算所述对抗生成网络模型的隐私损失值，若所述隐私损失值不在预设范围内，则对所述对抗生成网络模型进行迭代更新，直至所述隐私损失值落入预设范围内。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于联邦学习的对抗生成网络模型训练方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于联邦学习的对抗生成网络模型训练方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请通过将随机噪声数据输入至对抗生成网络模型的生成器中，得到第一影像生成数集，然后将影像训练集和第一影像生成集输入至对抗生成网络模型的判别器进行判别，得到判别结果，当判别结果不满足预设条件时，对判别器的原始梯度进行裁剪，得到裁剪梯度，并根据裁剪梯度确定添加噪声的噪声值，根据裁剪梯度以及噪声值调整判别器的模型参数，并根据调整模型参数后的判别器指导更新生成器的模型参数，将影像验证集输入至调整参数后的生成器中，得到第二影像生成集，将影像验证集和第二影像生成集输入至判别器，计算对抗生成网络模型的隐私损失值，若隐私损失值不在预设范围内，则对对抗生成网络模型进行迭代更新，直至隐私损失值落入预设范围内；本申请通过添加随机噪声自学习原始影像数据集的特征后生成第一影像生成集，可以保护原始影像数据集不受到破坏；同时，生成的影像数据集和原始影像数据集不是一一对应的，使得攻击者获取到本地的原始影像数据后无法区分数据的真伪性，可以有效地保护医疗机构影像数据集的隐私；此外，判别器动态调整添加噪声，可以提高判别器的鉴别能力。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2根据本申请的基于联邦学习的对抗生成网络模型训练方法的一个实施例的流程图；
图3是本申请中FA-GAN模型的结构示意图；
图4是根据本申请的基于联邦学习的对抗生成网络模型训练装置的一个实施例的结构示意图；
图5是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
为了解决相关技术中本地医疗影像数据容易被解密获取，安全性隐私性不高的问题，本申请提供了一种基于联邦学习的对抗生成网络模型训练方法，涉及人工智能，可以应用于如图1所示的***架构100中，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于联邦学习的对抗生成网络模型训练方法一般由终端设备执行，相应地，基于联邦学习的对抗生成网络模型训练装置一般设置于终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于联邦学习的对抗生成网络模型训练方法的一个实施例的流程图，包括以下步骤：
步骤S201，将随机噪声数据输入至对抗生成网络模型的生成器中，得到第一影像生成集。
在本实施例中，对抗生成网络模型为FA-GAN(Flexible AdjustmentGenerativeAdversarial Networks，动态隐私调整对抗生成网络)模型，FA-GAN模型是用于联邦学习的本地训练模型，以A医疗机构和B医疗机构参与联邦学习为例对联邦学习的过程进行具体说明，则基于联邦学习的FA-GAN模型包含如下流程：
1)A医疗机构和B医疗机构利用各自的病例数据库在本地进行FA-GAN模型训练；
2)A医疗机构和B医疗机构将各自训练好的模型参数和权重上传到中心服务器；
3)中心服务器将接收到的两方本地模型的权重信息进行汇总，在中心服务器上进行联合训练，生成全局模型；
4)中心服务器将全局模型的模型参数更新后发送给参与的A医疗机构和B医疗机构，A医疗机构和B医疗机构分别进行模型参数更新；
5)重复上述4个步骤，直到满足停止条件为止。
在本实施例中，FA-GAN模型的结构示意图参见图3所示，FA-GAN模型包括生成器和判别器，为了保证联邦学习过程中本地影像数据集的安全性，通过FA-GAN模型的生成器自动学习原始影像数据集的特征，重写数据集，训练过程中判别器动态调整噪声规模来指导生成器，在不影响最终模型训练效果下提高本地影像数据集的可用性和隐私性。
随机噪声数据来自预先定义的噪音分布的噪音样本，一般是一个简单容易采样的分布，如均匀分布(Uniform(-1,1))或者是高斯分布(Gaussian(0,1))。在本实施例中，可以从符合高斯分布中采样，得到随机噪声数据，然后将随机噪声数据输入至生成器中，作为生成器生成第一影像生成集的基础数据。
将随机噪声数据输入至生成器中，生成器自学习原始影像数据集的数据特征，输出与原始影像数据集高度相似的第一影像生成集。
步骤S202，将影像训练集和第一影像生成集输入至对抗生成网络模型的判别器中进行判别，得到判别结果。
在本实施例中，获取医疗机构本地的原始影像数据集，将原始影像数据集按照预设比例分成影像训练集和影像验证集，例如，假设原始影像数据集包含有70000张影像，将60000张影像作为影像训练集，10000张影像作为影像验证集。然后，将影像训练集均分为N个训练批，其中，N为大于零的自然数。
将影像训练集按照批次输入至判别器，由判别器对输入的影像训练集和第一影像生成集进行区分，并给出是真(来自真实数据影像训练集)还是伪(来自生成器的生成数据第一影像生成集)。
具体地，通过判别器对影像训练集和第一影像生成集进行分类判别，得到分类结果，根据分类结果确定判别器鉴别出第一影像生成集的鉴别概率，比较鉴别概率和预设概率，得到判别结果。
其中，判别器是用于图像特征提取的GCN(Graph Convolutional Network，图卷积网络)，它包括嵌入层、卷积层、池化层和softmax层，因训练过程中判别器会接触原始影像数据集，记住某些训练样本，增加了受到攻击的风险。为了保证本地影像数据的安全性，通过自适应裁剪梯度和动态分配噪声提高自身鉴别能力，即降低判别器对原始影像数据集的记忆程度，提高判别器的鉴别能力，判别器对原始影像数据集的记忆程度越低，越能区分影像训练集和影像生成集，鉴别能力越强。
判别器对输入的影像训练集和第一影像生成集进行分类，输出属于真实样本的概率，其中，真实样本为影像训练集。
一般采用Sigmoid函数作为判别器的输出层，如果判别器的输出接近1，则判断当前数据来自真实数据集；如果判别器的输出接近0，则判断当前数据来自生成器生成的模拟数据。在本实施例中，如果输出的概率满足预设范围，则说明判别器的鉴别能力满足要求，否则，对FA-GAN模型进行梯度裁剪以及确定添加噪声的噪声值大小，将判别结果反馈给生成器并指导生成器的更新。这样，影像数据集经过FA-GAN模型处理后，攻击者无法判别数据集是否加入噪声，即无法区分数据的真伪性，从而保护了本地数据的安全性。
需要强调的是，为进一步保证影像训练集的私密和安全性，上述影像训练集还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
步骤S203，当判别结果不满足预设条件时，对判别器的原始梯度进行裁剪，得到裁剪梯度，并根据裁剪梯度确定添加噪声。
具体地，获取判别器的每层神经网络的原始梯度向量，基于原始梯度向量确定每层神经网络对应的裁剪阈值，根据裁剪阈值裁剪原始梯度向量得到每层神经网络对应的裁剪梯度。
在本实施例的一些可选的实现方式中，基于原始梯度向量确定每层神经网络对应的裁剪阈值的步骤具体为：
确定原始梯度向量的二阶范数，根据二阶范数计算出裁剪阈值。
在本实施例中，二阶范数即为2-范数。原始梯度向量为g(xi)，计算原始梯度向量的2-范数，即║g(xi)║2，根据2-范数计算出裁剪阈值，需要说明的是，每轮迭代都会产生一个原始梯度向量，确定N个原始梯度向量中对应于第m层神经网络的N个2-范数，将N个2-范数的平均值确定为裁剪阈值，具体公式如下：
其中，N为当前输入的第N批影像训练集，m为判别器中第m层神经网络。
在本实施例中，根据裁剪阈值裁剪原始梯度向量得到每层神经网络对应的裁剪梯度的步骤具体如下：
将二阶范数除以裁剪阈值得到第一商值；
将第一商值与第一数值进行比较，获取第一商值与第一数值之中的最大值；
计算原始梯度向量与最大值的比值，得到裁剪梯度。
将影像训练集和第一影像生成集输入FA-GAN模型，对FA-GAN模型进行训练，可以得到每轮迭代的裁剪阈值Cxi，根据原始梯度向量g(xi)，则可计算出该轮迭代中第m层的裁剪梯度具体采用的计算公式如下：
其中，xi为第i批影像训练集；g(xi)为用第i批影像训练集进行训练得到的第m层神经网络层的原始梯度向量。
在本实施例的一些可选的实现方式中，根据裁剪梯度确定添加噪声的实现步骤如下：
获取随机噪声的高斯分布；
根据高斯分布和裁剪梯度计算得到添加噪声的噪声值。
添加噪声的噪声值具体采用的计算公式如下：
其中xi为第i批影像训练集，σ为噪声规模，即噪声值，C为梯度阈值，为根据裁剪阈值裁剪后的裁剪梯度，S为影像训练集数据的数量，N(0,σ2C2l)表示噪声服从均值为0，方差为σ2C2l的高斯分布，l为维数与样本数量以及梯度数量相关的单位矩阵，用于噪声添加矩阵运算。
步骤S204，根据裁剪梯度以及噪声值调整判别器的模型参数，并根据调整模型参数后的判别器指导更新生成器的模型参数。
具体地，根据每层神经网络层的裁剪阈值对每层神经网络层的原始梯度向量进行裁剪，得到每层神经网络层的裁剪梯度，并根据噪声值动态调整判别器的需要添加的噪声，最后根据裁剪梯度和调整后的噪声调整判别器的模型参数，基于调整模型参数后的判别器指导生成器更新其对应的模型参数。
在本实施例中，通过差分隐私对FA-GAN模型训练过程中的本地数据进行隐私保护。采用差分隐私，需要给定一个目标隐私预算，对于给定的目标隐私预算，每一轮的噪声添加都会造整体的隐私预算消耗。根据预先设置的学习率以及在梯度中添加的噪声调整判别器的模型参数，使得模型参数的调整满足差分隐私。
步骤S205，将与噪声值对应的噪声输入至调整参数后的生成器中，得到第二影像生成集。
确定添加的噪声值后，将与噪声值对应的噪声输入至调整参数后的生成器中，生成器自学习原始影像数据集的数据特征，输出与原始影像数据集高度相似的第二影像生成集。
步骤S206，将影像验证集和第二影像生成集输入至判别器，计算对抗生成网络模型的隐私损失值，若隐私损失值不在预设范围内，则对对抗生成网络模型进行迭代更新，直至隐私损失值落入预设范围内。
影像验证集用于验证训练的FA-GAN模型，将影像验证集和第二影像生成集输入至判别器进行验证。
在本实施例中，通过计算隐私损失值来确认FA-GAN模型是否训练完成。
具体地，计算对抗生成网络模型的隐私损失值的步骤如下：
根据影像训练集和第一影像生成数集计算出差分隐私敏感度；
基于差分隐私敏感度，采用马尔科夫公式计算出隐私损失值。
梯度的裁剪和噪声添加会带来敏感度的估计问题，敏感度度决定了需要向其结果中添加多少随机噪声以实现差分隐私，差分隐私作为一种隐私保护方法，用来保护本地数据的安全性，避免数据泄露。
在本实施例中，差分隐私敏感度采用如下计算公式：
其中，D表示该网络层未添加噪声的数据集，即影像验证集；D′表示该神经网络层已经添加过噪声的数据集，即第二影像生成集；f(D)表示未添加噪声的敏感度；f(D′)表示已经添加过噪声的敏感度。
根据差分隐私敏感度，每一轮添加噪声都会影响整体的隐私预算消耗，需要精确估计每一次的消耗达到整体隐私预算消耗最低。
隐私损失值的计算公式如下：
其中，M是一个给定的随机制算法，，d、d’是一对相邻的数据集，aux表示辅助输入，o是输出结果，满足o∈R；Pr(M(aux,d)＝o)表示输出属于数据集d的概率；Pr(M(aux,d’)＝o)表示输出属于数据集d’的概率。该公式可以得到在目标梯度隐私预算消耗下，隐私损失值的变化，根据隐私损失值的变化衡量添加的噪声在整体模型上的表现，随着训练轮数的增加，分层梯度裁剪和动态噪声调整在训练过程和最终结果上都有更好的效果，最终动态调整为最优隐私预算分配。
需要说明的是，隐私损失值需要尽可能最小化，以得到较好的隐私保护效果。
本申请通过添加随机噪声自学习原始影像数据集的特征后生成第一影像生成集，可以保护原始影像数据集不受到破坏；同时，生成的影像数据集和原始影像数据集不是一一对应的，使得攻击者获取到本地的原始影像数据后无法区分数据的真伪性，可以有效地保护医疗机构影像数据集的隐私；此外，判别器动态调整添加噪声，可以提高判别器的鉴别能力。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请可应用于智慧安防领域中，从而推动智慧城市的建设。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图4，作为对上述图2所示方法的实现，本申请提供了一种基于联邦学习的对抗生成网络模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例所述的基于联邦学习的对抗生成网络模型训练装置400包括：生成模块401、判别模块402、裁剪模块403、调整模块404。
其中：
生成模块401用于将随机噪声数据输入至对抗生成网络模型的生成器中，得到第一影像生成数集；
判别模块402用于将所述影像训练集和所述第一影像生成集输入至所述对抗生成网络模型的判别器中进行判别，得到判别结果；
裁剪模块403用于当所述判别结果不满足预设条件时，对所述判别器的原始梯度进行裁剪，得到裁剪梯度，并根据所述裁剪梯度确定添加噪声的噪声值；
调整模块404用于根据所述裁剪梯度以及所述噪声值调整所述判别器的模型参数，并根据调整模型参数后的所述判别器指导更新所述生成器的模型参数；
生成模块401还用于将与所述噪声值对应的噪声输入至调整参数后的所述生成器中，得到第二影像生成集；
判别模块402还用于将影像验证集和所述第二影像生成集输入至所述判别器，计算所述对抗生成网络模型的隐私损失值，若所述隐私损失值不在预设范围内，则对所述对抗生成网络模型进行迭代更新，直至所述隐私损失值落入预设范围内。
需要强调的是，为进一步保证影像训练集的私密和安全性，上述影像训练集还可以存储于一区块链的节点中。
上述基于联邦学习的对抗生成网络模型训练装置，通过添加随机噪声自学习原始影像数据集的特征后生成第一影像生成集，可以保护原始影像数据集不受到破坏；同时，生成的影像数据集和原始影像数据集不是一一对应的，使得攻击者获取到本地的原始影像数据后无法区分数据的真伪性，可以有效地保护医疗机构影像数据集的隐私；此外，判别器动态调整添加噪声，可以提高判别器的鉴别能力。
在本实施例中，判别模块402进一步用于：
通过所述判别器对所述影像训练集和所述第一影像生成集进行分类判别，得到分类结果；
根据所述分类结果确定所述判别器鉴别出所述第一影像生成集的鉴别概率；
比较所述鉴别概率和预设概率，得到判别结果。
在本实施例中，裁剪模块403进一步用于：
获取所述判别器的每层神经网络的原始梯度向量；
基于所述原始梯度向量确定每层所述神经网络对应的裁剪阈值；
根据所述裁剪阈值裁剪所述原始梯度向量得到每层所述神经网络对应的所述裁剪梯度。
在本实施例的一些可选的实现方式中，裁剪模块403还用于确定所述原始梯度向量的二阶范数，根据所述二阶范数计算出所述裁剪阈值。
在本实施例的一些可选的实现方式中，裁剪模块403还进一步用于：
将所述二阶范数除以所述裁剪阈值得到第一商值；
将所述第一商值与第一数值进行比较，获取所述第一商值与所述第一数值之中的最大值；
计算所述原始梯度向量与所述最大值的比值，得到所述裁剪梯度。
在本实施例中，裁剪模块403用于：
获取所述随机噪声的高斯分布；
根据所述高斯分布和所述裁剪梯度计算得到所述噪声值。
在本实施例中，判别模块402还包括计算子模块，用于计算子模块：
根据所述影像训练集和所述第一影像生成数集计算出差分隐私敏感度；
基于所述差分隐私敏感度，采用马尔科夫公式计算出所述隐私损失值。
本实施例通过计算隐私损失值，隐私损失值的变化，根据隐私损失值的变化衡量添加的噪声在整体模型上的表现，随着训练轮数的增加，分层梯度裁剪和动态噪声调整在训练过程和最终结果上都有更好的效果，最终动态调整为最优隐私预算分配。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
所述计算机设备5包括通过***总线相互通信连接存储器51、处理器52、网络接口53。需要指出的是，图中仅示出了具有组件51-53的计算机设备5，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器51至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器51可以是所述计算机设备5的内部存储单元，例如该计算机设备5的硬盘或内存。在另一些实施例中，所述存储器51也可以是所述计算机设备5的外部存储设备，例如该计算机设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器51还可以既包括所述计算机设备5的内部存储单元也包括其外部存储设备。本实施例中，所述存储器51通常用于存储安装于所述计算机设备5的操作***和各类应用软件，例如基于联邦学习的对抗生成网络模型训练方法的计算机可读指令等。此外，所述存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器52在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制所述计算机设备5的总体操作。本实施例中，所述处理器52用于运行所述存储器51中存储的计算机可读指令或者处理数据，例如运行所述基于联邦学习的对抗生成网络模型训练方法的计算机可读指令。
所述网络接口53可包括无线网络接口或有线网络接口，该网络接口53通常用于在所述计算机设备5与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例基于联邦学习的对抗生成网络模型训练方法的步骤，通过添加随机噪声自学习原始影像数据集的特征后生成第一影像生成集，可以保护原始影像数据集不受到破坏；同时，生成的影像数据集和原始影像数据集不是一一对应的，使得攻击者获取到本地的原始影像数据后无法区分数据的真伪性，可以有效地保护医疗机构影像数据集的隐私；此外，判别器动态调整添加噪声，可以提高判别器的鉴别能力。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于联邦学习的对抗生成网络模型训练方法的步骤，通过添加随机噪声自学习原始影像数据集的特征后生成第一影像生成集，可以保护原始影像数据集不受到破坏；同时，生成的影像数据集和原始影像数据集不是一一对应的，使得攻击者获取到本地的原始影像数据后无法区分数据的真伪性，可以有效地保护医疗机构影像数据集的隐私；此外，判别器动态调整添加噪声，可以提高判别器的鉴别能力。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于联邦学习的对抗生成网络模型训练方法，其特征在于，包括下述步骤：
将随机噪声数据输入至对抗生成网络模型的生成器中自学习原始影像数据集的数据特征，得到与原始影像数据集相似的第一影像生成集，所述随机噪声数据作为生成器生成第一影像生成集的基础数据；
将影像训练集和所述第一影像生成集输入至所述对抗生成网络模型的判别器中进行判别，得到判别结果；
当所述判别结果不满足预设条件时，对所述判别器的原始梯度进行裁剪，得到裁剪梯度，并根据所述裁剪梯度确定添加噪声的噪声值；
根据所述裁剪梯度以及所述噪声值调整所述判别器的模型参数，并根据调整模型参数后的所述判别器指导更新所述生成器的模型参数；
将与所述噪声值对应的噪声输入至调整参数后的所述生成器中自学习原始影像数据集的数据特征，得到与原始影像数据集相似的第二影像生成集；
将影像验证集和所述第二影像生成集输入至所述判别器，计算所述对抗生成网络模型的隐私损失值，若所述隐私损失值不在预设范围内，则对所述对抗生成网络模型进行迭代更新，直至所述隐私损失值落入预设范围内；
其中，所述裁剪梯度的计算公式如下：；
其中，为第i批影像训练集；/>为用第i批影像训练集进行训练得到的第m层神经网络层的原始梯度向量；/>为裁剪阈值，计算公式为/>，其中，N为当前输入的第N批影像训练集，m为判别器中第m层神经网络。
2.根据权利要求1所述的基于联邦学习的对抗生成网络模型训练方法，其特征在于，所述将影像训练集和所述第一影像生成集输入至对抗生成网络模型的判别器中进行判别，得到判别结果的步骤包括：
通过所述判别器对所述影像训练集和所述第一影像生成集进行分类判别，得到分类结果；
根据所述分类结果确定所述判别器鉴别出所述第一影像生成集的鉴别概率；
比较所述鉴别概率和预设概率，得到判别结果。
3.根据权利要求1所述的基于联邦学习的对抗生成网络模型训练方法，其特征在于，所述对所述判别器的原始梯度进行裁剪，得到裁剪梯度的步骤包括：
获取所述判别器的每层神经网络的原始梯度向量；
基于所述原始梯度向量确定每层所述神经网络对应的裁剪阈值；
根据所述裁剪阈值裁剪所述原始梯度向量得到每层所述神经网络对应的所述裁剪梯度。
4.根据权利要求3所述的基于联邦学习的对抗生成网络模型训练方法，其特征在于，所述基于所述原始梯度向量计算出每层所述神经网络对应的裁剪阈值的步骤包括：
确定所述原始梯度向量的二阶范数，根据所述二阶范数计算出所述裁剪阈值。
5.根据权利要求4所述的基于联邦学习的对抗生成网络模型训练方法，其特征在于，所述根据所述裁剪阈值裁剪所述原始梯度向量得到每层所述神经网络对应的所述裁剪梯度的步骤包括：
将所述二阶范数除以所述裁剪阈值得到第一商值；
将所述第一商值与第一数值进行比较，获取所述第一商值与所述第一数值之中的最大值，其中，所述第一数值为1；
计算所述原始梯度向量与所述最大值的比值，得到所述裁剪梯度。
6.根据权利要求5所述的基于联邦学习的对抗生成网络模型训练方法，其特征在于，所述根据所述裁剪梯度确定添加噪声的步骤包括：
获取所述随机噪声的高斯分布；
根据所述高斯分布和所述裁剪梯度计算得到所述噪声值。
7.根据权利要求1所述的基于联邦学习的对抗生成网络模型训练方法，其特征在于，所述计算所述对抗生成网络模型的隐私损失值的步骤包括：
根据所述影像训练集和所述第一影像生成集计算出差分隐私敏感度；
基于所述差分隐私敏感度，采用马尔科夫公式计算出所述隐私损失值。
8.一种基于联邦学习的对抗生成网络模型训练装置，其特征在于，包括：
生成模块，用于将随机噪声数据输入至对抗生成网络模型的生成器中自学习原始影像数据集的数据特征，得到与原始影像数据集相似的第一影像生成集，所述随机噪声数据作为生成器生成第一影像生成集的基础数据；
判别模块，用于将影像训练集和所述第一影像生成集输入至所述对抗生成网络模型的判别器中进行判别，得到判别结果；
裁剪模块，用于当所述判别结果不满足预设条件时，对所述判别器的原始梯度进行裁剪，得到裁剪梯度，并根据所述裁剪梯度确定添加噪声的噪声值；
调整模块，用于根据所述裁剪梯度以及所述噪声值调整所述判别器的模型参数，并根据调整模型参数后的所述判别器指导更新所述生成器的模型参数；
所述生成模块，还用于将与所述噪声值对应的噪声输入至调整参数后的所述生成器中自学习原始影像数据集的数据特征，得到与原始影像数据集相似的第二影像生成集；
所述判别模块，还用于将影像验证集和所述第二影像生成集输入至所述判别器，计算所述对抗生成网络模型的隐私损失值，若所述隐私损失值不在预设范围内，则对所述对抗生成网络模型进行迭代更新，直至所述隐私损失值落入预设范围内；
其中，所述裁剪梯度的计算公式如下：；
其中，为第i批影像训练集；/>为用第i批影像训练集进行训练得到的第m层神经网络层的原始梯度向量；/>为裁剪阈值，计算公式为/>，其中，N为当前输入的第N批影像训练集，m为判别器中第m层神经网络。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于联邦学习的对抗生成网络模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的对抗生成网络模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758657.4A CN113435583B (zh) | 2021-07-05 | 2021-07-05 | 基于联邦学习的对抗生成网络模型训练方法及其相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758657.4A CN113435583B (zh) | 2021-07-05 | 2021-07-05 | 基于联邦学习的对抗生成网络模型训练方法及其相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435583A CN113435583A (zh) | 2021-09-24 |
| CN113435583B true CN113435583B (zh) | 2024-02-09 |
Family
ID=77759113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110758657.4A Active CN113435583B (zh) | 2021-07-05 | 2021-07-05 | 基于联邦学习的对抗生成网络模型训练方法及其相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435583B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114169007B (zh) * | 2021-12-10 | 2024-05-14 | 西安电子科技大学 | 基于动态神经网络的医疗隐私数据识别方法 |
| CN113961967B (zh) * | 2021-12-13 | 2022-03-22 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护联合训练自然语言处理模型的方法及装置 |
| CN114912624A (zh) * | 2022-04-12 | 2022-08-16 | 支付宝(杭州)信息技术有限公司 | 针对业务模型的纵向联邦学习方法及装置 |
| CN115359547A (zh) * | 2022-06-30 | 2022-11-18 | 商汤集团有限公司 | 图像处理网络的训练方法、图像处理方法及装置 |
| CN115426205B (zh) * | 2022-11-05 | 2023-02-10 | 北京淇瑀信息科技有限公司 | 一种基于差分隐私的加密数据生成方法及装置 |
| CN117788983B (zh) * | 2024-02-28 | 2024-05-24 | 青岛海尔科技有限公司 | 基于大模型的图像数据处理方法及装置、存储介质 |
| CN117936011A (zh) * | 2024-03-19 | 2024-04-26 | 泰山学院 | 一种基于大数据的智慧医疗服务管理*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000158204A (ja) * | 1998-11-24 | 2000-06-13 | Mitsubishi Materials Corp | 硬質被覆層がすぐれた耐チッピング性を発揮する表面被覆超硬合金製切削工具 |
| CN110147797A (zh) * | 2019-04-12 | 2019-08-20 | 中国科学院软件研究所 | 一种基于生成式对抗网络的草图补全与识别方法和装置 |
| CN110969243A (zh) * | 2019-11-29 | 2020-04-07 | 支付宝(杭州)信息技术有限公司 | 防止隐私泄漏的对抗生成网络的训练方法及装置 |
| WO2020134704A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、终端、***及介质 |
| CN112070209A (zh) * | 2020-08-13 | 2020-12-11 | 河北大学 | 基于w距离的稳定可控图像生成模型训练方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210049298A1 (en) * | 2019-08-14 | 2021-02-18 | Google Llc | Privacy preserving machine learning model training |
-
2021
- 2021-07-05 CN CN202110758657.4A patent/CN113435583B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000158204A (ja) * | 1998-11-24 | 2000-06-13 | Mitsubishi Materials Corp | 硬質被覆層がすぐれた耐チッピング性を発揮する表面被覆超硬合金製切削工具 |
| WO2020134704A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、终端、***及介质 |
| CN110147797A (zh) * | 2019-04-12 | 2019-08-20 | 中国科学院软件研究所 | 一种基于生成式对抗网络的草图补全与识别方法和装置 |
| CN110969243A (zh) * | 2019-11-29 | 2020-04-07 | 支付宝(杭州)信息技术有限公司 | 防止隐私泄漏的对抗生成网络的训练方法及装置 |
| CN112070209A (zh) * | 2020-08-13 | 2020-12-11 | 河北大学 | 基于w距离的稳定可控图像生成模型训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向深度神经网络训练的数据差分隐私保护随机梯度下降算法;李英;贺春林;;计算机应用与软件(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435583A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113435583B (zh) | 基于联邦学习的对抗生成网络模型训练方法及其相关设备 | |
| CN112101172B (zh) | 基于权重嫁接的模型融合的人脸识别方法及相关设备 | |
| CN112148987B (zh) | 基于目标对象活跃度的消息推送方法及相关设备 | |
| WO2022126970A1 (zh) | 金融欺诈风险识别方法、装置、计算机设备及存储介质 | |
| CN112256874A (zh) | 模型训练方法、文本分类方法、装置、计算机设备和介质 | |
| CN112863683B (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
| CN112528025A (zh) | 基于密度的文本聚类方法、装置、设备及存储介质 | |
| CN110929799B (zh) | 用于检测异常用户的方法、电子设备和计算机可读介质 | |
| CN110162993B (zh) | 脱敏处理方法、模型训练方法、装置和计算机设备 | |
| CN112287244A (zh) | 基于联邦学习的产品推荐方法、装置、计算机设备及介质 | |
| CN112035549B (zh) | 数据挖掘方法、装置、计算机设备及存储介质 | |
| WO2022105117A1 (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN112668482B (zh) | 人脸识别训练方法、装置、计算机设备及存储介质 | |
| CN112149699B (zh) | 用于生成模型的方法、装置和用于识别图像的方法、装置 | |
| CN112288163A (zh) | 目标对象的目标因子预测方法及相关设备 | |
| CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
| CN111639360A (zh) | 智能数据脱敏方法、装置、计算机设备及存储介质 | |
| CN117349899B (zh) | 基于遗忘模型的敏感数据处理方法、***及存储介质 | |
| CN112733181B (zh) | 一种产品推荐方法、***、计算机设备及存储介质 | |
| CN116776150A (zh) | 接口异常访问识别方法、装置、计算机设备及存储介质 | |
| WO2022142032A1 (zh) | 手写签名校验方法、装置、计算机设备及存储介质 | |
| CN112967044B (zh) | 一种支付业务的处理方法及装置 | |
| CN115099875A (zh) | 基于决策树模型的数据分类方法及相关设备 | |
| CN114117037A (zh) | 意图识别方法、装置、设备和存储介质 | |
| CN112071331A (zh) | 语音文件修复方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |