CN113435592B - 一种隐私保护的神经网络多方协作无损训练方法及*** - Google Patents

一种隐私保护的神经网络多方协作无损训练方法及*** Download PDF

Info

Publication number
CN113435592B
CN113435592B CN202110560355.6A CN202110560355A CN113435592B CN 113435592 B CN113435592 B CN 113435592B CN 202110560355 A CN202110560355 A CN 202110560355A CN 113435592 B CN113435592 B CN 113435592B
Authority
CN
China
Prior art keywords
training
model
aggregation server
parameters
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110560355.6A
Other languages
English (en)
Other versions
CN113435592A (zh
Inventor
朱辉
赵家奇
胡国靖
王枫为
季琰
徐奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
Xidian University
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, China Mobile Suzhou Software Technology Co Ltd filed Critical Xidian University
Priority to CN202110560355.6A priority Critical patent/CN113435592B/zh
Publication of CN113435592A publication Critical patent/CN113435592A/zh
Application granted granted Critical
Publication of CN113435592B publication Critical patent/CN113435592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/54—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by adding security routines or objects to programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Storage Device Security (AREA)

Abstract

本发明属于信息安全技术领域，公开了一种隐私保护的神经网络多方协作无损训练方法及***，***初始化，可信中心生成并分发***参数、参与方私钥和聚合服务器私钥，聚合服务器生成神经网络模型和训练中的超参数；模型扰动和分发，聚合服务器对全局模型参数进行裁剪和打乱，并下发扰动后的模型；参与方用本地数据对收到的模型参数进行随机梯度下降训练，获得本地更新，并使用参与方私钥对本地更新进行加密后上传给聚合服务器；聚合服务器对收到的各密文本地更新进行聚合、聚合服务器私钥解密，得到聚合更新，并通过模型恢复得到新的全局模型参数。本发明能够实现对训练期间本地更新和全局模型参数中的敏感数据信息的隐私保护。

Description

一种隐私保护的神经网络多方协作无损训练方法及***
技术领域
本发明属于信息安全技术领域，尤其涉及一种隐私保护的神经网络多方协作无损训练方法及***。
背景技术
近年来，神经网络在自然语言处理、计算机视觉和人机游戏等许多领域得到了广泛的应用，给人们的生活带来了极大的便利。与此同时，由于分布式设备生成的数据量***性增长，再加上数据收集的隐私问题，Google提出了联邦学习的方法，它可以在不共享本地数据的前提下在多个参与方的本地数据上协作训练高质量的神经网络模型。在联邦学习的每轮训练中，参与方用自己的数据对全局模型参数进行训练，然后将获得的本地更新发送到聚合服务器，以更新全局模型参数。然而在上述过程中，聚合服务器和参与方之间交换的本地更新和全局模型参数中仍包含参与方的敏感数据信息，面临着成员推断、类属性推断和特征推断等多种推断攻击的威胁，存在着隐私泄露的风险。为了找出一种解决上述问题的方法，人们提出了一些解决方案，其中包括：
索信达(北京)数据技术有限公司申请的专利“一种基于联邦学习的模型训练方法及***”(申请号CN202110015272.9公开号CN112333216A)公开了一种基于联邦学习的模型训练方法及***，基于安全聚合算法，该方法可以保证模型训练精度，同时保护参与方的隐私数据。该方法的不足之处在于：需要各参与方间点对点建立连接，应用场景受限；精确的全局模型在每轮训练中被下发给各参与方，仍然面临着推断攻击的风险，存在安全性不足的问题。
支付宝(杭州)信息技术有限公司申请的专利“基于差分隐私的联邦学习方法、装置及电子设备”(申请号CN202011409580.1公开号CN112541592A)公开了一种基于差分隐私的联邦学习方法及装置、电子设备，能够提高联邦学习过程中的通讯效率，从而提高了联邦学习的效率。该方法的不足之处在于：需要向本地更新中加入差分隐私噪声，会影响训练模型的精度。
解决以上问题及缺陷的难度为：神经网络模型的结构复杂，基于同态加密构造密文模型训练方法非常困难。基于差分隐私等扰动方法构造的模型聚合和更新方法，存在着隐私性和可用性的平衡问题。神经网络模型的规模庞大，训练模型耗时较长，传输模型参数时需要稳定的连接和充足的带宽，因此存在通信和计算开销上的问题。
解决以上问题及缺陷的意义为：针对分布式场景中的数据安全问题，面向神经网络模型设计一种隐私保护的多方协作无损训练方法及***，安全且精确地训练高质量的神经网络联合模型，在隐私保护的前提下充分发挥用户数据的巨大应用价值。
为了解决以上问题及缺陷，本发明采取的措施包括：
(1)本发明采用安全聚合方法使聚合服务器在联邦学习过程中无法获得参与方的本地更新，并通过神经元裁剪和打乱改变全局模型参数的顺序和数值，使参与方无法通过比较连续的全局模型参数来推断其他参与方的敏感数据，解决了模型训练中安全性不足的问题。
(2)本发明中采用的模型扰动方法只会修剪并合并神经网络中的冗余神经元，不会造成模型精度的损失，解决了差分隐私方法带来的模型精度损失问题。
(3)本发明通过采用秘密共享技术，即使某些参与方在训练中途退出，聚合服务器仍可以汇总参与方的本地更新。
发明内容
针对现有技术存在的问题，本发明提供了一种隐私保护的神经网络多方协作无损训练方法及***。
本发明是这样实现的，一种隐私保护的神经网络多方协作无损训练方法，所述隐私保护的神经网络多方协作无损训练方法包括：
***初始化，用于生成***所需的参数。可信中心生成并分发***参数、参与方私钥和聚合服务器私钥，聚合服务器生成神经网络模型和训练中的超参数；
模型扰动和分发，用于保护全局模型中的隐私数据信息。聚合服务器对全局模型参数进行裁剪和打乱，并下发扰动后的模型；
本地训练和加密，用于保护本地更新中的隐私数据信息。参与方用本地数据对收到的模型参数进行随机梯度下降训练，获得本地更新，并使用参与方私钥对本地更新进行加密后上传给聚合服务器；
安全聚合和模型恢复，用于对全局模型进行无损更新。聚合服务器对收到的各密文本地更新进行聚合、聚合服务器私钥解密，得到聚合更新，并通过模型恢复得到新的全局模型参数。
进一步，所述***初始化具体包括：
(1)可信中心接收来自参与方的参与训练请求，生成参与方列表列表中的每一个参与方表示为Pi(i＝1，2，...，n)；
(2)可信中心选择安全参数κ和参与方门限t(t＜n)。其中κ表示***达到的安全等级，t表示完成模型训练所需的最小参与方个数；
(3)可信中心生成并分发***所需的公共参数和密钥：
1)可信中心生成Paillier密码***的参数，包括密钥λ和公共参数(g，N)；
2)可信中心选择大素数p′并计算h＝gp′modN2；
3)可信中心发布公共参数PP＝＜κ，t，S，g，h，N＞，其中S表示列表的大小；
4)可信中心向聚合服务器发送聚合服务器私钥SK＝＜λ，p′＞；
5)可信中心选择t-1个随机数构造多项式f(x)＝a1·x+a2·x2+…+at-1·xt-1modp；
6)可信中心对于所有计算/>并发送给相应的Pi；
(4)聚合服务器生成并公布模型训练所需的参数：
1)聚合服务器随机生成全局神经网络模型参数Wg＝{W0，W1，...，Wh}；
2)聚合服务器选择模型扰动的参数和/>其中Np表示神经元裁剪的个数，Ns表示神经元打乱的次数；
3)聚合服务器选择模型训练的超参数，包括学习率α和本地训练次数E；
(5)***初始化完成后，可信中心保持离线状态，参与方和聚合服务器共同执行以下模型训练流程直到模型达到收敛。
进一步，所述所述模型扰动和分发具体包括：
(1)对于全局模型的第l层(l＝1，...，h)，聚合服务器计算两两神经元对之间的距离，构成距离矩阵ζ并迭代地裁剪个神经元：
1)聚合服务器找到矩阵ζ中的最小值，它的坐标记作(m，n)；
2)聚合服务器将第n个神经元删除并将其融合到第m个神经元上，具体包括：删除矩阵Wl的第n列，通过公式更新矩阵Wl+1的第m行，以及删除矩阵Wl+1的第n行；
3)聚合服务器通过删除ζ的第m行和第m列，以及重新计算ζ的第n列，更新距离矩阵ζ；
(2)对于全局模型的第l层(l＝1，...，h)，聚合服务器进行次随机神经元打乱(为打乱顺序的记录)：
1)聚合服务器随机生成一对值(i，j)并记录到中；
2)聚合服务器交换矩阵Wl的第i列和第j列，交换矩阵Wl+1的第i行和第j行；
3)聚合服务器将扰动后的全局模型参数分发给中的每一个参与方Pi，并将训练完成列表/>置为空集，等待各参与方完成训练。
进一步，所述本地训练和加密具体包括：
(1)中的参与方Pi在本地数据集上执行E轮mini-batch随机梯度下降训练(学习率为α)，得到本地更新ωi，并在完成训练后发送完成信号给聚合服务器；
(2)聚合服务器将收到的完成信号对应的参与方Pi加入到训练完成列表中；
(3)聚合服务器在不再收到训练完成信号后，保证中的元素个数应大于t个，然后向/>计算并发送对应的加密参数γi：
(4)收到加密参数γi的参与方Pi对向聚合服务器加密并发送本地更新
进一步，所述安全聚合和模型恢复具体包括：
(1)聚合服务器对收到的密文本地更新进行聚合得到密文聚合更新
(2)聚合服务器对聚合结果进行解密得到明文聚合更新ωg：
其中L(u)＝(u-1)/N；
(3)聚合服务器对明文聚合更新ωg进行模型恢复，得到新的全局模型Wg：
1)聚合服务器对于ωg的第l层(l＝1，...，h)，根据打乱顺序记录恢复ωg中第l个矩阵和第l+1个矩阵的原始顺序；
2)聚合服务器根据裁剪次数向ωg中第l个矩阵中***/>个随机列，向ωg中第l+1个矩阵中***/>个随机行；
(4)聚合服务器用本轮完成训练的参与方列表替换列表/>以进行下一轮的训练。
本发明的另一目的在于提供一种信息安全数据处理终端，所述信息安全数据处理终端用于实现所述的隐私保护的神经网络多方协作无损训练方法。
本发明的另一目的在于提供一种执行所述隐私保护的神经网络多方协作无损训练方法的隐私保护的神经网络多方协作无损训练***，所述隐私保护的神经网络多方协作无损训练***包括：
可信中心，用于在初始化阶段接收参与方加入模型训练的请求，生成一个参加训练的参与方列表；选择安全参数和参与方门限，生成Paillier密码***参数；基于Shamir秘密共享拆分公共参数，生成多个参与方私钥；基于Paillier私钥生成聚合服务器私钥；分发***所需的公共参数、参与方私钥和聚合服务器私钥。初始化完成后，可信中心保持离线状态；
聚合服务器，用于在初始化阶段生成全局神经网络模型参数，并制定各参与方协作训练模型时的各种超参数；在每轮训练中，基于所提的无损模型扰动机制对全局模型参数进行扰动并发送给每一个参与方；基于所提的可容错安全聚合算法对接收到的密文本地模型更新进行聚合，并用聚合服务器私钥对聚合结果进行解密，得到明文聚合更新；基于所提的无损模型扰动机制对明文聚合更新进行模型恢复，得到新的全局模型参数；
训练参与方，用于在每轮训练中从聚合服务器下载扰动后的全局模型参数；用自己的本地数据迭代执行随机梯度下降算法获得本地模型更新；基于可容错安全聚合算法用参与方私钥对本地模型更新进行加密并发送给聚合服务器。
进一步，所述可信中心包括：
安全参数选取模块，用于根据安全需求的不同选取相应的安全参数κ，根据参与方列表大小生成参与方门限t；其中安全参数越大，***的安全性越好，但会带来计算开销的增加。参与方门限指的是完成每一轮训练所需要的最小参与方个数；
多方密钥生成模块，用于生成Paillier密码***的参数，包括密钥λ和公共参数(g，N)；选择大素数p′并计算h＝gp′mod N2；生成聚合服务器私钥SK＝＜λ，p′＞；选择t-1个随机数构造多项式f(x)＝a1·x+a2·x2+…+at-1·xt-1mod p；对于所有/>生成相应的参与方私钥/>
密钥分发模块，用于公开***的公共参数PP＝＜κ，t，S，g，h，N＞，其中S表示列表的大小；向参与方和聚合服务器发送相应的参与方密钥和聚合服务器私钥；
进一步，所述聚合服务器包括：
多方训练初始化模块，用于随机生成神经网络模型参数Wg＝{W0，W1，...，Wh}；选择所提无损模型扰动机制中的模型扰动参数和/>其中Np表示神经元裁剪的个数，Ns表示神经元打乱的次数，；选择学习率α和本地训练次数E；
无损模型扰动模块，用于针对全局神经网络模型中的每一层l(l＝1，...，h)计算模型两两神经元对之间的距离，构成距离矩阵ζ，并迭代地裁剪个神经元；进行/>次随机神经元打乱并记录打乱顺序为/>
可容错安全聚合模块，用于将收到的完成信号对应的参与方Pi加入到训练完成列表中；保证/>中的元素个数应大于t个，向/>计算并发送对应的加密参数收到的密文本地更新/>进行聚合得到密文聚合更新基于所提可容错安全聚合方案对聚合结果/>进行解密得到明文聚合更新/>
模型恢复模块，用于基于所提模型扰动机制对明文聚合更新ωg进行顺序还原和向量填充，得到新的全局模型Wg；用本轮完成训练的参与方列表替换列表/>以进行下一轮的训练。
进一步，所述参与方包括：
本地训练模块，用于在本地数据集上执行E轮mini-batch随机梯度下降训练，学习率为α，，得到本地更新ωi；
本地更新加密模块，用于在完成本地训练后发送完成信号给聚合服务器；接收加密参数γi；基于所提可容错安全聚合方案加密本地更新发送/>给聚合服务器。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明能在得到无损神经网络模型的前提下，实现对训练期间本地更新和全局模型参数中的敏感数据信息的隐私保护。
同时，本发明与现有技术相比有如下优点：
(1)本发明实现了对本地更新和全局模型参数中敏感数据的隐私保护。在联邦学习期间，通过加密方法使聚合服务器无法获得参与方的本地更新，并通过神经元裁剪和打乱改变全局模型参数的顺序和数值，使参与方无法通过比较连续的全局模型参数来推断其他参与方的敏感数据。
(2)本发明实现了无损且容错的神经网络联邦学习。在联邦学习中，参与方可能会由于连接不稳定或其它设备问题而中途退出训练。本发明通过采用秘密共享技术，即使某些参与方在训练中途退出，聚合服务器仍可以汇总聚合参与方的本地更新。此外，本发明中采用的模型扰动方法只会修剪并合并神经网络中的冗余神经元，这不会造成模型精度的损失。^
(3)本发明在计算和通信开销上都是高效的。在每个训练回合中，本发明通过执行模型扰动方法中的神经元修剪操作，可大大减少模型的规模，从而降低了计算和通信开销。
附图说明
图1是本发明实施例提供的隐私保护的神经网络多方协作无损训练方法的流程图。
图2是本发明实施例提供的隐私保护的神经网络多方协作无损训练***的结构示意图。
图3是本发明实施例提供的隐私保护的神经网络多方协作无损训练方法的实现流程图。
图4是本发明实施例提供的隐私保护的神经网络多方协作无损训练***的原理示意图。
图5是本发明实施例提供的隐私保护的神经网络多方协作无损训练方法的实现流程图。
图6是本发明实施例提供的***初始化子流程图。
图7是本发明实施例提供的模型迭代训练子流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种隐私保护的神经网络多方协作无损训练方法及***，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的隐私保护的神经网络多方协作无损训练方法包括以下步骤：
S101：***初始化，可信中心生成并分发***参数、参与方私钥和聚合服务器私钥，聚合服务器生成神经网络模型和训练中的超参数；
S102：模型扰动和分发，聚合服务器对全局模型参数进行裁剪和打乱，并下发扰动后的模型；
S103：本地训练和加密，参与方用本地数据对收到的模型参数进行随机梯度下降训练，获得本地更新，并使用参与方私钥对本地更新进行加密后上传给聚合服务器；
S104：安全聚合和模型恢复，聚合服务器对收到的各密文本地更新进行聚合、聚合服务器私钥解密，得到聚合更新，并通过模型恢复得到新的全局模型参数。
本发明提供的隐私保护的神经网络多方协作无损训练方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的隐私保护的神经网络多方协作无损训练方法仅仅是一个具体实施例而已。
下面结合附图对本发明的技术方案作进一步的描述。
如图3所示，本发明隐私保护的神经网络多方协作无损训练方法包括以下步骤：
第一步，***初始化。可信中心根据参与方列表选择参与方门限和安全参数，生成Paillier密码***的公共参数和密钥；将Paillier密码***的公共参数以Shamir秘密共享的方式进行拆分，为各个参与方生成用于本地加密的参与方私钥。聚合服务器初始化全局神经网络模型参数，并选择训练中的超参数，以进行多轮迭代训练，如图7所示。
第二步，模型扰动和分发。聚合服务器通过神经元裁剪和神经元打乱两个步骤对全局模型参数进行扰动，并将扰动后的模型参数分发给每一个参与方。
第三步，本地训练和加密。每一个参与方通过本地数据执行训练算法；训练结束后，参与方从聚合服务器请求加密参数；最后，参与方将训练完成的本地模型更新进行加密并发送给聚合服务器。
第四步，安全聚合和模型恢复。聚合服务器将接收到的密文本地模型更新进行聚合和解密，得到扰动后的新全局模型参数；然后聚合服务器对该全局模型参数进行恢复，得到完整的全局模型参数，以进行下一轮的训练。
在第一步中，如图6所示，所述***初始化具体包括：
(1)可信中心接收来自参与方的参与训练请求，生成参与方列表列表中的每一个参与方表示为Pi(i＝1，2，...，n)；
(2)可信中心选择安全参数κ和参与方门限t(t＜n)。其中κ表示***达到的安全等级，t表示完成模型训练所需的最小参与方个数；
(3)可信中心生成并分发***所需的公共参数和密钥：
1)可信中心生成Paillier密码***的参数，包括密钥λ和公共参数(g，N)；
2)可信中心选择大素数p′并计算h＝gp′mod N2；
3)可信中心发布公共参数PP＝＜κ，t，S，g，h，N＞，其中S表示列表的大小；
4)可信中心向聚合服务器发送聚合服务器私钥SK＝＜λ，p′＞；
5)可信中心选择t-1个随机数构造多项式f(x)＝a1·x+a2·x2+…+at-1·xt-1mod p；
6)可信中心对于所有计算/>并发送给相应的Pi；
(4)聚合服务器生成并公布模型训练所需的参数：
1)聚合服务器随机生成全局神经网络模型参数Wg＝{W0，W1，...，Wh}；
2)聚合服务器选择模型扰动的参数和/>其中Np表示神经元裁剪的个数，Ns表示神经元打乱的次数；
3)聚合服务器选择模型训练的超参数，包括学习率α和本地训练次数E；
(5)***初始化完成后，可信中心保持离线状态，参与方和聚合服务器共同执行以下模型训练流程直到模型达到收敛。
在第二步中，所述模型扰动和分发具体包括：
(1)对于全局模型的第l层(l＝1，...，h)，聚合服务器计算两两神经元对之间的距离，构成距离矩阵ζ并迭代地裁剪个神经元：
1)聚合服务器找到矩阵ζ中的最小值，它的坐标记作(m，n)；
2)聚合服务器将第n个神经元删除并将其融合到第m个神经元上，具体包括：删除矩阵Wl的第n列，通过公式更新矩阵Wl+1的第m行，以及删除矩阵Wl+1的第n行；
3)聚合服务器通过删除ζ的第m行和第m列，以及重新计算ζ的第n列，更新距离矩阵ζ；
(2)对于全局模型的第l层(l＝1，...，h)，聚合服务器进行次随机神经元打乱(为打乱顺序的记录)：
1)聚合服务器随机生成一对值(i，j)并记录到中；
2)聚合服务器交换矩阵Wl的第i列和第j列，交换矩阵Wl+1的第i行和第j行；
3)聚合服务器将扰动后的全局模型参数分发给中的每一个参与方Pi，并将训练完成列表/>置为空集，等待各参与方完成训练。
在第三步中，所述本地训练和加密具体包括：
(1)中的参与方Pi在本地数据集上执行E轮mini-batch随机梯度下降训练(学习率为α)，得到本地更新ωi，并在完成训练后发送完成信号给聚合服务器；
(2)聚合服务器将收到的完成信号对应的参与方Pi加入到训练完成列表中；
(3)聚合服务器在不再收到训练完成信号后，保证中的元素个数应大于t个，然后向/>计算并发送对应的加密参数γi：
(4)收到加密参数γi的参与方Pi对向聚合服务器加密并发送本地更新
在第四步中，所述安全聚合和模型恢复具体包括：
(1)聚合服务器对收到的密文本地更新进行聚合得到密文聚合更新
(2)聚合服务器对聚合结果进行解密得到明文聚合更新ωg：
其中L(u)＝(u-1)/N；
(3)聚合服务器对明文聚合更新ωg进行模型恢复，得到新的全局模型Wg：
1)聚合服务器对于ωg的第l层(l＝1，...，h)，根据打乱顺序记录恢复ωg中第l个矩阵和第l+1个矩阵的原始顺序；
2)聚合服务器根据裁剪次数向ωg中第l个矩阵中***/>个随机列，向ωg中第l+1个矩阵中***/>个随机行；
(4)聚合服务器用本轮完成训练的参与方列表替换列表/>以进行下一轮的训练。
如图2、图4所示，本发明隐私保护的神经网络多方协作无损训练***具体包括：
可信中心，用于在初始化阶段接收参与方加入模型训练的请求，生成一个参加训练的参与方列表；选择安全参数和参与方门限，生成Paillier密码***参数；基于Shamir秘密共享拆分公共参数，生成多个参与方私钥；基于Paillier私钥生成聚合服务器私钥；分发***所需的公共参数、参与方私钥和聚合服务器私钥。初始化完成后，可信中心保持离线状态。
聚合服务器，用于在初始化阶段生成全局神经网络模型参数，并制定各参与方协作训练模型时的各种超参数；在每轮训练中，基于所提的无损模型扰动机制对全局模型参数进行扰动并发送给每一个参与方；基于所提的可容错安全聚合算法对接收到的密文本地模型更新进行聚合，并用聚合服务器私钥对聚合结果进行解密，得到明文聚合更新；基于所提的无损模型扰动机制对明文聚合更新进行模型恢复，得到新的全局模型参数。
训练参与方，用于在每轮训练中从聚合服务器下载扰动后的全局模型参数；用自己的本地数据迭代执行随机梯度下降算法获得本地模型更新；基于可容错安全聚合算法用参与方私钥对本地模型更新进行加密并发送给聚合服务器。
在本发明的实施例中，可信中心包括：
安全参数选取模块，用于根据安全需求的不同选取相应的安全参数κ，根据参与方列表大小生成参与方门限t。其中安全参数越大，***的安全性越好，但会带来计算开销的增加。参与方门限指的是完成每一轮训练所需要的最小参与方个数。
多方密钥生成模块，用于生成Paillier密码***的参数，包括密钥λ和公共参数(g，N)；选择大素数p′并计算h＝gp′mod N2；生成聚合服务器私钥SK＝＜λ，p′＞；选择t-1个随机数构造多项式f(x)＝a1·x+a2·x2+…+at-1·xt-1mod p；对于所有/>生成相应的参与方私钥/>
密钥分发模块，用于公开***的公共参数PP＝＜κ，t，S，g，h，N＞，其中S表示列表的大小；向参与方和聚合服务器发送相应的参与方密钥和聚合服务器私钥；
在本发明的实施例中，聚合服务器包括：
多方训练初始化模块，用于随机生成神经网络模型参数Wg＝{W0，W1，...，Wh}；选择所提无损模型扰动机制中的模型扰动参数和/>(其中Np表示神经元裁剪的个数，Ns表示神经元打乱的次数)；选择学习率α和本地训练次数E；
无损模型扰动模块，用于针对全局神经网络模型中的每一层l(l＝1，...，h)计算模型两两神经元对之间的距离，构成距离矩阵ζ，并迭代地裁剪个神经元；进行/>次随机神经元打乱并记录打乱顺序为/>
可容错安全聚合模块，用于将收到的完成信号对应的参与方Pi加入到训练完成列表中；保证/>中的元素个数应大于t个，向/>计算并发送对应的加密参数收到的密文本地更新/>进行聚合得到密文聚合更新基于所提可容错安全聚合方案对聚合结果/>进行解密得到明文聚合更新/>
模型恢复模块，用于基于所提模型扰动机制对明文聚合更新ωg进行顺序还原和向量填充，得到新的全局模型Wg；用本轮完成训练的参与方列表替换列表/>以进行下一轮的训练。
在本发明的实施例中，参与方包括：
本地训练模块，用于在本地数据集上执行E轮mini-batch随机梯度下降训练(学习率为α)，得到本地更新ωi；
本地更新加密模块，用于在完成本地训练后发送完成信号给聚合服务器；接收加密参数γi；基于所提可容错安全聚合方案加密本地更新发送/>给聚合服务器。
如图5所示，本发明实施例提供的隐私保护的神经网络多方协作无损训练方法，包括以下步骤：
步骤一，***初始化。
(1)可信中心接收来自参与方的参与训练请求，生成参与方列表(包括20、50或80个参与方)，列表中的每一个参与方表示为Pi(i＝1，2，...，n)；
(2)可信中心选择安全参数κ＝1024和参与方门限t＝40；
(3)可信中心生成并分发***所需的公共参数和密钥：
1)可信中心生成Paillier密码***的参数，包括密钥λ和公共参数(g，N)；
2)可信中心选择大素数p′并计算h＝gp′mod N2；
3)可信中心发布公共参数PP＝＜κ，t，S，g，h，N＞，其中S表示列表的大小(20、50或80)；
4)可信中心向聚合服务器发送聚合服务器私钥SK＝＜λ，p′＞；
5)可信中心选择39个随机数构造多项式f(x)＝a1·x+a2·x2+…+a39·x38mod p；
6)可信中心对于所有计算/>并发送给相应的Pi；
(4)聚合服务器生成并公布模型训练所需的参数：
1)聚合服务器随机生成全局神经网络模型参数Wg＝{W0，W1，W2}，其中W0大小为784*256(或3072*256)，W1大小为256*256，W2大小为256*10；
2)聚合服务器选择模型扰动的参数Np＝{50，50}，{80，80}或{100，100}，Ns＝{1000，1000}，其中Np表示神经元裁剪的个数，Ns表示神经元打乱的次数；
3)聚合服务器选择模型训练的超参数，包括学习率α＝0.01，本地训练次数E＝5，训练批次大小为32；
(5)***初始化完成后，可信中心保持离线状态，参与方和聚合服务器共同执行以下模型训练流程直到模型达到收敛。
步骤二，模型扰动和分发。
(1)对于全局模型的第l层(l＝1，2)，聚合服务器计算两两神经元对之间的距离，构成距离矩阵ζ并迭代地裁剪个神经元：
1)聚合服务器找到矩阵ζ中的最小值，它的坐标记作(m，n)；
2)聚合服务器将第n个神经元删除并将其融合到第m个神经元上，具体包括：删除矩阵Wl的第n列，通过公式更新矩阵Wl+1的第m行，以及删除矩阵Wl+1的第n行；
3)聚合服务器通过删除ζ的第m行和第m列，以及重新计算ζ的第n列，更新距离矩阵ζ；
(2)对于全局模型的第l层(l＝1，2)，聚合服务器进行次随机神经元打乱(为打乱顺序的记录)：
1)聚合服务器随机生成一对值(i，j)并记录到中；
2)聚合服务器交换矩阵Wl的第i列和第j列，交换矩阵Wl+1的第i行和第j行；
(3)聚合服务器将扰动后的全局模型参数分发给中的每一个参与方Pi，并将训练完成列表/>置为空集，等待各参与方完成训练。
步骤三，本地训练和加密。
(1)中的参与方Pi在本地MNIST或CIFAR-10数据集上执行E轮mini-batch随机梯度下降训练(学习率为α)，得到本地更新ωi，并在完成训练后发送完成信号给聚合服务器；
(2)聚合服务器将收到的完成信号对应的参与方Pi加入到训练完成列表中；
(3)聚合服务器在不再收到训练完成信号后，保证中的元素个数应大于t个，然后向/>计算并发送对应的加密参数γi：
(4)收到加密参数γi的参与方Pi对向聚合服务器加密并发送本地更新
步骤四，安全聚合和模型恢复。
(1)聚合服务器对收到的密文本地更新进行聚合得到密文聚合更新：
(2)合服务器对明文聚合更新ωg进行模型恢复，得到新的全局模型Wg：
1)聚合服务器对于ωg的第l层(l＝1，2)，根据打乱顺序记录恢复ωg中第l个矩阵和第l+1个矩阵的原始顺序；
2)聚合服务器根据裁剪次数向ωg中第l个矩阵中***/>个随机列，向ωg中第l+1个矩阵中***/>个随机行；
列，向ωg中第l+1个矩阵中***个随机行；
(3)聚合服务器用本轮完成训练的参与方列表替换列表/>以进行下一轮的训练。
表1 实施例中神经网络模型预测准确率
如表1所示，为本发明分别在MNIST和CIFAR-10数据集下的测试结果。在MNIST数据集下，80个参与方经过300轮训练达到的最佳模型精度为97.30％；在CIFAR-10数据集下，80个参与方经过150轮训练达到的最佳模型精度为50.60％。此外，将50、80和100裁剪数量下的模型精确度与未裁剪模型精确度进行对比，发现我们的隐私保护的神经网络多方协作无损训练方法没有造成模型精度的损失。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种信息安全数据处理终端，其特征在于，所述信息安全数据处理终端用于实现一种隐私保护的神经网络多方协作无损训练方法，所述隐私保护的神经网络多方协作无损训练方法包括：
***初始化，可信中心生成并分发***参数、参与方私钥和聚合服务器私钥，聚合服务器生成神经网络模型和训练中的超参数；所述***初始化具体包括：
(1)可信中心接收来自参与方的参与训练请求，生成参与方列表列表中的每一个参与方表示为Pi，i＝1,2,...,n'；
(2)可信中心选择安全参数κ和参与方门限t，t<n'，其中K表示***达到的安全等级，t表示完成模型训练所需的最小参与方个数；
(3)可信中心生成并分发***所需的公共参数和密钥：
1)可信中心生成Paillier密码***的参数，包括密钥λ和公共参数(g，N)；
2)可信中心选择大素数p′并计算h＝gp′mod N2；
3)可信中心发布公共参数PP＝<κ，t，S，g，h，N>，其中S表示列表的大小；
4)可信中心向聚合服务器发送聚合服务器私钥SK＝<λ，p′>；
5)可信中心选择t-1个随机数构造多项式f(x)＝a1·x+a2·x2+…+at-1·xt-1mod p；
6)可信中心对于所有计算/>并发送给相应的Pi；
(4)聚合服务器生成并公布模型训练所需的参数：
1)聚合服务器随机生成全局神经网络模型参数Wg＝{W0，W1，...，Wh}；
2)聚合服务器选择模型扰动的参数和/>其中Np表示神经元裁剪的个数，Ns表示神经元打乱的次数；
3)聚合服务器选择模型训练的超参数，包括学习率α和本地训练次数E；
(5)***初始化完成后，可信中心保持离线状态，参与方和聚合服务器共同执行以下模型训练流程直到模型达到收敛；
模型扰动和分发，聚合服务器对全局模型参数进行裁剪和打乱，并下发扰动后的模型；所述所述模型扰动和分发具体包括：
(1)对于全局模型的第l层l＝1,…,h，聚合服务器计算两两神经元对之间的距离，构成距离矩阵ζ并迭代地裁剪个神经元：
1)聚合服务器找到矩阵ζ中的最小值，它的坐标记作(m，n)；
2)聚合服务器将第n个神经元删除并将其融合到第m个神经元上，具体包括：删除矩阵Wl的第n列，通过公式更新矩阵Wl+1的第m行，以及删除矩阵Wl+1的第n行；
3)聚合服务器通过删除ζ的第m行和第m列，以及重新计算ζ的第n列，更新距离矩阵ζ；
(2)对于全局模型的第l层l＝1,…,h，聚合服务器进行次随机神经元打乱为打乱顺序的记录：
1)聚合服务器随机生成一对值(i，j)并记录到中；
2)聚合服务器交换矩阵Wl的第i0列和第j0列，交换矩阵Wl+1的第i0行和第j0行；
3)聚合服务器将扰动后的全局模型参数分发给中的每一个参与方Pi，并将训练完成列表/>置为空集，等待各参与方完成训练；
本地训练和加密，参与方用本地数据对收到的模型参数进行随机梯度下降训练，获得本地更新，并使用参与方私钥对本地更新进行加密后上传给聚合服务器；所述本地训练和加密具体包括：
(1)中的参与方Pi在本地数据集上执行E轮mini-batch随机梯度下降训练，学习率为α，得到本地更新ωi，并在完成训练后发送完成信号给聚合服务器；
(2)聚合服务器将收到的完成信号对应的参与方Pi加入到训练完成列表中；
(3)聚合服务器在不再收到训练完成信号后，保证中的元素个数应大于t个，然后向计算并发送对应的加密参数γi：
(4)收到加密参数γi的参与方Pi对向聚合服务器加密并发送本地更新
安全聚合和模型恢复，聚合服务器对收到的各密文本地更新进行聚合、聚合服务器私钥解密，得到聚合更新，并通过模型恢复得到新的全局模型参数；所述安全聚合和模型恢复具体包括：
(1)聚合服务器对收到的密文本地更新进行聚合得到密文聚合更新/>
(2)聚合服务器对聚合结果进行解密得到明文聚合更新ωg：
其中L(u)＝(u-1)/N；
(3)聚合服务器对明文聚合更新ωg进行模型恢复，得到新的全局模型Wg：
1)聚合服务器对于ωg的第l层l＝1,…,h，根据打乱顺序记录恢复ωg中第l个矩阵和第l+1个矩阵的原始顺序；
2)聚合服务器根据裁剪次数向ωg中第l个矩阵中***/>个随机列，向ωg中第l+1个矩阵中***/>个随机行；
(4)聚合服务器用本轮完成训练的参与方列表替换列表/>以进行下一轮的训练。
2.一种执行权利要求1所述信息安全数据处理终端的隐私保护的神经网络多方协作无损训练***，其特征在于，所述隐私保护的神经网络多方协作无损训练***包括：
可信中心，用于在初始化阶段接收参与方加入模型训练的请求，生成一个参加训练的参与方列表；选择安全参数和参与方门限，生成Paillier密码***参数；基于Shamir秘密共享拆分公共参数，生成多个参与方私钥；基于Paillier私钥生成聚合服务器私钥；分发***所需的公共参数、参与方私钥和聚合服务器私钥，初始化完成后，可信中心保持离线状态；
聚合服务器，用于在初始化阶段生成全局神经网络模型参数，并制定各参与方协作训练模型时的各种超参数；在每轮训练中，基于所提的无损模型扰动机制对全局模型参数进行扰动并发送给每一个参与方；基于所提的可容错安全聚合算法对接收到的密文本地模型更新进行聚合，并用聚合服务器私钥对聚合结果进行解密，得到明文聚合更新；基于所提的无损模型扰动机制对明文聚合更新进行模型恢复，得到新的全局模型参数；
训练参与方，用于在每轮训练中从聚合服务器下载扰动后的全局模型参数；用自己的本地数据迭代执行随机梯度下降算法获得本地模型更新；基于可容错安全聚合算法用参与方私钥对本地模型更新进行加密并发送给聚合服务器。
3.如权利要求2所述的的隐私保护的神经网络多方协作无损训练***，其特征在于，所述可信中心包括：
安全参数选取模块，用于根据安全需求的不同选取相应的安全参数κ，根据参与方列表大小生成参与方门限t；其中安全参数越大，***的安全性越好，但会带来计算开销的增加；参与方门限指的是完成每一轮训练所需要的最小参与方个数；
多方密钥生成模块，用于生成Paillier密码***的参数，包括密钥λ和公共参数(g，N)；选择大素数p′并计算h＝gp′modN2；生成聚合服务器私钥SK＝<λ，p′>；选择t-1个随机数构造多项式f(x)＝a1·x+a2·x2+…+at-1·xt-1mod p；对于所有生成相应的参与方私钥/>
密钥分发模块，用于公开***的公共参数PP＝<κ，t，S，g，h，N>，其中S表示列表的大小；向参与方和聚合服务器发送相应的参与方密钥和聚合服务器私钥。
4.如权利要求2所述的的隐私保护的神经网络多方协作无损训练***，其特征在于，所述聚合服务器包括：
多方训练初始化模块，用于随机生成神经网络模型参数Wg＝{W0，W1，...，Wh}；选择所提无损模型扰动机制中的模型扰动参数和/>其中Np表示神经元裁剪的个数，Ns表示神经元打乱的次数,；选择学习率α和本地训练次数E；
无损模型扰动模块，用于针对全局神经网络模型中的每一层l，l＝1,…,h计算模型两两神经元对之间的距离，构成距离矩阵ζ，并迭代地裁剪个神经元；进行/>次随机神经元打乱并记录打乱顺序为/>
可容错安全聚合模块，用于将收到的完成信号对应的参与方Pi加入到训练完成列表中；保证/>中的元素个数应大于t个，向/>计算并发送对应的加密参数收到的密文本地更新/>进行聚合得到密文聚合更新 基于所提可容错安全聚合方案对聚合结果/>进行解密得到明文聚合更新/>
模型恢复模块，用于基于所提模型扰动机制对明文聚合更新ωg进行顺序还原和向量填充，得到新的全局模型Wg；用本轮完成训练的参与方列表替换列表/>以进行下一轮的训练。
5.如权利要求2所述的的隐私保护的神经网络多方协作无损训练***，其特征在于，所述参与方包括：
本地训练模块，用于在本地数据集上执行E轮mini-batch随机梯度下降训练，学习率为α，得到本地更新ωi；
本地更新加密模块，用于在完成本地训练后发送完成信号给聚合服务器；接收加密参数γi；基于所提可容错安全聚合方案加密本地更新发送/>给聚合服务器。
CN202110560355.6A 2021-05-22 2021-05-22 一种隐私保护的神经网络多方协作无损训练方法及*** Active CN113435592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110560355.6A CN113435592B (zh) 2021-05-22 2021-05-22 一种隐私保护的神经网络多方协作无损训练方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110560355.6A CN113435592B (zh) 2021-05-22 2021-05-22 一种隐私保护的神经网络多方协作无损训练方法及***

Publications (2)

Publication Number Publication Date
CN113435592A CN113435592A (zh) 2021-09-24
CN113435592B true CN113435592B (zh) 2023-09-22

Family

ID=77802645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110560355.6A Active CN113435592B (zh) 2021-05-22 2021-05-22 一种隐私保护的神经网络多方协作无损训练方法及***

Country Status (1)

Country Link
CN (1) CN113435592B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268422A (zh) * 2021-11-12 2022-04-01 国网浙江省电力有限公司宁波供电公司 一种面向电力***的多源异构数据共享方法、***及设备
CN116248256A (zh) * 2021-12-03 2023-06-09 华为技术有限公司 通信方法及装置、存储介质、程序产品
CN115186937B (zh) * 2022-09-09 2022-11-22 闪捷信息科技有限公司 基于多方数据协同的预测模型训练、数据预测方法和装置
CN115460020B (zh) * 2022-11-10 2023-04-28 鹏城实验室 数据共享方法、装置、设备及存储介质
CN117171814B (zh) * 2023-09-28 2024-06-04 数力聚(北京)科技有限公司 一种基于差分隐私的联邦学习模型完整性验证方法、***、设备及介质
CN117556467B (zh) * 2023-11-23 2024-06-07 深圳市铁穹信息技术有限公司 数据处理方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572253A (zh) * 2019-09-16 2019-12-13 济南大学 一种联邦学习训练数据隐私性增强方法及***
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、***、存储介质、程序、终端
WO2020177392A1 (zh) * 2019-03-01 2020-09-10 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN112541593A (zh) * 2020-12-06 2021-03-23 支付宝(杭州)信息技术有限公司 基于隐私保护的联合训练业务模型的方法及装置
CN112818394A (zh) * 2021-01-29 2021-05-18 西安交通大学 具有本地隐私保护的自适应异步联邦学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020177392A1 (zh) * 2019-03-01 2020-09-10 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110572253A (zh) * 2019-09-16 2019-12-13 济南大学 一种联邦学习训练数据隐私性增强方法及***
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、***、存储介质、程序、终端
CN112541593A (zh) * 2020-12-06 2021-03-23 支付宝(杭州)信息技术有限公司 基于隐私保护的联合训练业务模型的方法及装置
CN112818394A (zh) * 2021-01-29 2021-05-18 西安交通大学 具有本地隐私保护的自适应异步联邦学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Efficient and Privacy-Enhanced Federated Learning for Industrial Artificial Intelligence;Meng Hao 等;IEEE Transactions on Industrial Informatics;第16卷(第10期);全文 *
联邦学习安全与隐私保护研究综述;周俊 等;西华大学学报（自然科学版）;第39卷(第4期);全文 *
面向用户的支持用户掉线的联邦学习数据隐私保护方法;路宏琳 等;信息网络安全;全文 *

Also Published As

Publication number Publication date
CN113435592A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113435592B (zh) 一种隐私保护的神经网络多方协作无损训练方法及***
CN108712260B (zh) 云环境下保护隐私的多方深度学习计算代理方法
CN109684855B (zh) 一种基于隐私保护技术的联合深度学习训练方法
EP3725023B1 (en) Method for faster secure multiparty inner product with spdz
CN112989368B (zh) 多方联合进行隐私数据处理的方法及装置
CN112199702A (zh) 一种基于联邦学习的隐私保护方法、存储介质及***
Lo et al. Unconditional security of quantum key distribution over arbitrarily long distances
CN113033828B (zh) 模型训练方法、使用方法、***、可信节点及设备
Liu et al. Privacy-preserving federated k-means for proactive caching in next generation cellular networks
CN113239404A (zh) 一种基于差分隐私和混沌加密的联邦学习方法
EP3703304A1 (en) Cloud-based secure computation of the median
Narad et al. Cascade forward back-propagation neural network based group authentication using (n, n) secret sharing scheme
CN111259440B (zh) 一种针对云外包数据的隐私保护决策树分类方法
Fu et al. Local randomness: Examples and application
CN116561787A (zh) 视觉图像分类模型的训练方法、装置及电子设备
Kuo et al. Efficient multiparty quantum secret sharing based on a novel structure and single qubits
CN117708887B (zh) 一种基于纵向逻辑回归的联邦学习模型获取方法及***
Zhao et al. SGBoost: An efficient and privacy-preserving vertical federated tree boosting framework
Shi et al. Quantum protocol for secure multiparty logical AND with application to multiparty private set intersection cardinality
Lu et al. Quantum secure multi-party summation with graph state
CN117540426A (zh) 基于同态加密和联邦学习的能源电力数据共享方法及装置
Aschauer et al. Private entanglement over arbitrary distances, even using noisy apparatus
Qin et al. Efficient quantum secret sharing
Meraouche et al. Learning multi-party adversarial encryption and its application to secret sharing
CN113886868A (zh) 一种多源垂直分布数据的逻辑回归安全训练方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant