CN111860829A - 联邦学习模型的训练方法及装置 - Google Patents
联邦学习模型的训练方法及装置 Download PDFInfo
- Publication number
- CN111860829A CN111860829A CN202010564686.2A CN202010564686A CN111860829A CN 111860829 A CN111860829 A CN 111860829A CN 202010564686 A CN202010564686 A CN 202010564686A CN 111860829 A CN111860829 A CN 111860829A
- Authority
- CN
- China
- Prior art keywords
- learning model
- training
- secret
- node
- secret share
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种联邦学习模型的训练方法及装置，执行主体为参与联邦学习模型训练的目标训练节点，其中，目标训练节点为任意一个参与联邦学习模型训练的训练节点，该方法包括：获取所述目标训练节点上第一学习模型的梯度秘密份额；根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。本申请在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，确保了数据安全、提高了模型训练有效性、缩短了运算耗时。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种联邦学习模型的训练方法及装置。
背景技术
目前，在企业数字化转型发展进程中，数据驱动的业务创新正起着至关重要的推动作用。为打破数据孤岛，提高数据使用质量，机构间数据合作逐渐频繁。联邦学习是一个能够满足隐私保护和数据安全的可行解决方案，通过同态加密、秘密分享等方式保证各方私有数据不出本地，实现联合计算和建模。另一方面，在对模型进行训练的过程中，运算速度也是需要保证的。由此，如何兼顾对联邦学习模型进行有效训练的同时，确保数据安全、缩短运算耗时，已成为了重要的研究方向之一。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种联邦学习模型的训练方法，用于解决现有联邦学习模型的训练方法中存在的无法兼顾对联邦学习模型进行有效训练的同时，确保数据安全、缩短运算耗时的技术问题。
本发明的第二个目的在于提出另一种联邦学习模型的训练方法。
本发明的第三个目的在于提出一种联邦学习模型的训练装置。
本发明的第四个目的在于提出另一种联邦学习模型的训练装置。
本发明的第五个目的在于提出又一种联邦学习模型的训练方法。
本发明的第六个目的在于提出一种联邦学习模型的训练***。
本发明的第七个目的在于提出又一种电子设备。
本发明的第八个目的在于提出又一种计算机可读存储介质。
为了实现上述目的，本申请第一方面实施例提供了一种联邦学习模型的训练方法，执行主体为参与联邦学习模型训练的目标训练节点，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点，所述方法包括以下步骤：获取所述目标训练节点上第一学习模型的梯度秘密份额；根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。
另外，根据本申请上述实施例的联邦学习模型的训练方法还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述获取所述目标训练节点上第一学习模型的梯度秘密份额，包括：接收参与所述联邦学习模型训练的剩余训练节点和协助节点发送的所述第一学习模型的第一梯度秘密份额；获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额。
根据本申请的一个实施例，所述根据所述梯度信息更新所述第一学习模型的模型参数，包括：接收所述协助节点反馈的所述第一学习模型的损失函数，其中，所述损失函数是由所述协助节点根据所述第一学习模型的损失函数秘密份额恢复出的；根据所述损失函数识别所述第一学习模型是否收敛；若识别出所述第一学习模型未收敛，则根据所述梯度信息更新所述第一学习模型的模型参数。
根据本申请的一个实施例，所述根据所述梯度信息更新所述第一学习模型的模型参数之前，还包括接收所述协助节点反馈的更新指示，其中，所述更新指示由所述协助节点根据所述第一学习模型的损失函数识别出所述第一学习模型未收敛时生成的。
根据本申请的一个实施例，所述获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额，包括：对所述第一学习模型对应的样本数据进行秘密共享处理，以获取在所述目标训练节点上的数据秘密份额；获取所述第一学习模型的中间结果，并对所述中间结果进行秘密共享处理，以获取在所述目标训练节点上的中间结果秘密份额；获取在所述目标训练节点上的标签秘密份额，其中，所述标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第二梯度秘密份额。
根据本申请的一个实施例，所述对所述第一学习模型对应的样本数据进行秘密共享处理之后，还包括：将所述样本数据秘密共享处理后生成的其他数据秘密份额，分别发送给所述剩余训练节点和所述协助节点。
根据本申请的一个实施例，所述目标训练节点为有标签的训练节点，其中，所述对所述第一学习模型对应的样本数据进行秘密共享处理，包括：对所述样本数据和样本的标签数据进行秘密共享处理。
根据本申请的一个实施例，所述对所述中间结果进行秘密共享处理之后，还包括：将所述中间结果秘密共享处理后生成的其他中间结果秘密份额分别发送给所述剩余训练节点和所述协助节点。
根据本申请的一个实施例，还包括：根据所述中间结果秘密份额和所述标签秘密份额，获取所述第一学习模型的损失函数秘密份额并发送给所述协助节点。
本申请第一方面实施例提供了联邦学习模型的训练方法，能够在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，使得攻击者(包括外部攻击者、剩余训练节点)必须同时获得一定数量的梯度秘密份额才能恢复出梯度信息，降低了攻击者共谋窃取私有数据的风险，提高了模型训练过程中的安全性。同时，当部分梯度秘密份额丢失或被毁时，利用其它的梯度秘密份额仍能够恢复梯度信息，提高了模型训练过程中的可靠性。进一步地，基于秘密共享算法对联邦学习模型进行训练，能够快递地完成梯度秘密份额的运算，极大地缩短了运算耗时。进一步地，由于在模型训练的整个过程中仅由协助节点能够恢复出损失函数，并根据损失函数对第一学习模型是否收敛进行识别，并根据识别结果向目标训练节点发送指示信息，避免了各训练节点的参与，从而确保了各训练节点接收到的协助节点反馈的指示信息的可靠性，进一步提高了模型训练的有效性。
为了实现上述目的，本申请第二方面实施例提供了另一种联邦学习模型的训练方法，执行主体为参与联邦学习模型训练的协助节点，所述方法包括以下步骤：获取目标训练节点上第一学习模型的第一梯度秘密份额，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；向所述目标训练节点发送第一学习模型的第一梯度秘密份额。
另外，根据本申请上述实施例的联邦学习模型的训练方法还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述获取目标训练节点上第一学习模型的第一梯度秘密份额，包括：接收所述目标训练节点发送的数据秘密份额，其中，所述数据秘密份额为所述第一学习模型对应的样本数据经过秘密共享处理后生成的；接收所述目标训练节点发送的中间结果秘密份额，其中，所述中间结果密码份额为所述第一学习模型训练时产生的中间结果经过秘密共享处理后生成的；接收有标签训练节点发送的标签秘密份额，其中，所述标签秘密份额为所述有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第一梯度秘密份额。
根据本申请的一个实施例，还包括：接收各训练节点发送的所述第一学习模型的损失函数秘密份额；根据接收到的所述损失函数秘密份额，恢复出所述第一学习模型的损失函数。
根据本申请的一个实施例，所述恢复出所述第一学习模型的所述损失函数之后，还包括：根据所述损失函数，判断所述第一学习模型是否收敛；若所述第一学习模型未收敛，则向所述目标训练节点发送更新模型参数的更新指示；若所述第一学习模型收敛，则向所述目标训练节点发送所述第一学习模型训练完成的完成指示。
根据本申请的一个实施例，所述恢复出所述第一学习模型的所述损失函数之后，还包括：向所述目标训练节点发送所述损失函数。
本申请第二方面实施例提供了联邦学习模型的训练方法，能够在半诚实假设的前提下，引入协助节点参与基于秘密共享算法的联邦学习模型训练，通过协助节点获取目标训练节点上第一学习模型的第一梯度秘密份额，并在获取到后第一梯度秘密份额后发送至目标训练节点，避免了目标训练节点的本地数据及梯度秘密被泄露的风险，确保了目标训练节点数据的安全性。
为了实现上述目的，本申请第三方面实施例提供了一种联邦学习模型的训练装置，所述训练装置设置有目标训练节点上，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；所述联邦学习模型的训练装置，包括：第一获取模块，用于获取所述目标训练节点上第一学习模型的梯度秘密份额；梯度恢复模块，用于根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；更新模块，用于根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。
另外，根据本申请上述实施例的联邦学习模型的训练装置还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述第一获取模块，包括：第一接收单元，用于接收参与所述联邦学习模型训练的剩余训练节点和协助节点发送的所述第一学习模型的第一梯度秘密份额；第一获取单元，用于获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额。
根据本申请的一个实施例，所述更新模块，包括：第二接收单元，用于接收所述协助节点反馈的所述第一学习模型的损失函数，其中，所述损失函数是由所述协助节点根据所述第一学习模型的损失函数秘密份额恢复出的；识别单元，用于根据所述损失函数识别所述第一学习模型是否收敛；更新单元，用于在识别出所述第一学习模型未收敛时，根据所述梯度信息更新所述第一学习模型的模型参数。
根据本申请的一个实施例，所述接收模块，还用于在根据所述梯度信息更新所述第一学习模型的模型参数之前，接收所述协助节点反馈的更新指示，其中，所述更新指示由所述协助节点根据所述第一学习模型的损失函数识别出所述第一学习模型未收敛时生成的。
根据本申请的一个实施例，所述第一获取模块，包括：第一秘密共享单元，用于对所述第一学习模型对应的样本数据进行秘密共享处理，以获取在所述目标训练节点上的数据秘密份额；第二秘密共享单元，用于获取所述第一学习模型的中间结果，并对所述中间结果进行秘密共享处理，以获取在所述目标训练节点上的中间结果秘密份额；第二获取单元，用于获取在所述目标训练节点上的标签秘密份额，其中，标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；第三获取单元，用于根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第二梯度秘密份额。
根据本申请的一个实施例，本申请提出的联邦学习模型的训练装置，还包括：第一发送模块，用于在对所述第一学习模型对应的样本数据进行秘密共享处理之后，将所述样本数据秘密共享处理后生成的其他数据秘密份额，分别发送给所述剩余训练节点和所述协助节点。
根据本申请的一个实施例，所述目标训练节点为有标签训练节点，其中，所述秘密共享单元，进一步用于对所述样本数据和样本的标签数据进行秘密共享处理。
根据本申请的一个实施例，本申请提出的联邦学习模型的训练装置，还包括：第二发送模块，用于在对所述中间结果进行秘密共享处理之后，将所述中间结果秘密共享处理后生成的其他中间结果秘密份额分别发送给所述剩余训练节点和所述协助节点。
根据本申请的一个实施例，本申请提出的联邦学习模型的训练装置，还包括：第二获取模块，用于根据所述中间结果秘密份额和所述标签秘密份额，获取所述第一学习模型的损失函数秘密份额并发送给所述协助节点。
本申请第三方面实施例提供了联邦学习模型的训练装置，能够在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，使得攻击者(包括外部攻击者、剩余训练节点)必须同时获得一定数量的梯度秘密份额才能恢复出梯度信息，降低了攻击者共谋窃取私有数据的风险，提高了模型训练过程中的安全性。同时，当部分梯度秘密份额丢失或被毁时，利用其它的梯度秘密份额仍能够恢复梯度信息，提高了模型训练过程中的可靠性。进一步地，基于秘密共享算法对联邦学习模型进行训练，能够快递地完成梯度秘密份额的运算，极大地缩短了运算耗时。进一步地，由于在模型训练的整个过程中仅由协助节点能够恢复出损失函数，并根据损失函数对第一学习模型是否收敛进行识别，并根据识别结果向目标训练节点发送指示信息，避免了各训练节点的参与，从而确保了各训练节点接收到的协助节点反馈的指示信息的可靠性，进一步提高了模型训练的有效性。
为了实现上述目的，本申请第四方面实施例提供了一种联邦学习模型的训练装置，所述联邦学习模型的训练装置在参与联邦学习模型训练的协助节点上；所述联邦学习模型的训练装置，包括：第一获取模块，用于获取目标训练节点上第一学习模型的第一梯度秘密份额，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；发送模块，用于向所述目标训练节点发送第一学习模型的第一梯度秘密份额。
另外，根据本申请上述实施例的联邦学习模型的训练装置还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述第一获取模块，包括：第一接收单元，用于接收所述目标训练节点发送的数据秘密份额，其中，所述数据秘密份额为所述第一学习模型对应的样本数据经过秘密共享处理后生成的；第二接收单元，用于接收所述目标训练节点发送的中间结果秘密份额，其中，所述中间结果密码份额为所述第一学习模型训练时产生的中间结果经过秘密共享处理后生成的；第三接收单元，用于接收有标签训练节点发送的标签秘密份额，其中，所述标签秘密份额为所述有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；获取单元，用于根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第一梯度秘密份额。
根据本申请的一个实施例，本申请提出的联邦学习模型的训练装置，还包括：接收模块，用于接收各训练节点发送的所述第一学习模型的损失函数秘密份额；损失恢复模块，用于根据接收到的所述损失函数秘密份额，恢复出所述第一学习模型的损失函数。
根据本申请的一个实施例，本申请提出的联邦学习模型的训练装置，还包括：判断模块，用于在恢复出所述损失函数之后根据所述损失函数，判断所述第一学习模型是否收敛；指示发送模块，用于在所述第一学习模型未收敛时，向所述目标训练节点发送更新模型参数的更新指示，以及在所述第一学习模型收敛时，向所述目标训练节点发送所述第一学习模型训练完成的完成指示。
根据本申请的一个实施例，所述发送模块，还用于：在恢复出所述损失函数之后，向所述目标训练节点发送所述损失函数。
本申请第四方面实施例提供了联邦学习模型的训练装置，能够在半诚实假设的前提下，引入协助节点参与基于秘密共享算法的联邦学习模型训练，通过协助节点获取目标训练节点上第一学习模型的第一梯度秘密份额，并在获取到后第一梯度秘密份额后发送至目标训练节点，避免了目标训练节点的本地数据及梯度秘密被泄露的风险，确保了目标训练节点数据的安全性。
为了实现上述目的，本申请第五方面实施例提供了又一种联邦学习模型的训练方法，所述方法包括以下步骤：协助节点向目标训练节点发送所述目标训练节点上第一学习模型的梯度秘密份额；剩余训练节点向所述目标训练节点发送所述第一学习模型的梯度秘密份额；所述目标训练节点获取所述第一学习模型在本地的梯度秘密份额；所述目标训练节点根据所述本地的梯度秘密份额和所述协助节点发送的梯度秘密份额、以及所述剩余节点发送的梯度秘密份额，恢复所述第一学习模型的梯度信息；所述目标训练节点根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。
为了实现上述目的，本申请第六方面实施例提供了又一种联邦学习模型的训练***，所述***包括：如本申请第三方面实施例所述的联邦学习模型的训练装置以及如本申请第四方面实施例所述的联邦学习模型的训练装置。
为了实现上述目的，本申请第七方面实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例中任一项所述的联邦学习模型的训练方法，或者实现如本申请第二方面实施例中任一项所述的联邦学习模型的训练方法。
为了实现上述目的，本申请第八方面实施例提供了一种计算机可读存储介质，该程序被处理器执行时实现如本申请第一方面实施例中任一项所述的联邦学习模型的训练方法，或者实现如本申请第二方面实施例中任一项所述的联邦学习模型的训练方法。
附图说明
图1为本申请一个实施例公开的联邦学习模型的训练方法的流程示意图；
图2为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图3为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图4为本申请一个实施例公开的秘密分享算法的流程示意图；
图5为本申请另一个实施例公开的秘密分享算法的流程示意图；
图6为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图7为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图8为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图9为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图10为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图11为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图；
图12为本申请一个实施例公开的联邦学习模型训练的架构图；
图13为本申请一个实施例公开的联邦学习模型的训练装置的示意图；
图14为本申请另一个实施例公开的联邦学习模型的训练装置的示意图；
图15为本申请另一个实施例公开的联邦学习模型的训练装置的示意图；
图16为本申请另一个实施例公开的联邦学习模型的训练装置的示意图；
图17为本申请一个实施例公开的云平台的架构图；
图18为本申请实施例提供的一种联邦学习模型的训练***的结构示意图；
图19为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下面参照附图描述根据本申请实施例提出的联邦学习模型的训练方法及装置。
图1为本申请一个实施例公开的联邦学习模型的训练方法的流程示意图。
本申请提供的联邦学习模型的训练方法，在半诚实假设的前提下，基于秘密共享(Secret Sharing)算法，如Shamir算法，对联邦学习模型进行训练。
其中，半诚实假设，指的是在模型训练的过程中，各参与节点均将准确地按照协议进行计算，但同时也将记录下所有中间结果，用以推导额外信息。
其中，秘密共享算法指的是被共享的秘密可以在一个群体间进行合理分配，以达到由所有参与者共同掌管秘密的目的。
其中，联邦学习模型可以为纵向联邦学习模型，纵向联邦学习模型(以下简称联邦学习模型)，指的是通过联合不同的参与节点进行机器学习，且各参与节点数据维度不一致场景下的联邦学习模型。
需要说明的是，本申请提出的联邦学习模型的训练方法，适用于联邦学习模型，同时也适用于建立有逻辑回归模型(Logistic Regression Model)、树形结构模型和神经网络模型等众多机器学习模型的联邦学习体系。特别地，当联邦学习体系上建立有逻辑回归模型(即使用逻辑回归模型的纵向联邦学习模型)时，本申请提出的方法效果更加明显。
需要说明的是，在对联邦学习模型进行训练的过程中，可以预先根据节点是否为数据拥有者，将所涉及的节点初步分为：协助节点(非数据拥有者)和训练节点(数据拥有者)，共两类节点。训练节点均对应有本地学习模型，以通过各自的样本输入对应的本地学习模型中来训练本地学习模型。其中本地学习模型为联邦学习模型的一部分，各训练节点的本地学习模型组成整体的联邦学习模型。
其中，训练节点各自拥有的私有用户数据中，包括针对同一个用户的不同方面的数据。例如，其中一个训练节点为公司A，其拥有的用户数据为公司A中100名员工的工资数据、工作年限及晋升机会，另一个训练节点为银行B，其拥有的用户数据为公司A中100名员工的消费记录、固定资产及个人信用额度。其中，公司A和银行B拥有的用户数据来自同一组用户，即言，公司A数据中的100名员工与银行B数据中的100名员一致。
如图1所示，以参与联邦学习模型训练的目标训练节点作为执行主体，其中，目标训练节点为任意一个参与联邦学习模型训练的训练节点，对本申请实施例提出的联邦学习模型的训练方法进行解释说明，具体包括以下步骤：
S101、获取目标训练节点上第一学习模型的梯度秘密份额。
在本申请的实施例中，可以在半诚实假设的前提下，基于秘密共享算法，对纵向联邦学习模型进行训练。
在本申请的实施例中，第一学习模型的梯度信息作为秘密进行秘密共享，参与联邦学习模型训练的多个节点可以获取到第一学习模型的梯度秘密份额，其中，多个节点可以包括目标训练节点、非目标训练节点之外的剩余训练节点，以及协助节点。
由于在秘密共享算法中，秘密能够被恢复的条件为需要同时获得一定数量的秘密碎片才能恢复出该密码。
可选地，目标训练节点可以接收一定数量的梯度秘密份额，在获取到设定数量的梯度秘密份额后，就可以基于恢复算法恢复出第一学习模型的梯度信息。其中，设定数量的梯度秘密份额可以来自部分剩余训练节点，也可以来自部分剩余训练节点和协助节点，也可以来自部分剩余寻节点，协助节点和目标训练节点自身，只需要保证接收到的梯度秘密份额数量到达设定数量既可以。其中，本申请中对于恢复算法不作限定，可以根据实际情况进行选择，例如，可以选择超收敛单元块梯度恢复算法、基于求解单边最优问题的梯度恢复算法等。
可选地，目标训练节点还可以接收每个剩余训练节点发送的第一学习模型的梯度秘密份额。进一步地，目标训练节点还可以接收协助节点发送的的第一学习模型的梯度秘密份额，其中，可以将来自剩余训练节点和协助节点的梯度秘密份额称为第一梯度秘密份额。进一步地，目标训练节点可以从本地获取到第一学习模型的梯度秘密份额，其中，可以将本地的梯度秘密份额称为第二梯度秘密份额，以与第一梯度秘密份额。
S102、根据第二梯度秘密份额和第一梯度秘密份额，恢复第一学习模型的梯度信息。
可选地，在获取到的第二梯度秘密份额和第一梯度秘密份额后，由于第一梯度秘密份额和第二梯度秘密份额为梯度信息这一秘密的分片，因此可以基于获取到第一梯度秘密份额和第二梯度秘密份额，按照设定的恢复算法，对梯度信息进行恢复，能够恢复第一学习模型的梯度信息。
S103、根据梯度信息更新所述第一学习模型的模型参数，并重新对更新后的第一学习模型进行训练。
其中，第一学习模型的梯度信息为一个向量，梯度信息的方向指的是函数定义域的内点变化的方向，梯度信息的模为方向导数的最大值。在联邦模型训练的过程中，损失函数为最小值是模型训练的优化目标，此时，通过获取第一学习模型的梯度信息，可以确定模型参数更新策略(包括调整方向和调整步长)，以确保损失函数能够最快速地减小。
在获取到第一学习模型的梯度信息后，可以根据梯度信息，确定第一学习模型中模型参数的调整方向和调整步长，根据调整方向和调整步长，对第一学习模型中的模型参数进行更新。进一步地，在对第一学习模型更新后，就可以继续对第一学习模型进行训练，以生成收敛的第一学习模型。需要说明的是，每个训练节点均能够按照目标训练节点的方式恢复各自本地学习模型的梯度信息。
由此，本申请能够在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，使得攻击者(包括外部攻击者、剩余训练节点)必须同时获得一定数量的梯度秘密份额才能恢复出梯度信息，降低了攻击者共谋窃取私有数据的风险，提高了模型训练过程中的安全性。同时，当部分梯度秘密份额丢失或被毁时，利用其它的梯度秘密份额仍能够恢复梯度信息，提高了模型训练过程中的可靠性。进一步地，基于秘密共享算法对联邦学习模型进行训练，能够快递地完成梯度秘密份额的运算，极大地缩短了运算耗时。进一步地，由于在模型训练的整个过程中仅由协助节点能够恢复出损失函数，并根据损失函数对第一学习模型是否收敛进行识别，并根据识别结果向目标训练节点发送指示信息，避免了各训练节点的参与，从而确保了各训练节点接收到的协助节点反馈的指示信息的可靠性，进一步提高了模型训练的有效性。
作为一种可能的实现方式，如图2所示，上述步骤S104中，根据梯度信息更新第一学习模型的模型参数的过程，具体包括以下步骤：
S201、接收协助节点反馈的第一学习模型的损失函数，其中，损失函数是由协助节点根据第一学习模型的损失函数秘密份额恢复出的。
可选地，协助节点可以接收多个训练节点发送的第一学习模型的损失函数秘密份额，然后根据第一学习模型的损失函数秘密份额，恢复第一学习模型的损失函数。需要说明的是，在协助节点试图恢复第一学习模型的损失函数时，只有当协助节点接收到的损失函数秘密份额多于预设数量时，才能恢复秘密，而接收到的损失函数秘密份额少于预设数量时，无法恢复秘密。其中，预设数量可以根据实际情况进行设定。
进一步地，协助节点将第一学习模型的损失函数发送给目标训练节点，相应地，目标训练节点就可以接收到协助节点反馈的第一学习模型的损失函数。
S202、根据损失函数识别第一学习模型是否收敛。
可选地，可以将损失函数与预设阈值进行比较，若识别损失函数达到预设阈值，说明第一学习模型达到所需精度，即说明当前第一学习模型是收敛的，则可以停止训练，并保存当前的第一学习模型；若识别损失函数未达到预设阈值，说明第一学习模型未达到所需精度，即说明当前第一学习模型未收敛，则可以进一步执行步骤S203。
其中，预设阈值可以根据实际情况进行设定。例如，可以设定预设阈值为92％、95％、99％等。
S203、若识别出第一学习模型未收敛，则根据梯度信息更新第一学习模型的模型参数。
需要说明的是，若识别出第一学习模型未收敛，则可以根据梯度信息更新第一学习模型的模型参数，继续训练，以提高第一学习模型所需精度。
作为一种可能的实现方式，可以由协助节点根据第一学习模型是否收敛的识别结果，向目标训练节点发送相应的指示信息。
可选地，若识别出第一学习模型未收敛，则可以向目标训练节点发送更新指示；若识别出第一学习模型收敛，则可以向目标训练节点发送停止训练指示。相应地，若识别出第一学习模型未收敛，目标训练节点可以接收协助节点反馈的更新指示；若识别出第一学习模型收敛，目标训练节点可以接收协助节点发送的停止训练指示。其中，更新指示由所述协助节点根据所述第一学习模型的损失函数识别出所述第一学习模型未收敛时生成的。
由此，本申请能够在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，并根据接收到的损失函数识别第一学习模型是否收敛，在识别第一学习模型未收敛时，根据梯度信息更新第一学习模型。由于接收到的损失函数是训练节点基于秘密共享算法得到的，即须在获得一定数量的梯度秘密份额才能恢复出梯度信息，降低了攻击者共谋窃取私有数据的风险，确保了模型训练过程中的安全性息，避免了各训练节点的参与，从而确保了各训练节点接收到的协助节点反馈的指示信息的可靠性，进一步提高了模型训练的有效性。
需要说明的是，目标训练节点在接收到剩余训练节点和协助节点发送的第一梯度秘密份额后，还可以对第一学习模型在目标训练节点上的第二梯度秘密份额进行获取。
作为一种可能的实现方式，如图3所示，在上述实施例的基础上，下面以目标训练节点获取第二梯度秘密份额为例，解释说明梯度秘密份额的获取过程，具体包括以下步骤：
S301、对第一学习模型对应的样本数据进行秘密共享处理，以获取在目标训练节点上的数据秘密份额。
需要说明的是，由于参与模型训练的训练节点包括：有标签的训练节点和没有标签的训练节点。因此，在试图获取第一学习模型在目标训练节点上的第二梯度秘密份额之前，还可以对目标训练节点是否为有标签的训练节点进行识别。
可选地，若识别目标训练节点为没有标签的训练节点，则可以仅对第一学习模型对应的样本数据进行秘密共享处理，以生成样本数据对应的数据秘密份额和其他数据秘密份额；若识别目标训练节点为有标签的训练节点，则可以同时对第一学习模型对应的样本数据和样本的标签数据进行秘密共享处理，以生成样本数据和样本的标签数据对应的数据秘密份额和其他数据秘密份额。
进一步地，目标训练节点可以将数据秘密份额存储于本地，并将其他数据秘密份额分别发送给剩余训练节点和协助节点。
需要说明的是，在试图进行秘密共享处理时，可以将样本数据和/或样本的标签数据作为秘密进行分割，并把秘密在共n个参与者(包括目标训练节点、剩余训练节点和协助节点)中进行分享，以使只有多于预设数量的参与者合作，才能恢复秘密，而少于预设数量的参与者合作时，无法恢复秘密。其中，预设数量可以根据实际情况进行设定。例如，可以设定预设数量为2/3*n。
举例来说，如图4所示，目标训练节点为有标签的训练节点，则可以将样本数据X和样本的标签数据y作为秘密A，将秘密A分割为秘密份额A1～A6，并将秘密份额A6存储于本地，将秘密份额A1～A5发送给剩余训练节点S1～剩余训练节点S4和协助节点S5。若预先设置预设数量为4个，则只有当合作的参与者数量达到4个时，才能恢复秘密A，而合作的参与者数量未达到4个时，无法恢复秘密A。其中，A1～A6均一致。
S302、获取第一学习模型的中间结果，并对中间结果进行秘密共享处理，以获取在目标训练节点上的中间结果秘密份额。
可选地，目标训练节点可以根据本地第一学习模型参数θ及本地样本数据X，获取第一学习模型的中间结果u＝θTx，然后对中间结果u进行秘密共享处理，以得到中间结果秘密份额和其他中间结果秘密份额。
进一步地，目标训练节点可以将中间结果秘密份额存储于本地，并将其他中间结果秘密份额分别发送给剩余训练节点和协助节点。
举例来说，如图5所示，可以将中间结果u作为秘密B，将秘密B分割为中间结果秘密份额B1～B6，并将秘密份额B6存储于本地，将秘密B1～B5发送给剩余训练节点S1～S4和协助节点S5，由此，目标训练节点上携带有中间结果秘密份额B1。其中，B1～B6均一致。
S303、获取在目标训练节点上的标签秘密份额，其中，标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的。
需要说明的是，由于秘密共享体系具有同态的特性，因此，在试图获取在目标训练节点上的标签秘密份额时，可以将第一学习模型对应的样本数据和样本的标签数据作为一个秘密进行秘密共享处理，也可以分别将第一学习模型对应的样本数据和样本的标签数据作为两个秘密进行秘密共享处理，使得通过前述两种方法获取到的在目标训练节点上的标签秘密份额是一致的。
举例而言，针对样本数据X和样本的标签数据y，可以将X和y作为一个秘密C进行秘密共享处理，由此，获取到在目标训练节点上的数据秘密份额为C1。进一步地，可以从C1中提取对应的标签秘密份额y1；也可以将y单独作为一个秘密D进行秘密共享处理，由此，可以直接获取到在目标训练节点上的标签秘密份额D1。此时，y1与D1是一致的。
S304、根据数据秘密份额、中间结果秘密份额和标签秘密份额，获取第二梯度秘密份额。
可选地，目标节点可以根据数据秘密份额、中间结果秘密份额和标签秘密份额，采用如下公式计算第二梯度秘密份额：
其中，θ为第一学习模型参数，ui为中间结果秘密份额，xi p为数据秘密份额，yi为标签秘密份额。
进一步地，目标训练节点可以根据中间结果秘密份额和标签秘密份额，采用如下公式计算第一学习模型的损失函数秘密份额并发送给协助节点：
由此，本申请能够通过目标训练节点对第一学习模型对应的样本数据及中间结果进行秘密处理，获取到目标训练节点上的数据秘密份额、中间结果秘密份额和标签秘密份额，进而获取第一学习模型在目标训练节点上的第二梯度秘密份额及第一学习模型的损失函数秘密份额，从而能够在半诚实假设的前提下，基于秘密分析算法进行数据交互，确保了数据信息交互和计算过程中的数据安全。
图6为本申请另一个实施例公开的联邦学习模型的训练方法的流程示意图。
如图6所示，以参与联邦学习模型训练的协助节点作为执行主体，对本申请实施例提出的联邦学习模型的训练方法进行解释说明，具体包括以下步骤：
S401、获取目标训练节点上第一学习模型的第一梯度秘密份额，其中，目标训练节点为任意一个参与联邦学习模型训练的训练节点。
由上述实施例可知，梯度信息与样本、中间结果以及样本的标签相关，协助节点可以根据秘密共享到的与第一学习模型相关的信息，按照梯度信息的计算公式，获取第一学习模型的第一梯度秘密份额。
S402、向目标训练节点发送第一学习模型的第一梯度秘密份额。
可选地，在获取到第一梯度秘密份额后，可以将其发送至对应的目标训练节点，以使目标训练节点在获取到第一学习模型的预设数量的梯度秘密份额后，可以恢复出第一学习模型的梯度信息，进而对第一学习模型进行更新，以获以对第一学习模型继续训练，以生成收敛的第一学习模型。
由此，本申请能够在半诚实假设的前提下，引入协助节点参与基于秘密共享算法的联邦学习模型训练，通过协助节点获取目标训练节点上第一学习模型的第一梯度秘密份额，并在获取到后第一梯度秘密份额后发送至目标训练节点，避免了目标训练节点的本地数据及梯度秘密被泄露的风险，确保了目标训练节点数据的安全性。
作为一种可能的实现方式，如图7所示，在上述实施例的基础上，上述步骤S401中，获取目标训练节点上第一学习模型的第一梯度秘密份额的过程，具体包括以下步骤：
S501、接收目标训练节点发送的数据秘密份额，其中，数据秘密份额为第一学习模型对应的样本数据经过秘密共享处理后生成的。
可选地，目标训练节点可以对第一学习模型对应的样本数据进行秘密共享处理，以生成样本数据对应的数据秘密份额，并将数据秘密份额发送给协助节点。相应的，协助节点可以接收目标训练节点发送的数据秘密份额。
需要说明的是，参与模型训练的训练节点包括：有标签的训练节点和没有标签的训练节点，若识别目标训练节点为没有标签的训练节点，则协助节点接收到的数据秘密份额仅包括第一学习模型对应的样本数据进行秘密共享处理后生成的数据秘密份额；若识别目标训练节点为有标签的训练节点，则协助节点接收到的数据秘密份额同时包括对第一学习模型对应的样本数据和样本的标签数据进行秘密共享处理后生成的数据秘密份额。
S502、接收目标训练节点发送的中间结果秘密份额，其中，中间结果密码份额为第一学习模型训练时产生的中间结果经过秘密共享处理后生成的。
可选地，目标训练节点可以根据本地第一学习模型参数θ及本地样本数据X，获取第一学习模型的中间结果u＝θTx，然后对中间结果u进行秘密共享处理，以得到中间结果秘密份额，并将中间结果秘密份额分别发送给协助节点。相应的，协助节点可以接收目标训练节点发送的中间结果秘密份额。
S503、接收有标签训练节点发送的标签秘密份额，其中，标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的。
可选地，有标签训练节点可以将第一学习模型对应的样本数据和样本的标签数据作为一个秘密进行秘密共享处理，并将生成的数据秘密份额发送给协调节点。相应的，协调节点可以接收数据秘密份额，并从中提取标签秘密份额。
可选地，有标签训练节点可以分别将第一学习模型对应的样本数据和样本的标签数据作为两个秘密进行秘密共享处理，并将生成的标签秘密份额直接发送给协调节点。相应的，协调节点可以直接接收标签秘密份额。
需要说明的是，由于秘密共享体系具有同态的特性，使得协调节点通过前述两种方法获取到的标签秘密份额是一致的。
S504、根据数据秘密份额、中间结果秘密份额和标签秘密份额，获取第一梯度秘密份额。
可选地，协调节点可以根据数据秘密份额、中间结果秘密份额和标签秘密份额，采用如下公式计算第一梯度秘密份额：
其中，θ为第一学习模型参数，ui为中间结果秘密份额，xi p为数据秘密份额，yi为标签秘密份额。
由此，本申请能够通过协助节点接收目标训练节点发送的数据秘密份额、中间结果秘密份额和有标签训练节点发送的标签秘密份额，进而获取目标训练节点上第一学习模型的第一梯度秘密份额，从而能够在半诚实假设的前提下，基于秘密分析算法进行数据交互，确保了数据信息交互和计算过程中的数据安全。
进一步地，在协助节点获取到第一梯度秘密份额后，还可以获取所有训练节点发送的损失函数秘密份额，并通过解密恢复第一学习模型的损失函数。
作为一种可能的实现方式，如图8所示，在上述实施例的基础上，恢复第一学习模型的损失函数的过程，具体包括以下步骤：
S601、接收各训练节点发送的第一学习模型的损失函数秘密份额。
可选地，在试图对联邦学习模型进行训练时，各训练节点可以分别根据中间结果秘密份额和标签秘密份额，获取第一学习模型的损失函数秘密份额，并发送给协助节点。相应的，协助节点可以接收各训练节点发送的第一学习模型的损失函数秘密份额。
S602、根据接收到的损失函数秘密份额，恢复出第一学习模型的损失函数。
可选地，协助节点可以根据接收到的损失函数秘密份额进行解密，以恢复出第一学习模型的损失函数。
进一步地，在协助节点恢复出第一学习模型的损失函数后，可以向目标训练节点发送损失函数。
需要说明的是，基于秘密算法，能够确保仅协助节点能够恢复出第一学习模型的损失函数，其他训练节点无法恢复出出第一学习模型的损失函数，同时，协助节点向目标训练节点发送的损失函数也是与目标训练节点的第一学习模型对应的函数。
由此，本申请能够通过协助节点接收各训练节点发送的第一学习模型的损失函数秘密份额，并通过解密恢复出第一学习模型的损失函数，使得协助节点须在获得一定数量的损失函数秘密份额才能恢复出损失函数，降低了攻击者共谋窃取私有数据的风险，确保在模型训练的整个过程中仅由协助节点能够恢复出损失函数，避免了各训练节点的参与，从而确保了协助节点获取到的损失函数的可靠性。
进一步地，在协助节点恢复出第一学习模型的所述损失函数之后，可以根据损失函数对第一学习模型是否收敛进行识别，并根据识别结果，向目标训练节点发送匹配的指示。
作为一种可能的实现方式，如图9所示，在上述实施例的基础上，根据损失函数对第一学习模型是否收敛进行识别的过程，具体包括以下步骤：
S701、根据损失函数，判断第一学习模型是否收敛。
可选地，协助节点可以将获取到的损失函数与预设阈值进行比较，若识别损失函数达到预设阈值，说明第一学习模型达到所需精度，即说明当前第一学习模型是收敛的，则可以执行步骤S703；若识别损失函数未达到预设阈值，说明第一学习模型未达到所需精度，即说明当前第一学习模型未收敛，则可以执行步骤S702。
S702、向目标训练节点发送更新模型参数的更新指示。
需要说明的是，若识别出第一学习模型未收敛，则可以向目标训练节点发送更新模型参数的更新指示，以使目标训练节点根据梯度信息更新第一学习模型的模型参数，继续训练，以提高第一学习模型所需精度。
S703、向目标训练节点发送第一学习模型训练完成的完成指示。
需要说明的是，若识别出第一学习模型收敛，则可以向目标训练节点发送第一学习模型训练完成的完成指示，以使目标训练节点停止第一学习模型的训练，并保存当前的第一学习模型。
由此，本申请能够通过协助节点根据损失函数，判断第一学习模型是否收敛，并根据识别结果向目标训练节点发送匹配的指示，以指示第一学习模型训练直至模型收敛，确保了模型训练过程中的有效性。
为实现上述实施例，本发明实施例还提出了另一种联邦学习模型的训练方法的流程图，如图10所示，联邦学习模型的训练方法，包括以下步骤：
S801、协助节点向目标训练节点发送目标训练节点上第一学习模型的梯度秘密份额。
S802、剩余训练节点向目标训练节点发送第一学习模型的梯度秘密份额。
S803、目标训练节点获取第一学习模型在本地的梯度秘密份额。
S804、目标训练节点根据本地的梯度秘密份额和协助节点发送的梯度秘密份额、以及剩余节点发送的梯度秘密份额，恢复第一学习模型的梯度信息。
S805、目标训练节点根据梯度信息更新第一学习模型的模型参数，并重新对更新后的第一学习模型进行训练。
需要说明的是，关于步骤S801～S805的介绍可参见上述实施例中的相关记载，此处不再赘述。
由此，本申请能够在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，降低了信息传输中的数据泄露风险，确保了训练节点的私有数据的安全性。进一步地，基于秘密共享算法对联邦学习模型进行训练，能够快递地完成梯度秘密份额的运算，极大地缩短了运算耗时。进一步地，由于在模型训练的整个过程中仅由协助节点能够恢复出损失函数，避免了各训练节点的参与，从而确保了各训练节点接收到的协助节点反馈的指示信息的可靠性，进一步提高了模型训练的有效性。
为实现上述实施例，本发明实施例还提出了另一种联邦学习模型的训练方法的流程图，如图11所示，以协助节点和各训练节点进行模型训练的全过程为例，对本申请实施例提出的联邦学习模型的训练方法进行解释说明，具体包括以下步骤：
S901、各训练节点分别对第一学习模型对应的样本数据进行秘密共享处理，以得到在各自训练节点上的数据秘密份额和其他数据秘密份额，并将其他数据秘密份额分别发送给剩余训练节点和协助节点。
其中，有标签的训练节点通过秘密共享处理获取到的数据秘密份额中，包括标签秘密份额。
S902、各训练节点分别获取第一学习模型的中间结果，并对中间结果进行秘密共享处理，以得到在各自训练节点上的中间结果秘密份额和其他中间结果秘密份额，并将其他中间结果秘密份额分别发送给剩余训练节点和协助节点。
S903、各训练节点分别根据数据秘密份额、中间结果秘密份额和标签秘密份额，获取第一梯度秘密份额。
S904、各训练节点和协助节点分别根据其他数据秘密份额、其他中间结果秘密份额和其他标签秘密份额，获取第二梯度秘密份额。
S905、各训练节点分别根据第一梯度秘密份额和第二梯度秘密份额，恢复各训练节点对应的第一学习模型的梯度信息。
S906、各训练节点分别根据中间结果秘密份额和标签秘密份额，获取第一学习模型的损失函数秘密份额，并发送给协助节点。
S907、协助节点接收各训练节点发送的第一学习模型的损失函数秘密份额。
S908、协助节点根据接收到的损失函数秘密份额，恢复出第一学习模型的损失函数，并向目标训练节点发送损失函数。
S909、协助节点根据损失函数，判断第一学习模型是否收敛。
S910、协助节点向第一学习模型未收敛的训练节点发送更新模型参数的更新指示。
例如，如图11所示，剩余训练节点为第一学习模型未收敛的训练节点。
S911、第一学习模型未收敛的训练节点根据对应的第一学习模型的梯度信息更新第一学习模型的模型参数，并重新对更新后的第一学习模型进行训练。
S912、协助节点向第一学习模型收敛的训练节点发送第一学习模型训练完成的完成指示。
例如，如图11所示，目标训练节点为第一学习模型收敛的训练节点。
需要说明的是，关于步骤S901～S912的介绍可参见上述实施例中的相关记载，此处不再赘述。
如图12所示，本申请在半诚实假设的前提下，由各训练节点(包括有标签的训练节点和无标签的训练节点)和协助节点共同参与计算，并采用Shamir秘密共享算法、损失函数计算公式、秘密共享份额计算公式及基于数据流变成的符号数学***(TensorFlow)等方式，对纵向联邦学习模型进行训练，并根据协调节点计算得到的损失函数判断模型是否收敛，以根据识别结果向对应的训练节点发送指示，直至所有的训练节点对应的模型完成训练，确保了数据安全、提高了模型训练有效性、缩短了运算耗时。
由此，本申请能够在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，使得攻击者(包括外部攻击者、剩余训练节点)必须同时获得一定数量的梯度秘密份额才能恢复出梯度信息，降低了攻击者共谋窃取私有数据的风险，提高了模型训练过程中的安全性。同时，当部分梯度秘密份额丢失或被毁时，利用其它的梯度秘密份额仍能够恢复梯度信息，提高了模型训练过程中的可靠性。进一步地，基于秘密共享算法对联邦学习模型进行训练，能够快递地完成梯度秘密份额的运算，极大地缩短了运算耗时。进一步地，由于在模型训练的整个过程中仅由协助节点能够恢复出损失函数，并根据损失函数对第一学习模型是否收敛进行识别，并根据识别结果向目标训练节点发送指示信息，避免了各训练节点的参与，从而确保了各训练节点接收到的协助节点反馈的指示信息的可靠性，进一步提高了模型训练的有效性。
基于同一申请构思，本申请实施例还提供了一种联邦学习模型的训练方法对应的装置。
图13为本申请实施例提供的联邦学习模型的训练装置的结构示意图。如图13所示，训练装置设置有目标训练节点上，其中，目标训练节点为任意一个参与联邦学习模型训练的训练节点，该联邦学习模型的训练装置1000，包括：第一获取模块110、梯度恢复模块120和更新模块130。
其中，第一获取模块110，用于获取所述目标训练节点上第一学习模型的梯度秘密份额；梯度恢复模块120，用于根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；更新模块130，用于根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。
根据本申请的一个实施例，如图14所示，图13中的第一获取模块110，包括：第一接收单元111和第一获取单元112。其中，第一接收单元111，用于接收参与所述联邦学习模型训练的剩余训练节点和协助节点发送的所述第一学习模型的第一梯度秘密份额；第一获取单元112，用于获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额。
根据本申请的一个实施例，如图14所示，图13中的更新模块130，包括：第二接收单元131、识别单元132和更新单元133。其中，第二接收单元131，用于接收所述协助节点反馈的所述第一学习模型的损失函数，其中，所述损失函数是由所述协助节点根据所述第一学习模型的损失函数秘密份额恢复出的；识别单元132，用于根据所述损失函数识别所述第一学习模型是否收敛；更新单元133，用于在识别出所述第一学习模型未收敛时，根据所述梯度信息更新所述第一学习模型的模型参数。
根据本申请的一个实施例，所述第一接收单元111，还用于：在根据所述梯度信息更新所述第一学习模型的模型参数之前，接收所述协助节点反馈的更新指示，其中，所述更新指示由所述协助节点根据所述第一学习模型的损失函数识别出所述第一学习模型未收敛时生成的。
根据本申请的一个实施例，如图14所示，图13中的第一获取模块110，包括：第一秘密共享单元113、第二秘密共享单元114、第一获取单元115和第二获取单元116。其中，第一秘密共享单元113，用于对所述第一学习模型对应的样本数据进行秘密共享处理，以获取在所述目标训练节点上的数据秘密份额；第二秘密共享单元124，用于获取所述第一学习模型的中间结果，并对所述中间结果进行秘密共享处理，以获取在所述目标训练节点上的中间结果秘密份额；第一获取单元125，用于获取在所述目标训练节点上的标签秘密份额，其中，标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；第二获取单元126，用于根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第二梯度秘密份额。
根据本申请的一个实施例，如图14所示，本申请提出的联邦学习模型的训练装置1000，还包括：第一发送模块140，用于在对所述第一学习模型对应的样本数据进行秘密共享处理之后，将所述样本数据秘密共享处理后生成的其他数据秘密份额，分别发送给所述剩余训练节点和所述协助节点。
根据本申请的一个实施例，所述目标训练节点为有标签训练节点，其中，如图14所示，第一秘密共享单元113和第二秘密共享单元114，进一步用于对所述样本数据和样本的标签数据进行秘密共享处理。
根据本申请的一个实施例，如图14所示，本申请提出的联邦学习模型的训练装置1000，还包括：第二发送模块150，用于在对所述中间结果进行秘密共享处理之后，将所述中间结果秘密共享处理后生成的其他中间结果秘密份额分别发送给所述剩余训练节点和所述协助节点。
根据本申请的一个实施例，如图14所示，本申请提出的联邦学习模型的训练装置1000，还包括：第二获取模块160，用于根据所述中间结果秘密份额和所述标签秘密份额，获取所述第一学习模型的损失函数秘密份额并发送给所述协助节点。
由此，本申请能够在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，使得攻击者(包括外部攻击者、剩余训练节点)必须同时获得一定数量的梯度秘密份额才能恢复出梯度信息，降低了攻击者共谋窃取私有数据的风险，提高了模型训练过程中的安全性。同时，当部分梯度秘密份额丢失或被毁时，利用其它的梯度秘密份额仍能够恢复梯度信息，提高了模型训练过程中的可靠性。进一步地，基于秘密共享算法对联邦学习模型进行训练，能够快递地完成梯度秘密份额的运算，极大地缩短了运算耗时。进一步地，由于在模型训练的整个过程中仅由协助节点能够恢复出损失函数，并根据损失函数对第一学习模型是否收敛进行识别，并根据识别结果向目标训练节点发送指示信息，避免了各训练节点的参与，从而确保了各训练节点接收到的协助节点反馈的指示信息的可靠性，进一步提高了模型训练的有效性。
基于同一申请构思，本申请实施例还提供了另一种联邦学习模型的训练方法对应的装置。
图15为本申请实施例提供的联邦学习模型的训练装置的结构示意图。如图15所示，联邦学习模型的训练装置在参与联邦学习模型训练的协助节点上，该联邦学习模型的训练装置1000，包括：第一获取模块210和发送模块220。
其中，第一获取模块210，用于获取目标训练节点上第一学习模型的第一梯度秘密份额，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；
发送模块220，用于向所述目标训练节点发送第一学习模型的第一梯度秘密份额。
根据本申请的一个实施例，如图16所示，图15中的第一获取模块210，包括：第一接收单元211、第二接收单元212、第三接收单元213和获取单元214。其中，第一接收单元211，用于接收所述目标训练节点发送的数据秘密份额，其中，所述数据秘密份额为所述第一学习模型对应的样本数据经过秘密共享处理后生成的；第二接收单元212，用于接收所述目标训练节点发送的中间结果秘密份额，其中，所述中间结果密码份额为所述第一学习模型训练时产生的中间结果经过秘密共享处理后生成的；第三接收单元213，用于接收有标签训练节点发送的标签秘密份额，其中，所述标签秘密份额为所述有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；获取单元214，用于根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第一梯度秘密份额。
根据本申请的一个实施例，如图16所示，本申请提出的联邦学习模型的训练装置1000，还包括：接收模块230和损失恢复模块240。其中，接收模块230，用于接收各训练节点发送的所述第一学习模型的损失函数秘密份额；损失恢复模块240，用于根据接收到的所述损失函数秘密份额，恢复出所述第一学习模型的损失函数。
根据本申请的一个实施例，如图16所示，本申请提出的联邦学习模型的训练装置1000，还包括：判断模块250和指示发送模块260。其中，判断模块250，用于在恢复出所述损失函数之后根据所述损失函数，判断所述第一学习模型是否收敛；指示发送模块260，用于在所述第一学习模型未收敛时，向所述目标训练节点发送更新模型参数的更新指示，以及在所述第一学习模型收敛时，向所述目标训练节点发送所述第一学习模型训练完成的完成指示。
根据本申请的一个实施例，如图15所示，发送模块220，还用于在恢复出所述损失函数之后，向所述目标训练节点发送所述损失函数。
由此，本申请能够在半诚实假设的前提下，引入协助节点参与基于秘密共享算法的联邦学习模型训练，通过协助节点获取目标训练节点上第一学习模型的第一梯度秘密份额，并在获取到后第一梯度秘密份额后发送至目标训练节点，避免了目标训练节点的本地数据及梯度秘密被泄露的风险，确保了目标训练节点数据的安全性。
需要说明的是，如图17所示，由本申请提出的联邦学***台的业务应用层，进而结合数据层与基础支持层建立应用程序，以在消除中间结果泄漏风险、避免最终计算结果被非需求节点获取、确保数据安全的基础上，实现应用程序的功能。
其中，MySQL为一种关系型数据库管理***、远程字典服务(Remote DictionaryServer，简称Redis)属于一种数据库；云间联邦学习计算引擎包括：加密算法、联邦学习应用程序接口(Federated Learning Application Programming Interface，简称FederatedLearning API)、联邦核心应用程序接口(Federated Core Application ProgrammingInterface，简称Federated Core API)和编译器(Compiler)。
基于同一申请构思，本申请实施例还提供了一种联邦学习模型的训练方法对应的***。
图18为本申请实施例提供的联邦学习模型的训练***的结构示意图。如图18所示，该联邦学习模型的训练***3000，包括联邦学习模型的训练装置1000。
基于同一申请构思，本申请实施例还提供了一种电子设备。
图19为本申请实施例提供的电子设备的结构示意图。如图19所示，该电子设备2000，包括存储器201、处理器202及存储在存储器201上并可在处理器202上运行的计算机程序，处理器执行程序时，实现前述的联邦学习模型的训练方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (32)
1.一种联邦学习模型的训练方法，其特征在于，执行主体为参与联邦学习模型训练的目标训练节点，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点，所述方法包括以下步骤：
获取所述目标训练节点上第一学习模型的梯度秘密份额；
根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；
根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。
2.根据权利要求1所述的联邦学习模型的训练方法，其特征在于，所述获取所述目标训练节点上第一学习模型的梯度秘密份额，包括：
接收参与所述联邦学习模型训练的剩余训练节点和协助节点发送的所述第一学习模型的第一梯度秘密份额；
获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额。
3.根据权利要求1所述的联邦学习模型的训练方法，其特征在于，所述根据所述梯度信息更新所述第一学习模型的模型参数，包括：
接收所述协助节点反馈的所述第一学习模型的损失函数，其中，所述损失函数是由所述协助节点根据所述第一学习模型的损失函数秘密份额恢复出的；
根据所述损失函数识别所述第一学习模型是否收敛；
若识别出所述第一学习模型未收敛，则根据所述梯度信息更新所述第一学习模型的模型参数。
4.根据权利要求1所述的联邦学习模型的训练方法，其特征在于，所述根据所述梯度信息更新所述第一学习模型的模型参数之前，还包括
接收所述协助节点反馈的更新指示，其中，所述更新指示由所述协助节点根据所述第一学习模型的损失函数识别出所述第一学习模型未收敛时生成的。
5.根据权利要求2-4任一项所述的联邦学习模型的训练方法，其特征在于，所述获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额，包括：
对所述第一学习模型对应的样本数据进行秘密共享处理，以获取在所述目标训练节点上的数据秘密份额；
获取所述第一学习模型的中间结果，并对所述中间结果进行秘密共享处理，以获取在所述目标训练节点上的中间结果秘密份额；
获取在所述目标训练节点上的标签秘密份额，其中，所述标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；
根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第二梯度秘密份额。
6.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，所述对所述第一学习模型对应的样本数据进行秘密共享处理之后，还包括：
将所述样本数据秘密共享处理后生成的其他数据秘密份额，分别发送给所述剩余训练节点和所述协助节点。
7.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，所述目标训练节点为有标签的训练节点，其中，所述对所述第一学习模型对应的样本数据进行秘密共享处理，包括：
对所述样本数据和样本的标签数据进行秘密共享处理。
8.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，所述对所述中间结果进行秘密共享处理之后，还包括：
将所述中间结果秘密共享处理后生成的其他中间结果秘密份额分别发送给所述剩余训练节点和所述协助节点。
9.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，还包括：
根据所述中间结果秘密份额和所述标签秘密份额，获取所述第一学习模型的损失函数秘密份额并发送给所述协助节点。
10.一种联邦学习模型的训练方法，其特征在于，执行主体为参与联邦学习模型训练的协助节点，所述方法包括以下步骤：
获取目标训练节点上第一学习模型的第一梯度秘密份额，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；
向所述目标训练节点发送第一学习模型的第一梯度秘密份额。
11.根据权利要求10所述的联邦学习模型的训练方法，其特征在于，所述获取目标训练节点上第一学习模型的第一梯度秘密份额，包括：
接收所述目标训练节点发送的数据秘密份额，其中，所述数据秘密份额为所述第一学习模型对应的样本数据经过秘密共享处理后生成的；
接收所述目标训练节点发送的中间结果秘密份额，其中，所述中间结果密码份额为所述第一学习模型训练时产生的中间结果经过秘密共享处理后生成的；
接收有标签训练节点发送的标签秘密份额，其中，所述标签秘密份额为所述有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；
根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第一梯度秘密份额。
12.根据权利要求10所述的联邦学习模型的训练方法，其特征在于，还包括：
接收各训练节点发送的所述第一学习模型的损失函数秘密份额；
根据接收到的所述损失函数秘密份额，恢复出所述第一学习模型的损失函数。
13.根据权利要求12所述的联邦学习模型的训练方法，其特征在于，所述恢复出所述第一学习模型的所述损失函数之后，还包括：
根据所述损失函数，判断所述第一学习模型是否收敛；
若所述第一学习模型未收敛，则向所述目标训练节点发送更新模型参数的更新指示；
若所述第一学习模型收敛，则向所述目标训练节点发送所述第一学习模型训练完成的完成指示。
14.根据权利要求12所述的联邦学习模型的训练方法，其特征在于，所述恢复出所述第一学习模型的所述损失函数之后，还包括：
向所述目标训练节点发送所述损失函数。
15.一种联邦学习模型的训练装置，其特征在于，所述训练装置设置有目标训练节点上，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；
所述联邦学习模型的训练装置，包括：
第一获取模块，用于获取所述目标训练节点上第一学习模型的梯度秘密份额；
梯度恢复模块，用于根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；
更新模块，用于根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。
16.根据权利要求15所述的联邦学习模型的训练装置，其特征在于，所述第一获取模块，包括：
第一接收单元，用于接收参与所述联邦学习模型训练的剩余训练节点和协助节点发送的所述第一学习模型的第一梯度秘密份额；
第一获取单元，用于获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额。
17.根据权利要求15所述的联邦学习模型的训练装置，其特征在于，所述更新模块，包括：
第二接收单元，用于接收所述协助节点反馈的所述第一学习模型的损失函数，其中，所述损失函数是由所述协助节点根据所述第一学习模型的损失函数秘密份额恢复出的；
识别单元，用于根据所述损失函数识别所述第一学习模型是否收敛；
更新单元，用于在识别出所述第一学习模型未收敛时，根据所述梯度信息更新所述第一学习模型的模型参数。
18.根据权利要求15所述的联邦学习模型的训练装置，其特征在于，所述第一接收单元，还用于在根据所述梯度信息更新所述第一学习模型的模型参数之前，接收所述协助节点反馈的更新指示，其中，所述更新指示由所述协助节点根据所述第一学习模型的损失函数识别出所述第一学习模型未收敛时生成的。
19.根据权利要求16-18任一项所述的联邦学习模型的训练装置，其特征在于，所述第一获取模块，包括：
第一秘密共享单元，用于对所述第一学习模型对应的样本数据进行秘密共享处理，以获取在所述目标训练节点上的数据秘密份额；
第二秘密共享单元，用于获取所述第一学习模型的中间结果，并对所述中间结果进行秘密共享处理，以获取在所述目标训练节点上的中间结果秘密份额；
第二获取单元，用于获取在所述目标训练节点上的标签秘密份额，其中，标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；
第三获取单元，用于根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第二梯度秘密份额。
20.根据权利要求19所述的联邦学习模型的训练装置，其特征在于，还包括：
第一发送模块，用于在对所述第一学习模型对应的样本数据进行秘密共享处理之后，将所述样本数据秘密共享处理后生成的其他数据秘密份额，分别发送给所述剩余训练节点和所述协助节点。
21.根据权利要求19所述的联邦学习模型的训练装置，其特征在于，所述目标训练节点为有标签训练节点，其中，所述秘密共享单元，进一步用于对所述样本数据和样本的标签数据进行秘密共享处理。
22.根据权利要求19所述的联邦学习模型的训练装置，其特征在于，还包括：
第二发送模块，用于在对所述中间结果进行秘密共享处理之后，将所述中间结果秘密共享处理后生成的其他中间结果秘密份额分别发送给所述剩余训练节点和所述协助节点。
23.根据权利要求19所述的联邦学习模型的训练装置，其特征在于，还包括：
第二获取模块，用于根据所述中间结果秘密份额和所述标签秘密份额，获取所述第一学习模型的损失函数秘密份额并发送给所述协助节点。
24.一种联邦学习模型的训练装置，其特征在于，所述联邦学习模型的训练装置在参与联邦学习模型训练的协助节点上；
所述联邦学习模型的训练装置，包括：
第一获取模块，用于获取目标训练节点上第一学习模型的第一梯度秘密份额，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；
发送模块，用于向所述目标训练节点发送第一学习模型的第一梯度秘密份额。
25.根据权利要求24所述的联邦学习模型的训练装置，其特征在于，所述第一获取模块，包括：
第一接收单元，用于接收所述目标训练节点发送的数据秘密份额，其中，所述数据秘密份额为所述第一学习模型对应的样本数据经过秘密共享处理后生成的；
第二接收单元，用于接收所述目标训练节点发送的中间结果秘密份额，其中，所述中间结果密码份额为所述第一学习模型训练时产生的中间结果经过秘密共享处理后生成的；
第三接收单元，用于接收有标签训练节点发送的标签秘密份额，其中，所述标签秘密份额为所述有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；
获取单元，用于根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第一梯度秘密份额。
26.根据权利要求24所述的联邦学习模型的训练装置，其特征在于，还包括：
接收模块，用于接收各训练节点发送的所述第一学习模型的损失函数秘密份额；
损失恢复模块，用于根据接收到的所述损失函数秘密份额，恢复出所述第一学习模型的损失函数。
27.根据权利要求25所述的联邦学习模型的训练装置，其特征在于，还包括：
判断模块，用于在恢复出所述损失函数之后根据所述损失函数，判断所述第一学习模型是否收敛；
指示发送模块，用于在所述第一学习模型未收敛时，向所述目标训练节点发送更新模型参数的更新指示，以及在所述第一学习模型收敛时，向所述目标训练节点发送所述第一学习模型训练完成的完成指示。
28.根据权利要求25所述的联邦学习模型的训练方法，其特征在于，所述发送模块，还用于在恢复出所述损失函数之后，向所述目标训练节点发送所述损失函数。
29.一种联邦学习模型的训练方法，其特征在于，包括以下步骤：
协助节点向目标训练节点发送所述目标训练节点上第一学习模型的梯度秘密份额；
剩余训练节点向所述目标训练节点发送所述第一学习模型的梯度秘密份额；
所述目标训练节点获取所述第一学习模型在本地的梯度秘密份额；
所述目标训练节点根据所述本地的梯度秘密份额和所述协助节点发送的梯度秘密份额、以及所述剩余节点发送的梯度秘密份额，恢复所述第一学习模型的梯度信息；
所述目标训练节点根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。
30.一种联邦学习模型的训练***，其特征在于，包括：
如权利要求15所述的联邦学习模型的训练装置、如权利要求24所述的联邦学习模型的训练装置。
31.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-9中任一项所述的联邦学习模型的训练方法，或者实现如权利要求10-14中任一项所述的联邦学习模型的训练方法。
32.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的联邦学习模型的训练方法，或者实现如权利要求10-14中任一项所述的联邦学习模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564686.2A CN111860829A (zh) | 2020-06-19 | 2020-06-19 | 联邦学习模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564686.2A CN111860829A (zh) | 2020-06-19 | 2020-06-19 | 联邦学习模型的训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860829A true CN111860829A (zh) | 2020-10-30 |
Family
ID=72987641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010564686.2A Pending CN111860829A (zh) | 2020-06-19 | 2020-06-19 | 联邦学习模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860829A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464287A (zh) * | 2020-12-12 | 2021-03-09 | 同济大学 | 基于秘密共享与联邦学习的多方XGBoost安全预测模型训练方法 |
| CN112766514A (zh) * | 2021-01-22 | 2021-05-07 | 支付宝(杭州)信息技术有限公司 | 一种联合训练机器学习模型的方法、***及装置 |
| CN112818369A (zh) * | 2021-02-10 | 2021-05-18 | ***股份有限公司 | 一种联合建模方法及装置 |
| CN113033828A (zh) * | 2021-04-29 | 2021-06-25 | 江苏超流信息技术有限公司 | 模型训练方法、使用方法、***、可信节点及设备 |
| CN113516256A (zh) * | 2021-09-14 | 2021-10-19 | 深圳市洞见智慧科技有限公司 | 基于秘密共享、同态加密的无第三方联邦学习方法及*** |
| CN114330673A (zh) * | 2022-03-15 | 2022-04-12 | 支付宝(杭州)信息技术有限公司 | 一种对业务预测模型进行多方联合训练的方法及装置 |
| CN114499866A (zh) * | 2022-04-08 | 2022-05-13 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的密钥分级管理方法及装置 |
| CN114611720A (zh) * | 2022-03-14 | 2022-06-10 | 北京字节跳动网络技术有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
| CN114648130A (zh) * | 2022-02-07 | 2022-06-21 | 北京航空航天大学 | 纵向联邦学习方法、装置、电子设备及存储介质 |
| CN114764601A (zh) * | 2022-05-05 | 2022-07-19 | 北京瑞莱智慧科技有限公司 | 一种梯度数据融合方法、装置及存储介质 |
| WO2023116787A1 (zh) * | 2021-12-22 | 2023-06-29 | 华为技术有限公司 | 智能模型的训练方法和装置 |
| WO2023125747A1 (zh) * | 2021-12-30 | 2023-07-06 | 维沃移动通信有限公司 | 模型训练方法、装置及通信设备 |
-
2020
- 2020-06-19 CN CN202010564686.2A patent/CN111860829A/zh active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464287A (zh) * | 2020-12-12 | 2021-03-09 | 同济大学 | 基于秘密共享与联邦学习的多方XGBoost安全预测模型训练方法 |
| CN112766514A (zh) * | 2021-01-22 | 2021-05-07 | 支付宝(杭州)信息技术有限公司 | 一种联合训练机器学习模型的方法、***及装置 |
| CN112818369A (zh) * | 2021-02-10 | 2021-05-18 | ***股份有限公司 | 一种联合建模方法及装置 |
| CN112818369B (zh) * | 2021-02-10 | 2024-03-29 | ***股份有限公司 | 一种联合建模方法及装置 |
| CN113033828A (zh) * | 2021-04-29 | 2021-06-25 | 江苏超流信息技术有限公司 | 模型训练方法、使用方法、***、可信节点及设备 |
| CN113033828B (zh) * | 2021-04-29 | 2022-03-22 | 江苏超流信息技术有限公司 | 模型训练方法、使用方法、***、可信节点及设备 |
| CN113516256A (zh) * | 2021-09-14 | 2021-10-19 | 深圳市洞见智慧科技有限公司 | 基于秘密共享、同态加密的无第三方联邦学习方法及*** |
| WO2023116787A1 (zh) * | 2021-12-22 | 2023-06-29 | 华为技术有限公司 | 智能模型的训练方法和装置 |
| WO2023125747A1 (zh) * | 2021-12-30 | 2023-07-06 | 维沃移动通信有限公司 | 模型训练方法、装置及通信设备 |
| CN114648130A (zh) * | 2022-02-07 | 2022-06-21 | 北京航空航天大学 | 纵向联邦学习方法、装置、电子设备及存储介质 |
| CN114648130B (zh) * | 2022-02-07 | 2024-04-16 | 北京航空航天大学 | 纵向联邦学习方法、装置、电子设备及存储介质 |
| CN114611720A (zh) * | 2022-03-14 | 2022-06-10 | 北京字节跳动网络技术有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
| CN114611720B (zh) * | 2022-03-14 | 2023-08-08 | 抖音视界有限公司 | 联邦学习模型训练方法、电子设备及存储介质 |
| CN114330673A (zh) * | 2022-03-15 | 2022-04-12 | 支付宝(杭州)信息技术有限公司 | 一种对业务预测模型进行多方联合训练的方法及装置 |
| CN114499866A (zh) * | 2022-04-08 | 2022-05-13 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的密钥分级管理方法及装置 |
| CN114764601A (zh) * | 2022-05-05 | 2022-07-19 | 北京瑞莱智慧科技有限公司 | 一种梯度数据融合方法、装置及存储介质 |
| CN114764601B (zh) * | 2022-05-05 | 2024-01-30 | 北京瑞莱智慧科技有限公司 | 一种梯度数据融合方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860829A (zh) | 联邦学习模型的训练方法及装置 | |
| CN109002861B (zh) | 联邦建模方法、设备及存储介质 | |
| CN110929886B (zh) | 模型训练、预测方法及其*** | |
| CN111275207B (zh) | 基于半监督的横向联邦学习优化方法、设备及存储介质 | |
| CN110189192B (zh) | 一种信息推荐模型的生成方法及装置 | |
| CN109284313B (zh) | 基于半监督学习的联邦建模方法、设备及可读存储介质 | |
| CN110472745B (zh) | 一种联邦学习中的信息传输方法及装置 | |
| CN110955915B (zh) | 一种隐私数据的处理方法及装置 | |
| CN111310938A (zh) | 基于半监督的横向联邦学习优化方法、设备及存储介质 | |
| CN114003949B (zh) | 基于隐私数据集的模型训练方法和装置 | |
| CN113505882B (zh) | 基于联邦神经网络模型的数据处理方法、相关设备及介质 | |
| CN113610540B (zh) | 一种河蟹防伪溯源方法及*** | |
| CN112199709A (zh) | 基于多方的隐私数据联合训练模型的方法和装置 | |
| CN112989399B (zh) | 数据处理***及方法 | |
| CN111861099A (zh) | 联邦学习模型的模型评估方法及装置 | |
| CN114611720A (zh) | 联邦学习模型训练方法、电子设备及存储介质 | |
| CN114004363A (zh) | 联合更新模型的方法、装置及*** | |
| CN113240430B (zh) | 移动支付验证方法及装置 | |
| CN110727783B (zh) | 一种基于对话***对用户问句提出反问的方法和装置 | |
| CN112948883A (zh) | 保护隐私数据的多方联合建模的方法、装置和*** | |
| CN116306905A (zh) | 半监督非独立同分布的联邦学习蒸馏方法及装置 | |
| CN114723012B (zh) | 基于分布式训练***的计算方法和装置 | |
| CN115660814A (zh) | 风险预测方法、装置、计算机可读存储介质及电子设备 | |
| CN115292677A (zh) | 数据处理方法及装置 | |
| CN113887740B (zh) | 联合更新模型的方法、装置及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |