CN113947215A - 联邦学习管理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，提供一种联邦学习管理方法、装置、计算机设备及存储介质，包括：多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数；通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据；基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分；根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理。

Description

联邦学习管理方法、装置、计算机设备及存储介质

技术领域

本发明实施例涉及联邦学习领域，尤其是一种联邦学习管理方法、装置、计算机设备及存储介质。

背景技术

对于健康保险的风控问题，保险公司通过投保人历史重大疾病、就诊史、投保人提交的健康状况说明书来计算投保人的信用值是否达到投保要求，这就存在投保人数据维度缺失，数据真实性无法判断等情况，保险公司不能将用户的数据向外公布获取第三方机构的验证，或者直接将医疗机构的数据聚合到一起建模，确定投保人真实的信用值。

在相关技术中，传统基于联邦学习的区块链共识机制采用拜占庭容错共识算法(Practical Byzantine Fault Tolerance，PBFT)，该算法中投票机制只有通过和不通过，无法根据共识流程进行参与者的行为评估，训练结束后无法对参与者的贡献度量化计算等问题。

发明内容

本发明实施例提供一种能够根据共识流程进行参与者的行为评估，训练结束后对参与者的贡献度量化计算的联邦学习管理方法、装置、计算机设备及存储介质。

为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种联邦学习管理方法，

包括：多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数；通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据；基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分；根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理。

在一些方式中，所述多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数，包括：所述多个参与终端中的每个参与终端分别利用所述预设的联邦模型对本地的数据库进行训练，得到每个参与终端对应的模型参数和权重值；所述多个参与终端中的每个参与终端分别将对应的模型参数和权重值上传至区块链。

在一些方式中，通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据，包括：将所述多个参与终端的模型参数进行拼接，生成联邦参数；根据所述联邦参数对所述联合模型的参数进行初始化，并根据预设的训练样本对所述初始化后的联合模型进行训练，生成特征向量；基于所述特征向量与预设的标注向量，计算所述联合模型特征差值；根据所述特征差值计算所述各模型参数偏差值，并根据所述偏差值生成所述贡献数据。

在一些方式中，所述贡献数据包括：所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果；所述基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分，包括：将所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果输入至所述信誉度评分共识机制模型中；读取所述信誉度评分共识机制模型输出的所述各参与终端的信誉评分。

在一些方式中，所述基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分之前，包括：获取全局模型的全局参数，其中，所述全局模型为所述联合模型训练至收敛状态时的模型形态；将所述全局参数分发至所述各参与终端，以使所述各参与终端的联邦模型生成全局参数。

在一些方式中，所述根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理，包括：将所述各参与终端的信誉评分与预设的评分阈值进行比对；当任一参与终端的信誉评分小于所述评分阈值时，则禁止所述参与终端参与下一轮的联合训练。

在一些方式中，所述根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理之后，包括：依次读取所述各参与终端的投票结果；当任一参与终端放弃投票时，则降低所述参与终端的信誉评分。

为解决上述技术问题，本发明实施例还提供一种联邦学习管理装置，包括：训练模块，用于多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数；所述训练模块，还用于通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据；评分模块，用于基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分；管理模块，用于根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理。

在一些方式中，所述训练模块，具体用于所述多个参与终端中的每个参与终端分别利用所述预设的联邦模型对本地的数据库进行训练，得到每个参与终端对应的模型参数和权重值；所述装置还包括：上传模块；所述上传模块，用于所述多个参与终端中的每个参与终端分别将对应的模型参数和权重值上传至区块链。

在一些方式中，所述训练模块，具体用于将所述多个参与终端的模型参数进行拼接，生成联邦参数；所述训练模块，具体还用于根据所述联邦参数对所述联合模型的参数进行初始化，并根据预设的训练样本对所述初始化后的联合模型进行训练，生成特征向量；所述训练模块，具体还用于基于所述特征向量与预设的标注向量，计算所述联合模型特征差值；所述训练模块，具体还用于根据所述特征差值计算所述各模型参数偏差值，并根据所述偏差值生成所述贡献数据。

在一些方式中，所述贡献数据包括：所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果；所述评分模块，具体用于将所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果输入至所述信誉度评分共识机制模型中；所述评分模块，具体还用于读取所述信誉度评分共识机制模型输出的所述各参与终端的信誉评分。

在一些方式中，所述装置还包括：获取模块和发送模块；所述获取模块，用于获取全局模型的全局参数，其中，所述全局模型为所述联合模型训练至收敛状态时的模型形态；所述发送模块，用于将所述全局参数分发至所述各参与终端，以使所述各参与终端的联邦模型生成全局参数。

在一些方式中，所述管理模块，具体用于将所述各参与终端的信誉评分与预设的评分阈值进行比对；所述管理模块，具体还用于当任一参与终端的信誉评分小于所述评分阈值时，则禁止所述参与终端参与下一轮的联合训练。

在一些方式中，所述管理模块，还用于依次读取所述各参与终端的投票结果；所述管理模块，还用于当任一参与终端放弃投票时，则降低所述参与终端的信誉评分。

为解决上述技术问题本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述联邦学习管理方法的步骤。

为解决上述技术问题本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述联邦学习管理方法的步骤。

本发明实施例的有益效果是：通过将多个参与终端各自本地的数据库训练后得到的模型参数都上传到区块链，在区块链上通过各模型参数对预设的联合模型进行训练，以得到各模型参对联合模型的贡献数据，从而可以基于得到的贡献数据，通过预设的信誉度评分共识机制模型对各参与终端进行信誉评分，进而确定各参与终端的贡献度，进行奖励或者惩罚管理，从而充分调动各参与终端的积极性，减少参与终端的恶意行为，根据共识流程进行参与终端的行为评估，训练结束后对参与者的贡献度量化计算，提高了各参与终端获取并判断用户数据的准确度。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一个具体实施例的联邦学习管理方法的流程示意图之一；

图2为本申请一个具体实施例的联邦学习管理方法的流程示意图之二；

图3为本申请一个具体实施例的联邦学习管理方法的流程示意图之三；

图4为本申请一个具体实施例的信誉度评分共识机制模型示意图；

图5为本申请一个具体实施例的联邦学习管理方法的流程示意图之四；

图6为本申请一个具体实施例的联邦学习管理方法的流程示意图之五；

图7为本申请一个具体实施例的联邦学习管理方法的流程示意图之六；

图8为本申请一个具体实施例的联邦学习管理方法的流程示意图之七；

图9为本申请一个实施例的联邦学习管理装置基本结构示意图；

图10为本申请一个实施例的计算机设备的基本结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

在相关技术中，各家保险***通过判断投保人的相关信息来确定投保人的信用值是否达到投保要求。通常情况下，可以基于联邦学习模型对投保人的数据进行训练，扩充投保人的数据维度，确定投保人的信用值是否达到投保要求。

针对相关技术中的确定投保人的信用值是否达到投保要求，主要通过以下实现方式：

在传统的健康险风控场景下，各家保险***通过投保人历史重大疾病就诊史、投保人提交的健康状况说明书，来计算投保人的信用值是否达到投保要求，但存在投保人数据维度缺失，数据真实性无法判断等情况，各家保险***(保险公司)不能将自身用户数据向外公布，以获取第三方机构的验证，或者直接将多家医疗机构的数据聚合到一起建模。

通常，各家保险***通过引入联邦学习模型，可以在本地数据库对投保人的相关信息进行训练，实现投保人数据维度的扩充。在联邦学习模型中的各参与方需要依赖中心节点进行参数的更新或下发，若中心节点出现故障或恶意行为，那么整个联邦学习协同训练的结果将受到影响。

由于不能够让原始数据外传，只能去传输一些模型中间数据，比如梯度信息。可事实上，即便就是这些梯度信息的泄露，也还是会有原始数据被推导出来的风险。并且也不能保证联邦学习的每个参与方都是诚实的。因为每个参与方他们可能有不同的动机。那么我们说到不诚实的参与方又分为两种：一种是恶意的，一种是无恶意但是好奇的。所谓恶意的参与方，就是他可能会来对模型进行投毒，比如故意传输一些错误的数据来损害其他参与方的利益，而好奇的参与方他不会去损害其他参与方的利益，但是他会对他收集到的所有的交互数据进行分析来试图推导其他各方的原始数据。

当然相关技术中的联邦学习还有一些其他比如数据传输效率的问题。模型训练会涉及到大量的运算，那么各方联合建模就会涉及到大量的数据进行交互的问题。比如像在梯度下降的时候，每一步的梯度迭代都会涉及到通信成本。所以通信效率这块也是联邦学习在落地过程中会遇到的挑战。此外，还有像机构与机构之间样本分布不均衡的问题等等。

如果能够将各家保险***的模型训练后的参数都上传到区块链，通过点对点通信，摆脱中心服务器的依赖。同时区块链的共识机制能识别各参与方的贡献度进行奖励或者惩罚，对恶意行为可以被事后溯源，实现联邦学习在训练过程中减少恶意节点(使用无效、病毒数据训练)或自私节点(不积极提供数据资源，只索取其他参与方资源)参与模型训练。

针对上述实现方式中存在的问题，本申请想到了一种联邦学习管理方法，能够通过在训练前根据每个参与终端的信誉度来判断是否具备联邦学习训练资格；训练中参与终端可以互相监督其他参与终端在训练过程中的诚实度进行投票评分，并维护自己的信誉度，防止信息篡改；训练后通过信誉度评分高低对参与方进行奖惩管理。

并且，根据共识流程进行参与终端的行为评估，训练结束后对参与者的贡献度量化计算，提高了各参与终端获取并判断用户数据的准确度。

如图1所示，为本实施例提供的一种联邦学习管理方法的流程示意图，包括S201至S204：

S201、多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数。

示例性地，上述多个参与终端可以为健康大数据机构、医疗机构、保险机构等多个机构(或公司)，每个参与终端都具有各自本地的数据库，该数据库中包括有各自的用户信息。

示例性地，每个参与终端各自基于各自本地的数据库，通过预设的联邦模型对用户信息进行训练，以得到每个参与终端各自对应一个模型参数。

可以理解的是，上述预设的联邦模型为现有技术中，各参与终端通过引入联邦学习后，在本地数据库中进行训练实现投保人数据维度的扩充，在联邦学习中的各参与方需要依赖中心节点进行参数的更新或下发。

在一种可能的实现方式中，还可以通过以下步骤得到每个参与终端对应的一个模型参数。

示例性地，如图2所示，上述步骤S201可以包括以下步骤S201a和S201b：

S201a、所述多个参与终端中的每个参与终端分别利用所述预设的联邦模型对本地的数据库进行训练，得到每个参与终端对应的模型参数和权重值。

示例性地，每个参与终端通过预设的联邦模型对本地的数据库进行数据模型训练，建立模型，先将参与终端数据库中每个用户对应的信息进行数值化处理，再从中筛选出相关度较高的特征信息，从而得到每个参与终端对应的模型参数和权重值。

需要说明的是，联邦学习可使得各个参与方之间协同来完成一个数据模型的训练，训练出的模型是基于所有参与方的数据而达到的效果，但参与方彼此之间不会泄露各自的原始数据。

示例性地，上述预设的联邦模型可以为：横向联邦学习、纵向联邦学习、联邦迁移学习等。

S201b、所述多个参与终端中的每个参与终端分别将对应的模型参数和权重值上传至区块链。

示例性地，每个参与终端在利用所述预设的联邦模型对本地的数据库进行训练，得到每个参与终端对应的模型参数和权重值之后，可以将模型参数和权重值共同上传至同一区块链(共享数据库)。

示例性地，健康大数据机构、医疗机构、保险机构可以利用各自的数据库在本地利用预设的联邦模型进行训练，得到初始的模型参数和权重值，并上传到区块链中。

示例性的，以车险领域为例，因每个司机的驾驶习惯不同，有的司机可能用车用得很多，而可能有的司机可能他的车常年停在地下车库里；有的司机可能驾车习惯比较好，有的司机可能喜欢超速，从事一些危险驾驶的行为。同样投保一年，那能不能针对每个不同的用户设计不一样的保费呢，比如用车时间长的用户比用车时间少的用户保费高，驾驶习惯不好的用户比驾驶习惯好的用户保费高。这样对于保险公司来说也可以降低风险，对那些出事故概率比较高的用户提高保费，也能够将一部分不好的用户阻挡在外。通过对每个参与终端中的用户信息进行联邦学习训练，得到对应的模型参数和权重值。

具体实现中，各参与终端需要基于联邦模型创建对应的任务配置信息。具体来说，各参与终端可以通过响应用户的联邦学习设置操作，对联邦模型任务的任务配置信息进行确定并进行创建；其中，联邦模型任务的任务配置信息包括但不限于：任务类型、引擎框架、自动调参算法、提前终止算法、特征工程信息及方法和数据预处理方法等信息。

当各参与终端确定联邦模型任务对应的任务配置信息后，各参与终端将任务配置信息发送至区块链，以使区块链获取参与联邦模型的多个参与终端的任务配置信息。由于任务配置信息不涉及数据安全隐私问题，因此，各参与终端可以不经加密地向区块链发送该任务配置信息。

S202、通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据。

示例性地，区块链在接收到各参与终端上传的各模型参数之后，将这些模型参数进行整合，然后进行联合训练，得到多个参与终端对应的联合模型参数(全局模型)，并确定每个参与终端的贡献数据。

示例性地，在区块链通过各模型参数对预设的联合模型进行训练的过程中，可以记录每个参与终端在训练过程中的用户行为、对所述联合模型的贡献度和共识投票结果等信息。

示例性地，如图3所示，上述步骤S202可以包括以下步骤S202a至S202d：

S202a、将所述多个参与终端的模型参数进行拼接，生成联邦参数。

示例性地，区块链可以将多个参与终端的模型参数进行整合处理，以得到一个拼接模型参数，从而生成联邦参数。

需要说明的是，上述联邦参数为通过多个参与终端的模型参数共同得到的模型参数(即全局模型参数)。

S202b、根据所述联邦参数对所述联合模型的参数进行初始化，并根据预设的训练样本对所述初始化后的联合模型进行训练，生成特征向量。

示例性地，区块链根据联邦参数，对联邦学习任务中的模型训练配置信息(即联合模型的参数)进行初始化，并基于初始化后的模型训练配置信息，执行联邦学习任务的模型训练操作，生成对应的特征向量。

示例性地，在初始化后的模型训练配置信息中，确定针对模型训练操作的特征工程信息，根据特征工程信息，对用户数据样本进行特征处理，得到模型训练数据样本，生成对应的特征向量。

S202c、基于所述特征向量与预设的标注向量，计算所述联合模型特征差值。

S202d、根据所述特征差值计算所述各模型参数偏差值，并根据所述偏差值生成所述贡献数据。

示例性地，区块链根据生成的特征向量与预设的标注向量，进行作差计算，得到联合模型对应的特征差值。

进一步的，区块链根据得到的特征差值，根据各参与终端对应的模型参数，再次计算各模型参数对应的偏差值，从而根据各参与终端对应的偏差值生成各参与终端对应的贡献数据。

S203、基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分。

示例性地，信誉度评分共识机制(Practical Byzantine Fault Tolerance ofCredibility Evaluation，CE-PBFT)根据共识流程进行用户行为评估，对投票动态权重调整设置信誉评分，联合模型训练后的参数进行联合训练任务，生成全局模型。

如图4所示，为本申请实施例提供的联邦学习管理方法对应的信誉度评分共识机制的模型图，信誉度评分共识机制根据确定的各参与终端对应的贡献数据，对各参与终端进行信誉评分，每个参与终端对应一个信誉得分。

示例性地，所述贡献数据包括：所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果。如图5所示，上述步骤S203可以包括以下步骤S203a和S203b：

S203a、将所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果输入至所述信誉度评分共识机制模型中。

示例性地，区块链上记录了之前各参与终端在训练过程中的用户行为、对联合模型的贡献度和共识投票结果(即历史记录的训练过程中的用户行为、对联合模型的贡献度和共识投票结果，若没有历史记录从本次投票开始计算)。在本次上传参数后，各参与终端开始投票，若某个参与终端放弃投票，则信誉度评分降低，低于评分阈值后不具备联邦模型学习训练资格。

示例性地，区块链将每个参与终端的用户行为、对联合模型的贡献度和共识投票结果这三个信息输入至信誉度评分共识机制模型中，以使得信誉度评分共识机制模型分别对每个参与终端的这三个信息进行分析处理，确定每个参与终端对应的信誉得分。

示例性地，信誉度评分共识机制根据每个参与终端的用户行为、对联合模型的贡献度和共识投票结果这三个信息，并根据每个信息的比重，计算得到每个参与终端对应的信誉得分。

S203b、读取所述信誉度评分共识机制模型输出的所述各参与终端的信誉评分。

示例性地，信誉度评分共识机制模型在计算得到每个参与终端对应的信誉得分之后，将每个参与终端对应的信誉得分发送至每个参与终端。

示例性地，信誉度评分共识机制模型对每个参与终端对应的信誉得分的计算方法如公式一所示：

其中，α,β,λ为参数，T是对之前历史投票做出的评分，

表示投票后参与方信誉评分更新后的值，i，j表示不同参与方，t表示当前投票次数。others表示增加分数，若参与终端积极参与投票或者训练过程中表现良好则额外增加分数，否则减少分数。

示例性地，上述步骤S203之前，如图6所示，本申请实施例提供的联邦学习管理方法，还可以包括以下步骤S301和S302：

S301、获取全局模型的全局参数。

其中，所述全局模型为所述联合模型训练至收敛状态时的模型形态。

S302、将所述全局参数分发至所述各参与终端，以使所述各参与终端的联邦模型生成全局参数。

示例性地，信誉度评分共识机制模型根据共识流程进行用户行为评估，对投票动态权重调整设置信誉评分，联合模型训练后的参数进行联合训练任务，生成全局模型，得到全局模型的全局参数。

示例性地，区块链将全局模型的模型参数更新后发送给各参与终端，以使各参与终端的联邦模型获取到全局参数。

S204、根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理。

示例性地，信誉度评分共识机制模型根据各参与终端的信誉评分，对各参与终端的信誉评分进行奖惩，信誉评分低的参与终端可能存在有恶意行为、对本次训练贡献度低等，将无法参与下一轮联邦模型学习训练。

示例性地，如图7所示，上述步骤S204可以包括以下步骤S204a和S204b：

S204a、将所述各参与终端的信誉评分与预设的评分阈值进行比对。

S204b、当任一参与终端的信誉评分小于所述评分阈值时，则禁止所述参与终端参与下一轮的联合训练。

示例性地，信誉度评分共识机制模型在获取到各参与终端的信誉评分之后，将各参与终端的信誉评分于预设的评分阈值(例如50分)作比较，在任一参与终端的信誉评分小于评分阈值时，可以判定该参与终端的贡献度较低，或存在恶意行为等，禁止该参与终端参与下一轮的联合训练。

具体的，在任一参与终端的信誉度评分在50和100之间时，说明该参与终端表现优异，通过积极参与模型训练，过程无恶意行为，最终使信誉度评分达到100，则积分会重置为50，重新开始下一周期的计分，当参与终端有恶意行为或者消极参与模型训练时，信誉度评分会不停减少，最终低于50而无法进行模型训练。

示例性地，上述步骤S204之后，如图8所示，本申请实施例提供的联邦学习管理方法，还可以包括以下步骤S401和S402：

S401、依次读取所述各参与终端的投票结果。

S402、当任一参与终端放弃投票时，则降低所述参与终端的信誉评分。

示例性地，信誉度评分共识机制模型分别获取各参与终端的投票情况，并在2)投票结束后对各参与终端的信誉评分进行更新。

示例性地，在信誉度评分共识机制模型获取不到某一参与终端的投票结果时，确定该参与终端放弃投票，则降低参与终端的信誉评分。

本实施例提供的联邦学习管理方法，通过预设的联邦模型对多个参与终端各自本地的数据库进行训练，以得到每个参与终端对应的一个模型参数，从而通过各模型参数对预设的联合模型进行训练，并在训练的过程中记录各模型参对联合模型的贡献数据，最终通过预设的信誉度评分共识机制模型对多个参与终端的贡献数据进行分析，以对各参与终端进行信誉评分，从而根据各参与终端的信誉评分，对各参与终端进行奖惩管理。以针对联邦学习依赖中心服务器，可能会出现故障或恶意行为等问题，将各参与终端的模型训练后参数都上传到区块链，通过信誉度评分共识机制根据投票分数结果，对不同贡献度的参与终端进行奖励或者惩罚，可以充分调动了各参与终端的积极性，也能减少存在恶意行为或自私行为的各参与终端存在。

需要说明的是，本申请实施例提供的联邦学习管理方法，执行主体可以为联邦学习管理装置，或者该联邦学习管理装置中的用于执行联邦学习管理方法的控制模块。本申请实施例中以联邦学习管理装置执行联邦学习管理方法为例，说明本申请实施例提供的联邦学习管理装置。

需要说明的是，本申请实施例中，上述各个方法附图所示的联邦学习管理方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时，上述各个方法附图所示的联邦学习管理方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。

具体请参阅图9，图9为本实施例联邦学习管理装置基本结构示意图。

如图9所示，一种联邦学习管理装置，包括：训练模块801，用于多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数；所述训练模块801，还用于通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据；评分模块802，用于基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分；管理模块803，用于根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理。

在一些方式中，所述训练模块801，具体用于所述多个参与终端中的每个参与终端分别利用所述预设的联邦模型对本地的数据库进行训练，得到每个参与终端对应的模型参数和权重值；所述装置还包括：上传模块804；所述上传模块804，用于所述多个参与终端中的每个参与终端分别将对应的模型参数和权重值上传至区块链。

在一些方式中，所述训练模块801，具体用于将所述多个参与终端的模型参数进行拼接，生成联邦参数；所述训练模块801，具体还用于根据所述联邦参数对所述联合模型的参数进行初始化，并根据预设的训练样本对所述初始化后的联合模型进行训练，生成特征向量；所述训练模块801，具体还用于基于所述特征向量与预设的标注向量，计算所述联合模型特征差值；所述训练模块801，具体还用于根据所述特征差值计算所述各模型参数偏差值，并根据所述偏差值生成所述贡献数据。

在一些方式中，所述贡献数据包括：所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果；所述评分模块802，具体用于将所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果输入至所述信誉度评分共识机制模型中；所述评分模块802，具体还用于读取所述信誉度评分共识机制模型输出的所述各参与终端的信誉评分。

在一些方式中，所述装置还包括：获取模块805和发送模块806；所述获取模块805，用于获取全局模型的全局参数，其中，所述全局模型为所述联合模型训练至收敛状态时的模型形态；所述发送模块806，用于将所述全局参数分发至所述各参与终端，以使所述各参与终端的联邦模型生成全局参数。

在一些方式中，所述管理模块803，具体用于将所述各参与终端的信誉评分与预设的评分阈值进行比对；所述管理模块803，具体还用于当任一参与终端的信誉评分小于所述评分阈值时，则禁止所述参与终端参与下一轮的联合训练。

在一些方式中，所述管理模块803，还用于依次读取所述各参与终端的投票结果；所述管理模块803，还用于当任一参与终端放弃投票时，则降低所述参与终端的信誉评分。

本申请实施例中的联邦学***板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请实施例提供的联邦学习管理装置能够实现图1至图8的方法实施例中联邦学习管理装置实现的各个过程，为避免重复，这里不再赘述。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。

本申请实施例提供的联邦学习管理装置，通过预设的联邦模型对多个参与终端各自本地的数据库进行训练，以得到每个参与终端对应的一个模型参数，从而通过各模型参数对预设的联合模型进行训练，并在训练的过程中记录各模型参对联合模型的贡献数据，最终通过预设的信誉度评分共识机制模型对多个参与终端的贡献数据进行分析，以对各参与终端进行信誉评分，从而根据各参与终端的信誉评分，对各参与终端进行奖惩管理。以针对联邦学习依赖中心服务器，可能会出现故障或恶意行为等问题，将各参与终端的模型训练后参数都上传到区块链，通过信誉度评分共识机制根据投票分数结果，对不同贡献度的参与终端进行奖励或者惩罚，可以充分调动了各参与终端的积极性，也能减少存在恶意行为或自私行为的各参与终端存在。

为解决上述技术问题，本发明实施例还提供一种计算机设备。具体请参阅图10，图10为本实施例计算机设备基本结构框图。

如图10所示，计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种联邦学习管理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种联邦学习管理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图8中获取模块801、构建模块802和调整模块803的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有联邦学习管理装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本实施例提供的计算机设备，通过预设的联邦模型对多个参与终端各自本地的数据库进行训练，以得到每个参与终端对应的一个模型参数，从而通过各模型参数对预设的联合模型进行训练，并在训练的过程中记录各模型参对联合模型的贡献数据，最终通过预设的信誉度评分共识机制模型对多个参与终端的贡献数据进行分析，以对各参与终端进行信誉评分，从而根据各参与终端的信誉评分，对各参与终端进行奖惩管理。以针对联邦学习依赖中心服务器，可能会出现故障或恶意行为等问题，将各参与终端的模型训练后参数都上传到区块链，通过信誉度评分共识机制根据投票分数结果，对不同贡献度的参与终端进行奖励或者惩罚，可以充分调动了各参与终端的积极性，也能减少存在恶意行为或自私行为的各参与终端存在。

本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中

本发明还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例联邦学习管理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

本发明还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例联邦学习管理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种联邦学习管理方法，其特征在于，包括：

多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数；

通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据；

基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分；

根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理。

2.根据权利要求1所述的方法，其特征在于，所述多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数，包括：

所述多个参与终端中的每个参与终端分别利用所述预设的联邦模型对本地的数据库进行训练，得到每个参与终端对应的模型参数和权重值；

所述多个参与终端中的每个参与终端分别将对应的模型参数和权重值上传至区块链。

3.根据权利要求1所述的方法，其特征在于，通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据，包括：

将所述多个参与终端的模型参数进行拼接，生成联邦参数；

根据所述联邦参数对所述联合模型的参数进行初始化，并根据预设的训练样本对所述初始化后的联合模型进行训练，生成特征向量；

基于所述特征向量与预设的标注向量，计算所述联合模型特征差值；

根据所述特征差值计算所述各模型参数偏差值，并根据所述偏差值生成所述贡献数据。

4.根据权利要求1所述的方法，其特征在于，所述贡献数据包括：所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果；

所述基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分，包括：

将所述各参与终端的用户行为、对所述联合模型的贡献度和共识投票结果输入至所述信誉度评分共识机制模型中；

读取所述信誉度评分共识机制模型输出的所述各参与终端的信誉评分。

5.根据权利要求4所述的方法，其特征在于，所述基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分之前，包括：

获取全局模型的全局参数，其中，所述全局模型为所述联合模型训练至收敛状态时的模型形态；

将所述全局参数分发至所述各参与终端，以使所述各参与终端的联邦模型生成全局参数。

6.根据权利要求1所述的方法，其特征在于，所述根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理，包括：

将所述各参与终端的信誉评分与预设的评分阈值进行比对；

当任一参与终端的信誉评分小于所述评分阈值时，则禁止所述参与终端参与下一轮的联合训练。

7.根据权利要求1所述的方法，其特征在于，所述根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理之后，包括：

依次读取所述各参与终端的投票结果；

当任一参与终端放弃投票时，则降低所述参与终端的信誉评分。

8.一种联邦学习管理装置，其特征在于，包括：

训练模块，用于多个参与终端通过预设的联邦模型对各自本地的数据库进行训练，得到每个参与终端对应的一个模型参数；

所述训练模块，还用于通过各模型参数对预设的联合模型进行训练，并记录所述各模型参对所述联合模型的贡献数据；

评分模块，用于基于所述贡献数据和预设的信誉度评分共识机制模型，对各参与终端进行信誉评分；

管理模块，用于根据所述各参与终端的信誉评分，对所述各参与终端进行奖惩管理。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述联邦学习管理方法的步骤。

10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述联邦学习管理方法的步骤。

Images