CN111310932A - 横向联邦学习***优化方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种横向联邦学***均算法和模型平均算法各自的优点，实现了一种混合联邦平均机制。

Description

横向联邦学习***优化方法、装置、设备及可读存储介质

技术领域

本发明涉及机器学习技术领域，尤其涉及一种横向联邦学习***优化方法、装置、设备及可读存储介质。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。

横向联邦学习，也称为特征对齐的联邦学习(feature-aligned federatedlearning)，是在各个参与者的数据特征重叠较多(即数据特征是对齐的)，而用户重叠较少的情况下，取出参与者数据特征相同而用户不完全相同的那部分数据进行联合机器学习。

现有的横向联邦学***均算法，以保证模型训练过程会收敛。但是这个方案要求各个参与者每轮模型更新都发送梯度信息给协调者，通信开销较大，提高了联邦学***均算法的方案，各个参与者每轮模型更新都发送模型参数信息给协调者，允许各个参与者在本地进行多次模型更新，以减少通信量，但是这个方案不能够保证模型收敛，即使收敛也不能保证模型性能。因此，现有的横向联邦学习方案不能都兼顾通信开销和模型性能。

发明内容

本发明的主要目的在于提供一种横向联邦学习***优化方法、装置、设备及可读存储介质，旨在解决现有的横向联邦学习方案不能都兼顾通信开销和模型性能的问题。

为实现上述目的，本发明提供一种横向联邦学习***优化方法，应用于参与横向联邦学习的协调设备，所述协调设备与参与横向联邦学习的各参与设备通信连接，所述方法包括：

按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备需要发送的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

向各所述参与设备发送指示所述目标类型的指示信息，以供各所述参与设备根据所述指示信息进行本地训练，并返回所述目标类型的本地模型参数更新；

对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各所述参与设备，以供各所述参与设备根据所述全局模型参数更新进行模型更新。

可选地，所述按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备发送的本地模型参数更新的目标类型的步骤包括：

在一轮模型更新中，获取当前的联邦学习状态信息；

根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型。

可选地，所述联邦学习状态信息包括模型收敛状态信息，

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述模型收敛状态信息中的模型收敛速度小于预设收敛速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；或，

当检测到所述模型收敛状态信息中的模型收敛抖动值大于预设抖动值时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。

可选地，所述联邦学习状态信息包括所述协调设备的网络通信状态信息，

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述网络通信状态信息中的网络通信速度小于预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；

当检测到所述网络通信速度不小于所述预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。

可选地，所述联邦学习状态信息包括模型的性能指标提升速度，

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述性能指标提升速度小于预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息；

当检测到所述性能指标提升速度不小于所述预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息。

为实现上述目的，本发明还提供一种横向联邦学习***优化方法，应用于参与横向联邦学习的参与设备，所述参与设备与参与横向联邦学习的协调设备通信连接，所述方法包括：

按照预设策略从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

根据所述目标类型进行本地训练，并向所述协调设备发送所述目标类型的本地模型参数更新，以供所述协调设备对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，得到全局模型参数更新；

根据从所述协调设备接收的所述全局模型参数更新进行模型更新。

可选地，所述按照预设策略从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型的步骤包括：

在一轮模型更新中，接收所述协调设备发送的指示信息，从所述指示信息中提取需要发送给所述协调设备的本地模型参数更新的目标类型；或，

按照协商信息从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参与设备与所述协调设备进行协商得到所述协商信息；或，

按照与全局迭代索引相关的预设规律从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型。

可选地，所述并向所述协调设备发送所述目标类型的本地模型参数更新的步骤包括：

向所述协调设备发送包含所述目标类型的本地模型参数更新的消息，并在所述消息中携带指示所述目标类型的指示信息。

可选地，所述根据确定的目标类型进行本地训练，并向所述协调设备发送所述目标类型的本地模型参数更新的步骤包括：

当所述目标类型是梯度信息时，将本地训练数据输入当前模型，基于模型输出和数据标签计算得到目标梯度信息，将所述目标梯度信息作为本地模型参数更新发送给所述协调设备；

当所述目标类型是模型参数信息时，采用所述本地训练数据对所述当前模型进行至少一次的本地模型更新，将更新后的目标模型参数信息作为本地模型参数更新发送给所述协调设备。

为实现上述目的，本发明还提供一种横向联邦学习***优化设备，所述横向联邦学习***优化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的横向联邦学习***优化程序，所述横向联邦学习***优化程序被所述处理器执行时实现如上所述的横向联邦学习***优化方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有横向联邦学习***优化程序，所述横向联邦学习***优化程序被处理器执行时实现如上所述的横向联邦学习***优化方法的步骤。

本发明中，通过协调设备按照预设策略确定各轮模型更新中各参与设备需要发送的本地模型参数更新的目标类型，向各参与设备发送指示目标类型的指示信息，供各参与设备根据指示信息进行本地训练，并返回目标类型的本地模型参数更新；对从各参与设备接收的目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各参与设备，供各参与设备根据全局模型参数更新进行模型更新。本发明实现了协调设备可以对参与设备发送的本地模型参数更新的类型进行选择，即可以动态地调整各轮模型更新过程中的参与设备所发送的本地模型参数更新的类型，结合了梯度平均算法和模型平均算法各自的优点，实现了一种混合联邦平均机制，从而实现了兼顾横向联邦学习过程中的通信开销和模型性能，即在降低通信开销的同时，也能够尽量保证模型收敛、保证模型性能。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明横向联邦学习***优化方法第一实施例的流程示意图；

图3为本发明实施例涉及的一种协调设备动态指示参与设备发送本地模型参数更新的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是，本发明实施例横向联邦学习***优化设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。

如图1所示，该横向联邦学习***优化设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对横向联邦学习***优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及横向联邦学习***优化程序。

当图1中所示的设备是参与横向联邦学习的协调设备时，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与参与横向联邦学习的各个参与设备建立通信连接；而处理器1001可以用于调用存储器1005中存储的横向联邦学习***优化程序，并执行以下操作：

按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备需要发送的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

向各所述参与设备发送指示所述目标类型的指示信息，以供各所述参与设备根据所述指示信息进行本地训练，并返回所述目标类型的本地模型参数更新；

对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各所述参与设备，以供各所述参与设备根据所述全局模型参数更新进行模型更新。

进一步地，所述按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备发送的本地模型参数更新的目标类型的步骤包括：

在一轮模型更新中，获取当前的联邦学习状态信息；

根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型。

进一步地，所述联邦学习状态信息包括模型收敛状态信息，

所述根据所述联邦学习状态信息确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述模型收敛状态信息中的模型收敛速度小于预设收敛速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；或，

当检测到所述模型收敛状态信息中的模型收敛抖动值大于预设抖动值时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。

进一步地，所述联邦学习状态信息包括所述协调设备的网络通信状态信息；

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述网络通信状态信息中的网络通信速度小于预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；

当检测到所述网络通信速度不小于所述预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。

进一步地，所述联邦学习状态信息包括模型的性能指标提升速度，

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述性能指标提升速度小于预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息；

当检测到所述性能指标提升速度不小于所述预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息。

当图1中所示的设备是参与横向联邦学习的参与设备时，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与参与横向联邦学习的协调设备建立通信连接；而处理器1001可以用于调用存储器1005中存储的横向联邦学习***优化程序，并执行以下操作：

按照预设策略从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

根据所述目标类型进行本地训练，并向所述协调设备发送所述目标类型的本地模型参数更新，以供所述协调设备对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，得到全局模型参数更新；

根据从所述协调设备接收的所述全局模型参数更新进行模型更新。

进一步地，所述按照预设策略从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型的步骤包括：

在一轮模型更新中，接收所述协调设备发送的指示信息，从所述指示信息中提取需要发送给所述协调设备的本地模型参数更新的目标类型；或，

按照协商信息从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参与设备与所述协调设备进行协商得到所述协商信息；或，

按照与全局迭代索引相关的预设规律从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型。

进一步地，所述并向所述协调设备发送所述目标类型的本地模型参数更新的步骤包括：

向所述协调设备发送包含所述目标类型的本地模型参数更新的消息，并在所述消息中携带指示所述目标类型的指示信息。

进一步地，所述根据确定的目标类型进行本地训练，并向所述协调设备发送所述目标类型的本地模型参数更新的步骤包括：

当所述目标类型是梯度信息时，将本地训练数据输入当前模型，基于模型输出和数据标签计算得到目标梯度信息，将所述目标梯度信息作为本地模型参数更新发送给所述协调设备；

当所述目标类型是模型参数信息时，采用所述本地训练数据对所述当前模型进行至少一次的本地模型更新，将更新后的目标模型参数信息作为本地模型参数更新发送给所述协调设备。

基于上述的结构，提出横向联邦学习***优化方法的各个实施例。

参照图2，图2为本发明横向联邦学习***优化方法第一实施例的流程示意图。

本发明实施例提供了横向联邦学习***优化方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明横向联邦学习***优化方法第一实施例应用于参与横向联邦学习的协调设备，协调设备与参与横向联邦学习的多个参与设备通信连接，本发明实施例涉及的协调设备和参与设备可以是智能手机、个人计算机和服务器等设备。在本实施例中，所述横向联邦学习***优化方法包括：

步骤S10，按照从参数更新类型中预设策略确定各轮模型更新中各所述参与设备需要发送的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

横向联邦学***均算法来进行联合模型训练。具体地，各个参与设备在每一轮模型更新中，将采用本地训练数据对待训练模型进行本地训练得到的梯度信息发送给协调设备；梯度信息是损失函数对待训练模型的模型参数的梯度信息，梯度信息用于更新模型参数；协调设备对各个参与设备发送的梯度信息进行加权平均，得到全局梯度信息，将全局梯度信息发送给各参与设备，供各个参与设备根据全局梯度信息来更新本地的待训练模型的模型参数；再进行下一轮的模型更新。这个方案虽然能够保证模型收敛、保证模型的性能，但是参与设备每一轮都发送梯度信息给协调设备，各方的通信开销较大，通信成本高，且当通信状况差时，训练时间也延长了，时间成本提高。

还有一种采用模型平均算法的方案。具体地，各个参与设备在每一轮模型更新中，进行本地训练计算梯度信息，根据梯度信息更新模型参数，将更新后的模型参数发送给协调设备；模型参数是待训练模型的参数，如神经网络里神经元节点之间的连接权重值；协调设备对从各个参与设备发送的模型参数进行加权平均得到全局模型参数，将全局模型参数发送参与设备，供参与设备采用全局模型参数来更新本地的待训练模型，也即以全局模型参数作为待训练模型的模型参数；再进行下一轮的模型更新。在这个方案中，各个参与设备可以在本地进行多次模型更新后，再向协调设备发送更新后的模型参数，从而减少通信开销；但是这个方案不能够保证模型收敛，即使收敛也不能够保证模型的性能。

在本实施例中，为解决现有的横向联邦学习方案不能都兼顾通信开销和模型性能的问题，提出本实施例中如下横向联邦学习***优化方法。

在本实施例中，协调设备与各参与设备可通过握手、身份认证预先建立通信连接，并确定本次联邦学习的待训练模型，待训练模型可以是机器学习模型，如神经网络模型。

协调设备可以根据预设策略从参数更新类型中确定各轮模型更新中各个参与设备需要发送的本地模型参数更新的目标类型，其中，参数更新类型包括模型参数信息和梯度信息。也就是说，协调设备可以选择在各轮模型更新中各个参与设备是发送模型参数信息还是发送梯度信息。预设策略可以是预先设置的策略，根据训练任务、对模型收敛速度的需求或对模型性能的需求不同，可在协调设备中配置不同的策略。

预设策略可以是协调设备根据联邦学习过程中的各种状态信息来确定一轮或多轮模型更新中参与设备需要发送的目标类型。例如，在一轮模型更新中，协调设备获取网络通信状态，当检测到网络通信状态差时，就确定该轮模型更新或从该轮模型更新开始的多轮模型更新中需要发送的目标类型是模型参数信息，以使得各个参与设备可以进行多次本地更新后发送模型参数信息，从而减少通信量，适应网络状况。

步骤S20，向各所述参与设备发送指示所述目标类型的指示信息，以供各所述参与设备根据所述指示信息进行本地训练，并返回所述目标类型的本地模型参数更新；

协调设备向各个参与设备发送指示所述目标类型的指示信息。需要说明的是，当协调设备根据预设策略确定一轮模型更新的目标类型时，协调设备可在指示信息中携带指示该一轮模型更新中需要发送的目标类型的信息；当协调设备根据预设策略确定了多轮模型更新的目标类型时，协调设备可发送一次指示信息来指示后续多轮模型更新中需要发送的目标类型，也可以在后续多轮模型更新中都发送一个指示信息，分别指示每一轮模型更新中需要发送的目标类型。

指示信息可以是一个比特的指示位，例如，当该指示位为第一值时，指示各参与设备向协调设备发送模型参数信息；当该指示位为第二值时，指示各参与设备向协调设备发送梯度信息。一个比特位的指示信息没有引入大的通信开销。

协调设备可以使用点对点通信，分别向每个参与设备单独发送指示信息，也可以使用组播、多播或者广播的方式向各个参与设备同时指示信息。

协调设备可以将指示信息携带在全局模型参数更新中，即与全局模型参数更新一起发送给参与设备，也可以是单独发送给参与设备。其中，全局模型参数更新是协调设备对各个参与设备发送的本地模型参数更新进行融合得到的。

各个参与设备接收到协调设备发送的指示信息后，根据指示信息来进行本地训练，得到该目标类型的本地模型参数更新，并将目标类型的本地模型参数更新发送给协调设备。例如，当目标类型是梯度信息时，参与设备将进行本地训练得到的梯度信息作为本地模型参数更新发送给协调设备；当目标类型是模型参数信息时，参与设备进行至少一次本地训练后，将得到的模型参数信息作为本地模型参数更新发送给协调设备。

步骤S30，对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各所述参与设备，以供各所述参与设备根据所述全局模型参数更新进行模型更新。

所述协调设备对从各个参与设备接收到的目标类型的本地模型参数更新进行融合，得到全局模型参数更新。具体地，融合的方式可以是计算各个本地模型参数更新的加权平均，例如，当目标类型是梯度信息时，协调设备可采用加权平均的方式计算各个梯度信息中梯度值的平均值，将结果作为全局模型参数更新；当目标类型是模型参数信息时，协调设备可采用加权平均的方式计算各个模型参数信息中模型参数的平均值，将结果作为全局模型参数更新。其中，加权平均算法所采用的各个参与设备的权重可以预先根据具体需要进行设置，例如可按照各个参与设备本地训练数据的数据量比例来设置权重，数据量较多的参与设备对应设置较高的权重。

协调设备将全局模型参数更新发送给各个参与设备。各个参与设备根据全局模型参数更新来进行模型更新。具体地，当目标类型是梯度信息时，各参与设备接收的是全局梯度信息，参与设备采用全局梯度信息对本地的待训练模型的模型参数进行更新，即完成了一轮模型更新；当目标类型是模型参数信息时，各参与设备接收的是全局模型参数信息，参与设备采用全局模型参数信息作为本地的待训练模型的模型参数，即完成了一轮模型更新。

如图3所示，为一种协调设备动态指示参与设备发送的本地模型参数更新的示意图。图中参与者即参与设备，协调者即协调设备，网络参数即模型参数，t是全局迭代索引。

在本实施例中，通过协调设备按照预设策略从参数更新类型中确定各轮模型更新中各参与设备需要发送的本地模型参数更新的目标类型，向各参与设备发送指示目标类型的指示信息，供各参与设备根据指示信息进行本地训练，并返回目标类型的本地模型参数更新；对从各参与设备接收的目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各参与设备，供各参与设备根据全局模型参数更新进行模型更新。本实施例实现了协调设备可以对参与设备发送的本地模型参数更新的类型进行选择，即可以动态地调整各轮模型更新过程中的参与设备所发送的本地模型参数更新的类型，结合了梯度平均算法和模型平均算法各自的优点，实现了一种混合联邦平均机制，从而实现了兼顾横向联邦学***均和模型平均的优势，可以保证模型训练过程收敛和训练出性能较好的模型。

需要说明的是，待训练模型可以是用于信贷风险预估的神经网络模型，神经网络模型的输入可以是用户的特征数据，输出可以是对用户的风险评分，参与设备可以是多家银行的设备，各自在本地拥有多个用户的样本数据，协调设备是独立于多家银行的第三方服务器。协调设备与各个参与设备按照上述实施例中联邦学***均算法的优点，保证了模型训练过程收敛，并且得到了具备较好信贷风险预估能力的模型；通过结合模型平均算法的优点，降低了训练过程中的通信开销，节约了各家银行联合训练模型的成本。

需要说明的是，待训练模型还可以是用于除信贷风险预估以外其他的应用场景，如还可以应用于绩效等级预测，论文价值评价等，本发明实施例在此不做限定。

进一步地，基于上述第一实施例，提出本发明横向联邦学习***优化方法第二实施例，在本实施例中，所述步骤S10包括：

步骤S101，在一轮模型更新中，获取当前的联邦学习状态信息；

协调设备可在一轮模型更新中，获取当前的联邦学习状态信息。具体地，协调设备可以在一轮模型更新开始前，获取当前的联邦学习状态信息。其中，联邦学习状态信息可以包括模型收敛状态信息、协调设备的网络状态信息和各参与设备的网络状态中的一项或多项。模型收敛状态信息可以包括模型收敛速度或模型抖动值等表现模型收敛情况的信息，网络状态信息可以是网络通信速度等用于表现网络情况的信息。

步骤S102，根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型。

协调设备可以根据获取到的联邦学习状态信息从参数更新类型中确定各个参与设备需要发送的本地模型参数更新的目标类型。具体地，根据联邦学习状态信息来确定目标类型的方法有多种。例如，当获取到的联邦学习状态信息包括各参与设备的网络通信速度时，协调设备可以判断各个参与设备的网络通信速度是否都大于一个预设的速度，该预设的速度可以根据对模型训练的时间需求来确定，当训练时间比较紧时，可以设置一个较大的速度值；若都大于该速度，则确定需要发送的目标类型是梯度信息，因为各个参与设备的通信速度较快，不会浪费太多通信时间，通过发送梯度信息，能够使得模型收敛，并获得性能更优的模型；若有参与设备的网络通信速度不大于该速度，则说明该参与设备发送本地模型参数更新会比较慢，为了减少通信造成的时间消耗，协调设备可以确定需要发送的目标类型是模型参数信息，这样使得各个参与设备可以在本地进行多次模型更新后再发送模型参数信息，减少通信量。

进一步地，所述联邦学习状态信息包括模型收敛状态信息，所述步骤S102包括：

步骤S1021，当检测到所述模型收敛状态信息中的模型收敛速度小于预设收敛速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；

当获取到的联邦学习状态信息包括模型收敛状态信息时，协调设备可检测模型收敛状态信息中的模型收敛速度是否小于预设收敛速度。其中，模型收敛速度的计算方式可采用现有的模型收敛速度计算方式，在此不作详细解释。预设收敛速度可以预先根据具体需要设置，例如，对模型训练的时间有限制时，可以将预设收敛速度设置得较高。当检测到模型收敛速度小于预设收敛速度时，协调设备可确定参与设备需要发送的本地模型参数更新的目标类型是模型参数信息，以加快模型收敛速度。而当模型收敛速度不小于预设收敛速度时，则可以确定参与设备需要发送的本地模型参数更新的目标类型是梯度信息，以保证模型性能。

步骤S1022，当检测到所述模型收敛状态信息中的模型收敛抖动值大于预设抖动值时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。

或者，协调设备可以检测模型收敛状态信息中的模型收敛抖动值是否大于预设抖动值。其中，模型收敛抖动值的计算方式可采用现有的抖动值计算方式，在此不作详细解释。预设抖动值可以预先根据具体需要设置。当检测到模型收敛抖动值大于预设抖动值时，说明待训练模型难以收敛，此时协调设备可确定参与设备需要发送的本地模型参数更新的目标类型是梯度信息，以使得模型能够收敛。当模型收敛抖动值不大于预设抖动值时，则可以确定参与设备需要发送的本地模型参数更新的目标类型是模型参数信息，以节省通信开销。

进一步地，所述联邦学习状态信息包括所述协调设备的网络通信状态信息，所述步骤S102包括：

步骤S1023，当检测到所述网络通信状态信息中的网络通信速度小于预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；

当获取到的联邦学习状态信息包括协调设备的网络通信状态信息时，协调设备可以检测网络通信状态信息中的网络通信速度是否小于预设通信速度。其中，预设通信速度可以预先根据具体需要进行设置，例如当对模型训练的时间有限制时，可以将预设通信速度设置得较高。当协调设备检测到网络通信速度小于预设通信速度时，说明协调设备的通信状况差，此时协调设备可以确定各参与设备需要发送的本地模型的目标类型是模型参数信息，以通过参与设备多次的本地更新来减少通信开销。

步骤S1024，当检测到所述网络通信速度不小于所述预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息；

当协调设备检测到网络通信速度不小于预设通信速度时，说明此时协调设备的通信状况较好，此时协调设备可确定各参与设备需要发送的本地模型参数更新的目标类型是梯度信息，以在不增加通信开销的情况下提高模型性能。

进一步地，所述联邦学习状态信息包括模型的性能指标提升速度，所述步骤S102包括：

步骤S1025，当检测到所述性能指标提升速度小于预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息；

当获取到的联邦学习状态信息包括模型的性能指标提升速度时，协调设备可以检测性能指标提升速度是否小于预设提升速度。其中，模型的性能指标可以是包括精度、准确度和召回率等其中的一项或多项，协调设备可以计算各个性能指标的提升速度，具体的计算方法可采用现有的性能指标计算方法和提升速度计算方法。预设提升速度可以预先根据具体需要进行设置。当协调设备检测到性能指标提升速度小于预设提升速度时，具体地，可以是检测到多个指标的提升速度都小于预设提升速度，或者是其中一个小于预设提示速度，在此并不限制，此时说明模型性能提升很慢，因此协调设备可以确定各参与设备需要发送的本地模型的目标类型是梯度信息，因为梯度信息有助于提高模型性能。

步骤S1026，当检测到所述性能指标提升速度不小于所述预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息。

当协调设备检测到性能指标提升速度不小于预设提升速度时，具体可以是其中一个指标的提升速度不小于预设提升速度，或多个指标的提升速度都不小于预设提升速度，说明此时模型性能提升速度较快，为了节省通信开销，协调设备可确定各参与设备需要发送的本地模型参数更新的目标类型是模型参数信息。

进一步地，协调设备获取到的联邦学习状态信息可以既包括协调设备和各参与设备的网络通信状态信息，又包括模型收敛状态信息和模型的性能指标提升速度，此时协调设备可以综合网络通信速度、模型收敛速度、模型抖动值和性能指标提升速度来确定目标类型，具体地组合方式有多种，根据联邦学习的任务场景不同，可以选择不同的组合方式，以使得训练得到的模型性能以及训练过程花费的时间和通信开销符合任务场景所对应的需求。

在本实施例中，通过协调设备根据联邦学习过程中的联邦学习状态信息，来确定各个参与设备在各轮模型更新中需要发送的本地模型参数更新的目标类型，使得协调设备能够根据训练过程中的具体情况来动态调整参与设备所发送本地模型参数更新的类型，从而调整模型的进度，以使得在兼顾通信开销的情况下，尽可能地提高模型的性能。

进一步地，基于上述第一和第二实施例，提出本发明横向联邦学习***优化方法第三实施例，在本实施例中，所述横向联邦学习***优化方法应用于参与横向联邦学习的参与设备，参与设备与参与横向联邦学习的协调设备通信连接，本发明实施例协调设备和参与设备可以是智能手机、个人计算机和服务器等设备。在本实施例中，横向联邦学习***优化方法包括以下步骤：

步骤A10，按照预设策略从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

在本实施例中，为解决现有的横向联邦学习方案不能都兼顾通信开销和模型性能的问题，提出本实施例中如下横向联邦学习***优化方法。

在本实施例中，协调设备与各参与设备可通过握手、身份认证预先建立通信连接，并确定本次联邦学习的待训练模型，待训练模型可以是机器学习模型，如神经网络模型。

参与设备可以按照预设策略从参数更新类型中确定各轮模型更新中需要发送给协调设备的本地模型参数更新的目标类型。其中，参数更新类型包括模型参数信息和梯度信息。也就是说，参与设备可以选择在各轮模型更新中是发送模型参数信息还是发送梯度信息。参与设备可以根据预设策略确定一轮或多轮模型更新中参与设备需要发送的目标类型。

预设策略可以是预先设置的策略，根据训练任务、对模型收敛速度的需求或对模型性能的需求不同，可在参与设备中配置不同的策略。例如，预设策略可以是根据从协调设备接收到的指示信息来确定目标类型。协调设备可以是根据联邦学习过程中的各种状态信息来确定一轮或多轮模型更新中参与设备需要发送的目标类型，然后将确定的目标类型携带在指示信息中发送各个参与设备。参与设备从指示信息中提取出目标类型，从而确定发送该目标类型的本地模型参数更新。当协调设备根据各个参与设备的通信状态信息来确定目标类型时，各参与设备可以获取各自的通信状态信息发送给协调设备，配合协调设备来确定目标类型。例如，在一轮模型更新中，协调设备获取各个参与设备的网络通信状态，当检测到各个参与设备的网络通信状态都很差时，就确定该轮模型更新或从该轮模型更新开始的多轮模型更新中需要发送的目标类型是模型参数信息，以使得各个参与设备可以进行多次本地更新后发送模型参数信息，从而减少通信量，适应网络状况；并将指示该目标类型的指示信息发送给各个参与设备。

步骤A20，根据所述目标类型进行本地训练，并向所述协调设备发送所述目标类型的本地模型参数更新，以供所述协调设备对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，得到全局模型参数更新；

参与设备根据确定的该目标类型来进行本地训练，得到该目标类型的本地模型参数更新，并向协调设备发送该目标类型的本地模型参数更新。协调设备对各个参与设备接收到的目标类型的本地模型参数更新进行融合，得到全局模型参数更新。具体地，融合的方式可以是计算各个本地模型参数更新的加权平均，例如，当目标类型是梯度信息时，协调设备可采用加权平均的方式计算各个梯度信息中梯度值的平均值，将结果作为全局模型参数更新；当目标类型是模型参数信息时，协调设备可采用加权平均的方式计算各个模型参数信息中模型参数的平均值，将结果作为全局模型参数更新。其中，加权平均算法所采用的各个参与设备的权重可以预先根据具体需要进行设置，例如可按照各个参与设备本地训练数据的数据量比例来设置权重，数据量较多的参与设备对应设置较高的权重。协调设备将全局模型参数更新发送给各个参与设备。

进一步地，步骤A20包括：

步骤A201，当所述目标类型是梯度信息时，将本地训练数据输入当前模型，基于模型输出和数据标签计算得到目标梯度信息，将所述目标梯度信息作为本地模型参数更新发送给所述协调设备；

当参与设备确定的目标类型是梯度信息时，参与设备将本地训练数据输入当前模型，即当前的待训练模型，得到当前模型的模型输出；根据当前模型的模型输出和参与设备本地的数据标签计算损失函数，再计算损失函数对模型参数的梯度，就得到了目标梯度信息。参与设备将目标梯度信息作为本地模型参数更新发送给协调设备。

步骤A202，当所述目标类型是模型参数信息时，采用所述本地训练数据对所述当前模型进行至少一次的本地模型更新，将更新后的目标模型参数信息作为本地模型参数更新发送给所述协调设备。

当参与设备确定的目标类型是梯度信息时，参与设备采用本地训练数据对当前模型进行至少一次的本地模型更新。具体地，以进行两次本地模型更新为例，参与设备先将本地训练数据输入当前模型，即当前的待训练模型，得到当前模型的模型输出；根据模型输出和参与设备本地的数据标签来计算损失函数，再计算损失函数对模型参数的梯度，再采用模型参数对应的来更新模型参数，即对当前模型进行了一次本地更新；再将本地训练数据输入更新后的模型，得到模型输出，采用与第一次本地更新同样的方法计算损失函数、计算梯度和更新模型参数，将此次更新后的模型参数作为目标模型参数，然后将目标模型参数作为本地模型参数更新发送给协调设备。

进一步地，所述步骤A20中并向所述协调设备发送所述目标类型的本地模型参数更新的步骤包括：

步骤A203，向所述协调设备发送包含所述目标类型的本地模型参数更新的消息，并在所述消息中携带指示所述目标类型的指示信息。

参与设备以消息的形式向协调设备发送目标类型的本地模型参数更新，并在消息中携带指示目标类型的指示信息。指示信息可以是在消息中增加指示位的形式，以便向设备说明发送的是模型参数信息还是梯度信息。参与设备增加指示信息的目的主要是为了避免因为协调设备与参与设备失去同步而造成协调设备误解参与设备发送的内容。

步骤A30，根据从所述协调设备接收的所述全局模型参数更新进行模型更新。

参与设备从协调设备接收全局模型参数更新，并根据全局模型参数更新来进行模型更新。具体地，当目标类型是梯度信息时，各参与设备接收的是全局梯度信息，参与设备采用全局梯度信息对本地的待训练模型的模型参数进行更新，即完成了一轮模型更新；当目标类型是模型参数信息时，各参与设备接收的是全局模型参数信息，参与设备采用全局模型参数信息作为本地的待训练模型的模型参数，即完成了一轮模型更新。

在本实施例中，通过参与设备按照预设策略确定各轮模型更新中需要向协调设备发送的本地模型参数更新的目标类型；根据目标类型来进行本地训练，并将该目标类型的本地模型参数更新返回给协调设备，供协调设备进行融合得到全局模型参数更新；根据全局模型参数更新进行模型更新。本实施例实现了参与设备可以对发送给协调设备的本地模型参数更新的类型进行选择，即可以动态地调整各轮模型更新过程中所发送的本地模型参数更新的类型，结合了梯度平均算法和模型平均算法各自的优点，实现了一种混合联邦平均机制，从而实现了兼顾横向联邦学习过程中的通信开销和模型性能，即在降低通信开销的同时，也能够尽量保证模型收敛、保证模型性能。

进一步地，基于上述第一、第二和第三实施例，提出本发明横向联邦学习***优化方法第四实施例，在本实施例中，所述步骤A10包括：

步骤A101，在一轮模型更新中，接收所述协调设备发送的指示信息，从所述指示信息中提取需要发送给所述协调设备的本地模型参数更新的目标类型；

在本实施例中，预设策略有多种，参与设备可采用其中一种来确定需要发送给协调设备的本地模型参数更新的目标类型。

一种预设策略是，在一轮模型更新中，参与设备可接收协调设备发送的指示信息，从指示信息中提取需要发送给协调设备的本地模型参数更新的目标类型。协调设备可以是根据联邦学习过程中的各种状态信息来确定一轮或多轮模型更新中参与设备需要发送的目标类型，然后将确定的目标类型携带在指示信息中发送各个参与设备。参与设备从指示信息中提取出目标类型，从而确定发送该目标类型的本地模型参数更新。当协调设备根据各个参与设备的通信状态信息来确定目标类型时，各参与设备可以获取各自的通信状态信息发送给协调设备，配合协调设备来确定目标类型。例如，在一轮模型更新中，协调设备获取各个参与设备的网络通信状态，当检测到各个参与设备的网络通信状态都很差时，就确定该轮模型更新或从该轮模型更新开始的多轮模型更新中需要发送的目标类型是模型参数信息，以使得各个参与设备可以进行多次本地更新后发送模型参数信息，从而减少通信量，适应网络状况；并将指示该目标类型的指示信息发送给各个参与设备。

步骤A102，按照协商信息从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参与设备与所述协调设备进行协商得到所述协商信息；

另一种预设策略可以是，参与设备与协调设备预先进行协商，从参数更新类型中确定一轮或多轮，或者每一轮模型更新中参与设备需要向协调设备发送的本地模型参数更新的目标类型，并记录在协商信息中。参与设备按照协商信息来确定各轮模型参数更新需要发送的目标类型。例如，协调设备和各参与设备可以提前协商好在第3轮模型更新时，发送模型参数信息；在第11轮模型更新时，发送梯度信息。以此类推，可以提前协商好每一轮模型更新的目标类型。以便保证各个参与设备都与协调设备保持一致。

步骤A103，按照与全局迭代索引相关的预设规律确定从参数更新类型中各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型。

另一种预设策略可以是，各个参与设备按照与全局迭代索引相关的预设规律从参数更新类型中确定各轮模型参数更新中需要发送给协调设备的本地模型参数更新的目标类型。其中，全局迭代索引可以是协调设备在每一轮模型更新时发送给各个参与设备，用于指示各个参与设备是第几轮模型更新，以使得各个参与设备之间以及参与设备与协调设备之间能够保持同步。与全局迭代索引相关的预设规律可以是预先设置在各个参与设备中的，也即各个参与设备采用相同的规律。与全局迭代索引t相关的预设规律可以是根据需要设置，例如，可以是在第t轮模型更新时，参与设备发送模型参数信息；而在第t+μ轮模型更新时，参与设备发送梯度信息。其中，μ是大于或者等于1的整数。

进一步地，协调设备和参与设备可以提前协商好一个随机数发生器，根据随机数发生器以及全局迭代索引t来决定，在第t轮模型更新中，参与设备需要发送的目标类型。因为所有的参与设备和协调设备都使用相同的随机数发生器和相同的输入参数t，所以可以保证各个参与设备都与协调设备保持一致。例如，在第t次全局模型参数更新中，各个参与设备和协调设备根据随机数生成器f(t)生成一个0到1之间的数，如果生成的随机数大于0.5，则各参与设备发送神经网络模型参数；反之，则各参与设备发送神经网络模型梯度信息。

需要说明的是，在没有协调设备参与联邦学习的情况下，各个参与设备也可以互相之间协商是交换模型参数信息，还是交换梯度信息。技术原理与上述有协调设备参与的场景类似。

此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有横向联邦学习***优化程序，所述横向联邦学习***优化程序被处理器执行时实现如下所述的横向联邦学习***优化方法的步骤。

本发明横向联邦学习***优化设备和计算机可读存储介质的各实施例，均可参照本发明横向联邦学习***优化方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种横向联邦学习***优化方法，其特征在于，应用于参与横向联邦学习的协调设备，所述协调设备与参与横向联邦学习的各参与设备通信连接，所述方法包括：

按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备需要发送的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

向各所述参与设备发送指示所述目标类型的指示信息，以供各所述参与设备根据所述指示信息进行本地训练，并返回所述目标类型的本地模型参数更新；

对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各所述参与设备，以供各所述参与设备根据所述全局模型参数更新进行模型更新。

2.如权利要求1所述的横向联邦学习***优化方法，其特征在于，所述按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备发送的本地模型参数更新的目标类型的步骤包括：

在一轮模型更新中，获取当前的联邦学习状态信息；

根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型。

3.如权利要求2所述的横向联邦学习***优化方法，其特征在于，所述联邦学习状态信息包括模型收敛状态信息，

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述模型收敛状态信息中的模型收敛速度小于预设收敛速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；或，

当检测到所述模型收敛状态信息中的模型收敛抖动值大于预设抖动值时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。

4.如权利要求2所述的横向联邦学习***优化方法，其特征在于，所述联邦学习状态信息包括所述协调设备的网络通信状态信息，

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述网络通信状态信息中的网络通信速度小于预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；

当检测到所述网络通信速度不小于所述预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。

5.如权利要求2所述的横向联邦学习***优化方法，其特征在于，所述联邦学习状态信息包括模型的性能指标提升速度，

所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；

当检测到所述性能指标提升速度小于预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息；

当检测到所述性能指标提升速度不小于所述预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息。

6.一种横向联邦学习***优化方法，其特征在于，应用于参与横向联邦学习的参与设备，所述参与设备与参与横向联邦学习的协调设备通信连接，所述方法包括：

按照预设策略从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；

根据所述目标类型进行本地训练，并向所述协调设备发送所述目标类型的本地模型参数更新，以供所述协调设备对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，得到全局模型参数更新；

根据从所述协调设备接收的所述全局模型参数更新进行模型更新。

7.如权利要求6所述的横向联邦学习***优化方法，其特征在于，所述按照预设策略从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型的步骤包括：

在一轮模型更新中，接收所述协调设备发送的指示信息，从所述指示信息中提取需要发送给所述协调设备的本地模型参数更新的目标类型；或，

按照协商信息从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型，其中，所述参与设备与所述协调设备进行协商得到所述协商信息；或，

按照与全局迭代索引相关的预设规律从参数更新类型中确定各轮模型更新中需要发送给所述协调设备的本地模型参数更新的目标类型。

8.如权利要求6所述的横向联邦学习***优化方法，其特征在于，所述并向所述协调设备发送所述目标类型的本地模型参数更新的步骤包括：

向所述协调设备发送包含所述目标类型的本地模型参数更新的消息，并在所述消息中携带指示所述目标类型的指示信息。

9.如权利要求6所述的横向联邦学习***优化方法，其特征在于，所述根据确定的目标类型进行本地训练，并向所述协调设备发送所述目标类型的本地模型参数更新的步骤包括：

当所述目标类型是梯度信息时，将本地训练数据输入当前模型，基于模型输出和数据标签计算得到目标梯度信息，将所述目标梯度信息作为本地模型参数更新发送给所述协调设备；

当所述目标类型是模型参数信息时，采用所述本地训练数据对所述当前模型进行至少一次的本地模型更新，将更新后的目标模型参数信息作为本地模型参数更新发送给所述协调设备。

10.一种横向联邦学习***优化设备，其特征在于，所述横向联邦学习***优化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的横向联邦学习***优化程序，所述横向联邦学习***优化程序被所述处理器执行时实现如权利要求1至9中任一项所述的横向联邦学习***优化方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有横向联邦学习***优化程序，所述横向联邦学习***优化程序被处理器执行时实现如权利要求1至9中任一项所述的横向联邦学习***优化方法的步骤。

Images