CN113947214A - 一种基于客户端知识蒸馏的联邦学习实现方法 - Google Patents

Abstract

本发明公开一种基于客户端知识蒸馏的联邦学习实现方法。该方法包括：服务端在新一个通信轮次开始时，为每个客户端发送模型参数集合，模型参数集合根据所有客户端在上一个通信轮次提交给服务端的模型参数构成；每一个客户端接收到服务端发送的模型参数集合后，开始当前通信轮次的本地模型参数训练，本地模型参数训练时，将来自其他客户端的特征信息迁移到本地模型当中；客户端完成当前通信轮次的训练时，向服务端发送本地模型的参数；所有客户端发送回新的模型参数后，服务端根据新的模型参数生成新的集合，用于下一个通信轮次的训练；在不降低模型的性能的前提下降低了联邦学习建模所需的通讯轮次的数量，提高了利用多机构数据联合建模的效率。

Description

一种基于客户端知识蒸馏的联邦学习实现方法

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种基于客户端知识蒸馏的联邦学习实现方法。

背景技术

随着大数据技术的进一步发展，重视数据隐私和安全已经成为了世界性的热点问题。在2018，国际知名社交媒体“脸书”因在未经用户允许的情况下允许某数据分析公司收集大量的数据来进行用户群体分析而被当地有关部门处罚，致使“脸书”公司的股票大跌，并引发了大规模的抗议活动。2018年5月，欧盟通过了《一般数据保护条例(General DataProtection Regulation,GDPR)》以取回公民以及住民对于个人资料的控制，以及为了国际商务而简化在欧盟内的统一规范。我国的有关部门也即将出台《个人信息保护法》、《数据安全法》等有关法律来保证公民拥有对于个人信息的控制权。这些法律法规的出台将用户对于数据安全、隐私的要求提高的到了新的层次，从而导致收集和利用用户的隐私数据变得更加困难。

除了收集用户的个人数据变得困难之外，由于各行各业之间存在着竞争和隐私保护等问题，将分布在各个机构的独立数据中心化为一个完整的数据集并以此整合的数据集建立、训练模型将变得不再现实，由于无法集中地利用广泛分布地数据，这些孤立分布的数据被称为数据孤岛。面对一个个数据孤岛，如何在安全合法地使用广泛分布的数据进行联合建模成为人工智能***落地过程中的关键一环。

为了解决这种数据孤岛问题，许多的研究机构提出了各种间接地访问数据孤岛的方法。由McMahan等人提出的联邦学***均并更新全局的模型参数。图1显示经典联邦学习方法的工作流程示意图。

这种联邦学习的方式为跨数据孤岛进行联合建模提供可能性，但是经典的联邦学习方法在面对多机构的数据集的情况下需要进行多个通信轮次才能达到预期的性能，同时，更多的通信轮次意味着服务端和客户端之间需要交换更多的数据，造成了更大的通信负担。因此如何在不牺牲全局模型性能的前提下，提高模型的收敛速度和降低通信轮次的数量是联邦学习方法的目标之一。

发明内容

本发明克服了现有的联邦学习方法在面对多机构(机构视为一个参与联邦学习训练的客户端)数据时的不足，实现了一种在客户端进行知识蒸馏的联邦学习方法，其利用了其他客户端的在上一个通讯轮次发送的模型并以此提取了其中蕴含的知识信息以改善客户端本地的模型。本发明在不降低模型的性能的前提下降低了联邦学习建模所需的通讯轮次的数量，提高了利用多机构数据联合建模的效率。

本发明的核心部分是服务端和客户端，在服务端上包括如下的步骤：

步骤1：客户端连接到服务端，一旦连接的客户端的数量满足要求，则开始学习的过程。设置当前的通信轮次变量为t，初始的通讯轮次为t＝0。

步骤2：已经连接的客户端上传本地模型的初始参数到服务端，服务端将其保存为一个参数集合。设θⁱ代表客户端i向服务端发送的参数。

步骤3：服务端向每一个客户端发送参数集合Θ_t＝{θ0,θ¹,…,θ^K}表示在第t通信轮次的参数集合，其中K为客户端的数量；递增当前的通信轮次t＝t+1。

每个客户端在接收到了服务端发送的除去目标客户端的参数集合

之后并行地运行，其步骤为：

S1：客户端k在接收到服务端发送的参数集合

之后利用本地的数据X_i得到其本地模型输出的值f(X_i；θ^k)。

S2：客户端使用服务端发送的参数集合并结合本地数据得到与参数集合数量相同的分布E^k(X_i,t)，其定义为：

S3：客户端使用KL散度(Kullback-Leibler Divergence)D_KL(p||q)度量分布p和q的相似度。在本发明中使用KL散度度量预测的分布和平均分布的相似度，其定义为：

其中σ为激活函数。将损失函数

作为客户端k总体的损失函数的第一部分，降低KL散度有助于迁移参数集合中蕴含的其他客户端数据信息到当前的客户端。

S4：客户端计算任务相关的损失，任务损失视为总体损失函数的第二部分。针对语义分割任务，计算预测的分布与数据的标签的Dice系数(Dice coefficient)作为任务损失，而对于分类任务，则为交叉熵损失函数。

S5：客户端降低损失函数以更新本地模型的参数θ^k。

S6：客户端将更新之后的模型参数θ^k发送回服务端。

在所有的客户端将模型参数发送完毕之后，服务端将重新更新参数集合Θ_t-1：将客户端对应的旧的参数替换为新的参数。

步骤4：如果已经达到了最大的通讯轮次则训练完毕，否则将继续转到步骤3。

本发明的有益效果如下：本发明提供的基于客户端知识蒸馏的联邦学习实现方法，利用了客户端向服务端发送的模型参数所蕴含的信息，并在客户端进行本地训练的时候加以利用，提升了客户端本地模型的性能，有效地降低了联邦学习方法所需要的通讯轮次，加快训练的过程；使用了知识蒸馏技术迁移上述的信息迁移到本地模型，将来自不同的客户端的模型视为教师模型而将客户端本地的模型作为学生模型，进行信息的迁移过程。相比于传统的联邦学习通过在服务端进行模型聚合的方式提高全局模型在各个客户端上的表现，客户端利用本地知识蒸馏的方式直接提升了本地模型的性能，这种直接更新本地模型的方式进一步地降低了联合建模所需要的时间，同时提升了模型的性能。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是经典联邦学习方法的工作流程示意图；

图2是本发明的联邦学习实现方式；

图3是服务端向客户端发送参数集合的示意图；

图4是客户端进行本地知识蒸馏的示意图；

图5是本方法在金融风控下的应用实例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。

图1为经典联邦学习方法的工作流程示意图，联邦学习的目标之一是建立一个能够在各个客户端上均有良好表现的通用的全局模型，因此全局模型需要能利用客户端中利用自身数据提取出的信息，如何利用客户端的数据信息在传统的中心化学习方式中有着广泛的研究，其中之一便是知识蒸馏技术。在知识蒸馏技术中，存在着两类模型，分别为参数量巨大的教师模型以及参数量相对少的学生模型，其目标是利用表示能力强的教师模型将其蕴含的知识信息迁移到学生模型，使后者能够以较小的模型参数量表现出近似前者的表现。在本发明中，每一个客户在进行本地计算之前将利用从服务端获取到的其他客户端的参数信息将其中蕴含的知识迁移到本地的模型中，以此提高本地模型的性能。

本发明提供了一种新的联邦学习的实现方式，用于解决的联邦学习方法在基于跨孤岛多机构数据集训练时存在的收敛速度慢的问题(例如：需要更多的通信轮次)。本发明中，客户端将从服务端获取其他的客户端发送给服务端的模型，并视其为教师模型，接着利用知识蒸馏将其所蕴含的信息迁移到本地的模型中。为了帮助使用者更好地理解本发明地目的、工作流程，下面将结合附图对本发明的技术细节加以阐述。在图2中，存在着K个客户端以及它们的本地模型，在初始阶段，它们需要将模型传送到服务端，服务端将保存这些客户端的模型参数为一个集合。假设当前的任务为图像语义分割任务，客户端k的本地数据中存在着图像数据X_i以及对应的标签数据Y_i，保存在为D_k，当客户端进行训练时将按照顺序从D_k中读取数据——标签对

客户端使用的模型都是相同的结构，每一个客户端拥有一个独立的本地模型，其参数为θ^k。

步骤1：服务端从客户端接收初始化的参数，并保存在Θ₀。t＝0；

步骤2：t＝t+1，此时服务端将服务端为客户端k发送除客户端k以外的其他客户端的参数集合

过程如图3所示。客户端将并行运行训练，以下的为任意一个客户端k更新本地模型θ^k的步骤：

S1：基于当前客户端k的数据集D_k得到数据——标签对(X_i,Y_i)，其中i表示数据的索引

S2：当客户端接收到了服务端发送的参数集合之后将计算两个损失函数。请参阅图3，其步骤如下：

A：基于X_i得到当前的客户端本地模型的预测标签输出f(X_i；θ^k)；

B：基于X_i并利用公式(1)得到其他客户端模型的平均输出E^k(X_i,t)，σ为Softmax激活函数；

C：利用公式(2)计算KL散度L_d，将其作为总体损失函数L的一部分；

D：第二部分损失函数为任务损失函数L_task，在图像分割任务中，常使用Dice系数作为损失，定义如下：

E：定义总体的损失函数为：

L＝αL_task+(1-α)L_d (4)

其中α为损失函数的权重因子。

F：利用损失函数更新客户端本地的模型θ^k，如下所示：

其中η为学习率。

S3：循环运行步骤A到F，直到i＝|D_k|；

S4：当客户端k完成训练之后，将新的θ^k发送回服务端；

步骤3：当服务端从客户端k接收到了新的参数θ^k之后，替换Θ_t-1旧的θ^k。当接收到所有的客户端发送参数并更新Θ_t-1之后，跳转到步骤2。

以基于横向联邦学习领域的金融风控为例。金融机构在在反欺诈场景中，面临样本不足的问题，我们可在银行同业之间应用在横向联邦学习在反欺诈场景。因此本发明提供了联邦学习实现方式能够在银行业间以及保护用户隐私的前提下构建高质量的金融风控模型。例如银行A拥有在一个地区用户的交易数据与反欺诈数据，而银行B则会拥有另外一个地区用户的交易数据与反欺诈数据，为了在保护银行数据隐私的情况下优化双方的反欺诈模型，可以使用本方法进行跨银行机构的建模，其工作的流程如图5所示。图例：①银行机构A/B分别获取保存在服务端最新的银行B/A的模型，②利用本地的数据进行训练，并更新本地的模型。③上传最新的模型参数到服务端。

与传统联邦学***均的方式构建一个通用的全局模型不同，本发明所述的方法则是在客户端本地上进行知识蒸馏以此来提高模型在本地模型的性能。通过实例的反馈，使用本发明所述的方法在不降低的模型性能的同时有效地提高了模型学习的效率、降低了利用多机构数据联合建模所需要的通信轮次数量。

本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于客户端知识蒸馏的联邦学习实现方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (6)

1.一种基于客户端知识蒸馏的联邦学习实现方法，其特征在于，包括：

服务端在新一个通信轮次开始时，为每个客户端发送模型参数集合，其中，所述模型参数集合是根据所有客户端在上一个通信轮次提交给服务端的模型参数构成的；

当每一个客户端接收到服务端发送的模型参数集合后，开始当前通信轮次的本地模型参数训练，所述的本地模型是保存在客户端本地的模型；进行本地模型参数训练时，将来自其他客户端的特征信息迁移到本地模型当中；

当客户端完成当前通信轮次的训练时，向服务端发送本地模型的参数；

在等待所有客户端发送回新的模型参数之后，服务端根据所述新的模型参数生成新的集合，用于下一个通信轮次的训练。

2.如权利要求1所述的方法，其特征在于，服务端在新一个通信轮次开始时，为每个客户端发送模型参数集合包括：

在新的通信轮次t开始前，服务端根据公式

向每个客户端k发送由上一个通信轮次(t-1)的其他客户端向服务端发送的模型参数所构成的

其中，θ^k为客户端k在(t-1)通信轮次发送给服务端的模型，Θ_t-1为由上一个通信轮次(t-1)之后，所有的客户端向服务端发送的模型参数所构成的集合。

3.如权利要求2所述的方法，其特征在于，当每一个客户端接收到服务端发送的模型参数集合后，开始当前通信轮次的本地模型参数训练包括：

在通信轮次t的任意的客户端k，在收到服务端发送的模型参数集合后，将定义来自其他的客户端的特征信息E^k(X_i,t)如下：

其中，N为所有的客户端的数量，X_i为客户端拥有的数据样本，f(X_i；θ^k)为本地模型输出的预测分布。

4.如权利要求1所述的方法，其特征在于，进行本地模型参数训练时，将来自其他客户端的特征信息迁移到本地模型当中包括：

在通信轮次t的任意的客户端k，将定义的来自其他的客户端的特征信息E^k(X_i,t)迁移到本地模型参数θ^k中，得到使用KL散度度量预测的分布和平均分布的相似度：

其中，σ为激活函数，D_KL为KL散度。

5.如权利要求4所述的方法，其特征在于，当客户端完成当前通信轮次的训练时，向服务端发送本地模型的参数包括：

在通信轮次t的任意的客户端k，将向服务端发送更新后的参数θ^k。

6.如权利要求5所述的方法，其特征在于，在等待所有客户端发送回新的模型参数之后，服务端根据所述新的模型参数生成新的集合，用于下一个通信轮次的训练包括：

服务端将客户端发送的参数集合{θ¹,θ²,…,θ^N}分别替换Θ_t-1中的参数，并开始下一个通信轮次的训练，其中，θⁱ代表客户端i向服务端发送的参数。

Images