CN113947214A - 一种基于客户端知识蒸馏的联邦学习实现方法 - Google Patents
一种基于客户端知识蒸馏的联邦学习实现方法 Download PDFInfo
- Publication number
- CN113947214A CN113947214A CN202111410414.8A CN202111410414A CN113947214A CN 113947214 A CN113947214 A CN 113947214A CN 202111410414 A CN202111410414 A CN 202111410414A CN 113947214 A CN113947214 A CN 113947214A
- Authority
- CN
- China
- Prior art keywords
- client
- model
- server
- training
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开一种基于客户端知识蒸馏的联邦学习实现方法。该方法包括:服务端在新一个通信轮次开始时,为每个客户端发送模型参数集合,模型参数集合根据所有客户端在上一个通信轮次提交给服务端的模型参数构成;每一个客户端接收到服务端发送的模型参数集合后,开始当前通信轮次的本地模型参数训练,本地模型参数训练时,将来自其他客户端的特征信息迁移到本地模型当中;客户端完成当前通信轮次的训练时,向服务端发送本地模型的参数;所有客户端发送回新的模型参数后,服务端根据新的模型参数生成新的集合,用于下一个通信轮次的训练;在不降低模型的性能的前提下降低了联邦学习建模所需的通讯轮次的数量,提高了利用多机构数据联合建模的效率。
Description
技术领域
本发明涉及联邦学习技术领域,尤其涉及一种基于客户端知识蒸馏的联邦学习实现方法。
背景技术
随着大数据技术的进一步发展,重视数据隐私和安全已经成为了世界性的热点问题。在2018,国际知名社交媒体“脸书”因在未经用户允许的情况下允许某数据分析公司收集大量的数据来进行用户群体分析而被当地有关部门处罚,致使“脸书”公司的股票大跌,并引发了大规模的抗议活动。2018年5月,欧盟通过了《一般数据保护条例(General DataProtection Regulation,GDPR)》以取回公民以及住民对于个人资料的控制,以及为了国际商务而简化在欧盟内的统一规范。我国的有关部门也即将出台《个人信息保护法》、《数据安全法》等有关法律来保证公民拥有对于个人信息的控制权。这些法律法规的出台将用户对于数据安全、隐私的要求提高的到了新的层次,从而导致收集和利用用户的隐私数据变得更加困难。
除了收集用户的个人数据变得困难之外,由于各行各业之间存在着竞争和隐私保护等问题,将分布在各个机构的独立数据中心化为一个完整的数据集并以此整合的数据集建立、训练模型将变得不再现实,由于无法集中地利用广泛分布地数据,这些孤立分布的数据被称为数据孤岛。面对一个个数据孤岛,如何在安全合法地使用广泛分布的数据进行联合建模成为人工智能***落地过程中的关键一环。
为了解决这种数据孤岛问题,许多的研究机构提出了各种间接地访问数据孤岛的方法。由McMahan等人提出的联邦学***均并更新全局的模型参数。图1显示经典联邦学习方法的工作流程示意图。
这种联邦学习的方式为跨数据孤岛进行联合建模提供可能性,但是经典的联邦学习方法在面对多机构的数据集的情况下需要进行多个通信轮次才能达到预期的性能,同时,更多的通信轮次意味着服务端和客户端之间需要交换更多的数据,造成了更大的通信负担。因此如何在不牺牲全局模型性能的前提下,提高模型的收敛速度和降低通信轮次的数量是联邦学习方法的目标之一。
发明内容
本发明克服了现有的联邦学习方法在面对多机构(机构视为一个参与联邦学习训练的客户端)数据时的不足,实现了一种在客户端进行知识蒸馏的联邦学习方法,其利用了其他客户端的在上一个通讯轮次发送的模型并以此提取了其中蕴含的知识信息以改善客户端本地的模型。本发明在不降低模型的性能的前提下降低了联邦学习建模所需的通讯轮次的数量,提高了利用多机构数据联合建模的效率。
本发明的核心部分是服务端和客户端,在服务端上包括如下的步骤:
步骤1:客户端连接到服务端,一旦连接的客户端的数量满足要求,则开始学习的过程。设置当前的通信轮次变量为t,初始的通讯轮次为t=0。
步骤2:已经连接的客户端上传本地模型的初始参数到服务端,服务端将其保存为一个参数集合。设θi代表客户端i向服务端发送的参数。
步骤3:服务端向每一个客户端发送参数集合Θt={θ0,θ1,…,θK}表示在第t通信轮次的参数集合,其中K为客户端的数量;递增当前的通信轮次t=t+1。
S2:客户端使用服务端发送的参数集合并结合本地数据得到与参数集合数量相同的分布Ek(Xi,t),其定义为:
S3:客户端使用KL散度(Kullback-Leibler Divergence)DKL(p||q)度量分布p和q的相似度。在本发明中使用KL散度度量预测的分布和平均分布的相似度,其定义为:
S4:客户端计算任务相关的损失,任务损失视为总体损失函数的第二部分。针对语义分割任务,计算预测的分布与数据的标签的Dice系数(Dice coefficient)作为任务损失,而对于分类任务,则为交叉熵损失函数。
S5:客户端降低损失函数以更新本地模型的参数θk。
S6:客户端将更新之后的模型参数θk发送回服务端。
在所有的客户端将模型参数发送完毕之后,服务端将重新更新参数集合Θt-1:将客户端对应的旧的参数替换为新的参数。
步骤4:如果已经达到了最大的通讯轮次则训练完毕,否则将继续转到步骤3。
本发明的有益效果如下:本发明提供的基于客户端知识蒸馏的联邦学习实现方法,利用了客户端向服务端发送的模型参数所蕴含的信息,并在客户端进行本地训练的时候加以利用,提升了客户端本地模型的性能,有效地降低了联邦学习方法所需要的通讯轮次,加快训练的过程;使用了知识蒸馏技术迁移上述的信息迁移到本地模型,将来自不同的客户端的模型视为教师模型而将客户端本地的模型作为学生模型,进行信息的迁移过程。相比于传统的联邦学习通过在服务端进行模型聚合的方式提高全局模型在各个客户端上的表现,客户端利用本地知识蒸馏的方式直接提升了本地模型的性能,这种直接更新本地模型的方式进一步地降低了联合建模所需要的时间,同时提升了模型的性能。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是经典联邦学习方法的工作流程示意图;
图2是本发明的联邦学习实现方式;
图3是服务端向客户端发送参数集合的示意图;
图4是客户端进行本地知识蒸馏的示意图;
图5是本方法在金融风控下的应用实例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。以下结合附图,详细说明本发明各实施例提供的技术方案。
图1为经典联邦学习方法的工作流程示意图,联邦学习的目标之一是建立一个能够在各个客户端上均有良好表现的通用的全局模型,因此全局模型需要能利用客户端中利用自身数据提取出的信息,如何利用客户端的数据信息在传统的中心化学习方式中有着广泛的研究,其中之一便是知识蒸馏技术。在知识蒸馏技术中,存在着两类模型,分别为参数量巨大的教师模型以及参数量相对少的学生模型,其目标是利用表示能力强的教师模型将其蕴含的知识信息迁移到学生模型,使后者能够以较小的模型参数量表现出近似前者的表现。在本发明中,每一个客户在进行本地计算之前将利用从服务端获取到的其他客户端的参数信息将其中蕴含的知识迁移到本地的模型中,以此提高本地模型的性能。
本发明提供了一种新的联邦学习的实现方式,用于解决的联邦学习方法在基于跨孤岛多机构数据集训练时存在的收敛速度慢的问题(例如:需要更多的通信轮次)。本发明中,客户端将从服务端获取其他的客户端发送给服务端的模型,并视其为教师模型,接着利用知识蒸馏将其所蕴含的信息迁移到本地的模型中。为了帮助使用者更好地理解本发明地目的、工作流程,下面将结合附图对本发明的技术细节加以阐述。在图2中,存在着K个客户端以及它们的本地模型,在初始阶段,它们需要将模型传送到服务端,服务端将保存这些客户端的模型参数为一个集合。假设当前的任务为图像语义分割任务,客户端k的本地数据中存在着图像数据Xi以及对应的标签数据Yi,保存在为Dk,当客户端进行训练时将按照顺序从Dk中读取数据——标签对客户端使用的模型都是相同的结构,每一个客户端拥有一个独立的本地模型,其参数为θk。
步骤1:服务端从客户端接收初始化的参数,并保存在Θ0。t=0;
S2:当客户端接收到了服务端发送的参数集合之后将计算两个损失函数。请参阅图3,其步骤如下:
A:基于Xi得到当前的客户端本地模型的预测标签输出f(Xi;θk);
B:基于Xi并利用公式(1)得到其他客户端模型的平均输出Ek(Xi,t),σ为Softmax激活函数;
C:利用公式(2)计算KL散度Ld,将其作为总体损失函数L的一部分;
D:第二部分损失函数为任务损失函数Ltask,在图像分割任务中,常使用Dice系数作为损失,定义如下:
E:定义总体的损失函数为:
L=αLtask+(1-α)Ld (4)
其中α为损失函数的权重因子。
F:利用损失函数更新客户端本地的模型θk,如下所示:
其中η为学习率。
S3:循环运行步骤A到F,直到i=|Dk|;
S4:当客户端k完成训练之后,将新的θk发送回服务端;
步骤3:当服务端从客户端k接收到了新的参数θk之后,替换Θt-1旧的θk。当接收到所有的客户端发送参数并更新Θt-1之后,跳转到步骤2。
以基于横向联邦学习领域的金融风控为例。金融机构在在反欺诈场景中,面临样本不足的问题,我们可在银行同业之间应用在横向联邦学习在反欺诈场景。因此本发明提供了联邦学习实现方式能够在银行业间以及保护用户隐私的前提下构建高质量的金融风控模型。例如银行A拥有在一个地区用户的交易数据与反欺诈数据,而银行B则会拥有另外一个地区用户的交易数据与反欺诈数据,为了在保护银行数据隐私的情况下优化双方的反欺诈模型,可以使用本方法进行跨银行机构的建模,其工作的流程如图5所示。图例:①银行机构A/B分别获取保存在服务端最新的银行B/A的模型,②利用本地的数据进行训练,并更新本地的模型。③上传最新的模型参数到服务端。
与传统联邦学***均的方式构建一个通用的全局模型不同,本发明所述的方法则是在客户端本地上进行知识蒸馏以此来提高模型在本地模型的性能。通过实例的反馈,使用本发明所述的方法在不降低的模型性能的同时有效地提高了模型学习的效率、降低了利用多机构数据联合建模所需要的通信轮次数量。
本发明实施例还提供一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现本发明提供的基于客户端知识蒸馏的联邦学习实现方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:Read-OnlyMemory,简称:ROM)或随机存储记忆体(英文:RandomAccessMemory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (6)
1.一种基于客户端知识蒸馏的联邦学习实现方法,其特征在于,包括:
服务端在新一个通信轮次开始时,为每个客户端发送模型参数集合,其中,所述模型参数集合是根据所有客户端在上一个通信轮次提交给服务端的模型参数构成的;
当每一个客户端接收到服务端发送的模型参数集合后,开始当前通信轮次的本地模型参数训练,所述的本地模型是保存在客户端本地的模型;进行本地模型参数训练时,将来自其他客户端的特征信息迁移到本地模型当中;
当客户端完成当前通信轮次的训练时,向服务端发送本地模型的参数;
在等待所有客户端发送回新的模型参数之后,服务端根据所述新的模型参数生成新的集合,用于下一个通信轮次的训练。
5.如权利要求4所述的方法,其特征在于,当客户端完成当前通信轮次的训练时,向服务端发送本地模型的参数包括:
在通信轮次t的任意的客户端k,将向服务端发送更新后的参数θk。
6.如权利要求5所述的方法,其特征在于,在等待所有客户端发送回新的模型参数之后,服务端根据所述新的模型参数生成新的集合,用于下一个通信轮次的训练包括:
服务端将客户端发送的参数集合{θ1,θ2,…,θN}分别替换Θt-1中的参数,并开始下一个通信轮次的训练,其中,θi代表客户端i向服务端发送的参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111410414.8A CN113947214A (zh) | 2021-11-23 | 2021-11-23 | 一种基于客户端知识蒸馏的联邦学习实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111410414.8A CN113947214A (zh) | 2021-11-23 | 2021-11-23 | 一种基于客户端知识蒸馏的联邦学习实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113947214A true CN113947214A (zh) | 2022-01-18 |
Family
ID=79338692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111410414.8A Pending CN113947214A (zh) | 2021-11-23 | 2021-11-23 | 一种基于客户端知识蒸馏的联邦学习实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113947214A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423540A (zh) * | 2022-11-04 | 2022-12-02 | 中邮消费金融有限公司 | 一种基于强化学习的金融模型知识蒸馏方法及装置 |
CN117437039A (zh) * | 2023-12-21 | 2024-01-23 | 湖南三湘银行股份有限公司 | 一种基于纵向联邦学习的商业银行贷款风控方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790168A (zh) * | 2016-12-29 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种通信预处理方法、客户端及服务端 |
CN111899735A (zh) * | 2020-07-23 | 2020-11-06 | 湖南三湘银行股份有限公司 | 一种银行智能用户交互*** |
CN113205863A (zh) * | 2021-06-04 | 2021-08-03 | 广西师范大学 | 基于蒸馏的半监督联邦学习的个性化模型的训练方法 |
US20210272014A1 (en) * | 2020-02-28 | 2021-09-02 | Shanghai United Imaging Intelligence Co., Ltd. | System and methods for privacy preserving cross-site federated learning |
-
2021
- 2021-11-23 CN CN202111410414.8A patent/CN113947214A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790168A (zh) * | 2016-12-29 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种通信预处理方法、客户端及服务端 |
US20210272014A1 (en) * | 2020-02-28 | 2021-09-02 | Shanghai United Imaging Intelligence Co., Ltd. | System and methods for privacy preserving cross-site federated learning |
CN111899735A (zh) * | 2020-07-23 | 2020-11-06 | 湖南三湘银行股份有限公司 | 一种银行智能用户交互*** |
CN113205863A (zh) * | 2021-06-04 | 2021-08-03 | 广西师范大学 | 基于蒸馏的半监督联邦学习的个性化模型的训练方法 |
Non-Patent Citations (1)
Title |
---|
张玉桐: "基于迁移学习的异构软件缺陷预测方法研究", 《中国优秀硕士学位论文全文数据库》, no. 09, 15 September 2021 (2021-09-15), pages 138 - 119 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423540A (zh) * | 2022-11-04 | 2022-12-02 | 中邮消费金融有限公司 | 一种基于强化学习的金融模型知识蒸馏方法及装置 |
CN115423540B (zh) * | 2022-11-04 | 2023-02-03 | 中邮消费金融有限公司 | 一种基于强化学习的金融模型知识蒸馏方法及装置 |
CN117437039A (zh) * | 2023-12-21 | 2024-01-23 | 湖南三湘银行股份有限公司 | 一种基于纵向联邦学习的商业银行贷款风控方法 |
CN117437039B (zh) * | 2023-12-21 | 2024-04-30 | 湖南三湘银行股份有限公司 | 一种基于纵向联邦学习的商业银行贷款风控方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Competing bandits in matching markets | |
CN113947214A (zh) | 一种基于客户端知识蒸馏的联邦学习实现方法 | |
EP4350572A1 (en) | Method, apparatus and system for generating neural network model, devices, medium and program product | |
US20210256423A1 (en) | Methods, apparatuses, and computing devices for trainings of learning models | |
CN112436992B (zh) | 基于图卷积网络的虚拟网络映射方法及装置 | |
CN109960755B (zh) | 一种基于动态迭代快速梯度的用户隐私保护方法 | |
CN117236421B (zh) | 一种基于联邦知识蒸馏的大模型训练方法 | |
CN111428127A (zh) | 融合主题匹配与双向偏好的个性化事件推荐方法及*** | |
CN116957106A (zh) | 一种基于动态注意力机制的联邦学习模型训练方法 | |
CN109670927A (zh) | 信用额度的调整方法及其装置、设备、存储介质 | |
Ma et al. | Adaptive distillation for decentralized learning from heterogeneous clients | |
CN112085158A (zh) | 一种基于堆栈降噪自编码器的图书推荐方法 | |
CN112487305B (zh) | 一种基于gcn的动态社交用户对齐方法 | |
CN116757262B (zh) | 图神经网络的训练方法、分类方法、装置、设备及介质 | |
Ostonov et al. | Rlss: A deep reinforcement learning algorithm for sequential scene generation | |
Tian et al. | Synergetic focal loss for imbalanced classification in federated xgboost | |
CN117216382A (zh) | 一种交互处理的方法、模型训练的方法以及相关装置 | |
WO2023169167A1 (zh) | 模型训练方法、装置、设备及存储介质 | |
CN117009674A (zh) | 融合数据增强和对比学习的云原生api推荐方法 | |
WO2020151017A1 (zh) | 一种可扩展的领域人机对话***状态跟踪方法及设备 | |
CN115470520A (zh) | 一种在垂直联邦框架下的差分隐私及去噪的数据保护方法 | |
JP2023550510A (ja) | 推薦方法、装置、電子機器及び記憶媒体 | |
Hagos et al. | A scalable asynchronous federated learning for privacy-preserving real-time surveillance systems | |
CN110837847A (zh) | 用户分类方法及装置、存储介质、服务器 | |
CN118013130B (zh) | 基于超服务网络的服务推荐方法、***、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |