CN116319714B - 基于模态转换的联邦学习方法及相关设备 - Google Patents
基于模态转换的联邦学习方法及相关设备 Download PDFInfo
- Publication number
- CN116319714B CN116319714B CN202310589332.7A CN202310589332A CN116319714B CN 116319714 B CN116319714 B CN 116319714B CN 202310589332 A CN202310589332 A CN 202310589332A CN 116319714 B CN116319714 B CN 116319714B
- Authority
- CN
- China
- Prior art keywords
- client
- data
- local
- server
- task model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 abstract description 7
- 238000004220 aggregation Methods 0.000 abstract description 7
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供一种基于模态转换的联邦学习方法及相关设备；方法包括：客户端将本地模态的特征数据发送至服务器端；服务器端对各特征数据进行解码，得到目标模态的解码数据，并聚合每个客户端的编码参数得到全局编码器，利用全局编码器将解码数据重建为本地模态的第一重建数据，并下发至客户端，通过交互第一重建数据和特征数据来训练全局编码器，并下发训练好的全局编码器至客户端；客户端将训练好的全局编码器的输出作为下游任务模型的输入，以进行有监督训练，将训练的第一模型参数发送至其他客户端；其他客户端对下游任务模型进行半监督次训练，并将训练的第二模型参数发送至服务器端聚合，得到完成二次训练的下游任务模型。
Description
技术领域
本申请的实施例涉及联邦学习的技术领域，尤其涉及一种基于模态转换的联邦学习方法及相关设备。
背景技术
相关的联邦学习方法存在的主要问题在于：在相关的联邦学习的过程中，需要涉及多个不同客户端不同数据模态的数据，但在对模型的实际训练过程中，不同模态的数据在使用也即异构数据之间难以共享数据内容。
发明内容
有鉴于此，本申请的目的在于提出一种基于模态转换的联邦学习方法及相关设备。
基于上述目的，本申请提供了基于模态转换的联邦学习方法，应用于联邦网络，其中，联邦网络包括服务器端和至少两个客户端；
该包括：
令每个客户端将本地的处于本地模态的特征数据发送至所述服务器端；
令所述服务器端对收到的每个客户端各自的特征数据进行解码，得到目标模态的解码数据；
令所述服务器端聚合每个客户端的编码参数，得到全局编码器，利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，并将第一重建数据下发至每个客户端，令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，并下发训练好的全局编码器至各个客户端；
令每个客户端将训练好的全局编码器的输出作为该客户端内预置的下游任务模型的输入，对该客户端的下游任务模型进行首次训练，将首次训练出的第一模型参数发送至其他客户端；
令每个其他客户端对本地的下游任务模型进行二次训练，并将二次训练出的第二模型参数发送至所述服务器端，并令所述服务器端聚合各个客户端的第二模型参数，得到完成二次训练的下游任务模型。
进一步地，令每个客户端将本地的处于本地模态的特征数据发送至所述服务器端之前，还包括：
令每个客户端将本地的原始数据进行脱敏，得到虚拟数据；
利用每个客户端各自的编码器对所述虚拟数据进行特征表示，得到对应该客户端本地原始数据的特征数据。
进一步地，利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，包括：
令所述服务器端确定出对应每个目标模态各自的解码器；
将所述全局编码器与各个解码器分别进行组合；
利用对应的解码器和所述全局编码器中的编码参数，将对应的解码数据进行数据模态的重建，得到对应本地模态的第一重建数据。
进一步地，令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，包括：
令每个客户端计算各自的第一重建数据与本地的特征数据之间的距离损失，并将所述距离损失发送至所述服务器端；
令所述服务器端聚合各个距离损失，并利用聚合后的距离损失修正所述全局编码器；
令所述服务器端利用修正后的全局编码器对第一重建数据进行更新，并令每个客户端再次计算修正后第一重建参数与本地的特征数据之间的距离损失；
当距离损失修正至预设的损失阈值时，令所述客户端确定该全局编码器训练完成，并下发所述全局编码器至各个客户端。
进一步地，令每个客户端将训练好的全局编码器的输出作为该客户端内预置的下游任务模型的输入，包括：
令所述服务器端根据每个客户端的本地模态，向该客户端下发对应解码器的解码参数；
令每个客户端利用接收到的解码参数对该客户端处于本地模态的特征数据再次解码为目标模态的解码数据；
令该客户端利用完成训练的全局编码器对目标模态的解码数据进行重建，得到本地模态的第二重建数据；
令该客户端将所述第二重建数据和所述解码数据作为所述下游任务模型的输入。
进一步地，对该客户端的下游任务模型进行首次训练，包括：
令客户端利用所述第二重建数据和再次解码得到目标模态的解码数据，对该客户端的任务模型进行有监督训练；
在有监督训练完成后，获取该下游任务模型当前的第一模型参数。
进一步地，令每个其他客户端对本地的下游任务模型进行二次训练，包括：
令每个其他客户端利用接收到的第一模型参数设置该客户端内的下游任务模型；
将该客户端内的第二重建数据和该客户端再次解码得到目标模态的解码数据输入至该客户端下游任务模型中；
令该客户端对下游任务模型进行半监督训练；
在半监督训练完成后，获取该客户端的下游任务模型当前的第二模型参数。
基于同一发明构思，本申请还提供了一种基于模态转换的联邦学习装置，包括：第一模态转换模块、第二模态转换模块、第三模态转换模块、第一任务模型训练模块和第二任务模型训练模块；
其中，第一模态转换模块，被配置为，令每个客户端将本地的处于本地模态的特征数据发送至服务器端；
第二模态转换模块，被配置为令所述服务器端对收到的每个客户端各自的特征数据进行解码，得到目标模态的解码数据；
第三模态转换模块，被配置为令所述服务器端聚合每个客户端的编码参数，得到全局编码器，利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，并将第一重建数据下发至每个客户端，令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，并下发训练好的全局编码器至各个客户端；
第一任务模型训练模块，被配置为，令每个客户端将训练好的全局编码器的输出作为客户端内预置的下游任务模型的输入，对客户端的下游任务模型进行首次训练，将首次训练出的第一模型参数发送至其他客户端；
第二任务模型训练模块，被配置为，令每个其他客户端对本地的下游任务模型进行二次训练，并将二次训练出的第二模型参数发送至所述服务器端，并令所述服务器端聚合各个客户端的第二模型参数，得到完成二次训练的下游任务模型。
基于同一发明构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的基于模态转换的联邦学习方法。
基于同一发明构思，本申请还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述基于模态转换的联邦学习方法。
从上面所述可以看出，本申请提供的基于模态转换的联邦学习方法及相关设备，基于每个客户端对其本地的特征数据，并基于服务器端对各个特征数据的模态的转换，来构建全局编码器，并基于各个客户端与服务器端之间交互的第一重建数据和距离损失，可以实现对全局编码器进行进一步地训练，基于此，通过将全局编码器的输出作为下游任务模型的输入， 可以看出，通过对下游任务模型在每个客户端进行有监督训练，并在其他客户端进行半监督训练，并结合全局编码器来对下游任务模型进行引导，可以实现训练后的下有任务模型在应对不同模态的数据时，具备更好的泛化能力。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的基于模态转换的联邦学习方法的流程图；
图2为本申请实施例的基于模态转换的联邦学习装置结构示意图；
图3为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请的实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现词前面的元件或者物件涵盖出现在词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
如背景技术部分所述，相关的基于模态转换的联邦学习方法还难以满足实际生产中数据交互的需要。
申请人在实现本申请的过程中发现，相关的联邦学习方法存在的主要问题在于：在相关的联邦学习的过程中，需要涉及多个不同客户端不同数据模态的数据，但在对模型的实际训练过程中，不同模态的数据在使用也即异构数据之间难以共享数据内容。
基于此，本申请中的一个或多个实施例提供了基于模态转换的联邦学习方法，基于对不同客户端所持有的不同模态数据进行模态转换，来训练下游任务的任务模型。
以下结合附图详细说明本申请的实施例。
参考图1，本申请一个实施例的基于模态转换的联邦学习方法，具体应用于联邦网络，联邦网络中包括有服务器端和至少两个客户端。
在本实施例中，每个客户端均分别与服务器端进行通信，并传输数据，也就是说，服务器作为联邦网络的中心，与多个客户端共同形成中心化的联邦网络。
其中，每个客户端在其本地均持有各自的原始数据，并且每个客户端的原始数据的数据模态也可以不相同。
在本实施例中，将每个客户端本地的原始数据的数据模态称为本地模态，也就是说，各个客户端之间，本地模态可以不相同。
进一步地，每个客户端均具备一个编码器和一个鉴别器。
其中，编码器用于提取原始数据的特征表示，鉴别器可以用于鉴别输入其中的数据的来源，例如，鉴别数据属于客户端本地的数据，还是服务器端下发的数据。
进一步地，服务器端具备有多个解码器，解码器可以用于对不同本地模态的特征数据进行模态上的转换。
其中，每个解码器对应一类数据模态，可以根据具体需求，设置多个解码器，也就是说，解码器的数量与数据模态的类别数量相同，例如，在实际生产中涉及m个不同的数据模态时，则可以设置m个不同的解码器，并且每类数据模态对应一个解码器。
其中，基于模态转换的联邦学习方法具体包括以下步骤：
步骤S101、令每个客户端将本地的处于本地模态的特征数据发送至所述服务器端。
在本申请的实施例中，每个客户端在对其本地的原始数据进行预处理之后，对其进行特征表示，并将特征表示发送至联邦网络的中心，也即，服务器端。
具体地，由于每个客户端当前本地的原始数据中，会包含涉及个人信息等敏感信息的数据，因此，在进行联邦学习的训练时，需要对原始数据进行脱敏，并使用与原始数据相似但不包含敏感信息的数据。
进一步地，在对原始数据进行脱敏后，将得到的数据作为虚拟数据。
基于此，虚拟数据具有与原始数据相同的数据模态，也即，本地模态。
进一步地，对于得到的虚拟数据，可以将其输入至客户端的编码器中，并利用编码器对虚拟数据进行特征表示，也即，利用编码器对虚拟数据进行编码。
进一步地，将编码器在对虚拟数据进行特征表示之后，可以得到对应客户端本地的虚拟数据的特征数据。
基于此，特征数据具有与原始数据相同的数据模态，也即，客户端的本地模态。
进一步地，每个客户端在得到各自的特征数据之后，可以将其特征数据发送至服务器端。
在具体的示例中，以具备2个客户端和1个服务器端的联邦网络作为一个具体的示例。
其中，2个客户端分别为客户端A和客户端B，客户端A中含有编码器A，并且客户端A所持有的本地数据为a模态，而客户端B含有编码器B，并且客户端B所持有的本地数据为b模态。
进一步地，可以令客户端A将处于a模态的原始数据XA进行脱敏感得到同为a模态的虚拟数据xA，并将虚拟数据xA输入至编码器A中进行特征表示。
进一步地，在进行特征表示之后，编码器A将输出特征数据xa。
进一步地，可以令客户端A将特征数据xa发送至服务器端。
相似地，可以令客户端B将处于b模态的原始数据XB进行脱敏感得到同为b模态的虚拟数据xB，并将虚拟数据xB输入至编码器B中进行特征表示。
进一步地，在进行特征表示之后，编码器B将输出特征数据xb。
进一步地，可以令客户端B将特征数据xb发送至服务器端。
进一步地，可以令服务器端接收各个客户端各自发来的特征数据。
在具体的示例中，服务器端当前可以持有处于a模态的特征数据xa和处于b模态的特征数据xb。
步骤S102、令所述服务器端对收到的每个客户端各自的特征数据进行解码，得到目标模态的解码数据。
在本申请的实施例中，服务器端基于接收到的各个客户端的特征数据，可以在解码后得到解码数据。
具体地，基于前述步骤中服务器端接收到的各个客户端本地模态的特征数据，可以利用对应目标模态的解码器，将每个特征数据解码为预先设置的目标模态，也即，对特征数据进行模态转换。
进一步地，可以将进行模态转换后的数据作为解码数据。
在具体的示例中，以前述步骤中的联邦学习网络为例，服务器端持有a模态的特征数据xa和b模态的特征数据xb。
进一步地，服务器端中含有对应a模态的解码器A，以及，对应b模态的解码器B。
进一步地，可以令服务器端利用解码器B对特征数据xa进行解码，在解码后，也就是说，将解码器B对应的b模态作为目标模态，并将特征数据xa的a模态转换为目标模态b模态，以此得到解码数据。
相似地，可以令服务器端利用解码器A对特征数据xb进行解码，在解码后，也就是说，将解码器A对应的a模态作为目标模态，并将特征数据xb的b模态转换为目标模态a模态，以此得到解码数据。
基于此，服务器端在进行解码后，持有处于a模态的特征数据xa和处于b模态的特征数据xb，以及，处于b模态的解码数据和处于a模态的解码数据/>。
步骤S103、令所述服务器端聚合每个客户端的编码参数，得到全局编码器，利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，并将第一重建数据下发至每个客户端，令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，并下发训练好的全局编码器至各个客户端。
在本申请的实施例中，服务器端可以通过聚合各个客户端在编码时的编码参数，以得到一个覆盖所有客户端编码器的全局编码器，并利用全局编码器将上述的各个解码数据进行数据重建，以得到将目标模态转换回本地模态的第一重建数据。
进一步地，令服务器端将全局编码器和第一重建数据下发至每个对应的客户端，以对全局编码器进行训练。
具体地，首先，可以令各个客户端将其编码器在编码时的编码参数发送至服务器端。
进一步地，在服务器端接收到各个编码器的编码参数之后，可以通过聚合操作，例如，加权等，来对各个编码器的编码参数进行聚合，利用聚合之后得到的全局编码参数来设置全局编码器。
基于此，服务器端可以将得到的全局编码器对每个解码数据分别进行重建，以将每个处于目标模态的解码数据重新重建为原先的本地模态，得到对应各个客户端本地模态的第一重建数据。
进一步地，可以令服务器端将得到的各个第一重建数据下发至与其数据模态对应的客户端，并将全局编码器也下发至各个客户端，以令各个客户端对各自得到的全局编码器分别进行训练。
在具体的示例中，可以令客户端A将编码器A的编码参数A发送至服务器端，并令客户端B将编码器B的编码参数B发送至服务器端。
进一步地，服务器端在接收到编码参数A和编码参数B之后进行聚合，并利用聚合后得到的编码参数AB设置全局编码器S。
进一步地，可以令服务器端利用全局编码器S，将解码数据的b模态的转换为对应的原始的本地模态a模态，得到第一重建数据/>，并将解码数据/>转换为对应的原始的本地模态b模态，得到第一重建数据/>。
进一步地，令服务器端将处于a模态的第一重建数据发送至客户端A，并将处于b模态的第一重建数据/>发送至客户端B。
在本实施例中，各个客户端利用接收到的第一重建数据，可以计算第一重建数据与其客户端本地的特征数据之间的距离损失。
进一步地，可以令每个客户端将各自计算出的距离损失上报至服务器端。
进一步地，在服务器端接收到各个客户端的距离损失之后，可以对全部距离损失进行聚合，并利用聚合后的距离损失对全局编码器的编码参数进行修正。
进一步地，令服务器端利用修正后的全局编码器再次对其多个解码数据分别进行数据模态的重建，并得到修正后的第一重建参数。
进一步地，将修正后的第一重建参数下发至对应的客户端，并令客户端再次计算各自的距离损失，并将再次计算出的距离损失上报至服务器端。
进一步地，在服务器端对再次计算出的距离损失进行聚合后，确定前的距离损失达到预设的损失阈值时，可以认为全局编码器训练完成。
进一步地，服务器端可以将训练完成后的全局编码器下发至各个客户端。
可以看出，各个客户端可以接收到相同的全局编码器，也就是说，由于全局编码器在训练时，使用了对应各个客户端各自的第一重建数据和距离损失，因此，全局编码器具备对各个客户端的泛化性能，可以适用于各个客户端。
步骤S104、令每个客户端将训练好的全局编码器的输出作为客户端内预置的下游任务模型的输入，对客户端的下游任务模型进行首次训练，将首次训练出的第一模型参数发送至其他客户端。
在本申请的实施例中，每个客户端基于接收到的训练好的全局编码器，可以利用全局编码器对下游任务模型进行首次训练；其中，下游任务可以是例如分类等任务，首次训练可以是有监督训练。
具体地，可以令服务器端将对应各个客户端本地模态的解码器发送至对各个对应的客户端，并具体可以向各个客户端下发对应解码器的解码参数。
进一步地，令各个客户端利用得到的解码参数来构建各自的本地解码器。
进一步地，令各个客户端利用各自的本地解码器对其本地的特征数据进行解码，也即，模态转换。
可以确定，各个客户端本地的特征数据为本地模态，如前述步骤所述，在进行模态转换后，可以在客户端本地得到处于目标模态的解码数据。
进一步地，令各个客户端利用其本地的全局编码器对上述目标模态的解码数据在客户端本地进行重建，也即，将目标模态的解码数据转换为本地模态的第一重建数据。
进一步地，对于每个客户端，将其在本地转换得到的第一重建数据和解码数据均作为客户端的下游任务模型的输入。
需要说明的是，客户端本地的原始数据和虚拟数据均具备标签，也就是说，上述转换得到的第一重建数据和解码数据也均具备相同的标签。
基于此，可以令客户端利用第一重建数据和解码数据对其下游任务模型进行有监督训练，也即，对其下游任务模型进行首次训练。
进一步地，在各个客户端对其本地的下游任务模型的有监督训练完成后，可以令各个客户端确定出其下游任务模型当前的第一模型参数，并将客户端本地的第一模型参数发送至服务器端。
进一步地，服务器端在接收到各个客户端的第一模型参数之后，可以将客户端的第一模型参数发送至其他客户端。
在一些其他实施例中， 服务器端也可以在接收到到各个客户端的第一模型参数之后，对全部的第一模型参数进行聚合，并将聚合后的第一模型参数发送至其他客户端。
步骤S105、令每个其他客户端对本地的下游任务模型进行二次训练，并将二次训练出的第二模型参数发送至所述服务器端，并令所述服务器端聚合各个客户端的第二模型参数，得到完成二次训练的下游任务模型。
在本申请的实施例中，对于联邦网络中的每个客户端，可以令其利用从服务器端接收到的其他客户端的第一模型参数，并令客户端利用其他客户端的第一模型参数设置客户端本地的下游任务模型，以对下游任务模型进行半监督训练，也即，二次训练，并在半监督训练完成后，将客户端本地的下游任务模型的第二模型参数。
在一些其他实施例中，也可以将前述步骤中聚合后的第一模型参数下发至各个客户端，并令各个客户端利用聚合后的第一模型参数来对其本地的下游任务模型进行训练。
具体地，由于前述步骤中得到的第一模型参数是利用具备泛化性能的全局解码器训练得到，因此，每个客户端在利用其他客户端的第一模型参数所构建出的本地下游任务模型也对客户端具备泛化能力。
基于此，每个客户端可以利用从服务器端接收的第一模型参数来设置其本地的下游任务模型，并利用客户端本地的虚拟数据或者特征数据对其本地的下游任务模型进行半监督训练。
在一些实施例中，当下游任务是分类任务时，则可以利用客户端本地的下游任务模型为其本地的虚拟数据或者特征数据生成带有噪声的伪标签，并使用带有噪声的伪标签对本地的下游任务模型进行半监督训练。
进一步地，在半监督训练完成后，客户端可以确定出其本地的下游任务模型当前的第二模型参数，并将第二模型参数上报至服务器端。
基于此，服务器端可以接收到各个客户端的第二模型参数，并对全部第二模型参数进行聚合，其中，聚合操作可以是例如加权等操作。
进一步地，服务器端中还设置有域分别器，域分别器可以对下游任务模型的输出数据和中间特征数据等进行鉴别，以确定数据的模态。
具体地，当域分别器不能成功鉴别出输出数据和中间特征数据的数据模态，则认为下游任务模型在训练中学习到各类模态间不变的特征，也即，摒弃了各类模态的固有特征，进而可以认为，下游任务模型具备更好的泛化性能。
可见，本申请的实施例的基于模态转换的联邦学习方法，基于每个客户端对其本地的特征数据，并基于服务器端对各个特征数据的模态的转换，来构建全局编码器，并基于各个客户端与服务器端之间交互的第一重建数据和距离损失，可以实现对全局编码器进行进一步地训练，基于此，通过将全局编码器的输出作为下游任务模型的输入， 可以看出，通过对下游任务模型在每个客户端进行有监督训练，并在其他客户端进行半监督训练，并结合全局编码器来对下游任务模型进行引导，可以实现训练后的下有任务模型在应对不同模态的数据时，具备更好的泛化能力。
需要说明的是，本申请的实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请的实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种基于模态转换的联邦学习装置。
参考图2，所述基于模态转换的联邦学习装置，包括：第一模态转换模块201、第二模态转换模块202、第三模态转换模块203、第一任务模型训练模块204和第二任务模型训练模块205；
其中，第一模态转换模块201，被配置为，令每个客户端将本地的处于本地模态的特征数据发送至服务器端；
第二模态转换模块202，被配置为令所述服务器端对收到的每个客户端各自的特征数据进行解码，得到目标模态的解码数据；
第三模态转换模块203，被配置为令所述服务器端聚合每个客户端的编码参数，得到全局编码器，利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，并将第一重建数据下发至每个客户端，令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，并下发训练好的全局编码器至各个客户端；
第一任务模型训练模块204，被配置为，令每个客户端将训练好的全局编码器的输出作为客户端内预置的下游任务模型的输入，对客户端的下游任务模型进行首次训练，将首次训练出的第一模型参数发送至其他客户端；
第二任务模型训练模块205，被配置为，令每个其他客户端对本地的下游任务模型进行二次训练，并将二次训练出的第二模型参数发送至所述服务器端，并令所述服务器端聚合各个客户端的第二模型参数，得到完成二次训练的下游任务模型。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请的实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于模态转换的联邦学习方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的基于模态转换的联邦学习方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备、动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本申请实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的装置用于实现前述任一实施例中相应的基于模态转换的联邦学习方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于模态转换的联邦学习方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于模态转换的联邦学习方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围（包括权利要求）被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请的实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请的实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请的实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请的实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本申请的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请的实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于模态转换的联邦学习方法，其特征在于，应用于联邦网络，所述联邦网络包括服务器端和至少两个客户端；
所述方法包括：
令每个客户端将本地的处于本地模态的特征数据发送至所述服务器端；
令所述服务器端对收到的每个客户端各自的特征数据进行解码，得到目标模态的解码数据；
令所述服务器端聚合每个客户端的编码参数，得到全局编码器，利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，并将第一重建数据下发至每个客户端，令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，并下发训练好的全局编码器至各个客户端；
令每个客户端将训练好的全局编码器的输出作为客户端内预置的下游任务模型的输入，对客户端的下游任务模型进行首次训练，将首次训练出的第一模型参数发送至其他客户端；
令每个其他客户端对本地的下游任务模型进行二次训练，并将二次训练出的第二模型参数发送至所述服务器端，并令所述服务器端聚合各个客户端的第二模型参数，得到完成二次训练的下游任务模型。
2.根据权利要求1所述的方法，其特征在于，所述令每个客户端将本地的处于本地模态的特征数据发送至所述服务器端之前，还包括：
令每个客户端将本地的原始数据进行脱敏，得到虚拟数据；
利用每个客户端各自的编码器对所述虚拟数据进行特征表示，得到对应客户端本地原始数据的特征数据。
3.根据权利要求1所述的方法，其特征在于，所述利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，包括：
令所述服务器端确定出对应每个目标模态各自的解码器；
将所述全局编码器与各个解码器分别进行组合；
利用对应的解码器和所述全局编码器中的编码参数，将对应的解码数据进行数据模态的重建，得到对应本地模态的第一重建数据。
4.根据权利要求1所述的方法，其特征在于，所述令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，包括：
令每个客户端计算各自的第一重建数据与本地的特征数据之间的距离损失，并将所述距离损失发送至所述服务器端；
令所述服务器端聚合各个距离损失，并利用聚合后的距离损失修正所述全局编码器；
令所述服务器端利用修正后的全局编码器对第一重建数据进行更新，并令每个客户端再次计算修正后第一重建参数与本地的特征数据之间的距离损失；
当距离损失修正至预设的损失阈值时，令所述客户端确定全局编码器训练完成，并下发所述全局编码器至各个客户端。
5.根据权利要求3所述的方法，其特征在于，所述令每个客户端将训练好的全局编码器的输出作为客户端内预置的下游任务模型的输入，包括：
令所述服务器端根据每个客户端的本地模态，向客户端下发对应解码器的解码参数；
令每个客户端利用接收到的解码参数对客户端处于本地模态的特征数据再次解码为目标模态的解码数据；
令客户端利用完成训练的全局编码器对目标模态的解码数据进行重建，得到本地模态的第二重建数据；
令客户端将所述第二重建数据和所述解码数据作为所述下游任务模型的输入。
6.根据权利要求5所述的方法，其特征在于，所述对客户端的下游任务模型进行首次训练，包括：
令客户端利用所述第二重建数据和再次解码得到目标模态的解码数据，对客户端的任务模型进行有监督训练；
在有监督训练完成后，获取下游任务模型当前的第一模型参数。
7.根据权利要求1所述的方法，其特征在于，所述令每个其他客户端对本地的下游任务模型进行二次训练，包括：
令每个其他客户端利用接收到的第一模型参数设置客户端内的下游任务模型；
将客户端内的第二重建数据和客户端再次解码得到目标模态的解码数据输入至客户端下游任务模型中；
令客户端对下游任务模型进行半监督训练；
在半监督训练完成后，获取客户端的下游任务模型当前的第二模型参数。
8.一种基于模态转换的联邦学习装置，其特征在于，包括：第一模态转换模块、第二模态转换模块、第三模态转换模块、第一任务模型训练模块和第二任务模型训练模块；
其中，第一模态转换模块，被配置为，令每个客户端将本地的处于本地模态的特征数据发送至服务器端；
第二模态转换模块，被配置为令所述服务器端对收到的每个客户端各自的特征数据进行解码，得到目标模态的解码数据；
第三模态转换模块，被配置为令所述服务器端聚合每个客户端的编码参数，得到全局编码器，利用所述全局编码器将所述解码数据重建为本地模态的第一重建数据，并将第一重建数据下发至每个客户端，令所述服务器端通过与每个客户端交互第一重建数据和对应的特征数据来训练全局编码器，并下发训练好的全局编码器至各个客户端；
第一任务模型训练模块，被配置为，令每个客户端将训练好的全局编码器的输出作为客户端内预置的下游任务模型的输入，对客户端的下游任务模型进行首次训练，将首次训练出的第一模型参数发送至其他客户端；
第二任务模型训练模块，被配置为，令每个其他客户端对本地的下游任务模型进行二次训练，并将二次训练出的第二模型参数发送至所述服务器端，并令所述服务器端聚合各个客户端的第二模型参数，得到完成二次训练的下游任务模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310589332.7A CN116319714B (zh) | 2023-05-24 | 2023-05-24 | 基于模态转换的联邦学习方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310589332.7A CN116319714B (zh) | 2023-05-24 | 2023-05-24 | 基于模态转换的联邦学习方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116319714A CN116319714A (zh) | 2023-06-23 |
| CN116319714B true CN116319714B (zh) | 2023-07-21 |
Family
ID=86834486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310589332.7A Active CN116319714B (zh) | 2023-05-24 | 2023-05-24 | 基于模态转换的联邦学习方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116319714B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021004551A1 (zh) * | 2019-09-26 | 2021-01-14 | 深圳前海微众银行股份有限公司 | 纵向联邦学习***优化方法、装置、设备及可读存储介质 |
| CN115408377A (zh) * | 2022-08-29 | 2022-11-29 | 北京智源人工智能研究院 | 一种基于联邦学习构建医学影像大模型的方法和装置 |
| CN115631121A (zh) * | 2022-10-31 | 2023-01-20 | 电子科技大学 | 一种基于自监督学习的全景图像显著性预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210073639A1 (en) * | 2018-12-04 | 2021-03-11 | Google Llc | Federated Learning with Adaptive Optimization |
| US11443240B2 (en) * | 2019-09-06 | 2022-09-13 | Oracle International Corporation | Privacy preserving collaborative learning with domain adaptation |
-
2023
- 2023-05-24 CN CN202310589332.7A patent/CN116319714B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021004551A1 (zh) * | 2019-09-26 | 2021-01-14 | 深圳前海微众银行股份有限公司 | 纵向联邦学习***优化方法、装置、设备及可读存储介质 |
| CN115408377A (zh) * | 2022-08-29 | 2022-11-29 | 北京智源人工智能研究院 | 一种基于联邦学习构建医学影像大模型的方法和装置 |
| CN115631121A (zh) * | 2022-10-31 | 2023-01-20 | 电子科技大学 | 一种基于自监督学习的全景图像显著性预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116319714A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI610295B (zh) | 解壓縮及壓縮用於語音辨識之轉換器資料的電腦實施方法及電腦實施之語音辨識系統 | |
| RU2016105691A (ru) | Устройство и способ для эффективного кодирования метаданных объектов | |
| CN114448563B (zh) | 语义编码传输方法及电子设备 | |
| KR20140130196A (ko) | 블록 압축 이미지들의 압축 해제를 위한 시스템, 방법, 및 컴퓨터 프로그램 제품 | |
| US20200410285A1 (en) | Anomaly Augmented Generative Adversarial Network | |
| US20200204832A1 (en) | Massive picture processing method, device, electronic apparatus and storage medium | |
| CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
| US10608664B2 (en) | Electronic apparatus for compression and decompression of data and compression method thereof | |
| CN111641826A (zh) | 对数据进行编码、解码的方法、装置与*** | |
| CN115426075A (zh) | 语义通信的编码传输方法及相关设备 | |
| US10997966B2 (en) | Voice recognition method, device and computer storage medium | |
| CN115631275A (zh) | 多模态驱动的人体动作序列生成方法及装置 | |
| US20240169988A1 (en) | Method and device of generating acoustic features, speech model training, and speech recognition | |
| US20230360272A1 (en) | Multi-plane image compression | |
| CN116319714B (zh) | 基于模态转换的联邦学习方法及相关设备 | |
| WO2023134433A1 (zh) | 一种字体生成方法、装置及设备 | |
| CN115496285B (zh) | 一种电力负荷的预测方法、装置及电子设备 | |
| CN109474826B (zh) | 图片压缩方法、装置、电子设备及存储介质 | |
| CN111079854A (zh) | 信息识别方法、设备及存储介质 | |
| CN111797665A (zh) | 用于转换视频的方法和装置 | |
| CN114564606A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN114359490A (zh) | 基于多模态融合的电磁地图构建方法及相关装置 | |
| CN113850716A (zh) | 模型训练方法、图像处理方法、装置、电子设备及介质 | |
| CN114445510A (zh) | 一种图像优化方法、装置、电子设备和存储介质 | |
| CN113989103B (zh) | 模型训练方法、图像处理方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |