CN111126618B - 一种基于多源异构***的联邦学习方法及装置 - Google Patents
一种基于多源异构***的联邦学习方法及装置 Download PDFInfo
- Publication number
- CN111126618B CN111126618B CN201911236454.8A CN201911236454A CN111126618B CN 111126618 B CN111126618 B CN 111126618B CN 201911236454 A CN201911236454 A CN 201911236454A CN 111126618 B CN111126618 B CN 111126618B
- Authority
- CN
- China
- Prior art keywords
- model
- node
- isomorphic
- nodes
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Mobile Radio Communication Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多源异构***的联邦学习方法及装置，多源异构***包括第一***和第二***，第一***和第二***为异构关系，第一***的多个同构节点和第二***的多个同构节点针对同一对象分别进行不同维度的数据采集；其中，方法包括：获取通过第一***的各同构节点的本地模型进行联邦学习得到的第一***子模型的模型参数，获取通过第二***的各同构节点的本地模型进行联邦学习得到的第二***子模型的模型参数，通过第一***子模型的模型参数和第二***子模型的模型参数进行联邦学习得到多源异构***的联邦模型。该技术方案用以降低多源异构网络在进行联邦学习时处理复杂度且提高整体模型的学习效率。
Description
技术领域
本发明实施例涉及金融科技(Fintech)领域，尤其涉及一种基于多源异构***的联邦学习方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，机器学习技术也不例外，但由于金融、支付行业的安全性、实时性要求，也对机器学习技术提出的更高的要求。
联邦学习是指通过联合不同的参与方进行机器学习的方法。当联邦学习网络是多源异构网络时，由于各网络节点性能不同，存在联邦学习过程处理复杂且效率低的问题。比如，卫星和手机组成多源异构网络进行联邦学习，卫星作为模型参与方传输的数据是与卫星对应的数据，手机作为模型参与方传输的是与手机对应的数据，二者所传输的数据格式不同，卫星与手机进行数据交互时需要先进行格式转换，且卫星的处理能力与手机的处理能力之间存在很大的区别，二者在各自本地训练模型的模型效果不同且训练模型的速率也不同。基于不同类型的网络节点作为参与方进行联邦学习，学习过程中涉及格式转换、处理能力不同等问题，导致多源异构网络在进行联邦学习时处理复杂且效率低。
发明内容
本发明实施例提供一种基于多源异构***的联邦学习方法及装置，用以降低多源异构网络在进行联邦学习时的处理复杂度且提高整体模型的学习效率。
本发明实施例提供的一种基于多源异构***的联邦学习方法，所述多源异构***包括具有多个同构节点的第一***和具有多个同构节点的第二***；所述第一***和所述第二***为异构关系；所述第一***的多个同构节点和所述第二***的多个同构节点针对同一对象分别进行不同维度的数据采集；
所述方法包括：
获取通过所述第一***的各同构节点的本地模型进行联邦学习得到的第一***子模型的模型参数，所述第一***的各同构节点的本地模型是所述第一***的各同构节点根据自身的采集数据进行训练得到的；
获取通过所述第二***的各同构节点的本地模型进行联邦学习得到的第二***子模型的模型参数；所述第二***的各同构节点的本地模型是所述第二***的各同构节点根据自身的采集数据进行训练得到的；
通过所述第一***子模型的模型参数和所述第二***子模型的模型参数进行联邦学习得到所述多源异构***的联邦模型。
上述技术方案中，在多源异构***的联邦学习过程中，将相同类型的同构节点组成第一***，以及将另一个相同类型的同构节点组成第二***，第一***内部进行联邦学习得到第一***的子模型，第二***内部进行联邦学习得到第二***的子模型，针对每个***内部，由于***内部的网络节点是相同类型的同构节点，所以不存在网络节点之间性能不同的问题，相当于不会进行格式转换或者存在不同网络节点的本地训练模型的模型效果或者训练速率差异过大的问题。进一步的，将第一***和第二***作为网络节点进行联邦学习，可以极大减少不同类型的网络节点之间的数据交互，避免***中出现由于节点类型不同导致的大量数据处理，降低多源异构网络在进行联邦学习时处理复杂度且提高整体模型的学习效率。此外，第一***和第二***作为网络节点进行联邦学习时，二者之间传输的是模型参数，相比于训练数据，二者之间传输的数据量小，进一步减少***的数据处理复杂程度。
可选的，所述方法还包括：
按照节点类型对多个网络节点进行划分；所述多个网络节点的节点类型包括第一类型和第二类型；
将节点类型属于所述第一类型的网络节点确定为所述第一***中的同构节点；
将节点类型属于所述第二类型的网络节点确定为所述第二***中的同构节点；
其中，网络节点的节点类型根据所述网络节点的性能确定，所述网络节点的性能至少包括以下之一或组合：处理能力、存储能力、数据传输格式。
上述技术方案中，在进行联邦学习时，可以先根据构成联邦学习的各节点的性能将各节点划分至第一***和第二***，从而实现第一***中的节点为同构节点，第二***中的节点为也同构节点，而第一***和第二***为异构关系。可选的，所述多源异构***是基于容迟网络建立的；
所述方法还包括：
通过所述第一***的第一容迟网络的通信链路向所述第一***发送第一模型参数更新，若发送失败，则将所述第一模型参数更新缓存至所述第一容迟网络的缓存层；在检测到所述第一容迟网络的通信链路连通后，将所述第一容迟网络的缓存层中的所述第一模型更新参数发送至所述第一***；和/或
通过所述第二***的第二容迟网络的通信链路向所述第二***发送第二模型参数更新，若发送失败，则将所述第二模型参数更新缓存至所述第二容迟网络的缓存层；在检测到所述第二容迟网络的通信链路连通后，将所述第二容迟网络的缓存层中的所述第二模型更新参数发送至所述第二***。
上述技术方案中，多源异构***是基于容迟网络建立的，有效缓存由于网络间断导致传输失败的数据包，保障数据的完整传输。
可选的，所述方法还包括：
获取所述第一***中的多个同构节点针对同一对象的第一采集数据；
获取所述第二***中的多个同构节点针对所述同一对象的第二采集数据；
将所述同一对象的第一采集数据和第二采集数据输入所述联邦模型，得到所述同一对象的预测值。
上述技术方案中，第一采集数据是第一***的多个同构节点采集的，第二采集数据是第二***的多个同构节点采集的，第一***和第二***又是异构关系，所以二者采集的该同一个对象的第一采集数据和第二采集数据是不同维度的，将该第一采集数据和第二采集数据一起输入至联邦模型进行预测，可以提高模型对该对象的预测准确率。
可选的，所述第一***的多个同构节点为卫星***中的多个卫星节点；所述第二***包括至少一种地面***中的多个地面节点；所述至少一种地面***中各地面***之间为异构关系。
上述技术方案中，多源异构***包括卫星***和地面***，卫星***可以采集同一对象的大范围数据，而地面***可以采集该同一对象的小范围数据，将二者结合可以确定该同一对象的较为全面数据，从而获取到的模型可以进一步提高对该对象的预测准确率。
可选的，所述地面***为物联网***或手机***或无人机***。
上述技术方案中，地面***为物联网***或手机***或无人机***，不同地面***采集的同一对象的数据维度不同，进一步提高对同一对象的采集数据的全面性，从而获取到的模型可以进一步提高对该对象的预测准确率。
相应的，本发明实施例还提供了一种基于多源异构***的联邦学习装置，所述多源异构***包括具有多个同构节点的第一***和具有多个同构节点的第二***；所述第一***和所述第二***为异构关系；所述第一***的多个同构节点和所述第二***的多个同构节点针对同一对象分别进行不同维度的数据采集；
所述装置包括：
获取单元，用于获取通过所述第一***的各同构节点的本地模型进行联邦学习得到的第一***子模型的模型参数，所述第一***的各同构节点的本地模型是所述第一***的各同构节点根据自身的采集数据进行训练得到的；
所述获取单元，还用于获取通过所述第二***的各同构节点的本地模型进行联邦学习得到的第二***子模型的模型参数；所述第二***的各同构节点的本地模型是所述第二***的各同构节点根据自身的采集数据进行训练得到的；
处理单元，用于通过所述第一***子模型的模型参数和所述第二***子模型的模型参数进行联邦学习得到所述多源异构***的联邦模型。
可选的，所述处理单元还用于：
按照节点类型对多个网络节点进行划分；所述多个网络节点的节点类型包括第一类型和第二类型；
将节点类型属于所述第一类型的网络节点确定为所述第一***中的同构节点；
将节点类型属于所述第二类型的网络节点确定为所述第二***中的同构节点；
其中，网络节点的节点类型根据所述网络节点的性能确定，所述网络节点的性能至少包括以下之一或组合：处理能力、存储能力、数据传输格式。
可选的，所述多源异构***是基于容迟网络建立的；
所述处理单元还用于：
通过所述第一***的第一容迟网络的通信链路向所述第一***发送第一模型参数更新，若发送失败，则将所述第一模型参数更新缓存至所述第一容迟网络的缓存层；在检测到所述第一容迟网络的通信链路连通后，将所述第一容迟网络的缓存层中的所述第一模型更新参数发送至所述第一***；和/或
通过所述第二***的第二容迟网络的通信链路向所述第二***发送第二模型参数更新，若发送失败，则将所述第二模型参数更新缓存至所述第二容迟网络的缓存层；在检测到所述第二容迟网络的通信链路连通后，将所述第二容迟网络的缓存层中的所述第二模型更新参数发送至所述第二***。
可选的，所述获取单元还用于：
获取所述第一***中的多个同构节点针对同一对象的第一采集数据；
获取所述第二***中的多个同构节点针对所述同一对象的第二采集数据；
所述处理单元还用于：
将所述同一对象的第一采集数据和第二采集数据输入所述联邦模型，得到所述同一对象的预测值。
可选的，所述第一***的多个同构节点为卫星***中的多个卫星节点；所述第二***包括至少一种地面***中的多个地面节点；所述至少一种地面***中各地面***之间为异构关系。
可选的，所述地面***为物联网***或手机***或无人机***。
相应的，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于多源异构***的联邦学习方法。
相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于多源异构***的联邦学习方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种***架构的示意图；
图2为本发明实施例提供的另一种***架构的示意图；
图3为本发明实施例提供的一种联邦学习方法的流程示意图；
图4为本发明实施例提供的一种联邦学习装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供基于多源异构***的联邦学习方法所适用的***架构，该***架构可以为多源异构***，该多源异构***中包括具有多个同构节点的第一***和具有多个同构节点的第二***，其中，第一***和第二***为异构关系，第一***的多个同构节点和第二***的多个同构节点针对同一对象分别进行不同维度的数据采集。
其中，异构可以理解成数据传输格式不同，同构可以理解成数据传输格式相同，如第一***和第二***的数据传输格式不同，所以二者为异构关系，第一***中多个节点的数据传输格式相同，所以第一***中的多个节点为同构关系，同理第二***中的多个同构关系的节点。
图1示例性的示出了一种多源异构***，其中，该多源异构***包括第一***和第二***，其中，第一***可以为卫星***，该卫星***由多个卫星节点组成；第二***可以包括至少一种地面***，地面***可以为物联网***或手机***或无人机***或其它，具体的，物联网***由多个物联网节点组成，手机***由多个手机节点组成，无人机***由多个无人机节点组成。至少一种地面***中各地面***之间为异构关系。
各网络节点分别在自己所在的***中进行联邦学习，确定联邦学习子模型。以卫星***为例，卫星节点之间进行联邦学习，从而确定出卫星子模型。进一步的，卫星***和物联网***、手机***、无人机***联合起来进行联邦学习，确定多源异构***的联邦模型。
进一步的，卫星节点之间、卫星节点和地面节点之间通信可以采用容迟网络，容迟网络增加了缓存层(Bundle层)，有效缓存由于网络间断导致传输失败的数据包，在链路接通后继续传输。
本发明实施例中，还提供另一种多源异构***，可以如图2所示，该多源异构***又可以叫做时空联邦学习***(Spacial-Temporal Federated Learning，STFL)。各***中的网络节点本地进行建模计算，并将生成的模型参数发送至所在***的协调者，从而建立该***对应的子模型，进而各***将训练好的子模型的模型参数发送至整个联邦学习***的协调者，从而再进行***之间的联邦模型训练。不同类型的网络节点的处理能力、存储能力、数据传输格式等性能差异较大，因此，相同类型节点组成子联邦网络(Sub-FederatedNetworks)，利用横向联邦学习完成子模型构建，子模型的输出经过加密后参与最顶层的联邦学习，通过该方式可以减少子***之间的数据交互，避免各子***之间频繁的数据传输和转化，实现多源异构***的联邦模型的快速有效建立。
基于上述描述，图3示例性的示出了本发明实施例提供的一种基于多源异构***的联邦学习方法的流程，该流程可以由基于多源异构***的联邦学习装置执行。
如图3所示，该流程具体包括：
步骤301，获取通过第一***的各同构节点的本地模型进行联邦学习得到的第一***子模型的模型参数。
其中，第一***的各同构节点的本地模型是第一***的各同构节点根据自身的采集数据进行训练得到的。各同构节点的本地模型进行联邦学习得到的第一***子模型。
可选的，第一***的多个同构节点为卫星***中的多个卫星节点，各卫星节点根据采集到的数据进行本地训练，相当于各卫星节点进行在轨计算，从而解决卫星之间数据传输的时效问题。各卫星节点训练本地模型，再联合起来进行模型训练，可以有效克服每个卫星获取数据有限性(同一时刻观测视角与窗口受限)。卫星之间建立联邦学习模型过程中，不传输卫星数据，只传输本地模型训练后的加密参数，既减少了数据传输量，又保证了卫星之间的数据共享。
各卫星节点可以采集相同维度的数据，也可以采集不同维度的数据。一种实现方式中，各卫星节点采集同一观测区域的不同维度的数据，以提高观测区域信息的丰富度，以某一区域农作物估产场景为例，首先通过低分辨率卫星得到大范围农作物观测，计算总体面积与宏观长势；然后通过高分辨率卫星对上述区域农作物的某个局部观测长势、水肥、灾害进行具体计算。在有云的情况下通过协同SAR卫星获取雷达波段的影像图片进行局部预估。每一类卫星利用各自获取的信息本地建模，再利用星际网络协同本地处理的结果(模型参数)建立卫星子模型。
在卫星***建立卫星子模型(第一***子模型)时，可以设置汇聚节点，该汇聚节点用于根据汇聚结果建立卫星子模型，该汇聚节点可以是卫星***中的一个卫星节点，也可以是地面接收站。
步骤302，获取通过第二***的各同构节点的本地模型进行联邦学习得到的第二***子模型的模型参数。
其中，第二***的各同构节点的本地模型是第二***的各同构节点根据自身的采集数据进行训练得到的。
地面***可以是物联网***或手机***或无人机***，举例来说，当地面***是物联网***时，可以获取温度湿度信息并建立物联网子模型；当地面***是手机***时，可以获取手机拍照的病虫害图片并建立手机子模型；当地面***是无人机***时，可以获取无人机拍照的农作物生长图片并建立无人机子模型。
步骤303，通过第一***子模型的模型参数和第二***子模型的模型参数进行联邦学习得到多源异构***的联邦模型。
通过第一***子模型的模型参数和第二***子模型的模型参数，进行***之间的联邦学习，确定多源异构***的联邦模型。
本发明实施例中，汇聚节点可以是地面接收站，不仅可以接收卫星***确定的卫星子模型的模型参数，还可以接收物联网***确定的物联网子模型的模型参数、手机***确定的手机***子模型的模型参数、无人机***确定的无人机***子模型的模型参数，进而根据各***发送的模型参数，进行多源异构***的联邦模型训练。
此外，可以基于容迟网络建立该多源异构***，可以是各***之间建立，也可以是***内部建立。具体模型训练中，通过第一***的第一容迟网络的通信链路向第一***发送第一模型参数更新，若发送失败，则将第一模型参数更新缓存至第一容迟网络的缓存层；在检测到第一容迟网络的通信链路连通后，将第一容迟网络的缓存层中的第一模型更新参数发送至第一***；和/或通过第二***的第二容迟网络的通信链路向第二***发送第二模型参数更新，若发送失败，则将第二模型参数更新缓存至第二容迟网络的缓存层；在检测到第二容迟网络的通信链路连通后，将第二容迟网络的缓存层中的第二模型更新参数发送至第二***。
一种实现方式中，第一***可以是卫星***，由于卫星网络连接的不稳定，可以将有关卫星数据传输的链路基于容迟网络进行建立，如卫星与卫星之间建立容迟网络，卫星与地面接收机之间建立容迟网络等。具体模型训练中，可以通过容迟网络的通信链路向卫星***发送模型参数更新，若发送失败，则将模型参数更新缓存至容迟网络的缓存层，并在检测到该通信链路连通后，将缓存层中的模型更新参数发送至卫星***。
在联邦模型训练完成后，可以根据该训练完成的联邦模型进行预测，具体的，获取第一***中的多个同构节点针对同一对象的第一采集数据，获取第二***中的多个同构节点针对同一对象的第二采集数据，将同一对象的第一采集数据和第二采集数据输入联邦模型，得到同一对象的预测值。
本发明实施例中，第一***中的多个同构节点和第二***的多个同构节点可以是预先划分好的，可以是工作人员根据***中的多个网络节点中各网络节点的性能人工划分的，也可是***根据多个网络节点中各网络节点的性能自动划分的。在***自动划分时，可以是依据各网络节点的性能确定各网络节点的类型，其中，网络节点的性能可以至少包括以下之一或组合：处理能力、存储能力、数据传输格式，可以将多个网络节点的类型确定为第一类型和第二类型，也就是说，多个网络节点的类型中包括第一类型和第二类型，进而可以按照节点类型将该多个网络节点进行划分，并将节点类型属于第一类型的网络节点确定为第一***的同构节点，将节点类型属于第二类型的网络节点确定为第二***的同构节点。
为了更好的解释本发明实施例，下面将在具体的例子中描述该基于多源异构***的联邦学习流程。
例子一：
利用STFL与时空数据分析乡村经济发展指数是一个非常典型且有社会价值的案例。首先，乡村道路的通达度是反应其经济发展的重要指标之一。通过高分系列遥感卫星组网，构建卫星联邦学习网络。遥感影像在各个卫星节点内部建模道路提取子模型。各个子模型位于不同高分卫星，其通过容迟网络交互加密参数，从而协同各个子模型。其次，社交多样性也是反应地区经济活跃度的重要指标。各个农户的手机通过电信网络构建联邦学习。各个手机节点构建本地模型，手机节点间通过电信网络交换模型参数，从而得到该地区社交多样性结果。物联网节点收集农作物信息，并在本地构建估产模型。物联网节点间通过近场无线电构建联邦学习，各个节点交互加密参数协同模型训练。这些不同类型节点构建的子模型最后再通过联邦学习交换训练参数，从而构建完成乡村经济发展指数模型。可以看到，基于STFL构建模型，即能保证异构数据挖掘的性能，还可以保护数据隐私安全。
例子二：联邦学习可以解决相同卫星观测不同铆钉点的信息差异的问题。例如分析不同地貌对大气污染的容忍度。通过同一时段捕获的不同地貌的数据，每个卫星建立本地模型分析当前地貌和大气污染的相关性，然后通过汇聚节点得到总体信息构建地貌与大气污染的相关性模型。并再结合地面的物联网***与手机***，可以进一步构建大气污染源分析模型。
上述实施例中，在多源异构***的联邦学习过程中，将相同类型的同构节点组成第一***，以及将另一个相同类型的同构节点组成第二***，第一***内部进行联邦学习得到第一***的子模型，第二***内部进行联邦学习得到第二***的子模型，针对每个***内部，由于***内部的网络节点是相同类型的同构节点，所以不存在网络节点之间性能不同的问题，相当于不会进行格式转换或者存在不同网络节点的本地训练模型的模型效果或者训练速率差异过大的问题。进一步的，将第一***和第二***作为网络节点进行联邦学习，可以极大减少不同类型的网络节点之间的数据交互，避免***中出现由于节点类型不同导致的大量数据处理，降低多源异构网络在进行联邦学习时处理复杂度且提高整体模型的学习效率。此外，第一***和第二***作为网络节点进行联邦学习时，二者之间传输的是模型参数，相比于训练数据，二者之间传输的数据量小，进一步减少***的数据处理复杂程度。
基于同一发明构思，图4示例性的示出了本发明实施例提供的一种基于多源异构***的联邦学习装置的结构，所述多源异构***包括具有多个同构节点的第一***和具有多个同构节点的第二***；所述第一***和所述第二***为异构关系；所述第一***的多个同构节点和所述第二***的多个同构节点针对同一对象分别进行不同维度的数据采集；所述装置可以执行基于多源异构***的联邦学习方法的流程。
所述装置包括：
获取单元401，用于获取通过所述第一***的各同构节点的本地模型进行联邦学习得到的第一***子模型的模型参数，所述第一***的各同构节点的本地模型是所述第一***的各同构节点根据自身的采集数据进行训练得到的；
所述获取单元401，还用于获取通过所述第二***的各同构节点的本地模型进行联邦学习得到的第二***子模型的模型参数；所述第二***的各同构节点的本地模型是所述第二***的各同构节点根据自身的采集数据进行训练得到的；
处理单元402，用于通过所述第一***子模型的模型参数和所述第二***子模型的模型参数进行联邦学习得到所述多源异构***的联邦模型。
可选的，所述处理单元402还用于：
按照节点类型对多个网络节点进行划分；所述多个网络节点的节点类型包括第一类型和第二类型；
将节点类型属于所述第一类型的网络节点确定为所述第一***中的同构节点；
将节点类型属于所述第二类型的网络节点确定为所述第二***中的同构节点；
其中，网络节点的节点类型根据所述网络节点的性能确定，所述网络节点的性能至少包括以下之一或组合：处理能力、存储能力、数据传输格式。
可选的，所述多源异构***是基于容迟网络建立的；
所述处理单元402还用于：
通过所述第一***的第一容迟网络的通信链路向所述第一***发送第一模型参数更新，若发送失败，则将所述第一模型参数更新缓存至所述第一容迟网络的缓存层；在检测到所述第一容迟网络的通信链路连通后，将所述第一容迟网络的缓存层中的所述第一模型更新参数发送至所述第一***；和/或
通过所述第二***的第二容迟网络的通信链路向所述第二***发送第二模型参数更新，若发送失败，则将所述第二模型参数更新缓存至所述第二容迟网络的缓存层；在检测到所述第二容迟网络的通信链路连通后，将所述第二容迟网络的缓存层中的所述第二模型更新参数发送至所述第二***。
可选的，所述获取单元401还用于：
获取所述第一***中的多个同构节点针对同一对象的第一采集数据；
获取所述第二***中的多个同构节点针对所述同一对象的第二采集数据；
所述处理单元402还用于：
将所述同一对象的第一采集数据和第二采集数据输入所述联邦模型，得到所述同一对象的预测值。
可选的，所述第一***的多个同构节点为卫星***中的多个卫星节点；所述第二***包括至少一种地面***中的多个地面节点；所述至少一种地面***中各地面***之间为异构关系。
可选的，所述地面***为物联网***或手机***或无人机***。
基于同一发明构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于多源异构***的联邦学习方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于多源异构***的联邦学习方法。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于多源异构***的联邦学习方法，其特征在于，所述多源异构***包括具有多个同构节点的第一***和具有多个同构节点的第二***；所述第一***和所述第二***为异构关系；所述第一***的多个同构节点和所述第二***的多个同构节点针对同一对象分别进行不同维度的数据采集；
所述方法包括：
获取通过所述第一***的各同构节点的本地模型进行联邦学习得到的第一***子模型的模型参数；所述第一***的各同构节点的本地模型是所述第一***的各同构节点根据自身的采集数据进行训练得到的；
获取通过所述第二***的各同构节点的本地模型进行联邦学习得到的第二***子模型的模型参数；所述第二***的各同构节点的本地模型是所述第二***的各同构节点根据自身的采集数据进行训练得到的；
通过所述第一***子模型的模型参数和所述第二***子模型的模型参数进行联邦学习得到所述多源异构***的联邦模型；
所述第一***的多个同构节点为卫星***中的多个卫星节点；所述第二***包括至少一种地面***中的多个地面节点；所述至少一种地面***中各地面***之间为异构关系。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
按照节点类型对多个网络节点进行划分；所述多个网络节点的节点类型包括第一类型和第二类型；
将节点类型属于所述第一类型的网络节点确定为所述第一***中的同构节点；
将节点类型属于所述第二类型的网络节点确定为所述第二***中的同构节点；
其中，网络节点的节点类型根据所述网络节点的性能确定，所述网络节点的性能至少包括以下之一或组合：处理能力、存储能力、数据传输格式。
3.如权利要求1所述的方法，其特征在于，所述多源异构***是基于容迟网络建立的；
所述方法还包括：
通过所述第一***的第一容迟网络的通信链路向所述第一***发送第一模型参数更新，若发送失败，则将所述第一模型参数更新缓存至所述第一容迟网络的缓存层；在检测到所述第一容迟网络的通信链路连通后，将所述第一容迟网络的缓存层中的所述第一模型更新参数发送至所述第一***；和/或
通过所述第二***的第二容迟网络的通信链路向所述第二***发送第二模型参数更新，若发送失败，则将所述第二模型参数更新缓存至所述第二容迟网络的缓存层；在检测到所述第二容迟网络的通信链路连通后，将所述第二容迟网络的缓存层中的所述第二模型更新参数发送至所述第二***。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一***中的多个同构节点针对同一对象的第一采集数据；
获取所述第二***中的多个同构节点针对所述同一对象的第二采集数据；
将所述同一对象的第一采集数据和第二采集数据输入所述联邦模型，得到所述同一对象的预测值。
5.如权利要求1至4任一项所述的方法，其特征在于，所述地面***为物联网***或手机***或无人机***。
6.一种基于多源异构***的联邦学习装置，其特征在于，所述多源异构***包括具有多个同构节点的第一***和具有多个同构节点的第二***；所述第一***和所述第二***为异构关系；所述第一***的多个同构节点和所述第二***的多个同构节点针对同一对象分别进行不同维度的数据采集；
所述装置包括：
获取单元，用于获取通过所述第一***的各同构节点的本地模型进行联邦学习得到的第一***子模型的模型参数，所述第一***的各同构节点的本地模型是所述第一***的各同构节点根据自身的采集数据进行训练得到的；
所述获取单元，还用于获取通过所述第二***的各同构节点的本地模型进行联邦学习得到的第二***子模型的模型参数；所述第二***的各同构节点的本地模型是所述第二***的各同构节点根据自身的采集数据进行训练得到的；
处理单元，用于通过所述第一***子模型的模型参数和所述第二***子模型的模型参数进行联邦学习得到所述多源异构***的联邦模型；
所述第一***的多个同构节点为卫星***中的多个卫星节点；所述第二***包括至少一种地面***中的多个地面节点；所述至少一种地面***中各地面***之间为异构关系。
7.如权利要求6所述的装置，其特征在于，所述处理单元还用于：
按照节点类型对多个网络节点进行划分；所述多个网络节点的节点类型包括第一类型和第二类型；
将节点类型属于所述第一类型的网络节点确定为所述第一***中的同构节点；
将节点类型属于所述第二类型的网络节点确定为所述第二***中的同构节点；
其中，网络节点的节点类型根据所述网络节点的性能确定，所述网络节点的性能至少包括以下之一或组合：处理能力、存储能力、数据传输格式。
8.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至5任一项所述的方法。
9.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至5任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911236454.8A CN111126618B (zh) | 2019-12-05 | 2019-12-05 | 一种基于多源异构***的联邦学习方法及装置 |
| PCT/CN2020/112976 WO2021109647A1 (zh) | 2019-12-05 | 2020-09-02 | 一种基于多源异构***的联邦学习方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911236454.8A CN111126618B (zh) | 2019-12-05 | 2019-12-05 | 一种基于多源异构***的联邦学习方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126618A CN111126618A (zh) | 2020-05-08 |
| CN111126618B true CN111126618B (zh) | 2023-08-04 |
Family
ID=70496183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911236454.8A Active CN111126618B (zh) | 2019-12-05 | 2019-12-05 | 一种基于多源异构***的联邦学习方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111126618B (zh) |
| WO (1) | WO2021109647A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126618B (zh) * | 2019-12-05 | 2023-08-04 | 深圳前海微众银行股份有限公司 | 一种基于多源异构***的联邦学习方法及装置 |
| CN112087766B (zh) * | 2020-08-24 | 2022-03-25 | 浙江大学 | 无人***异构网络通信信道接入方法与装置 |
| CN112286752A (zh) * | 2020-09-29 | 2021-01-29 | 深圳致星科技有限公司 | 一种联邦学习异构处理***的算法验证方法及*** |
| CN113160021B (zh) * | 2021-03-18 | 2022-04-12 | 天津中科物联科技有限公司 | 一种基于多源异构数据联邦学习的安全生产预警*** |
| CN113743677B (zh) * | 2021-09-16 | 2023-06-30 | 成都数融科技有限公司 | 基于联邦学习的个人信用评价模型训练方法及评价方法 |
| CN114221957A (zh) * | 2021-11-30 | 2022-03-22 | 中国电子科技网络信息安全有限公司 | 一种联邦管理*** |
| CN114385376B (zh) * | 2021-12-09 | 2024-05-31 | 北京理工大学 | 一种异构数据下边缘侧联邦学习的客户端选择方法 |
| CN114090983A (zh) * | 2022-01-24 | 2022-02-25 | 亿景智联(北京)科技有限公司 | 一种异构联邦学习平台联通方法及装置 |
| CN116362352A (zh) * | 2023-06-01 | 2023-06-30 | 广州思迈特软件有限公司 | 基于机器学习的模型自动更新方法、***、介质及终端 |
| CN117592555B (zh) * | 2023-11-28 | 2024-05-10 | 中国医学科学院北京协和医院 | 一种面向多源异构医疗数据的联邦学习方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1841415A (zh) * | 2005-03-29 | 2006-10-04 | 上海宝信软件股份有限公司 | 采用数据软总线的冶金企业应用***的数据传输方法 |
| CN102238089A (zh) * | 2011-07-01 | 2011-11-09 | 中兴通讯股份有限公司 | 一种业务交互的方法、装置和*** |
| CN104932895A (zh) * | 2015-06-26 | 2015-09-23 | 南京邮电大学 | 一种基于soa的中间件及其信息发布方法 |
| CN107579845A (zh) * | 2017-08-20 | 2018-01-12 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 空间信息网络服务体系架构 |
| CN110266771A (zh) * | 2019-05-30 | 2019-09-20 | 天津神兔未来科技有限公司 | 分布式智能节点及分布式群体智能统部署方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040128541A1 (en) * | 2002-12-31 | 2004-07-01 | Iinternational Business Machines Corporation | Local architecture for federated heterogeneous system |
| US8589334B2 (en) * | 2010-01-15 | 2013-11-19 | Telcordia Technologies, Inc. | Robust information fusion methods for decision making for multisource data |
| CN110377648A (zh) * | 2018-04-11 | 2019-10-25 | 西安邮电大学 | 一种面向智能制造的多源异构数据分析平台 |
| US11423254B2 (en) * | 2019-03-28 | 2022-08-23 | Intel Corporation | Technologies for distributing iterative computations in heterogeneous computing environments |
| CN111126618B (zh) * | 2019-12-05 | 2023-08-04 | 深圳前海微众银行股份有限公司 | 一种基于多源异构***的联邦学习方法及装置 |
-
2019
- 2019-12-05 CN CN201911236454.8A patent/CN111126618B/zh active Active
-
2020
- 2020-09-02 WO PCT/CN2020/112976 patent/WO2021109647A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1841415A (zh) * | 2005-03-29 | 2006-10-04 | 上海宝信软件股份有限公司 | 采用数据软总线的冶金企业应用***的数据传输方法 |
| CN102238089A (zh) * | 2011-07-01 | 2011-11-09 | 中兴通讯股份有限公司 | 一种业务交互的方法、装置和*** |
| CN104932895A (zh) * | 2015-06-26 | 2015-09-23 | 南京邮电大学 | 一种基于soa的中间件及其信息发布方法 |
| CN107579845A (zh) * | 2017-08-20 | 2018-01-12 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 空间信息网络服务体系架构 |
| CN110266771A (zh) * | 2019-05-30 | 2019-09-20 | 天津神兔未来科技有限公司 | 分布式智能节点及分布式群体智能统部署方法 |
Non-Patent Citations (1)
| Title |
|---|
| Dave Conway-Jones etc.Demonstration of Federated Learning in aResource-Constrained Networked Environment.《2019 IEEE International Conference on Smart Computing (SMARTCOMP)》.484-486页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021109647A1 (zh) | 2021-06-10 |
| CN111126618A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126618B (zh) | 一种基于多源异构***的联邦学习方法及装置 | |
| Huang et al. | An intelligent collaboration trust interconnections system for mobile information control in ubiquitous 5G networks | |
| Ahmad et al. | An efficient divide-and-conquer approach for big data analytics in machine-to-machine communication | |
| CN114362367A (zh) | 面向云边协同的输电线路监测***和方法、识别***和方法 | |
| CN113033712B (zh) | 一种基于联邦学习的多用户协同训练人流统计方法及*** | |
| CN113156992B (zh) | 面向边缘环境下无人机的三层架构协同优化方法 | |
| CN105512297A (zh) | 一种基于分布式流式计算的空间数据处理方法与*** | |
| CN101819661A (zh) | 复杂***的决策支持能力评估分析方法 | |
| CN111582504A (zh) | 联邦建模方法、装置、设备及计算机可读存储介质 | |
| CN115249073A (zh) | 一种联邦学习方法以及装置 | |
| CN110087041B (zh) | 基于5g基站的视频数据处理及传输方法和*** | |
| CN111611948A (zh) | 基于cim与区块链的城市垃圾桶满溢检测方法 | |
| CN115580891B (zh) | 基于联邦学习的流量预测模型训练方法、预测方法和装置 | |
| CN109511123A (zh) | 一种基于时间信息的软件定义车辆网络自适应路由方法 | |
| Messous et al. | Edge computing for visual navigation and mapping in a UAV network | |
| CN111818146A (zh) | Soa云雾计算智慧农业数据处理方法及*** | |
| CN116665040A (zh) | 基于注意力机制的多尺度输入输出的建筑物变化检测方法 | |
| CN103905330A (zh) | 多终端协同通信业务分流比例获取方法和服务器 | |
| CN113783930B (zh) | 基于野外可部署5g车载平台的空地网络***及搭建方法 | |
| Kaptan et al. | Emulating smart city sensors using soft sensing and machine intelligence: A case study in public transportation | |
| KR100543905B1 (ko) | 재난관리 공간영상정보 제공시스템 및 방법 | |
| CN111770133B (zh) | 一种多体慧联云控平台 | |
| CN112486676A (zh) | 一种基于边缘计算的数据共享分发方法及装置 | |
| CN110022541A (zh) | 一种基于NB-IoT和FPGA的WSN农作物生长环境信息稀疏采集与传输方法 | |
| CN115665805A (zh) | 一种面向点云分析任务的边缘计算资源调度方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |