CN114492846A - 基于可信执行环境的跨域联邦学习方法及*** - Google Patents

Abstract

本申请公开了一种基于可信执行环境的跨域联邦学***台控制器；平台控制器将联邦学习任务发送给参与方，将根据联邦学习任务生成的配置信息发送给参数聚合集群；参与方根据联邦学习任务进行模型训练，将每一轮训练的中间参数发送给参数聚合集群；参数聚合集群根据配置信息进行集群配置和底层网络配置，根据集群配置和底层网络配置在可信执行环境中聚合中间参数，将聚合后的中间参数发送给参与方继续训练；对最后一轮训练的中间参数进行聚合后，参数聚合集群将该中间参数作为模型参数发送给任务开发方。本申请能够提高参数精度和参数聚合效率。

Description

基于可信执行环境的跨域联邦学习方法及***

技术领域

本申请涉及机器学习技术领域，特别涉及一种基于可信执行环境的跨域联邦学习方法及***。

背景技术

数据主权和安全问题日益突出，出于对数据主权的尊重和对数据安全的保障，联邦学习作为一种新的机器学习范式被提出，并被逐步推广应用于各类数据要素主体的协作中。由于实际的训练过程在参与方本地完成，原始数据并未出参与方，该范式能够切实保障数据安全和数据主权。在实际产业中，不同机构之间存在大量的数据协作应用需求，联邦学习技术的出现为跨机构的数据价值流动提供了有效手段。

为了保障参数聚合的安全，各类联邦学习技术通常利用安全手段对参数聚合过程进行加固，加固的主要方式有多方安全计算技术、差分隐私、同态加密技术等。

多方安全计算和同态加密方案具有较大性能开销（线上和线下），且为了兼顾性能，在实际使用中往往会对数据进行截断，造成精度损失；差分隐私方案虽然能够从统计意义上防止参数泄露，但由于噪声的引入对聚合的数据精度会产生影响；另外，这些加固方式会降低参数聚合效率。

发明内容

本申请提供了一种基于可信执行环境的跨域联邦学习方法及***，用于解决利用安全手段对参数聚合过程进行加固时，降低参数精度和参数聚合效率的问题。所述技术方案如下：

一方面，提供了一种基于可信执行环境的跨域联邦学***台控制器和开发环境，所述方法包括：

所述任务开发方在所述开发环境中生成联邦学***台控制器，所述联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，所述参数及指标信息用于指示所述模型的模型参数和训练指标，所述模型结构信息用于指示所述模型的模型结构，所述数据准备信息用于指示所述模型的训练数据的声明，以使分布式数据源按照所述声明对应的处理流程准备所述训练数据，所述预定数据类型用于指示所述联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集；

所述平台控制器将所述联邦学习任务发送给所述参与方，并根据所述联邦学习任务生成配置信息，将所述配置信息发送给所述参数聚合集群；

所述参与方根据所述联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给所述参数聚合集群；

所述参数聚合集群根据所述配置信息进行集群配置和底层网络配置，并根据所述集群配置和底层网络配置在可信执行环境中聚合所述中间参数，将聚合后的中间参数发送给所述参与方继续训练；

当对最后一轮训练的中间参数进行聚合后，所述参数聚合集群将聚合后的中间参数作为模型参数发送给所述任务开发方。

在一种可能的实现方式中，所述方法还包括：

所述平台控制器根据所述联邦学习任务生成会话令牌，将所述会话令牌发送给所述任务开发方；

所述任务开发方修改所述联邦学***台控制器，所述至少一种信息为所述参数及指标信息、所述模型结构信息和所述数据准备信息中的至少一种；

所述平台控制器将修改前后的联邦学习任务中的每种信息映射为状态图，对所述状态图中的每项内容进行修改前后的差分计算，根据计算结果生成更新配置信息，将所述更新配置信息发送给所述参数聚合集群；

所述参数聚合集群根据所述更新配置信息修改所述集群配置和/或所述底层网络配置。

在一种可能的实现方式中，所述任务开发方修改所述联邦学习任务中的至少一种信息，包括：

所述任务开发方调用所述预定数据类型支持的增量语义接口，利用所述增量语义接口修改所述联邦学习任务中的至少一种信息。

在一种可能的实现方式中，所述增量语义接口包括操作类接口、追踪类接口和交换类接口。

在一种可能的实现方式中，所述方法还包括：

所述平台控制器根据所述计算结果生成信息差分，将所述信息差分发送给所述任务开发方；

所述任务开发方显示所述信息差分。

在一种可能的实现方式中，当所述中间参数被加密并分割成固定大小的参数分片时，所述根据所述集群配置和所述底层网络配置在可信执行环境中聚合所述中间参数，包括：

所述参数聚合集群接收每个参与方发送的加密后的参数分片，在所述可信执行环境中，根据所述底层网络配置将所述加密后的参数分片路由至对应的输入队列中；

所述参数聚合集群从所述输入队列中抽取并解密所述参数分片，并根据所述集群配置对解密后的参数分片进行聚合，将聚合后的参数分片加密送入输出队列中。

在一种可能的实现方式中，所述参数聚合集群中包含多个服务器，所述在所述可信执行环境中，根据所述底层网络配置将所述加密后的参数分片路由至对应的输入队列中，包括：

在所述可信执行环境中，所述参数聚合集群根据所述底层网络配置中的一级路由，将所述加密后的参数分片路由至不同服务器中；

所述参数聚合集群根据所述底层网络配置中的二级路由，将所述加密后的参数分片路由至所述服务器的内存中的不同输入队列中。

在一种可能的实现方式中，所述根据所述集群配置对解密后的参数分片进行聚合，包括：

所述参数聚合集群获取所述集群配置中的参与方信息和参与方训练权重，根据所述参与方信息和所述参与方训练权重对所述解密后的参数分片进行聚合。

在一种可能的实现方式中，所述根据所述参与方信息和所述参与方训练权重对所述解密后的参数分片进行聚合，包括：

所述参数聚合集群根据所述参与方信息、所述参与方训练权重、以及单指令多数据流的向量点乘操作和相加操作，对所述解密后的参数分片进行聚合。

一方面，提供了一种训练***，所述训练***包括：

任务开发方、联邦学***台控制器和开发环境；

所述任务开发方，用于在所述开发环境中生成联邦学***台控制器，所述联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，所述参数及指标信息用于指示所述模型的模型参数和训练指标，所述模型结构信息用于指示所述模型的模型结构，所述数据准备信息用于指示所述模型的训练数据的声明，以使分布式数据源按照所述声明对应的处理流程准备所述训练数据，所述预定数据类型用于指示所述联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集；

所述平台控制器，用于将所述联邦学习任务发送给所述参与方，并根据所述联邦学习任务生成配置信息，将所述配置信息发送给所述参数聚合集群；

所述参与方，用于根据所述联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给所述参数聚合集群；

所述参数聚合集群，用于根据所述配置信息进行集群配置和底层网络配置，并根据所述集群配置和底层网络配置在可信执行环境中聚合所述中间参数，将聚合后的中间参数发送给所述参与方继续训练；

当对最后一轮训练的中间参数进行聚合后，所述参数聚合集群，还用于将聚合后的中间参数作为模型参数发送给所述任务开发方。

本申请提供的技术方案的有益效果至少包括：

由于参数聚合集群中包含可信执行环境，所以，参数聚合集群在该可信执行环境中聚合中间参数是安全的，无需再采用安全技术手段对参数聚合过程进行加固，可以避免采用安全技术手段时对参数精度和参数聚合效率造成的损失，从而可以在保障安全性和准确性的基础上能够提供更好的参数聚合效率。

由于联邦学***台控制器，平台控制器可以生成更新配置信息发送给参数聚合集群，这样，参数聚合集群可以根据更新配置参数来修改集群配置和/或底层网络配置，使得任务开发方能够轻量地、动态地按需进行细粒度调整（包括数据集、模型结构、参数及指标），提高了***易用性。

任务开发方调用预定数据类型支持的增量语义接口，利用增量语义接口修改联邦学习任务中的至少一种信息，这样，构建基于模块化的联邦学习任务，可以自动进行联邦学习任务状态的增量更新并将其映射为底层配置的增量化更新，使得任务调整更加敏捷高效。

参数聚合集群获取集群配置中的参与方信息和参与方训练权重，根据参与方信息和参与方训练权重对解密后的参数分片进行聚合，从而在参数聚合过程中融入参与方的信息，从而降低了构建跨域联邦学习计算环境的成本，降低了调整难度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据部分示例性实施例示出的一种训练***的结构示意图；

图2是本申请一个实施例提供的基于可信执行环境的跨域联邦学习方法的方法流程图；

图3是根据部分示例性实施例示出的一种开发环境的可视示图的示意图；

图4是根据部分示例性实施例示出的一种预定数据类型的生成示意图；

图5是本申请一个实施例提供的基于可信执行环境的跨域联邦学习方法的方法流程图；

图6是本申请一个实施例提供的参数聚合的示意图；

图7是本申请一个实施例提供的联邦学习的任务修改方法的方法流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本发明提出基于可信执行环境的跨域联邦学***台控制器122和开发环境123。其中，参与者130可以有多个，本实施例不对参与者130的数量作限定。

任务开发方110是任务开发人员所使用的电子设备，参与方130是参与人员所使用的电子设备，本实施例中不对电子设备的具体类型作限定。

开发环境123是面向任务开发方110的，其可以为任务开发方提供模型开发、二次开发和调试的环境。其中，开发环境123中包括模型结构、数据准备、参数及指标、策略和会话令牌。其中，模型结构用于配置待训练模型的结构，数据准备用于配置模型的训练数据的处理流程，参数及指标用于配置模型参数和训练指标，策略和会话令牌用于配置训练策略和会话令牌。

参数聚合集群121负责对各个参与方130的联邦学习参数进行聚合。其中，参数聚合集群121中包括多个工作单元（也可以称为服务器），每个工作单元中配置有可信执行环境，在可信执行环境中配置有输入队列、状态追踪模块、输出队列和聚合引擎，其对联邦学习参数的聚合方式详见下文中的描述。

平台控制器122提供统一的数据视图，并对联邦学***台控制器122包括权限管理模块、增量计算、配置生成模块和会话管理模块，其中，权限管理模块用于进行数据权限校验，增量计算用于对修改的联邦学习任务中的信息进行差分计算，会话管理器用于对FL_Session进行管理、配置生成器用于将会话中的状态映射为集群配置和底层配置。

下面对训练***的联邦学习过程进行说明。请参考图2，其示出了本申请一个实施例提供的基于可信执行环境的跨域联邦学习方法的方法流程图，该基于可信执行环境的跨域联邦学习方法可以应用于图1所示的训练***中。该基于可信执行环境的跨域联邦学习方法，可以包括：

步骤201，任务开发方在开发环境中生成联邦学***台控制器，该联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，参数及指标信息用于指示模型的模型参数和训练指标，模型结构信息用于指示模型的模型结构，数据准备信息用于指示模型的训练数据的声明，以使分布式数据源按照声明对应的处理流程准备训练数据，预定数据类型用于指示联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集。

训练***可以向任务开发方提供开发环境，任务开发方可以在开发环境中输入各种信息和预定数据类型，并根据各种信息和预定数据类型生成联邦学***台控制器。

本实施例中涉及到三种信息，分别是参数及指标信息、模型结构信息和数据准备信息。请参考图3，在图3所示的开发环境的可视示图中，三种信息分别对应于一个区域，任务开发人员可以在对应的区域中编辑对应的信息。

参数及指标信息用于指示模型的模型参数和训练指标。其中，模型参数可以包括但不限于：梯度下降、学习率、最小尺寸、损失值。训练指标可以是任务开发方要求监控的能够反映模型的训练效果或训练效率的指标，如机器学习中的训练轮数、训练准确率、目标损失值等。

模型结构信息用于指示模型的模型结构。其中，模型结构中可以包括多个卷积层、池化层、全连接层等。

数据准备信息用于指示模型的训练数据的声明，以使分布式数据源按照声明对应的处理流程准备训练数据。具体来说，数据准备信息是任务开发方可以依托预定数据类型对模型训练所使用的训练数据的声明式表达，是各分布式数据源在进行数据实际处理时参照的处理流程。为了便于理解，以图4所示的一种训练数据的处理流程进行举例说明，即先通过SQL操作从原始数据Data_RAW中提取出Data_P1；再利用缺失值填充函数（PF1）对Data_P1中的缺失值进行填充，得到Data_P2；最后利用特征扩展函数（PF2）对Data_P2进行特征扩展，得到Data_P3，最终将Data_P3作为准备好的训练数据。

本实施例中还涉及一种预定数据类型FL_Data，以便于任务开发方快捷组建数据管道。预定数据类型用于指示联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集。即，任务开发方可以在进行模型开发时，将无法实际控制的分布式的训练数据视作一个完整可用的数据集。如图4所示，FL_Data记录了训练数据集组织的血缘关系和数据体量，这相较于谷歌TFF（联邦学习框架）能够清晰地呈现数据构成，对于一些专业领域（如医疗）的跨机构联邦学习具有重要意义。另外，由于联邦学习中的数据不出参与方的本地，FL_Data为数据集的交换与复用提供了渠道。

步骤202，平台控制器将联邦学习任务发送给参与方，并根据联邦学习任务生成配置信息，将该配置信息发送给参数聚合集群。

平台控制器可以使用权限管理模块对数据权限进行校验，在校验通过后将联邦学习任务发送给各个参与方，还可以根据联邦学习任务生成参数聚合集群的配置信息，将该配置信息发送给参数聚合集群。

本实施例中，平台控制器中通过FL_Session抽象进行***状态的复用和增量更新。一个FL_Session管理的对象至少包括：（1）参与方及其数据使用情况；（2）联邦学习数据集的构建管道；（3）训练模型的参数和超参数；（4）参数聚合集群的集群配置；（5）参与方和参数聚合集群的底层网络配置。其中，集群配置至少包括参与方信息、参与方训练权重、聚合器列表和地址，底层网络配置至少包括防火墙规则、路由规则、聚合器列表和地址。

步骤203，参与方根据联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给参数聚合集群。

参与方在接收到联邦学习任务后，即可按照模型信息参数来创建模型，并根据参数及指标信息、数据准备信息和预定数据类型来训练模型。在每完成一轮训练后，参与方将得到的中间参数发送给参数聚合集群。

步骤204，参数聚合集群根据配置信息进行集群配置和底层网络配置，并根据集群配置和底层网络配置在可信执行环境中聚合中间参数，将聚合后的中间参数发送给参与方继续训练。

参数聚合集群需要先根据配置信息进行集群配置和底层网络配置，在完成配置后，参数聚合集群接收每个参与方发送的中间参数，再根据集群配置和底层网络配置在可信执行环境中聚合中间参数，将聚合后的中间参数发送给参与方，参与方根据聚合后的中间参数继续下一轮的模型训练。

步骤205，当对最后一轮训练的中间参数进行聚合后，参数聚合集群将聚合后的中间参数作为模型参数发送给任务开发方。

在训练结束后，参数聚合集群对最后一轮训练的中间参数进行聚合，并将聚合后的中间参数作为模型参数发送给任务开发方，任务开发方接收模型参数。

综上所述，本申请实施例提供的基于可信执行环境的跨域联邦学习方法，由于参数聚合集群中包含可信执行环境，所以，参数聚合集群在该可信执行环境中聚合中间参数是安全的，无需再采用安全技术手段对参数聚合过程进行加固，可以避免采用安全技术手段时对参数精度和参数聚合效率造成的损失，从而可以在保障安全性和准确性的基础上能够提供更好的参数聚合效率。

请参考图5，其示出了本申请一个实施例提供的基于可信执行环境的跨域联邦学习方法的方法流程图，该基于可信执行环境的跨域联邦学习方法可以应用于训练***中，该训练***可以为图1所示的训练***。该基于可信执行环境的跨域联邦学习方法，可以包括：

步骤501，任务开发方在开发环境中生成联邦学***台控制器，该联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，参数及指标信息用于指示模型的模型参数和训练指标，模型结构信息用于指示模型的模型结构，数据准备信息用于指示模型的训练数据的声明，以使分布式数据源按照声明对应的处理流程准备训练数据，预定数据类型用于指示联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集。

步骤502，平台控制器将联邦学习任务发送给参与方，并根据联邦学习任务生成配置信息，将该配置信息发送给参数聚合集群。

步骤503，参与方根据联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给参数聚合集群。

步骤504，参数聚合集群根据配置信息进行集群配置和底层网络配置。

其中，步骤501-504的实现流程与步骤201-204的实现流程相同，详见上文中的描述，此处不作赘述。

步骤505，当中间参数被加密并分割成固定大小的参数分片时，参数聚合集群接收每个参与方发送的加密后的参数分片，在可信执行环境中，根据底层网络配置将加密后的参数分片路由至对应的输入队列中；参数聚合集群从输入队列中抽取并解密参数分片，并根据集群配置对解密后的参数分片进行聚合，将聚合后的参数分片加密送入输出队列中。

本实施例中，参与方可以在得到中间参数后，对中间参数进行加密，将加密后的中间参数分割成固定大小的参数分片，将所有加密后的参数分片以流式方式发送给参数聚合集群。其中，固定大小一般为64KB。

参数聚合集群在接收到加密后的参数分片后，可以在可信执行环境中，根据底层网络配置将加密后的参数分片路由至对应的输入队列中，再利用聚合器将参数分片从输入队列中抽取解密并送入聚合引擎，聚合引擎完成聚合后，将参数分片加密送入输出队列。聚合器保存最新的聚合结果和累积权重。

本实施例中，参数聚合集群中包含多个服务器，则在可信执行环境中，参数聚合集群可以根据底层网络配置中的一级路由，将加密后的参数分片路由至不同服务器中；参数聚合集群再根据底层网络配置中的二级路由，将加密后的参数分片路由至服务器的内存中的不同输入队列中。其中，可以基于负载均衡以及任务的近邻性的规则来设置两层路由，从而可以提高参数聚合的速度和准确性。

如图6所示，参数聚合集群中包括n个服务器（也可以称为参数聚合器），每个服务器的内存中设置有多个输入队列和输出队列，则可以先通过一级路由将参数分片路由至一个服务器中，再通过二级路由将该参数分片路由至一个输入队列中。

本实施例中，参数聚合集群可以获取集群配置中的参与方信息和参与方训练权重，根据参与方信息和参与方训练权重对解密后的参数分片进行聚合，这样，可以在参数聚合过程中融入参与方的信息，从而降低了构建跨域联邦学***台控制器下发的。

其中，聚合引擎基于CPU（Central Processing Unit，中央处理单元）芯片SIMD（Single Instruction Multiple Data，单指令多数据流）设计，那么，参数聚合集群中的聚合引擎可以根据参与方信息、参与方训练权重、以及单指令多数据流的向量点乘操作和相加操作，对解密后的参数分片进行聚合，从而能够高效完成带权参数的聚合。

本实施例中，输入队列和输出队列都在内存中，这样，可以以内存队列的方式重构可信执行环境的上下文切换的接口，避免了上下文切换带来的高昂开销。

步骤506，参数聚合集群将聚合后的中间参数发送给参与方继续训练。

参数聚合集群将输出队列中的参数分片发送给参与方，参与方根据聚合后的中间参数继续下一轮的模型训练。

步骤507，当对最后一轮训练的中间参数进行聚合后，参数聚合集群将聚合后的中间参数作为模型参数发送给任务开发方。

在训练结束后，参数聚合集群对最后一轮训练的中间参数进行聚合，并将聚合后的中间参数作为模型参数发送给任务开发方，任务开发方获取模型参数。

综上所述，本申请实施例提供的基于可信执行环境的跨域联邦学习方法，由于参数聚合集群中包含可信执行环境，所以，参数聚合集群在该可信执行环境中聚合中间参数是安全的，无需再采用安全技术手段对参数聚合过程进行加固，可以避免采用安全技术手段时对参数精度和参数聚合效率造成的损失，从而可以在保障安全性和准确性的基础上能够提供更好的参数聚合效率。

参数聚合集群获取集群配置中的参与方信息和参与方训练权重，根据参与方信息和参与方训练权重对解密后的参数分片进行聚合，从而在参数聚合过程中融入参与方的信息，从而降低了构建跨域联邦学习计算环境的成本，降低了调整难度。

在训练过程中，任务开发方可以按需调整联邦学习任务中的信息，进行训练的调整或调试。请参考图7所示的联邦学习的任务修改方法的方法流程图，该联邦学习的任务修改方法可以包括：

步骤701，平台控制器根据联邦学习任务生成会话令牌，将会话令牌发送给任务开发方。

具体的，平台控制器可以在接收到联邦学习任务后，返回该联邦学习任务对应的FL_Session令牌，即会话令牌。

步骤702，任务开发方修改联邦学***台控制器，至少一种信息为参数及指标信息、模型结构信息和数据准备信息中的至少一种。

任务开发方可以在开发环境中的待修改的信息（参数及指标信息、模型结构信息和数据准备信息）对应的区域内进行修改，得到修改后的联邦学***台控制器。

具体的，任务开发方修改联邦学习任务中的至少一种信息，可以包括：任务开发方调用预定数据类型支持的增量语义接口，利用增量语义接口修改联邦学习任务中的至少一种信息。其中，增量语义接口包括操作类接口、追踪类接口和交换类接口。

本实施例中，操作类接口可以包括但不限于：X.Participants_shaping（participants，flag）、X.Pipeline_shaping（pipe_indexes，flag）、X.Pipeline_substitue（pipe_index，pipe）、X.Rollback（history_number），X.Evaluate（）。追踪类接口可以包括但不限于：X.Lincage（indexes）、X.Diff（Y）、X.Merge（Y）、X.Freeze（indexes，Y）。交换类接口可以包括但不限于：X.Export（）、X.Import（）。

步骤703，平台控制器将修改前后的联邦学习任务中的每种信息映射为状态图，对状态图中的每项内容进行修改前后的差分计算，根据计算结果生成更新配置信息，将更新配置信息发送给参数聚合集群。

其中，状态图可以是状态列表或字典，且状态列表和字典中都包含多项，每项内容是可修改的。

平台控制器可以将修改前后的联邦学***台控制器可以对同一种信息在修改前后映射的状态图进行逐项比对，得到具体内容的变化。比如，修改前的模型指标是学习率为0.05，修改后的模型指标是学习率为0.01。

然后，平台控制器根据会话令牌对所属FL_Session内的状态进行分析，区分受影响的底层状态和未受影响的底层状态和集群配置，对于受影响的底层状态和集群配置，根据预设的相关性规则重新生成更新配置信息，将生成的更新配置信息下发至参数聚合集群。

步骤704，参数聚合集群根据更新配置信息修改集群配置和/或底层网络配置。

本实施例中，平台控制器还可以根据计算结果生成信息差分，将信息差分发送给任务开发方；任务开发方显示信息差分，如图3中所示，信息差分对应于可视示图中的一个区域。

由于联邦学***台控制器，平台控制器可以生成更新配置信息发送给参数聚合集群，这样，参数聚合集群可以根据更新配置参数来修改集群配置和/或底层网络配置，使得任务开发方能够轻量地、动态地按需进行细粒度调整（包括数据集、模型结构、参数及指标），提高了***易用性。

任务开发方调用预定数据类型支持的增量语义接口，利用增量语义接口修改联邦学习任务中的至少一种信息，这样，构建基于模块化的联邦学习任务，可以自动进行联邦学习任务状态的增量更新并将其映射为底层配置的增量化更新，使得任务调整更加敏捷高效。

如图1所示，该训练***可以包括任务开发方110、联邦学***台控制器122和开发环境123；

任务开发方110，用于在开发环境123中生成联邦学***台控制器122，联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，参数及指标信息用于指示模型的模型参数和训练指标，模型结构信息用于指示模型的模型结构，数据准备信息用于指示模型的训练数据的声明，以使分布式数据源按照声明对应的处理流程准备训练数据，预定数据类型用于指示联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集；

平台控制器122，用于将联邦学习任务发送给参与方130，并根据联邦学习任务生成配置信息，将配置信息发送给参数聚合集群121；

参与方130，用于根据联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给参数聚合集群121；

参数聚合集群121，用于根据配置信息进行集群配置和底层网络配置，并根据集群配置和底层网络配置在可信执行环境中聚合中间参数，将聚合后的中间参数发送给参与方130继续训练；

当对最后一轮训练的中间参数进行聚合后，参数聚合集群121，还用于将聚合后的中间参数作为模型参数发送给任务开发方110。

在一个可选的实施例中，任务开发方110，还用于修改联邦学***台控制器122，至少一种信息为参数及指标信息、模型结构信息和数据准备信息中的至少一种；

平台控制器122，还用于将修改前后的联邦学习任务中的每种信息映射为状态图，对状态图中的每项内容进行修改前后的差分计算，根据计算结果生成更新配置信息，将更新配置信息发送给参数聚合集群121；

参数聚合集群121，还用于根据更新配置信息修改集群配置和/或底层网络配置。

在一个可选的实施例中，任务开发方110，还用于调用预定数据类型支持的增量语义接口，利用增量语义接口修改联邦学习任务中的至少一种信息。

在一个可选的实施例中，增量语义接口包括操作类接口、追踪类接口和交换类接口。

在一个可选的实施例中，平台控制器122，还用于根据计算结果生成信息差分，将信息差分发送给任务开发方110；

任务开发方110，还用于显示信息差分。

在一个可选的实施例中，当中间参数被加密并分割成固定大小的参数分片时，参数聚合集群121，还用于接收每个参与方130发送的加密后的参数分片，在可信执行环境中，根据底层网络配置将加密后的参数分片路由至对应的输入队列中；

参数聚合集群121，还用于从输入队列中抽取并解密参数分片，并根据集群配置对解密后的参数分片进行聚合，将聚合后的参数分片加密送入输出队列中。

在一个可选的实施例中，参数聚合集群121中包含多个服务器，在可信执行环境中，参数聚合集群121，还用于根据底层网络配置中的一级路由，将加密后的参数分片路由至不同服务器中；

参数聚合集群121，还用于根据底层网络配置中的二级路由，将加密后的参数分片路由至服务器的内存中的不同输入队列中。

在一个可选的实施例中，参数聚合集群121，还用于获取集群配置中的参与方130信息和参与方130训练权重，根据参与方130信息和参与方130训练权重对解密后的参数分片进行聚合。

在一个可选的实施例中，参数聚合集群121，还用于根据参与方130信息、参与方130训练权重、以及单指令多数据流的向量点乘操作和相加操作，对解密后的参数分片进行聚合。

综上所述，本申请实施例提供的训练***，由于参数聚合集群中包含可信执行环境，所以，参数聚合集群在该可信执行环境中聚合中间参数是安全的，无需再采用安全技术手段对参数聚合过程进行加固，可以避免采用安全技术手段时对参数精度和参数聚合效率造成的损失，从而可以在保障安全性和准确性的基础上能够提供更好的参数聚合效率。

由于联邦学***台控制器，平台控制器可以生成更新配置信息发送给参数聚合集群，这样，参数聚合集群可以根据更新配置参数来修改集群配置和/或底层网络配置，使得任务开发方能够轻量地、动态地按需进行细粒度调整（包括数据集、模型结构、参数及指标），提高了***易用性。

任务开发方调用预定数据类型支持的增量语义接口，利用增量语义接口修改联邦学习任务中的至少一种信息，这样，构建基于模块化的联邦学习任务，可以自动进行联邦学习任务状态的增量更新并将其映射为底层配置的增量化更新，使得任务调整更加敏捷高效。

参数聚合集群获取集群配置中的参与方信息和参与方训练权重，根据参与方信息和参与方训练权重对解密后的参数分片进行聚合，从而在参数聚合过程中融入参与方的信息，从而降低了构建跨域联邦学习计算环境的成本，降低了调整难度。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (10)

1.一种基于可信执行环境的跨域联邦学***台控制器和开发环境，所述方法包括：

所述任务开发方在所述开发环境中生成联邦学***台控制器，所述联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，所述参数及指标信息用于指示所述模型的模型参数和训练指标，所述模型结构信息用于指示所述模型的模型结构，所述数据准备信息用于指示所述模型的训练数据的声明，以使分布式数据源按照所述声明对应的处理流程准备所述训练数据，所述预定数据类型用于指示所述联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集；

所述平台控制器将所述联邦学习任务发送给所述参与方，并根据所述联邦学习任务生成配置信息，将所述配置信息发送给所述参数聚合集群；

所述参与方根据所述联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给所述参数聚合集群；

所述参数聚合集群根据所述配置信息进行集群配置和底层网络配置，并根据所述集群配置和底层网络配置在可信执行环境中聚合所述中间参数，将聚合后的中间参数发送给所述参与方继续训练；

当对最后一轮训练的中间参数进行聚合后，所述参数聚合集群将聚合后的中间参数作为模型参数发送给所述任务开发方。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述平台控制器根据所述联邦学习任务生成会话令牌，将所述会话令牌发送给所述任务开发方；

所述任务开发方修改所述联邦学***台控制器，所述至少一种信息为所述参数及指标信息、所述模型结构信息和所述数据准备信息中的至少一种；

所述平台控制器将修改前后的联邦学习任务中的每种信息映射为状态图，对所述状态图中的每项内容进行修改前后的差分计算，根据计算结果生成更新配置信息，将所述更新配置信息发送给所述参数聚合集群；

所述参数聚合集群根据所述更新配置信息修改所述集群配置和/或所述底层网络配置。

3.根据权利要求2所述的方法，其特征在于，所述任务开发方修改所述联邦学习任务中的至少一种信息，包括：

所述任务开发方调用所述预定数据类型支持的增量语义接口，利用所述增量语义接口修改所述联邦学习任务中的至少一种信息。

4.根据权利要求3所述的方法，其特征在于，所述增量语义接口包括操作类接口、追踪类接口和交换类接口。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述平台控制器根据所述计算结果生成信息差分，将所述信息差分发送给所述任务开发方；

所述任务开发方显示所述信息差分。

6.根据权利要求1所述的方法，其特征在于，当所述中间参数被加密并分割成固定大小的参数分片时，所述根据所述集群配置和所述底层网络配置在可信执行环境中聚合所述中间参数，包括：

所述参数聚合集群接收每个参与方发送的加密后的参数分片，在所述可信执行环境中，根据所述底层网络配置将所述加密后的参数分片路由至对应的输入队列中；

所述参数聚合集群从所述输入队列中抽取并解密所述参数分片，并根据所述集群配置对解密后的参数分片进行聚合，将聚合后的参数分片加密送入输出队列中。

7.根据权利要求6所述的方法，其特征在于，所述参数聚合集群中包含多个服务器，所述在所述可信执行环境中，根据所述底层网络配置将所述加密后的参数分片路由至对应的输入队列中，包括：

在所述可信执行环境中，所述参数聚合集群根据所述底层网络配置中的一级路由，将所述加密后的参数分片路由至不同服务器中；

所述参数聚合集群根据所述底层网络配置中的二级路由，将所述加密后的参数分片路由至所述服务器的内存中的不同输入队列中。

8.根据权利要求6所述的方法，其特征在于，所述根据所述集群配置对解密后的参数分片进行聚合，包括：

所述参数聚合集群获取所述集群配置中的参与方信息和参与方训练权重，根据所述参与方信息和所述参与方训练权重对所述解密后的参数分片进行聚合。

9.根据权利要求8所述的方法，其特征在于，所述根据所述参与方信息和所述参与方训练权重对所述解密后的参数分片进行聚合，包括：

所述参数聚合集群根据所述参与方信息、所述参与方训练权重、以及单指令多数据流的向量点乘操作和相加操作，对所述解密后的参数分片进行聚合。

10.一种训练***，其特征在于，所述训练***包括任务开发方、联邦学***台控制器和开发环境；

所述任务开发方，用于在所述开发环境中生成联邦学***台控制器，所述联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，所述参数及指标信息用于指示所述模型的模型参数和训练指标，所述模型结构信息用于指示所述模型的模型结构，所述数据准备信息用于指示所述模型的训练数据的声明，以使分布式数据源按照所述声明对应的处理流程准备所述训练数据，所述预定数据类型用于指示所述联邦学习***提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集；

所述平台控制器，用于将所述联邦学习任务发送给所述参与方，并根据所述联邦学习任务生成配置信息，将所述配置信息发送给所述参数聚合集群；

所述参与方，用于根据所述联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给所述参数聚合集群；

所述参数聚合集群，用于根据所述配置信息进行集群配置和底层网络配置，并根据所述集群配置和底层网络配置在可信执行环境中聚合所述中间参数，将聚合后的中间参数发送给所述参与方继续训练；

当对最后一轮训练的中间参数进行聚合后，所述参数聚合集群，还用于将聚合后的中间参数作为模型参数发送给所述任务开发方。

Images