CN115034333B - 联邦学习方法、联邦学习装置及联邦学习*** - Google Patents
联邦学习方法、联邦学习装置及联邦学习*** Download PDFInfo
- Publication number
- CN115034333B CN115034333B CN202210759145.4A CN202210759145A CN115034333B CN 115034333 B CN115034333 B CN 115034333B CN 202210759145 A CN202210759145 A CN 202210759145A CN 115034333 B CN115034333 B CN 115034333B
- Authority
- CN
- China
- Prior art keywords
- model
- correlation
- business
- member device
- business model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 74
- 230000008569 process Effects 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013058 risk prediction model Methods 0.000 description 2
- 208000027691 Conduct disease Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习方法，联邦学习装置和联邦学习***。各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型。在进行联邦学习时，在各个第一成员设备从第二成员设备接收当前业务模型后，各个第一成员设备使用本地数据训练所接收的当前业务模型，确定本地训练出的业务模型与所接收的业务模型之间的模型相关性，并且仅仅在模型相关性满足预定条件时才将本地训练出的模型更新量提供给第二成员设备。第二成员设备根据从各个第一成员设备接收的模型更新量更新业务模型。
Description
技术领域
本说明书实施例通常涉及人工智能领域，尤其涉及用于训练业务模型的联邦学习方法、联邦学习装置及联邦学习***。
背景技术
机器学习技术被广泛地应用于各种业务应用场景。在业务应用场景中，使用机器学习模型作为业务模型来进行各种业务预测服务，比如，分类预测、业务风险预测等等。在很多情况下，业务模型需要采用多个数据拥有方的业务数据来进行模型训练。多个数据拥有方(例如，电子商务公司、快递公司和银行)各自拥有训练业务模型所使用的训练样本数据的部分数据。该多个数据拥有方期望共同使用彼此的数据来统一训练业务模型，但又不想把各自的数据提供给其它数据拥有方以防止自己的数据被泄露。
面对这种情况，提出了能够保护数据安全的联邦学习方法，其能够在保证多个数据拥有方的各自数据安全的情况下，协同该多个数据拥有方来训练业务模型。
发明内容
本说明书实施例提供一种用于训练业务模型的联邦学习方法、联邦学习装置及联邦学习***，其通过在具有本地数据的各个第一成员设备完成本地业务模型训练后，基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地业务模型更新对全局业务模型更新的模型更新影响度，并且仅仅在本地业务模型更新的模型更新影响度满足预定条件时，才将本地将所训练出的业务模型的模型更新量提供给第二成员设备来参与全局业务模型更新，可以在不损害业务模型的模型训练精度的情况下减少第一成员设备和第二成员设备之间的通信开销，进而提升联邦学习***的模型训练效率，并且提升联邦学习***的***规模。
根据本说明书实施例的一个方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于第一成员设备，所述方法包括：从第二成员设备接收当前业务模型；使用本地数据训练所接收的当前业务模型；基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；以及响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
可选地，在上述方面的一个示例中，所述模型相关度可以包括下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。
可选地，在上述方面的一个示例中，所述模型分歧度基于本地训练出业务模型的各个模型参数的模型参数变化相对值确定。
可选地，在上述方面的一个示例中，所述模型分歧度可以根据下述公式确定：其中，d表示业务模型的模型参数维度，pj表示本地训练出的业务模型中的第j个模型参数的模型参数值，以及表示所接收的业务模型中的第j个模型参数的模型参数值。
可选地，在上述方面的一个示例中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到。
可选地，在上述方面的一个示例中，所述方法还可以包括：响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势。响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型可以包括：响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
可选地，在上述方面的一个示例中，所述模型更新趋势相关度基于本地训练出的业务模型以及所接收的业务模型的各个模型参数的变化趋势确定。
可选地，在上述方面的一个示例中，所述模型更新趋势相关度根据下述公式确定： 其中，d表示业务模型的模型参数维度，sign()为取值函数，Δpj表示本地训练出的业务模型中的第j个模型参数的模型参数变化值，表示所接收的业务模型中的第j个模型参数的模型参数变化值。
根据本说明书的实施例的另一方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于所述第二成员设备，所述方法包括：将当前业务模型发送给各个第一成员设备；从在各自当前模型训练过程结束后被确定为具有不小于第一预定阈值的模型相关度的第一成员设备接收各自的本地模型更新量；以及根据所接收的各个本地模型更新量，更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。
根据本说明书的实施例的另一方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述联邦学习装置应用于第一成员设备，所述联邦学习装置包括：模型接收单元，从第二成员设备接收当前业务模型；模型训练单元，使用本地数据训练所接收的当前业务模型；模型相关度确定单元，基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；以及模型更新量提供单元，响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
可选地，在上述方面的一个示例中，所述模型相关度包括下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。
可选地，在上述方面的一个示例中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度确定单元基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到所述模型相关度。
可选地，在上述方面的一个示例中，所述联邦学习装置还可以包括：模型更新趋势相关度确定单元，响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势。响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，所述模型更新量提供单元将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
根据本说明书的实施例的另一方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述联邦学习装置应用于所述第二成员设备，所述联邦学习装置包括：模型发送单元，将当前业务模型发送给各个第一成员设备；模型更新量接收单元，从在各自当前模型训练过程结束后被确定为具有不小于第一预定阈值的模型相关度的第一成员设备接收各自的本地模型更新量；以及模型更新单元根据所接收的各个本地模型更新量，更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。
根据本说明书的实施例的另一方面，提供一种联邦学习***，包括：至少两个第一成员设备，每个第一成员设备包括如上所述的联邦学习装置，各个第一成员设备具有本地数据；以及第二成员设备，所述第二成员设备维护待训练的业务模型，并且包括如上所述的联邦学习装置。
根据本说明书的实施例的另一方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上所述的用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法。
根据本说明书的实施例的另一方面，提供一种计算机可读存储介质，其存储有可执行指令，所述指令当被执行时使得处理器执行如上的用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法。
根据本说明书的实施例的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行来实现如上所述的用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法。
附图说明
通过参照下面的附图，可以实现对于本说明书内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
图1示出了用于业务模型的联邦学习的联邦学习***的示例示意图。
图2示出了根据本说明书的实施例的联邦学习***的示例架构示意图。
图3示出了根据本说明书的实施例的联邦学习方法的示例流程图。
图4示出了根据本说明书的实施例的第一成员设备侧的联邦学习装置的方框图。
图5示出了根据本说明书的实施例的第二成员设备侧的联邦学习装置的方框图。
图6示出了根据本说明书的实施例的在第一成员设备侧基于计算机实现的联邦学习装置的示意图。
图7示出了根据本说明书的实施例的在第二成员设备侧基于计算机实现的联邦学习装置的示意图。
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
在本说明书中，术语“业务模型”是指被应用于业务场景中来进行业务预测服务的机器学习模型，比如，用于分类预测、业务风险预测等等的机器学习模型。机器学习模型的示例可以包括但不限于：线性回归模型、逻辑回归模型、神经网络模型、决策树模型、支持向量机等。神经网络模型的示例可以包括但不限于深度神经网络(DNN，Deep NeuralNetwork)模型、卷积神经网络(CNN，Convolutional Neural Network)模型、BP神经网络等。
业务模型的具体实现形式取决于所应用的业务场景。例如，在业务模型应用于对用户进行分类的应用场景，则业务模型被实现为用户分类模型。相应地，可以根据该业务模型来对待分类用户的用户特征数据进行用户分类预测。在业务模型应用于对业务***上发生的业务交易进行业务风险预测的应用场景，则业务模型被实现为业务风险预测模型。相应地，可以根据该业务模型来对该业务交易的业务交易特征数据进行业务风险预测。
随着人工智能技术的发展，机器学习技术被作为业务模型广泛地应用于各种业务应用场景来进行各种业务预测服务，比如，分类预测、业务风险预测等等。例如，业务模型在金融欺诈、推荐***、图像识别等领域具有广泛的应用。为了实现更好的模型性能，需要使用更多的训练数据来训练业务模型。在例如医疗、金融等应用领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据进行联合训练，将极大提升业务模型的模型精度，从而给企业带来巨大的经济效益。
鉴于上述，提出了联邦学习方案。在联邦学习方案中，多个数据拥有方在服务端的协助下共同训练业务模型。图1示出了用于业务模型的联邦学习的联邦学习***100的示例示意图。
如图1所示，联邦学习***100包括服务端110和多个数据拥有方(客户端)120，例如，数据拥有方A 120-1，数据拥有方B 120-2和数据拥有方C 120-3。服务端110具有业务模型10。在进行联邦学习时，服务端110将业务模型10下发给各个数据拥有方，并且被各个数据拥有方使用来基于该数据拥有方处的本地数据进行模型计算，得到该数据拥有方处的模型预测值。然后，各个数据拥有方基于所计算出的模型预测值和标签值确定出各自业务模型的梯度信息，并将梯度信息提供给服务端110。服务端110使用所获取的各个梯度信息来更新业务模型。
在联邦学习***中，数据拥有方与服务端之间通常经由网络来进行数据通信。由于所使用的网络或数据拥有方处的设备带宽通常有限，数据拥有方与服务端之间的通信开销成为联邦学习***的参与方规模的限制条件。
鉴于上述，本说明书的实施例提供一种用于训练业务模型的联邦学习方法、联邦学习装置及联邦学习***，其通过在具有本地数据的各个第一成员设备完成本地业务模型训练后，基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地业务模型与全局业务模型之间的模型相关性，并且仅仅在本地业务模型与全局业务模型之间具有较大的模型相关性时，才将本地将所训练出的业务模型的模型更新量提供给第二成员设备来参与全局业务模型更新，可以在不损害业务模型的模型训练精度的情况下减少第一成员设备和第二成员设备之间的通信开销，进而提升联邦学习***的模型训练效率，并且提升联邦学习***的***规模。
下面将结合附图来详细描述根据本说明书实施例的用于训练业务模型的联邦学习方法、联邦学习装置以及联邦学习***。
图2示出了示出了根据本说明书的实施例的用于训练业务模型的联邦学习***200的架构示意图。
如图2所示，联邦学习***200包括至少两个第一成员设备210以及第二成员设备220。在图2中示出了3个第一成员设备210-1到210-3。在本说明书的其它实施例中，可以包括更多或者更少的第一成员设备210。至少两个第一成员设备210以及第二成员设备220可以通过例如但不局限于互联网或局域网等的网络230相互通信。
在本说明书的实施例中，第一成员设备210可以是用于本地收集数据样本的设备或设备方，比如，智能终端设备、服务器设备、边缘设备等。在本说明书中，术语“第一成员设备”和术语“数据拥有方”可以互换使用。第二成员设备220上维护有待训练的业务模型。例如，第二成员设备220可以是模型提供方处的终端设备或服务器设备。第二成员设备220上维护的业务模型也可以称为全局业务模型。在本说明书中，术语“第二成员设备”和术语“模型提供方”可以互换使用。
在本说明书的实施例中，第一成员设备210-1到210-3的本地数据可以包括各个成员设备在本地收集的业务数据。业务数据可以包括业务对象的特征数据。业务对象的示例可以包括但不限于用户、商品、事件或关系。相应地，业务数据例如可以包括但不限于在本地收集的用户特征数据、商品特征数据、事件特征数据或关系特征数据，比如，用户特征数据、业务处理数据、金融交易数据、商品交易数据、医疗健康数据等等。业务数据例如可以应用于业务模型来进行模型预测、模型训练以及其它合适的多方数据联合处理。
在本说明书中，业务数据可以包括基于文本数据、图像数据和/或语音数据的业务数据。相应地，业务模型可以应用于基于文本数据、图像数据和/或语音数据的业务风险识别、业务分类或者业务决策等等。例如，本地数据可以是由医院收集的医疗数据，并且业务模型可以用于进行疾病检查或疾病诊断。或者，所收集的本地数据可以包括用户特征数据。相应地，业务模型可以应用于基于用户特征数据的业务风险识别、业务分类、业务推荐或者业务决策等等。业务模型的示例可以包括但不限于人脸识别模型、疾病诊断模型、业务风险预测模型、服务推荐模型等等。
在本说明书中，各个第一成员设备210所具有的本地数据组成业务模型的训练样本数据，并且各个第一成员设备所拥有的本地数据是该第二成员设备的秘密，不能被其他第一成员设备获悉或者完整地获悉。
在一个实际应用示例中，各个第一成员设备210例如可以是业务应用方或业务应用关联方的数据存储服务器或智能终端设备，比如，不同金融机构或医疗机构的本地数据存储服务器或智能终端设备。第二成员设备例如可以是业务提供商或业务运营商的服务器，比如，用于提供支付服务的第三方支付平台的服务器。
在本说明书中，各个第一成员设备210以及第二成员设备220可以是任何合适的具有计算能力的电子设备。所述电子设备包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动电子设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴电子设备、消费电子设备等等。
此外，第一成员设备210-1、210-2、210-3和第二成员设备220分别具有联邦学习装置。第一成员设备210-1、210-2、210-3和第二成员设备220处具有的联邦学习装置可以经由网络230执行网络通信来进行数据交互，由此协作处理来执行针对业务模型的模型训练过程。联邦学习装置的操作和结构将在下面参照附图进行详细说明。
在一些实施例中，网络230可以是有线网络或无线网络中的任意一种或多种。网络230的示例可以包括但不限于电缆网络、光纤网络、电信网络、企业内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigZee)、近场通讯(NFC)、设备内总线、设备内线路等或其任意组合。
图3示出了根据本说明书的实施例的用于训练业务模型的联邦学习方法300的流程图。图3中示出的流程图是针对联邦学习过程中的一次循环训练过程的处理流程。
如图3所示，在310，各个第一成员设备210-1、210-2和210-3从第二成员设备220接收当前业务模型，所接收的当前业务模型充当当前循环训练过程的待训练业务模型。这里，当前业务模型是在第二成员设备220处执行的上一循环处理过程所得到的更新后的业务模型。
在320，在各个第一成员设备210-1到210-3处，分别使用各自的本地数据来训练所接收的业务模型。各个第一成员设备处的本地业务模型训练过程可以采用本领域的任何合适的模型训练过程实现。
在各个第一成员设备210-1到210-3完成各自的本地模型训练后，在330，各个第一成员设备210-1到210-3基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地业务模型与从第二成员设备接收的业务模型之间的模型相关度，并基于所确定的模型相关度来进行模型相关性判断，例如，将所确定的模型相关度与预定阈值进行比较来进行模型相关性判断。如果所确定的模型相关度不小于预定阈值，则认为本地训练出的业务模型与所接收的业务模型之间具有较大的模型相关性。如果所确定的模型相关度小于预定阈值，则认为本地训练出的业务模型与所接收的业务模型之间具有较小的模型相关性。
所确定出的“模型相关度”可以反映本地业务模型更新对第二成员设备处的业务模型更新的影响程度。第二成员设备处的业务模型更新是指本轮联邦学习过程的全局业务模型更新(整体业务模型更新)。如果本地训练出的业务模型与所接收的业务模型之间的模型相关度较大，则说明本地业务模型更新对全局业务模型更新的影响程度较大，从而需要将本地训练出的业务模型的模型更新量上传给第二成员设备来参与本轮全局业务模型更新。如果本地训练出的业务模型与所接收的业务模型之间的模型相关度较小，则说明本地业务模型更新对全局业务模型更新的影响程度较小，从而无需将本地训练出的业务模型的模型更新量上传给第二成员设备来参与本轮全局业务模型更新。
在一些实施例中，模型相关度的示例例如可以包括但不限于下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。
针对基于模型距离的第一模型相关度，第一成员设备可以计算本地训练出的业务模型与从第二成员设备接收的当前业务模型之间的模型距离。例如，可以将业务模型的模型参数表征为模型参数向量，然后计算本地训练出的业务模型的模型参数向量与所接收的当前业务模型的模型参数向量之间的向量距离，作为本地训练出的业务模型与从第二成员设备接收的当前业务模型之间的模型距离。向量距离的示例例如可以包括但不限于：欧式距离，曼哈顿距离，汉明距离，切比雪夫距离，闵可夫斯基距离，余弦距离等。然后，根据所得到的模型距离，确定出本地训练出的业务模型与从第二成员设备接收的当前业务模型之间的第一模型相关度。例如，可以将模型距离直接确定为第一模型相关度。也可以对模型距离进行归一化处理来得到第一模型相关度。
在本说明书中，术语“模型分歧度”用于表征模型之间的分歧程度。在一些实施例中，本地训练出的业务模型与所接收的业务模型之间的模型分歧度可以基于本地训练出业务模型的各个模型参数的模型参数变化相对值确定。例如，模型分歧度可以根据下述公式确定：
其中，d表示业务模型的模型参数维度，pj表示本地训练出的业务模型中的第j个模型参数的模型参数值，以及表示所接收的业务模型中的第j个模型参数的模型参数值。
在一些实施例中，在进行模型相关度确定时，可以先确定第一模型相关度，并基于第一模型相关度进行模型相关性判断。如果第一模型相关度不小于预定阈值，则确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。此时，无需进一步确定第二模型相关度以及执行相应的模型相关性判断。如果第一模型相关度小于预定阈值，则确定第二模型相关度，并基于第二模型相关度进行模型相关性判断。如果第二模型相关度不小于预定阈值，则确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。如果第二模型相关度小于预定阈值，则确定本地训练出的业务模型与所接收的业务模型之间存在较小的模型相关性。要说明的是，第一模型相关度的判断过程和第二模型相关度的判断过程所使用的预定阈值可以相同，也可以不同。
在一些实施例中，在进行模型相关度确定时，可以先确定第二模型相关度，并基于第二模型相关度进行模型相关性判断。如果第二模型相关度不小于预定阈值，则确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。此时，无需进一步确定第一模型相关度以及执行相应的模型相关性判断。如果第二模型相关度小于预定阈值，则确定第一模型相关度，并基于第一模型相关度进行模型相关性判断。如果第一模型相关度不小于预定阈值，则确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。如果第一模型相关度小于预定阈值，则确定本地训练出的业务模型与所接收的业务模型之间存在较小的模型相关性。
在一些实施例中，在进行模型相关度确定时，可以计算第一模型相关度和第二模型相关度，并且第一模型相关度和第二模型相关度可以预先分配权重。随后，基于各自的权重对第一模型相关度和第二模型相关度进行加权求和得到模型相关度。然后，基于所得到的模型相关度来进行模型相关性判断。
响应于确定本地训练出的业务模型与所接收的业务模型之间存在较小的模型相关性，即，所确定出的模型相关度小于第一预定阈值，则不向第二成员设备发送本地业务模型训练出的业务模型的模型更新量。
回到图3，响应于确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性，即，所确定出的模型相关度不小于第一预定阈值，在340，在对应的第一成员设备处，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势。
在一些实施例中，模型更新趋势相关度可以基于本地训练出的业务模型以及所接收的业务模型的各个模型参数的变化趋势确定。例如，在一个示例中，模型更新趋势相关度可以根据下述公式确定：
其中，d表示业务模型的模型参数维度，sign()为取值函数，Δpj表示本地训练出的业务模型中的第j个模型参数的模型参数变化值，表示所接收的业务模型中的第j个模型参数的模型参数变化值。
响应于所确定出的模型更新趋势相关度不小于第二预定阈值，在350，在对应的第一成员设备处，将所训练出的业务模型的模型更新量提供给第二成员设备。响应于所确定出的模型更新趋势相关度小于第二预定阈值，则不向第二成员设备提供所训练出的业务模型的模型更新量。
在接收到第一成员设备所发送的本地模型更新量后，在360，第二成员设备使用所接收的本地模型更新量，更新当前业务模型。所更新的业务模型作为下一循环训练过程的当前业务模型下发给各个第一成员设备来执行下一循环训练过程。
如上参照图1到图3描述了根据本说明书的实施例的联邦学习过程。要说明的是，图3示出的仅仅是例示性的实施例。在本说明书的其它实施例中，也可以对图3示出的实施例进行修改。例如，可以不执行模型更新趋势相关度的确定过程以及不执行基于模型更新趋势相关度的判断过程。
利用上述联邦学习过程，通过在具有本地数据的各个第一成员设备完成本地业务模型训练后，基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地业务模型与全局业务模型之间的模型相关性，并且仅仅在本地业务模型与全局业务模型之间具有较大的模型相关性时，才将本地将所训练出的业务模型的模型更新量提供给第二成员设备来参与全局业务模型更新，可以在不损害业务模型的模型训练精度的情况下减少第一成员设备和第二成员设备之间的通信开销，进而提升联邦学习***的模型训练效率，并且提升联邦学习***的***规模。
利用上述联邦学习方案，通过将模型相关性进一步限定为基于模型距离的第一模型相关度和基于模型分歧度的第二模型相关度，可以提升模型相关性确定的准确性，从而进一步确保不损害业务模型的模型训练精度。
利用上述联邦学习方案，通过在基于模型相关度确定出具有较大的模型相关性的情况下，进一步确定本地模型训练后的业务模型的模型更新趋势是否符合第二成员设备处的全局业务模型的模型更新趋势，并且在本地模型训练后的业务模型的模型更新趋势符合第二成员设备处的全局业务模型的模型更新趋势的情况下，才将本地模型训练出的业务模型的模型更新量发送给第二成员设备，从而进一步确保不损害业务模型的模型训练精度。
图4示出了根据本说明书的实施例的第一成员设备侧的用于训练业务模型的联邦学习装置400的方框图。如图4所示，联邦学习装置400包括模型接收单元410、模型训练单元420、模型相关度确定单元430、模型更新趋势相关度确定单元440和模型更新量提供单元450。
模型接收单元410被配置为从第二成员设备接收当前业务模型。模型接收单元410的操作可以参考上面参照图3的310描述的操作。
模型训练单元420被配置为使用本地数据训练所接收的当前业务模型。模型训练单元420的操作可以参考上面参照图3的320描述的操作。
模型相关度确定单元430被配置为基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地业务模型与从第二成员设备接收的业务模型之间的模型相关度。模型相关度确定单元430的操作可以参考上面参照图3的330描述的操作。
模型更新趋势相关度确定单元440被配置为响应于所确定出的模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势。模型更新趋势相关度确定单元440的操作可以参考上面参照图3的340描述的操作。
模型更新量提供单元450被配置为响应于所确定出的模型相关度不小于第一预定阈值且所确定出的模型更新趋势相关度不小于第二预定阈值，将所训练出的业务模型的模型更新量提供给第二成员设备，以供第二成员设备用于更新业务模型。响应于所确定出的模型相关度小于第一预定阈值或者所确定出的模型更新趋势相关度小于第二预定阈值，模型更新量提供单元450不将所训练出的业务模型的模型更新量提供给第二成员设备。模型更新量提供单元450的操作可以参考上面参照图3的350描述的操作。
在一些实施例中，模型相关度确定单元430所确定出的模型相关度可以包括下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。
在一些实施例中，模型相关度确定单元430可以先确定第一模型相关度，并基于第一模型相关度进行模型相关性判断。如果第一模型相关度不小于预定阈值，则模型相关度确定单元430确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。此时，无需进一步确定第二模型相关度以及执行相应的模型相关性判断。如果第一模型相关度小于预定阈值，则模型相关度确定单元430确定第二模型相关度，并基于第二模型相关度进行模型相关性判断。如果第二模型相关度不小于预定阈值，则模型相关度确定单元430确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。如果第二模型相关度小于预定阈值，则模型相关度确定单元430确定本地训练出的业务模型与所接收的业务模型之间存在较小的模型相关性。
在一些实施例中，模型相关度确定单元430可以先确定第二模型相关度，并基于第二模型相关度进行模型相关性判断。如果第二模型相关度不小于预定阈值，则模型相关度确定单元430确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。此时，无需进一步确定第一模型相关度以及执行相应的模型相关性判断。如果第二模型相关度小于预定阈值，则模型相关度确定单元430确定第一模型相关度，并基于第一模型相关度进行模型相关性判断。如果第一模型相关度不小于预定阈值，则模型相关度确定单元430确定本地训练出的业务模型与所接收的业务模型之间存在较大的模型相关性。如果第一模型相关度小于预定阈值，则模型相关度确定单元430确定本地训练出的业务模型与所接收的业务模型之间存在较小的模型相关性。
在一些实施例中，模型相关度确定单元430计算出第一模型相关度和第二模型相关度，所计算出的第一模型相关度和第二模型相关度分别具有权重。随后，模型相关度确定单元430基于各自的权重对第一模型相关度和第二模型相关度进行加权求和得到模型相关度，并基于所得到的模型相关度来进行模型相关性判断。
在一些实施例中，联邦学习装置400也可以不包括模型更新趋势相关度确定单元440。在这种情况下，响应于所确定出的模型相关度不小于第一预定阈值，模型更新量提供单元450将所训练出的业务模型的模型更新量提供给第二成员设备，以供第二成员设备用于更新业务模型。响应于所确定出的模型相关度小于第一预定阈值，模型更新量提供单元450不将所训练出的业务模型的模型更新量提供给第二成员设备。
图5示出了根据本说明书的实施例的第二成员设备侧的用于训练业务模型的联邦学习装置500的方框图。如图5所示，联邦学习装置500包括模型发送单元710、模型更新接收单元520和模型更新单元530。
模型发送单元510被配置为将当前业务模型发送给各个第一成员设备。模型发送单元510的操作可以参考上面参照图3的310描述的操作。
模型更新接收单元520被配置为从在各自当前模型训练过程结束后被确定为具有不小于第一预定阈值的模型相关度的第一成员设备接收各自的本地模型更新量。参数更新接收单元520的操作可以参考上面参照图3的350描述的操作。
模型更新单元530被配置为根据所接收的各个本地模型更新量，更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。模型更新单元530的操作可以参考上面参照图3的650描述的操作。
如上参照图1到图5，对根据本说明书实施例的用于业务模型训练的联邦学习方法、用于业务模型训练的联邦学习装置及联邦学习***进行了描述。上面的用于业务模型训练的联邦学习装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。
图6示出了根据本说明书的实施例的在第一成员设备侧基于计算机实现的用于训练业务模型的联邦学习装置600的示意图。如图6所示，联邦学习装置600可以包括至少一个处理器610、存储器(例如，非易失性存储器)620、内存630和通信接口640，并且至少一个处理器610、存储器620、内存630和通信接口640经由总线660连接在一起。至少一个处理器810执行在存储器中存储或编码的至少一个计算机程序(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机程序，其被执行时使得至少一个处理器610：从第二成员设备接收当前业务模型；使用本地数据训练所接收的当前业务模型；基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地业务模型更新对所述第二成员设备处的业务模型更新的模型相关度；以及响应于模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给第二成员设备，以供第二成员设备用于更新业务模型。
应该理解，在存储器中存储的计算机程序被执行时使得至少一个处理器610进行本说明书的各个实施例中以上结合图1-图4描述的各种操作和功能。
图7示出了根据本说明书的实施例的在第二成员设备侧基于计算机实现的用于训练业务模型的联邦学习装置700的示意图。如图7所示，联邦学习装置700可以包括至少一个处理器710、存储器(例如，非易失性存储器)720、内存730和通信接口740，并且至少一个处理器710、存储器720、内存730和通信接口740经由总线760连接在一起。至少一个处理器710执行在存储器中存储或编码的至少一个计算机程序(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机程序，其当执行时使得至少一个处理器710：将当前业务模型发送给各个第一成员设备；从在各自当前模型训练过程结束后被确定为具有不小于第一预定阈值的模型相关度的第一成员设备接收各自的本地模型更新量；以及根据所接收的各个本地模型更新量，更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。
应该理解，在存储器中存储的计算机程序在被执行时使得至少一个处理器710进行本说明书的各个实施例中以上结合图1-图3和图5描述的各种操作和功能。
根据一个实施例，提供了一种比如计算机可读介质(例如，非暂时性计算机可读介质)的程序产品。计算机可读介质可以具有计算机程序(即，上述以软件形式实现的元素)，该计算机程序被处理器执行时，使得处理器执行本说明书的各个实施例中以上结合图1-图5描述的各种操作和功能。具体地，可以提供配有可读存储介质的***或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此计算机可读代码和存储计算机可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
根据一个实施例，提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时，使得处理器执行本说明书的各个实施例中以上结合图1-图5描述的各种操作和功能。
本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。
需要说明的是，上述各流程和各***结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。
Claims (16)
1.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于第一成员设备，所述方法包括：
从第二成员设备接收当前业务模型；
使用本地数据训练所接收的当前业务模型；
基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；
响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势；以及
响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
2.如权利要求1所述的方法，其中，所述模型相关度包括下述中的至少一种：
基于模型距离的第一模型相关度；和
基于模型分歧度的第二模型相关度。
3.如权利要求2所述的方法，其中，所述模型分歧度基于本地训练出的业务模型的各个模型参数的模型参数变化相对值确定。
4.如权利要求3所述的方法，其中，所述模型分歧度根据下述公式确定：
其中，d表示业务模型的模型参数维度，pj表示本地训练出的业务模型中的第j个模型参数的模型参数值，以及表示所接收的业务模型中的第j个模型参数的模型参数值。
5.如权利要求2所述的方法，其中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到。
6.如权利要求1所述的方法，其中，所述模型更新趋势相关度基于本地训练出的业务模型以及所接收的业务模型的各个模型参数的变化趋势确定。
7.如权利要求6所述的方法，其中，所述模型更新趋势相关度根据下述公式确定：
其中，d表示业务模型的模型参数维度，sign()为取值函数，Δpj表示本地训练出的业务模型中的第j个模型参数的模型参数变化值，表示所接收的业务模型中的第j个模型参数的模型参数变化值。
8.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于所述第二成员设备，所述方法包括：
将当前业务模型发送给各个第一成员设备；
从在各自当前模型训练过程结束后被确定为本地训练出的业务模型与所述当前业务模型的模型相关度不小于第一预定阈值且本地训练出的业务模型与所述当前业务模型的模型更新趋势相关度不小于第二预定阈值的第一成员设备接收各自的本地模型更新量，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势；以及
根据所接收的本地模型更新量更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。
9.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述联邦学习装置应用于第一成员设备，所述联邦学习装置包括：
模型接收单元，从第二成员设备接收当前业务模型；
模型训练单元，使用本地数据训练所接收的当前业务模型；
模型相关度确定单元，基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；
模型更新趋势相关度确定单元，响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势；以及
模型更新量提供单元，响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
10.如权利要求9所述的联邦学习装置，其中，所述模型相关度包括下述中的至少一种：
基于模型距离的第一模型相关度；和
基于模型分歧度的第二模型相关度。
11.如权利要求10所述的联邦学习装置，其中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度确定单元基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到所述模型相关度。
12.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述联邦学习装置应用于所述第二成员设备，所述联邦学习装置包括：
模型发送单元，将当前业务模型发送给各个第一成员设备；
模型更新量接收单元，从在各自当前模型训练过程结束后被确定为本地训练出的业务模型与所述当前业务模型的模型相关度不小于第一预定阈值且本地训练出的业务模型与所述当前业务模型的模型更新趋势相关度不小于第二预定阈值的第一成员设备接收各自的本地模型更新量，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势；以及
模型更新单元根据所接收的本地模型更新量，更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。
13.一种联邦学习***，包括：
至少两个第一成员设备，每个第一成员设备包括如权利要求9到11中任一所述的联邦学习装置，各个第一成员设备具有本地数据；以及
第二成员设备，所述第二成员设备维护待训练的业务模型，并且包括如权利要求12所述的联邦学习装置。
14.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，包括：
至少一个处理器，
与所述至少一个处理器耦合的存储器，以及
存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1到7中任一所述的方法或者如权利要求8所述的方法。
15.一种计算机可读存储介质，其存储有可执行指令，所述指令当被执行时使得处理器执行如权利要求1到7中任一所述的方法或者如权利要求8所述的方法。
16.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行来实现如权利要求1到7中任一所述的方法或者如权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210759145.4A CN115034333B (zh) | 2022-06-29 | 2022-06-29 | 联邦学习方法、联邦学习装置及联邦学习*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210759145.4A CN115034333B (zh) | 2022-06-29 | 2022-06-29 | 联邦学习方法、联邦学习装置及联邦学习*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115034333A CN115034333A (zh) | 2022-09-09 |
| CN115034333B true CN115034333B (zh) | 2024-07-02 |
Family
ID=83126310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210759145.4A Active CN115034333B (zh) | 2022-06-29 | 2022-06-29 | 联邦学习方法、联邦学习装置及联邦学习*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115034333B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181971A (zh) * | 2020-10-27 | 2021-01-05 | 华侨大学 | 一种基于边缘的联邦学习模型清洗和设备聚类方法、***、设备和可读存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11574254B2 (en) * | 2020-04-29 | 2023-02-07 | International Business Machines Corporation | Adaptive asynchronous federated learning |
| CN111325417B (zh) * | 2020-05-15 | 2020-08-25 | 支付宝(杭州)信息技术有限公司 | 实现隐私保护的多方协同更新业务预测模型的方法及装置 |
| CN111460443B (zh) * | 2020-05-28 | 2022-09-23 | 南京大学 | 一种联邦学习中数据操纵攻击的安全防御方法 |
| CN112181666B (zh) * | 2020-10-26 | 2023-09-01 | 华侨大学 | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法 |
| KR20220067926A (ko) * | 2020-11-18 | 2022-05-25 | 성균관대학교산학협력단 | 연합학습 모델에서 이상 클라이언트를 제거하는 방법 |
| CN113377797B (zh) * | 2021-07-02 | 2023-03-28 | 支付宝(杭州)信息技术有限公司 | 联合更新模型的方法、装置及*** |
| CN114186237B (zh) * | 2021-10-26 | 2024-07-19 | 北京理工大学 | 一种基于真值发现的鲁棒性联邦学习模型聚合方法 |
| CN113962322B (zh) * | 2021-11-01 | 2022-05-17 | 浙江大学 | 基于联邦学习的后门攻击防御方法、***及可存储介质 |
| CN114091617B (zh) * | 2021-11-29 | 2024-06-21 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、电子设备、存储介质及程序产品 |
| CN114676849A (zh) * | 2022-03-24 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 基于联邦学习进行模型参数更新的方法及*** |
-
2022
- 2022-06-29 CN CN202210759145.4A patent/CN115034333B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181971A (zh) * | 2020-10-27 | 2021-01-05 | 华侨大学 | 一种基于边缘的联邦学习模型清洗和设备聚类方法、***、设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115034333A (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929870B (zh) | 图神经网络模型训练方法、装置及*** | |
| CN111915023B (zh) | 一种基于联邦学习的超参数确定方法及装置 | |
| CN112052942B (zh) | 神经网络模型训练方法、装置及*** | |
| WO2018212710A1 (en) | Predictive analysis methods and systems | |
| CN112580826B (zh) | 业务模型训练方法、装置及*** | |
| CN111695415A (zh) | 图像识别模型的构建方法、识别方法及相关设备 | |
| CN109740620A (zh) | 人群画像分类模型的建立方法、装置、设备和存储介质 | |
| CN111428217B (zh) | 欺诈团伙识别方法、装置、电子设备及计算机可读存储介质 | |
| WO2019191266A1 (en) | Object classification method, apparatus, server, and storage medium | |
| CN111738438B (zh) | 图神经网络模型训练方法、装置及*** | |
| US11886955B2 (en) | Self-supervised data obfuscation in foundation models | |
| CN112132270A (zh) | 基于隐私保护的神经网络模型训练方法、装置及*** | |
| CN112149699A (zh) | 用于生成模型的方法、装置和用于识别图像的方法、装置 | |
| CN111368983A (zh) | 业务模型训练方法、装置及业务模型训练*** | |
| CN114757364A (zh) | 基于图神经网络的联邦学习方法、装置及联邦学习*** | |
| CN113033824B (zh) | 模型超参数确定方法、模型训练方法及*** | |
| CN117392260B (zh) | 一种图像生成方法及装置 | |
| CN112288088B (zh) | 业务模型训练方法、装置及*** | |
| CN115034333B (zh) | 联邦学习方法、联邦学习装置及联邦学习*** | |
| US20240161117A1 (en) | Trigger-Based Electronic Fund Transfers | |
| CN112966809B (zh) | 基于隐私保护的两方模型预测方法、装置及*** | |
| CN114493850A (zh) | 基于人工智能的在线公证方法、***及存储介质 | |
| CN111931870A (zh) | 基于模型复用的模型预测方法、模型预测装置及*** | |
| CN115169451A (zh) | 联邦学习方法、联邦学习装置及联邦学习*** | |
| CN112214387B (zh) | 基于知识图谱的用户操作行为预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |