CN117077817A - 一种基于标签分布的个性化联邦学习模型训练方法及装置 - Google Patents
一种基于标签分布的个性化联邦学习模型训练方法及装置 Download PDFInfo
- Publication number
- CN117077817A CN117077817A CN202311328295.0A CN202311328295A CN117077817A CN 117077817 A CN117077817 A CN 117077817A CN 202311328295 A CN202311328295 A CN 202311328295A CN 117077817 A CN117077817 A CN 117077817A
- Authority
- CN
- China
- Prior art keywords
- client
- model
- parameters
- trained
- clients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 105
- 238000012549 training Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本说明书公开了一种基于标签分布的个性化联邦学习模型训练方法及装置。所述任务执行方法包括：根据获取到的目标模型的初始化模型参数，针对每个客户端，将初始化模型参数发送给该客户端，以使该客户端在本地部署待训练模型，并通过该客户端的本地数据，对待训练模型进行训练，并获取各客户端训练更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布，以得到每个客户端对应的客户端簇。针对每个客户端，融合该客户端对应的客户端簇中包含的各客户端发送的更新后的模型参数，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
Description
技术领域
本说明书涉及人工智能领域，尤其涉及一种基于标签分布的个性化联邦学习模型训练方法及装置。
背景技术
随着大数据和移动互联网的快速发展，神经网络模型在各个领域都有应用，其中，一个复杂的深度神经网络模型需要大量数据来训练，由于数据隐私保护的原因，联邦学习应运而生。在训练神经网络模型时，采用联邦学习的方式可以在不共享原始数据的情况下对模型进行训练，保护了个体数据的隐私。
然而在实际应用中，各个客户端本地的数据在分布是有所不同，这就导致在联邦学习的方法下训练出的神经网络模型其输出结果往往不够准确，且不一定适合所有客户端所面临的实际业务场景。
基于此，如何提高神经网络模型训练的准确性，解决联邦学习中产生的数据异质性的问题，以得到更贴合各个客户端的个性化模型，则是一个亟待解决的问题。
发明内容
本说明书提供一种基于标签分布的个性化联邦学习模型训练方法及装置，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种基于标签分布的个性化联邦学习模型训练方法，包括：
服务器获取目标模型的初始化模型参数；
针对每个客户端，将所述初始化模型参数发送给该客户端，以使该客户端根据所述初始化模型参数，在该客户端本地部署待训练模型，并通过该客户端的本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
获取各客户端上传的更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布；
针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇；
针对每个客户端，对该客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
可选地，针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇，具体包括：
针对每个客户端，基于所述标签分布，分别确定该客户端与其他客户端所使用的本地数据之间的相似度；
根据确定出的该客户端与其他客户端所使用的本地数据之间的相似度，进行客户端聚类，得到以该客户端为聚类中心的客户端簇。
可选地，根据确定出的该客户端与其他客户端所使用的本地数据之间的相似度，进行客户端聚类，得到以该客户端为聚类中心的客户端簇，具体包括：
根据当前的模型训练轮次，确定当前的模型训练轮次所对应的相似度阈值，其中，若当前的模型训练轮次越大，当前的模型训练轮次所对应的相似度阈值越小；
针对除该客户端以外的任意一个其他客户端，若该客户端与该其他客户端所使用的本地数据之间的相似度小于所述相似度阈值，则将该其他客户端聚类到该客户端对应的客户端簇中。
可选地，所述目标任务包括：
通过更新后的模型对医学影像数据进行识别，以输出图像识别结果；
针对每个客户端，该客户端的本地数据包括：该客户端本地的医学影像数据。
本说明书提供了一种基于标签分布的个性化联邦学习模型训练方法，包括：
客户端获取服务器下发的针对目标模型的初始化模型参数；
通过所述初始化模型参数，在本地部署待训练模型，并通过本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
将所述更新后的模型参数以及训练本地部署的待训练模型时所使用的本地数据的标签分布发送给服务器，以使所述服务器根据所述客户端上传的所述标签分布以及其他客户端上传的标签分布进行聚类，得到以所述客户端为聚类中心的客户端簇，作为所述客户端对应的客户端簇，并对所述客户端对应的客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，以将得到的融合后参数发送给所述客户端；
获取所述服务器下发的融合后参数，并根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
本说明书提供了一种基于标签分布的个性化联邦学习模型训练装置，包括：
初始模块，获取目标模型的初始化模型参数；
发送模块，针对每个客户端，将所述初始化模型参数发送给该客户端，以使该客户端根据所述初始化模型参数，在该客户端本地部署待训练模型，并通过该客户端的本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
获取模块，获取各客户端上传的更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布；
聚类模块，针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇；
融合模块，针对每个客户端，对该客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
可选地，所述聚类模块具体用于，针对每个客户端，基于所述标签分布，分别确定该客户端与其他客户端所使用的本地数据之间的相似度；根据确定出的该客户端与其他客户端所使用的本地数据之间的相似度，进行客户端聚类，得到以该客户端为聚类中心的客户端簇。
本说明书提供了一种基于标签分布的个性化联邦学习模型训练装置，包括：
获取模块，获取服务器下发的针对目标模型的初始化模型参数；
训练模块，通过所述初始化模型参数，在本地部署待训练模型，并通过本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
发送模块，将所述更新后的模型参数以及训练本地部署的待训练模型时所使用的本地数据的标签分布发送给服务器，以使所述服务器根据所述装置上传的所述标签分布以及其他客户端上传的标签分布进行聚类，得到以所述装置为聚类中心的客户端簇，作为所述装置对应的客户端簇，并对所述装置对应的客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，以将得到的融合后参数发送给所述装置；
更新模块，获取所述服务器下发的融合后参数，并根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于标签分布的个性化联邦学习模型训练的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于标签分布的个性化联邦学习模型训练的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的基于标签分布的个性化联邦学习模型训练方法中，根据获取到的目标模型的初始化模型参数，针对每个客户端，将初始化模型参数发送给该客户端，以使该客户端在本地部署待训练模型，并通过该客户端的本地数据，对待训练模型进行训练，并获取各客户端训练更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布，以得到每个客户端对应的客户端簇。针对每个客户端，融合该客户端对应的客户端簇中包含的各客户端发送的更新后的模型参数，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
从上述方法可以看出，在本说明书提供的基于标签分布的个性化联邦学习模型训练方法中，服务器会根据各个客户端上传的对待训练模型训练后更新的参数以及训练待训练模型时使用的本地数据的标签分布，对有着相似标签分布的客户端进行聚类，再对得到的各客户端簇中的模型参数进行融合，从而得到输出结果更加准确的神经网络模型，并且得到的神经网络模型将更加符合所有客户端面临的实际业务场景，不仅解决了联邦学习中产生的数据异质性的问题，而且得到了更贴合各个客户端的个性化神经网络模型。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种基于标签分布的个性化联邦学习模型训练方法的流程示意图；
图2为本说明书提供的一种基于标签分布的聚类并下发模型参数的过程示意图；
图3为本说明书中提供的一种基于标签分布的个性化联邦学习模型训练方法的流程示意图；
图4为本说明书提供的一种基于标签分布的个性化联邦学习模型训练装置的示意图；
图5为本说明书提供的一种基于标签分布的个性化联邦学习模型训练装置的示意图；
图6为本说明书提供的一种对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种基于标签分布的个性化联邦学习模型训练方法的流程示意图，包括以下步骤：
S101：服务器获取目标模型的初始化模型参数。
联邦学习是一种机器学习方法，旨在让多个参与方共同训练一个机器学习模型，而不需要将原始数据集集中在一个地方。联邦学习的基本原理是通过迭代的方式将全局模型在参与方之间进行更新和聚合，以达到共同学习的目的。
然而，在联邦学习中，真实场景下客户端的本地数据的分布往往是不同的，这就造成了采用联邦学习算法得到的神经网络模型输出的结果往往不够准确，不能符合所有客户端面临的实际业务场景，甚至不如客户端在本地利用本地数据单独训练出的模型，这就需要一个新方案来解决联邦学习中数据异质性的问题，以得到更符合各个客户端的个性化神经网络模型。
基于此，本说明书提供了一种基于标签分布的个性化联邦学习模型训练方法，对各个客户端本地数据的标签分布进行相似度计算，得到本地数据标签分布相似的客户端，针对每个客户端，以该客户端为聚类中心进行客户端聚类，得到以该客户端为聚类中心进行客户端簇，再对该客户端簇中所包含的各客户端的模型参数进行融合，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对该客户端在本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。这种方式能够在各客户端本地数据的标签分布不同的情况下，得到输出结果更加准确的神经网络模型，解决了联邦学习带来的数据异质性的问题，从而保证神经网络模型训练的效果，得到更加个性化的神经网络模型。
在基于标签分布的个性化联邦学习模型训练方法中，服务器首先需要给目标模型中的参数（如网络权重）赋初值，其中，初始化模型参数的方法有很多种，例如，采用随机初始化的方式，将参数随机初始化；再例如，采用通过预训练方式训练目标模型所得到的模型参数，作为获取到的目标模型的初始化模型参数。
S102：针对每个客户端，将所述初始化模型参数发送给该客户端，以使该客户端根据所述初始化模型参数，在该客户端本地部署待训练模型，并通过该客户端的本地数据，对所述待训练模型进行训练，以得到更新后的模型参数。
在本说明书中，针对每个客户端，服务器将初始化的模型参数发送给该客户端，以使该客户端根据服务器下发的模型参数，对本地的待训练模型进行部署，再基于该客户端的本地数据，对待训练模型进行训练。其中，客户端可以采用多种算法对本地部署的待训练模型进行训练，例如，采用随机梯度下降法(Stochastic Gradient Descent，SGD)来更新本地的待训练模型的模型参数，其中，SGD是一种优化算法，用于神经网络训练中的参数学习。
S103：获取各客户端上传的更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布。
在实际应用中，各客户端所使用的本地数据往往存在差异，如果忽略各客户端在本地数据上的差异而训练一个统一的模型，则可能会导致任意一个客户端通过训练后的模型执行任务时，可能会得到与自身所面临的实际业务情况不符的业务结果。
例如，若是在医疗场景下，各客户端代表着参加模型训练的医疗机构所使用的客户端，各个医疗机构中的病人由于年龄、运动频率、生活习惯等差异，其留存的病人信息和诊断结果的数据分布往往是不同的。假设，一个医疗机构主要面向针对男性的癌症筛查，所以，所使用的数据可能大部分都是男性的医学影像数据，如果通过传统的联邦学习方式使用所有医疗机构中所用患者的医学影像数据训练出一个统一的医学影像识别模型，那么，大量女性的医学影像数据在模型训练阶段的使用，会对该医疗机构所部署的统一医学影像识别模型引入识别噪声，从而降低该医疗机构对男性的癌症筛查的诊断准确性。
为了避免上述问题，在本说明书中，服务器需要获取各客户端上传的更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布，其中，这里公式中的i代表客户端i。
上述这里提到的标签分布主要是用于表示一个客户端所使用的本地数据中各类数据的占比。继续沿用上例，对于一个医疗机构所使用的客户端来说，其所使用的本地数据的标签分布可以用于表示男性的医学影像数据的占比和女性的医学影像数据的占比。
当然，上述提到的标签分布也可以用于体现客户端对本地数据进行识别后所得到的各类识别结果的占比。继续沿用上例，对于一个医疗机构所使用的客户端来说，其所使用的本地数据的标签分布也可以用于表示医学影像数据中包含有癌症细胞图像的医学影像数据的占比，以及医学影像数据中不包含有癌症细胞图像的医学影像数据的占比。
需要说明的是，每个客户端训练各自的待训练模型时所使用的本地数据的标签分布只需要发送一次，而且该标签分布可以保留在服务器，而客户端的本地数据不需要上传，从而保护客户的数据隐私。
S104：针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇。
在本说明书中，服务器基于每个客户端上传的训练各自的待训练模型时所使用的本地数据的标签分布，来确定各客户端本地数据的标签分布之间的距离。具体地，当计算两个客户端本地数据的标签分布之间的距离时，首先假设客户端i和客户端j本地数据的标签分布分别是和/>，那么它们之间的距离可以通过以下公式进行表示：
其中，针对客户端i而言，服务器可以计算客户端i和每个其他客户端本地数据的标签分布之间的距离，得到一组数据，其中m表示所有参加模型训练的客户总数：
上述只写明了关于客户端i的计算公式，同理，针对任意两个客户端，服务器可以根据这两个客户端本地数据的标签分布之间的距离，确定两个客户端本地数据之间的相似度。其中，这两个客户端本地数据的标签分布之间的距离越小，说明这两个客户端训练待训练模型所使用的本地数据之间相似度越高。
进一步地，在本说明书中，服务器中可以设定一个减函数，/>为在模型训练的第/>个训练轮次所对应的相似度阈值，相似度阈值/>的值与迭代轮次/>之间成负相关，具体地，若当前的模型训练轮次越大，当前的模型训练轮次所对应的相似度阈值越小。
然后，针对任意两个客户端，服务器可以通过比较该两个客户端本地数据之间的相似度和相似度阈值的大小，来对客户端进行聚类。其中，若该两个客户端所使用的本地数据之间的相似度小于相似度阈值/>，则可以将该两个客户端聚类到一个客户端簇中。例如，服务器可以先确定客户端i与其他所有参与模型训练的其他客户端的本地数据的相似度，再将得到的相似度与相似度阈值/>进行对比，从而可以得到客户端i的相似客户集/>。
总结来说，如果, 那么客户端/>。也就是说在第t个训练轮次，客户端j的本地数据与客户端i的本地数据相似度小于相似度阈值，客户端j的模型参数和客户端i的模型参数可以帮助彼此完成个性化的模型训练。根据上述方式，服务器可以对客户端进行聚类，得到相似集/>，该集合也可以视为服务器对客户端进行聚类所得到的客户端簇。
需要指出的是，上述内容主要是用于描述具体采用何种方式来确定两个客户端所使用的本地数据之间的相似度，但是在本说明书中，实际上需要针对每个客户端，都确定出以该客户端为聚类中心的客户端簇。也就是说，对于任意一个客户端来说，服务器需要分别计算其他客户端与该客户端在所使用的本地数据上的相似度，进而确定出哪些其他客户端所使用的本地数据与该客户端所使用的本地数据是高度相似的，进而确定出以该客户端为聚类中心的客户端簇。而在后续过程中，通过该客户端簇所得到的融合后参数，也只会下发给该客户端，也不会下发给该客户簇中包含的其他客户端。
也即，在确定出该客户端对应的融合后参数时，该客户端对应的客户端簇中包含的其他客户端主要是起到辅助的作用，其目的还是确定该客户端所要使用的融合后参数，如图2所示。
图2为本说明书提供的一种基于标签分布的聚类并下发模型参数的过程示意图。
其中，假设有客户端A、B、C、D、E，以客户端A为聚类中心，得到与客户端A具有相似标签分布的其他客户端，分别为客户端B和客户端C，形成以该客户端A为聚类中心的客户端簇，该客户端簇中包含客户端A、B和C。服务器将该客户端簇中所有客户端的模型参数进行融合，再将融合后参数只下发给客户端A。
而对于客户端B来说，以客户端B为聚类中心，得到与客户端B具有相似标签分布的客户端C，形成以该客户端B为聚类中心的客户端簇，该客户端簇中包含客户端B和客户端C。服务器将该客户端簇中所有客户端的模型参数进行融合，再将融合后参数只下发给客户端B。
对于客户端C，以客户端C为聚类中心，得到与客户端C具有相似标签分布的客户端D和客户端E，形成以该客户端C为聚类中心的客户端簇，该客户端簇中包含客户端C、D和E。服务器将该客户端簇中所有客户端的模型参数进行融合，再将融合后参数只下发给客户端C。
对于客户端D，以客户端D为聚类中心，得到与客户端D具有相似标签分布的其他客户端，分别为客户端C和客户端E，形成以该客户端D为聚类中心的客户端簇，该客户端簇中包含客户端C、D和E。服务器将该客户端簇中所有客户端的模型参数进行融合，再将融合后参数只下发给客户端D。
对于客户端E，以客户端E为聚类中心，得到与客户端E具有相似标签分布的其他客户端，分别为客户端A和客户端C，形成以该客户端E为聚类中心的客户端簇，该客户端簇中包含客户端A、C和E。服务器将该客户端簇中所有客户端的模型参数进行融合，再将融合后参数只下发给客户端E。
S105：针对每个客户端，对该客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
针对每个客户端，以该客户端为聚类中心进行客户端聚类，得到以该客户端为聚类中心的客户端簇，服务器可以针对每个客户端，对该客户端簇中所包含的各客户端上传的更新后的模型参数进行融合。具体地，服务器需要可以采用参数平均的方式，对中所包含的各客户端上传的更新后的模型参数进行融合，具体可以参考如下公式：
其中，代表在第t轮训练中对该客户端簇中所包含的所有客户端的模型参数进行融合后得到的模型参数。/>中的t代表模型训练中的第t个训练轮次，k代表在该客户端簇中的第k个客户端，所以，/>意为在第t个训练轮次中，该客户端簇中的第k个客户端的模型参数。
在得到融合后参数后，服务器可以将融合后参数下发给该客户端，并对该客户端在本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
其中，对于任意客户端来说，在得到融合后参数后，各客户端使用融合后参数对本地模型参数进行更新，以得到更新后的模型，而后，各客户端继续根据本地数据以及预设的损失函数，对更新后的模型进行训练。
在本说明书中，客户端所采用的损失函数具体如下述公式表示：
在上述公式中，为客户端簇/>（/>用于表示在第t轮训练中以客户端i为聚类中心所得到的客户端簇）中第k个客户端的损失函数。而从这一损失函数中可以看出，实际上是希望一个客户端簇中所有的客户端中部署的模型在训练过程中所产生的损失值之和尽可能的最小，以使得该客户端簇中包含的各客户端在本地所部署的模型能够到达一个轮次的训练目标。客户端通过上述方式对本地部署的模型进行训练后，也将通过模型训练所得到的更新后的模型参数再返回给服务器，服务器继续通过上述方式对更新后的模型参数进行融合。
从上述过程中可以看出，随着训练轮次的不断迭代，对客户端进行聚类的聚类精度也在不断的提高（即随着训练轮次的增加，一个客户端簇中所包含的客户端的数量会不断减少，但是聚集在一个簇中的客户端所使用的本地数据在标签分布上则会越发的接近），这样可以使得服务器最终确定出的一个客户端的融合后参数，是基于在实际业务场景上与该客户端高度相似的其他客户端所使用的训练数据为该客户端量身定制的，从而在一定程度上体现了客户端本地部署的模型的个性化，使得客户端本地部署的模型能够更加符合该客户端的实际业务场景，提升了客户端的业务准确性。
训练后的本地模型可以用于执行目标任务，目标任务可以是根据上述方法继续训练模型，以通过不断的迭代，最终得到训练好的模型。当然，目标任务也可以是指其他形式的任务，例如，如果是将模型应用在医疗场景中，则训练后的模型可以执行病情诊断的目标任务，比如说，可以将患者的医学影像数据输入到更新后的模型中，该更新后的模型可以输出图像识别结果，如针对癌症病变组织的识别结果。
在本说明书中，针对每个客户端，基于所述标签分布，服务器端以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇，再将任意客户端簇中的所有客户端上传的模型参数进行融合，再将融合后的模型参数下发给该客户端，以使该客户端根据融合后的模型参数继续执行目标任务。这种方式能够在各客户端本地数据的标签分布不同的情况下，让各个客户端得到输出结果更加准确的神经网络模型，并且得到的神经网络模型将更加符合所有客户端面临的实际业务场景，不仅解决了联邦学习中产生的数据异质性的问题，而且得到了更贴合各个客户端的个性化神经网络模型。
以上所述是以服务器为执行主体的说明，本说明书中的客户端对于传统的联邦学习来说也所改进，那么接下来将以客户端为执行主体，对本申请进行说明。
图3为本说明书中提供的一种基于标签分布的个性化联邦学习模型训练方法的流程示意图。
S301：客户端获取服务器下发的针对目标模型的初始化模型参数。
客户端首先需要获取服务器下发的针对目标模型的初始化模型参数，其中，服务器对模型参数的初始化已在上述S101中进行了具体说明，在此不再进行描述。
S302：通过所述初始化模型参数，在本地部署待训练模型，并通过本地数据，对所述待训练模型进行训练，以得到更新后的模型参数。
客户端根据服务器下发的初始化模型参数，在本地部署待训练模型，再根据本地数据，对本地的待训练模型进行训练，其中，可以采用随机梯度下降等方法对模型进行训练，以对模型参数进行更新。具体过程已在上述S102中说明，在此不再赘述。
S303：将所述更新后的模型参数以及训练本地部署的待训练模型时所使用的本地数据的标签分布发送给服务器，以使所述服务器根据所述客户端上传的所述标签分布以及其他客户端上传的标签分布进行聚类，得到以所述客户端为聚类中心的客户端簇，作为所述客户端对应的客户端簇，并对所述客户端对应的客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，以将得到的融合后参数发送给所述客户端。
客户端将更新后的模型参数发送给服务器，以及训练本地部署的待训练模型时所使用的本地数据的标签分布发送给服务器，其中，各客户端训练各自的待训练模型时所使用的本地数据的标签分布只需要发送一次。接下来，针对任意客户端，服务器需要根据所有参与训练的客户端所发送的标签分布以该客户端为聚类中心对客户端进行聚类，形成以该客户端为聚类中心的客户端簇，再将该客户端簇中所包含的客户端的模型参数进行融合，得到融合后的参数。具体过程已在上述S103、S104和S105中进行了具体说明，在此不再进行描述。
S304：获取所述服务器下发的融合后参数，并根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
客户端获取服务器融合后的模型参数，再根据融合后的参数，对本地部署的待训练模型进行训练，以更新本地部署的待训练模型的参数，更新后的模型继续执行目标任务。其中，目标任务可以是根据上述方法继续训练模型，以通过不断的迭代，最终得到训练好的模型；目标任务也可以是指其他形式的任务，例如，如果是将模型应用在医疗场景中，则训练后的模型可以执行病情诊断的目标任务。
以上为本说明书的一个或多个实施基于标签分布的个性化联邦学习模型训练方法，基于同样的思路，本说明书还提供了相应的基于标签分布的个性化联邦学习模型训练装置，如图4、图5所示。
图4为本说明书提供的一种基于标签分布的个性化联邦学习模型训练装置的示意图，包括：
初始模块401，用于获取目标模型的初始化模型参数；
发送模块402，用于针对每个客户端，将所述初始化模型参数发送给该客户端，以使该客户端根据所述初始化模型参数，在该客户端本地部署待训练模型，并通过该客户端的本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
获取模块403，用于获取各客户端上传的更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布；
聚类模块404，用于针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇；
融合模块405，针对每个客户端，对该客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
可选地，所述聚类模块404具体用于，针对每个客户端，基于所述标签分布，分别确定该客户端与其他客户端所使用的本地数据之间的相似度；根据确定出的该客户端与其他客户端所使用的本地数据之间的相似度，进行客户端聚类，得到以该客户端为聚类中心的客户端簇。
可选地，所述聚类模块404具体用于，根据当前的模型训练轮次，确定当前的模型训练轮次所对应的相似度阈值，其中，若当前的模型训练轮次越大，当前的模型训练轮次所对应的相似度阈值越小；针对除该客户端以外的任意一个其他客户端，若该客户端与该其他客户端所使用的本地数据之间的相似度小于所述相似度阈值，则将该其他客户端聚类到该客户端对应的客户端簇中。
可选地，所述目标任务包括：通过更新后的模型对医学影像数据进行识别，以输出图像识别结果；针对每个客户端，该客户端的本地数据包括：该客户端本地的医学影像数据。
图5为本说明书提供的一种基于标签分布的个性化联邦学习模型训练装置的示意图，包括：
获取模块501，用于获取服务器端下发的针对目标模型的初始化模型参数；
训练模块502，用于通过所述初始化模型参数，在本地部署待训练模型，并通过本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
发送模块503，用于将所述更新后的模型参数以及训练本地部署的待训练模型时所使用的本地数据的标签分布发送给服务器，以使所述服务器根据所述装置上传的所述标签分布以及其他客户端上传的标签分布进行聚类，得到以所述装置为聚类中心的客户端簇，作为所述装置对应的客户端簇，并对所述装置对应的客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，以将得到的融合后参数发送给所述装置；
更新模块504，用于获取所述服务器下发的融合后参数，并根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种基于标签分布的个性化联邦学习模型训练方法。
本说明书还提供了图6所示的一种对应于图1的电子设备的示意结构图。如图6所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的基于标签分布的个性化联邦学习模型训练方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、***、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种基于标签分布的个性化联邦学习模型训练方法，其特征在于，包括：
服务器获取目标模型的初始化模型参数；
针对每个客户端，将所述初始化模型参数发送给该客户端，以使该客户端根据所述初始化模型参数，在该客户端本地部署待训练模型，并通过该客户端的本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
获取各客户端上传的更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布；
针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇；
针对每个客户端，对该客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
2.如权利要求1所述的方法，其特征在于，针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇，具体包括：
针对每个客户端，基于所述标签分布，分别确定该客户端与其他客户端所使用的本地数据之间的相似度；
根据确定出的该客户端与其他客户端所使用的本地数据之间的相似度，进行客户端聚类，得到以该客户端为聚类中心的客户端簇。
3.如权利要求2所述的方法，其特征在于，根据确定出的该客户端与其他客户端所使用的本地数据之间的相似度，进行客户端聚类，得到以该客户端为聚类中心的客户端簇，具体包括：
根据当前的模型训练轮次，确定当前的模型训练轮次所对应的相似度阈值，其中，若当前的模型训练轮次越大，当前的模型训练轮次所对应的相似度阈值越小；
针对除该客户端以外的任意一个其他客户端，若该客户端与该其他客户端所使用的本地数据之间的相似度小于所述相似度阈值，则将该其他客户端聚类到该客户端对应的客户端簇中。
4.如权利要求1~3任一项所述的方法，其特征在于，所述目标任务包括：通过更新后的模型对医学影像数据进行识别，以输出图像识别结果；
针对每个客户端，该客户端的本地数据包括：该客户端本地的医学影像数据。
5.一种基于标签分布的个性化联邦学习模型训练方法，其特征在于，包括：
客户端获取服务器下发的针对目标模型的初始化模型参数；
通过所述初始化模型参数，在本地部署待训练模型，并通过本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
将所述更新后的模型参数以及训练本地部署的待训练模型时所使用的本地数据的标签分布发送给服务器，以使所述服务器根据所述客户端上传的所述标签分布以及其他客户端上传的标签分布进行聚类，得到以所述客户端为聚类中心的客户端簇，作为所述客户端对应的客户端簇，并对所述客户端对应的客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，以将得到的融合后参数发送给所述客户端；
获取所述服务器下发的融合后参数，并根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
6.一种基于标签分布的个性化联邦学习模型训练装置，其特征在于，包括：
初始模块，获取目标模型的初始化模型参数；
发送模块，针对每个客户端，将所述初始化模型参数发送给该客户端，以使该客户端根据所述初始化模型参数，在该客户端本地部署待训练模型，并通过该客户端的本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
获取模块，获取各客户端上传的更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布；
聚类模块，针对每个客户端，基于所述标签分布，以该客户端为聚类中心进行客户端聚类，得到该客户端对应的客户端簇；
融合模块，针对每个客户端，对该客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
7.如权利要求6所述的装置，其特征在于，所述聚类模块具体用于，针对每个客户端，基于所述标签分布，分别确定该客户端与其他客户端所使用的本地数据之间的相似度；根据确定出的该客户端与其他客户端所使用的本地数据之间的相似度，进行客户端聚类，得到以该客户端为聚类中心的客户端簇。
8.一种基于标签分布的个性化联邦学习模型训练装置，其特征在于，包括：
获取模块，获取服务器下发的针对目标模型的初始化模型参数；
训练模块，通过所述初始化模型参数，在本地部署待训练模型，并通过本地数据，对所述待训练模型进行训练，以得到更新后的模型参数；
发送模块，将所述更新后的模型参数以及训练本地部署的待训练模型时所使用的本地数据的标签分布发送给服务器，以使所述服务器根据所述装置上传的所述标签分布以及其他客户端上传的标签分布进行聚类，得到以所述装置为聚类中心的客户端簇，作为所述装置对应的客户端簇，并对所述装置对应的客户端簇中所包含的各客户端所发送的更新后的模型参数进行融合，以将得到的融合后参数发送给所述装置；
更新模块，获取所述服务器下发的融合后参数，并根据所述融合后参数，对本地部署的待训练模型进行参数更新，以通过更新后的模型执行目标任务。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~5任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311328295.0A CN117077817B (zh) | 2023-10-13 | 2023-10-13 | 一种基于标签分布的个性化联邦学习模型训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311328295.0A CN117077817B (zh) | 2023-10-13 | 2023-10-13 | 一种基于标签分布的个性化联邦学习模型训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117077817A true CN117077817A (zh) | 2023-11-17 |
| CN117077817B CN117077817B (zh) | 2024-01-30 |
Family
ID=88713668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311328295.0A Active CN117077817B (zh) | 2023-10-13 | 2023-10-13 | 一种基于标签分布的个性化联邦学习模型训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117077817B (zh) |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033820A (zh) * | 2021-03-25 | 2021-06-25 | 支付宝(杭州)信息技术有限公司 | 联邦学习方法、装置以及设备 |
| CN113487351A (zh) * | 2021-07-05 | 2021-10-08 | 哈尔滨工业大学（深圳） | 隐私保护广告点击率预测方法、装置、服务器及存储介质 |
| CN113988314A (zh) * | 2021-11-09 | 2022-01-28 | 长春理工大学 | 一种选择客户端的分簇联邦学习方法及*** |
| CN114186237A (zh) * | 2021-10-26 | 2022-03-15 | 北京理工大学 | 一种基于真值发现的鲁棒性联邦学习模型聚合方法 |
| CN114357067A (zh) * | 2021-12-15 | 2022-04-15 | 华南理工大学 | 一种针对数据异构性的个性化联邦元学习方法 |
| WO2022105022A1 (zh) * | 2020-11-18 | 2022-05-27 | 杭州趣链科技有限公司 | 基于联邦学习的机器学习方法、电子装置和存储介质 |
| WO2022111639A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 联邦学习方法、装置、设备、***及计算机可读存储介质 |
| CN114758784A (zh) * | 2022-03-29 | 2022-07-15 | 南京理工大学 | 一种基于聚类算法分配联邦学习中参与者权重的方法 |
| WO2022162677A1 (en) * | 2021-01-29 | 2022-08-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Distributed machine learning with new labels using heterogeneous label distribution |
| CN115239675A (zh) * | 2022-07-29 | 2022-10-25 | 平安科技（深圳）有限公司 | 分类模型的训练方法、图像分类方法和装置、设备及介质 |
| CN115238909A (zh) * | 2022-06-28 | 2022-10-25 | 华为技术有限公司 | 一种基于联邦学习的数据价值评估方法及其相关设备 |
| CN115238908A (zh) * | 2022-03-15 | 2022-10-25 | 华东师范大学 | 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法 |
| CN115311478A (zh) * | 2022-08-16 | 2022-11-08 | 悉科大创新研究(深圳)有限公司 | 一种基于图深度聚类的联邦影像分类方法、存储介质 |
| US20220358417A1 (en) * | 2021-04-29 | 2022-11-10 | Zhejiang University | FEDERATED LEARNING METHOD FOR k-means CLUSTERING ALGORITHM |
| CN115329885A (zh) * | 2022-08-23 | 2022-11-11 | 浙江工业大学 | 一种基于隐私保护的个性化联邦学习方法和装置 |
| CN115344883A (zh) * | 2022-06-29 | 2022-11-15 | 上海工程技术大学 | 一种用于处理不平衡数据的个性化联邦学习方法和装置 |
| CN115577301A (zh) * | 2022-09-27 | 2023-01-06 | 华中科技大学 | 一种用于分布式***的个性化拆分学习方法及应用 |
| CN115577360A (zh) * | 2022-11-14 | 2023-01-06 | 湖南大学 | 一种不依赖梯度的聚类联邦学习方法及*** |
| CN115796310A (zh) * | 2022-11-08 | 2023-03-14 | 北京百度网讯科技有限公司 | 信息推荐及模型训练方法、装置、设备和存储介质 |
| CN116204599A (zh) * | 2023-05-06 | 2023-06-02 | 成都三合力通科技有限公司 | 基于联邦学习的用户信息分析***及方法 |
| CN116471286A (zh) * | 2023-03-30 | 2023-07-21 | 上海电信科技发展有限公司 | 基于区块链及联邦学习的物联网数据共享方法 |
| CN116540876A (zh) * | 2023-05-09 | 2023-08-04 | 合肥工业大学 | 一种基于个体信息的个性化联邦学习的人体动作识别方法 |
-
2023
- 2023-10-13 CN CN202311328295.0A patent/CN117077817B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022105022A1 (zh) * | 2020-11-18 | 2022-05-27 | 杭州趣链科技有限公司 | 基于联邦学习的机器学习方法、电子装置和存储介质 |
| WO2022111639A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 联邦学习方法、装置、设备、***及计算机可读存储介质 |
| WO2022162677A1 (en) * | 2021-01-29 | 2022-08-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Distributed machine learning with new labels using heterogeneous label distribution |
| CN113033820A (zh) * | 2021-03-25 | 2021-06-25 | 支付宝(杭州)信息技术有限公司 | 联邦学习方法、装置以及设备 |
| US20220358417A1 (en) * | 2021-04-29 | 2022-11-10 | Zhejiang University | FEDERATED LEARNING METHOD FOR k-means CLUSTERING ALGORITHM |
| CN113487351A (zh) * | 2021-07-05 | 2021-10-08 | 哈尔滨工业大学（深圳） | 隐私保护广告点击率预测方法、装置、服务器及存储介质 |
| CN114186237A (zh) * | 2021-10-26 | 2022-03-15 | 北京理工大学 | 一种基于真值发现的鲁棒性联邦学习模型聚合方法 |
| CN113988314A (zh) * | 2021-11-09 | 2022-01-28 | 长春理工大学 | 一种选择客户端的分簇联邦学习方法及*** |
| CN114357067A (zh) * | 2021-12-15 | 2022-04-15 | 华南理工大学 | 一种针对数据异构性的个性化联邦元学习方法 |
| CN115238908A (zh) * | 2022-03-15 | 2022-10-25 | 华东师范大学 | 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法 |
| CN114758784A (zh) * | 2022-03-29 | 2022-07-15 | 南京理工大学 | 一种基于聚类算法分配联邦学习中参与者权重的方法 |
| CN115238909A (zh) * | 2022-06-28 | 2022-10-25 | 华为技术有限公司 | 一种基于联邦学习的数据价值评估方法及其相关设备 |
| CN115344883A (zh) * | 2022-06-29 | 2022-11-15 | 上海工程技术大学 | 一种用于处理不平衡数据的个性化联邦学习方法和装置 |
| CN115239675A (zh) * | 2022-07-29 | 2022-10-25 | 平安科技（深圳）有限公司 | 分类模型的训练方法、图像分类方法和装置、设备及介质 |
| CN115311478A (zh) * | 2022-08-16 | 2022-11-08 | 悉科大创新研究(深圳)有限公司 | 一种基于图深度聚类的联邦影像分类方法、存储介质 |
| CN115329885A (zh) * | 2022-08-23 | 2022-11-11 | 浙江工业大学 | 一种基于隐私保护的个性化联邦学习方法和装置 |
| CN115577301A (zh) * | 2022-09-27 | 2023-01-06 | 华中科技大学 | 一种用于分布式***的个性化拆分学习方法及应用 |
| CN115796310A (zh) * | 2022-11-08 | 2023-03-14 | 北京百度网讯科技有限公司 | 信息推荐及模型训练方法、装置、设备和存储介质 |
| CN115577360A (zh) * | 2022-11-14 | 2023-01-06 | 湖南大学 | 一种不依赖梯度的聚类联邦学习方法及*** |
| CN116471286A (zh) * | 2023-03-30 | 2023-07-21 | 上海电信科技发展有限公司 | 基于区块链及联邦学习的物联网数据共享方法 |
| CN116204599A (zh) * | 2023-05-06 | 2023-06-02 | 成都三合力通科技有限公司 | 基于联邦学习的用户信息分析***及方法 |
| CN116540876A (zh) * | 2023-05-09 | 2023-08-04 | 合肥工业大学 | 一种基于个体信息的个性化联邦学习的人体动作识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| PU TIAN 等: "WSCC: A Weight-Similarity-Based Client Clustering Approach for Non-IID Federated Learning", 《IEEE INTERNET OF THINGS IOURNAL》, vol. 9, no. 20, pages 20243 - 20256, XP011922221, DOI: 10.1109/JIOT.2022.3175149 * |
| SARHAD ARISDAKESSIAN 等: "Towards Instant Clustering Approach for Federated Learning Client Selection", 《2023 INTERNATIONAL CONFERENCE ON COMPUTING, NETWORKING AND COMMUNICATIONS (ICNC)》, pages 409 - 413 * |
| 何杨: "物联网中基于联邦学习的数据共享关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2023, no. 2, pages 136 - 1293 * |
| 郑美光 等: "基于互信息软聚类的个性化联邦学习算法", 《计算机工程》, vol. 49, no. 8, pages 20 - 28 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117077817B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108320296B (zh) | 一种视频中目标对象的检测跟踪方法、装置及设备 | |
| CN112766468B (zh) | 一种轨迹预测方法、装置、存储介质及电子设备 | |
| CN115981870B (zh) | 一种数据处理的方法、装置、存储介质及电子设备 | |
| CN112308113A (zh) | 一种基于半监督的目标识别方法、设备及介质 | |
| CN117635822A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN112912889B (zh) | 图像模板的更新方法、设备及存储介质 | |
| CN117409466B (zh) | 一种基于多标签控制的三维动态表情生成方法及装置 | |
| CN117077817B (zh) | 一种基于标签分布的个性化联邦学习模型训练方法及装置 | |
| CN117194992A (zh) | 一种模型训练、任务执行方法、装置、存储介质及设备 | |
| CN116578877A (zh) | 一种模型训练及二次优化打标的风险识别的方法及装置 | |
| CN116524295A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN112734851B (zh) | 一种位姿确定的方法以及装置 | |
| CN117876610B (zh) | 针对三维构建模型的模型训练方法、装置、存储介质 | |
| CN116152246B (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN117726907B (zh) | 一种建模模型的训练方法、三维人体建模的方法以及装置 | |
| CN116563387A (zh) | 一种标定模型的训练方法、装置、存储介质以及电子设备 | |
| CN116996397B (zh) | 一种网络丢包优化的方法、装置、存储介质及电子设备 | |
| CN113673601B (zh) | 一种行为识别方法、装置、存储介质及电子设备 | |
| CN115017915B (zh) | 一种模型训练、任务执行的方法及装置 | |
| CN115862675B (zh) | 一种情感识别方法、装置、设备及存储介质 | |
| CN117576522B (zh) | 一种基于拟态结构动态防御的模型训练方法及装置 | |
| CN117057442A (zh) | 一种基于联邦多任务学习的模型训练方法、装置及设备 | |
| CN117095205A (zh) | 一种生物体的检测方法、装置及设备 | |
| CN117132806A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN113673436A (zh) | 一种行为识别、模型训练的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |