CN115331069A - 一种基于联邦学习的个性化图像分类模型训练方法 - Google Patents

一种基于联邦学习的个性化图像分类模型训练方法 Download PDF

Info

Publication number
CN115331069A
CN115331069A CN202210773279.1A CN202210773279A CN115331069A CN 115331069 A CN115331069 A CN 115331069A CN 202210773279 A CN202210773279 A CN 202210773279A CN 115331069 A CN115331069 A CN 115331069A
Authority
CN
China
Prior art keywords
model
training
personalized
layer
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210773279.1A
Other languages
English (en)
Inventor
刘瑛迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Financial Technology Co Ltd
Original Assignee
Bank of China Financial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Financial Technology Co Ltd filed Critical Bank of China Financial Technology Co Ltd
Priority to CN202210773279.1A priority Critical patent/CN115331069A/zh
Publication of CN115331069A publication Critical patent/CN115331069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于联邦学习的个性化图像分类模型训练方法，包括：S1、客户端从服务端获取初始通用模型；S2、将用户拍摄或导入图片进行分类，并获取反馈信息将相应图片纳入第一训练数据集和第二训练数据集；S3、当样本数量达到阈值时，根据第二训练数据集进行训练，得到个性化模型参数并保存；S4、根据第一训练数据集进行训练，得到本地模型参数上传至服务端进行联邦聚合，更新初始通用模型；S5、将更新后的通用模型下发到客户端与个性化模型参数按照权重进行聚合，生成个性化图片分类模型；S6、个性化图片分类模型进行分类，直到下一轮更新。与现有技术相比，本发明具有避免在初期产生较大误差、模型训练更加高效、个性化模型更稳定等优点。

Description

一种基于联邦学习的个性化图像分类模型训练方法
技术领域
本发明涉及图像分类技术领域种，尤其是涉及一种基于联邦学习的个性化图像分类模型训练方法。
背景技术
图像分类应用在服务端生成模型，然后下发至客户端设备并使用该模型进行推导，这种方式缺少个性化。例如，当使用者手动将某张图片的分类由“猫咪”更改为“宝宝”后，该用户的与之相似度高的图片被分类为“宝宝”的可能性应当增大，而对于***的其他参与者，仍使用通用模型将类似图片分类为“猫咪”。这意味着，在经过良好训练的通用模型的基础上，各客户端需要根据自身数据再次训练，以维护个性化模型。
联邦学***等，因此无法满足个性化图像分类。
发明内容
本发明的目的就是为了克服上述现有技术存在的联邦学习模型难以满足用户的个性化图像分类需求的缺陷而提供一种基于联邦学习的个性化图像分类模型训练方法。
本发明的目的可以通过以下技术方案来实现：
一种基于联邦学习的个性化图像分类模型训练方法，具体包括以下步骤：
S1、客户端从服务端获取初始通用模型；
S2、根据初始通用模型将用户拍摄或导入图片进行分类，并获取用户的反馈信息将用户采纳的相应图片纳入第一训练数据集X，将用户不采纳的相应图片纳入第二训练数据集Y；
S3、当第一训练数据集X和第二训练数据集Y的样本数量达到阈值时，根据第二训练数据集进行模型训练，得到个性化模型参数并保存；
S4、根据第一训练数据集进行训练，得到本地模型参数上传至服务端，服务端将各客户端上传的本地模型参数进行联邦聚合，更新初始通用模型；
S5、将更新后的通用模型下发到客户端，客户端将个性化模型参数与通用模型按照权重进行聚合，生成个性化图片分类模型；
S6、个性化图片分类模型进行图片分类，直到下一轮更新。
所述初始通用模型具体为CNN模型，其中每个神经元对输入信号加权求和加偏置，具体公式如下所示：
y＝wx+b
其中，x为输入信号矩阵，w为权重组成的向量，b为偏置，w与b组合形成参数集合。大量神经元组成一个神经网络，这个神经网络模型是由参数集合和分层方式决定的。
进一步地，所述CNN模型训练的过程具体为根据第一训练数据集的训练样本与第二训练数据集的分类结果样本，通过梯度下降方式计算得到损失函数到达极小值时的参数，调整参数集合并更新模型。
进一步地，所述CNN模型的第一层为卷积层，第二层为池化层，第三层为卷积层，第四层为稠密连接层，第五层为输出层。
进一步地，所述CNN模型中第一层的卷积层采用5*5的卷积核在输入的矩阵上滑动，并计算卷积，用来初步提取抽象特征，第二层的池化层的大小为2*2，并使用最大池化方法降维，第三层的卷积层的大小为3*3并进行池化。
所述步骤S2中初始通用模型将用户拍摄或导入图片进行分类的过程具体为计算图片属于某一分类的置信值，输出置信值最大的分类结果。
所述步骤S4中具体包括每个客户端并行地进行迭代，获得更优的本地模型参数后在服务端同步，以一种同步更新的方式减少通信损耗并加快模型收敛。
所述步骤S4中联邦聚合的公式具体如下所示：
Figure BDA0003725151750000021
其中，t表示第t轮更新，K为客户端的数量，nk为第k个客户端的样本数量为，
Figure BDA0003725151750000031
为第k个客户端更新后的本地模型参数，wt+1为第t+1轮通用模型的参数，N为总的样本数量。
所述步骤S5中聚合的过程具体为客户端将下发的本轮更新的通用模型参数与个性化模型参数按照样本数量再次进行聚合。
进一步地，所述通用模型参数与个性化模型参数聚合的公式具体如下所示：
Figure BDA0003725151750000032
N＝n1+an2
其中，w1为通用模型参数，w2为个性化模型参数，N为总的样本数量，a为个性化模型权重，取值越大则模型个性化程度越高，n2为客户端的样本数量。
与现有技术相比，本发明具有以下有益效果：
1.本发明在初始时先扩充第一训练数据集和第二训练数据集，当第一训练数据集和第二训练数据集的样本数量达到阈值时再进行训练，保证了模型训练的准确性，避免在初期产生较大误差，而且模型训练会更加高效，减少重复计算。
2.本发明数据不会上传至服务器，而是在客户端存储并参与训练，仅上传模型参数，所以数据隐私安全问题大大减少。
3.本发明在客户端存储了个性化模型参数，可以对不同用户进行差异化模型推断，即使在联邦学习过程中更新了通用模型，依旧能维持个性化。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种基于联邦学习的个性化图像分类模型训练方法，具体包括以下步骤：
S1、客户端从服务端获取初始通用模型；
S2、根据初始通用模型将用户拍摄或导入图片进行分类，并获取用户的反馈信息将用户采纳的相应图片纳入第一训练数据集X，将用户不采纳的相应图片纳入第二训练数据集Y；
S3、当第一训练数据集X和第二训练数据集Y的样本数量达到阈值时，根据第二训练数据集进行模型训练，得到个性化模型参数并保存；
S4、根据第一训练数据集进行训练，得到本地模型参数上传至服务端，服务端将各客户端上传的本地模型参数进行联邦聚合，更新初始通用模型；
S5、将更新后的通用模型下发到客户端，客户端将个性化模型参数与通用模型按照权重进行聚合，生成个性化图片分类模型；
S6、个性化图片分类模型进行图片分类，直到下一轮更新。
初始通用模型具体为CNN模型，其中每个神经元对输入信号加权求和加偏置，具体公式如下所示：
y＝wx+b
其中，x为输入信号矩阵，w为权重组成的向量，b为偏置，w与b组合形成参数集合。大量神经元组成一个神经网络，这个神经网络模型是由参数集合和分层方式决定的。
CNN模型训练的过程具体为根据第一训练数据集的训练样本与第二训练数据集的分类结果样本，通过梯度下降方式计算得到损失函数到达极小值时的参数，调整参数集合并更新模型。
CNN模型的第一层为卷积层，第二层为池化层，第三层为卷积层，第四层为稠密连接层，第五层为输出层。
CNN模型中第一层的卷积层采用5*5的卷积核在输入的矩阵上滑动，并计算卷积，用来初步提取抽象特征，第二层的池化层的大小为2*2，并使用最大池化方法降维，第三层的卷积层的大小为3*3并进行池化。
步骤S2中初始通用模型将用户拍摄或导入图片进行分类的过程具体为计算图片属于某一分类的置信值，输出置信值最大的分类结果。
步骤S4中具体包括每个客户端并行地进行迭代，获得更优的本地模型参数后在服务端同步，以一种同步更新的方式减少通信损耗并加快模型收敛。
步骤S4中联邦聚合的公式具体如下所示：
Figure BDA0003725151750000051
其中，t表示第t轮更新，K为客户端的数量，nk为第k个客户端的样本数量为，
Figure BDA0003725151750000052
为第k个客户端更新后的本地模型参数，wt+1为第t+1轮通用模型的参数，N为总的样本数量。
步骤S5中聚合的过程具体为客户端将下发的本轮更新的通用模型参数与个性化模型参数按照样本数量再次进行聚合。
通用模型参数与个性化模型参数聚合的公式具体如下所示：
Figure BDA0003725151750000053
N＝n1+an2
其中，w1为通用模型参数，w2为个性化模型参数，N为总的样本数量，a为个性化模型权重，取值越大则模型个性化程度越高，n2为客户端的样本数量。
具体实施时，客户端可以是一个安卓应用，读取图片，利用模型进行推断，存储自身的训练样本数据，进行本地训练，更新本地模型参数，上传用于统一更新的参数；服务端，存储全局通用模型，从边缘设备获取更新，使用聚合算法更新模型，下发更新后的模型。若某个客户端用户因为网络连接失败或未完成本地模型迭代等原因，无法上传本地模型参数，可以不参与服务端更新通用模型的聚合步骤，也可以不获取最新版本的通用模型，而是使用前一版本的通用模型进行聚合。
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，具体包括以下步骤：
S1、客户端从服务端获取初始通用模型；
S2、根据初始通用模型将用户拍摄或导入图片进行分类，并获取用户的反馈信息将用户采纳的相应图片纳入第一训练数据集，将用户不采纳的相应图片纳入第二训练数据集；
S3、当第一训练数据集和第二训练数据集的样本数量达到阈值时，根据第二训练数据集进行模型训练，得到个性化模型参数并保存；
S4、根据第一训练数据集进行训练，得到本地模型参数上传至服务端，服务端将各客户端上传的本地模型参数进行联邦聚合，更新初始通用模型；
S5、将更新后的通用模型下发到客户端，客户端将个性化模型参数与通用模型按照权重进行聚合，生成个性化图片分类模型；
S6、个性化图片分类模型进行图片分类，直到下一轮更新。
2.根据权利要求1所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述初始通用模型具体为CNN模型，其中每个神经元对输入信号加权求和加偏置，具体公式如下所示：
y＝wx+b
其中，x为输入信号矩阵，w为权重组成的向量，b为偏置，w与b组合形成参数集合。
3.根据权利要求2所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述CNN模型训练的过程具体为根据第一训练数据集的训练样本与第二训练数据集的分类结果样本，通过梯度下降方式计算得到损失函数到达极小值时的参数，调整参数集合并更新模型。
4.根据权利要求2所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述CNN模型的第一层为卷积层，第二层为池化层，第三层为卷积层，第四层为稠密连接层，第五层为输出层。
5.根据权利要求4所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述CNN模型中第一层的卷积层采用5*5的卷积核，第二层的池化层的大小为2*2，第三层的卷积层的大小为3*3。
6.根据权利要求1所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述步骤S2中初始通用模型将用户拍摄或导入图片进行分类的过程具体为计算图片属于某一分类的置信值，输出置信值最大的分类结果。
7.根据权利要求1所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述步骤S4中具体包括每个客户端并行地进行迭代，获得更优的本地模型参数后在服务端同步。
8.根据权利要求1所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述步骤S4中联邦聚合的公式具体如下所示：
Figure FDA0003725151740000021
其中，t表示第t轮更新，K为客户端的数量，nk为第k个客户端的样本数量为，
Figure FDA0003725151740000022
为第k个客户端更新后的本地模型参数，wt+1为第t+1轮通用模型的参数，N为总的样本数量。
9.根据权利要求1所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述步骤S5中聚合的过程具体为客户端将下发的本轮更新的通用模型参数与个性化模型参数按照样本数量再次进行聚合。
10.根据权利要求9所述的一种基于联邦学习的个性化图像分类模型训练方法，其特征在于，所述通用模型参数与个性化模型参数聚合的公式具体如下所示：
Figure FDA0003725151740000023
N＝n1+an2
其中，w1为通用模型参数，w2为个性化模型参数，N为总的样本数量，a为个性化模型权重，n2为客户端的样本数量。
CN202210773279.1A 2022-07-01 2022-07-01 一种基于联邦学习的个性化图像分类模型训练方法 Pending CN115331069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210773279.1A CN115331069A (zh) 2022-07-01 2022-07-01 一种基于联邦学习的个性化图像分类模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210773279.1A CN115331069A (zh) 2022-07-01 2022-07-01 一种基于联邦学习的个性化图像分类模型训练方法

Publications (1)

Publication Number Publication Date
CN115331069A true CN115331069A (zh) 2022-11-11

Family

ID=83916639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210773279.1A Pending CN115331069A (zh) 2022-07-01 2022-07-01 一种基于联邦学习的个性化图像分类模型训练方法

Country Status (1)

Country Link
CN (1) CN115331069A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731424A (zh) * 2022-12-03 2023-03-03 北京邮电大学 基于强化联邦域泛化的图像分类模型训练方法及***
CN116935143A (zh) * 2023-08-16 2023-10-24 中国人民解放军总医院 基于个性化联邦学习的dfu医学图像分类方法及***
CN117094355A (zh) * 2023-10-20 2023-11-21 网络通信与安全紫金山实验室 模型更新方法、非易失性存储介质及计算机设备
CN117577116A (zh) * 2024-01-17 2024-02-20 清华大学 连续学习语音鉴别模型的训练方法、装置、设备及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731424A (zh) * 2022-12-03 2023-03-03 北京邮电大学 基于强化联邦域泛化的图像分类模型训练方法及***
CN115731424B (zh) * 2022-12-03 2023-10-31 北京邮电大学 基于强化联邦域泛化的图像分类模型训练方法及***
CN116935143A (zh) * 2023-08-16 2023-10-24 中国人民解放军总医院 基于个性化联邦学习的dfu医学图像分类方法及***
CN116935143B (zh) * 2023-08-16 2024-05-07 中国人民解放军总医院 基于个性化联邦学习的dfu医学图像分类方法及***
CN117094355A (zh) * 2023-10-20 2023-11-21 网络通信与安全紫金山实验室 模型更新方法、非易失性存储介质及计算机设备
CN117094355B (zh) * 2023-10-20 2024-03-29 网络通信与安全紫金山实验室 模型更新方法、非易失性存储介质及计算机设备
CN117577116A (zh) * 2024-01-17 2024-02-20 清华大学 连续学习语音鉴别模型的训练方法、装置、设备及介质
CN117577116B (zh) * 2024-01-17 2024-03-19 清华大学 连续学习语音鉴别模型的训练方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN115331069A (zh) 一种基于联邦学习的个性化图像分类模型训练方法
CN110969250B (zh) 一种神经网络训练方法及装置
WO2020228525A1 (zh) 地点识别及其模型训练的方法和装置以及电子设备
CN110223292B (zh) 图像评估方法、装置及计算机可读存储介质
CN114357067B (zh) 一种针对数据异构性的个性化联邦元学习方法
CN110659734B (zh) 深度可分离卷积结构的低比特量化方法
CN110263236B (zh) 基于动态多视图学习模型的社交网络用户多标签分类方法
CN112016601B (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN108399268B (zh) 一种基于博弈论的增量式异构图聚类方法
CN112861976B (zh) 一种基于孪生图卷积哈希网络的敏感图像识别方法
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN115829027A (zh) 一种基于对比学习的联邦学习稀疏训练方法及***
CN116542322A (zh) 一种联邦学习方法
CN115587633A (zh) 一种基于参数分层的个性化联邦学习方法
CN106203628A (zh) 一种增强深度学习算法鲁棒性的优化方法和***
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
US11853896B2 (en) Neural network model, method, electronic device, and readable medium
CN115983341A (zh) 一种基于关系聚合超图的节点分类方法
CN111079691A (zh) 一种基于双流网络的剪枝方法
CN114997374A (zh) 一种针对数据倾斜的快速高效联邦学习方法
CN110751271A (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN116259057A (zh) 基于联盟博弈解决联邦学习中数据异质性问题的方法
Jiao et al. Realization and improvement of object recognition system on raspberry pi 3b+
CN115131605A (zh) 一种基于自适应子图的结构感知图对比学习方法
CN111126310B (zh) 一种基于场景迁移的行人性别识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination