CN115017351B - 基于联邦小样本学习的轻量工业图片分类方法及*** - Google Patents

基于联邦小样本学习的轻量工业图片分类方法及*** Download PDF

Info

Publication number
CN115017351B
CN115017351B CN202210611106.XA CN202210611106A CN115017351B CN 115017351 B CN115017351 B CN 115017351B CN 202210611106 A CN202210611106 A CN 202210611106A CN 115017351 B CN115017351 B CN 115017351B
Authority
CN
China
Prior art keywords
small sample
classifier
training
industrial
federal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210611106.XA
Other languages
English (en)
Other versions
CN115017351A (zh
Inventor
杨树森
赵聪
赵鹏
孙心悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Cumulus Technology Co ltd
Original Assignee
Hangzhou Cumulus Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Cumulus Technology Co ltd filed Critical Hangzhou Cumulus Technology Co ltd
Priority to CN202210611106.XA priority Critical patent/CN115017351B/zh
Publication of CN115017351A publication Critical patent/CN115017351A/zh
Application granted granted Critical
Publication of CN115017351B publication Critical patent/CN115017351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

基于联邦小样本学习的轻量工业图片分类方法及***，包括以下步骤：基于联邦小样本学习框架对工业图片分类***进行建模；对小样本图片分类任务进行建模；构建由嵌入模块lθ和关系模块gφ组成的基于轻量关系网络的小样本分类器f；基于小样本图片分类任务构建小样本分类器f的训练方法；基于小样本分类器训练方法，构建小样本分类器的边云协同部署与训练方法；基于小样本分类器的边云协同部署与训练方法，在本地进行模型推理。本发明充分利用不同工业机构异构且相互隔离的受限样本集，实现全局小样本图片分类器的有效训练，还适用于持有训练期间未见类样本的外部客户，支持样本受限的工业机构建立数据导向的图片分类器。

Description

基于联邦小样本学习的轻量工业图片分类方法及***
技术领域
本发明属于分布式智能领域，具体涉及基于联邦小样本学习的轻量工业图片分类方法及***。
背景技术
当前，基于深度卷积神经网络(Deep Convolutional Neural Network，DCNN)的图片分类在不同工业场景中有着广泛应用。已有方法多将计算密集的DCNN分类器部署在云端，各工业机构上传原始图片进行分类。然而，此方法可能会泄露工业机构的隐私。此外，大规模工业图片上云带来了很高的网络通信负担。为解决此问题，联邦学习技术受到普遍关注，对于工业图片分类问题而言，不同工业机构可作为客户端在不上传原始图片的前提下由云端统一协调协同训练全局DCNN分类器。然而，实际工业机构所面临的样本稀缺问题(包含样本数量不足和样本类隔离)限制了已有数据密集的联邦学习方法在工业图片分类场景中的应用。针对样本稀缺问题，各工业机构可采用已有单机小样本学习技术在其本地基于受限数据训练得到小样本图片分类器，但由于各工业机构间的严格数据隔离，训练所得模型无法在其他类样本上泛化，在此情况下，样本极度受限的工业机构无法建立可用的图片分类器。此外，实际工业机构通常具有异构且受限的计算与网络资源，无法有效支持已有的资源密集型DCNN图片分类方法。
发明内容
本发明的目的在于提供基于联邦小样本学习的轻量工业图片分类方法及***，以解决样本极度受限的工业机构无法建立可用的图片分类器，以及实际工业机构通常具有异构且受限的计算与网络资源，无法有效支持已有的资源密集型DCNN图片分类方法的问题。
为实现上述目的，本发明采用以下技术方案：
基于联邦小样本学习的轻量工业图片分类方法，包括以下步骤：
基于联邦小样本学习框架对工业图片分类***进行建模，***包括一个云端服务器c和一组兴趣相同的工业机构ε，各ei∈ε单独持有各自本地样本集
对于所构建的***模型中的各工业机构，对小样本图片分类任务进行建模，每个任务包含支持集/>和查询集/>
构建由嵌入模块lθ和关系模块gφ组成的基于轻量关系网络的小样本分类器f，其中θ、φ为函数l、g的参数；
基于小样本图片分类任务构建小样本分类器f的训练方法；
基于小样本分类器训练方法，构建小样本分类器的边云协同部署与训练方法，其中，将完整的基于轻量关系网络的小样本图片分类器部署在c上，将嵌入模块部署在所有ei∈ε上，沿离散时间点t＝0,1,…,T，基于步骤4中的训练方法，对分类器进行训练，其中T为预设模型迭代次数；
基于小样本分类器的边云协同部署与训练方法，部署并训练构建的小样本分类器训练结束后，初始化每个外部客户/>的模型/>在本地进行模型推理。
进一步的，利用联邦小样本学习技术对工业图片分类***进行建模，保证各工业机构隐私的同时支持跨异构且样本受限的工业图片孤岛的全局小样本图片分类器训练，所得全局图片分类器不仅适用于联邦模型训练参与客户，还适用于持有训练期间未见类样本的外部客户。
进一步的，具体操作为：基于联邦小样本学习的工业图片分类***建模，***包括一个云端服务器c和一组兴趣相同的工业机构ε＝ei，其中 各ei∈ε单独持有各自本地样本集/>其中，ei持有/>类样本， 为ei上的第j类样本，对于所有ei,ej∈ε，i≠j，/>c可接收ε发送的消息但不可访问其样本集，ε可接收c发送的消息，但ε内部无法互通，设联邦小样本图片分类器训练参与客户集/>外部客户集/>
进一步的，对小样本图片分类任务T进行建模的具体操作为：分类器f上的C-wayK-shot图片分类任务包含支持集/>和查询集/> 含C×K个有标签样本，/>含C×K'个待分类样本(，要求f基于/>对/>进行分类。
进一步的，基于轻量关系网络的小样本分类器f，利用关系网络技术构建基于轻量关系网络的小样本图片分类器。
进一步的，具体操作为：构建一个多层CNN模型f，由嵌入模块lθ和关系模块gφ组成，其中θ、φ为函数l、g的参数，lθ提取输入图像样本特征图，含两个卷积块，各有一个含32个3×3滤波器的卷积层、一个批量归一化层、一个ReLU非线性层和一个2×2最大池化层；gφ基于特征图相似度确定两个输入样本是否属同一类，含上述两个卷积块、一个基于ReLU的8维全连接层和一个基于Sigmoid的1维全连接层，对于单、三通道图像，最后一个最大池化层输出大小H为32、32×3×3。
进一步的，小样本分类器f的训练方法的具体操作为：基于的小样本图片分类任务对任意样本对/>基于嵌入模块获得特征图lθ(xa)、lθ(xb)，基于关系模块计算关系分数/>其中，/>为特征图连接操作，采用关系矩阵组织所有样本对的关系分数，分类器损失其中：
通过随机梯度下降，更新模型参数θ*,φ*。
进一步的，利用边云协同智能技术构建基于轻量关系网络的小样本图片分类器的边云协同部署与训练方法。
进一步的，包括以下步骤：
步骤5.1、设当前迭代次数t←0，初始化云端模型其中θinit、φinit为随机初始化参数，初始化每个参与客户/>的模型参数每个参与客户ei∈εi组织本地任务集/>更新当前迭代次数t←1；
步骤5.2、每个参与客户ei∈εi从随机抽取任务/>获得所有样本对的特征图/>上传所有特征图和相应样本标签至c；
步骤5.3、对于每个参与客户ei∈εi，基于步骤4，c计算更新其中α为随机梯度下降学习率，给每个参与客户ei∈εi返回θg(t+1)；
步骤5.4、每个参与客户ei∈εi更新
步骤5.5、更新当前迭代次数t←t+1，若t≤T，重复步骤5.2至5.4；
步骤5.6、输出训练结果
进一步的，基于联邦小样本学习的轻量工业图片分类***，包括：
***建模模块，用于基于联邦小样本学习框架对工业图片分类***进行建模，***包括一个云端服务器c和一组兴趣相同的工业机构ε，各ei∈ε单独持有各自本地样本集
小样本图片分类任务建模模块，用于对于所构建的***模型中的各工业机构，对小样本图片分类任务进行建模，每个任务包含支持集/>和查询集/>
分类器构建模块，用于构建由嵌入模块lθ和关系模块gφ组成的基于轻量关系网络的小样本分类器f，其中θ、φ为函数l、g的参数；
训练模块，用于基于小样本图片分类任务构建小样本分类器f的训练方法；基于小样本分类器训练方法，构建小样本分类器的边云协同部署与训练方法，其中，将完整的基于轻量关系网络的小样本图片分类器部署在c上，将嵌入模块部署在所有ei∈ε上，沿离散时间点t＝0,1,…,T，基于步骤4中的训练方法，对分类器进行训练，其中T为预设模型迭代次数；
输出推理模块，用于基于小样本分类器的边云协同部署与训练方法，部署并训练构建的小样本分类器训练结束后，初始化每个外部客户/>的模型/>在本地进行模型推理。
与现有技术相比，本发明有以下技术效果：
本发明通过建立一种基于联邦小样本学习的工业图片分类***模型，在不侵犯工业机构隐私的同时，充分利用不同工业机构异构且相互隔离的受限样本集，实现全局小样本图片分类器的有效训练，所得全局模型不仅适用于联邦模型训练参与客户，还适用于持有训练期间未见类样本的外部客户，支持样本受限的工业机构建立数据导向的图片分类器。
进一步地，通过构建基于轻量关系网络的小样本图片分类器，在保证模型分类精度的同时，利用更为轻量化的模型结构设计显著降低了模型训练过程中资源受限的工业机构的计算与存储开销。
进一步地，通过建立基于轻量关系网络的小样本图片分类器的边云协同部署与训练方法，在保证模型***精度的同时，仅在工业机构客户端部署通信轻量的嵌入模块，显著降低了模型训练过程中资源受限的工业机构的通信开销。
附图说明
图1为本文方法的实施示意图；
图2为本文方法的逻辑流程图；
具体实施方式
下面结合附图对本发明作进一步详细描述。
参考图1，本发明提供了一种基于联邦小样本学习的轻量工业图片分类方法，包括以下步骤：
步骤1、联邦小样本工业图片分类***建模，***包括一个云端服务器c和一组兴趣相同(希望协同训练共享的全局图片分类器fg)的工业机构(联邦学习客户)ε＝ei，其中各ei∈ε单独持有各自本地样本集其中，ei持有/>类样本，/> 为ei上的第j类样本，由于实际工业机构间的类隔离，对于所有ei,ej∈ε，i≠j，/>c可接收ε发送的消息但不可访问其样本集，ε可接收c发送的消息，但ε内部无法互通，设联邦小样本图片分类器训练参与客户集/>外部客户集/>
步骤2、小样本图片分类任务建模，分类器f上的C-way K-shot图片分类任务包含支持集/>和查询集/> 含C×K个有标签样本(C类中的每一类的K个样本)，/>含C×K'个待分类样本(来自上述C类中的每一类的K'个样本)，要求f基于/>对/>进行分类；
步骤3、基于轻量关系网络的小样本图片分类器，为一个多层CNN模型f，由嵌入模块lθ和关系模块gφ组成，其中θ、φ为函数l、g的参数，lθ提取输入图像样本特征图，含两个卷积块，各有一个含32个3×3滤波器的卷积层、一个批量归一化层、一个ReLU非线性层和一个2×2最大池化层；gφ基于特征图相似度(关系分数)确定两个输入样本是否属同一类，含上述两个卷积块、一个基于ReLU的8维全连接层和一个基于Sigmoid的1维全连接层，对于单、三通道图像，最后一个最大池化层输出大小H为32、32×3×3；
步骤4、基于轻量关系网络的小样本图片分类器的训练，基于步骤2中的小样本图片分类任务对任意样本对/>基于嵌入模块获得特征图lθ(xa)、lθ(xb)，基于关系模块计算关系分数/>其中，/>为特征图连接操作，采用关系矩阵组织所有样本对的关系分数，分类器损失其中：
通过随机梯度下降，更新模型参数θ*,φ*；
步骤5、基于轻量关系网络的小样本图片分类器的边云协同部署与训练，为降低联邦模型训练过程中客户端的计算、通信和存储开销，将完整的基于轻量关系网络的小样本图片分类器部署在c上，将嵌入模块部署在所有ei∈ε上，沿离散时间点t＝0,1,…,T对分类器进行训练，其中T为预设模型迭代次数，步骤5包括以下步骤：
步骤5.1、设当前迭代次数t←0，初始化云端模型其中θinit、φinit为随机初始化参数，初始化每个参与客户/>的模型参数每个参与客户ei∈εi组织本地任务集/>更新当前迭代次数t←1；
步骤5.2、每个参与客户ei∈εi从随机抽取任务/>基于步骤4，获得所有样本对/>的特征图/>上传所有特征图和相应样本标签至c；
步骤5.3、对于每个参与客户ei∈εi，基于步骤4，c计算更新其中α为随机梯度下降学习率，给每个参与客户ei∈εi返回θg(t+1)；
步骤5.4、每个参与客户ei∈εi更新
步骤5.5、更新当前迭代次数t←t+1，若t≤T，重复步骤5.2至5.4；
步骤5.6、输出训练结果
步骤6、初始化每个外部客户的模型/>在本地进行模型推理。
参考图2，本发明提供了一种基于联邦小样本学习的轻量工业图片分类方法，其逻辑架构主体包括基于联邦小样本学习的工业图片分类***建模、基于轻量关系网络的小样本图片分类器构建、基于轻量关系网络的小样本图片分类器的边云协同部署与训练。为解决样本受限的工业机构无法有效建立数据驱动的工业图片分类器的问题，构建基于联邦小样本学习的工业图片分类***，支持跨异构且样本受限的工业图片孤岛的全局小样本图片分类器训练；为降低模型训练过程中资源受限的工业机构的计算与存储开销，构建基于轻量关系网络的小样本图片分类器；为降低模型训练过程中资源受限的工业机构的通信开销，构建基于轻量关系网络的小样本图片分类器的边云协同部署与训练方法。
本发明再一实施例中，提供一种基于联邦小样本学习的轻量工业图片分类***，能够用于实现上述的基于联邦小样本学习的轻量工业图片分类方法，具体的，该***包括：
***建模模块，用于基于联邦小样本学习框架对工业图片分类***进行建模，***包括一个云端服务器c和一组兴趣相同的工业机构ε，各ei∈ε单独持有各自本地样本集
小样本图片分类任务建模模块，用于对于所构建的***模型中的各工业机构，对小样本图片分类任务进行建模，每个任务包含支持集/>和查询集/>
分类器构建模块，用于构建由嵌入模块lθ和关系模块gφ组成的基于轻量关系网络的小样本分类器f，其中θ、φ为函数l、g的参数；
训练模块，用于基于小样本图片分类任务构建小样本分类器f的训练方法；基于小样本分类器训练方法，构建小样本分类器的边云协同部署与训练方法，其中，将完整的基于轻量关系网络的小样本图片分类器部署在c上，将嵌入模块部署在所有ei∈ε上，沿离散时间点t＝0,1,…,T，基于步骤4中的训练方法，对分类器进行训练，其中T为预设模型迭代次数；
输出推理模块，用于基于小样本分类器的边云协同部署与训练方法，部署并训练构建的小样本分类器训练结束后，初始化每个外部客户/>的模型/>在本地进行模型推理。
本发明解决了强隐私保护需求下样本隔离且稀缺的工业机构无法建立可用的数据驱动图片分类器的问题。本发明可在保证工业机构隐私的前提下跨异构且样本受限的工业图片孤岛有效地训练全局小样本图片分类器，所得全局模型不仅适用于联邦模型训练参与客户，还适用于持有训练期间未见类样本的外部客户。本发明基于轻量关系网络的小样本图片分类器和其边云协同部署与训练方法能够在保证模型分类精度的同时显著降低资源受限的工业机构的计算、通信、存储开销。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.基于联邦小样本学习的轻量工业图片分类方法，其特征在于，包括以下步骤：
基于联邦小样本学习框架对工业图片分类***进行建模，***包括一个云端服务器c和一组兴趣相同的工业机构ε，各ei∈ε单独持有各自本地样本集
对于所构建的***模型中的各工业机构，对小样本图片分类任务进行建模，每个任务包含支持集/>和查询集/>
构建由嵌入模块lθ和关系模块gφ组成的基于轻量关系网络的小样本分类器f，其中θ、φ为函数l、g的参数；
基于小样本图片分类任务构建小样本分类器f的训练方法；
基于小样本分类器训练方法，构建小样本分类器的边云协同部署与训练方法，其中，将完整的基于轻量关系网络的小样本图片分类器部署在c上，将嵌入模块部署在所有ei∈ε上，沿离散时间点t＝0,1,…,T，基于步骤4中的训练方法，对分类器进行训练，其中T为预设模型迭代次数；
基于小样本分类器的边云协同部署与训练方法，部署并训练构建的小样本分类器训练结束后，初始化每个外部客户/>的模型/>在本地进行模型推理。
2.根据权利要求1所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，利用联邦小样本学习技术对工业图片分类***进行建模，保证各工业机构隐私的同时支持跨异构且样本受限的工业图片孤岛的全局小样本图片分类器训练，所得全局图片分类器不仅适用于联邦模型训练参与客户，还适用于持有训练期间未见类样本的外部客户。
3.根据权利要求2所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，具体操作为：基于联邦小样本学习的工业图片分类***建模，***包括一个云端服务器c和一组兴趣相同的工业机构ε＝ei，其中 各ei∈ε单独持有各自本地样本集/>其中，ei持有/>类样本，/> 为ei上的第j类样本，对于所有ei,ej∈ε，i≠j，/>c可接收ε发送的消息但不可访问其样本集，ε可接收c发送的消息，但ε内部无法互通，设联邦小样本图片分类器训练参与客户集/>外部客户集/>
4.根据权利要求1所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，对小样本图片分类任务T进行建模的具体操作为：分类器f上的C-way K-shot图片分类任务包含支持集/>和查询集/> 含C×K个有标签样本，/>含C×K'个待分类样本(，要求f基于/>对/>进行分类。
5.根据权利要求1所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，基于轻量关系网络的小样本分类器f，利用关系网络技术构建基于轻量关系网络的小样本图片分类器。
6.根据权利要求5所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，具体操作为：构建一个多层CNN模型f，由嵌入模块lθ和关系模块gφ组成，其中θ、φ为函数l、g的参数，lθ提取输入图像样本特征图，含两个卷积块，各有一个含32个3×3滤波器的卷积层、一个批量归一化层、一个ReLU非线性层和一个2×2最大池化层；gφ基于特征图相似度确定两个输入样本是否属同一类，含上述两个卷积块、一个基于ReLU的8维全连接层和一个基于Sigmoid的1维全连接层，对于单、三通道图像，最后一个最大池化层输出大小H为32、32×3×3。
7.根据权利要求1所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，小样本分类器f的训练方法的具体操作为：基于的小样本图片分类任务对任意样本对基于嵌入模块获得特征图lθ(xa)、lθ(xb)，基于关系模块计算关系分数/>其中，/>为特征图连接操作，采用关系矩阵组织所有样本对的关系分数，分类器损失/>其中：
通过随机梯度下降，更新模型参数θ*,φ*。
8.根据权利要求1所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，利用边云协同智能技术构建基于轻量关系网络的小样本图片分类器的边云协同部署与训练方法。
9.根据权利要求8所述的基于联邦小样本学习的轻量工业图片分类方法，其特征在于，包括以下步骤：
步骤5.1、设当前迭代次数t←0，初始化云端模型其中θinit、φinit为随机初始化参数，初始化每个参与客户/>的模型参数每个参与客户ei∈εi组织本地任务集/>更新当前迭代次数t←1；
步骤5.2、每个参与客户ei∈εi从随机抽取任务/>获得所有样本对的特征图/>上传所有特征图和相应样本标签至c；
步骤5.3、对于每个参与客户ei∈εi，基于步骤4，c计算更新其中α为随机梯度下降学习率，给每个参与客户ei∈εi返回θg(t+1)；
步骤5.4、每个参与客户ei∈εi更新
步骤5.5、更新当前迭代次数t←t+1，若t≤T，重复步骤5.2至5.4；
步骤5.6、输出训练结果
10.基于联邦小样本学习的轻量工业图片分类***，其特征在于，包括：
***建模模块，用于基于联邦小样本学习框架对工业图片分类***进行建模，***包括一个云端服务器c和一组兴趣相同的工业机构ε，各ei∈ε单独持有各自本地样本集
小样本图片分类任务建模模块，用于对于所构建的***模型中的各工业机构，对小样本图片分类任务进行建模，每个任务包含支持集/>和查询集/>
分类器构建模块，用于构建由嵌入模块lθ和关系模块gφ组成的基于轻量关系网络的小样本分类器f，其中θ、φ为函数l、g的参数；
训练模块，用于基于小样本图片分类任务构建小样本分类器f的训练方法；基于小样本分类器训练方法，构建小样本分类器的边云协同部署与训练方法，其中，将完整的基于轻量关系网络的小样本图片分类器部署在c上，将嵌入模块部署在所有ei∈ε上，沿离散时间点t＝0,1,…,T，基于步骤4中的训练方法，对分类器进行训练，其中T为预设模型迭代次数；
输出推理模块，用于基于小样本分类器的边云协同部署与训练方法，部署并训练构建的小样本分类器训练结束后，初始化每个外部客户/>的模型在本地进行模型推理。
CN202210611106.XA 2022-05-31 2022-05-31 基于联邦小样本学习的轻量工业图片分类方法及*** Active CN115017351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611106.XA CN115017351B (zh) 2022-05-31 2022-05-31 基于联邦小样本学习的轻量工业图片分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611106.XA CN115017351B (zh) 2022-05-31 2022-05-31 基于联邦小样本学习的轻量工业图片分类方法及***

Publications (2)

Publication Number Publication Date
CN115017351A CN115017351A (zh) 2022-09-06
CN115017351B true CN115017351B (zh) 2024-05-10

Family

ID=83071882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611106.XA Active CN115017351B (zh) 2022-05-31 2022-05-31 基于联邦小样本学习的轻量工业图片分类方法及***

Country Status (1)

Country Link
CN (1) CN115017351B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
WO2021190638A1 (zh) * 2020-11-24 2021-09-30 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN113469234A (zh) * 2021-06-24 2021-10-01 成都卓拙科技有限公司 一种基于免模型联邦元学习的网络流量异常检测方法
CN113518007A (zh) * 2021-07-06 2021-10-19 华东师范大学 一种基于联邦学习的多物联网设备异构模型高效互学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
WO2021190638A1 (zh) * 2020-11-24 2021-09-30 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN113469234A (zh) * 2021-06-24 2021-10-01 成都卓拙科技有限公司 一种基于免模型联邦元学习的网络流量异常检测方法
CN113518007A (zh) * 2021-07-06 2021-10-19 华东师范大学 一种基于联邦学习的多物联网设备异构模型高效互学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于小样本学习的高光谱遥感图像分类算法;张婧;袁细国;;聊城大学学报(自然科学版);20200804(第06期);全文 *
联邦学习安全与隐私保护研究综述;周俊;方国英;吴楠;;西华大学学报(自然科学版);20200710(第04期);全文 *

Also Published As

Publication number Publication date
CN115017351A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
US10248664B1 (en) Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
WO2023087558A1 (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
JP7383803B2 (ja) 不均一モデルタイプおよびアーキテクチャを使用した連合学習
CN112016601B (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
WO2022111617A1 (zh) 一种模型训练方法及装置
CN113469373A (zh) 基于联邦学习的模型训练方法、***、设备及存储介质
CN115587633A (zh) 一种基于参数分层的个性化联邦学习方法
CN114091667A (zh) 一种面向非独立同分布数据的联邦互学习模型训练方法
WO2022179586A1 (zh) 一种模型训练方法及其相关联设备
CN114710330B (zh) 一种基于异构分层联邦学习的异常检测方法
CN109711252A (zh) 一种多人种的人脸识别方法
CN117236421B (zh) 一种基于联邦知识蒸馏的大模型训练方法
Stergiou et al. Distributed negative sampling for word embeddings
WO2022052782A1 (zh) 图像的处理方法及相关设备
WO2022013879A1 (en) Federated learning using heterogeneous labels
CN115331069A (zh) 一种基于联邦学习的个性化图像分类模型训练方法
CN116664930A (zh) 基于自监督对比学习的个性化联邦学习图像分类方法及***
CN108959664A (zh) 基于图片处理器的分布式文件***
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN117893807B (zh) 基于知识蒸馏的联邦自监督对比学习图像分类***及方法
CN115017351B (zh) 基于联邦小样本学习的轻量工业图片分类方法及***
US20240095539A1 (en) Distributed machine learning with new labels using heterogeneous label distribution
WO2022227024A1 (zh) 神经网络模型的运算方法、训练方法及装置
CN114298233A (zh) 基于高效注意力网络和师生迭代迁移学习的表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant