CN111414937A - 物联网场景下提升多分支预测单模型鲁棒性的训练方法 - Google Patents

物联网场景下提升多分支预测单模型鲁棒性的训练方法 Download PDF

Info

Publication number
CN111414937A
CN111414937A CN202010142625.7A CN202010142625A CN111414937A CN 111414937 A CN111414937 A CN 111414937A CN 202010142625 A CN202010142625 A CN 202010142625A CN 111414937 A CN111414937 A CN 111414937A
Authority
CN
China
Prior art keywords
training
data
model
terminal
branch prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010142625.7A
Other languages
English (en)
Inventor
陈铭松
韦璠
邵明莉
何积丰
曹鹗
张健宁
夏珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202010142625.7A priority Critical patent/CN111414937A/zh
Publication of CN111414937A publication Critical patent/CN111414937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种物联网场景下提升多分支预测单模型鲁棒性的训练方法，在云终端的结构下，将训练数据分割并分配给终端，形成一个有数据多样性的环境，同时为每个终端设定不同的优化目标增强结构多样性的优势。每个终端依赖自己的训练数据和优化目标对云端下发的权重进行更新，接着云端收回各终端的权重进行聚合，最后经过多次这样的循环完成训练，存储最优的多分支预测单模型权重。本发明成功将多分支预测单模型的结构多样性和物联网场景下的数据多样性结合，使多分支预测单模型的鲁棒性进一步提高，以提高对对抗样本的分类能力，使多分支预测单模型能安全可靠的完成分类任务。

Description

物联网场景下提升多分支预测单模型鲁棒性的训练方法
技术领域
本发明属于计算机领域，涉及了一种多分支预测单模型的训练方法。尤其涉及提高当前高精度但难以正确分类对抗样本的单身网络模型鲁棒性提升方法，其中使用了联邦学习思想，在适合物联网的场景下，解决了现今物联网需要安全可靠的人工智能的问题。
背景技术
近年来，物联网是被数量不断增加，同时与深度学习的结合也更加紧密，特别是在图像处理任务上。然而，这些高精度的图像分类器在面对对抗样本是脆弱的。对抗样本是在干净图片上，有意图的添加微量扰动，这些扰动不会干扰人眼的判断，但可以愚弄深度神经网络分类器。所以，研究如何获得一个更高鲁棒性的模型是必要的。
提高模型的鲁棒性是目前应对对抗样本攻击的一个重要方法，模型鲁棒性是一个用于分析模型对于微小扰动的抵抗能力的评判标准，在相同扰动下模型的判断准确率越高，鲁棒性越好。已有多分支预测单模型被提出，得益于其自身多分支及相应算是函数带来的整体多样性，多分支预测单模型得到了与组合模型相当的对抗鲁棒性，成功提高了对对抗样本的防御能力。而常规的训练方法，仅仅只能有效利用到模型结构的多样性，无法将现实中物联网不断扩张带来的数据多样性体现到训练中。所以，需要去设计一个属于多分支预测单模型的训练方法，可以充分的发挥其整体多样性的效果，将数据多样性表现出来。
发明内容
本发明的目的是针对上述问题，提供了一种物联网场景下提升多分支预测单模型鲁棒性的训练方法，该发明将多分支预测单模型的结构多样性和物联网场景下的数据多样性结合。多分支预测单模型经过本方法的训练，鲁棒性得到了提升，对对抗样本的分类准确率大幅提高，是可行且有效的。
实现本发明目的的具体技术方案是：
步骤1：训练***初始化
首先设定训练数据的内容、训练批量(batchsize)的大小、训练所需要的终端数量，随后导入需要训练的多分支预测单模型及权重聚合函数；接着对训练数据进行预处理，包括对训练样本的标准化和将训练标签转化为独热码(one-hot code)格式；再将训练数据分割成与终端数量同份；最后将等分好的数据制成批量大小的迭代生成器；完成多分支预测单模型和数据的准备后，初始化云端控制节点，包括云端的聚合算法、测试数据以及全局权重的存储；接着循环初始化终端节点，包括节点标识、生成模型、优化目标、对应节点的训练数据生成器以及当前的轮数；
步骤3：多终端统一训练
在初始化完成的云终端***中，一次云端和终端的交互为单个循环：云端控制节点将当前全局权重及当前轮数更新到终端节点的模型中，接着每个终端节点分别依靠初始化时赋予的训练数据及优化目标对当前模型进行优化，得到每个模型中独有的权重，然后每个终端节点上传各自的权重，云端控制节点进行统一收集，收集完成后，云端利用聚合算法将各权重聚合成新的全局权重并使用测试数据验证效果；
最后达到设定的最大训练循环次数停止训练，输出最终模型权重。
步骤1中所述将训练数据分割成与终端同份，具体为：三成数据非独立同分布分割：将数据按照同分类进行分割；七成数据独立同分布分割：将数据打乱后等分。
本发明的有益效果
本发明提出的是一个物联网场景下提升多分支预测单模型鲁棒性的训练方法，成功将多分支预测单模型的结构多样性和物联网场景下的数据多样性结合，使多分支预测单模型的鲁棒性进一步提高，以提高对对抗样本的分类能力，使多分支预测单模型能安全可靠的完成分类任务。
实验需要证明的是经过本发明训练方法训练的多分支预测单模型，可以比常规训练的有更好的鲁棒性，即实验结果表现为对对抗样本有更高的识别率。实验中，使用了较为典型的7种对抗样本生成方法进行攻击，并在此基础上获得常规训练和本发明的训练方法得到的模型在被攻击后图像上的分类准确率。其中两种训练方法都是对多分支预测单模型进行训练。
表1 CIFAR-10数据集上对于对抗样本分类正确率(％)比较
Figure BDA0002399611530000021
从表1中可以看出，CIFAR-10数据集下，相比于常规训练得到的模型，所有的分类准确率都有提高，尤其在BIM、MIM和PGD三种情况下，本发明的训练方法得到的模型提升幅度更是近10％。
表2是记录了在SVHN数据集上的表现。和在CIFAR-10上的情况相似，7种攻击情况下都有提升，特别是BIM、MIM和PGD三种。同时在JSMA情况下也获得了较大幅度的提升。
表2 SVHN数据集上对于对抗样本分类正确率(％)比较
Figure BDA0002399611530000022
证明了经本发明训练的模型对对抗样本有好的防御能力，具有高鲁棒性。
在两种数据集上，经过本发明的训练方法训练的对分支预测单模型对原始干净样本的分类准确率基本与常规训练后得到的模型相近，CIFAR-10下降幅度为0.25％，而SVHN下提升了0.18％。证明了经此训练方法训练的多分支预测单模型依旧保持先进的分类能力。
Table 3CIFAR-10和SVHN上干净样本分类准确率(％)比较
数据集 常规训练 本发明的训练
CIFAR-10 91.05 90.8
SVHN 96.77 96.95
附图说明
图1是多分支预测单模型结构；
图2是本实施本发明的框架图；
图3是本发明具体流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。
多分支预测单模型在结构上形如图1。
在这样结构的模型中，可以利用LED损失函数在训练中使分支直接非极大预测向量尽量分类，实现此模型的整体多样性提升效果，从而提升鲁棒性、提高对对抗样本的防御能力。其中LED损失函数公式为：
LED＝LBE+γ·H(P*)+μ·LDs
其中LBE为交叉熵，H(P*)为香农熵，LDS为非极大预测向量的分离度量，γ、μ为超参数，代表两个部分的影响能力。
常规训练中，本发明将全部数据输入模型训练，最终生成一种多样性情况。这个多样性情况，虽然考虑到了所有的训练数据，但是全部在一起影响，相互之间可能会造成制约，那么最终成型的多样性情况，可能并不完美。
考虑到上述的情况，本发明在训练中引入联邦学习的思想。将训练数据拆分给各个终端，模拟一个数据多样性的环境。这样，每个终端使用不同的训练数据，可以训练出不同的模型多样性情况，再利用云端将这些终端的权重进行不断迭代的融合，最终可以获得一个更加优秀的多样性情况。
同时考虑到LED损失函数中有两个超参数，本发明设计在每个终端的训练中，使用不同超参形成的损失函数，这样的设计同时考虑到了两点：一是两个超参的设定是一个经验性设定，那么相比于直接设定一个具体的值，设定一个区间更加有效，可以帮助模型找到更好的多样性；二是仅仅靠训练数据分割实现的数据多样性程度太低，依靠不同测超参形成不同的损失函数，提高数据多样性带来的影响。
图2是实施本发明的框架图，本发明的训练方法中包含两大部分：云端和终端。
终端作为训练节点，配备有相同的环境和独属于其的训练样本，同时具有与云端通信的能力，包括上传模型权重和下载更新模型权重。云端不做训练，功能仅有将所有终端上传的权重进行聚合及验证本次聚合后全局权重的效果。
整个训练是一个多次迭代的过程。单次循环的步骤在图中表现为Client2的标注：
1)云端控制节点将存储的全局权重下发终端节点的模型中；
2)终端在更新后的模型基础上，使用其相应的γ、θ形成的优化目标和独有的数据进行训练，对各自的模型参数进行训练优化；
3)训练后的各自权重上传到云端，交予云端控制节点聚合并更新内部的全局权重；
迭代完成之后，最终模型权重为云端内存放的。
基于上述整体框架，加入数据预处理及分割、云终端初始化、日志记录等步骤，最终形成如图3展示的流程图，主要步骤为：
1)导入要训练的对象模型，此对象模型可以为上述形容的多分支预测单模型，亦可为普通的单模型；
2)设置训练数据，包括训练集内容、训练的批量大小、终端的数量、训练的轮数等；
3)选择合适的聚合函数，一般使用的聚合函数为均化处理，将全部上传的权重对应相加求平均获得最终的全局权重；
4)预处理及分割数据集，预处理为将数据集样本部分标准化，将数据集标签部分转化为独热码(one-hot code)格式，随后分割数据集：第一种方式为独立同分布分割，直接将训练样本顺序打乱，然后等分为终端数量的份；第二种为非独立同分布分割，不考虑训练样本的顺序，将训练样本按类分割后分配给终端；本方法中，同时使用两种方式，每个终端分配的数据三成为非独立同分布，七成为独立同分布；
5)初始化云端控制节点，包括云端的聚合算法、测试数据以及全局权重的存储；接着循环初始化终端节点，包括节点标识、生成模型、对应节点的训练数据生成器以及当前的轮数；
6)训练过程为执行既定轮数的上述多次迭代的过程，同时加入相应的云端验证和存储策略，每一次完成聚合后都适用测试数据进行效果验证并在和当前存储的权重效果比较后存储优秀的一方；
7)结束，最终存储的权重为输出的最佳模型权重。
依据流程图，整个方法的算法实现为算法1。
Figure BDA0002399611530000041
Figure BDA0002399611530000051

Claims (2)

1.一种物联网场景下提升多分支预测单模型鲁棒性的训练方法，其特征在于，该方法包括以下具体步骤：
步骤1：训练***初始化
首先设定训练数据的内容、训练批量的大小、训练所需要的终端数量，随后导入需要训练的多分支预测单模型及权重聚合函数；接着对训练数据进行预处理，包括对训练样本的标准化和将训练标签转化为独热码格式；再将训练数据分割成与终端数量同份；最后将等分好的数据制成批量大小的迭代生成器；完成多分支预测单模型和数据的准备后，初始化云端控制节点，包括云端的聚合算法、测试数据以及全局权重的存储；接着循环初始化终端节点，包括节点标识、生成模型、优化目标、对应节点的训练数据生成器以及当前的轮数；
步骤3：多终端统一训练
在初始化完成的云终端***中，一次云端和终端的交互为单个循环：云端控制节点将当前全局权重及当前轮数更新到终端节点的模型中，接着每个终端节点分别依靠初始化时赋予的训练数据及优化目标对当前模型进行优化，得到每个模型中独有的权重，然后每个终端节点上传各自的权重，云端控制节点进行统一收集，收集完成后，云端利用聚合算法将各权重聚合成新的全局权重并使用测试数据验证效果；
最后达到设定的最大训练循环次数停止训练，输出最终模型权重。
2.根据权利要求1所述的物联网场景下提升多分支预测单模型鲁棒性的训练方法，其特征在于，步骤1中所述将训练数据分割成与终端同份，具体为：三成数据非独立同分布分割：将数据按照同分类进行分割；七成数据独立同分布分割：将数据打乱后等分。
CN202010142625.7A 2020-03-04 2020-03-04 物联网场景下提升多分支预测单模型鲁棒性的训练方法 Pending CN111414937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010142625.7A CN111414937A (zh) 2020-03-04 2020-03-04 物联网场景下提升多分支预测单模型鲁棒性的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142625.7A CN111414937A (zh) 2020-03-04 2020-03-04 物联网场景下提升多分支预测单模型鲁棒性的训练方法

Publications (1)

Publication Number Publication Date
CN111414937A true CN111414937A (zh) 2020-07-14

Family

ID=71491164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142625.7A Pending CN111414937A (zh) 2020-03-04 2020-03-04 物联网场景下提升多分支预测单模型鲁棒性的训练方法

Country Status (1)

Country Link
CN (1) CN111414937A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985562A (zh) * 2020-08-20 2020-11-24 复旦大学 一种保护端侧隐私的端云协同训练***
CN112085194A (zh) * 2020-08-30 2020-12-15 清华大学 一种分布鲁棒性对抗学习方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220949A1 (en) * 2016-01-29 2017-08-03 Yahoo! Inc. Method and system for distributed deep machine learning
US10152676B1 (en) * 2013-11-22 2018-12-11 Amazon Technologies, Inc. Distributed training of models using stochastic gradient descent
US20190042937A1 (en) * 2018-02-08 2019-02-07 Intel Corporation Methods and apparatus for federated training of a neural network using trusted edge devices
US20190138934A1 (en) * 2018-09-07 2019-05-09 Saurav Prakash Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (mec) networks
CN110852417A (zh) * 2019-10-10 2020-02-28 华东师范大学 面向物联网应用的单深度神经网络模型鲁棒性提升方法
CN114169506A (zh) * 2021-12-13 2022-03-11 徐州徐工挖掘机械有限公司 一种基于工业物联网平台的深度学习边缘计算***框架

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152676B1 (en) * 2013-11-22 2018-12-11 Amazon Technologies, Inc. Distributed training of models using stochastic gradient descent
US20170220949A1 (en) * 2016-01-29 2017-08-03 Yahoo! Inc. Method and system for distributed deep machine learning
US20190042937A1 (en) * 2018-02-08 2019-02-07 Intel Corporation Methods and apparatus for federated training of a neural network using trusted edge devices
US20190138934A1 (en) * 2018-09-07 2019-05-09 Saurav Prakash Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (mec) networks
CN110852417A (zh) * 2019-10-10 2020-02-28 华东师范大学 面向物联网应用的单深度神经网络模型鲁棒性提升方法
CN114169506A (zh) * 2021-12-13 2022-03-11 徐州徐工挖掘机械有限公司 一种基于工业物联网平台的深度学习边缘计算***框架

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴琪 等: "边缘学习：关键技术、应用与挑战", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/13.1099.TN.20191217.1634.002.HTML》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985562A (zh) * 2020-08-20 2020-11-24 复旦大学 一种保护端侧隐私的端云协同训练***
CN111985562B (zh) * 2020-08-20 2022-07-26 复旦大学 一种保护端侧隐私的端云协同训练***
CN112085194A (zh) * 2020-08-30 2020-12-15 清华大学 一种分布鲁棒性对抗学习方法
CN112085194B (zh) * 2020-08-30 2022-12-13 清华大学 一种分布鲁棒性对抗学习方法

Similar Documents

Publication Publication Date Title
Hu et al. A novel image steganography method via deep convolutional generative adversarial networks
CN110837850B (zh) 一种基于对抗学习损失函数的无监督域适应方法
CN111506773B (zh) 一种基于无监督深度孪生网络的视频去重方法
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
Fan et al. Federated generative adversarial learning
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和***
CN114329109B (zh) 基于弱监督哈希学习的多模态检索方法及***
CN113988314B (zh) 一种选择客户端的分簇联邦学习方法及***
CN114092742B (zh) 一种基于多角度的小样本图像分类装置和方法
Chavda et al. Support vector machines for image spam analysis
CN111414937A (zh) 物联网场景下提升多分支预测单模型鲁棒性的训练方法
CN109086737B (zh) 基于卷积神经网络的航运货物监控视频识别方法及***
CN115829027A (zh) 一种基于对比学习的联邦学习稀疏训练方法及***
CN113283590A (zh) 一种面向后门攻击的防御方法
CN112748941A (zh) 基于反馈信息的目标应用程序的更新方法和装置
CN114821237A (zh) 一种基于多级对比学习的无监督船舶再识别方法及***
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
Ling et al. Semi-supervised few-shot learning via multi-factor clustering
CN117152459A (zh) 图像检测方法、装置、计算机可读介质及电子设备
Wang et al. Domain adaptive sampling for cross-domain point cloud recognition
CN113392867A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN104008095A (zh) 一种基于语义特征提取与匹配的物体识别方法
CN105205487B (zh) 一种图片处理方法及装置
Qian et al. Identification of conductive leakage signal in power cable based on multi-classification PSO-SVM
CN116206239A (zh) 视频特征提取网络训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200714