CN117575044A - 数据遗忘学习方法、装置、数据处理***和存储介质 - Google Patents
数据遗忘学习方法、装置、数据处理***和存储介质 Download PDFInfo
- Publication number
- CN117575044A CN117575044A CN202311654723.9A CN202311654723A CN117575044A CN 117575044 A CN117575044 A CN 117575044A CN 202311654723 A CN202311654723 A CN 202311654723A CN 117575044 A CN117575044 A CN 117575044A
- Authority
- CN
- China
- Prior art keywords
- node
- cluster
- model
- forgetting
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000004138 cluster model Methods 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims abstract description 81
- 230000002776 aggregation Effects 0.000 claims description 53
- 238000004220 aggregation Methods 0.000 claims description 53
- 241000854291 Dianthus carthusianorum Species 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001174 ascending effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000014759 maintenance of location Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000379 polymerizing effect Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- SQMWSBKSHWARHU-SDBHATRESA-N n6-cyclopentyladenosine Chemical compound O[C@@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C2=NC=NC(NC3CCCC3)=C2N=C1 SQMWSBKSHWARHU-SDBHATRESA-N 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据遗忘学习方法、装置、数据处理***和存储介质，其中，该数据遗忘学习方法包括：在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇；获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***，通过本申请，提升了数据处理的效率，减少了内存资源的消耗。
Description
技术领域
本申请涉及分布式模型训练领域，特别是涉及数据遗忘学习方法、装置、数据处理***和存储介质。
背景技术
联邦学习可以协调大量边缘节点在边缘计算场景下共同训练一个全局模型，目前已被广泛用于各种智能应用的训练和部署。然而，人们越来越关注数据的隐私安全问题。为了完全消除某个节点的贡献，一种比较直观的方法是基于除目标节点外的剩余节点拥有的数据从头重新训练模型。然而，模型的重新训练会导致非常大的计算开销，给边缘节点有限的资源带来巨大的压力。当前，华中科技大学提出利用历史模型更新来构造遗忘模型，但在服务器上存储所有节点的历史梯度会带来巨大的内存开销。亚马逊公司提出利用剩余的数据对训练好的模型进行矫正的更新步骤，但这种方法需要全局访问整个数据集，不满足联邦遗忘学习场景的实际需求。而香港理工大学注意到卷积神经网(Convolutional NeuralNetwork，CNN)中不同通道对分类任务中的类别有不同的贡献程度。为此，他们针对类级别的遗忘，通过模型剪枝去除与目标类别最相关的通道来构造遗忘模型，但这种方法只针对CNN模型且仅适用于遗忘特定类别的数据。
针对相关技术中存在数据处理效率低、内存资源消耗大等问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种数据遗忘学习方法、装置、数据处理***和存储介质，以解决相关技术中数据处理效率低、内存资源消耗大的问题。
第一个方面，在本实施例中提供了一种数据遗忘学习方法，包括：
在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；
将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇；
获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；
获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；
根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***。
在其中的一些实施例中，在根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇之前，上述方法还包括：
将初始全局模型下发至数据处理***中所有的边缘节点进行训练，基于训练结果得到所有的边缘节点的初始梯度；
根据所有的边缘节点的初始梯度，得到任意两个边缘节点的梯度相似度。
在其中的一些实施例中，任意两个边缘节点的梯度相似度为任意两个边缘节点的梯度的余弦相似度。
在其中的一些实施例中，上述方法还包括：
基于节点性能，将每个节点簇内性能最强的节点设置为簇头。
在其中一些实施例中，上述方法还包括：
初始簇模型为簇头先根据各边缘节点在节点簇内训练，得到训练梯度，将训练梯度进行聚合并更新簇模型后，再下发给各边缘节点，由各边缘节点再进行训练，循环进行各边缘节点训练和簇头聚合，直至达到预设循环次数，将最后训练得到的模型作为初始簇模型。
在其中的一些实施例中，上述方法还包括：
遗忘模型为目标节点簇的簇头根据目标边缘节点的累积梯度，利用梯度上升算法，对目标边缘节点进行遗忘学习得到。
在其中的一些实施例中，根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***，包括：
将遗忘模型和其他簇模型进行聚合，得到初始聚合模型；
将初始聚合模型下发至各个簇头，以使各个簇头基于各自节点簇内的边缘节点对初始聚合模型进行训练，并基于各个节点簇的训练结果进行模型聚合，循环进行模型的训练和聚合，直至达到预设循环次数，将最后聚合得到的模型识别为目标聚合模型；
根据目标聚合模型，得到去除目标边缘节点的数据处理***。
第二个方面，在本实施例中提供了一种数据遗忘学习装置，包括：
分簇模块、遗忘学习模块以及调整模块，其中：
分簇模块，用于在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇；
遗忘学习模块，用于获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；
调整模块，用于根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***。
第三个方面，在本实施例中提供了一种数据处理***，包括服务器和边缘节点；其中，服务器应用第一个方面的数据遗忘学习方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面的数据遗忘学习方法。
与相关技术相比，在本实施例中提供的数据遗忘学习方法，通过在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇；获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***，解决了数据处理效率低、内存资源消耗大的问题，提升了数据处理的效率，减少了内存资源的消耗。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本实施例的数据遗忘学习方法的终端的硬件结构框图。
图2是本实施例的数据遗忘学习方法的流程图。
图3是本实施例的另一种数据遗忘学习方法的流程图。
图4是本实施例的数据遗忘学习方法的优选流程图。
图5是本实施例的数据遗忘学习装置的结构框图。
图6是本实施例的数据处理***的结构示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和***、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的数据遗忘学习方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的数据遗忘学习方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据遗忘学习方法，图2是本实施例的数据遗忘学习方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇。
联邦学习(Federated Learning，FL)可以协调大量边缘节点在边缘计算(EdgeComputing，EC)场景下共同训练一个全局模型，目前已被广泛用于各种智能应用的训练和部署。然而，人们越来越关注数据的隐私安全问题。例如，欧盟的《通用数据保护条例》(General Data Protection Regulation，GDPR)和美国的《加州消费者隐私保护法》(California Consumer Privacy Act，CCPA)都要求给予用户“被遗忘的权利”。因此，当参与训练的边缘节点拥有恶意或者过时的数据而要求退出时，服务器应该具有移除某个参与节点贡献的能力，该需要移除的边缘节点为目标边缘节点。
数据处理***由服务器和边缘节点组成，可以在所有线程中提取其中一个作为服务器，其余线程作为边缘节点，其中服务器下发训练模型给目标边缘节点训练，边缘节点对接收到的模型进行训练得到对应的训练梯度，上传给服务器处理。服务器接收需要移除目标边缘节点的数据处理请求，根据任意两个边缘节点的梯度相似度进行划分，将资源相似但数据分布互补的边缘节点划分到同一个簇，将目标边缘节点所在的节点簇定为目标节点簇，将除目标节点簇之外的各个节点簇定为其他节点簇；通过将边缘节点划分成簇，减轻了***异构、统计异构带来的挑战，其中，边缘节点的梯度为模型损失函数的梯度，模型损失函数的梯度是边缘节点对下发的全局模型训练后得到的模型跟收到的全局模型之间的差异。
步骤S202，获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到。
服务器将所有边缘节点划分成节点簇后，边缘节点在节点簇内对接收到的簇模型进行训练，得到训练梯度，簇头收集对应节点簇内各边缘节点的训练梯度进行聚合并更新簇模型，再将更新后的模型下发给各边缘节点，各边缘节点再训练，循环进行各边缘节点训练和簇头更新，直至达到预设的循环次数得到得到初始簇模型，其计算公式如下：
其中，T为簇模型更新预设的循环次数，为节点簇k第t轮训练模型，/>为节点簇k第(t-1)轮训练模型，Ck为节点簇k内包含的边缘节点集合，di为边缘节点i的样本数据个数，Dk为节点簇k内所有边缘节点样本数据个数的总和，/>为边缘节点i在第t轮训练的梯度，循环到预设次数T轮后，得到初始簇模型/>
目标节点簇的簇头根据保存的目标边缘节点的累积历史梯度对初始簇模型进行遗忘学习，得到遗忘模型。
步骤S203，获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型。
服务器将所有边缘节点划分成节点簇后，边缘节点在节点簇内对接收到的簇模型进行训练，得到训练梯度，簇头收集对应簇内各节点的训练梯度更新簇模型得到初始簇模型，将初始簇模型下发至节点簇内所有的边缘节点，其他节点簇内的边缘节点对初始簇模型进行训练，得到其他簇模型，其计算公式如下：
其中为其他簇s第t轮训练模型，T为簇模型更新预设的循环次数，/>为其他簇s第t-1轮训练模型，η为训练过程中的学习率，Cs为其他簇s内包含的边缘节点集合，di为其他簇s内的边缘节点i的样本数据个数，Ds为所有其他簇的边缘节点样本数据个数的总和，/>为第t轮边缘节点i的梯度。
步骤S204，根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***。
服务器接收由目标节点簇上传的遗忘模型和由其他节点簇上传的其他簇模型，将遗忘模型和其他簇模型进行聚合，将聚合后的模型再下发至各节点簇内，各节点簇内边缘节点再根据聚合模型进行训练得到对应的训练梯度，再上传给各簇头，各簇头聚合训练梯度以更新簇内模型，将更新后的簇内模型上传给服务器，服务器再将上传的更新后的簇内模型聚合处理，如此循环，以修复遗忘学习过程中对模型造成的泛化性能的损害，达到预设的循环次数之后，得到移除目标边缘节点的数据处理***，此时，能够消除目标边缘节点在数据处理***中的数据贡献。由此，本实施例能够实现对用户需要消除的数据的遗忘，从而实现对数据的隐私保护。
通过上述步骤S201至步骤S204，在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇；获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***。相比现有的利用历史模型更新来构造遗忘模型和模型剪枝去除与目标类别最相关的通道来构造遗忘模型的技术方案，本申请通过对边缘节点进行分簇处理，将数据分布互补的边缘节点划分在同一簇中，在保证簇内节点数据分布的多样性的情况下，使每个簇内的数据分布都接近完整的数据分布，从而加快了模型的训练速度，提高了联邦遗忘学习的效率。通过取消簇头节点与服务器的通信，从而将要遗忘的目标节点的影响范围限定在簇内，避免其他节点陷入重新训练的窘境，进而提升数据处理的效率，减少了内存资源的消耗。
在其中的一些实施例中，在根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇之前，还包括：
将初始全局模型下发至数据处理***中所有的边缘节点进行训练，基于训练结果得到所有的边缘节点的初始梯度；根据所有的边缘节点的初始梯度，得到任意两个边缘节点的梯度相似度。
服务器将初始的全局模型下发给所有边缘节点，边缘节点根据收到的初始的全局模型进行一轮训练，得到边缘节点的初始梯度，根据初始梯度计算任意两个边缘节点的梯度相似度。
在另一个实施例中，任意两个边缘节点的梯度相似度为任意两个边缘节点的梯度的余弦相似度。
服务器接收到边缘节点的初始梯度后，计算任意两个边缘节点i和边缘节点j的余弦相似度，其计算公式如下，：
其中为边缘节点i的梯度，/>为边缘节点j的梯度，“<>”为两个梯度的点积运算。
服务器根据余弦相似度生成边缘节点数据分布的相关性矩阵M∈{0,1}N×N(N表示边缘节点个数)，将余弦相似度超过阈值σ的边缘节点对(i，j)置为1，其公式如下：
服务器将每个边缘节点设为一个单独的集合，并将相关(Mi，j＝1)的边缘节点对(i，j)所在的集合合并，最终得到G个不相交的集合Ωg(g∈[G])；
服务器将要划分的节点簇的个数设置为K个，其中N表示边缘节点个数，然后将集合Ωg(g∈[G])中包含的边缘节点按照其所拥有的资源排序，将小组内资源相似的边缘节点均匀地分配到每个节点簇中，即将序号为/>的边缘节点分配到节点簇k中，k∈[1，K]，完成各节点簇内边缘节点的分配。
在其中一些实施例中，基于节点性能，将每个节点簇内性能最强的节点设置为簇头。
服务器将边缘节点分完节点簇后，提取每个节点簇内性能最强(训练时间最短)的节点设置为簇头。
在另一个实施例中，初始簇模型为簇头先根据各边缘节点在节点簇内训练，得到训练梯度，将训练梯度进行聚合并更新簇模型后，再下发给各边缘节点，由各边缘节点再进行训练，循环进行各边缘节点训练和簇头聚合，直至达到预设循环次数，将最后训练得到的模型作为初始簇模型。
各边缘节点在各自节点簇内根据簇头下发的模型进行训练，得到训练梯度，将训练梯度上传给簇头，簇头聚合并更新簇模型后再下发给各边缘节点，各边缘节点在进行训练，直到达到预设循环次数，将最后训练得到的模型作为初始簇模型，其基于式(1)实现对簇模型的更新。
在其中一些实施例中，遗忘模型为目标节点簇的簇头根据目标边缘节点的累积梯度，利用梯度上升算法，对目标边缘节点进行遗忘学习得到。
每个节点簇的簇头保存节点簇内所有边缘节点的历史累计梯度，目标遗忘节点所在簇的簇头利用梯度上升算法将从目标边缘节点学习到的知识去除，从而得到遗忘模型，其计算公式如下：
其中代表目标节点簇的遗忘模型，/>代表目标节点簇q在全局模型经过T轮训练的模型，η表示更新时的学习率，/>代表目标节点簇q内目标边缘节点的历史累计梯度。
在其中一个实施例中，根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***，还包括：
将遗忘模型和其他簇模型进行聚合，得到初始聚合模型；将初始聚合模型下发至各个簇头，以使各个簇头基于各自节点簇内的边缘节点对初始聚合模型进行训练，并基于各个节点簇的训练结果进行模型聚合，循环进行模型的训练和聚合，直至达到预设循环次数，将最后聚合得到的模型识别为目标聚合模型；根据目标聚合模型，得到去除目标边缘节点的数据处理***。服务器接收遗忘模型和其他簇模型，进行聚合得到初始聚合模型，其计算公式如下：
其中，为初始聚合模型，Dq为簇q内所有节点样本个数的总和，D为所有节点样本个数的总和，/>为遗忘模型，/>为其他簇模型，K为节点簇的个数。
服务器将初始聚合模型下发至各个簇头，簇头将初始聚合模型下发至簇内的边缘节点(除目标边缘节点)，各节点簇内的所有边缘节点根据初始聚合模型进行训练，簇头收集节点簇内所有边缘节点(除目标边缘节点)的梯度，对初始聚合模型进行更新，其计算公式如下：
其中，为第t轮的聚合模型，/>为第(t-1)轮的聚合模型，η为训练过程中的学习率，di为边缘节点i的样本个数，/>为第t轮边缘节点i的梯度，Dk为簇k内边缘节点样本数据个数的总和，T2为模型训练的预设次数。
将训练后的模型再上传给服务器，服务器将上传的训练后的模型再进行聚合，其计算公式如下：
其中，为第t轮聚合后的聚合模型，α为聚合时各个簇模型的权重，/>为簇k的模型，可以为目标节点所在簇q的/>遗忘模型或其他簇模型/>
再将聚合后的模型经过各簇头下发至簇内边缘节点，各簇内边缘节点根据聚合后的模型训练，其并将训练梯度上传至簇头，簇头基于式(7)完成模型更新，再上传至服务器，服务器再基于式(8)进行聚合，直到达到预设的循环次数T2次，将最后聚合得到的模型识别为目标聚合模型，其中预设的循环次数可以根据际应用场景设置，根据得到的目标聚合模型，得到去除目标边缘节点的数据处理***。
进一步地，本申请基于以下模型和数据集进行实验验证：本实验通过在一台具有八块型号为影驰(NVIDIA GeForce RTX 3090Ti)图形处理器(graphics processing unit简称GPU)的深度学习工作站上创建22个线程来实现，将其中一个线程作为服务器，剩下21个线程作为边缘节点(包括目标节点)。
表一
| 数据集 | 模型 |
| Fashion-MNIST(FMNIST) | 多层感知机，MLP |
| CIFAR-10 | AlexNet |
| CIFAR-100 | ResNet-18 |
其中，Fashion-MNIST(FMNIST)数据集是一个包含了10个类别、每个类别下有7000张28x28像素灰度图像的数据集。这个数据集可以用于图像分类、图像识别等任务；CIFAR-10数据集共有60000个样本，每个样本都是一张32x32像素的彩色图像(RGB图像)，每个RGB图像又必定分为3个通道(其中R通道、G通道、B通道)。这60000个样本被分成了50000个训练样本和10000个测试样本，用来监督学习训练；以及CIFAR-100包含60000张32x32的彩色图像，涵盖100个类别。其中50000张图像用于训练，10000张图像用于测试。每个类别包含600张图像；多层感知机(Multilayer Perceptron简称MLP)为一种趋向结构的人工神经网络模型、深度学习模型AlexNet为深度卷积神经网络模型、深度学习模型ResNet-18为深度残差网络模型。为了体现数据的统计异构特性，本申请引入因子p代表节点上非独立同分布数据所占的比例。根据因子p，本申请引入三个非独立同分布级别：
级别1(p＝0.9)，级别2(p＝0.8)，级别3(p＝0.6)
下表为每一种方案在不同数据分布下三个数据集上的目标准确率和保留准确率指标，其中，目标准确率为含有目标遗忘模型的数据***在目标数据集上的准确率，保留准确率为含有目标遗忘模型的数据***在除目标数据外的保留数据集上的准确率。由实验结果可知，所有方案的目标准确率均为00.0％，说明所有方案均有比较好的遗忘效果，能够较为完整地遗忘掉目标数据。此外，所有方案的保留准确率均随着非独立同分布级别变化而变化，由于随着级别的升高，数据集中的非独立同分布数据比例(p)变小，所有簇的整体数据更加接近相同分布，因此所有方***率均有所升高。然而，本申请方案在所有方案中表现出更好的性能。总体来说，在三种数据分布下，本申请方法可以将保留准确率在三个级别分别提升1.6％，1.8％及1.7％。
表二
在本实施例中还提供了一种数据遗忘学习方法。图3是本实施例的另一种数据遗忘学习方法的流程图，如图3所示，该流程包括如下步骤：
步骤S301，服务器将初始全局模型下发给所有边缘节点；
步骤S302，边缘节点根据接收到的初始全局模型进行一轮训练，并将得到的梯度上传到服务器；
步骤S303，服务器根据任意两边缘节点梯度的余弦相似度将所有边缘节点划分为不相交的节点簇，将分簇结果和对应的簇头下发给相应的边缘节点；
步骤S304，边缘节点在节点簇内进行训练，得到训练梯度上传给簇头；
步骤S305，簇头聚合边缘节点的训练梯度对簇模型进行更新，再将更新后的模型下发给边缘节点训练，循环一定次数来更新簇模型，得到初始簇模型，并将初始簇模型下发至节点簇内所有的边缘节点；
步骤S306，目标遗忘节点所在的簇根据初始簇模型进行遗忘学习得到遗忘模型，其他节点簇的边缘节点根据初始簇模型进行训练得到其他簇模型；
步骤S307，服务器协调簇头和边缘节点对遗忘模型进行修复调整得到最终的遗忘模型。
通过上述步骤S301至步骤S307，本申请通过利用边缘节点梯度的余弦相似度作为指标将资源相似但数据分布互补的节点划分到同一个节点簇，从而减轻***异构、统计异构带来的挑战，降低内存资源的消耗。此外，本实施例还提出将边缘节点在节点簇内进行学习的方法，通过使目标边缘节点在目标节点簇内进行遗忘学习，从而将目标边缘节点的影响范围限制在簇内，加速遗忘学习的过程，提高了遗忘学习的速度，从而提高了***处理数据的效率。本申请提出一种基于分层架构的遗忘模型微调方法，可以协调服务器、簇头、边缘节点进行协同训练，从而修复遗忘模型的性能，本申请技术方案适用于任何其他需要的场景，例如当需要对一个病人进行诊断的时候，由于病人比较看重个人隐私，需要将其个人信息擦除后再进行诊断，本申请方案也同样适用。
图4是本实施例的数据遗忘学习方法的优选流程图，如图4所示，该数据遗忘学习方法还包括如下步骤：
步骤S401，服务器聚合遗忘模型和其他簇模型得到初始聚合模型，下发给各个簇头；
步骤S402，各个簇头内的边缘节点根据初始聚合模型进行训练，得到训练梯度；
步骤S403，各个簇头收集各自节点簇内的训练梯度，根据训练梯度更新初始聚合模型，上传给服务器；
步骤S404，服务器接收各个簇头更新后的聚合模型，将各个模型再进行聚合得到新的聚合模型，再下发给各簇头；
步骤S405，循环进行模型的训练和聚合，直至达到预设循环次数，将最后聚合得到的模型识别为目标聚合模型。
在本实施例中还提供了一种数据遗忘学习装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本实施例的数据遗忘学习装置的结构框图，如图5所示，该装置50包括：分簇模块51、遗忘学习模块52和调整模块53，其中，
分簇模块51，用于在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇；
遗忘学习模块52，用于获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；
调整模块53，用于根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种数据处理***，图6是本实施例的数据处理***的结构示意图，如图6所示，该升级***包括：包括服务器61和边缘节点62，其中，
服务器61应用上述任意实施例提供的数据处理方法，边缘节点62用于训练得到训练梯度以更新遗忘模型。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理***中目标节点簇之外的各个节点簇识别为其他节点簇；
S2，获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；
S3，获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；
S4，根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理***。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的数据遗忘学习方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种数据遗忘学习方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据遗忘学习方法，其特征在于，包括：
在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据所述数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，所述边缘节点的梯度为模型损失函数梯度；
将所述目标边缘节点所在的节点簇识别为目标节点簇，将所述数据处理***中所述目标节点簇之外的各个节点簇识别为其他节点簇；
获取由所述目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，所述初始簇模型为各边缘节点在所述节点簇内训练后得到；
获取由所述其他节点簇上传的，根据所述初始簇模型进行训练得到其他簇模型；
根据所述遗忘模型和所述其他簇模型，得到移除所述目标边缘节点的数据处理***。
2.根据权利要求1所述的数据遗忘学习方法，其特征在于，在根据所述数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇之前，所述方法还包括：
将初始全局模型下发至所述数据处理***中所有的所述边缘节点进行训练，基于训练结果得到所有的所述边缘节点的初始梯度；
根据所述所有的所述边缘节点的初始梯度，得到任意两个所述边缘节点的梯度相似度。
3.根据权利要求1所述的数据遗忘学习方法，其特征在于：
所述任意两个所述边缘节点的梯度相似度为所述任意两个边缘节点的梯度的余弦相似度。
4.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述方法还包括：
基于节点性能，将每个节点簇内性能最强的节点设置为簇头。
5.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述方法还包括：
所述初始簇模型为簇头先根据所述各边缘节点在节点簇内训练，得到训练梯度，将所述训练梯度进行聚合并更新簇模型后，再下发给所述各边缘节点，由所述各边缘节点再进行训练，循环进行所述各边缘节点训练和所述簇头聚合，直至达到预设循环次数，将最后训练得到的模型作为所述初始簇模型。
6.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述方法还包括：
所述遗忘模型为所述目标节点簇的簇头根据所述目标边缘节点的累积梯度，利用梯度上升算法，对所述目标边缘节点进行遗忘学习得到。
7.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述根据所述遗忘模型和所述其他簇模型，得到移除所述目标边缘节点的数据处理***，包括：
将所述遗忘模型和所述其他簇模型进行聚合，得到初始聚合模型；
将所述初始聚合模型下发至各个簇头，以使所述各个簇头协调各自节点簇内的边缘节点对所述初始聚合模型进行训练，并基于各个节点簇的训练结果进行模型聚合，循环进行模型的训练和聚合，直至达到预设循环次数，将最后聚合得到的模型识别为目标聚合模型；
根据所述目标聚合模型，得到去除所述目标边缘节点的数据处理***。
8.一种数据遗忘学习装置，其特征在于，包括：分簇模块、遗忘学习模块以及调整模块，其中：
所述分簇模块，用于在接收到针对数据处理***中目标边缘节点的移除请求的情况下，根据所述数据处理***中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，所述边缘节点的梯度为模型损失函数梯度；将所述目标边缘节点所在的节点簇识别为目标节点簇，将所述数据处理***中所述目标节点簇之外的各个节点簇识别为其他节点簇；
所述遗忘学习模块，用于获取由所述目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，所述初始簇模型为各边缘节点在所述节点簇内训练后得到；
所述调整模块，用于根据所述遗忘模型和所述其他簇模型，得到移除所述目标边缘节点的数据处理***。
9.一种数据处理***，其特征在于，包括服务器和边缘节点；其中：
所述服务器应用执行权利要求1至7中任一项所述的数据遗忘学习方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据遗忘学习方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311654723.9A CN117575044A (zh) | 2023-12-05 | 2023-12-05 | 数据遗忘学习方法、装置、数据处理***和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311654723.9A CN117575044A (zh) | 2023-12-05 | 2023-12-05 | 数据遗忘学习方法、装置、数据处理***和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117575044A true CN117575044A (zh) | 2024-02-20 |
Family
ID=89893706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311654723.9A Pending CN117575044A (zh) | 2023-12-05 | 2023-12-05 | 数据遗忘学习方法、装置、数据处理***和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117575044A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117806838A (zh) * | 2024-02-29 | 2024-04-02 | 浪潮电子信息产业股份有限公司 | 基于异构数据的设备分簇方法、装置、设备、***及介质 |
-
2023
- 2023-12-05 CN CN202311654723.9A patent/CN117575044A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117806838A (zh) * | 2024-02-29 | 2024-04-02 | 浪潮电子信息产业股份有限公司 | 基于异构数据的设备分簇方法、装置、设备、***及介质 |
| CN117806838B (zh) * | 2024-02-29 | 2024-06-04 | 浪潮电子信息产业股份有限公司 | 基于异构数据的设备分簇方法、装置、设备、***及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112181971B (zh) | 一种基于边缘的联邦学习模型清洗和设备聚类方法、*** | |
| CN106960219A (zh) | 图片识别方法及装置、计算机设备及计算机可读介质 | |
| CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
| CN112446025A (zh) | 联邦学习防御方法、装置、电子设备及存储介质 | |
| CN110366193B (zh) | 一种智能电网的网络编排层承载的切片部署方法及装置 | |
| CN108009594B (zh) | 一种基于变分组卷积的图像识别方法 | |
| CN117575044A (zh) | 数据遗忘学习方法、装置、数据处理***和存储介质 | |
| CN106650928A (zh) | 一种神经网络的优化方法及装置 | |
| CN111950408B (zh) | 基于规则图的手指静脉图像识别方法、装置及存储介质 | |
| Muhammad et al. | Tree-based deep networks for edge devices | |
| CN112288087A (zh) | 一种神经网络剪枝方法、装置、电子设备及存储介质 | |
| CN115249315B (zh) | 面向异构计算设备的深度学习图像分类方法及装置 | |
| CN112861659A (zh) | 一种图像模型训练方法、装置及电子设备、存储介质 | |
| CN112348200B (zh) | 一种基于联邦学习的受控共享学习方法及*** | |
| CN113518007A (zh) | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 | |
| CN110298394A (zh) | 一种图像识别方法和相关装置 | |
| CN111784699A (zh) | 一种对三维点云数据进行目标分割方法、装置及终端设备 | |
| WO2023020214A1 (zh) | 检索模型的训练和检索方法、装置、设备及介质 | |
| CN110321964A (zh) | 识别模型更新方法及相关装置 | |
| CN116543210A (zh) | 一种基于联邦学习与注意力机制的医学图像分类方法 | |
| CN113592008B (zh) | 小样本图像分类的***、方法、设备及存储介质 | |
| CN117038105B (zh) | 一种基于信息增强图神经网络的药物重定位方法及*** | |
| CN104573710B (zh) | 一种基于潜在空间平滑自表征的子空间聚类方法 | |
| CN110427870B (zh) | 眼部图片识别方法、目标识别模型训练方法及装置 | |
| CN110427804B (zh) | 一种基于二次迁移学习的虹膜身份验证方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |