CN114202397B - 基于神经元激活值聚类的纵向联邦学习后门防御方法 - Google Patents

基于神经元激活值聚类的纵向联邦学习后门防御方法 Download PDF

Info

Publication number
CN114202397B
CN114202397B CN202210146719.0A CN202210146719A CN114202397B CN 114202397 B CN114202397 B CN 114202397B CN 202210146719 A CN202210146719 A CN 202210146719A CN 114202397 B CN114202397 B CN 114202397B
Authority
CN
China
Prior art keywords
backdoor
clustering
commodity
commodity guide
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210146719.0A
Other languages
English (en)
Other versions
CN114202397A (zh
Inventor
林昶廷
韩蒙
熊海洋
陈晋音
纪守领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Juntong Intelligent Technology Co ltd
Original Assignee
Zhejiang Juntong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Juntong Intelligent Technology Co ltd filed Critical Zhejiang Juntong Intelligent Technology Co ltd
Priority to CN202210146719.0A priority Critical patent/CN114202397B/zh
Publication of CN114202397A publication Critical patent/CN114202397A/zh
Application granted granted Critical
Publication of CN114202397B publication Critical patent/CN114202397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于神经元激活值聚类的纵向联邦学习后门防御方法，包括：构建包含多个参与方和协作方的纵向联邦推荐***；联邦学习，协作方在获得聚合嵌入表示对应的构建商品导向链路后，通过对商品导向链路进行分类以有效第筛选出潜在后门攻击的商品导向链路，并利用聚类结果对后门攻击的商品导向链路进行修复，以指导后门攻击的商品样本朝着正确的预测方向进行学习，这样无需获得参与方的商品样本，修复后的商品推荐模型能够防御后门攻击；还通过对与后门攻击的聚合嵌入表示相同ID的联合嵌入表示进行滤除或攻击修复，以阻止或改善后门攻击的聚合嵌入表示对商品推荐模型的参数优化，提升商品推荐模型对后门攻击的防御能力。

Description

基于神经元激活值聚类的纵向联邦学习后门防御方法
技术领域
本发明属于商品推荐的隐私安全技术领域，具体涉及一种基于神经元激活值聚类的纵向联邦学习后门防御方法。
背景技术
深度学习在复杂多变的推荐任务中取得优异的性能，这使得其在现实场景中的商品推荐***中得到大规模的应用和部署。通过深度学习构建的商品推荐***相比传统的商品推荐***进一步提升了性能，这主要得益于丰富的计算资源和充足的计算数据。然而，近些年一些国家和地区出台了数据隐私保护法规限制了商业数据的大规模收集，这给深度学习构建的商品推荐***带来很大的挑战，随着而来的是企业之间的数据孤岛现象。
利用纵向联邦学习技术搭建的商业推荐***被称为纵向联邦推荐***。纵向联邦推荐***被视作破解商业推荐***中数据孤岛难题的技术解决方案。参与纵向联邦学习的企业无需共享商品属性数据，仅仅在本地共享嵌入表示或梯度就可以构建完整的商品推荐***。然而，由于所有参与纵向联邦推荐***的过程中难以保证所有的企业都是可信的，这其中极其有可能存在恶意的参与方。参与者试图通过在纵向联邦推荐***中篡改数据或者操纵纵向联邦学习训练过程达到对商品推荐***注入后门的目的。例如，参与者试图在某件商品添加特殊标识后被恶意进行大量推送给用户，这极大破坏商品推荐***的安全性。
纵向联邦推荐***在训练过程中，存在两种不同攻击者发动后门攻击的范式，一方面作为主动方（参与纵向联邦推荐***中具有标签的参与方）进行后门攻击时，纵向联邦推荐***中的主动方在训练过程中仅仅为数据特征上添加模式触发器并且为相应的样本数据修改标签信息就可以达到注入后门的目的；另一方面作为被动方（参与纵向联邦推荐***中只提供特征的参与方）进行后门攻击时，纵向联邦推荐***的被动方通过在训练过程中篡改梯度信息来注入后门。这两种注入后门的目的都是在纵向联邦推荐***测试阶段，攻击者可以使得纵向联邦推荐***将特定的商品样本恶意精准推荐给特定用户。
为了防御纵向联邦推荐***的后门攻击威胁，需要在协作方部署防御方法。现有技术中存在2种常见的防御方法：差分隐私技术和梯度稀疏技术。然而，这2种技术并不适用于商品推荐***防御后门攻击威胁，其中差分隐私技术通过添加随机噪声使得商品推荐任务的准确性急剧下降，无法权衡后门防御性能和推荐任务性能。梯度稀疏无法防御纵向联邦推荐***的主动方进行后门攻击，这主要是由于主动方发动后门攻击不依赖于模型的梯度信息。
发明内容
鉴于上述，本发明的目的是提供一种基于神经元激活值聚类的纵向联邦学习后门防御方法，以使纵向联邦学习***中顶部模型能够防御后门攻击，提高顶部模型的鲁棒性。
为实现上述发明目的，本发明提供以下技术方案：
一种基于神经元激活值聚类的纵向联邦学习后门防御方法，包括以下步骤：
构建包含多个参与方和一个协作方的纵向联邦推荐***，该纵向联邦推荐***用于通过纵向联邦学习构建商品推荐模型；
进行纵向联邦推荐***的联邦学习，包括：每个参与方利用本地商品样本训练本地模型，并上传商品样本对应的嵌入表示至协作方；协作方聚合所有参与方上传的嵌入表示得到聚合嵌入表示，并获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，同时根据聚类结果对后门攻击的商品导向链路进行修复，依据修复后的商品导向链路进行顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习；
提取联邦学习结束的顶部模型作为能够防御后门攻击的商品推荐模型。
在一个实施例中，协作方采用拼接操作聚合所有参与方上传的嵌入表示得到聚合嵌入表示。
在一个实施例中，所述获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，包括：
利用顶部模型对输入的聚合嵌入表示进行一次正向传导计算，以得到正向传导过程中顶部模型的每层神经元的激活值，提取每层激活值最大的神经元作为商品导向神经元，所有层的商品导向神经元按照正向传导方向连接形成商品导向链路。
在一个实施例中，所述通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，包括：
基于顶部模型对输入的聚合嵌入表示进行一次正向传导计算得到的预测标签，对聚合嵌入表示和对应的商品导向链路进行分类存储；
针对每类预测标签对应的所有聚合嵌入表示进行聚类，鉴于纵向联邦学习中攻击者的数量少于正常参与训练的参与者，筛选包含聚合嵌入表示个数最小的聚类簇为第一异常聚类簇，并以第一异常聚类簇中包含的聚合嵌入表示个数与参与聚类的所有聚合嵌入表示个数的比值作为第一后门风险评分；
针对每类预测标签对应的所有商品导向链路进行聚类，筛选包含商品导向链路个数最小的聚类簇为第二异常聚类簇，并以第二异常聚类簇中包含的商品导向链路个数与参与聚类的所有商品导向链路个数的比值作为第二后门风险评分；
针对每类预测标签，综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分；
总后门风险评分大于预设阈值时，认为第一异常聚类簇中的聚合嵌入表示为后门攻击的联合嵌入表示，同时认为第二异常聚类簇中商品导向链路为后门攻击的商品导向链路。
在一个实施例中，所述对聚合嵌入表示和对应的商品导向链路进行分类存储，包括：
依据聚合嵌入表示的预测标签构建商品索引查询表，每类预测标签对应商品索引查询表的每一族，属于相同类预测标签的联合嵌入表示和对应的商品导向链路被排列在同一族，以实现按照预测标签的分类存储。
在一个实施例中，在对每类预测标签对应的所有聚合嵌入表示进行聚类时，随机选择两个聚合嵌入表示作为初始聚类中心，依据的聚类距离为待聚类的聚合嵌入表示到聚类中心的欧几里得距离与待聚类的聚合嵌入表示到聚类中心的余弦相似度距离之和，每轮聚类结束后，采用平均聚类算法按照聚类中所有聚合嵌入表示的维度平均数来更新聚类中心；
在对每类预测标签对应的所有商品导向链路进行聚类时，随机选择两个商品导向链路作为初始聚类中心，依据的聚类距离为待聚类的商品导向链路到聚类中心的欧几里得距离与待聚类的商品导向链路到聚类中心的余弦相似度距离之和，每轮聚类结束后，采用平均聚类算法按照聚类中所有商品导向链路的维度平均数来更新聚类中心。
在一个实施例中，所述综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分，包括：
将聚合嵌入表示对应的第一后门风险评分和商品导向链路对应的第二后门风险评分按照权重加权求和得到每类预测标签对应的总后门风险评分，其中，权重的取值为0-1，第一后门风险评分的权重与第二后门风险评分的权重之和为1。
在一个实施例中，所述根据聚类结果对后门攻击的商品导向链路进行修复，包括：
从聚类结果中任意选择一个正常商品导向链路覆盖后门攻击的商品导向链路，以实现修复；
或，计算聚类结果中所有正常商品导向链路的平均值，以平均值覆盖后门攻击的商品导向链路，以实现修复。
在一个实施例中，在确定后门攻击的商品导向链路时，获得商品导向链路对应的后门攻击的联合嵌入表示并记录；
记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习。
在一个实施例中，所述记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习，包括：
下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的ID从参与方上传的联合嵌入表示中删除相同ID的联合嵌入表示，利用剩下的联合嵌入表示参与协作方的顶部模型的更新；
或，下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的ID从参与方上传的联合嵌入表示中筛选相同ID的联合嵌入表示，并对相同ID的联合嵌入表示进行攻击修复，修复后的联合嵌入表示参与协作方的顶部模型的更新；
其中，攻击修复包括：利用相同ID的联合嵌入表示的相邻固定时间范围内的正常最大联合嵌入表示进行替换，以实现攻击修复。
与现有技术相比，本发明具有的有益效果至少包括：
协作方在获得聚合嵌入表示对应的构建商品导向链路后，通过对商品导向链路进行分类以有效筛选出潜在后门攻击的商品导向链路，并利用
聚类结果对后门攻击的商品导向链路进行修复，以指导后门攻击的商品样本朝着正确的预测方向进行学习，这样无需获得参与方的商品样本，修复后的顶部模型能够防御后门攻击；
确定后门攻击的商品导向链路的同时，还可以获得后门攻击的聚合嵌入表示，通过对与后门攻击的聚合嵌入表示相同ID的联合嵌入表示进行滤除或攻击修复，以阻止或改善后门攻击的聚合嵌入表示对顶部模型的参数优化，提升顶部模型对后门攻击的防御能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于神经元激活值聚类的纵向联邦学习后门防御方法的流程图；
图2是实施例提供的纵向联邦推荐***的结构示意图；
图3是实施例提供的聚类筛选后门攻击的商品导向链路的原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
针对如何保护纵向联邦学习中的模型安全问题，鉴于纵向联邦推荐***在商业场景中进行广泛部署后存在后门攻击的风险，有必要研究一种有效的防御方法。本发明旨在从纵向联邦推荐***中协作方的角度提出基于神经元激活值聚类的纵向联邦学习后门防御方法，具体技术构思为：在纵向联邦推荐***中主动方和被动方发起的后门攻击最终都会在具有预测分类能力的顶部模型表现出注入后门的效果，特别地，技术构思基于一种现实观察，注入后门的顶部模型和干净的顶部模型在分类任务时的神经元激活值表现出不同的规律。通常来说，对于干净模型对于相同类别的样本分类的商品导向链路具有相同的规律，然而对于后门模型对于相同类别的样本分类的商品导向链路具有两种不同的规律。基于此，引入K-means聚类技术对顶部模型的神经元激活值进行分析，同时分析嵌入表示的分布特征，为此，进行评定模型是否被注入了后门。最后，对纵向联邦推荐***潜在的后门进行神经元激活值以及嵌入表示替换操作来修复后门带来的风险和挑战。
图1是实施例提供的基于神经元激活值聚类的纵向联邦学习后门防御方法的流程图。如图1所示，实施例提供的基于神经元激活值聚类的纵向联邦学习后门防御方法，包括以下步骤：
步骤1，构建包含多个参与方和协作方的纵向联邦推荐***。
实施例中，构建的纵向联邦推荐***用于通过纵向联邦学习构建商品推荐模型。按照纵向联邦推荐***协议，参与方具有本地商品样本和本地模型，协作方具有能够分类能力的顶部模型。其中，多个参与方用于利用本地商品样本训练本地模型，参与方的本地模型前向传播过程中获得商品样本的嵌入表示，并上传商品样本对应的嵌入表示至协作方。协作方用于对上传的嵌入表示进行聚合，并用聚合嵌入表示更新顶部模型参数，且还用于顶部模型的更新参数进行下一轮参与方本地模型的模型参数的部署。
实施例中，参与方具有的商品样本具有商品属性信息，其中，商品属性包括商品的类型，商品的颜色，商品的销售额等。基于该商品属性信息利用商品推荐模型可以实现商品的推荐。
实施例中，参与方的本地模型采用的深度学习模型可以包括全连接神经网络模型、卷积神经网络模型或者图卷积神经网络模型等，协作方模型通常为具有分类能力的全连接神经网络模型。顶部模型和本地模型均包括输入层、隐藏层以及输出层，不同层之间存在链接关系，每层为由多个神经元组成的神经网络，如图2中本地模型和顶部模型的圆圈均表示神经元，每一层神经网络的神经元通过激活函数输出激活值，以反映神经元的激活状态。其中，每一层中神经元激活值最大的神经元被定义为导向神经元，如图2中顶部模型中的黑色圆圈，往往对预测任务具有重要作用。本地模型的输入层对应参与方的原始数据维度，本地模型的输出层对应纵向联邦推荐***的训练协议中要求的输出维度。
基于纵向联邦推荐***的数据安全隐私的协议，参与方的商品样本是对外公布，也不上传至协作方的，因此，协作方无法获得本地的商品样本。同时，参与方可能是恶意攻击者，存在后门攻击的风险。攻击者通过在联邦学习训练过程中注入精心制作的后门商品推荐样本毒化纵向联邦推荐***，直接会导致协作方的顶部模型被注入后门，以影响最终的顶部模型的鲁棒性。因此，采用步骤2的方式进行顶部模型的后门攻击防御学习，以提高顶部模型对后门攻击的防御能力。
步骤2，进行纵向联邦推荐***的联邦学习。
如图2所示，联邦学习过程中，每个参与方利用本地商品样本训练本地模型，并上传商品样本对应的嵌入表示至协作方。由于每个参与方具有的商品样本特征不同，每个参与方提取的嵌入表示也不同。
如图2所示，联邦学习过程中，协作方聚合所有参与方上传的嵌入表示得到聚合嵌入表示，并获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，同时根据聚类结果对后门攻击的商品导向链路进行修复，依据修复后的商品导向链路进行顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习。
实施例中，协作方接收所有参与方上传的嵌入表示
Figure 498074DEST_PATH_IMAGE001
，并聚合所有参与方上传的 嵌入表示
Figure 572471DEST_PATH_IMAGE001
得到聚合嵌入表示
Figure 883367DEST_PATH_IMAGE002
，其中，s为嵌入表示的索引，也对应参与方的索引，x为聚 合嵌入表示的索引。具体地，可以采用如
Figure 809735DEST_PATH_IMAGE003
函数等的拼接操作聚合所有参与方上传 的嵌入表示得到聚合嵌入表示，拼接操作即是将为多个嵌入表示沿着相同维度进行拼接。 聚合嵌入表示的维度，也即是顶部模型的输入维度为
Figure 155265DEST_PATH_IMAGE004
，其中，
Figure 10351DEST_PATH_IMAGE005
为参与方输出的嵌 入表示的维度，
Figure 808543DEST_PATH_IMAGE006
表示参与方的数量，此处不失一般性假设默认每个参与方的本地模型的输 出嵌入表示维度相同。
实施例中，获得的聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，包括：
聚合嵌入表示输入至顶部模型，利用顶部模型对聚合嵌入表示进行一次正向传导 计算，以得到正向传导过程中顶部模型的每层神经元的激活值，提取每层激活值最大的神 经元作为商品导向神经元，所有层的商品导向神经元按照正向传导方向连接形成商品导向 链路
Figure 273022DEST_PATH_IMAGE007
。
实施例中，通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，包括：
（a）基于顶部模型对输入的聚合嵌入表示进行一次正向传导计算得到的预测标签，对聚合嵌入表示和对应的商品导向链路进行分类存储。
实施例中，聚合嵌入表示
Figure 207480DEST_PATH_IMAGE008
输入至顶部模型中，经过一次正向传导计算以得到商 品导向链接
Figure 732002DEST_PATH_IMAGE009
和商品预测标签
Figure 751911DEST_PATH_IMAGE010
，商品被推荐给特定的预测标签。例如“防滑鞋”根据预测结 果被精准地推荐给“老年人”用户群体。协作方为商品样本建立商品索引查询表，商品索引 查询表可以通过字典或者列表的形式存储于存储器中。其中，存储器可以为在近端的易失 性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，或者远端的 存储云。
实施例中，依据聚合嵌入表示的预测标签构建商品索引查询表，每类预测标签对应商品索引查询表的每一族，属于相同类预测标签的联合嵌入表示和对应的商品导向链路被排列在同一族，以实现按照预测标签的分类存储。
如图3所示，协作方利用K-means聚类对每一族进行后门风险评分。后门风险评分 机制由2部分组成：对商品导向链路的后门风险评分和对联合嵌入表示的后门风险评分。商 品导向链接
Figure 20081DEST_PATH_IMAGE009
和嵌入表示
Figure 809046DEST_PATH_IMAGE008
都被视作向量形式用于聚类。通过检索每一族的异常分类情况 判断每一族是否存在嵌入潜在的后门风险。协作方将族按照序列顺序依次进行排序，并逐 一开展对每一族的后门风险评分。
（b）针对每类预测标签对应的所有聚合嵌入表示进行聚类，筛选包含聚合嵌入表示个数最小的聚类簇为第一异常聚类簇，并以第一异常聚类簇中包含的聚合嵌入表示个数与参与聚类的所有聚合嵌入表示个数的比值作为第一后门风险评分。
实施例中，在对每类预测标签对应的所有聚合嵌入表示进行聚类时，随机选择两 个聚合嵌入表示作为初始聚类中心
Figure 770048DEST_PATH_IMAGE011
，分别表示正常聚类簇的聚类中心和异常聚类簇的 聚类中心；然后，依据计算其余联合嵌入表示到两个聚类中心的聚类距离后，依据聚类距离 对联合嵌入表示进行聚类，即将联合嵌入表示聚类到最小聚类距离对应的聚类簇。
实施例中，聚类距离
Figure 309877DEST_PATH_IMAGE012
采用两种度量方式，包括欧几里得距离
Figure 116158DEST_PATH_IMAGE013
和余弦相似度距离
Figure 556367DEST_PATH_IMAGE014
，并以待聚类的聚合嵌入表示到聚类中心的欧几里得距离
Figure 422692DEST_PATH_IMAGE013
与待聚类的聚合嵌入表示到 聚类中心的余弦相似度距离
Figure 417193DEST_PATH_IMAGE014
之和作为聚类距离，即
Figure 761586DEST_PATH_IMAGE015
。
每轮聚类结束后，采用平均聚类算法按照聚类中所有聚合嵌入表示的维度平均数来更新聚类中心，即更新的聚类中心表示为：
Figure 790722DEST_PATH_IMAGE016
其中，
Figure 827948DEST_PATH_IMAGE017
表示第i个更新的聚类中心，
Figure 309745DEST_PATH_IMAGE018
为每族的聚合嵌入表示的个数。
聚类结束后，筛选包含聚合嵌入表示个数最小的聚类簇为第一异常聚类簇，即从两个聚类簇中选择聚合嵌入表示个数少的聚类簇作为第一异常聚类簇，剩下一个聚类簇为第一正常聚类簇，第一正常聚类簇包含的聚合嵌入表示为正常聚合嵌入表示；然后以第一异常聚类簇中包含的聚合嵌入表示个数与参与聚类的所有聚合嵌入表示个数的比值作为第一后门风险评分，同时记录该第一异常聚类簇中聚合嵌入表示的ID。
（c）针对每类预测标签对应的所有商品导向链路进行聚类，筛选包含商品导向链路个数最小的聚类簇为第二异常聚类簇，并以第二异常聚类簇中包含的商品导向链路个数与参与聚类的所有商品导向链路个数的比值作为第二后门风险评分。
实施例中，采用与聚合嵌入表示相同的聚类方式对商品导向链路进行聚类以得到 对商品导向链路的后门风险评分。在对每类预测标签对应的所有商品导向链路进行聚类 时，随机选择两个商品导向链路作为初始聚类中心
Figure 490453DEST_PATH_IMAGE019
，分别表示正常聚类簇的聚类中心 和异常聚类簇的聚类中心；然后，依据计算其余商品导向链路到两个聚类中心的聚类距离 后，依据聚类距离对商品导向链路进行聚类，即将商品导向链路聚类到最小聚类距离对应 的聚类簇。
实施例中，对每类预测标签对应的所有商品导向链路进行聚类采用的聚类距离
Figure 374096DEST_PATH_IMAGE012
同 样采用两种度量方式，包括欧几里得距离
Figure 847802DEST_PATH_IMAGE013
和余弦相似度距离
Figure 816895DEST_PATH_IMAGE014
，并以待聚类的聚合嵌入表 示到聚类中心的欧几里得距离
Figure 503092DEST_PATH_IMAGE013
与待聚类的聚合嵌入表示到聚类中心的余弦相似度距离
Figure 241240DEST_PATH_IMAGE014
之和作为聚类距离，即
Figure 885848DEST_PATH_IMAGE015
。
每轮聚类结束后，采用平均聚类算法按照聚类中所有商品导向链路的维度平均数来更新聚类中心，即更新的聚类中心表示为：
Figure 76658DEST_PATH_IMAGE020
其中，
Figure 566545DEST_PATH_IMAGE021
表示第i个更新的聚类中心，
Figure 159201DEST_PATH_IMAGE018
为每族的商品导向链路的个数。
聚类结束后，筛选包含商品导向链路个数最小的聚类簇为第二异常聚类簇，即从两个聚类簇中选择商品导向链路个数少的聚类簇作为第二异常聚类簇，剩下一个聚类簇为第二正常聚类簇，第二正常聚类簇包含的商品导向链路为正常商品导向链路；然后以第二异常聚类簇中包含的商品导向链路个数与参与聚类的所有商品导向链路个数的比值作为第二后门风险评分，同时记录该第二异常聚类簇中商品导向链路的ID。
（d）针对每类预测标签，综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分。
在完成步骤（b）和步骤（c）的评分后，协作者将聚合嵌入表示对应的第一后门风险评分和商品导向链路对应的第二后门风险评分按照权重加权求和得到每类预测标签对应的总后门风险评分，其中，权重的取值为0-1，第一后门风险评分的权重与第二后门风险评分的权重之和为1。
优选地，第一后门风险评分的权重与第二后门风险评分的权重均取0.5，则以第一后门风险评分与第二后门风险评分的算数平均值作为每类预测标签对应的总后门风险评分score。
（e）总后门风险评分大于预设阈值时，认为第一异常聚类簇中的聚合嵌入表示为后门攻击的联合嵌入表示，同时认为第二异常聚类簇中商品导向链路为后门攻击的商品导向链路。
实施例中，阈值M作为衡量是否存在后门攻击的标准，经过试验探究获得，优选地，阈值M设为0.2-0.3，该阈值可以更好地判断是否存在后门攻击。进一步优选地，阈值M设为0.2。
当总后门风险评分score大于预设阈值M时，则认为顶部模型存在后门攻击，即认为第一异常聚类簇中的聚合嵌入表示为后门攻击的联合嵌入表示，同时认为第二异常聚类簇中商品导向链路为后门攻击的商品导向链路。
当总后门风险评分score小于等于预设阈值M时，则认为顶部模型不存在后门攻击，当认为顶部模型不存在后门攻击时，从内存释放存储结果，擦除存储器中该族的占有信息；否则，检测结果保存到存储器，原有族的信息不做擦除。
值得注意的是，被推荐的商品后门风险评分环节可以发生在纵向联邦推荐***训练的任何阶段，通常存在2种评分策略：单点评分和间隔评分。其中，单点评分指协作方仅仅针对纵向联邦推荐***训练过程中的顶部模型依赖单个轮次的评分，往往发生在纵向联邦推荐***接近收敛阶段或者训练中间阶段。间隔评分指协作方针对纵向联邦推荐***训练过程中多个轮次进行随机抽取顶部模型进行评分，选取评分最大值作为最终后门风险评分。
实施例中，根据聚类结果对后门攻击的商品导向链路进行修复，依据修复后的商品导向链路进行顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习。
当协作方判断顶部模型存在潜在后门风险时，从存储器读取后门攻击的商品导向链路进行后门修复操作。具体地，根据聚类结果对后门攻击的商品导向链路进行修复，即对商品导向链接中神经元激活值净化操作，包括以下两种方式：
方式一，直接替换覆盖，即从聚类结果中任意选择一个正常商品导向链路覆盖后门攻击的商品导向链路，以实现修复。具体地，从第二正常聚类簇中随机选择一个正常商品导向链路（视为未被攻击的正常商品导向链路）的激活值直接替换后门攻击的商品导向链路的激活值。该方式适用于协作方计算资源低的场景。
方式二：平均覆盖，即计算聚类结果中所有正常商品导向链路的平均值，以平均值覆盖后门攻击的商品导向链路，以实现修复。具体地，计算第二正常聚类簇中所有正常商品导向链路的平均激活值，利用平均激活值替换后门攻击的商品导向链路的激活值。
修复后的商品导向链路用于顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习。这样更新的模型参数可以指导后门攻击的商品样本朝着正确的预测方向进行学习，这样无需获得参与方的商品样本，修复后的顶部模型能够防御后门攻击。
实施例中，在确定后门攻击的商品导向链路时，还可以获得商品导向链路对应的后门攻击的联合嵌入表示并记录；记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习，包括以下两种方式：
方式一：下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的ID从参与方上传的联合嵌入表示中删除相同ID的联合嵌入表示，利用剩下的联合嵌入表示参与协作方的顶部模型的更新。
实施例中，将靠近下一轮次最近的联邦学习轮次记录的后门攻击的联合嵌入表示作为最新后门攻击的联合嵌入表示，认为参与方上传的联合嵌入表示中具有与最新后门攻击的联合嵌入表示相同ID的联合嵌入表示存在后门攻击风险，将其删除，以阻止存在后门攻击风险的聚合嵌入表示对顶部模型的参数优化，提升顶部模型对后门攻击的防御能力。
方式二：下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的ID从参与方上传的联合嵌入表示中筛选相同ID的联合嵌入表示，并对相同ID的联合嵌入表示进行攻击修复，修复后的联合嵌入表示参与协作方的顶部模型的更新。
其中，攻击修复包括：利用相同ID的联合嵌入表示的相邻固定时间范围内的最大正常联合嵌入表示进行替换，以实现攻击修复。具体地，根据联合嵌入表示的索引值，从相同ID的联合嵌入表示的相邻固定时间范围内选择所有正常联合嵌入表示，并选择最大正常联合嵌入表示作为替换目标，利用替换目标对相同ID的联合嵌入表示进行替换，以实现攻击修复。
需要说明的是，在每轮训练过程中，参与方采用的商品样本的顺序不变，这样就能够依据之前记载的最新后门攻击的联合嵌入表示的ID来锁定当前轮次可能存在后门攻击的联合嵌入表示。再者，参与方采用的商品样本的顺序不变，联合嵌入表示形成并输入顶部模型的时间顺序不变，这样可以方便锁定到相同ID的联合嵌入表示的前后相邻固定时间范围内的正常联合嵌入表示，利用正常联合嵌入表示进行替换，替换修复后的联合嵌入表示参与协作方的顶部模型的更新，这样能够改善后门攻击的聚合嵌入表示对顶部模型的参数优化，提升顶部模型对后门攻击的防御能力。
步骤3，提取联邦学习结束的顶部模型作为能够防御后门攻击的商品推荐模型。
当联邦学习结束后，提取协作方的顶部模型及优化的模型参数作为最终的商品推荐模型，该商品推荐模型因为在训练过程中采用了后门攻击的商品导向链路的修复和后门攻击的联合嵌入表示的滤除和修复，因此具有防御攻击的能力，即使针对后门攻击的商品样本，也能够实现对商品的准确推荐。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，包括以下步骤：
构建包含多个参与方和一个协作方的纵向联邦推荐***，该纵向联邦推荐***用于通过纵向联邦学习构建商品推荐模型；
进行纵向联邦推荐***的联邦学习，包括：每个参与方利用本地商品样本训练本地模型，并上传商品样本对应的嵌入表示至协作方；协作方聚合所有参与方上传的嵌入表示得到聚合嵌入表示，并获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，同时根据聚类结果对后门攻击的商品导向链路进行修复，依据修复后的商品导向链路进行顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习；
提取联邦学习结束的顶部模型作为能够防御后门攻击的商品推荐模型；
所述通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，包括：
基于顶部模型对输入的聚合嵌入表示进行一次正向传导计算得到的预测标签，对聚合嵌入表示和对应的商品导向链路进行分类存储；
针对每类预测标签对应的所有聚合嵌入表示进行聚类，筛选包含聚合嵌入表示个数最小的聚类簇为第一异常聚类簇，并以第一异常聚类簇中包含的聚合嵌入表示个数与参与聚类的所有聚合嵌入表示个数的比值作为第一后门风险评分；
针对每类预测标签对应的所有商品导向链路进行聚类，筛选包含商品导向链路个数最小的聚类簇为第二异常聚类簇，并以第二异常聚类簇中包含的商品导向链路个数与参与聚类的所有商品导向链路个数的比值作为第二后门风险评分；
针对每类预测标签，综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分；
总后门风险评分大于预设阈值时，认为第一异常聚类簇中的聚合嵌入表示为后门攻击的联合嵌入表示，同时认为第二异常聚类簇中商品导向链路为后门攻击的商品导向链路。
2.根据权利要求1所述的基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，协作方采用拼接操作聚合所有参与方上传的嵌入表示得到聚合嵌入表示。
3.根据权利要求1所述的基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，所述获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，包括：
利用顶部模型对输入的聚合嵌入表示进行一次正向传导计算，以得到正向传导过程中顶部模型的每层神经元的激活值，提取每层激活值最大的神经元作为商品导向神经元，所有层的商品导向神经元按照正向传导方向连接形成商品导向链路。
4.根据权利要求1所述的基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，所述对聚合嵌入表示和对应的商品导向链路进行分类存储，包括：
依据聚合嵌入表示的预测标签构建商品索引查询表，每类预测标签对应商品索引查询表的每一族，属于相同类预测标签的联合嵌入表示和对应的商品导向链路被排列在同一族，以实现按照预测标签的分类存储。
5.根据权利要求1所述的基于神经元激活值聚类的纵向联邦学***均聚类算法按照聚类中所有聚合嵌入表示的维度平均数来更新聚类中心；
在对每类预测标签对应的所有商品导向链路进行聚类时，随机选择两个商品导向链路作为初始聚类中心，依据的聚类距离为待聚类的商品导向链路到聚类中心的欧几里得距离与待聚类的商品导向链路到聚类中心的余弦相似度距离之和，每轮聚类结束后，采用平均聚类算法按照聚类中所有商品导向链路的维度平均数来更新聚类中心。
6.根据权利要求1所述的基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，所述综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分，包括：
将聚合嵌入表示对应的第一后门风险评分和商品导向链路对应的第二后门风险评分按照权重加权求和得到每类预测标签对应的总后门风险评分，其中，权重的取值为0-1，第一后门风险评分的权重与第二后门风险评分的权重之和为1。
7.根据权利要求1所述的基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，所述根据聚类结果对后门攻击的商品导向链路进行修复，包括：
从聚类结果中任意选择一个正常商品导向链路覆盖后门攻击的商品导向链路，以实现修复；
或，计算聚类结果中所有正常商品导向链路的平均值，以平均值覆盖后门攻击的商品导向链路，以实现修复。
8.根据权利要求1所述的基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，在确定后门攻击的商品导向链路时，获得商品导向链路对应的后门攻击的联合嵌入表示并记录；
记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习。
9.根据权利要求8所述的基于神经元激活值聚类的纵向联邦学习后门防御方法，其特征在于，所述记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习，包括：
下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的ID从参与方上传的联合嵌入表示中删除相同ID的联合嵌入表示，利用剩下的联合嵌入表示参与协作方的顶部模型的更新；
或，下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的ID从参与方上传的联合嵌入表示中筛选相同ID的联合嵌入表示，并对相同ID的联合嵌入表示进行攻击修复，修复后的联合嵌入表示参与协作方的顶部模型的更新；
其中，攻击修复包括：利用相同ID的联合嵌入表示的相邻固定时间范围内的正常最大联合嵌入表示进行替换，以实现攻击修复。
CN202210146719.0A 2022-02-17 2022-02-17 基于神经元激活值聚类的纵向联邦学习后门防御方法 Active CN114202397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210146719.0A CN114202397B (zh) 2022-02-17 2022-02-17 基于神经元激活值聚类的纵向联邦学习后门防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210146719.0A CN114202397B (zh) 2022-02-17 2022-02-17 基于神经元激活值聚类的纵向联邦学习后门防御方法

Publications (2)

Publication Number Publication Date
CN114202397A CN114202397A (zh) 2022-03-18
CN114202397B true CN114202397B (zh) 2022-05-10

Family

ID=80645624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210146719.0A Active CN114202397B (zh) 2022-02-17 2022-02-17 基于神经元激活值聚类的纵向联邦学习后门防御方法

Country Status (1)

Country Link
CN (1) CN114202397B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502709A (zh) * 2023-06-26 2023-07-28 浙江大学滨江研究院 一种异质性联邦学习方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287244A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 基于联邦学习的产品推荐方法、装置、计算机设备及介质
CN112836130A (zh) * 2021-02-20 2021-05-25 四川省人工智能研究院(宜宾) 一种基于联邦学习的上下文感知推荐***及方法
CN113298267A (zh) * 2021-06-10 2021-08-24 浙江工业大学 一种基于节点嵌入差异检测的垂直联邦模型防御方法
CN113411329A (zh) * 2021-06-17 2021-09-17 浙江工业大学 基于dagmm的联邦学习后门攻击防御方法
CN113919513A (zh) * 2021-10-22 2022-01-11 全球能源互联网研究院有限公司南京分公司 一种联邦学习安全聚合方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020185973A1 (en) * 2019-03-11 2020-09-17 doc.ai incorporated System and method with federated learning model for medical research applications
CN112540926A (zh) * 2020-12-17 2021-03-23 杭州趣链科技有限公司 一种基于区块链的资源分配公平的联邦学习方法
CN113095512A (zh) * 2021-04-23 2021-07-09 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、介质及计算机程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287244A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 基于联邦学习的产品推荐方法、装置、计算机设备及介质
CN112836130A (zh) * 2021-02-20 2021-05-25 四川省人工智能研究院(宜宾) 一种基于联邦学习的上下文感知推荐***及方法
CN113298267A (zh) * 2021-06-10 2021-08-24 浙江工业大学 一种基于节点嵌入差异检测的垂直联邦模型防御方法
CN113411329A (zh) * 2021-06-17 2021-09-17 浙江工业大学 基于dagmm的联邦学习后门攻击防御方法
CN113919513A (zh) * 2021-10-22 2022-01-11 全球能源互联网研究院有限公司南京分公司 一种联邦学习安全聚合方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Federated learning with hierarchical clustering of local updates to improve training on non-IID data;Christopher Briggs et al.;《 2020 International Joint Conference on Neural Networks (IJCNN)》;20200928;第1-9页 *
基于纵向联邦学习的推荐***技术研究;李鸣;《中国优秀硕士学位论文数据库 信息科技辑（月刊）》;20220115(第01期);第178-185页 *
联邦推荐***的协同过滤冷启动解决方法;王健宗等;《智能***学报》;20210131;第16卷(第1期);第I138-3112页 *

Also Published As

Publication number Publication date
CN114202397A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
Yu et al. CloudLeak: Large-Scale Deep Learning Models Stealing Through Adversarial Examples.
CN110070183B (zh) 一种弱标注数据的神经网络模型训练方法及装置
Qi et al. Exploiting multi-domain visual information for fake news detection
Dai et al. Adversarial attack on graph structured data
CN111460443B (zh) 一种联邦学习中数据操纵攻击的安全防御方法
US11436615B2 (en) System and method for blockchain transaction risk management using machine learning
US11907955B2 (en) System and method for blockchain automatic tracing of money flow using artificial intelligence
Papernot et al. The limitations of deep learning in adversarial settings
CN111783442A (zh) 入侵检测方法、设备和服务器、存储介质
CN113204745B (zh) 基于模型剪枝和逆向工程的深度学习后门防御方法
Sharma Z-CRIME: A data mining tool for the detection of suspicious criminal activities based on decision tree
Nguyen et al. Backdoor attacks and defenses in federated learning: Survey, challenges and future research directions
Zhang et al. Feature augmentation for imbalanced classification with conditional mixture WGANs
CN114202397B (zh) 基于神经元激活值聚类的纵向联邦学习后门防御方法
CN113283590A (zh) 一种面向后门攻击的防御方法
Xiao et al. A multitarget backdooring attack on deep neural networks with random location trigger
Sheng et al. Backdoor attack of graph neural networks based on subgraph trigger
Wang et al. Attention‐guided black‐box adversarial attacks with large‐scale multiobjective evolutionary optimization
Zhao et al. Natural backdoor attacks on deep neural networks via raindrops
CN110347669A (zh) 基于流式大数据分析的风险防范方法
Lu et al. Counting crowd by weighing counts: A sequential decision-making perspective
Bilgin et al. Explaining Inaccurate Predictions of Models through k-Nearest Neighbors.
CN115496227A (zh) 基于联邦学习的成员推理攻击模型训练的方法及应用
Tsaur et al. [Retracted] Effective Bots’ Detection for Online Smartphone Game Using Multilayer Perceptron Neural Networks
KR102663767B1 (ko) Ai기반 가상자산 고위험 지갑주소 db 자동 업데이트 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant