CN114139147A - 一种针对性攻击防御方法及装置 - Google Patents

一种针对性攻击防御方法及装置 Download PDF

Info

Publication number
CN114139147A
CN114139147A CN202111466436.6A CN202111466436A CN114139147A CN 114139147 A CN114139147 A CN 114139147A CN 202111466436 A CN202111466436 A CN 202111466436A CN 114139147 A CN114139147 A CN 114139147A
Authority
CN
China
Prior art keywords
difference
feature vector
parameter
suspected
attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111466436.6A
Other languages
English (en)
Inventor
张�诚
叶红
吕博良
程佩哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202111466436.6A priority Critical patent/CN114139147A/zh
Publication of CN114139147A publication Critical patent/CN114139147A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供一种针对性攻击防御方法及装置，涉及人工智能领域及信息安全领域，也可用于金融领域，包括：接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方进行联邦机器学习得到；根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。本申请能够检测出联邦学习***中针对特定人工智能模型所进行的攻击性行为，并对有攻击可能性的数据处理请求方进行及时处置，完成针对性攻击防御。

Description

一种针对性攻击防御方法及装置
技术领域
本申请涉及人工智能领域及信息安全领域，可以用于金融领域，具体是一种防御银行联邦学习***中参与方进行针对性攻击的方法及装置。
背景技术
联邦学习是一种新兴的机器学习方法。通过该方法进行机器学习时，原始训练数据无需被上传至中央服务器进行统一训练，而是可以在中央服务器的协调下，实现各参与方的本地训练，因此从根本上解决了数据训练过程中的隐私保护问题。
目前，银行业基于隐私保护的需求也开始大量研究部署联邦学习***。然而，在银行业务中应用联邦学习框架时，如果没有防御措施，很容易遭受来自客户端参与方的针对性攻击。针对性攻击一旦被触发可能导致严重的信息安全后果。因此，由于银行业务的敏感性及对隐私保护的需求，应及时检测并防御攻击者的针对性攻击，将其从联邦学习***中删除，以防其恶意损坏机器学习模型。
发明内容
针对现有技术中的问题，本申请提供一种针对性攻击防御方法及装置，能够检测出联邦学习***中针对特定人工智能模型所进行的攻击性行为，并对有攻击可能性的数据处理请求方进行及时处置，完成针对性攻击防御。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种针对性攻击防御方法，包括：
接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方进行联邦机器学习得到；
根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
进一步地，所述根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量，包括：
根据所述模型差值参数构建所述原始特征向量；
根据所述权重去除所述差值参数中的疑似差值攻击参数；
对去除所述疑似差值攻击参数后的差值参数进行特征升维，以重构所述原始特征向量，得到所述重构特征向量。
进一步地，所述根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御，包括：
确定所述重构特征向量与所述原始特征向量之间的差异；
若所述差异超出预设的检测阈值，则筛查出所述疑似差值攻击参数；
根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方，并将所述疑似攻击性请求方剔除。
进一步地，在根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方之后，还包括：
查询往次进行针对性攻击防御的过程中，所述疑似攻击性请求方是否曾被筛查出；
若是，则将所述疑似攻击性请求方作为实际攻击性请求方剔除。
第二方面，本申请提供一种针对性攻击防御装置，包括：
差值参数确定单元，用于接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方进行联邦机器学习得到；
特征向量确定单元，用于根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
攻击防御单元，用于根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
进一步地，所述特征向量确定单元，包括：
原始向量构建模块，用于根据所述模型差值参数构建所述原始特征向量；
疑似参数去除模块，用于根据所述权重去除所述差值参数中的疑似差值攻击参数；
特征向量重构模块，用于对去除所述疑似差值攻击参数后的差值参数进行特征升维，以重构所述原始特征向量，得到所述重构特征向量。
进一步地，所述攻击防御单元，包括：
差异确定模块，用于确定所述重构特征向量与所述原始特征向量之间的差异；
疑似参数筛查模块，用于若所述差异超出预设的检测阈值，则筛查出所述疑似差值攻击参数；
剔除模块，用于根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方，并将所述疑似攻击性请求方剔除。
进一步地，所述的针对性攻击防御装置，还包括：
历史查询单元，用于查询往次进行针对性攻击防御的过程中，所述疑似攻击性请求方是否曾被筛查出；
剔除单元，用于将所述疑似攻击性请求方作为实际攻击性请求方剔除。
第三方面，本申请提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述针对性攻击防御方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述针对性攻击防御方法的步骤。
针对现有技术中的问题，本申请提供的针对性攻击防御方法及装置，能够精准识别欲进行针对性攻击的数据处理请求方，防止其实施目标攻击，加强了对正常数据处理请求方数据隐私安全的保护力度，提升了联邦学习***的安全性及防御力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中针对性攻击防御方法的流程图之一；
图2为本申请实施例中得到重构特征向量的流程图；
图3为本申请实施例中进行针对性攻击防御的流程图；
图4为本申请实施例中针对性攻击防御方法的流程图之二；
图5为本申请实施例中针对性攻击防御装置的结构图之一；
图6为本申请实施例中特征向量确定单元的结构图；
图7为本申请实施例中攻击防御单元的结构图；
图8为本申请实施例中针对性攻击防御装置的结构图之二；
图9为本申请实施例中的电子设备的结构示意图；
图10为本申请实施例中的应用场景示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请提供的针对性攻击防御方法及装置，可用于金融领域，也可用于除金融领域之外的任意领域，本申请提供的针对性攻击防御方法及装置的应用领域不做限定。
本申请所述方法的应用场景至少包括但不限于进行金融风险防御。具体地，可以是利用联邦学习***构建客户金融信用评估或构建洗钱风险评估等金融风险防御模型，然后利用构建好的模型进行金融风险防御，参见图10。
其中，本申请实施例中的金融风险防御模型通过联邦机器学习方法构建。联邦机器学习是一种新兴的机器学习方法。在进行学习时，原始训练数据无需被上传至中央服务器进行统一训练，从而得到视业务情况需要的数据处理汇聚模型，而是可以在中央服务器的协调下，先让各数据处理请求方(也是模型训练的客户端参与方)先进行本地模型训练，得到数据处理本地模型，然后通过交换数据处理本地模型的特征参数，完成数据处理本地模型聚合，从而得到数据处理汇聚模型，从根本上解决了机器学习过程中的隐私保护问题。
一般而言，在一个联邦学习***中包括中央服务器1、众多的正常用户2及极少数的恶意攻击用户3。其中，正常用户2及恶意攻击用户3都可以通过位于其各自本地的客户端接入联邦学习***。正常用户2可以是包括银行在内的金融机构；这些金融机构可以利用其本地原始训练数据(包括金融数据)进行联邦学习，以得到用于本地金融风险防御的金融风险防御本地模型。恶意攻击用户3可以是伪装成金融机构并意图对联邦学习***进行破坏的用户；恶意攻击用户3也是构建金融风险防御模型的参与者；但与正常用户2不同的是，其参与的目的是破坏***，扰乱金融风险防御模型的构建。中央服务器1的作用在于在联邦学习框架下，收集金融风险防御本地模型的模型参数，然后利用这些模型参数实现金融风险防御本地模型的聚合，得到金融风险防御聚合模型，最后将金融风险防御聚合模型回传至用户，以实现金融风险防御。
在一实施例中，联邦学习***旨在构建一个银行金融风险评估模型，以进行银行金融风险判断，解决小微客户信贷评审违约识别的问题。在构建该银行金融风险评估模型的过程中，这些正常用户2、恶意攻击用户3及中央服务器1都有参与。
在该实施例中，所有正常用户2均可使用各自正常的本地原始训练数据(包括金融数据)用于训练本地模型；其中，用于训练本地模型的原始模型可以由中央服务器1下发到各正常用户2所在的客户端。恶意攻击用户3可能拥有正常的本地原始训练数据(包括金融数据)，同时还拥有用于进行针对性攻击的本地原始训练数据(包括金融数据)；其中，用于进行针对性攻击的本地原始训练数据可以误导模型的训练过程，在该实施例中，可以是将小微客户信贷违约的不良放贷特征识别为正常交税特征，以使联邦学习***失真。
需要说明的是，在中央服务器1收集各用户的模型参数前，恶意攻击用户3可以利用正常的本地原始训练数据及刻意伪造的恶意的本地原始训练数据进行本地模型训练，然后将这些含有攻击性的模型参数传递给中央服务器1以达到攻击的目的。中央服务器1中的攻击识别过程所发挥的作用就是通过自编码及自解码操作来将恶意伪造的特征数据剔除出去，并通过对这些数据的检测统计，将恶意攻击用户3(攻击者)识别出来并进行惩处，以保证联邦学习***的安全性。
一实施例中，参见图1，为了能够检测出联邦学习***中针对特定人工智能模型所进行的攻击性行为，并对有攻击可能性的数据处理请求方进行及时处置，完成针对性攻击防御，本申请提供一种针对性攻击防御方法，包括：
S101：接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方进行联邦机器学习得到；
S102：根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
S103：根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
可以理解的是，目前包括银行在内的金融机构一方面基于业务数据处理的需求，需要进行机器学习，完成业务数据处理模型的训练；另一方面又涉及多方面的隐私保护需求。因此，部署联邦学习***成为金融机构的选择。
然而，银行在应用联邦学习框架时，如果没有适当的防御措施，容易遭受来自客户端参与方的针对性攻击。针对性攻击一旦被触发，很可能导致严重的信息安全后果。因此，基于银行业务数据敏感性的需求及对隐私保护的需求，及时检测并防御攻击者的针对性攻击，将攻击者从联邦学习***中剔除，以防其恶意损坏机器学习模型是十分必要的。
需要说明的是，所谓有针对性攻击，即对手的目标是使训练好的数据处理模型在某些有针对性的子任务上表现失能，同时在主要任务上保持良好的整体性能。例如，在图像分类中，攻击者可能希望数据处理模型将某些“失信人员”误分类为“信用记录良好人员”，同时确保对其他人员进行正确分类。
在前述的应用场景中，模型训练的客户端参与方，也就是数据处理请求方可以是各家分行。在联邦学习的框架下，各家分行可以利用自己本行(本地)的原始训练数据(包括金融数据)，构建数据处理本地模型；然后将模型参数上传中央服务器，以进行后续的模型聚合。
在模型聚合的过程中，为了能够检测出联邦学习***中针对特定模型所进行的攻击性行为，并对有攻击可能性的数据处理请求方进行及时处置，完成针对性攻击防御，需要应用本申请提供的针对性攻击防御方法来实现。
具体地，首先对各数据处理请求方(也称客户端参与方)传递到银行联邦学习***中央服务器中的模型差值参数进行处理，也就是将它们特征化，得到差值参数的特征向量；然后将这些特征向量进行降维、异常筛选及数据重构，以重构误差值作为目标性攻击的检测指标；其中，重构误差值较高的数据就是识别出来的可能具有针对性攻击的数据，相应的传递该差值参数的客户端参与方就是攻击者；最后对这些攻击者进行及时处置，针对性攻击防御。
从上述描述可知，本申请提供的针对性攻击防御方法，能够精准识别欲进行针对性攻击的数据处理请求方，防止其实施目标攻击，加强了对正常数据处理请求方数据隐私安全的保护力度，提升了联邦学习***的安全性及防御力。
一实施例中，参见图2，所述根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量，包括：
S201：根据所述模型差值参数构建所述原始特征向量；
S202：根据所述权重去除所述差值参数中的疑似差值攻击参数；
可以理解的是，银行联邦学习***中的各客户端参与方可以发送数据处理本地模型的差值参数至中央服务器，以使银行联邦学习***中的中央服务器对该差值参数进行预处理，然后进行攻击性识别。预处理操作包括但不限于将数据进行标准化的过程。
需要说明的是，在联邦学习***中，中央服务器S首先会将原始训练模型Gt发送给n个客户端参与方；各客户端参与方根据各自的本地数据集Dk(k＝1,…,n)训练得到新的数据处理本地模型Lt+1。客户端参与方在完成数据处理本地模型的训练后，客户端参与方将Lt +1-Gt的差值参数传递给中央服务器；中央服务器收集各客户端参与方上传的差值参数结果后，对差值参数进行标注，以便后续进行攻击性识别。这里所谓的标注是将差值参数与客户端参与方进行对应，以便后续在判断出差值参数具有疑似的攻击性时，可以对应到具体的客户端参与方，从而将该客户端参与方剔除出联邦学习***。
正常情况下，若不存在攻击者，则中央服务器S会根据收到的差值参数更新计算全局联合模型，也就是对数据处理本地模型进行聚合，得到数据处理聚合模型：
Figure BDA0003383091820000071
如果存在进行针对性目标攻击的客户端参与方，它们会试图用恶意构建的全局模型参数X来替代中央服务器S中的全局模型：
Figure BDA0003383091820000072
因此攻击者按照以下方式给中央服务器传递拟提交的模型参数：
Figure BDA0003383091820000073
这种攻击方式将攻击参数X的权重缩放为
Figure BDA0003383091820000074
以确保攻击在中央服务器S的全局平均化中能够存活，最终多轮迭代后，通过替换全局模型完成对联邦学习***的攻击。本申请所述方法即是防御
Figure BDA0003383091820000081
对数据处理聚合模型的攻击。
联邦学习***的攻击性识别包括：智能编码过程、智能解码过程及攻击识别过程。S201具体实施时，在智能编码过程中，首先对客户端参与方传递过来的差值参数进行高维映射，一般可以通过ONE-HOT技术将数据维度提升，将包含N个离散属性值的数据扩展为3×28×28大小的数值特征向量。本申请不对向量维度进行限定，在此仅是举一例子以说明方法的可行性。智能编码器由一个三层卷积神经网络组合而成，卷积核大小分别可以是3×3×64、3×3×128、7×7×32(本申请不以此为限)。每一层卷积提取不同的重要特征进行学习，在智能编码器的使用过程中，可以使用常见的非线性函数Sigmoid函数作为激活函数；同时为避免过拟合的发生可以使用dropout＝0.2进行正则化处理。
S202具体实施时，数值向量经过三层卷积处理后，数值向量转化为32×1大小的低维特征值，也就是对数据实现降维处理；而随着数据维度的下降，数据承载不了全部的特征值。因此在机器学习过程中，保留住了能表达原始训练数据特性的重要特征，摒弃了其他的冗余特征向量。在数据降维的过程中，具有针对性攻击性的数据因为其是想对特定目标进行影响，同时利于隐藏，因此其权重有意被设置得较小，也就是相对于其他特征向量，其重要性较低，在降维处理过程中，自动会被去除。总结而言，根据权重去除差值参数中的疑似差值攻击参数，包括：对原始特征向量进行特征降维，以在特征降维的过程中，去除权重低的疑似差值攻击参数。所谓何为“权重低”可以根据应用场景进行合理设定，本申请不以此为限。另外，所述“权重低”是相对于非疑似差值攻击参数对应的权重而言的。
S203：对去除所述疑似差值攻击参数后的差值参数进行特征升维，以重构所述原始特征向量，得到所述重构特征向量。
智能解码过程被设计成与智能编码过程相反的结构，即卷积网络的先后大小分别为7×7×32、3×3×128、3×3×64，此前生成的低维特征向量，经过智能解码器的三层网络还原为3×28×28大小的特征向量。在这个过程中随着数据维度的提升，可承载的特征值空间也增加了，重要特征恢复原来的大小，不重要的(也就是有攻击性的)特征向量用零补充。因此经过重构后的特征向量恢复了原来的大小，但是被恢复的只有重要特征(不具有攻击性的特征)，而本地原始训练数据中包含的攻击性特征向量则不会被重构出来。总结而言，对去除疑似差值攻击参数后的差值参数进行特征升维，以重构原始特征向量，得到重构特征向量，包括：将零向量补入去除疑似差值攻击参数后的差值参数所对应的向量，以完成所述特征升维，得到重构特征向量。
从上述描述可知，本申请提供的针对性攻击防御方法，能够根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量。
一实施例中，参见图3，所述根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御，包括：
S301：确定所述重构特征向量与所述原始特征向量之间的差异；
S302：判断所述差异是否超出预设的检测阈值；
S303：筛查出所述疑似差值攻击参数；
S304：根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方，并将所述疑似攻击性请求方剔除。
可以理解的是，3×28×28的原始特征向量与3×28×28重构特征向量相比，必然存在一定的重构误差。设置所有重构误差的平均值做为检测阈值，高于阈值的重构误差表示重构前后的误差较大，说明原始特征向量中存在很多疑似的含有攻击性的数据，尤其是为发起针对性攻击而精心设计的特征数据。根据前述的标注结果，可以锁定是哪些客户端参与方上传了这些数据。对于提供较多误差数据的客户端参与方，可以将其标记为疑似发动针对性攻击的攻击者。将正常的客户端参与方对应的差值参数标记为0，将异常疑似发起针对性攻击的客户端参与方的差值参数标记为1，标记完后可以传递给联邦学习***中进行惩罚处置，并将疑似发起攻击的客户端参与方(也就是疑似攻击性请求方)剔除。
从上述描述可知，本申请提供的针对性攻击防御方法，能够根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
一实施例中，参见图4，在根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方之后，还包括：
S401：查询往次进行针对性攻击防御的过程中，所述疑似攻击性请求方是否曾被筛查出；
S402：若是，则将所述疑似攻击性请求方作为实际攻击性请求方剔除。
可以理解的是，联邦学习***在进行攻击处置时，可以分为恶意数据处置过程及攻击性参与方处置过程。
恶意数据处置过程：接收来自攻击识别过程中的标记数据，对于标记为0的正常的客户端参与方的差值参数，可以直接传递给中央服务器来对所有正常的客户端参与方的模型进行聚合，再将聚合后的全局模型参数加密后，统一传回给正常的客户端参与方，这样就完成一轮联邦机器学习。同时，对于在一轮训练中，被标记为疑似攻击者的客户端参与方，中央服务器不向其传递聚合的全局模型参数，而是向疑似攻击的参与方传递大小为0的参数。在下一轮训练中，如果将疑似的攻击性参与方的差值参数识别为正常，则恢复向这些客户端参与方传递聚合后的模型参数。
攻击性参与方处置过程：接收来自攻击识别过程中的标记数据，对于标记为1的具有攻击性的客户端参与方的差值参数。在联邦学习过程中，当某客户端参与方被统计为疑似的攻击者的次数达到训练轮数的1/2时，就可以判定该客户端参与方确实为实行恶意针对性攻击的参与者。于是，可以在联邦学习***中，将其计入黑名单，并剔除联邦学习***，保护***安全性。
也就是说，上述过程可以完成对各客户端参与方的数据的聚合运算及加密传递，对于发起针对性攻击的客户端参与方进行精准处置，保证联邦学习***的安全性。
从上述描述可知，本申请提供的针对性攻击防御方法，能够精准识别欲进行针对性攻击的数据处理请求方，防止其实施目标攻击，加强了对正常数据处理请求方数据隐私安全的保护力度，提升了联邦学习***的安全性及防御力。
为了更加清楚的展现本申请所述方法的可行性，其具体流程说明如下：
步骤1：通过联邦学习***的中央服务器收集各客户端参与方上传的数据处理本地模型的差值参数，将各差值参数汇总聚合后进行传递。
步骤2：对客户端参与方的差值参数数据进行特征化处理转化成3×28×28大小的数值特征向量。输入智能编码器的三层神经网络，将特征向量降维到32×1的大小。在数据降维的过程中，具有针对性攻击功能的特征向量，因其是对特定目标的攻击，因此其相对于其他特征向量的重要性(权重)而言是偏低的。在数据降维处理时，神经网络的自由性质就会将其去除，降维后的数据只保留重要特征，也就是不具有针对性攻击功能的特征向量。
步骤3：将降维后的特征向量输入一个与智能编码器架构相反的智能解码器进行解码重构还原，经过重构后的特征向量恢复为原来的大小，同时降维过程中去除了具有针对性攻击功能的特征向量，不会被重构。
步骤4：比对原始特征向量与重构特征向量之间的重构误差，设置所有重构误差的平均值为攻击检测阈值。高于检测阈值的客户端参与方将被标记为疑似发动目标针对性攻击者，同时分别对识别出的正常特征向量及异常特征向量进行0或1的标记，以区分。
步骤5：对于被标记的客户端参与方的特征向量进行准确处置；对于识别为正常客户端参与方的特征向量(对应其差值参数)，由联邦学习***的中央服务器进行参数聚合，并将聚合后的全局参数加密传递给正常客户端参与方；被识别为疑似攻击者的客户端参与方，其特征向量(对应其差值参数)不进行上传，联邦学习***也不向其传递全局聚合参数，而是向其传递零参数。
步骤6：对于每轮训练识别出为疑似针对性攻击发起者的客户端参与方进行统计；当其被统计的针对性攻击次数超过训练轮数的1/2时，可以将该该客户端参与方计入黑名单，从此排除出联邦学习***。
综上所述，本申请所述的方法具有如下效果及优点：
①加强合法参与方数据隐私安全——针对联邦学习***中各个参与方传递的数据进行加密保护，通过检测识别攻击性参与方阻断联邦学习模型的参数向攻击方传递，保护合法参与方的隐私数据安全。
②提升联邦学习***的安全性和防御力——目前缺少对银行业联邦学习***发起的针对性攻击进行防御的手段，本方法提出的编码解码智能检测机制，可精准识别出发起攻击的参与方，并及时消除攻击方传递的恶意模型参数，从而避免攻击对联邦学习***造成的影响，提升联邦学习***的安全性和防御力。
基于同一发明构思，本申请实施例还提供了一种针对性攻击防御装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于针对性攻击防御装置解决问题的原理与针对性攻击防御方法相似，因此针对性攻击防御装置的实施可以参见基于软件性能基准确定方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的***较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
一实施例中，参见图5，为了能够检测出联邦学习***中针对特定人工智能模型所进行的攻击性行为，并对有攻击可能性的数据处理请求方进行及时处置，完成针对性攻击防御，本申请提供一种针对性攻击防御装置，包括：差值参数确定单元501、特征向量确定单元502及攻击防御单元503。
差值参数确定单元501，用于接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方进行联邦机器学习得到；
特征向量确定单元502，用于根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
攻击防御单元503，用于根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
一实施例中，参见图6，所述特征向量确定单元502，包括：原始向量构建模块601、疑似参数去除模块602及特征向量重构模块603。
原始向量构建模块601，用于根据所述模型差值参数构建所述原始特征向量；
疑似参数去除模块602，用于根据所述权重去除所述差值参数中的疑似差值攻击参数；
特征向量重构模块603，用于对去除所述疑似差值攻击参数后的差值参数进行特征升维，以重构所述原始特征向量，得到所述重构特征向量。
一实施例中，参见图7，所述攻击防御单元503，包括：差异确定模块701、疑似参数筛查模块702及剔除模块703。
差异确定模块701，用于确定所述重构特征向量与所述原始特征向量之间的差异；
疑似参数筛查模块702，用于若所述差异超出预设的检测阈值，则筛查出所述疑似差值攻击参数；
剔除模块703，用于根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方，并将所述疑似攻击性请求方剔除。
一实施例中，参见图8，所述的针对性攻击防御装置，还包括：历史查询单元801及剔除单元802。
历史查询单元801，用于查询往次进行针对性攻击防御的过程中，所述疑似攻击性请求方是否曾被筛查出；
剔除单元802，用于将所述疑似攻击性请求方作为实际攻击性请求方剔除。
从硬件层面来说，为了能够检测出联邦学习***中针对特定人工智能模型所进行的攻击性行为，并对有攻击可能性的数据处理请求方进行及时处置，完成针对性攻击防御，本申请提供一种用于实现所述针对性攻击防御方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(Processor)、存储器(Memory)、通讯接口(Communications Interface)和总线；其中，所述处理器、存储器、通讯接口通过所述总线完成相互间的通讯；所述通讯接口用于实现所述针对性攻击防御装置与核心业务***、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的针对性攻击防御方法的实施例，以及针对性攻击防御装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，针对性攻击防御方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通讯模块(即通讯单元)，可以与远程的服务器进行通讯连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中央服务器有通讯链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图9为本申请实施例的电子设备9600的***构成的示意框图。如图9所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图9是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，针对性攻击防御方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
S101：接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方进行联邦机器学习得到；
S102：根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
S103：根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
从上述描述可知，本申请提供的针对性攻击防御方法，能够精准识别欲进行针对性攻击的数据处理请求方，防止其实施目标攻击，加强了对正常数据处理请求方数据隐私安全的保护力度，提升了联邦学习***的安全性及防御力。
在另一个实施方式中，针对性攻击防御装置可以与中央处理器9100分开配置，例如可以将数据复合传输装置针对性攻击防御装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现针对性攻击防御方法的功能。
如图9所示，该电子设备9600还可以包括：通讯模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图9中所示的所有部件；此外，电子设备9600还可以包括图9中没有示出的部件，可以参考现有技术。
如图9所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通讯功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通讯模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通讯模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通讯终端的情况相同。
基于不同的通讯技术，在同一电子设备中，可以设置有多个通讯模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通讯模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的针对性攻击防御方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的针对性攻击防御方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101：接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方进行联邦机器学习得到；
S102：根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
S103：根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
从上述描述可知，本申请提供的针对性攻击防御方法，能够精准识别欲进行针对性攻击的数据处理请求方，防止其实施目标攻击，加强了对正常数据处理请求方数据隐私安全的保护力度，提升了联邦学习***的安全性及防御力。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种针对性攻击防御方法，其特征在于，包括：
接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方通过联邦机器学习得到；
根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
2.根据权利要求1所述的针对性攻击防御方法，其特征在于，所述根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量，包括：
根据所述差值参数构建所述原始特征向量；
根据所述权重去除所述差值参数中的疑似差值攻击参数；
对去除所述疑似差值攻击参数后的差值参数进行特征升维，以重构所述原始特征向量，得到所述重构特征向量。
3.根据权利要求2所述的针对性攻击防御方法，其特征在于，所述根据所述权重去除所述差值参数中的疑似差值攻击参数，包括：
对所述原始特征向量进行特征降维，以在特征降维的过程中，去除权重低的所述疑似差值攻击参数。
4.根据权利要求2所述的针对性攻击防御方法，其特征在于，所述对去除所述疑似差值攻击参数后的差值参数进行特征升维，以重构所述原始特征向量，得到所述重构特征向量，包括：
将零向量补入去除疑似差值攻击参数后的差值参数所对应的向量，以完成所述特征升维，得到所述重构特征向量。
5.根据权利要求2所述的针对性攻击防御方法，其特征在于，所述根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御，包括：
确定所述重构特征向量与所述原始特征向量之间的差异；
若所述差异超出预设的检测阈值，则筛查出所述疑似差值攻击参数；
根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方，并将所述疑似攻击性请求方剔除。
6.根据权利要求3所述的针对性攻击防御方法，其特征在于，在根据所述标注结果及筛查出的所述疑似差值攻击参数定位疑似攻击性请求方之后，还包括：
查询往次进行针对性攻击防御的过程中，所述疑似攻击性请求方是否曾被筛查出；
若是，则将所述疑似攻击性请求方作为实际攻击性请求方剔除。
7.一种针对性攻击防御装置，其特征在于，包括：
差值参数确定单元，用于接收并标注数据处理请求方上传的数据模型的差值参数；所述数据模型由所述数据处理请求方通过联邦机器学习得到；
特征向量确定单元，用于根据所述差值参数的权重重构所述差值参数对应的原始特征向量，得到重构特征向量；
攻击防御单元，用于根据所述重构特征向量与所述原始特征向量之间的差异及标注结果，进行针对性攻击防御。
8.根据权利要求7所述的针对性攻击防御装置，其特征在于，所述特征向量确定单元，包括：
原始向量构建模块，用于根据所述差值参数构建所述原始特征向量；
疑似参数去除模块，用于根据所述权重去除所述差值参数中的疑似差值攻击参数；
特征向量重构模块，用于对去除所述疑似差值攻击参数后的差值参数进行特征升维，以重构所述原始特征向量，得到所述重构特征向量。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的针对性攻击防御方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的针对性攻击防御方法的步骤。
CN202111466436.6A 2021-11-30 2021-11-30 一种针对性攻击防御方法及装置 Pending CN114139147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111466436.6A CN114139147A (zh) 2021-11-30 2021-11-30 一种针对性攻击防御方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111466436.6A CN114139147A (zh) 2021-11-30 2021-11-30 一种针对性攻击防御方法及装置

Publications (1)

Publication Number Publication Date
CN114139147A true CN114139147A (zh) 2022-03-04

Family

ID=80387615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111466436.6A Pending CN114139147A (zh) 2021-11-30 2021-11-30 一种针对性攻击防御方法及装置

Country Status (1)

Country Link
CN (1) CN114139147A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399384A (zh) * 2022-03-25 2022-04-26 鲁担(山东)数据科技有限公司 一种基于隐私计算的风险策略生成方法、***和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399384A (zh) * 2022-03-25 2022-04-26 鲁担(山东)数据科技有限公司 一种基于隐私计算的风险策略生成方法、***和装置

Similar Documents

Publication Publication Date Title
US11830004B2 (en) Blockchain transaction safety
US11928681B2 (en) System and method for confidentially sharing information across a computer network
CN109564668A (zh) 电子抵押经纪和监控
WO2016202952A1 (en) Digital token exchange system
CN111932268B (zh) 企业风险识别方法及装置
CN111428217B (zh) 欺诈团伙识别方法、装置、电子设备及计算机可读存储介质
CN112950357B (zh) 交易异常团伙识别方法及装置
CN110266676A (zh) 一种预防恶意攻击的方法及装置
CN110751485A (zh) 一种数据处理方法及设备
CN112100642B (zh) 在分布式***中保护隐私的模型训练方法及装置
CN112907243A (zh) 区块链交易审计方法及装置
JP2023539711A (ja) 機密データに対する不正防止およびデータ保護のための速度システム
US11127015B2 (en) Methods and apparatuses for fraud handling
CN110941644B (zh) 保单数据生成方法、装置、设备及存储介质
EP3547243A1 (en) Methods and apparatuses for fraud handling
CN114139147A (zh) 一种针对性攻击防御方法及装置
CN112702410B (zh) 一种基于区块链网络的评估***、方法及相关设备
EP4275327A1 (en) Email certification system
CN113435901A (zh) 一种交易欺诈风险侦测方法、装置和***
CN111681090A (zh) 业务***的账号分组方法、装置、终端设备及存储介质
CN108632228B (zh) 一种决策引擎调度方法及***
US20230139465A1 (en) Electronic service filter optimization
US20240121084A1 (en) Cryptographic key generation using machine learning
Achim A Cryptocurrency Spectrum Short Analysis
CN116132184A (zh) 分布式拒绝服务攻击的检测方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination