CN113869233A - 一种基于上下文特征不一致性的多专家对抗攻击检测方法 - Google Patents

一种基于上下文特征不一致性的多专家对抗攻击检测方法 Download PDF

Info

Publication number
CN113869233A
CN113869233A CN202111156899.2A CN202111156899A CN113869233A CN 113869233 A CN113869233 A CN 113869233A CN 202111156899 A CN202111156899 A CN 202111156899A CN 113869233 A CN113869233 A CN 113869233A
Authority
CN
China
Prior art keywords
image
pedestrian
support
benign
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111156899.2A
Other languages
English (en)
Inventor
刘敏
张铸
王学平
汪嘉正
王耀南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111156899.2A priority Critical patent/CN113869233A/zh
Publication of CN113869233A publication Critical patent/CN113869233A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于上下文特征不一致性的多专家对抗攻击检测方法，包括步骤：建立行人重识别数据集，行人重识别数据集包括良性查询图像集、对抗查询图像集和图库；选取多个行人重识别专家模型，并将行人重识别数据集输入到多个行人重识别专家模型中，提取出行人重识别数据集中图像的图像特征；在图库中进行检索，得到支撑集；给查询图像集及其支撑集打上标签，并形成训练集；根据训练集，得到上下文特征；将上下文特征输入到对抗攻击检测器中训练；将待查询图像的上下文特征输入到对抗攻击检测器中，输出被攻击的概率，并根据输出的概率，评估对抗攻击检测器的性能；通过上下文特征训练对抗攻击检测器，可成功检测得到对抗训练样本的攻击方法。

Description

一种基于上下文特征不一致性的多专家对抗攻击检测方法
技术领域
本发明属于行人重识别对抗攻击检测领域，尤其涉及一种基于上下文特征不一致性的多专家对抗攻击检测方法。
背景技术
深度神经网络(deep neural networks,DNNs)的成功使许多计算机视觉任务受益，特别是行人重识别(person reidentification,ReID)任务中取得广泛应用。ReID是一项旨在通过多个不重叠的摄像头检索行人的关键任务。通过显著特征学习和度量学习，基于深度神经网络的ReID模型能提高视频监控以及犯罪识别方面的准确率。但ReID模型继承了DNN对对抗样本的脆弱性，即轻微扰动的输入图像，会导致DNN做出错误的预测。因此检测对抗样本是ReID***稳定的一个基本要求。但ReID被定义为一个排名问题，不同于分类任务中训练集和测试集共享相同的类别，ReID中两集合没有类别重叠。因此现有的图像分类的对抗攻击检测方法不适合ReID问题。
发明内容
本发明的目的在于克服行人重识别任务中现有技术无法有效检测及防御对抗攻击的不足，提供了一种基于上下文特征不一致性的多专家对抗攻击检测方法。
本发明提供了一种基于上下文特征不一致性的多专家对抗攻击检测方法，包括如下步骤：
训练阶段，
S1：建立行人重识别数据集，行人重识别数据集包括查询图像集和图库；所述查询图像集包括良性查询图像集和对抗查询图像集；
S2：选取多个行人重识别专家模型，并将S1中良性查询图像集、对抗查询图像集和图库输入到多个行人重识别专家模型中，提取出良性查询图像集、对抗查询图像集和图库中的图像特征；采用查询图像集在图库中进行检索，将检索结果的集合作为查询图像集的支撑集；其中良性查询图像集的支撑集为良性支撑集，对抗查询图像集的支撑集为对抗支撑集；
S3：给良性查询图像集和良性支撑集的特征打上标签，并根据特征上的标签形成良性训练集；给对抗查询图像集和对抗支撑集的特征打上标签，并根据特征上的标签形成对抗训练集；
S4：根据所述良性训练集和对抗训练集，得到上下文特征；将上下文特征输入到多层感知器中训练，将多层感知器作为对抗攻击检测器；
应用阶段，
S5：建立行人重识别测试集，在行人重识别测试集内获取待查询的图像，并将待查询的图像输入到多个行人重识别专家模型中，提取出待查询图像的上下文特征；
S6：将待查询图像的上下文特征输入到对抗攻击检测器中，对抗攻击检测器将输出被攻击的概率；
S7：根据对抗检测器对于行人重识别测试集的输出结果，评估对抗攻击检测器的性能。
优选的，S1中，良性查询图像集包括良性查询样本，良性查询样本采用行人重识别基准测试数据集中训练集的查询样本；对抗查询图像集采用对抗攻击方法干扰良性查询图像集，从而产生对抗查询样本；图库包括图库样本，在Market1501数据集中的训练集随机选择一个行人的图像作为查询图像样本，则未被选择的图像作为图库样本。
优选的，S2中，包括步骤：
S2.1：将S1中良性查询图像集、对抗查询图像集和图库输入到多个行人重识别专家模型；采用Fn(·),n＝1,2,...,N指代第n个行人重识别专家模型的函数，采用Fn(I)指代第n个行人重识别专家模型所提取出的良性查询图像集图像特征、对抗查询图像集图像特征和图库图像特征；
S2.2：根据S2.1中的图像特征，计算查询图像集图像特征与图库图像特征的距离，返回前K个与查询图像集图像特征距离最近的图库图像特征的图像，该K个图像的集合作为查询图像集的支撑集，支撑集记为Sn＝{Sn,j|j＝1,..K}；n表示第n个行人重识别专家模型，j表示支撑集中第j个图像；
优选的，S3中，给良性查询图像集和良性支撑集的特征打上标签，标签为y0＝0并根据特征上的标签形成良性训练集，良性训练集记为{(xi,y0)|i＝1,2,..M}；给对抗查询图像集和对抗支撑集的特征打上标签，标签为y1＝1，并根据特征上的标签形成对抗训练集，对抗训练集记为{(xi,y1)|i＝1,2,..M}；其中M为良性训练集或对抗训练集的大小。
优选的，S4中，上下文特征包括查询-支撑近邻特征、支撑-支撑近邻特征、以及跨专家近邻特征。
优选的，得到上下文特征的步骤包括：
S4.1：根据良性训练集和对抗训练集，计算每个行人重识别专家模型中查询图像集中图像I的特征与其对应的支撑集中图像Sj的特征之间的余弦相似性A'q-s，将多个行人重识别专家模型的A'q-s堆叠得到查询-支撑近邻特征Aq-s；
得到A'q-s的计算公式为：
A'q-s[j]＝CosSimilarity(F(I),F(Sj))
其中，F(I)表示为行人重识别专家模型中查询图像集的图像特征，F(Sj)为行人重识别专家模型中与查询图像集对应的支撑集的第j个图像的图像特征；将A'q-s堆叠得到N*K个维度的查询-支撑近邻特征Aq-s，Aq-s为一个二维矩阵；N为行人重识别专家模型数量，K为支撑集中图像的数量；
S4.2：根据良性训练集和对抗训练集，计算每个行人重识别专家模型中支撑集中第i个图像的特征与支撑集中第j个图像的特征之间的余弦相似性A1 s-s[i,j]；将多个行人重识别专家模型中的A1 s-s[i,j]堆叠得到支撑-支撑近邻特征A1 s-s；
得到A1 s-s[i,j]的计算公式为：
A1 s-s[i,j]＝CosSimilarity(F(Si),F(Sj))
其中，F(Si)表示为支撑集第i个图像的图像特征，F(Sj)表示为支撑集第j个图像的图像特征；A1 s-s为K*K维度的矩阵，将K*(K-1)/2个元素保持在右上(左下)矩阵；
S4.3：将S4.2中A1 s-s的右上(左下)矩阵元素保留的到新的向量A's-s[i,j]，再将多个行人重识别专家模型中的A's-s[i,j]堆叠得到新的支撑-支撑近邻特征As-s；A's-s[i,j]的维度为K'＝K*(K-1)/2；As-s的维度为N*K'，As-s为一个二维矩阵；
S4.4：将第n个行人重识别专家模型作为基本模型，计算基本模型中支撑集的第j个图像出现在其他行人重识别专家模型中支撑集的频率，频率记为Ac-e[n,j]，最终得到跨专家近邻特征Ac-e；
Ac-e[n,j]的计算公式为：
Figure BDA0003288944080000031
其中，n表示为第n个行人重识别专家模型，F(·)是指示器函数，当参数为真时，输出1，否则输出0；Sl表示不包括基本模型的其余行人重识别专家模型的支撑集集合；Ac-e的维度为N*K，Ac-e为一个二维矩阵；
S4.5：将Aq-s，As-s，Ac-e二维矩阵降为一维向量，并将一维向量的Aq-s，As-s，Ac-e连接，得到单个查询图像样本的上下文特征x，x的维度为d，其中d＝N*K+N*K'+N*K；
S4.6：将上下文特征输入到多层感知器中训练，并将多层感知器作为对抗攻击检测器。
优选的，S6中，根据对抗攻击检测器输出的被攻击的概率，当概率大于设定的概率阈值时，该待查询的图像为对抗查询样本，否则为良性查询样本。
优选的，S7中，根据对抗检测器对于行人重识别测试集的输出结果，并采用分类精度、接受者操作特征曲线下的面积、以及判定精度与召回率的谐波平均值，评估对抗攻击检测器的性能。
优选的，对抗攻击方法包括深度误排序对抗攻击方法和敌对模板对抗攻击方法。
有益效果：
1.本发明通过使用多个具有不同架构的ReID网络作为方案中的专家模型，提取上下文不一致特征训练多层感知器来检测对ReID***的对抗攻击，可有效解决针对ReID***遭遇对抗攻击方法时的稳定性的问题。
2.本发明提出的基于上下文不一致性的上下文特征，更有效利用ReID***输出得到的top-K检索包含的丰富信息，更充分挖掘与良性查询样本相比较下，对抗攻击样本导致的ReID***输出的结果的上下文不一致性，包括对抗查询图像与其top-K检索之间的特征距离与良性查询图像的不一致，对抗查询图像的支撑集内图像之间的距离与良性查询图像的不一致，以及多个专家ReID模型获得的良性查询图像的top-K检索相比于对抗查询图像的不一致等，提高对抗攻击检测的成功率。
3.本发明通过良性训练集和对抗训练集得到上下文特征，从而训练攻击对抗检测器，不仅可以成功检测得到对抗训练样本的对抗攻击方法，也可以有效防御其他对抗攻击方法，具有针对不同对抗攻击方法的适应性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施中多专家对抗攻击检测方法的流程图。
图2为本发明实施中多专家对抗攻击检测方法的逻辑示意图。
图2a为图2中a部图。
图2b为图2中b部图。
图2c为图2中c部图。
图2d为图2中d部图。
图3为本发明实施中五个行人重识别专家模型在查询图像样本被攻击前与被攻击后得到的top-10支撑集结果。
图4为本发明实施中AlignedReID专家模型查询图像样本和支撑集在特征空间中的分布示意图。
图5a为查询-支撑关系示意图。
图5b为支撑-支撑关系示意图。
图5c为跨专家支撑关系示意图。
具体实施方式
下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于对抗攻击，在行人重识别(person reidentification,ReID)问题中，攻击者的目标是使ReID***检索错误身份的人物图像，本实施例中假设攻击者通过扰乱查询图像对ReID***发起攻击；当对抗样本欺骗ReID***导致从其库集中检索错误的图像时会导致混乱的检索结果，在本实施例中将ReID***返回的前K个检索结果定义为支撑集，将支撑集中的每个检索结果定义为支撑样本，并且将正常查询示例的支撑集称为良性支撑集，将扰动查询示例的支撑集称为对抗支撑集；
如图1、图2、图2a、图2b、图2c、图2d所示，本实施例提供的这种基于上下文特征不一致性的多专家对抗攻击检测方法，包括如下步骤：
在训练阶段，
S1：建立行人重识别数据集，行人重识别数据集包括查询图像集和图库；所述查询图像集包括良性查询图像集和对抗查询图像集；
良性查询图像集包括良性查询样本，良性查询样本采用行人重识别基准测试数据集(在本实施例中采用Market1501数据集)中训练集的查询样本；该训练集中包含12936张共751个行人身份的裁剪图像，且图像分辨率为64x128；对抗查询图像集采用对抗攻击方法干扰良性查询图像集，从而产生对抗查询样本，在本实施例中采用深度误排序对抗攻击方法(deep Mis-ranking)和敌对模板对抗攻击方法(advPattern)两种对抗攻击方法；图库包括图库样本，在Market1501数据集中的训练集随机选择一个行人的图像作为查询图像样本，则未被选择的图像作为图库样本；在该训练集中没有将查询图像集的样本和图库的图库样本分离；
S2：选取多个行人重识别专家模型，并将S1中良性查询图像集、对抗查询图像集和图库输入到多个行人重识别专家模型中，提取出良性查询图像集、对抗查询图像集和图库中的图像特征；采用查询图像集在图库中进行检索，将检索结果的集合作为查询图像集的支撑集；其中良性查询图像集的支撑集为良性支撑集，对抗查询图像集的支撑集为对抗支撑集；
S2.1：将S1中良性查询图像集、对抗查询图像集和图库输入到多个行人重识别专家模型；采用Fn(·),n＝1,2,...,N指代第n个行人重识别专家模型的函数，采用Fn(I)指代第n个行人重识别专家模型所提取出的良性查询图像集图像特征、对抗查询图像集图像特征和图库图像特征；
S2.2：根据S2.1中的图像特征，计算查询图像集图像特征与图库图像特征的距离，返回前K个与查询图像集图像特征距离最近的图库图像特征的图像，该K个图像的集合作为查询图像集的支撑集，支撑集记为Sn＝{Sn,j|j＝1,..K}；n表示第n个行人重识别专家模型，j表示支撑集中第j个图像；
S3：给良性查询图像集和良性支撑集的特征打上标签，标签为y0＝0，并根据特征上的标签形成良性训练集，良性训练集记为{(xi,y0)|i＝1,2,..M}；给对抗查询图像集和对抗支撑集的特征打上标签，标签为y1＝1，并根据特征上的标签形成对抗训练集，对抗训练集记为{(xi,y1)|i＝1,2,..M}；其中M为良性训练集或对抗训练集的大小；
S4：根据所述良性训练集和对抗训练集，得到上下文特征；将上下文特征输入到多层感知器中训练，将多层感知器作为对抗攻击检测器；上下文特征包括查询-支撑近邻特征、支撑-支撑近邻特征、以及跨专家近邻特征；
S4.1：根据良性训练集和对抗训练集，计算每个行人重识别专家模型中查询图像集中图像I的特征与其对应的支撑集中图像Sj的特征之间的余弦相似性A'q-s，将多个行人重识别专家模型的A'q-s堆叠得到查询-支撑近邻特征Aq-s；
得到A'q-s的计算公式为：
A'q-s[j]＝CosSimilarity(F(I),F(Sj))
其中，F(I)表示为行人重识别专家模型中查询图像集的图像特征，F(Sj)为行人重识别专家模型中与查询图像集对应的支撑集的第j个图像的图像特征；将A'q-s堆叠得到N*K个维度的查询-支撑近邻特征Aq-s，Aq-s为一个二维矩阵；N为行人重识别专家模型数量，K为支撑集中图像的数量；
行人重识别专家模型采用PCB，AlignedReID(AR)，HACNN和LSRO四个在Market1501数据集取得优越性能的候选模型作为行人重识别专家模型；
余弦相似性的公式为：
Figure BDA0003288944080000071
其中At，Bt分别是A，B向量第t个维度数值；
S4.2：根据良性训练集和对抗训练集，计算每个行人重识别专家模型中支撑集中第i个图像的特征与支撑集中第j个图像的特征之间的余弦相似性A1 s-s[i,j]；将多个行人重识别专家模型中的A1 s-s[i,j]堆叠得到支撑-支撑近邻特征A1 s-s；
得到A1 s-s[i,j]的计算公式为：
A1 s-s[i,j]＝CosSimilarity(F(Si),F(Sj))
其中，F(Si)表示为支撑集第i个图像的图像特征，F(Sj)表示为支撑集第j个图像的图像特征；A1 s-s为K*K维度的矩阵，矩阵元素均一化且该矩阵为对称矩阵、对角线元素始终为1，将K*(K-1)/2个元素保持在右上(左下)矩阵；
S4.3：将S4.2中A1 s-s的右上(左下)矩阵元素保留的到新的向量A's-s[i,j]，再将多个行人重识别专家模型中的A's-s[i,j]堆叠得到新的支撑-支撑近邻特征As-s；A's-s[i,j]的维度为K'＝K*(K-1)/2；As-s的维度为N*K'，As-s为一个二维矩阵；
S4.4：将第n个行人重识别专家模型作为基本模型，计算基本模型中支撑集的第j个图像出现在其他行人重识别专家模型中支撑集的频率，频率记为Ac-e[n,j]，最终得到跨专家近邻特征Ac-e；
Ac-e[n,j]的计算公式为：
Figure BDA0003288944080000081
其中，n表示为第n个行人重识别专家模型，F(·)是指示器函数，当参数为真时，输出1，否则输出0；Sl表示不包括基本模型的其余行人重识别专家模型的支撑集集合；Ac-e的维度为N*K，Ac-e为一个二维矩阵；
S4.5：将Aq-s，As-s，Ac-e二维矩阵降为一维向量，并将一维向量的Aq-s，As-s，Ac-e连接，得到单个查询图像样本的上下文特征x，x的维度为d，其中d＝N*K+N*K'+N*K；
S4.6：将上下文特征输入到多层感知器(MLP)中训练，并将多层感知器作为对抗攻击检测器；该多层感知器包含两个隐藏层，两个隐藏层包含512个节点和256个节点，使用ReLU函数作为激活函数，作为二分类问题进行训练；
在多层感知器的训练中，采用动量为0.9的SGD优化器用于训练，学习率为1e-4；多层感知器训练经过5000次迭代后完成，批处理大小设置为1024次，本实施例在NVIDIA GTX2080TI GPU上采用pytorch框架进行；
应用阶段，
S5：建立行人重识别测试集，在行人重识别测试集内获取待查询的图像，并将待查询的图像输入到多个行人重识别专家模型中，提取出待查询的图像的上下文特征；
S6：将待查询图像的上下文特征输入到对抗攻击检测器中，对抗攻击检测器将输出被攻击的概率；根据对抗攻击检测器输出的被攻击的概率，当概率大于设定的概率阈值时，该待查询的图像为对抗查询样本，否则为良性查询样本；在本实施例中设定的概率阈值为0.5；
S7：根据对抗检测器对于行人重识别测试集的输出结果，并采用分类精度(Acc)、接受者操作特征曲线下的面积(AUC)、以及判定精度与召回率的谐波平均值(F1)，评估对抗攻击检测器的性能。
应用阶段对抗攻击检测方法具体性能由以下三个表格所示：
表1：Market1501数据集上不同数量行人重识别专家模型对抗性攻击检测性能；
专家模型 Acc(％) AUC(％) F1(％)
AR<sup>*</sup> 95.2 99.1 95.5
AR<sup>*</sup>+PCB 97.8 99.7 97.9
AR<sup>*</sup>+PCB+LSRO 98.4 99.8 98.4
AR<sup>*</sup>+PCB+LSRO+HACNN 98.5 99.8 98.6
由表1可知，更多的行人重识别专家模型，检测性能更好，即更多的行人重识别专家模型带来更多的上下文特征，因此提取的上下文特征更能区分良性样本和对抗样本；
表2：Market1501数据集上使用/不使用攻击目标模型作为行人重识别专家模型的对抗性攻击检测性能；
专家模型 Acc(％) AUC(％) F1(％)
AR<sup>*</sup> 95.2 99.1 95.5
AR<sup>*</sup>+PCB+LSRO+HACNN 98.5 99.8 98.6
PCB 88.2 95.1 88.7
PCB+LSRO 93.7 98.5 93.9
PCB+LSRO+HACNN 94.2 98.5 94.2
由表2可知，其中*号表示对抗攻击方法已知的对抗攻击目标模型，表中可以看出将攻击目标模型作为行人重识别专家模型之一是有益的；
表3：Market1501数据集上支撑集不同个数的对抗性攻击检测性能；
支撑集检索个数 Acc(％) AUC(％) F1(％)
K＝1 92.3 99.2 92.9
K＝5 94.4 99.7 94.7
K＝10 97.5 99.8 97.6
K＝15 98.5 99.8 98.6
K＝20 98.5 99.8 98.5
K＝20 98.5 99.8 98.6
由表3可知，评估了当K＝1、5、10、15、20、30时的攻击检测性能，K＝1表示不存在支撑-支撑近邻特征，只使用查询-支撑近邻特征和跨专家近邻特征功能；可以看出，使用更大的支撑集可以提供更好的攻击检测率，当K＝15时，达到了98.5％的检测准确率，比K＝1的结果提高了6.2％；且表1和表2评估时采用K＝15来评估。
如图3所示，五个行人重识别专家模型在良性查询样本被攻击前与被攻击后得到的top-10良性支撑集结果；在本实施例中采用Deep Mis-ranking攻击方法，并且采用AlignedReID专家模型为攻击对象。
如图4所示，良性查询样本(对应图中良性样本)用菱形图案标记，其检索结果(对应图中良性支撑样本)用雪花图案标记；对抗查询样本(对应图中对抗样本)用方形图案标记，其对抗查询样本的检索结果(对应图中对抗支撑样本)用圆形图案标记；由图可知，在嵌入空间中，良性查询样本的检索结果紧密地聚集在良性查询样本的周围，而对抗查询样本的检索结果比较分散。
如图5a、5b、5c所示，图5a中，左峰为扰动样本，右峰为良性样本，查询-支撑关系定义为良性查询样本(对应图中良性样本)的特征、对抗查询样本(对应图中扰动样本)的特征分别与支撑集的图像特征之间的余弦相似度的平均值；由图可知，与良性查询样本相比，对抗查询样本通常与其在特征空间中的支撑集具有较低的相似性；图5b中，左峰为扰动样本，右峰为良性样本，支撑-支撑关系定义为在同一支撑集中，每个查询图像的支撑集的图像特征之间的余弦相似性的平均值，由图可知，与良性支撑集的图像(对应图中良性样本)相比，对抗支撑集的图像(对应图中扰动样本)在特征空间中彼此之间的相似度较低；图5c中，左峰为扰动样本，右峰为良性样本，对所有支撑集上的公共支撑集的图像的数量来描述；由图可知，不同行人重识别专家模型返回的良性支撑集相互重叠很多；对于良性查询样本(对应图中良性样本)，不同的专家模型倾向于返回相同的检索；
本实施例提供的这种基于上下文特征不一致性的多专家对抗攻击检测方法，具有如下有益效果：
1.通过使用多个具有不同架构的ReID网络作为方案中的专家模型，提取上下文不一致特征训练多层感知器来检测对ReID***的对抗攻击，可有效解决针对ReID***遭遇对抗攻击方法时的稳定性的问题。
2.提出的基于上下文不一致性的上下文特征，更有效利用ReID***输出得到的top-K检索包含的丰富信息，更充分挖掘与良性查询样本相比较下，对抗攻击样本导致的ReID***输出的结果的上下文不一致性，包括对抗查询图像与其top-K检索之间的特征距离与良性查询图像的不一致，对抗查询图像的支撑集内图像之间的距离与良性查询图像的不一致，以及多个专家ReID模型获得的良性查询图像的top-K检索相比于对抗查询图像的不一致等，提高对抗攻击检测的成功率。
3.通过良性和对抗样本训练得到的攻击对抗检测器，不仅可以成功检测得到对抗训练样本的对抗攻击方法，也可以有效防御其他对抗攻击方法，具有针对不同对抗攻击方法的适应性。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，包括步骤：
训练阶段，
S1：建立行人重识别数据集，所述行人重识别数据集包括查询图像集和图库；所述查询图像集包括良性查询图像集和对抗查询图像集；
S2：选取多个行人重识别专家模型，并将S1中良性查询图像集、对抗查询图像集和图库输入到多个行人重识别专家模型中，提取出良性查询图像集、对抗查询图像集和图库中的图像特征；采用查询图像集在图库中进行检索，将检索结果的集合作为查询图像集的支撑集；其中良性查询图像集的支撑集为良性支撑集，对抗查询图像集的支撑集为对抗支撑集；
S3：给良性查询图像集和良性支撑集的特征打上标签，并根据特征上的标签形成良性训练集；给对抗查询图像集和对抗支撑集的特征打上标签，并根据特征上的标签形成对抗训练集；
S4：根据所述良性训练集和对抗训练集，得到上下文特征；将上下文特征输入到多层感知器中训练，将多层感知器作为对抗攻击检测器；
应用阶段，
S5：建立行人重识别测试集，在行人重识别测试集内获取待查询的图像，并将待查询的图像输入到多个行人重识别专家模型中，提取出待查询图像的上下文特征；
S6：将待查询图像的上下文特征输入到对抗攻击检测器中，对抗攻击检测器将输出被攻击的概率；
S7：根据对抗检测器对于行人重识别测试集的输出结果，评估对抗攻击检测器的性能。
2.根据权利要求1所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，S1中，所述良性查询图像集包括良性查询样本，所述良性查询样本采用行人重识别基准测试数据集中训练集的查询样本；所述对抗查询图像集采用对抗攻击方法干扰良性查询图像集，从而产生对抗查询样本；所述图库包括图库样本，在Market1501数据集中的训练集随机选择一个行人的图像作为查询图像样本，则未被选择的图像作为所述图库样本。
3.根据权利要求2所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，S2中，包括步骤：
S2.1：将S1中良性查询图像集、对抗查询图像集和图库输入到多个行人重识别专家模型；采用Fn(·),n＝1,2,...,N指代第n个行人重识别专家模型的函数，采用Fn(I)指代第n个行人重识别专家模型所提取出的良性查询图像集图像特征、对抗查询图像集图像特征和图库图像特征；
S2.2：根据S2.1中的图像特征，计算查询图像集图像特征与图库图像特征的距离，返回前K个与查询图像集图像特征距离最近的图库图像特征的图像，该K个图像的集合作为查询图像集的支撑集，支撑集记为Sn＝{Sn,j|j＝1,..K}；n表示第n个行人重识别专家模型，j表示支撑集中第j个图像。
4.根据权利要求3所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，S3中，给良性查询图像集和良性支撑集的特征打上标签，标签为y0＝0，并根据特征上的标签形成良性训练集，良性训练集记为{(xi,y0)|i＝1,2,..M}；给对抗查询图像集和对抗支撑集的特征打上标签，标签为y1＝1，并根据特征上的标签形成对抗训练集，对抗训练集记为{(xi,y1)|i＝1,2,..M}；其中M为良性训练集或对抗训练集的大小。
5.根据权利要求4所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，S4中，所述上下文特征包括查询-支撑近邻特征、支撑-支撑近邻特征以及跨专家近邻特征。
6.根据权利要求5所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，得到所述上下文特征的步骤包括：
S4.1：根据所述良性训练集和对抗训练集，计算每个行人重识别专家模型中查询图像集中图像I的特征与其对应的支撑集中图像Sj的特征之间的余弦相似性A'q-s，将多个行人重识别专家模型的A'q-s堆叠得到查询-支撑近邻特征Aq-s；
得到A'q-s的计算公式为：
A'q-s[j]＝CosSimilarity(F(I),F(Sj))
其中，F(I)表示为行人重识别专家模型中查询图像集的图像特征，F(Sj)为行人重识别专家模型中与查询图像集对应的支撑集的第j个图像的图像特征；将A'q-s堆叠得到N*K个维度的查询-支撑近邻特征Aq-s，Aq-s为一个二维矩阵；N为行人重识别专家模型数量，K为支撑集中图像的数量；
S4.2：根据所述良性训练集和对抗训练集，计算每个行人重识别专家模型中支撑集中第i个图像的特征与支撑集中第j个图像的特征之间的余弦相似性A1 s-s[i,j]；将多个行人重识别专家模型中的A1 s-s[i,j]堆叠得到支撑-支撑近邻特征A1 s-s；
得到A1 s-s[i,j]的计算公式为：
A1 s-s[i,j]＝CosSimilarity(F(Si),F(Sj))
其中，F(Si)表示为支撑集第i个图像的图像特征，F(Sj)表示为支撑集第j个图像的图像特征；A1 s-s为K*K维度的矩阵，将K*(K-1)/2个元素保持在右上(左下)矩阵；
S4.3：将S4.2中A1 s-s的右上(左下)矩阵元素保留得到新的向量A's-s[i,j]，再将多个行人重识别专家模型中的A's-s[i,j]堆叠得到新的支撑-支撑近邻特征As-s；A's-s[i,j]的维度为K'＝K*(K-1)/2；As-s的维度为N*K'，As-s为一个二维矩阵；
S4.4：将第n个行人重识别专家模型作为基本模型，计算基本模型中支撑集的第j个图像出现在其他行人重识别专家模型中支撑集的频率，所述频率记为Ac-e[n,j]，最终得到跨专家近邻特征Ac-e；
Ac-e[n,j]的计算公式为：
Figure FDA0003288944070000031
其中，n表示为第n个行人重识别专家模型，F(·)是指示器函数，当参数为真时，输出1，否则输出0；Ac-e的维度为N*K，Ac-e为一个二维矩阵，Sl表示不包括基本模型的其余行人重识别专家模型的支撑集集合；
S4.5：将Aq-s，As-s，Ac-e二维矩阵降为一维向量，并将一维向量的Aq-s，As-s，Ac-e连接，得到上下文特征x，x的维度为d，其中d＝N*K+N*K'+N*K；
S4.6：将上下文特征输入到多层感知器中训练，并将多层感知器作为对抗攻击检测器。
7.根据权利要求6所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，S6中，根据对抗攻击检测器输出的被攻击的概率，当概率大于设定的概率阈值时，该待查询的图像为对抗查询样本，否则为良性查询样本。
8.根据权利要求7所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，S7中，根据对抗检测器对于行人重识别测试集的输出结果，并采用分类精度、接受者操作特征曲线下的面积、以及判定精度与召回率的谐波平均值，评估对抗攻击检测器的性能。
9.根据权利要求2所述的一种基于上下文特征不一致性的多专家对抗攻击检测方法，其特征在于，所述对抗攻击方法包括深度误排序对抗攻击方法和敌对模板对抗攻击方法。
CN202111156899.2A 2021-09-30 2021-09-30 一种基于上下文特征不一致性的多专家对抗攻击检测方法 Withdrawn CN113869233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111156899.2A CN113869233A (zh) 2021-09-30 2021-09-30 一种基于上下文特征不一致性的多专家对抗攻击检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111156899.2A CN113869233A (zh) 2021-09-30 2021-09-30 一种基于上下文特征不一致性的多专家对抗攻击检测方法

Publications (1)

Publication Number Publication Date
CN113869233A true CN113869233A (zh) 2021-12-31

Family

ID=79001002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111156899.2A Withdrawn CN113869233A (zh) 2021-09-30 2021-09-30 一种基于上下文特征不一致性的多专家对抗攻击检测方法

Country Status (1)

Country Link
CN (1) CN113869233A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278680A (zh) * 2022-07-29 2022-11-01 国网区块链科技(北京)有限公司 一种移动应用攻击检测方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674938A (zh) * 2019-08-21 2020-01-10 浙江工业大学 基于协同多任务训练的对抗攻击防御方法
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别***对抗样本生成方法及***
CN111401407A (zh) * 2020-02-25 2020-07-10 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
CN112115781A (zh) * 2020-08-11 2020-12-22 西安交通大学 基于对抗攻击样本和多视图聚类的无监督行人重识别方法
CN112668557A (zh) * 2021-01-29 2021-04-16 南通大学 一种行人再识别***中防御图像噪声攻击的方法
CN113111963A (zh) * 2021-04-23 2021-07-13 清华大学深圳国际研究生院 一种黑盒攻击行人重识别***的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674938A (zh) * 2019-08-21 2020-01-10 浙江工业大学 基于协同多任务训练的对抗攻击防御方法
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别***对抗样本生成方法及***
CN111401407A (zh) * 2020-02-25 2020-07-10 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
CN112115781A (zh) * 2020-08-11 2020-12-22 西安交通大学 基于对抗攻击样本和多视图聚类的无监督行人重识别方法
CN112668557A (zh) * 2021-01-29 2021-04-16 南通大学 一种行人再识别***中防御图像噪声攻击的方法
CN113111963A (zh) * 2021-04-23 2021-07-13 清华大学深圳国际研究生院 一种黑盒攻击行人重识别***的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUEPING WANG等: "《Multi-Expert Adversarial Attack Detection in Person Re-identification Using Context Inconsistency》", 《ARXIV:2108.09891》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278680A (zh) * 2022-07-29 2022-11-01 国网区块链科技(北京)有限公司 一种移动应用攻击检测方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US11126654B1 (en) Method and apparatus for multi-dimensional content search and video identification
Chaudhuri et al. Multilabel remote sensing image retrieval using a semisupervised graph-theoretic method
Zheng et al. SIFT meets CNN: A decade survey of instance retrieval
Shi et al. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition
CN102105901A (zh) 注释图像
CN112668557B (zh) 一种行人再识别***中防御图像噪声攻击的方法
Ross et al. Augmenting ridge curves with minutiae triplets for fingerprint indexing
JP5014479B2 (ja) 画像検索装置、画像検索方法及びプログラム
CN113869233A (zh) 一种基于上下文特征不一致性的多专家对抗攻击检测方法
Du et al. Large-scale signature matching using multi-stage hashing
Parekh et al. Review of Parameters of Fingerprint Classification Methods Based on Algorithmic Flow
Chen et al. DVHN: A deep hashing framework for large-scale vehicle re-identification
CN114220078A (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN112149566A (zh) 一种图像处理方法、装置、电子设备及存储介质
Faustino et al. k d-SNN: A Metric Data Structure Seconding the Clustering of Spatial Data
CN111401252A (zh) 一种基于视觉的图书盘点***的书脊匹配方法和设备
He et al. Clustering-based descriptors for fingerprint indexing and fast retrieval
Turner et al. Keypoint density-based region proposal for fine-grained object detection using regions with convolutional neural network features
Nayef et al. Efficient symbol retrieval by building a symbol index from a collection of line drawings
CN108959492A (zh) 一种基于托普利兹核偏最小二乘的近重复视频检测方法
Chen Feature selectionfor unlabeled data
Alizadeh et al. Automatic Retrieval of Shoeprints Using Modified Multi-Block Local Binary Pattern. Symmetry 2021, 13, 296
Mukherjee An Approach to Automatic Detection of Suspicious Individuals in a Crowd
Zhu et al. SEER: Backdoor Detection for Vision-Language Models through Searching Target Text and Image Trigger Jointly
Wang et al. A General Recognition Approach for Formation Change of Group Targets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211231