CN115527072A - 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法，首先，进行数据的采集并进行图像预处理操作，其次，选择相似对比学习增强网络算法来的对图片进行增强，在把增强变换后的图像特征输入到交叉变换的稀疏空间对齐网络之前，加入迁移学习模块，使得模型在细粒度上面更容易识别类内的特征信息，加快模型的收敛。最后，采取N‑way K‑shot任务检测方法，进行模型的训练和测试，最终实现对芯片缺陷的检测。本发明使得模型在学习的时候所需要的运算量大大的减少，达到了轻量化的效果；元学习的引入提升模型的泛化能力，少量的数据集来增强神经网络，从而学习图片标签类别之外的信息，提高对于芯片表面的缺陷检测的准确率。

Description

一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法

技术领域

本发明涉及芯片表面缺陷检测技术领域，具体涉及一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法。

背景技术

芯片在人们的日常生活中有着不可替代的作用，但是带有表面缺陷的芯片会直接影响电子产品的性能和使用寿命。在芯片的生产过程中，需要对制造出来的芯片进行表面缺陷检测，例如：划伤、Bump元件缺陷(凸起、错位或缺失)、金属性污染物和蚀刻液脏污残留等。随着制造业的不断进步，生产出来的芯片质量也变得越来越好，因此获取到表面带有缺陷的芯片数据集是非常有限的。

小样本学习是专门解决少量数据集的问题，但是基于小样本学习的网络模型在训练缺陷检测任务的过程中，比较难以提取表面缺陷的特征信息，且网络的结构较为单一，可能会导致丢失掉重要的表面缺陷特征信息，在新样本中的缺陷特征没有学习到；其次，复杂的模型往往需要很多的运算量以及时间成本。因此，针对以上两个难点，本专利提出基于交叉变换的稀疏空间与元学习进一步结合，来使得模型达到轻量化的效果，提高运算速度，以此完成对带有表面缺陷的芯片进行缺陷检测。

对于芯片的表面缺陷检测，是生产线中的关键环节之一，其中对芯片进行表面缺陷是指运用常见的表面缺陷特征来进行准确的分类。目前较为常见的表面缺陷检测方法有：

传统分类：对于产品的表面是否带有缺陷的分类问题，传统的表面检测方式有人工对产品的表面进行检测，但是某些缺陷会让人产生视觉疲劳，容易收到外界干扰，检测效率难以得到保证导致很多误判，这种表面缺陷检测的方式操作便捷，但是效率较低、标准不统一、成本较大等缺点。

机器学习分类：主要通过输入的芯片表面的缺陷图像信息来反映出的不同的缺陷特征，来对芯片表面的缺陷类型进行分类。这里的表面缺陷检测算法主要是基于人工设计特征的特征选择算法与模式识别分类算法的结合，其中传统的分类算法有K最近邻算法实现图像分类、BP神经网络算法实现图像分类、贝叶斯算法实现图像分类等。

深度学习分类：以卷积神经网络为代表的深度学习模型在计算机视觉领域的成功应用，给缺陷检测提供了新的发展方向。利用深度学习进行分类是在某种程度上可以达到惊人的效果，找到芯片表面缺陷图像的重要内在特征信息。近年来，随着计算机技术的快速发展以及人工智能的突飞猛进，使得深度学习得到了广泛的应用，涉及到了人们生活的各个方面。在工业的产品分类上也获取了惊人的精度。基于深度学习的目标检测网络模型目前被分为没有独立地提取候选区域和有独立地提取候选区域。对于没有独立地提取候选区域的网络模型，是直接生成目标框进行目标检测。该目标检测模型检测速度快，但检测精度不高，这样的代表算法有Yolo系列、SSD等。对于有独立地提取候选区域，是先生成候选框，接着将这些生成的候选框中的潜在目标选择最终的候选框。有独立地提取候选区域的网络模型具有较高的精度，但其检测的速度较没有独立地提取候选区域慢，代表算法有R-CNN、Faster RCNN等。上述的网络模型均需要大量的数据集，难以满足在产品生产中的应用。

目前常用的深度学习常用网络模型有：Lenet、Alxnet、VGG系列、Resnet系列、Inception系列、Densenet系列、Googlenet、Nasnet、Xception、Senet，

深度学习中的轻量化网络模型有：Mobilenet v1,v2、Shufflenet v1,v2,Squeezenet

上述描述的轻量化模型在项目应用中用的较为居多，他们有着不同的优缺点：

优点：(1)参数模型小，方便部署；(2)计算量小，速度快；

缺点：(1)轻量化模型在精度上没有Resnet系列、Inception系列、Densenet系列、Senet的准确度高。

以上运用计算机进行分类的算法均需要大量的样本才能够得到较高的分类精度。

小样本学习。就是通过大量的任务来训练模型，这些任务均是由芯片数据集中随机挑选出来的图片组成并且各个任务均是各不相同，然后在新的未见过的少量的芯片样本上就能够快速的学习。其中元学习就是学习如何去学习，目前主要用来解决小样本学习的问题。

元学习近几年的发展主要有：

1：基于度量的元学习：训练模型不需要针对测试任务进行调整；但是当测试与训练在任务集上的类别较大的时候，效果不太好；

2：基于模型的元学习：由于其***内部动力学的灵活性，相比大多数基于度量的元学习有更广泛适用性；在很多监督任务上表现不如度量学习；当数据量增大时，效果变差；任务间类别相差较大时，模型的效果不如基于优化的元学习方法；

3：基于优化的元学习：与基于模型的元学习相比，它们可以在任务分布更广泛的情况获得较优性能；基于优化的技术需为每个任务优化在基础学习器上进行学习，导致计算成本昂贵。

现有存在的方法有基于小样本的交叉变换的空间对齐网络，通过对于小样本进行数据增强，使得其在类内与类外获得较高的类信息。这样在新的任务上可以有较好的泛化能力，接着传送到交叉变换的空间对齐网络中，该网络具有较好的分类精度。

对于人工分类的方法：效率不高，劳动强度大。人为因素占比最大。

对于机器学习分类的方法：其缺点是对于带有缺陷的芯片，分类算法需要根据不同先验知识进行设计，有针对性地依据芯片表面缺陷特性提取和选择特征，这样使得算法的鲁棒性较低，难以完成在复杂任务下的分类任务。同时，基于机器学习的分类算法对图像的要求标准高，所有的图像还要有统一的背景，特征部位只是正常图像中的某个位置。对于不同尺寸的芯片，采集的背景不同，芯片表面的缺陷位置不同，这些都会使得分类的准确率相对较低，另外，仅依靠机器学习分类算法通常难以较好的获取图像的信息特征，检测芯片表面是否带有缺陷，分类结果也易受到材料本身及其他因素的干扰。因此，传统的机器视觉技术难以充分且有效地提取到缺陷特征，效率低下，不能非常准确的区别芯片表面是否带有缺陷。对于配有芯片的电子设备而言，存在安全隐患，故不适用于具有高精度的芯片质量缺陷检测。

对于深度学习而言，深度学习比较适合对芯片是否带有缺陷进行准确的分类。深度学习的分类算法与传统方式最大的不同是：深度学习是利用卷积神经网络进行图像特征的提取，通过不同尺寸窗口的数据和卷积核作内积，对图像特征进行提取。但是，深度学习的鲁棒性较差，泛化性不好，严重依赖于海量数据。需要有非常多的数据量才可以达到有效的学习效果。若是没有足够的数据量，可能导致深度学习网络训练结果变差，甚至会出现欠拟合的现象，导致模型难以收敛。因此，通用目标检测算法不适合直接应用于芯片表面缺陷检测任务，需要提出新的解决方法。

元学习可以有效解决少量的带有缺陷的芯片样本的分类问题，只需要少量的图片数据就可以对一些特定的任务进行学习，这是与一般的神经网络算法不同的地方。但是由于学习少量的样本，在元学习训练任务的过程中，提取特征信息较少，且网络的结构较为单一，容易丢失一些在训练时不需要的信息，导致在新任务或者新领域需要的信息也随之丢失了；这样对于芯片的缺陷位置信息、缺陷类型、缺陷的外观等发生变化时，可能会导致准确率大大的降低。其次，复杂的模型往往需要很多的运算量以及时间成本，不能够实时的进行分类，难以满足实际生产的需求。因此，同时提高小样本分类的运算速度也非常重要。

基于小样本的交叉变换的空间对齐网络由于其庞大的参数问题，导致其计算时间成本太大，难以满足实时性的需求。

发明内容

发明目的：本发明本专利针对小样本学习类别之外信息不足与计算量庞大的问题，提供一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法，交叉变换的稀疏空间对齐网络，使得模型在学习的时候所需要的运算量大大的减少，达到了轻量化的效果，从而适应在工业中实时检测缺陷的要求；另一方面，元学习的引入提升模型的泛化能力，少量的数据集来增强神经网络，从而学习图片标签类别之外的信息，提高对于芯片表面的缺陷检测的准确率。

本发明采用的技术方案：一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法，本专利所用技术是融合交叉变换的稀疏空间对齐网络和元学习，从而进行芯片表面缺陷检测：首先，进行数据的采集并进行图像预处理操作，其次，选择相似对比学习增强网络算法来的对图片进行增强，在把增强变换后的图像特征输入到交叉变换的稀疏空间对齐网络之前，加入迁移学习模块，使得模型在细粒度上面更容易识别类内的特征信息，加快模型的收敛。最后，采取N-way K-shot任务检测方法，进行模型的训练和测试，最终实现对芯片缺陷的检测。具体步骤如下：

步骤一，数据收集与处理：首先，准备芯片训练数据集，收集带有缺陷的芯片数据集，并将此数据集按照模型训练方式划分为训练集、验证集以及测试集；从芯片数据集中进行采样，形成许多的任务，这些任务是不相交的，每个集合均是由许多个任务构成，每个任务的里面包含了支持集与查询集，其中支持集是有类别的标签，查询集是没有标签的；在对图像进行相似对比学习增强的方法训练的时候使用支持集和新的查询集，这些新的查询集是从支持集里面随机的抽取一些数据，这样得到与新的查询集图像相同个数的类别，以上是对数据集进行划分；

步骤二，预训练模型：本专利所用相似对比学习增强网络来对数据进行增强的变换，主要用于无监督学习，同时还可以提高基础模型和嵌入的特征信息，这样可以大大的提高在进行迁移学习时获得模型所需要的信息。运用相似对比学习增强网络进行训练可以获得较好的图像嵌入，这样不会因为同一类的不同图像变换而受到影响。因为在训练时，通过对输入的图片进行随机数据增强，来使得网络可以更加学习到更多的图像信息，且不需要学习图片的颜色或者图片中目标的位置信息。因此，在图片的嵌入进行预训练的时候，对图像进行随机的增强，让网络模型学习困难一点，这样在以后的模型中可以拥有更好的泛化能力。

步骤三，模型选择：本专利运用交叉变换的空间稀疏网络对芯片表面缺陷进行检测，此模型专门针对小目标进行分类进行设计，与此同时达到减少了网络的参数计算以及训练时间的目的。由于芯片表面存在的缺陷比较小，网络模型通过自注意头将图片特征转化为三维的特征空间，这样获得更多的特征信息，通过自注意机制运算得到注意力值的大小，其中，较大的值表示获得较高的语义信息，较小的值表示获得少量的语义信息；为了减少像素点遍历计算所需要的时间与信息冗余，增加稀疏语义对齐网络模块，将语义相关较大的的进行计算，注意力值较小的就不需要进行运算，最后得到的语义对齐特征图与查询集里的图进行度量计算。

步骤四，迁移学习：一般在训练过程中，训练的参数都是随机初始化的，为了获得良好的参数，需要对大量的图片进行训练，然而小样本中特征提取的部分参数占了很多；为了弥补样本数量少的缺点，在元学习的过程中加入了迁移学习模块；首先将之前划分好的训练数据放到相似对比增强网络进行训练，得到网络训练权重；之后在元学习训练的时候，添加先前训练好的模型权重，进行迁移学习，增强在元学习测试集中支持集中图片特征提取的能力；减少模型迭代次数，加快模型快速收敛。

步骤五，元学习：在元训练阶段，一个任务随机采取N-way K-shot任务分类方法，其中，N是随机选择的类别数量，K是选择的每个类别中对应的图片数量。

对于元训练集，本专利采用5-way 1-shot分类方法将数据放到网络进行训练；

对于元测试集，本专利采用5-way 1-shot分类方法将数据放到网络进行测试。

首先，将元训练数据的支持集输入到相似对比学***均值作为损失函数。公式如下：

其中，

l(i,j)是两个增强后图片特征之间的损失，i与j是原始图片增强后的两张图片特征。

在训练完相似对比学***均运算，就可以得到每个类别对应的特征图，对查询集也这样做运算。公式如下：

对于支持集里面的第c个类别表示为s^c,|s^c|表示类别c中含有图片的数量，x表示为一张原始的图片，Φ(x)表示为经过迁移学习得到的特征向量。

接着把得到的支持集图像与查询集图像从二维形式转变为三维的张量特征形式，在N-way K-shot任务中，使用两个独立的线性投影为支持集特征

生成键K_s和值V_s，投影头K:

和值投影头V:

进行特征维度的变换。类似地，使用一个线性投影为查询集特征

生成特征Q_q，投影头Q:

进行特征维度的变换。分别得到支持集和查询集的特征空间后，将他们在各自的维度对应点之间进行点乘，就可以得到一系列的查询图像与各支持类之间的语义关系矩阵。

如果查询集与支持集里空间对应点的语义距离相近，即支持集里的空间点与查询集空间对应点的注意力值较大，那么它们很可能具有相似的局部特征，否则它们之间的语义关系也相对较弱。首先计算查询图像与各支持类上空间对应点之间的语义关系矩阵，得到R_n：

R_n中的每一行表示查询图像中每个点与支持集中所有图像的所有点的语义相似度。运用了一种稀疏空间交叉注意力的算法，用于在查询图像中找到与任务相关的点特征。

在收集完所有与任务相关的注意点后，可以运用掩码m＝[m₁；…；m_k]得到注意点大的特征，而注意处的值小时就将其删除，此处需要提前设定好阈值，若语义关系矩阵里面的值大于阈值时，m_i等于1，否则为0，此处的阈值设置为0.5。使用掩码m和语义关系矩阵R_n进行相乘，我们可以得到稀疏注意图a_n，且使用它来与每个支持集的键值V_s进行语义对齐用来获得对应于查询图像集的空间位置，得到特定于任务的原型向量t，可以计算为：

a_n＝m*R_n

还要对查询集做投影头V:

进行特征维度的变换，将其变换为与原型向量t相同的大小，进行度量计算：

其中，H'和W'分别为原始图像的高和宽，w^p表示为查询集特征

经过投影头V:

变换得到的。如果距离相近的那么就是同一个类别，否则就不是同一个类别。

有益效果：本发明使用交叉变换的稀疏空间感知对齐网络作为框架的元学习模型，以及将相似对比学习增强网络和元学习结合的分类方法，提高了小样本分类的可行性，减少了训练样本的数量和训练的迭代的次数，加快了训练的迭代周期，大大的减少了参数的运算量。对数据集进行增强变换的神经网络，学习标签类别之外的信息。将少量的数据集进行网络的训练，通过对数据集进行图像的增强变换，利用增强后的图像进行特征提取，这样可以在学习的时候很好的得到细粒度与粗粒度的类别信息。使得在小样本的情况下也可以把非标签类别的数据信息进行学习，解决在测试上时的数据集与训练类别不同时也可以获得很好的精度问题。在学习完标签类别之外的信息之后，接着通过稀疏空间感知网络进行语义对齐。通过两个网络模型能够提升小样本学习内更多的特征信息，提高少量样本下对于图像分类准确率。在数据的数量难以获取的情况下，与现有的分类方法相比，本发明的分类方法可以有效解决小样本的分类问题，且具有一定的适应性。

附图说明

图1是本发明基于稀疏空间感知与元学习的芯片表面缺陷检测方法流程图。

图2是本发明稀疏空间感知分类模型示意图。

具体实施方式

下面结合本发明附图和具体实施方式对整个实施例中的技术方案进行详细的叙述。

如图1所示，一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法，首先，对数据收集并进行图像预处理操作；其次，选择相似对比学习增强网络算法来进行图像增强，提升特征提取的能力，加速模型的收敛。在元训练时，把数据输入到训练好的相似对比学习增强网络，得到的特征通过迁移学习模块，传输到交叉变换的稀疏对齐网络，将其变换为三维空间特征，使其具有更加丰富的特征信息，面对未知的是否带有缺陷的芯片数据集，可以让模型在数据集上学到更多的特征信息，提高了模型的分类准确度。在训练和测试中，均采取N-way K-shot任务数据分类方法来对网络模型进行训练和测试，最终实现对少量的芯片数据集是否带有表面缺陷进行准确的分类。

具体过程包括如下步骤：

步骤1：收集实验数据集

步骤2：数据划分

步骤3：数据增强

步骤4：空间稀疏语义对齐网络

步骤5：元学习

步骤6：度量学习

本发明制作用于tensorflow可以读取的tfrecord格式的数据集，运用LabelImg工具，把芯片数据集中图片进行标注，产生xml文件。收集包括标注信息的常见的缺陷类别的数据集。将常见的数据集按照种类进行划分，一部分常见的数据集作为迁移学***旋转操作。

进行数据集的划分：在元训练集中有许多个任务，每个任务由支持集和查询集组成且每个任务都是各不相同的，它们分别从芯片数据集中进行随机提取。元测试也是由多个不同的任务构成并且元测试集中的任务与元训练集中的任务是不相交的。然后将处理后的数据集随机抽取n个任务作为元训练数据集，依次将任务送到整个网络模型进行训练并更新参数，最后保存更新过后的参数。

模型选择：本专利通过交叉变换的空间对齐网络与稀疏空间结合来构建模型。相似对比学习增强技术是一种无监督学习的模型，通过对数据集进行随机的增强，使得类内的特征信息可以很好的学习，具有快速适应其他新任务等优点。稀疏空间感知网络模型方法见图2。其中，相似对比学习增强的主干网络由残差网络Resnet-34进行特征图的提取，通过弦函数进行相似度的比较。由于芯片缺陷位置一般都比较小，通过相似对比学习增强网络在学习类内信息的时候丢失较少的类无关信息。对增强变换后的特征传送到稀疏空间感知网络里面进行训练。在该网络模型中，把迁移学习得到的两个增强变换后的特征做加权求和运算，得到了一个该类的特征图，然后将这样的二维特征变换到三维的特征维度，把查询集与支持集里面的三维特征向量相乘得到多个空间对应点，得到每张查询集里的图像与各支持集里所有的图像之间的语义关系矩阵，得到空间感知注意力值，在三维的张量空间中这可能会花费许多的时间，为了轻量化这个模型，将支持集与查询集得到的注意力矩阵图选取前n个注意力最大的数值，代表了查询图像与支持图像联系较大的像素点进行关联。如果查询集与支持集里空间对应点的语义距离相近，即支持集里的空间点与查询集空间对应点的值关联较大，那么它们很可能具有相似的局部特征，否则它们之间的语义关系也是比较弱的。这样就可以把与查询集无关的类别信息舍弃掉。然后把得到语义特征矩阵与支持集图像进行语义特征对齐，这样得到了一个在支持集上的图像特征，把得到的语义对齐特征图与经过键值V变换的支持集特征进行相乘得到查询集上的对齐网络特征图，接着把查询集转为与对齐网络特征图相同的大小，进行度量操作。距离相近的那么就是同一个类别，否则就不是同一个类别。

进行元学习：在元训练阶段，一个任务中随机采取N-way K-shot任务分类方法，N是每个任务里面含有的类别的个数，K代表每个类别含有的图像数量。在元训练时数据集使用5-way 1-shot划分方法把数据放到网络进行训练，然后通过训练集中的查询集对其进行元训练里的测试。同样的对于元测试集同样运用5-way 1-shot分类方法将芯片数据放到网络进行测试。

度量学习是在特定的任务里学习一个距离函数，使得该距离函数能够在类别之间取得较好的性能。度量学习是一种较为常见的方法，使得同类物体在嵌入空间上的计算的距离比较近，而不同类的对象之间的距离则比较远。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法，其特征在于，包括：首先，进行数据的采集并进行图像预处理操作；其次，选择相似对比学习增强网络算法来的对图片进行增强，在把增强变换后的图像特征输入到交叉变换的稀疏空间对齐网络之前，加入迁移学习模块，使得模型在细粒度上面更容易识别类内的特征信息，加快模型的收敛；最后，采取N-way K-shot任务检测方法，进行模型的训练和测试，最终实现对芯片表面缺陷进行检测；具体步骤如下：

步骤一，数据收集与处理：首先，准备芯片训练数据集，收集带有缺陷的芯片数据集，并将此数据集按照模型训练方式划分为训练集、验证集以元测试集；从芯片数据集中进行采样，形成许多的任务，这些任务是不相交的，每个集合均是由许多个任务构成，每个任务的里面包含了支持集与查询集，其中支持集是有类别的标签，查询集是没有标签的；在对图像进行相似对比学习增强的方法训练的时候使用支持集和新的查询集，这些新的查询集是从支持集里面随机的抽取一些数据，这样得到与新的查询集图像相同个数的类别，以上是对数据集进行划分；

步骤二，预训练模型：用相似对比学习增强网络来对数据进行增强的变换，用于无监督学习，同时还提高基础模型和嵌入的特征信息，这样提高在进行迁移学习时获得模型所需要的信息；运用相似对比学习增强网络进行训练获得较好的图像嵌入，这样不会因为同一类的不同图像变换而受到影响；因为在训练时，通过对输入的图片进行随机数据增强，来使得网络更加学习到更多的图像信息，且不需要学习图片的颜色或者图片中目标的位置信息；因此，在图片的嵌入进行预训练的时候，对图像进行随机的增强，让网络模型学习困难一点，这样在以后的模型中拥有更好的泛化能力；

步骤三，模型选择：运用交叉变换的空间稀疏网络对芯片表面缺陷进行检测，此模型专门针对小目标进行分类进行设计，与此同时达到减少了网络的参数计算以及训练时间的目的；由于芯片表面存在的缺陷比较小，网络模型通过自注意头将图片特征转化为三维的特征空间，这样获得更多的特征信息，通过自注意机制运算得到注意力值的大小，其中，较大的值表示获得较高的语义信息，较小的值表示获得少量的语义信息；为了减少像素点遍历计算所需要的时间与信息冗余，增加稀疏语义对齐网络模块，将语义相关较大的的进行计算，注意力值较小的就不需要进行运算，最后得到的语义对齐特征图与查询集里的图进行度量计算；

步骤四，迁移学习：一般在训练过程中，训练的参数都是随机初始化的，为了获得良好的参数，需要对大量的图片进行训练，然而小样本中特征提取的部分参数占了很多；为了弥补样本数量少的缺点，在元学习的过程中加入了迁移学习模块；首先将之前划分好的训练数据放到相似对比增强网络进行训练，得到网络训练权重；之后在元学习训练的时候，添加先前训练好的模型权重，进行迁移学习，增强在元学习测试集中支持集中图片特征提取的能力；减少模型迭代次数，加快模型快速收敛；

步骤五，元学习：在元训练阶段，一个任务随机采取N-way K-shot任务分类方法，其中，N是随机选择的类别数量，K是选择的每个类别中对应的图片数量；

对于元训练集，采用5-way 1-shot分类方法将数据放到网络进行训练；

对于元测试集，采用5-way 1-shot分类方法将数据放到网络进行测试。

2.根据权利要求1所述的一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法，其特征在于，所述步骤五中，具体步骤为：

首先，将元训练数据的支持集输入到相似对比学***均值作为损失函数；公式如下：

其中，

l(i,j)是两个增强后图片特征之间的损失，i与j是原始图片增强后的两张图片特征；

在训练完相似对比学***均运算，就得到每个类别对应的特征图，对查询集也这样做运算；公式如下：

对于支持集里面的第c个类别表示为s^c,|s^c|表示类别c中含有图片的数量，x表示为一张原始的图片，Φ(x)表示为经过迁移学习得到的特征向量；

接着把得到的支持集图像与查询集图像从二维形式转变为三维的张量特征形式，在N-way K-shot任务中，使用两个独立的线性投影为支持集特征

生成键K_s和值V_s，投影头

和值投影头

进行特征维度的变换；类似地，使用一个线性投影为查询集特征

生成特征Q_q，投影头

进行特征维度的变换；分别得到支持集和查询集的特征空间后，将他们在各自的维度对应点之间进行点乘，就得到一系列的查询图像与各支持类之间的语义关系矩阵；

如果查询集与支持集里空间对应点的语义距离相近，即支持集里的空间点与查询集空间对应点的注意力值较大，那么它们很可能具有相似的局部特征，否则它们之间的语义关系也相对较弱；首先计算查询图像与各支持类上空间对应点之间的语义关系矩阵，得到R_n：

R_n中的每一行表示查询图像中每个点与支持集中所有图像的所有点的语义相似度；运用了一种稀疏空间交叉注意力的算法，用于在查询图像中找到与任务相关的点特征；

在收集完所有与任务相关的注意点后，运用掩码m＝[m₁；…；m_k]得到注意点大的特征，而注意处的值小时就将其删除，此处需要提前设定好阈值，若语义关系矩阵里面的值大于阈值时，m_i等于1，否则为0，此处的阈值设置为0.5；使用掩码m和语义关系矩阵R_n进行相乘，得到稀疏注意图a_n，且使用它来与每个支持集的键值V_s进行语义对齐用来获得对应于查询图像集的空间位置，得到特定于任务的原型向量t，计算为：

a_n＝m*R_n

还要对查询集做投影头

进行特征维度的变换，将其变换为与原型向量t相同的大小，进行度量计算：

其中，H'和W'分别为原始图像的高和宽，w^p表示为查询集特征

经过投影头

变换得到的；如果距离相近的那么就是同一个类别，否则就不是同一个类别。

Images