CN112528928B - 一种基于自注意力深度网络的商品识别方法 - Google Patents
一种基于自注意力深度网络的商品识别方法 Download PDFInfo
- Publication number
- CN112528928B CN112528928B CN202011524704.0A CN202011524704A CN112528928B CN 112528928 B CN112528928 B CN 112528928B CN 202011524704 A CN202011524704 A CN 202011524704A CN 112528928 B CN112528928 B CN 112528928B
- Authority
- CN
- China
- Prior art keywords
- class
- self
- attention
- features
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000012795 verification Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000002708 enhancing effect Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000007790 solid phase Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自注意力深度网络的商品识别方法，其包括如下内容：对商品数据集进行分析，选择部分数据并将其划分训练集，验证集和测试集，同时进行小样本处理，将数据分为多个任务，每一个任务都可以再分为支持集和查询集，同时进行数据增强处理；随后提取支持集特征，并计算提取好的支持集特征中每一类的类原型，再提取查询集特征，将支持集类原型和查询集特征送入到以加权马氏距离作为相似性度量的度量分类器中，利用softmax函数计算最终分类结果；再利用反向传播算法更新模型参数，保存在验证集中表现最好的模型，最后将商品测试集送入到模型中进行识别分类。本发明可以减少外部依赖性、识别更加高效，并且应用范围广。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是一种基于自注意力深度网络的商品识别方法。
背景技术
在超市，电商等应用领域中，随着人力成本的增加及科学技术的发展，越来越多的商家选择使用人工智能技术对商品进行识别和分类，这一技术在发展中也更加具有研究意义。近年来，随着深度学习技术的不断发展，图像识别领域也得到了极大的进步，甚至在某些数据集上的图像分类，图像分割的准确率已经超过了人类。当前主流的基于深度学习的图像识别有赖于大数据的发展，在数据量足够大的情况下，基于深度学习的图像识别技术可以很好的完成任务。然而，在商品识别中经常会出现商品数量不足这一情况，此时利用传统深度学习模型极易出现过拟合等问题导致商品识别效果不理想的问题。
最初有学者提出孪生网络来识别有判别性的特征，再推广到未知类别；而后有人提出以每个类的均值作为对应的原型表示来学习一个度量空间，再利用固定距离度量如余弦距离或者非固定距离度量如神经网络等来进行分类。但是这些方法都有一定的缺陷，首先他们对特征的表征能力并不强；其次，他们在面对新任务时泛化能力依然较差。
在学习新事物时，人类往往更加关注这一事物区别于其他事物的最主要特征，有学者利用人类的这一学习能力，提出了注意力机制。注意力机制开始应用于图像处理和自然语言处理中，当前大部分应用于图像识别中的注意力机制为通道注意力机制和空间注意力机制。但是这两种注意力机制对外部依赖较大，而同时忽略了内部的关联及位置等信息。
发明内容
本发明需要解决的技术问题是提供可以减少外部依赖性、识别更加高效的一种基于自注意力深度网络的商品识别方法。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于自注意力深度网络的商品识别方法，其包括如下步骤：
步骤1、取商品数据作为数据集，将数据集分为训练集、测试集和验证集，利用元学习思想以及小样本学习方法对商品数据集处理，将训练集、测试集和验证集分别分为不同的多个任务，每一个任务再分为支持集和查询集，同时进行数据增强；
步骤2、利用自注意力机制增强卷积神经网络，对步骤1中增强后的数据提取特征，首先提取支持集的特征，并计算提取好的支持集特征中每一类的类原型，然后提取查询集的特征；
步骤3、将步骤2中计算好的类原型和提取的查询集的特征输入到元学习度量分类器中；
步骤4、采用元学习的算法训练特征提取器和分类器，并利用反向传播算法迭代更新参数，最终利用验证集验证模型，选取最佳模型；
步骤5、将最佳模型用于测试集中进行识别。
本发明技术方案的进一步改进在于：通过元学习思想以及小样本学习方法，取步骤1中的数据集中部分单品图和部分结算图作为小样本数据集，并将小样本数据集中的单品图作为训练集和验证集，将部分结算图作为测试集。
本发明技术方案的进一步改进在于：对小样本数据集中的数据做mixup处理。
本发明技术方案的进一步改进在于：步骤2的具体过程为：利用自注意力机制增强卷积神经网络，形成注意力增强深度卷积网络，将此网络作为特征提取结构，并将步骤1中处理好的数据送入到此结构中进行特征提取，首先提取支持集的特征，并计算提取好的支持集特征中每一类的类原型，然后提取查询集的特征。
本发明技术方案的进一步改进在于：步骤3中的度量分类器采用加权马氏距离作为度量特征间相似程度的距离度量公式，将马氏距离公式中协方差分为类内和类间协方差，并进行加权求和，得到最终距离。
由于采用了上述技术方案，本发明取得的技术进步是：
本发明采用自注意力增强深度网络，自注意力能够快速提取稀疏数据重要特征，同时减少外部依赖，捕捉内部相关信息。
本发明采用加权马氏距离作为度量分类器，能有效防止过拟合的同时，增加模型的泛化能力。
本发明建立的小样本商品识别模型具有较强的迁移能力，通过修改模型参数，能够应用在各个不同的小样本场景中。
附图说明
图1是本发明的商品识别总体方案图；
图2是本发明的自注意力机制计算流程图；
图3是本发明利用自注意力增强卷积的流程图；
图4是本发明的自注意力深度网络结构图。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
实施例一
本发明提出了一种基于自注意力深度网络的商品识别方法。本发明的商品识别总体方案如图1所示，具体步骤为下：
步骤1、首先，取商品数据作为数据集，利用元学习思想以及小样本学习方法对商品数据集处理。选取数据集中的部分单品图作为训练集和验证集，选取数据集中的部分结算图作为测试集；再分别将训练集，验证集和测试集分别分为不同的n个task，本发明中的“task”均为“任务”的意思，每一个task再分为支持集和查询集，支持集可以看作是task中的训练集，查询集可以看作是task中的测试集。
每一个task的支持集中包含c类，每一类有k的样本，此时，设置c＝5,k＝1,5。由于小样本数据集样本数量较少，固相较于其他的图像分类任务更容易发生过拟合的现象，所以为了解决过拟合的问题，优选的，本发明中利用mixup方法进行数据增强。mixup是以线性插值的方式来构建新的训练样本和标签，具体思想是随机给两个样本，然后利用式(1)生成新的样本。
其中λ∈[0，1]是一个符合beta分布的随机数。
步骤2、利用自注意力机制增强卷积神经网络，对步骤1中增强后的数据提取特征，首先提取支持集的特征，并计算提取好的支持集特征中每一类的类原型，然后提取查询集的特征。具体过程为：
利用自注意力机制增强卷积神经网络，形成注意力增强深度卷积网络，将此网络作为特征提取结构，并将步骤1中处理好的数据送入到此结构中进行特征提取，提取图像的特征，并利用提取好的特征计算每一类的类原型。
具体的，自注意力机制的计算流程图如图2所示。计算自注意力首先需要计算三个矩阵：Query、Key和Value矩阵。给定一个形状为(H,W,C)的输入张量，设为X，则X∈RHW*C，Query、Key和Value的计算方法如(2)所示：
其中Wq,Wk和Wv是权重矩阵，且其初始值是随机生成的。
然后计算自注意力得分，自注意力打分模型s(xi,q)包括加性模型、点积模型、缩放点积模型和双线性模型等，依据图像信息的性质，选择缩放点积模型计算自注意力得分。缩放点积模型的计算公式如(3)所示：
dk称为缩放因子。
令Query＝Q，Key＝K，Value＝V，计算得到注意力得分Oh如(4)所示：
将计算得到的多个自注意力连接形成多头自注意力MHA，如(5)所示：
MHA＝Concat[O1,...,ONh] (5)
将计算得到的多头自注意力用于增强卷积神经网络。首先将输入的图像分为两部分，一部分输入到卷积神经网络，提取特征得到特征图，另一部分输入到自注意力结构，计算多头自注意力图，而后将二者进行连接，得到自注意力增强卷积的结构。自注意力增强卷积结构图如图3所示。再将此结构用于深度神经网络中，取代部分的卷积层，形成自注意力深度网络，其结构图如图4所示。
同时，在自注意力卷积模块后需要做批归一化处理，批归一化是解决梯度消失问题的常用方法之一，通过一定的规范化手段，把每层神经网络任意神经元经过这个输入值的分布强行拉回到均值为0方差为1的标准正态分布；将批归一化的特征送入到激活函数中，本发明中采用的激活函数为Gelu激活函数，Gelu激活函数是在原有Relu激活函数的基础上，加入了随即正则的思想，能够增加模型的泛化能力。其表达式如式(6)所示。
将步骤1处理后商品数据集中每一个task的支持集经过结构3提取特征后，得到不同类别商品的特征，利用不同的特征计算出小样本商品中每一类的类原型，类原型定义为该类在特征空间的平均值，故类k的原型利用式(7)求得：
其中|Sk|表示类K中样本的数量，(xi,yi)为样本的特征向量和标签。
步骤3、将步骤2中计算好的类原型和提取的查询集的特征输入到元学习度量分类器中。
传统的图像识别通常在大样本的条件下，其分类器也多为神经网络的全连接层后接softmax。softmax是多分类过程中常用的函数，它将多个神经元的输出，映射到(0，1)区间中，从而来进行多分类。标准的softmax函数表达式如式(8)所示：
本商品数据集数据集为小样本数据集，在小样本数据的情况下，利用全连接层会增加模型的复杂度，故而选择度量学习中的度量方法作为分类器，度量学习分类器是将图像映射到一个度量空间并使用某种度量方法度量不同样本间的差异。多数基于元学习的度量分类器选择简单的欧氏距离或是余弦距离作为度量方式。本发明中利用加权马氏距离作为度量分类器。马氏距离是欧氏距离的一种推广，它通过协方差来计算两点之间的距离，并考虑各种特性之间的相关性。数据点x,y之间的马氏距离如式(9)所示：
其中∑为协方差矩阵，本发明中我们将协方差矩阵分为类内协方差矩阵和类间协方差矩阵∑Γ，∑的计算公式如式(10)所示：
其中λ为(0，1)的比例系数，计算方式如式(11)所示：
其中表示支持集中的每一类中的样本数量。
本发明中需要将查询集中的每张图片经过步骤2的自注意力深度网络提取特征后与支持集中每一类的类原型进行距离度量。将利用加权马氏距离计算得到的距离dk送入softmax函数中进行分类，得到每张图片xi属于某一类yi分类的概率计算公式如式(12)所示：
步骤4、采用元学习的算法训练特征提取器和分类器，利用反向传播算法迭代更新参数，最终利用验证集验证模型，选取最佳模型。
步骤5、将最佳模型用于测试集中进行分类识别。
取验证集中效果最好的模型，并用于测试集中完成商品的识别任务。
实施例二
本发明提出了一种基于自注意力深度网络的商品识别方法。本发明的商品识别总体方案如图1所示，具体步骤为下：
步骤1、首先，取商品数据作为数据集，利用元学习思想以及小样本学习方法对商品数据集处理，将数据集分为训练集、测试集和验证集。由于小样本数据集样本数量较少，固相较于其他的图像分类任务更容易发生过拟合的现象，所以为了解决过拟合的问题，本发明对数据集中的数据进行数据增强。
步骤2、利用自注意力机制增强卷积神经网络，对步骤1中增强后的数据提取特征，首先提取支持集的特征，并计算提取好的支持集特征中每一类的类原型，然后提取查询集的特征。具体过程为：
利用自注意力机制增强卷积神经网络，形成注意力增强深度卷积网络，将此网络作为特征提取结构，并将步骤1中处理好的数据送入到此结构中进行特征提取，提取图像的特征，并利用提取好的特征计算每一类的类原型。
具体的，自注意力机制的计算流程图如图2所示。计算自注意力首先需要计算三个矩阵：Query、Key和Value矩阵。给定一个形状为(H,W,C)的输入张量，设为X，则X∈RHW*C，Query、Key和Value的计算方法如(2)所示：
其中Wq,Wk和Wv是权重矩阵，且其初始值是随机生成的。
然后计算自注意力得分，自注意力打分模型s(xi,q)包括加性模型、点积模型、缩放点积模型和双线性模型等，依据图像信息的性质，选择缩放点积模型计算自注意力得分。缩放点积模型的计算公式如(3)所示：
dk称为缩放因子。
令Query＝Q，Key＝K，Value＝V，计算得到注意力得分Oh如(4)所示：
将计算得到的多个自注意力连接形成多头自注意力MHA，如(5)所示：
MHA＝Concat[O1,...,ONh] (5)
将计算得到的多头自注意力用于增强卷积神经网络。首先将输入的图像分为两部分，一部分输入到卷积神经网络，提取特征得到特征图，另一部分输入到自注意力结构，计算多头自注意力图，而后将二者进行连接，得到自注意力增强卷积的结构。自注意力增强卷积结构图如图3所示。再将此结构用于深度神经网络中，取代部分的卷积层，形成自注意力深度网络，其结构图如图4所示。
同时，在自注意力卷积模块后需要做批归一化处理，批归一化是解决梯度消失问题的常用方法之一，通过一定的规范化手段，把每层神经网络任意神经元经过这个输入值的分布强行拉回到均值为0方差为1的标准正态分布；将批归一化的特征送入到激活函数中，本发明中采用的激活函数为Gelu激活函数，Gelu激活函数是在原有Relu激活函数的基础上，加入了随即正则的思想，能够增加模型的泛化能力。其表达式如式(6)所示。
将步骤1处理后商品数据集中每一个task的支持集经过结构3提取特征后，得到不同类别商品的特征，利用不同的特征计算出小样本商品中每一类的类原型，类原型定义为该类在特征空间的平均值，故类k的原型利用式(7)求得：
其中|Sk|表示类K中样本的数量，(xi,yi)为样本的特征向量和标签。
步骤3、将步骤2中计算好的类原型和提取的查询集的特征输入到元学习度量分类器中。
传统的图像识别通常在大样本的条件下，其分类器也多为神经网络的全连接层后接softmax。softmax是多分类过程中常用的函数，它将多个神经元的输出，映射到(0，1)区间中，从而来进行多分类。标准的softmax函数表达式如式(8)所示：
本商品数据集数据集为小样本数据集，在小样本数据的情况下，利用全连接层会增加模型的复杂度，故而选择度量学习中的度量方法作为分类器，度量学习分类器是将图像映射到一个度量空间并使用某种度量方法度量不同样本间的差异。多数基于元学习的度量分类器选择简单的欧氏距离或是余弦距离作为度量方式。本发明中利用加权马氏距离作为度量分类器。马氏距离是欧氏距离的一种推广，它通过协方差来计算两点之间的距离，并考虑各种特性之间的相关性。数据点x,y之间的马氏距离如式(9)所示：
其中∑为协方差矩阵，本发明中我们将协方差矩阵分为类内协方差矩阵和类间协方差矩阵∑Γ，∑的计算公式如式(10)所示：
其中λ为(0，1)的比例系数，计算方式如式(11)所示：
其中表示支持集中的每一类中的样本数量。
本发明中需要将查询集中的每张图片经过步骤2的自注意力深度网络提取特征后与支持集中每一类的类原型进行距离度量。将利用加权马氏距离计算得到的距离dk送入softmax函数中进行分类，得到每张图片xi属于某一类yi分类的概率计算公式如式(12)所示：
步骤4、采用元学习的算法训练特征提取器和分类器，利用反向传播算法迭代更新参数，最终利用验证集验证模型，选取最佳模型。
步骤5、将最佳模型用于测试集中进行分类识别。
取验证集中效果最好的模型，并用于测试集中完成商品的识别任务。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (3)
1.一种基于自注意力深度网络的商品识别方法，其特征在于包括如下步骤：
步骤1、取商品数据作为数据集，将数据集分为训练集、测试集和验证集，利用元学习思想以及小样本学习方法对商品数据集处理，将训练集、测试集和验证集分别分为不同的多个任务，每一个任务再分为支持集和查询集，同时进行数据增强；
步骤2、利用自注意力机制增强卷积神经网络，对步骤1中增强后的数据提取特征，首先提取支持集的特征，并计算提取好的支持集特征中每一类的类原型，然后提取查询集的特征；利用自注意力机制增强卷积神经网络，形成注意力增强深度卷积网络，将此网络作为特征提取结构，并将步骤1中处理好的数据送入到此结构中进行特征提取，首先提取支持集的特征，并计算提取好的支持集特征中每一类的类原型，然后提取查询集的特征；具体步骤如下：
利用自注意力机制增强卷积神经网络，形成注意力增强深度卷积网络，将此网络作为特征提取结构，并将步骤1中处理好的数据送入到此结构中进行特征提取，提取图像的特征，并利用提取好的特征计算每一类的类原型，计算自注意力首先需要计算三个矩阵：Query、Key和Value矩阵，给定一个形状为(H,W,C)的输入张量，设为X，则X∈RHW*C，Query、Key和Value的计算方法如(2)所示：
其中Wq,Wk和Wv是权重矩阵，且其初始值是随机生成的，然后计算自注意力得分，自注意力打分模型s(xi,q)包括加性模型、点积模型、缩放点积模型和双线性模型，依据图像信息的性质，选择缩放点积模型计算自注意力得分，缩放点积模型的计算公式如(3)所示：
dk称为缩放因子，
令Query＝Q，Key＝K，Value＝V，计算得到注意力得分Oh如(4)所示：
将计算得到的多个自注意力连接形成多头自注意力MHA，如(5)所示：
MHA＝Concat[O1,...,ONh] (5)
将计算得到的多头自注意力用于增强卷积神经网络，首先将输入的图像分为两部分，一部分输入到卷积神经网络，提取特征得到特征图，另一部分输入到自注意力结构，计算多头自注意力图，而后将二者进行连接，得到自注意力增强卷积的结构，再将此结构用于深度神经网络中，取代部分的卷积层，形成自注意力深度网络，在自注意力卷积模块后需要做批归一化处理，把每层神经网络任意神经元经过这个输入值的分布强行拉回到均值为0方差为1的标准正态分布；将批归一化的特征送入到激活函数中，采用的激活函数为Gelu激活函数，Gelu激活函数是在原有Relu激活函数的基础上，加入了随即正则的思想，能够增加模型的泛化能力，其表达式如式(6)所示，
将步骤1处理后商品数据集中每一个task的支持集经过结构提取特征后，得到不同类别商品的特征，利用不同的特征计算出小样本商品中每一类的类原型c，类原型定义为该类在特征空间的平均值，故类k的原型利用式(7)求得：
其中|Sk|表示类k中样本的数量，(mi,ni)为样本的特征向量和标签；
步骤3、将步骤2中计算好的类原型和提取的查询集的特征输入到元学习度量分类器中；步骤3中的度量分类器采用加权马氏距离作为度量特征间相似程度的距离度量公式，将马氏距离公式中协方差分为类内和类间协方差，并进行加权求和，得到最终距离；具体步骤如下：商品数据集数据集为小样本数据集，选择度量学习中的度量方法作为分类器，度量学习分类器是将图像映射到一个度量空间并使用某种度量方法度量不同样本间的差异，数据点x,y之间的马氏距离如式(9)所示：
其中∑为协方差矩阵，将协方差矩阵分为类内协方差矩阵和类间协方差矩阵∑Γ，∑的计算公式如式(10)所示：
其中λ为(0，1)的比例系数，计算方式如式(11)所示：
其中|SΓ k|表示支持集中的每一类中的样本数量；将查询集中的每张图片经过步骤2的自注意力深度网络提取特征后与支持集中每一类的类原型进行距离度量，将利用加权马氏距离计算得到的距离DY送入softmax函数中进行分类，得到每张图片X'属于某一类Y分类的概率计算公式如式(12)所示：
步骤4、采用元学习的算法训练特征提取器和分类器，并利用反向传播算法迭代更新参数，最终利用验证集验证模型，选取最佳模型；
步骤5、将最佳模型用于测试集中进行识别。
2.根据权利要求1所述的一种基于自注意力深度网络的商品识别方法，其特征在于：通过元学习思想以及小样本学习方法，取步骤1中的数据集中部分单品图和部分结算图作为小样本数据集，并将小样本数据集中的单品图作为训练集和验证集，将部分结算图作为测试集。
3.根据权利要求2所述的一种基于自注意力深度网络的商品识别方法，其特征在于：对小样本数据集中的数据做mixup处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524704.0A CN112528928B (zh) | 2020-12-22 | 2020-12-22 | 一种基于自注意力深度网络的商品识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011524704.0A CN112528928B (zh) | 2020-12-22 | 2020-12-22 | 一种基于自注意力深度网络的商品识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528928A CN112528928A (zh) | 2021-03-19 |
| CN112528928B true CN112528928B (zh) | 2024-06-11 |
Family
ID=75002182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011524704.0A Active CN112528928B (zh) | 2020-12-22 | 2020-12-22 | 一种基于自注意力深度网络的商品识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528928B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177916B (zh) * | 2021-04-21 | 2023-04-07 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
| CN113222011B (zh) * | 2021-05-10 | 2022-12-02 | 西北工业大学 | 一种基于原型校正的小样本遥感图像分类方法 |
| CN113780345A (zh) * | 2021-08-06 | 2021-12-10 | 华中科技大学 | 面向中小企业的基于张量注意力的小样本分类方法和*** |
| CN114612708B (zh) * | 2022-02-23 | 2022-12-09 | 广州市玄武无线科技股份有限公司 | 商品识别方法、装置、终端设备及计算机可读介质 |
| CN114595329A (zh) * | 2022-03-07 | 2022-06-07 | 华泰证券股份有限公司 | 一种原型网络的少样本事件抽取***及方法 |
| CN114691986A (zh) * | 2022-03-21 | 2022-07-01 | 合肥工业大学 | 基于子空间适应性间距的跨模态检索方法及存储介质 |
| CN114847973A (zh) * | 2022-03-21 | 2022-08-05 | 同济大学 | 一种基于脑机接口中的少样本识别方法 |
| CN115033689B (zh) * | 2022-05-27 | 2023-04-18 | 重庆邮电大学 | 一种基于小样本文本分类原型网络欧氏距离计算方法 |
| CN115100432B (zh) * | 2022-08-23 | 2022-11-18 | 浙江大华技术股份有限公司 | 一种小样本目标检测方法、设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276394A (zh) * | 2019-06-21 | 2019-09-24 | 扬州大学 | 一种小样本下基于深度学习的电力设备分类方法 |
| CN110569886A (zh) * | 2019-08-20 | 2019-12-13 | 天津大学 | 一种双向通道注意力元学习的图像分类方法 |
| CN110569725A (zh) * | 2019-08-05 | 2019-12-13 | 华中科技大学 | 一种基于自注意力机制的深度学习的步态识别***与方法 |
| CN112001162A (zh) * | 2020-07-31 | 2020-11-27 | 银江股份有限公司 | 基于小样本学习的智能审判*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11733780B2 (en) * | 2018-03-16 | 2023-08-22 | Veridium Ip Limited | System and method for user recognition using motion sensor data |
| US10832096B2 (en) * | 2019-01-07 | 2020-11-10 | International Business Machines Corporation | Representative-based metric learning for classification and few-shot object detection |
-
2020
- 2020-12-22 CN CN202011524704.0A patent/CN112528928B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276394A (zh) * | 2019-06-21 | 2019-09-24 | 扬州大学 | 一种小样本下基于深度学习的电力设备分类方法 |
| CN110569725A (zh) * | 2019-08-05 | 2019-12-13 | 华中科技大学 | 一种基于自注意力机制的深度学习的步态识别***与方法 |
| CN110569886A (zh) * | 2019-08-20 | 2019-12-13 | 天津大学 | 一种双向通道注意力元学习的图像分类方法 |
| CN112001162A (zh) * | 2020-07-31 | 2020-11-27 | 银江股份有限公司 | 基于小样本学习的智能审判*** |
Non-Patent Citations (3)
| Title |
|---|
| Self-Attention Relation Network for Few-Shot Learning;Binyuan Hui et al;《ICMEW》;198-203 * |
| Transductive Episodic-Wise Adaptive Metric for Few-Shot Learning;Limeng Qiao et al;《ICCV》;3603-3612 * |
| 基于空间注意力机制的行人再识别方法;张子昊;周千里;王蓉;;北京航空航天大学学报;20200402(第09期);126-134 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528928A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528928B (zh) | 一种基于自注意力深度网络的商品识别方法 | |
| William et al. | Face recognition using facenet (survey, performance test, and comparison) | |
| CN110321967B (zh) | 基于卷积神经网络的图像分类改进方法 | |
| CN107578007A (zh) | 一种基于多特征融合的深度学习人脸识别方法 | |
| CN111832650B (zh) | 基于生成对抗网络局部聚合编码半监督的图像分类方法 | |
| CN108830237B (zh) | 一种人脸表情的识别方法 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN105184298A (zh) | 一种快速局部约束低秩编码的图像分类方法 | |
| CN111985581A (zh) | 一种基于样本级注意力网络的少样本学习方法 | |
| CN113239839B (zh) | 基于dca人脸特征融合的表情识别方法 | |
| CN112800249A (zh) | 基于生成对抗网络的细粒度跨媒体检索方法 | |
| CN111079514A (zh) | 一种基于clbp和卷积神经网络的人脸识别方法 | |
| Ouyed et al. | Feature weighting for multinomial kernel logistic regression and application to action recognition | |
| Sawalha et al. | Face recognition using harmony search-based selected features | |
| CN112836671A (zh) | 一种基于最大化比率和线性判别分析的数据降维方法 | |
| Sharma et al. | Face-based age and gender estimation using improved convolutional neural network approach | |
| CN110705636A (zh) | 一种基于多样本字典学习和局部约束编码的图像分类方法 | |
| Song et al. | MPPCANet: A feedforward learning strategy for few-shot image classification | |
| CN116110089A (zh) | 一种基于深度自适应度量学习的面部表情识别方法 | |
| Sen et al. | Face recognition using deep convolutional network and one-shot learning | |
| Okokpujie et al. | Predictive modeling of trait-aging invariant face recognition system using machine learning | |
| CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
| CN109919056B (zh) | 一种基于判别式主成分分析的人脸识别方法 | |
| WO2022123619A1 (ja) | 学習システム、学習方法、及びプログラム | |
| Lei et al. | Student action recognition based on multiple features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |