CN113051962A - 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法 - Google Patents
基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法 Download PDFInfo
- Publication number
- CN113051962A CN113051962A CN201911366078.4A CN201911366078A CN113051962A CN 113051962 A CN113051962 A CN 113051962A CN 201911366078 A CN201911366078 A CN 201911366078A CN 113051962 A CN113051962 A CN 113051962A
- Authority
- CN
- China
- Prior art keywords
- softmax
- loss
- network
- pedestrian
- margin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于联合注意力机制孪生Margin‑Softmax网络的行人重识别方法。首先提出一个具有空间‑通道联合注意力机制的AAM‑Softmax识别模型,将局部特征和全局特征进行结合,并将度量学习融于分类中,有利于提升特征的辨别力。然后提出一个结合识别损失和验证损失的孪生Margin‑Softmax网络,将训练好的AAM‑Softmax识别模型作为两个权值共享子网络的特征编码器以提取图像对特征,在识别损失和验证损失的联合监督下进行训练该网络,可有效学习出具有辨别力的特征用于行人重识别。与主流行人重识别方法相比,本发明方法可获得更优的性能。本发明可有效应用于智能监控及公共安全等领域。
Description
技术领域
本发明涉及行人重识别技术,具体涉及一种基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法,属于计算机视觉领域。
背景技术
行人重识别(Person re-ID)是计算机视觉的重要研究课题,目前已广泛用于视频监控和公共安全领域。行人重识别是利用计算机视觉技术,跨设备检索图像/视频序列中是否存在特定行人的技术。行人重识别研究主要集中于特征表示(Feature Representation)和度量学习(Metric Learning)两方面。随着深度学习的发展,行人重识别取得了很大的突破。深度度量学习旨在通过网络学习深度嵌入特征之间的相似度(同一行人的不同图像相似度高于不同行人的不同图像),其方法是缩小特征类内距离,同时增大特征类间距离。但是,度量学习对所选样本对的依赖性较高,并且只考虑了部分样本,而没有考虑特征空间样本的全局结构。在深度特征表示方面,通过卷积神经网络(Convolutional NeuralNetwork,CNN)自动提取图像的特征表示。行人重识别通常被看作是分类/识别问题或验证问题。分类/识别任务是指利用行人的ID或属性作为标签来训练分类网络,而验证任务是指是判断输入图像对是否属于同一个人。识别模型具有丰富的ID标签,但其训练目标并未考虑相似性度量,而验证模型在训练阶段进行相似性度量,但其训练标签很弱(相同/不同两类标签),而且没有考虑图像对与数据集中其他图像之间的关系。因此,将两种模型的优势进行结合,可以有效训练出具有辨别力的嵌入特征。
发明内容
本发明为解决上述问题提供了一种基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法。该网络具有两个权值共享的子网络,分别识别一对输入图像的ID;同时,计算两个子网络提取的嵌入特征之间的距离,用以验证输入图像对是否属于同一个人。该网络在识别损失和验证损失(均为Margin-Softmax损失)的联合监督下进行训练,可有效地学习出具有辨别力的嵌入特征用于行人重识别。
本发明通过以下技术方案来实现上述目的:
1、本发明提供一个具有空间-通道联合注意力机制的AAM-Softmax识别模型,其步骤及要求如下:
(1)提供一个AAM-Softmax识别模型,该模型的特征嵌入模块(Feature EmbeddingModule)由ImageNet预训练的Resnet_50、全局平均池化(Global Average Pooling,GAP)层和批归一化(Batch Normalisation,BN)层以及空间-通道联合注意力机制构成,用于从原始输入图像中提取特征。采用附加角度余量Softmax(Additive Angular Margin Softmax,AAM-Softmax)作为分类器,在训练阶段,以每个行人的ID作为标签进行训练。AAM-Softmax通过对Softmax施加附加角度余量惩罚,可在超球面空间上同时提升类内特征的紧凑性和类间特征的差异性,从而学习具有辨别力的特征。Softmax分类器已广泛用于深度学习中,softmax损失表达式如式(1)所示:
在softmax损失函数中,被称为目标logit(target logit)。AAM-Softmax损失将标准softmax损失中的偏置bj设置为常数0。target logit则可以表示为 其中θj是Wj和xi之间的夹角。分别将Wj和xi进行l2正则化处理(||Wj||=1,||xi||=1),即分别将Wj和xi映射到超球面流形(Hypersphere Manifold)上。因此,target logit等价于余弦距离然后在角度空间上对施加一个附加角度余量约束m,以提高特征的辨别力。然后对所有的logit项乘以特征缩放因子s进行重新缩放。因此,softmax损失转换为AAM-Softmax损失,其表达式如式(2)所示:
(2)空间-通道联合注意力机制,该联合注意力机制在不增加任何额外的学习参数的情况下,可对空间和通道中含有重要信息的局部特征进行关注。首先将Resnet_50提取的特征图谱通过空间注意力机制,对每一个通道的对应位置进行求和操作,得到空间求和矩阵其表达式如式(3)所示:
将A(i,j)重新整形成向量a(i,j),并通过softmax激活函数,便可得到每一空间位置的权重,其表达式如式(4)所示:
2、本发明提供一个结合识别损失和验证损失的孪生Margin-Softmax分类网络,用于行人重识别,该网络不仅考虑了每个样本之间的关系,而且在训练过程中考虑了特征之间的相似性度量。其步骤及要求如下:
(1)提过一个孪生网络,该网络的两个子网络权值共享。用AAM-Softmax损失函数预训练的识别模型作为子网络的特征编码器(Feature Encoder),用于从输入图像对提取深度特征将fa,fb输入定义为fs=(fa-fb)2的距离测量模块(DistanceMeasurement Modul),从而得到距离特征
(2)在识别损失和验证损失的共同监督下,训练此网络。一方面,分别识别深度特征fa,fb所属ID;另一方面,将距离特征fs输入二分类网络(相同/不同),验证输入图像对是否属于同一人的ID。验证损失和识别损失均采用组合余量Softmax(Combined Margin-Softmax),其表达式如(8)所示:
其中,m1,m2和m3分别代表乘性角度余量、附加角度余量和余弦余量。网络的总损失函数如式(9)所示:
Ltotal=αLiden1+βLiden2+γLver (9)
其中,α,β,γ分别代表验证损失1、2和识别损失的权重。
附图说明
图1是本发明提出的具有空间-通道联合注意力机制的AAM-Softmax识别模型
图2是本发明提出的空间-通道联合注意力机制示意图
图3是本发明提出的结合识别损失和验证损失的孪生Margin-Softmax网络行人重识别方法
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示,具有空间-通道联合注意力机制的AAM-Softmax识别模型的行人重识别方法,具体可以分为以下三个步骤:
(1)构建具有空间-通道联合注意力机制的AAM-Softmax识别模型;
(2)利用训练图像,训练步骤(1)中构建的模型;
(3)对该模型进行测试,以评估该模型的性能。
具体地,所述步骤(1)中,构建如图1所示的具有空间-通道联合注意力机制的AAM-Softmax识别模型。所构建的模型由特征嵌入模块和具有AAM-Softmax分类器的全连接层构成。特征嵌入模块包括由ImageNet预训练的Resnet_50、全局平均池化层和批归一化层以及空间-通道联合注意力机制,用于从原始输入图像中提取2048维特征。
所述步骤(2)中,我们首先将数据库训练集图像尺寸调整为256×128,输入步骤(1)中所构建的模型,以输入图像的ID作为标签来训练模型。损失函数采用AAM-Softmax损失(在本发明中,s=30,m=0.005),通过参数迭代完成模型训练;
所述步骤(3)中,对步骤(2)训练的模型性能进行测试,分别提取查询图像集和图库图像集的特征,并一一计算两者之间的相似性,按照最近邻搜索方法进行排序。采用Rank-1得分和平均精度均值(mean Average Precision,mAP)作为评估指标,以评估模型的性能。
为了验证本发明方法的有效性,在三个行人重识别数据集Market1501、DukeMTMC-reID和CUHK03-NP上进行实验。并进行三组对比实验,对比实验①:图像尺寸调整为224×224,模型为无联合注意力机制的模型,以Softmax损失训练模型;对比实验②:图像尺寸调整为224×224,模型为联合注意力机制的模型,以AAM-Softmax损失训练模型;对比实验③:图像尺寸调整为256×128,模型为无联合注意力机制的模型,以AAM-Softmax损失训练模型。表一为四组实验方法在三个数据集上的评估结果。
表一
从表一可看出,本发明提出的具有空间-通道联合注意力机制的AAM-Softmax识别模型在两个评估指标上都取得了最高的值,并且提升比较明显。分析实验结果,可以得出结论,AAM-Softmax方法可以获得比标准softmax方法更好的性能。这是因为AAM-Softmax中的附加角角度余量约束可在超球面空间中缩小类内特征距离并同时扩大类间特征距离,从而将度量学习集成到分类中,以增强特征的辨别力。另外,由于输入的宽高比更符合自然情况,因此使用图像(尺寸为256×128)训练的模型要优于使用图像(尺寸为224×224)训练的模型。此外,由于联合空间-通道注意力机制可以将局部特征与全局特征相结合,以学习更强的辨别特征,因此本发明提出的具有联合空间-通道注意力机制的AAM-Softmax识别模型可以获得更好的性能。
如图2所示,空间-通道联合注意力机制示意图,该联合注意力机制包括空间注意力机制和通道注意力机制两部分。该联合注意力机制在没增加任何额外学习参数的情况下,引导模型关注空间和通道中重要的局部信息,有利于更好地学习具有辨别力的特征。
如图3所示,结合识别损失和验证损失的孪生Margin-Softmax网络的行人重识别方法,具体可以分为以下三个步骤:
(1)构建结合识别损失和验证损失的孪生Margin-Softmax网络;
(2)利用训练图像对,训练步骤(1)中构建的网络;
(3)对该网络进行测试,以评估本发明方法的性能。
具体地,所述步骤(1)中,构建如图3所示的结合识别损失和验证损失的孪生Margin-Softmax网络。所构建的孪生网络具有两个权值共享的子网络。采用图1中AAM-Softmax损失函数预训练的识别模型作为子网络的特征编码器,用于从输入图像对提取深度特征fa,fb(2048维)。一方面,分别识别深度特征fa,fb所属ID;另一方面,计算fa,fb的距离特征fs(2048维)输入二分类网络(相同/不同),验证输入图像对是否属于同一人的ID。
所述步骤(2)中,我们首先将数据库训练集以图像对的形式输入(尺寸调整为256×128)。网络总损失函数由识别损失1、2和验证损失(均采用Combined Margin-Softmax)共同构成(在本发明中,α=0.5,β=0.5,γ=1)。表二、表三为识别损失和验证损失中Combined Margin-Softmax的参数设置,通过参数迭代完成模型训练。
表二
表三
所述步骤(3)中,对步骤(2)训练的网络进行测试,采用Rank-1得分和mAP作为评估指标,以评估模型的性能。
为了验证本发明方法的有效性,在三个数据集Market1501、DukeMTMC-reID和CUHK03-NP上进行实验。表四为实验评估结果与其他主流行人重识别方法在三个数据集上的对比。
表四
从表四可以看出,与几种主流行人重识别方法相比,本发明方法在Market-1501、DukeMTMC-reID和CUHK03-NP数据集上可以得到更高的性能,证明了本发明方法的有效性。
Claims (5)
1.基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法,其特征在于包括以下步骤:
步骤一:构建具有空间-通道联合注意力机制的AAM-Softmax识别模型;
步骤二:利用训练图像,训练步骤一中构建的模型;
步骤三:利用步骤二中训练好的模型作为特征编码器,构建结合识别损失和验证损失的孪生Margin-Softmax网络;
步骤四:利用训练图像对,在识别损失和验证损失的联合监督下,训练步骤三中构建的行人重识别网络;
步骤五:对步骤四中训练的网络进行测试,以评估该网络的性能。
2.根据权利要求1所述的基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法,其特征在于步骤一中所构建的识别模型加入空间-通道联合注意力机制,在不加入任何额外学习参数的情况下,关注空间和通道重要的局部特征。
3.根据权利要求1所述的基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法,其特征在于步骤一中所采用AAM-Softmax损失对模型进行训练,将度量学习融于分类器中,从而提升特征的辨别力。
4.根据权利要求1所述的基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法,其特征在于步骤三中所构建的孪生网络结合识别损失和验证损失(均为CombinedMargin-Softmax损失),在两者的共同监督下训练网络。
5.根据权利要求1-4所述的基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法,其特征在于将行人重识别中度量学习、识别和验证融合于同一网络中,同时通过空间-通道注意力机制,将局部特征和全局特征进行结合,有利于辨别力特征的学习。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911366078.4A CN113051962B (zh) | 2019-12-26 | 2019-12-26 | 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911366078.4A CN113051962B (zh) | 2019-12-26 | 2019-12-26 | 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113051962A true CN113051962A (zh) | 2021-06-29 |
CN113051962B CN113051962B (zh) | 2022-11-04 |
Family
ID=76505369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911366078.4A Active CN113051962B (zh) | 2019-12-26 | 2019-12-26 | 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113051962B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114005078A (zh) * | 2021-12-31 | 2022-02-01 | 山东交通学院 | 一种基于双关系注意力机制的车辆重识别方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180114055A1 (en) * | 2016-10-25 | 2018-04-26 | VMAXX. Inc. | Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition |
CN109492528A (zh) * | 2018-09-29 | 2019-03-19 | 天津卡达克数据有限公司 | 一种基于高斯和深度特征的行人再识别方法 |
CN109711232A (zh) * | 2017-10-26 | 2019-05-03 | 北京航天长峰科技工业集团有限公司 | 基于多目标函数的深度学习行人重识别方法 |
CN109919073A (zh) * | 2019-03-01 | 2019-06-21 | 中山大学 | 一种具有光照鲁棒性的行人再识别方法 |
CN110009052A (zh) * | 2019-04-11 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 一种图像识别的方法、图像识别模型训练的方法及装置 |
CN110059616A (zh) * | 2019-04-17 | 2019-07-26 | 南京邮电大学 | 基于融合损失函数的行人重识别模型优化方法 |
CN110222792A (zh) * | 2019-06-20 | 2019-09-10 | 杭州电子科技大学 | 一种基于孪生网络的标签缺陷检测算法 |
CN110580460A (zh) * | 2019-08-28 | 2019-12-17 | 西北工业大学 | 基于行人身份和属性特征联合识别验证的行人再识别方法 |
-
2019
- 2019-12-26 CN CN201911366078.4A patent/CN113051962B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180114055A1 (en) * | 2016-10-25 | 2018-04-26 | VMAXX. Inc. | Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition |
CN109711232A (zh) * | 2017-10-26 | 2019-05-03 | 北京航天长峰科技工业集团有限公司 | 基于多目标函数的深度学习行人重识别方法 |
CN109492528A (zh) * | 2018-09-29 | 2019-03-19 | 天津卡达克数据有限公司 | 一种基于高斯和深度特征的行人再识别方法 |
CN109919073A (zh) * | 2019-03-01 | 2019-06-21 | 中山大学 | 一种具有光照鲁棒性的行人再识别方法 |
CN110009052A (zh) * | 2019-04-11 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 一种图像识别的方法、图像识别模型训练的方法及装置 |
CN110059616A (zh) * | 2019-04-17 | 2019-07-26 | 南京邮电大学 | 基于融合损失函数的行人重识别模型优化方法 |
CN110222792A (zh) * | 2019-06-20 | 2019-09-10 | 杭州电子科技大学 | 一种基于孪生网络的标签缺陷检测算法 |
CN110580460A (zh) * | 2019-08-28 | 2019-12-17 | 西北工业大学 | 基于行人身份和属性特征联合识别验证的行人再识别方法 |
Non-Patent Citations (6)
Title |
---|
JIE SU 等: "A New Discriminative Feature Learning for Person Re-Identification Using Additive Angular Margin Softmax Loss", 《2019 UK/ CHINA EMERGING TECHNOLOGIES (UCET)》 * |
JIE SU 等: "An enhanced siamese angular softmax network with dual joint-attention for person re-identification", 《APPLIED INTELLIGENCE》 * |
刘康凝 等: "基于多任务学习的行人重识别特征表示方法", 《重庆邮电大学学报(自然科学版)》 * |
姚乐炜: "基于深度学习的行人重识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
宋宗涛: "基于多分块三重损失计算的行人识别方法", 《电视技术》 * |
罗浩 等: "基于深度学习的行人重识别研究进展", 《自动化学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114005078A (zh) * | 2021-12-31 | 2022-02-01 | 山东交通学院 | 一种基于双关系注意力机制的车辆重识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113051962B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063565B (zh) | 一种低分辨率人脸识别方法及装置 | |
CN101551809B (zh) | 基于高斯混合模型分类的sar图像检索方法 | |
CN102737633B (zh) | 一种基于张量子空间分析的说话人识别方法及其装置 | |
CN110728263A (zh) | 一种基于距离选择的强判别特征学习的行人重识别方法 | |
CN103262118B (zh) | 属性值估计装置和属性值估计方法 | |
CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
CN110717554B (zh) | 图像识别方法、电子设备及存储介质 | |
CN106203483B (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
CN111709311A (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
CN103810252B (zh) | 基于群稀疏特征选择的图像检索方法 | |
Liu et al. | Facial landmark machines: A backbone-branches architecture with progressive representation learning | |
CN102663447B (zh) | 基于判别相关分析的跨媒体检索方法 | |
CN111582178B (zh) | 基于多方位信息和多分支神经网络车辆重识别方法及*** | |
CN113361636B (zh) | 一种图像分类方法、***、介质及电子设备 | |
CN111832511A (zh) | 一种增强样本数据的无监督行人重识别方法 | |
CN104281572B (zh) | 一种基于互信息的目标匹配方法及其*** | |
CN105389326A (zh) | 基于弱匹配概率典型相关性模型的图像标注方法 | |
CN106250925B (zh) | 一种基于改进的典型相关分析的零样本视频分类方法 | |
CN114299542A (zh) | 一种基于多尺度特征融合的视频行人重识别方法 | |
CN105718940A (zh) | 基于多组间因子分析的零样本图像分类方法 | |
CN106228139A (zh) | 一种基于卷积网络的表观年龄预测算法及其*** | |
CN102129477A (zh) | 一种多模态联合的图像重排序方法 | |
CN111291705B (zh) | 一种跨多目标域行人重识别方法 | |
CN114332544A (zh) | 一种基于图像块评分的细粒度图像分类方法和装置 | |
Li et al. | Feature pyramid attention model and multi-label focal loss for pedestrian attribute recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |