CN111738090A - 行人重识别模型训练方法、装置及行人重识别方法、装置 - Google Patents
行人重识别模型训练方法、装置及行人重识别方法、装置 Download PDFInfo
- Publication number
- CN111738090A CN111738090A CN202010464193.1A CN202010464193A CN111738090A CN 111738090 A CN111738090 A CN 111738090A CN 202010464193 A CN202010464193 A CN 202010464193A CN 111738090 A CN111738090 A CN 111738090A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- features
- attention
- local features
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000011159 matrix material Substances 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 8
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种行人重识别模型训练方法、装置及行人重识别方法、装置，所述行人重识别模型训练方法包括：利用行人重识别模型的卷积网络对行人图像进行特征提取，得到行人图像的原始特征；利用行人重识别模型的注意力模块对原始特征进行处理，得到多个行人局部特征；利用行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据相似性矩阵对各行人局部特征进行调整；基于调整后的行人局部特征确定行人识别结果及行人重识别模型的训练损失，根据训练损失对模型参数进行优化。通过本申请，在无需引入额外标注信息的情况下，能够自动抽取图像中重要的行人局部特征，使得最后的行人局部特征更具有判别力，模型识别性能也得到提升。
Description
技术领域
本申请涉及行人重识别技术领域，具体涉及一种行人重识别模型训练方法、装置及行人重识别方法、装置。
背景技术
行人重识别(Person Re-identification)技术是安防和新零售领域的核心技术之一。近些年来，深度学习在该领域取得了较大突破，为了取得更好的识别性能，最近的高性能方案均采用局部特征的方法，从而捕捉更细粒度的特征用以增强模型判别力。
目前的局部特征方法主要分为两种：1)手动划分，直接将图片或者特征图均分成几个部分，分别抽取特征，代表性工作有ECCV(European Conference on ComputerVision，欧洲计算机视觉国际会议)2018会议上发表的Beyond Part Models：PersonRetrieval with Refined Part Pooling(超越局部模型：基于精细局部池的人工提取)，ACM国际多媒体会议(ACM International Conference on Multimedia，简称ACM MM)2018会议上发表的Multiple Granularities Network(多重粒度网络)，以及在CVPR(IEEEConference on Computer Vision and Pattern Recognition，IEEE国际计算机视觉与模式识别会议)2019中发表的Coarse-to-fine Pyramidal Model(粗到细金字塔形模型)。2)通过引入额外标注来辅助局部区域划分，如关键点定位、语义分割等。代表性工作有ICCV(IEEE International Conferenceon Computer Vision，国际计算机视觉大会)2017会议上发表的Pose-driven Deep Convolutional(人体骨架驱动的深度卷积)，CVPR 2019上发表的DSA-reID(Densely Semantically Aligned Person Re-identfication，语义密集对齐的行人重识别)等。
然而，发明人发现，现有技术中的行人重识别模型仍存在以下问题：
(1)基于手动划分的局部特征方法会导致模型性能下降；
(2)基于额外信息的划分方法会大大影响模型的推断速度。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的行人重识别模型训练方法、装置及行人重识别方法、装置。
依据本申请的第一方面，提供了一种行人重识别模型训练方法，包括：
利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。
可选地，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
利用所述注意力模块对所述原始特征进行处理，得到多个注意力掩模；
根据多个所述注意力掩模和所述原始特征确定多个所述行人局部特征。
可选地，所述注意力模块包括空间注意力模块和通道注意力模块，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
基于所述空间注意力模块对所述原始特征进行处理，得到空间注意力掩模；
基于所述通道注意力模块对所述原始特征进行处理，得到通道注意力掩模；
将所述空间注意力掩模和所述通道注意力掩模进行融合，得到注意力掩模。
可选地，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
基于空间维度，对所述原始特征进行维度变换和矩阵变换，得到特征关联强度矩阵，以及基于通道维度，对所述原始特征进行维度变换和矩阵变换，得到通道关联强度矩阵；
分别对所述特征关联强度矩阵和所述通道关联强度矩阵进行归一化处理，得到空间注意力图和通道注意力图；
根据所述空间注意力图和所述原始特征确定空间注意力掩模，以及根据所述通道注意力图和所述原始特征确定通道注意力掩模。
可选地，所述行人重识别模型的训练方法还包括：
利用训练辅助模块随机擦除注意力掩模区域；
所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
根据擦除后的注意力掩模得到行人局部特征。
可选地，所述行人重识别模型的训练方法还包括：
利用训练辅助模块对多个所述注意力掩模进行正则化处理，得到所述注意力掩模之间的重叠区域，根据所述注意力掩模之间的重叠区域调整所述注意力掩模；
所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
根据调整后的注意力掩模得到所述行人局部特征。
可选地，所述利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整包括：
利用所述行人重识别模型的图神经网络，计算任意两个行人局部特征之间的相似度，得到所述相似性矩阵；
根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。
依据本申请的第二方面，提供了一种行人重识别方法，包括：
利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
基于调整后的行人局部特征确定行人识别结果，所述行人重识别模型是根据如前所述的行人重识别模型训练方法训练得到的。
依据本申请的第三方面，提供了一种行人重识别模型的训练装置，包括：
第一提取单元，用于利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
第一注意力单元，用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
第一确定单元，用于利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
优化单元，用于基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。
可选地，所述第一注意力单元还用于：
利用所述注意力模块对所述原始特征进行处理，得到多个注意力掩模；
根据多个所述注意力掩模和所述原始特征确定多个所述行人局部特征。
可选地，所述注意力模块包括空间注意力模块和通道注意力模块，所述第一注意力单元还用于：
基于所述空间注意力模块对所述原始特征进行处理，得到空间注意力掩模；
基于所述通道注意力模块对所述原始特征进行处理，得到通道注意力掩模；
将所述空间注意力掩模和所述通道注意力掩模进行融合，得到注意力掩模。
可选地，所述第一注意力单元还用于：
基于空间维度，对所述原始特征进行维度变换和矩阵变换，得到特征关联强度矩阵，以及基于通道维度，对所述原始特征进行维度变换和矩阵变换，得到通道关联强度矩阵；
分别对所述特征关联强度矩阵和所述通道关联强度矩阵进行归一化处理，得到空间注意力图和通道注意力图；
根据所述空间注意力图和所述原始特征确定空间注意力掩模，以及根据所述通道注意力图和所述原始特征确定通道注意力掩模。
可选地，所述行人重识别模型的训练装置还包括：
擦除单元，用于利用训练辅助模块随机擦除注意力掩模区域；
所述第一注意力单元还用于：
根据擦除后的注意力掩模得到行人局部特征。
可选地，所述行人重识别模型的训练装置还包括：
正则化单元，用于利用训练辅助模块对多个所述注意力掩模进行正则化处理，得到所述注意力掩模之间的重叠区域，根据所述注意力掩模之间的重叠区域调整所述注意力掩模；
所述第一注意力单元还用于：
根据调整后的注意力掩模得到所述行人局部特征。
可选地，所述第一确定单元还用于：
利用所述行人重识别模型的图神经网络，计算任意两个行人局部特征之间的相似度，得到所述相似性矩阵；
根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。
依据本申请的第四方面，提供了一种行人重识别装置，包括：
第二提取单元，用于利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
第二注意力单元，用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
第二确定单元，用于利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
识别单元，用于基于调整后的行人局部特征确定行人识别结果，所述行人重识别模型是根据如前所述的行人重识别模型的训练装置训练得到的。
依据本申请的第五方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的行人重识别模型训练方法，或者如前所述的行人重识别方法。
依据本申请的第六方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的行人重识别模型训练方法，或者如前所述的行人重识别方法。
由上述可知，本申请的技术方案，利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。通过本申请，在无需引入额外标注信息的情况下，能够自动抽取图像中重要的行人局部特征，使得最后的行人局部特征更具有判别力，模型识别性能也得到提升。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的行人重识别模型训练方法的流程示意图；
图2示出了根据本申请一个实施例的注意力掩模的生成过程示意图；
图3示出了根据本申请一个实施例的基于图神经网络的局部特征优化过程示意图；
图4示出了根据本申请一个实施例的行人重识别模型训练流程示意图；
图5示出了根据本申请一个实施例的行人重识别方法的流程示意图；
图6示出了根据本申请一个实施例的行人重识别模型训练装置的结构示意图；
图7示出了根据本申请一个实施例的行人重识别装置的结构示意图；
图8示出了根据本申请一个实施例的电子设备的结构示意图；
图9示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
现有技术中的用于行人重识别的局部特征提取方法主要有：(1)基于手动划分的局部特征提取方法；(2)基于额外信息的划分方法。
对于(1)基于手动划分的局部特征提取方法：该方法未考虑到图像内容，由于图像依赖于上游的检测模型，图像之间往往并不对齐，可能会产生误划分的情形，例如将行人的背包切分成两半，或是将其他一个整体的物体切分到两个不同的局部区域中，从而导致模型性能下降。
对于(2)基于额外信息的划分方法：往往需要额外的数据标注，数据获取难度高，且需要额外的网络，大大影响模型推断速度，在部分情况中，获得额外信息的时间甚至会远大于抽取图像特征的时间。此外，有些通用的标注由于分布不一致，当额外信息预测错误时，误差也会影响行人特征抽取的结果。
基于此，本申请实施例提供了一种行人重识别模型训练方法，如图1所示，所述行人重识别模型训练方法包括如下的步骤S110至步骤S140：
步骤S110，利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征。
在对本申请实施例的行人重识别模型进行训练时，可以先获取一定数量的行人图像，之后利用现有技术中的卷积网络对获取到的行人图像进行卷积处理，提取出行人图像对应的原始特征。这里的卷积网络可以采用残差网络ResNet，ResNet主要用于解决深度神经网络在训练中，随着网络深度的增加而出现的网络退化的问题，本申请实施例中主要用于进行原始特征的提取。当然本领域技术人员也可以根据实际需要选取其他类型的卷积网络进行图像特征的提取，在此不一一列举。
步骤S120，利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征。
在行人重识别场景下，图像中的行人区域是我们更想要关注的图像区域，因此本申请实施例引入了注意力(attention)模块来作为训练行人重识别模型的基础，注意力机制模仿了生物观察行为的内部过程，是一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务和图像处理任务领域。
在得到行人图像的原始特征后，利用注意力模块对原始特征进一步处理，提取出原始特征中对于行人重识别更有益更显著的特征，作为行人局部特征。
步骤S130，利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整。
具体实施时，如前所述，现有技术中的行人重识别方法由于图像依赖于上游检测模型，图像之间往往并不对齐，进而会产生区域误划分的情形，因此本申请实施例引入了图神经网络(Graph Neural Network，简称GNN)，利用图神经网络来挖掘局部特征之间的相似度，建立特征之间的图关系，并以此进行信息交互，使得各局部区域之间的特征具有更强的判别力。
具体地，利用图神经网络计算行人局部特征之间的相似性矩阵，将该相似性矩阵作为权重加权至原始的各个行人局部特征中，进而进一步优化提取到的行人局部特征，使得更重要的特征拥有更大的权重，同时还可以使各局部特征能够表征其与其它局部特征之间的关系信息。
步骤S140，基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。
在得到调整后的行人局部特征后，基于该行人局部特征，利用行人重识别模型中的分类网络对图像中的行人ID(身份标识)进行分类，进而得到行人重识别结果及对应的分类损失。这里的分类网络可以采用softmax(归一化指数函数)分类器，对应得到softmax分类器的行人ID分类损失，基于该分类损失，对行人重识别模型的参数进行优化，最终得到训练好的行人重识别模型。
在本申请的一个实施例中，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：利用所述注意力模块对所述原始特征进行处理，得到多个注意力掩模；根据多个所述注意力掩模和所述原始特征确定多个所述行人局部特征。
具体实施时，在利用注意力模块对原始特征进行处理时，可以得到多个注意力掩模，每个掩模对应着图像中的一个局部特征，将多个注意力掩模分别与原始特征相乘后，就可以得到对应的多个行人局部特征。
在图像处理中，掩模通常为二维矩阵数组，有时也用多值图像。图像掩模主要用于：(1)提取感兴趣区，用预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0。(2)屏蔽作用，用掩模对图像上某些区域作屏蔽，使其不参加处理或不参加处理参数的计算，或仅对屏蔽区作处理或统计。(3)结构特征提取，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。(4)特殊形状图像的制作。可以看出，本申请实施例中掩模的作用主要是用于提取图像中的感兴趣区域即行人局部区域。
在本申请的一个实施例中，所述注意力模块包括空间注意力模块和通道注意力模块，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：基于所述空间注意力模块对所述原始特征进行处理，得到空间注意力掩模；基于所述通道注意力模块对所述原始特征进行处理，得到通道注意力掩模；将所述空间注意力掩模和所述通道注意力掩模进行融合，得到注意力掩模。
本申请实施例同时采用了空间注意力模块和通道注意力模块对图像中的行人局部特征进行提取，空间注意力模块是利用特征之间的空间关系,生成空间注意力掩模，因此空间注意力模块关注的是局部特征“在哪里”。而通道注意力模块则是利用特征的通道间关系,生成通道注意力掩模，因此通道注意力模块关注的是局部特征“是什么”。为了进一步获得具有全局依赖关系的特征，将两个模块的输出结果进行相加求和或者相加之后求平均，获得最终的注意力掩模，根据该注意力掩模进而得到行人局部特征。
在本申请的一个实施例中，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：基于空间维度，对所述原始特征进行维度变换和矩阵变换，得到特征关联强度矩阵，以及基于通道维度，对所述原始特征进行维度变换和矩阵变换，得到通道关联强度矩阵；分别对所述特征关联强度矩阵和所述通道关联强度矩阵进行归一化处理，得到空间注意力图和通道注意力图；根据所述空间注意力图和所述原始特征确定空间注意力掩模，以及根据所述通道注意力图和所述原始特征确定通道注意力掩模。
在生成注意力掩模时，本申请实施例分别基于空间维度生成空间注意力掩模，以及基于通道维度生成通道注意力掩模。具体地，如图2(a)所示，在空间维度，首先计算出任意两点特征之间的关联强度矩阵，即原始特征FIn(CxHxW)经过卷积降维获得特征(C/r x(HxW))和特征((HxW)x C/r)，对特征(C/r x(HxW))进行维度变换(reshape)得到矩阵fi T(C/r x N)，对特征((HxW)x C/r)进行维度变换(reshape)和转置(transpose)得到矩阵fj(N xC/r)，然后对矩阵fi T和矩阵fj进行矩阵乘法运算，获得任意两点特征(i，j)之间的关联强度矩阵fij(NxN)。再利用softmax(归一化指数函数)对关联强度矩阵进行归一化处理，获得每个位置对其他位置的空间注意力图MAtt，其中越相似的两点特征之间，其响应值越大。最后将空间注意力图中的响应值再进行一次softmax处理后作为加权对原始特征FIn(C/r x N)进行加权融合，进而得到了空间注意力掩模FOut。
通道注意力掩模的生成过程与空间注意力掩模相似，不同的是在获得特征注意力图时，如图2(b)所示，是将任意两个通道特征进行维度变换和矩阵乘法运算，获得任意两个通道(n，m)的关联强度矩阵，然后同样经过softmax操作获得通道注意力图。最后通过通道之间的通道注意力图对原始特征进行加权融合，得到了通道注意力掩模，使得各个通道之间能产生全局的关联，获得更强的语义响应的特征。
在本申请的一个实施例中，所述行人重识别模型的训练方法还包括：利用训练辅助模块随机擦除注意力掩模区域；所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：根据擦除后的注意力掩模得到行人局部特征。
为了增强注意力掩模的鲁棒性，本申请实施例利用训练辅助模块在注意力掩模上随机擦除一小块区域，即随机的将注意力掩模上的一部分区域的像素值置为0，之后根据擦除后的注意力掩模得到行人局部特征，从而使得经过擦除处理后的掩模，能够让模型在训练过程中关注更重要的区域，也有利于避免模型过拟合的问题。
在本申请的一个实施例中，所述行人重识别模型的训练方法还包括：利用训练辅助模块对多个所述注意力掩模进行正则化处理，得到所述注意力掩模之间的重叠区域，根据所述注意力掩模之间的重叠区域调整所述注意力掩模；所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：根据调整后的注意力掩模得到所述行人局部特征。
为了避免模型在学习过程中对相似注意力特征的重复提取，本申请实施例还利用训练辅助模块对多个注意力掩模进行了正则化处理，以最小化掩模之间的重叠程度。具体地，将不同的注意力掩模进行点乘并求和，掩模的值本身是在0到1之间的，理论上，当所有掩模之间都不存在重叠的时候，值是0，而所有掩模的所有位置都重叠的时候，值是1，模型训练的目的是希望上述点乘求和后得到的数值尽可能小，即趋近于0，以使得不同注意力掩模之间的差异性尽可能大，从而减少了掩模之间的冗余性。因此本申请实施例通过引入正则化约束，能够避免模型在学习过程中对相似特征的重复提取，同时提取更加丰富的判别性特征，有效地提高了行人重识别的鲁棒性。
在本申请的一个实施例中，所述利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整包括：利用所述行人重识别模型的图神经网络，计算任意两个行人局部特征之间的相似度，得到所述相似性矩阵；根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。
在确定各个局部特征之间的图关系时，可以先计算任意两个特征之间的相似度，进而生成相似性矩阵，如图3所示，之后将该相似性矩阵与前面得到的行人局部特征进行矩阵乘法运算，得到新的行人局部特征F(·)，新的行人局部特征意味着对于每个特征节点，都整合了它的邻近节点的特征向量，但是却不包括这个节点本身，因此可以通过将该新的行人局部特征F(·)与矩阵乘法运算前的行人局部特征相加，得到最终的行人局部特征。
具体地，任意两个特征之间的相似度Ai,j可采用如下公式(1)计算：
其中，xi和xj代表第i或j个行人局部特征。
最终的行人局部特征
可采用如下公式(2)计算：
其中，N为行人局部特征的数量，α为大于0小于1的常数。
如图4所示，给出了本申请一个实施例的行人重识别模型的训练流程示意图。首先，利用卷积网络对行人图像进行特征提取，得到行人图像对应的原始特征，之后对原始特征进行自适应局部特征的提取。具体地，利用注意力模块对原始特征进行处理，生成注意力掩模，为了增强掩模的鲁棒性，可以通过掩模丢弃的方式对注意力掩模进行随机擦除处理，同时利用擦除处理后的掩模对模型进行训练，使得模型在训练过程中关注更重要区域，也有利于避免模型过拟合。此外，为了减少掩模之间的冗余性，还可以对重叠的局部区域进行正则化约束，最小化掩模之间的重叠程度，进而使得不同掩模之间的差异性尽可能大。之后将处理后得到的注意力掩模与原始特征相乘，得到行人局部特征，作为图神经网络的输入，利用图神经网络挖掘特征之间的图关系，对局部特征进一步优化，根据优化后的行人局部特征，对行人进行分类，得到行人分类结果及对应的分类损失，根据该分类损失对模型的参数进行优化，从而完成整个模型的训练。
本申请实施例提供了一种行人重识别方法，如图5所示，所述行人重识别方法包括如下的步骤S510至步骤S540：
步骤S510，利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征。
在进行行人重识别时，可以先获取待识别的行人图像，之后利用训练好的行人重识别模型的卷积网络对待识别的行人图像进行卷积处理，提取出行人图像对应的原始特征。
步骤S520，利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征。
在得到行人图像的原始特征后，利用行人重识别模型的注意力模块对原始特征进一步处理，提取出原始特征中对于行人重识别更有益更显著的特征，作为行人局部特征。
步骤S530，利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整。
利用图神经网络计算上述得到的行人局部特征之间的相似性矩阵，将该相似性矩阵作为权重加权至原始的各个行人局部特征中，进而进一步优化提取到的行人局部特征，使得更重要的特征拥有更大的权重，同时还可以使各局部特征能够表征其与其它局部特征之间的关系信息。
步骤S540，基于调整后的行人局部特征确定行人识别结果，所述行人重识别模型是根据如前所述的行人重识别模型训练方法训练得到的。
在得到调整后的行人局部特征后，基于该行人局部特征，利用行人重识别模型中的分类网络对图像中的行人ID(身份标识)进行分类，进行得到行人重识别结果。
在本申请的一个实施例中，将上述训练好的行人重识别模型在Market-1501(表1)、DukeMTMC-ReID(表2)和CUHK03-NP(表3)三个数据集上进行了测试，Market-1501数据集采集于清华大学校园，该数据集提供的固定数量的训练集和测试集均可以在单目标(single-shot)或多目标(multi-shot)测试设置下使用，DukeMTMC-reID数据集采集于杜克大学，是最大的行人重识别数据集，并且提供了行人属性的标注。CUHK03是第一个足以进行深度学***均精度均值)是目标检测问题中最常用的度量标准，平均精度均值＝所有类别的平均精度值之和/所有类别的数目。
如表1至表3所示，与现有技术中的行人重识别方法相比，本申请实施例的行人重识别模型(Ours(MGN))在三个数据集上的测试均达到了较佳的识别效果。
表1
表2
表3
本申请实施例提供了一种行人重识别模型的训练装置600，如图6所示，所述行人重识别模型的训练装置600包括：第一提取单元610、第一注意力单元620、第一确定单元630和优化单元640。
本申请实施例的第一提取单元610，用于利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征。
在对本申请实施例的行人重识别模型进行训练时，可以先获取一定数量的行人图像，之后利用现有技术中的卷积网络对获取到的行人图像进行卷积处理，提取出行人图像对应的原始特征。这里的卷积网络可以采用残差网络ResNet，ResNet主要用于解决深度神经网络在训练中，随着网络深度的增加而出现的网络退化的问题，本申请实施例中主要用于进行原始特征的提取。当然本领域技术人员也可以根据实际需要选取其他类型的卷积网络进行图像特征的提取，在此不一一列举。
本申请实施例的第一注意力单元620，用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征。
在行人重识别场景下，图像中的行人区域是我们更想要关注的图像区域，因此本申请实施例引入了注意力(attention)模块来作为训练行人重识别模型的基础，注意力机制模仿了生物观察行为的内部过程，是一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务和图像处理任务领域。
在得到行人图像的原始特征后，利用注意力模块对原始特征进一步处理，提取出原始特征中对于行人重识别更有益更显著的特征，作为行人局部特征。
本申请实施例的第一确定单元630，用于利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整。
具体实施时，如前所述，现有技术中的行人重识别方法由于图像依赖于上游检测模型，图像之间往往并不对齐，进而会产生区域误划分的情形，因此本申请实施例引入了图神经网络(Graph Neural Network，简称GNN)，利用图神经网络来挖掘局部特征之间的相似度，建立特征之间的图关系，并以此进行信息交互，使得各局部区域之间的特征具有更强的判别力。
具体地，利用图神经网络计算行人局部特征之间的相似性矩阵，将该相似性矩阵作为权重加权至原始的各个行人局部特征中，进而进一步优化提取到的行人局部特征，使得更重要的特征拥有更大的权重，同时还可以使各局部特征能够表征其与其它局部特征之间的关系信息。
本申请实施例的优化单元640，用于基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。
在得到调整后的行人局部特征后，基于该行人局部特征，利用行人重识别模型中的分类网络对图像中的行人ID(身份标识)进行分类，进而得到行人重识别结果及对应的分类损失。这里的分类网络可以采用softmax(归一化指数函数)分类器，对应得到softmax分类器的行人ID分类损失，基于该分类损失，对行人重识别模型的参数进行优化，最终得到训练好的行人重识别模型。
在本申请的一个实施例中，所述第一注意力单元620还用于：利用所述注意力模块对所述原始特征进行处理，得到多个注意力掩模；根据多个所述注意力掩模和所述原始特征确定多个所述行人局部特征。
在本申请的一个实施例中，所述注意力模块包括空间注意力模块和通道注意力模块，所述第一注意力单元还用于：基于所述空间注意力模块对所述原始特征进行处理，得到空间注意力掩模；基于所述通道注意力模块对所述原始特征进行处理，得到通道注意力掩模；将所述空间注意力掩模和所述通道注意力掩模进行融合，得到注意力掩模。
在本申请的一个实施例中，所述第一注意力单元620还用于：基于空间维度，对所述原始特征进行维度变换和矩阵变换，得到特征关联强度矩阵，以及基于通道维度，对所述原始特征进行维度变换和矩阵变换，得到通道关联强度矩阵；分别对所述特征关联强度矩阵和所述通道关联强度矩阵进行归一化处理，得到空间注意力图和通道注意力图；根据所述空间注意力图和所述原始特征确定空间注意力掩模，以及根据所述通道注意力图和所述原始特征确定通道注意力掩模。
在本申请的一个实施例中，所述行人重识别模型的训练装置还包括：擦除单元，用于利用训练辅助模块随机擦除注意力掩模区域；所述第一注意力单元还用于：根据擦除后的注意力掩模得到行人局部特征。
在本申请的一个实施例中，所述行人重识别模型的训练装置还包括：正则化单元，用于利用训练辅助模块对多个所述注意力掩模进行正则化处理，得到所述注意力掩模之间的重叠区域，根据所述注意力掩模之间的重叠区域调整所述注意力掩模；所述第一注意力单元还用于：根据调整后的注意力掩模得到所述行人局部特征。
在本申请的一个实施例中，所述第一确定单元630还用于：利用所述行人重识别模型的图神经网络，计算任意两个行人局部特征之间的相似度，得到所述相似性矩阵；根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。
本申请实施例提供了一种行人重识别装置700，如图7所示，所述行人重识别装置700包括：第二提取单元710、第二注意力单元720、第二确定单元730和识别单元740。
本申请实施例的第二提取单元710，用于利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征。
在进行行人重识别时，可以先获取待识别的行人图像，之后利用训练好的行人重识别模型的卷积网络对待识别的行人图像进行卷积处理，提取出行人图像对应的原始特征。
本申请实施例的第二注意力单元720，用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征。
在得到行人图像的原始特征后，利用行人重识别模型的注意力模块对原始特征进一步处理，提取出原始特征中对于行人重识别更有益更显著的特征，作为行人局部特征。
本申请实施例的第二确定单元730，用于利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整。
利用图神经网络计算上述得到的行人局部特征之间的相似性矩阵，将该相似性矩阵作为权重加权至原始的各个行人局部特征中，进而进一步优化提取到的行人局部特征，使得更重要的特征拥有更大的权重，同时还可以使各局部特征能够表征其与其它局部特征之间的关系信息。
本申请实施例的识别单元740，用于基于调整后的行人局部特征确定行人识别结果，所述行人重识别模型是根据如前所述的行人重识别模型的训练装置训练得到的。
在得到调整后的行人局部特征后，基于该行人局部特征，利用行人重识别模型中的分类网络对图像中的行人ID(身份标识)进行分类，进行得到行人重识别结果。
需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。
综上所述，本申请的技术方案，利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。通过本申请，在无需引入额外标注信息的情况下，能够自动抽取图像中重要的行人局部特征，使得最后的行人局部特征更具有判别力，模型识别性能也得到提升。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的行人重识别模型的训练装置或行人重识别装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图8示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备800包括处理器810和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器820。存储器820可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器820具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码831的存储空间830。例如，用于存储计算机可读程序代码的存储空间830可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码831。计算机可读程序代码831可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图9所示的计算机可读存储介质。图9示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质900存储有用于执行根据本申请的方法步骤的计算机可读程序代码831，可以被电子设备800的处理器810读取，当计算机可读程序代码831由电子设备800运行时，导致该电子设备800执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码831可以执行上述任一实施例中示出的方法。计算机可读程序代码831可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (12)
1.一种行人重识别模型训练方法，其特征在于，包括：
利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。
2.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
利用所述注意力模块对所述原始特征进行处理，得到多个注意力掩模；
根据多个所述注意力掩模和所述原始特征确定多个所述行人局部特征。
3.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述注意力模块包括空间注意力模块和通道注意力模块，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
基于所述空间注意力模块对所述原始特征进行处理，得到空间注意力掩模；
基于所述通道注意力模块对所述原始特征进行处理，得到通道注意力掩模；
将所述空间注意力掩模和所述通道注意力掩模进行融合，得到注意力掩模。
4.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
基于空间维度，对所述原始特征进行维度变换和矩阵变换，得到特征关联强度矩阵，以及基于通道维度，对所述原始特征进行维度变换和矩阵变换，得到通道关联强度矩阵；
分别对所述特征关联强度矩阵和所述通道关联强度矩阵进行归一化处理，得到空间注意力图和通道注意力图；
根据所述空间注意力图和所述原始特征确定空间注意力掩模，以及根据所述通道注意力图和所述原始特征确定通道注意力掩模。
5.根据权利要求2所述的行人重识别模型训练方法，其特征在于，所述行人重识别模型的训练方法还包括：
利用训练辅助模块随机擦除注意力掩模区域；
所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
根据擦除后的注意力掩模得到行人局部特征。
6.根据权利要求2所述的行人重识别模型训练方法，其特征在于，所述行人重识别模型的训练方法还包括：
利用训练辅助模块对多个所述注意力掩模进行正则化处理，得到所述注意力掩模之间的重叠区域，根据所述注意力掩模之间的重叠区域调整所述注意力掩模；
所述利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征包括：
根据调整后的注意力掩模得到所述行人局部特征。
7.根据权利要求1所述的行人重识别模型训练方法，其特征在于，所述利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整包括：
利用所述行人重识别模型的图神经网络，计算任意两个行人局部特征之间的相似度，得到所述相似性矩阵；
根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。
8.一种行人重识别方法，其特征在于，包括：
利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
基于调整后的行人局部特征确定行人识别结果，所述行人重识别模型是根据权利要求1至7中任一项所述的行人重识别模型训练方法训练得到的。
9.一种行人重识别模型的训练装置，其特征在于，包括：
第一提取单元，用于利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
第一注意力单元，用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
第一确定单元，用于利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
优化单元，用于基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化。
10.一种行人重识别装置，其特征在于，包括：
第二提取单元，用于利用行人重识别模型的卷积网络对行人图像进行特征提取，得到所述行人图像的原始特征；
第二注意力单元，用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
第二确定单元，用于利用所述行人重识别模型的图神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
识别单元，用于基于调整后的行人局部特征确定行人识别结果，所述行人重识别模型是根据权利要求9中所述的行人重识别模型的训练装置训练得到的。
11.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至7中任一项所述的行人重识别模型训练方法，或者如权利要求8中所述的行人重识别方法。
12.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至7中任一项所述的行人重识别模型训练方法，或者如权利要求8中所述的行人重识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010464193.1A CN111738090A (zh) | 2020-05-27 | 2020-05-27 | 行人重识别模型训练方法、装置及行人重识别方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010464193.1A CN111738090A (zh) | 2020-05-27 | 2020-05-27 | 行人重识别模型训练方法、装置及行人重识别方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111738090A true CN111738090A (zh) | 2020-10-02 |
Family
ID=72647921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010464193.1A Pending CN111738090A (zh) | 2020-05-27 | 2020-05-27 | 行人重识别模型训练方法、装置及行人重识别方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738090A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232300A (zh) * | 2020-11-11 | 2021-01-15 | 汇纳科技股份有限公司 | 全局遮挡自适应的行人训练/识别方法、***、设备及介质 |
| CN112257669A (zh) * | 2020-11-13 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 行人重识别方法、装置及电子设备 |
| CN112733590A (zh) * | 2020-11-06 | 2021-04-30 | 哈尔滨理工大学 | 一种基于二阶混合注意力的行人重识别方法 |
| CN112861988A (zh) * | 2021-03-04 | 2021-05-28 | 西南科技大学 | 一种基于注意力图神经网络的特征匹配方法 |
| CN112989992A (zh) * | 2021-03-09 | 2021-06-18 | 北京百度网讯科技有限公司 | 目标检测方法、装置、路侧设备和云控平台 |
| CN113642515A (zh) * | 2021-08-30 | 2021-11-12 | 北京航空航天大学 | 基于姿态关联的行人识别方法与装置、电子设备和介质 |
| CN114022957A (zh) * | 2021-11-03 | 2022-02-08 | 四川大学 | 基于深度学习的行为识别方法 |
| CN114677412A (zh) * | 2022-03-18 | 2022-06-28 | 苏州大学 | 一种光流估计的方法、装置以及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110642A (zh) * | 2019-04-29 | 2019-08-09 | 华南理工大学 | 一种基于多通道注意力特征的行人重识别方法 |
| CN110598543A (zh) * | 2019-08-05 | 2019-12-20 | 华中科技大学 | 基于属性挖掘和推理的模型训练方法及行人再识别方法 |
-
2020
- 2020-05-27 CN CN202010464193.1A patent/CN111738090A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110642A (zh) * | 2019-04-29 | 2019-08-09 | 华南理工大学 | 一种基于多通道注意力特征的行人重识别方法 |
| CN110598543A (zh) * | 2019-08-05 | 2019-12-20 | 华中科技大学 | 基于属性挖掘和推理的模型训练方法及行人再识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| LAI, SQ等: "Improved Hourglass Structure for high performance facial landmark detection", 2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW), pages 669 - 672 * |
| T. CHEN 等: "ABD-Net: Attentive but Diverse Person Re-Identification", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 8350 - 8360 * |
| TAO HU等: "See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification", ARXIV:1901.09891V2[CS.CV], pages 1 - 9 * |
| YAOYU LI等: "Adaptive Feature Fusion via Graph Neural Network for Person Re-identification", PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, pages 2115 - 2123 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733590A (zh) * | 2020-11-06 | 2021-04-30 | 哈尔滨理工大学 | 一种基于二阶混合注意力的行人重识别方法 |
| CN112232300A (zh) * | 2020-11-11 | 2021-01-15 | 汇纳科技股份有限公司 | 全局遮挡自适应的行人训练/识别方法、***、设备及介质 |
| CN112232300B (zh) * | 2020-11-11 | 2024-01-19 | 汇纳科技股份有限公司 | 全局遮挡自适应的行人训练/识别方法、***、设备及介质 |
| CN112257669A (zh) * | 2020-11-13 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 行人重识别方法、装置及电子设备 |
| CN112861988A (zh) * | 2021-03-04 | 2021-05-28 | 西南科技大学 | 一种基于注意力图神经网络的特征匹配方法 |
| CN112989992A (zh) * | 2021-03-09 | 2021-06-18 | 北京百度网讯科技有限公司 | 目标检测方法、装置、路侧设备和云控平台 |
| CN112989992B (zh) * | 2021-03-09 | 2023-12-15 | 阿波罗智联(北京)科技有限公司 | 目标检测方法、装置、路侧设备和云控平台 |
| CN113642515A (zh) * | 2021-08-30 | 2021-11-12 | 北京航空航天大学 | 基于姿态关联的行人识别方法与装置、电子设备和介质 |
| CN113642515B (zh) * | 2021-08-30 | 2023-11-24 | 北京航空航天大学 | 基于姿态关联的行人识别方法与装置、电子设备和介质 |
| CN114022957A (zh) * | 2021-11-03 | 2022-02-08 | 四川大学 | 基于深度学习的行为识别方法 |
| CN114022957B (zh) * | 2021-11-03 | 2023-09-22 | 四川大学 | 基于深度学习的行为识别方法 |
| CN114677412A (zh) * | 2022-03-18 | 2022-06-28 | 苏州大学 | 一种光流估计的方法、装置以及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738090A (zh) | 行人重识别模型训练方法、装置及行人重识别方法、装置 | |
| Song et al. | Hyperspectral image classification with deep feature fusion network | |
| Zhao et al. | Saliency detection by multi-context deep learning | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| Liao et al. | Guidance and evaluation: Semantic-aware image inpainting for mixed scenes | |
| CN110837836B (zh) | 基于最大化置信度的半监督语义分割方法 | |
| Li et al. | Visual saliency detection based on multiscale deep CNN features | |
| CN106372581B (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| Chen et al. | Detection evolution with multi-order contextual co-occurrence | |
| Chen et al. | Research on recognition of fly species based on improved RetinaNet and CBAM | |
| CN106503727B (zh) | 一种高光谱图像分类的方法及装置 | |
| CN113011357B (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN111461039B (zh) | 基于多尺度特征融合的地标识别方法 | |
| CN111709311A (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| Ashok Kumar et al. | Enhanced facial emotion recognition by optimal descriptor selection with neural network | |
| CN110163117B (zh) | 一种基于自激励判别性特征学习的行人重识别方法 | |
| CN114332544B (zh) | 一种基于图像块评分的细粒度图像分类方法和装置 | |
| CN109472209A (zh) | 一种图像识别方法、装置和存储介质 | |
| CN111666873A (zh) | 一种基于多任务深度学习网络的训练方法、识别方法及*** | |
| CN111815582B (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
| CN114782997A (zh) | 基于多损失注意力自适应网络的行人重识别方法及*** | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| Zhang et al. | Second-and high-order graph matching for correspondence problems | |
| CN104376312B (zh) | 基于词袋压缩感知特征提取的人脸识别方法 | |
| CN113496221B (zh) | 基于深度双边滤波的点监督遥感图像语义分割方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |