CN111832348B - 基于像素和通道注意力机制的行人重识别方法 - Google Patents
基于像素和通道注意力机制的行人重识别方法 Download PDFInfo
- Publication number
- CN111832348B CN111832348B CN201910310802.5A CN201910310802A CN111832348B CN 111832348 B CN111832348 B CN 111832348B CN 201910310802 A CN201910310802 A CN 201910310802A CN 111832348 B CN111832348 B CN 111832348B
- Authority
- CN
- China
- Prior art keywords
- channel
- pedestrian
- feature
- information
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000007246 mechanism Effects 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于像素和通道注意力机制的行人重识别方法，包括：根据人物的boundingbox(检索框)来提取行人的全局特征；将行人图片平均分为两部分和三部分，分别提取行人的局部特征；将提取到的人物特征与Gallery中的人物信息进行匹配，找出所需要的人物信息。其利用通道和像素注意力模块来进行特征提取，有效降低背景信息对检索结果的影响；同时，进一步为该神经网络设计了中层监督，在特征提取过程中，使用多损失函数对中层特征信息进行监督，加快网络收敛；本发明所提出的基于通道注意力机制，像素注意力机制和中间层监督的行人重识别网络，能够有效删除人物boudingbox中的冗余信息，使人物信息得到有效聚合，从而显著提高检索精度。
Description
技术领域
本发明涉及一种行人重识别方法，特别涉及一种基于像素和通道注意力机制的行人重识别方法，属于图像处理技术领域。
背景技术
目前，国内国外的各种犯罪行为对社会的持续稳定发展造成了非常大的威胁。在商场、车站、机场和步行街等人流量比较大的场所，遍布着大大小小的监控设备，但是如何从这些监控信息中精确找出我们所需要的人或信息仍然是一个巨大的挑战。特别是在刑侦工作中，民警需要从大量长时间的监控信息中找到犯罪嫌疑人信息，及时了解其情况并进行控制。但是这些监控信息，数量庞大，内容复杂而且监控的视场角较小，快速准确地找出目标人物变得非常困难。尽管目前人脸识别技术已经非常成熟，被广泛应用于各个领域。但是在监控视频中由于相机分辨率和拍摄角度问题，我们无法捕捉到清晰有效的人脸图片，也就无法使用人脸识别技术来检索人物信息。
为了解决在复杂情况下的人物检索问题，行人重识别也称行人再识别技术应运而生。该技术使用计算机来检索人物信息，能够节省大量的人力物力。随着深度学习的发展，基于深度学习的重识别方法也成为行人重识别技术的主流。目前基于深度学习的重识别方法主要分为以下五类：基于表征学习、基于度量学习、基于局部特征、基于视频序列和基于GAN造图的重识别方法。
这些方法被广泛应用于人物重识别研究中，但是这些方法也存在着许多问题。基于表征学习的方法，使用全局特征作为特征向量，在特征提取上会损失很多细节特征，导致检索结果出现误差。基于度量学习的方法是通过神经网络来比较两张图片的相似距离，如何准确计算图片间的相似度仍然是一个需要研究的课题。基于局部特征的方式目前应用比较广泛，该方法将人物图片在垂直方向上分为几个部分，然后分别提取图片的局部特征。但是在划分图片时常常会因为人物的姿态等导致划分不准确的问题，严重影响***精确度。基于视频序列的重识别技术在如何删除冗余帧的问题上也需要进一步探索。基于GAN的方法生成的图片，目前一般只能作为负样本来使用，失真比较严重。
除了上述方法各自的缺陷之外，相机的低分辨率、遮挡、视角、姿态和光照变化等等因素也会对重识别***造成许多不良影响。目前基于深度学***均池化，对待图片中的各个通道和像素信息都“一视同仁”。特别是在boundingbox(检索框)中，包含了人物信息和背景信息，神经网络无法将两者进行区分，导致特征提取时将背景信息也作为人物特征的一部分，这会对整个重识别***的精度带来极大的负面影响。如何有效降低背景信息对重识别技术的影响，是一个巨大的挑战。
为了有效降低背景信息对检索结果的影响，本发明提出利用通道和像素注意力模块来进行特征提取。在最大池化和平均池化操作之前，应用通道和像素注意力模块，删除冗余信息，提高图片特征向量的有效性；同时，本发明基于神经网络提取行人的全局和局部特征，还进一步为该神经网络设计了中层监督，在特征提取过程中，使用多损失函数对中层特征信息进行监督，加快网络收敛，提高检索精度。
发明内容
本发明的主要目的在于提供一种基于像素和通道注意力机制的行人重识别方法，以克服现有技术中的不足。
为实现前述发明目的，本发明采用的技术方案包括：
根据人物的boundingbox(检索框)来提取行人的全局特征；
将行人图片平均分为两部分和三部分，分别提取行人的局部特征；
将提取到的人物特征与Gallery中的人物信息进行匹配，找出所需要的人物信息。
优选地，基于神经网络提取行人的全局和局部特征，所提取的行人的全局特征包括颜色和边缘特征，所提取的行人的局部特征包括行人在垂直方向上不同区域的颜色和边缘特征。
优选地，在提取行人的局部特征的过程中使用通道注意力模块和像素注意力模块来聚合人物特征信息，所述提取到的人物特征是经过神经网络进行特征聚合得到的人物特征信息，所述Gallery中人物信息是将Gallery中的图片输入已训练好的模型后输出的人物特征信息。
优选地，所述的基于神经网络提取行人的全局和局部特征，具体包括：
使用ResNet-50网络作为基础网络来提取图片特征，使用ResNet-50网络的前三层；之后将整个网络分为三个分支，在第一个分支中，提取图像的全局特征，第二个分支将特征张量在垂直方向上分为两部分，第三个分支将特征张量在垂直方向上分为三个部分；之后使用通道注意力模块来聚合特征信息，删除冗余的通道信息；然后使用最大池化来降维；最后使用1*1的卷积层，将特征向量的维度从2048降到256；
在ResNet网络的前三层，即layerl、layer2和layer3后加入中层监督，在中层监督模块中，使用像素注意力模块，来减小背景像素的值，增加人物像素的值。
优选地，所述的通道注意力模块，其实现过程如下：
将输入张量的尺寸设为H×W×C，记为X＝[x1，x2，…，xc]，其中，H表示图像的高，W表示图像的宽，C表示通道；
第一步：对每个通道的特征信息进行降维，降维之后每个通道的特征以Fc进行表示，
其中，xc(i，j)是通道c上位置(i，j)处的值，该公式对每个通道内张量求平均，可以起到特征聚合的效果；
第二步：使用滤波器对各个通道进行滤波处理，删除冗余信息；
其中，ωc代表了赋予每个通道的权值，Fc代表了c通道的张量值，f1代表了滤波操作；
第三步：进行升维操作；
其中，
为每个通道的权重，Zc为最终每个通道的权重，f2是升维操作函数，代表了卷积操作；
第四步：源张量赋予权重；
优选地，所述的像素注意力模块，其实现过程如下：
将输入张量的尺寸设为H×W×C，记为Y＝[y1，y2，…，yc]，其中，H表示图像的高，W表示图像的宽，C表示通道；
第一步：基于如下公式(5)将通道数压缩为1，以便后续处理；
第二步：重新排列张量值；
Eα＝g0(D)，α＝3·j+i (6)
第三步：进行筛选；
{I1，I2，…，Ic}＝g1({η1，η2，…，ηα}·{E1，E2，…，Eα}) (7)
{J1，J2，…，Jα}＝g2({γ1，γ2，…，γN}.{I1，I2，…，IN}) (8)
第四步：将得到的向量恢复成原始的mapsize(特征图尺寸大小)；
K＝g4(J) (9)
第五步：为每个像素赋予权重；
Yresult-c(i，j)＝K(i，j)·Y(i，j) (10)。
与现有技术相比，本发明的优点包括：
(1)采用本发明提出的利用通道和像素注意力模块来进行特征提取，在最大池化和平均池化操作之前，应用通道和像素注意力模块，删除冗余信息，提高图片特征向量的有效性；同时，本发明基于神经网络提取行人的全局和局部特征，还进一步为该神经网络设计了中层监督，在特征提取过程中，使用多损失函数对中层特征信息进行监督，加快网络收敛，提高检索精度；
(2)本发明提出了一个基于通道注意力机制，像素注意力机制和中间层监督的具有创新性的行人重识别网络。该网络能够有效删除人物boudingbox中的冗余信息，使人物信息得到有效聚合，从而显著提高检索精度；
(3)本发明使用Market1501，DukeMTMC-reID和CUHK03-NP三个数据集来验证实验效果，结果发现本发明的重识别网络相比其他方法在CMC和Map两个指标上都有了显著提高，特别是在CUHK03-NP数据集上。
附图说明
图1是本发明一典型实施案例中一种行人重识别的主要工作流程示意图；
图2是本发明一典型实施案例中包含通道和像素注意力机制的重识别网络结构示意图；
图3是本发明一典型实施案例中通道注意力模块结构图；
图4是本发明一典型实施案例中通道注意力模块的attentionmap；
图5是本发明一典型实施案例中像素注意力模块结构图；
图6是本发明一典型实施案例中一种像素注意力模块的attention map；
图7是本发明一典型实施案例在数据集Market1501、DukeMTMC-reID和CUHK03-NP上的检索结果示意图。
具体实施方式
鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
请参阅图1，图1中CA表示通道注意力模块，PA代表像素注意力模块，一种基于像素和通道注意力机制的行人重识别方法，包括：
首先需要根据人物的boundingbox来提取行人的全局特征；
然后将行人图片平均分为两部分和三部分，分别提取行人的局部特征，在此过程中使用了通道和像素注意力模块来聚合人物特征信息；
之后我们需要将提取到的人物特征与Gallery中的人物信息进行匹配，找出我们所需要的人物信息。
其中，所提取的行人的全局特征主要包括颜色和边缘等特征，行人的局部特征是指行人在垂直方向上不同区域的颜色和边缘等特征。
其中，Gallery中人物信息具体是指将Gallery中的图片输入已训练好的模型后输出的人物特征信息。“提取到的人物特征”指代经过神经网络进行特征聚合得到的人物特征信息。
其中，本发明是基于神经网络来提取全局和局部特征的，图2是本发明所提出的包含通道和像素注意力机制的重识别网络结构图，可以在整体网络结构图中看到，主网络的上层和三个分支网络都提取了人物的全局特征，而主网络的中层和下层则提取了人物的局部特征。
下面将介绍整个神经网络的具体细节：
(1)整体网络结构，如图2所示，图中PA为像素注意力模型，CA为通道注意力模型，Triplet_Loss为三元损失函数，CrossEntropy_Loss为交叉熵损失函数，Sum_Loss为总损失函数；该网络使用了ResNet-50网络作为基础网络提取图片特征。与基础网络不同之处在于，我们仅仅使用了ResNet-50网络的前三层，之后我们将整个网络分为三个分支。在第一个分支中，我们提取图像的全局特征，第二个分支将特征张量在垂直方向上分为两部分，第三个分支将特征张量在垂直方向上分为三个部分。之后我们使用了通道注意力模块来聚合特征信息，删除冗余的通道信息，然后使用最大池化来降维，最后使用1*1的卷积层，将特征向量的维度从2048降到256。同时如图2所示，我们在layer1、layer2和layer3后加入了中层监督，在中层监督模块中，我们使用了像素注意力模块，来减小背景像素的值，增加人物像素的值。下面是网络特征图的尺寸，如表1所示。
| 编号 | 模块 | 特征图尺寸 | 维度 |
| 1 | Layed | 96×32 | 256 |
| 2 | Layer2 | 48×16 | 512 |
| 3 | Layer3 | 24×8 | 1024 |
| 4 | Branch_Global | 12×4 | 2048 |
| 5 | Branch_Partl | 24×8 | 2048 |
| 6 | Branch_Part2 | 24×8 | 2048 |
| 7 | Channel Attention-l | 12×4 | 2048 |
| 8 | Channel Attention-2 | 24×8 | 2048 |
| 9 | Channel Attention-3 | 24×8 | 2048 |
| 10 | Pixel Attention-1 | 96×32 | 256 |
| 11 | Pixel Attention-2 | 48×16 | 512 |
| 12 | Pixel Attention-3 | 24×8 | 1024 |
表1.为网络特征图信息，输入图片的分辨率被设为384×128.
(2)通道注意力模块，其结构如图3所示。
在此之前，基于cnn的卷积神经网络对每个张量的各个通道都赋予相同的权重，但这与现实情况有出入，相同的权重导致无法删除冗余的通道信息，最后噪声进入最终的特征向量中，从而影响检索结果。通道注意力机制的关键是如何为每个通道赋予不同的权值；图3是我们设计的通道注意力模型结构图。
如图3所示，.AvgPool2d为自适应池化层，Conv2d为卷积层；我们将输入张量的尺寸设为H×W×C，记为X＝[x1，x2，…，xc]，第一步我们需要对每个通道的特征信息进行降维。降维之后每个通道的特征以Fc进行表示，
其中xc(i，j)是通道c上位置(i，j)处的值。该公式对每个通道内张量求平均，可以起到特征聚合的效果。
然后我们使用滤波器对各个通道进行滤波处理，删除冗余信息。
在式子(2)中，ωc代表了赋予每个通道的权值，Fc代表了c通道的张量值，f1代表了滤波操作。
之后进行升维操作。
在式子(3)中
为每个通道的权重，Zc为最终每个通道的权重，f2是升维操作函数，在结构图中代表了卷积操作；最后为源张量赋予权重。
图4是通道注意力模块的attention map(注意力特征图)，其中，“Input image”即为模型的输入图片，根据整体网络结构图可知，我们在主网络的上、中、下三个分支中使用了通道注意力模块；”No-CA1”为无通道注意力模型的注意力特征图，”CA1”为加入通道注意力模型后的注意力特征图；
图4右侧的6幅图像显示了使用注意力模块后模型的特征聚合效果，图中高亮部分代表了该部分的特征对检索结果具有重要影响。我们可以看到在使用CA(通道注意力模块)后，神经网络能够将背景信息进行有效删减，人物特征得到加强，对检索结果具有积极的影响。
(3)像素注意力模块，其结构如图5所示。
在本发明中，我们将像素注意力模块应用到了中层监督分支中，与通道注意力一样，我们将输入张量的尺寸设为H×W×C，记为Y＝[y1，y2，…，yc]，第一步的具体操作如下公式所示，
这步操作将通道数压缩为1，以便后续的处理。然后如图5所示，重新排列张量值。
Eα＝g0(D)，α＝3·j+i (6)
然后我们将其进行筛选，与通道注意力相似。
{I1，I2，…，Ic}＝g1({η1，η2，…，ηα}·{E1，E2，…，Eα}) (7)
{J1，J2，…，Jα}＝g2({γ1，γ2，…，γN}·{I1，I2，…，IN}) (8)
然后将得到的向量恢复成原始的mapsize。
K＝g4(J) (9)
最后我们为每个像素赋予权重。
Yresult-c(i，j)＝K(i，j)·Y(i，j) (10)。
图6是像素注意力模块的attention map，与通道注意力attention map相类似，我们在layerl、layer2和layer3三个分支中使用了像素注意力模块；.其中，”No-PA1”为无像素注意力模型的注意力特征图，”PA1”为加入像素注意力模型后的注意力特征图；从图6可以明显看出，在使用了像素注意力模块后，环境信息得到了有效删减，人物的特征信息进一步加强，使检索结果得到了加强。
本发明提出了一个基于通道注意力机制，像素注意力机制和中间层监督的具有创新性的行人重识别网络。该网络能够有效删除人物boudingbox中的冗余信息，使人物信息得到有效聚合，从而显著提高检索精度。
(4)本发明的技术效果
本发明主要使用Marketl501，DukeMTMC-reID和CUHK03-NP三个数据集来验证实验效果。表2-4分别示出了在数据集Market1501、DukeMTMC-reID、CUHK03-NP上的对比结果。其中，RK代表了re-ranking算法。
表2.在数据集Market1501上的对比结果，RK代表了re-ranking算法
表3.在数据集DukeMTMC-relD上的对比结果，RK代表了re-ranking算法
表4.在数据集CUHK03-NP上的对比结果，RK代表了re-ranking算法
从表2-4上可以看出本发明中的重识别网络相比其他方法在CMC和Map两个指标上都有了显著提高，特别是在CUHK03-NP数据集上，在CUHK03-labeled和CUHK03-detected上精度分别达到了rank1/mAP＝80.9/78.7和rank1/mAP＝78.9/76.4，效果远远超过其他re-ID方法。
表5是消融实验结果，该实验分别测试了backbone、backbone+CA和backbone+CA+PA三个网络结构在DukeMTMC-reID和CUHK03数据集上的效果，可以看出本发明提出的CA和PA模块对原神经网络的检索效果的提升有显著的效果。
表5.消融实验结果
图7为使用本发明在数据集Marketl501、DukeMTMC-reID和CUHK03-NP上的检索结果图，.四个重识别数据集的检索结果，浅色代表正确结果，深色代表错误结果。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种基于像素和通道注意力机制的行人重识别方法，其特征在于，包括如下步骤：
根据人物的检索框来提取行人的全局特征；
将行人图片平均分为两部分或三部分，分别提取行人的局部特征，基于神经网络提取行人的全局和局部特征，所提取的行人的全局特征包括颜色和边缘特征，所提取的行人的局部特征包括行人在垂直方向上不同区域的颜色和边缘特征，并且，具体包括：使用ResNet-50网络作为基础网络来提取图片特征，使用ResNet-50网络的前三层；之后将整个网络分为三个分支，在第一个分支中，提取图像的全局特征，第二个分支将特征张量在垂直方向上分为两部分，第三个分支将特征张量在垂直方向上分为三个部分；之后使用通道注意力模块来聚合特征信息，删除冗余的通道信息；然后使用最大池化来降维；最后使用1*1的卷积层，将特征向量的维度从2048降到256；
在ResNet网络的前三层，即layer1、layer2和layer3后加入中层监督，在中层监督模块中，使用像素注意力模块，来减小背景像素的值，增加人物像素的值；
在提取行人的局部特征的过程中使用通道注意力模块和像素注意力模块来聚合人物特征信息，所述提取到的人物特征是经过神经网络进行特征聚合得到的人物特征信息，Gallery中人物信息是将Gallery中的图片输入已训练好的模型后输出的人物特征信息；
将提取到的人物特征与Gallery中的人物信息进行匹配，找出所需要的人物信息。
2.根据权利要求1所述的基于像素和通道注意力机制的行人重识别方法，其特征在于，所述的通道注意力模块，其实现过程如下：
将输入张量的尺寸设为H×W×C，记为X＝[x1，x2，…，xc]，其中，H表示图像的高，W表示图像的宽，C表示通道；
第一步：对每个通道的特征信息进行降维，降维之后每个通道的特征以Fc进行表示，
其中，xc(i，j)是通道c上位置(i，j)处的值，该公式对每个通道内张量求平均，可以起到特征聚合的效果；
第二步：使用滤波器对各个通道进行滤波处理，删除冗余信息；
其中，ωc代表了赋予每个通道的权值，Fc代表了c通道的张量值，f1代表了滤波操作；
第三步：进行升维操作；
其中，
为每个通道的权重，Zc为最终每个通道的权重，f2是升维操作函数，代表了卷积操作；
第四步：源张量赋予权重；
3.根据权利要求1所述的基于像素和通道注意力机制的行人重识别方法，其特征在于，所述的像素注意力模块，其实现过程如下：
将输入张量的尺寸设为H×W×C，记为Y＝[y1，y2，…，yc]，其中，H表示图像的高，W表示图像的宽，C表示通道；
第一步：基于如下公式(5)将通道数压缩为1，以便后续处理；
第二步：重新排列张量值；
Eα＝g0(D)，α＝3·j+i (6)
第三步：进行筛选；
{I1，I2，…，Ic}＝g1({η1，η2，…，ηα}·{E1，E2，…，Eα}) (7)
{J1，J2，…，Jα}＝g2({γ1，γ2，…，γN}·{I1，I2，…，IN}) (8)
第四步：将得到的向量恢复成原始的mapsize，mapsize为特征图尺寸大小；
K＝g4(J) (9)
第五步：为每个像素赋予权重；
Vresult-c(i，j)＝K(i，j)·Y(i，j) (10)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910310802.5A CN111832348B (zh) | 2019-04-17 | 2019-04-17 | 基于像素和通道注意力机制的行人重识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910310802.5A CN111832348B (zh) | 2019-04-17 | 2019-04-17 | 基于像素和通道注意力机制的行人重识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832348A CN111832348A (zh) | 2020-10-27 |
| CN111832348B true CN111832348B (zh) | 2022-05-06 |
Family
ID=72914987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910310802.5A Active CN111832348B (zh) | 2019-04-17 | 2019-04-17 | 基于像素和通道注意力机制的行人重识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832348B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836646B (zh) * | 2021-02-05 | 2023-04-28 | 华南理工大学 | 一种基于通道注意力机制的视频行人重识别方法及应用 |
| CN112884680A (zh) * | 2021-03-26 | 2021-06-01 | 南通大学 | 一种利用端到端神经网络的单幅图像去雾方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832672A (zh) * | 2017-10-12 | 2018-03-23 | 北京航空航天大学 | 一种利用姿态信息设计多损失函数的行人重识别方法 |
| CN108510012A (zh) * | 2018-05-04 | 2018-09-07 | 四川大学 | 一种基于多尺度特征图的目标快速检测方法 |
-
2019
- 2019-04-17 CN CN201910310802.5A patent/CN111832348B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832672A (zh) * | 2017-10-12 | 2018-03-23 | 北京航空航天大学 | 一种利用姿态信息设计多损失函数的行人重识别方法 |
| CN108510012A (zh) * | 2018-05-04 | 2018-09-07 | 四川大学 | 一种基于多尺度特征图的目标快速检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Deep Network with Spatial and Channel Attention for Person Re-identification;Tiansheng Guo等;《2018IEEE Visual Communication and Image Processing》;20181212;第1-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832348A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829443B (zh) | 基于图像增强与3d卷积神经网络的视频行为识别方法 | |
| CN106682108B (zh) | 一种基于多模态卷积神经网络的视频检索方法 | |
| CN107492070B (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN108304808A (zh) | 一种基于时空信息与深度网络的监控视频对象检测方法 | |
| CN110378849B (zh) | 基于深度残差网络的图像去雾去雨方法 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及*** | |
| CN107330390B (zh) | 一种基于图像分析和深度学习的人数统计方法 | |
| CN111709331B (zh) | 一种基于多粒度信息交互模型的行人重识别方法 | |
| CN103049897B (zh) | 一种基于自适应训练库的块域人脸超分辨率重建方法 | |
| CN111612024B (zh) | 特征提取方法、装置、电子设备及计算机可读存储介质 | |
| CN111832348B (zh) | 基于像素和通道注意力机制的行人重识别方法 | |
| CN111339924B (zh) | 一种基于超像素和全卷积网络的极化sar图像分类方法 | |
| Guo et al. | R2N: a novel deep learning architecture for rain removal from single image | |
| CN111476727B (zh) | 一种面向换脸视频检测的视频运动增强方法 | |
| Yu et al. | Image and video dehazing using view-based cluster segmentation | |
| CN114627269A (zh) | 一种基于深度学***台 | |
| WO2023206343A1 (zh) | 一种基于图像预训练策略的图像超分辨率方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| CN111461076A (zh) | 帧差法与神经网络结合的烟雾检测方法和检测*** | |
| CN105701515A (zh) | 一种基于双层流形约束的人脸超分辨率处理方法及*** | |
| CN108830882A (zh) | 视频异常行为实时检测方法 | |
| CN105335930A (zh) | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及*** | |
| CN111507416A (zh) | 一种基于深度学习的吸烟行为实时检测方法 | |
| CN115171183A (zh) | 一种基于改进yolov5的口罩人脸检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |