CN112801020A - 基于背景灰度化的行人再识别方法及*** - Google Patents

Abstract

本发明涉及一种基于背景灰度化的行人再识别方法及***，该方法包括：S1、对原始图像进行背景灰度化处理，得到处理后的BGg图像；S2、基于ResNet50的双路网络，一路为背景灰度流BGg‑Stream，对BGg图像进行特征提取，另一路为全局流G‑Stream，对原始图像进行特征提取；S3、通过级联对两路网络进行彼此交互；S4、两路网络在每个阶段所得的特征图，通SCAB模块之后作为BGg‑stream的下一层卷积的输入特征图，使两路网络得以联系，两路特征得以结合；S5、采用三元组损失函数来更新网络参数，并进行相似度计算，最后输出排列序列。该方法及***有利于弱化背景干扰，提高行人再识别的准确度。

Description

基于背景灰度化的行人再识别方法及***

技术领域

本发明属于计算机视觉领域，具体涉及一种基于背景灰度化的行人再识别方法及***。

背景技术

人的重新识别(ReID)是计算机视觉中一个很好的研究问题，目的是通过从不同摄像机拍摄的大量图像中检索特定行人的图像。它是视频监控中最基本的视觉识别问题，具有广泛的应用前景。ReID提出的传统方法大多采用颜色直方图和纹理直方图的低阶特征，利用度量学习找到一个距离函数，该函数将来自同一类的图像之间的距离最小化，将不同类之间的距离最大化。ReID已经在学术界研究多年，直到最近几年随着深度学习的发展，才取得了非常巨大的突破。但依然不能忽视的问题是，深度卷积特征作为高维特征，很容易受人的姿态、物体遮挡、光照强度的不同、背景杂波等因素的影响。

过去几年人们提出了许多方法来获得更鲁棒的特征。但这些方法往往直接把整个图像作为输入。这样的全局信息不仅包含行人特征，还包括背景的杂波特征。目前能够缓解背景杂波影响的有效方法大体上主要分为两种：1)基于身体区域检测的方法，例如借助位姿和关键点估计，利用部位区域检测的方法提取图像中的人体信息。2)基于人体分割的方法。近年来现有的图像分割方法包括FCN，面具R-CNN，jppnet等已经能够在截除背景方面获得优秀的效果。

但在实际的无约束情境中，行人重识别仍然是一项极具挑战性的任务。如何提取对背景杂波不变性的鉴别性和鲁棒性特征是核心问题，因为背景中的非行人部分会对前景信息的特征造成很大的干扰。

现有解决背景干扰的方法，多数是基于身体区域检测的方法或是利用分割的方法滤除掉背景，然而他们仍然存在着以下限制之一。一，需要对额外的检测模型和分割模型进行预训练，以及额外的数据采集工作。二，姿态估计和reid之间潜在的数据集偏差会造成分区错误，破坏行人原有的完整体型特征。三，虽然背景被部分截除，但依然存在在行人周围，并以与行人区域等同的权重参与模型训练。按照如此分析，这些方法并没有真正针对背景杂波问题的提出根本解决方案。四，强硬的分割所带来的弊端不仅仅是破坏图像原有的结构和平滑度，还完全放弃掉了所有的背景信息。有些背景信息有时候是可以作为有用的上下文信息，忽视所有背景信息会忽略一些关于行人再识别任务的线索。

发明内容

本发明的目的在于提供一种基于背景灰度化的行人再识别方法及***，该方法及***有利于弱化背景干扰，提高行人再识别的准确度。

为实现上述目的，本发明采用的技术方案是：一种基于背景灰度化的行人再识别方法，包括以下步骤：S1、对原始图像进行背景灰度化处理，同时图像前景信息保持不变，得到处理后的BGg图像，即背景灰度化图像；

S2、基于ResNet50的双路网络，一路为背景灰度流BGg-Stream，对步骤S1得到的背景灰度化图像进行特征提取，另一路为全局流G-Stream，对原始图像进行特征提取；

S3、通过级联对步骤S2得到的两路网络进行彼此交互；

S4、两路网络在每个阶段所得的特征图，通过空间-通道注意力机制模块，即SCAB模块之后作为BGg-stream的下一层卷积的输入特征图，使得两路网络得以联系，两路特征得以结合；

S5、特征提取后，采用三元组损失函数来更新网络参数，然后进行相似度计算，最后输出排列序列。

进一步地，所述BGg-stream的输入是BGg图像，图像的背景灰度化公式为：

BGg(i,j)＝0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j)

其中BGg(i,j)为BGg图像在第i行第j列的像素值，R、G、B为RGB图像的三个通道。

进一步地，所述SCAB模块包括通道注意模块和空间注意模块。

进一步地，所述通道注意模块按如下方法实现：给定输入特征映射F_i∈R^C*H*W，首先利用平均池化操作对特征地图的空间信息进行聚合，生成空间上下文描述符F_i∈R^C*1*1，将空间信息压缩并转换到通道中；然后将隐藏的激活大小设置为F_i∈R^C/r*1*1，以减少参数开销，其中R为缩减率；因此，通道注意模块表示为：

F_ii＝σ(θ(R(ζ(δ(F_i)))))

其中F_i为各阶段的BGg-Stream特征，σ为sigmoid激活函数，R为ReLU激活函数；δ是平均池数；θ和ζ表示为两个不同的连接层；

表示element-wise乘法。

进一步地，所述空间注意模块按如下方法实现：对于输入特征映射F_i∈R^C*H*W，其中C是信道总数，H*W是特征映射的大小，则空间注意模块表示为：

F_iii＝σ(C(F_i))

其中σ为sigmoid激活函数，空间关注模块的输出为F_iii∈R^1*H*W。

进一步地，在测试阶段应用局部特征响应最大化策略，即LRM策略；在测试的过程中，将特征图按水平分为适当个数的n个区域，对每一部分特征提取出响应最大的特征，作为该部分的特征。

本发明还提供了一种基于背景灰度化的行人再识别***，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现所述的方法步骤。

相较于现有技术，本发明具有以下有益效果：

1、本发明不需要额外的训练和数据集。

2、本发明可以保持行人原有体型信息的完整和有效。

3、本发明可以准确定位人体区域，针对包括行人周身范围在内的所有背景进行处理。

4、本发明可以不受背景中强烈的颜色干扰又可以留下有用的信息。

5、本发明使模型能在学习过程中专注于前景信息的学习，进一步弱化背景干扰。

附图说明

图1是本发明实施例的方法实现流程图。

图2是本发明实施例中通道注意模块结构示意图。

图3是本发明实施例中空间注意模块结构示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于背景灰度化的行人再识别方法，包括以下步骤：

S1、利用mask对原始图像进行背景灰度化处理，同时图像前景信息保持不变，得到处理后的BGg图像，即背景灰度化图像(前景为RGB图像，背景为灰度图像的图像)。

S2、基于ResNet50的双路网络，一路为背景灰度流BGg-Stream，对步骤S1得到的背景灰度化图像进行特征提取，另一路为全局流G-Stream，对原始图像进行特征提取；

S3、通过级联对步骤S2得到的两路网络进行彼此交互；

S4、两路网络在每个阶段所得的特征图，通过空间-通道注意力机制模块，即SCAB模块之后作为BGg-stream的下一层卷积的输入特征图，使得两路网络得以联系，两路特征得以结合；

S5、特征提取后，采用三元组损失函数来更新网络参数，然后进行相似度计算，最后输出排列序列。

在本实施例中，所述BGg-stream的输入是BGg图像，图像的背景灰度化公式为：

BGg(i,j)＝0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j)

其中BGg(i,j)为BGg图像在第i行第j列的像素值，R、G、B为RGB图像的三个通道。

所述SCAB模块包括通道注意模块和空间注意模块。

在本实施例中，通道注意模块的完整结构如图2所示。所述通道注意模块按如下方法实现：给定输入特征映射F_i∈R^C*H*W，首先利用平均池化操作对特征地图的空间信息进行聚合，生成空间上下文描述符F_i∈R^C*1*1，将空间信息压缩并转换到通道中；然后将隐藏的激活大小设置为F_i∈R^C/r*1*1，以减少参数开销，其中R为缩减率；因此，通道注意模块表示为：

F_ii＝σ(θ(R(ζ(δ(F_i)))))

其中F_i为各阶段的BGg-Stream特征，σ为sigmoid激活函数，R为ReLU激活函数；δ是平均池数；θ和ζ表示为两个不同的连接层；

表示element-wise乘法。

在本实施例中，空间注意模块的完整结构如图3所示。所述空间注意模块按如下方法实现：对于输入特征映射F_i∈R^C*H*W，其中C是信道总数，H*W是特征映射的大小，则空间注意模块表示为：

F_iii＝σ(C(F_i))

其中σ为sigmoid激活函数，空间关注模块的输出为F_iii∈R^1*H*W。

在本实施例中，在测试阶段应用局部特征响应最大化策略，即LRM策略；在测试的过程中，将特征图按水平分为适当个数的n个区域，本实施例中令n＝8，对每一部分特征提取出响应最大的特征，作为该部分的特征。

本实施例还提供了一种基于背景灰度化的行人再识别***，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现上述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于背景灰度化的行人再识别方法，其特征在于，包括以下步骤：

S1、对原始图像进行背景灰度化处理，同时图像前景信息保持不变，得到处理后的BGg图像，即背景灰度化图像；

S2、基于ResNet50的双路网络，一路为背景灰度流BGg-Stream，对步骤S1得到的背景灰度化图像进行特征提取，另一路为全局流G-Stream，对原始图像进行特征提取；

S3、通过级联对步骤S2得到的两路网络进行彼此交互；

S4、两路网络在每个阶段所得的特征图，通过空间-通道注意力机制模块，即SCAB模块之后作为BGg-stream的下一层卷积的输入特征图，使得两路网络得以联系，两路特征得以结合；

S5、特征提取后，采用三元组损失函数来更新网络参数，然后进行相似度计算，最后输出排列序列。

2.根据权利要求1所述的基于背景灰度化的行人再识别方法，其特征在于，所述BGg-stream的输入是BGg图像，图像的背景灰度化公式为：

BGg(i,j)＝0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j)

其中BGg(i,j)为BGg图像在第i行第j列的像素值，R、G、B为RGB图像的三个通道。

3.根据权利要求1所述的基于背景灰度化的行人再识别方法，其特征在于，所述SCAB模块包括通道注意模块和空间注意模块。

4.根据权利要求3所述的基于背景灰度化的行人再识别方法，其特征在于，所述通道注意模块按如下方法实现：给定输入特征映射F_i∈R^c*H*W，首先利用平均池化操作对特征地图的空间信息进行聚合，生成空间上下文描述符F_i∈R^C*1*1，将空间信息压缩并转换到通道中；然后将隐藏的激活大小设置为F_i∈R^C/r*1*1，以减少参数开销，其中R为缩减率；因此，通道注意模块表示为：

F_ii＝σ(θ(R(ζ(δ(F_i)))))

其中F_i为各阶段的BGg-Stream特征，σ为sigmoid激活函数，R为ReLU激活函数；δ是平均池数；θ和ζ表示为两个不同的连接层；

表示element-wise乘法。

5.根据权利要求3所述的基于背景灰度化的行人再识别方法，其特征在于，所述空间注意模块按如下方法实现：对于输入特征映射F_i∈R^C*H*W，其中C是信道总数，H*W是特征映射的大小，则空间注意模块表示为：

F_iii＝σ(C(F_i))

其中σ为sigmoid激活函数，空间关注模块的输出为F_iii∈R^1*H*W。

6.根据权利要求1所述的基于背景灰度化的行人再识别方法，其特征在于，在测试阶段应用局部特征响应最大化策略，即LRM策略；在测试的过程中，将特征图按水平分为适当个数的n个区域，对每一部分特征提取出响应最大的特征，作为该部分的特征。

7.一种基于背景灰度化的行人再识别***，其特征在于，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-6任一项所述的方法步骤。

Images