CN114511878A - 一种基于多模态关系聚合的可见光红外行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于多模态关系聚合的可见光红外行人重识别方法，包括如下步骤：通过真实场景收集获取到全天候多角度的可见光红外行人监控视频信息，进行预处理，得到多身份信息标签的两个模态下的行人图像样本；构建基于模态关系聚合的多粒度双流跨模态深度神经网络，将两个模态的行人图像样本作为网络输入，其对应的身份信息作为标签，对网络进行有监督的训练；将可见光或红外行人图像作为查询目标输入网络，经过训练的网络给出另一模态数据集中与查询目标相似度较高的行人图像列表，由此实现跨模态的行人匹配功能。本发明挖掘了多粒度下的行人图像特征信息，并在特征空间中对其分布进行优化，使两种模态的身份不变特征得到了较好的提取。

Description

一种基于多模态关系聚合的可见光红外行人重识别方法

技术领域

本发明属于计算机视觉领域，特别涉及一种使用机器学习实现的可见光红外行人重识别方法。

背景技术

在当下信息化与智能化的时代，道路监控***愈加频繁地出现在大街小巷，它的存在主要是用于维护社会公共安全、防止违法犯罪的事件发生。通过监控***，公安机关等部门可以对犯罪嫌疑人进行定位与追踪，为案件的解决提供法律依据。传统的搜索筛查方式是直接通过人力来观看记录，时间成本与人力成本都很高，同时由于人力的局限性，还可能会出现漏看错看的情况。随着深度学习及信息技术的发展，相对成熟的人脸识别技术首先被应用到了该领域中，但由于监控摄像头的性能不一、监控的角度不一，该技术并没有取得很好的效果。因此，能够提取利用行人全身特征信息的行人重识别课题愈发受到人们关注，它的目的在于通过跨摄像头的视频图像，检索出相同的行人目标，从而确定其活动路线与轨迹。

然而在真实场景中，大多数的违法犯罪活动都在夜间进行，所以需要针对实际场景进行全天候的检索，对摄像头白天拍摄的RGB图像与夜间拍摄的红外图像进行全局分析。因此在传统单模态行人重识别技术的基础上，能够结合两种模态信息的跨模态行人重识别应运而生，并受到研究人员的关注。

跨模态行人重识别，主要研究在给定一个特定行人的RGB图像或者红外图像，尝试在两种模态下的图像库中检索匹配属于同一行人图像的问题。

跨模态行人重识别面临的主要难题在于跨模态问题中针对模态的建模。如何较好地减少两种模态图像间的差异，并学习到两种模态间共享的鲁棒性特征，是目前研究的关键。早期的研究主要集中于基于表征的学习以及基于度量的学习这两种方法，之后又出了基于模态互转的学习方法，通过对抗生成网络(GAN)实现RGB图像和红外图像之间的转换，从而将跨模态行人重识别问题转化为单模态下的问题。

由于问题的复杂性，现有的可见光红外行人重识别方法均是通过构建深度卷积神经网络来实现的。

跨模态行人重识别的关键问题在于可见光图像与红外图像间的模态差异较大，其通道数不同，有效信息不同，如何能够提取出两种模态的共有特征，最大程度地利用到其信息，是其需要解决的重点。此外，除了模态间的差异，在两种模态内部的图像也存在着如低分辨率、遮挡、视角变化等传统单模态行人重识别中的固有问题。

发明内容

本发明的目的是提供一种基于多模态关系聚合的可见光红外行人重识别方法，以使两种模态的身份不变特征得到较好的提取，取得较高的准确率。

为实现上述目的，本发明采用的技术方案为：

一种基于多模态关系聚合的可见光红外行人重识别方法，包括如下步骤：

步骤1，通过真实场景收集获取到全天候多角度的可见光红外行人监控视频信息，进行预处理，得到多身份信息标签的两个模态下的行人图像样本；

步骤2，构建基于模态关系聚合的多粒度双流跨模态深度神经网络，初始化网络参数，将步骤1得到的两个模态的行人图像样本作为网络输入，其对应的身份信息作为标签，对所述多粒度双流跨模态深度神经网络进行有监督的训练，经过不断调整，得到效果最优的后的深度学习网络参数；

步骤3，将白天或夜间的可见光或红外行人图像作为查询目标输入网络，经过训练的多粒度双流跨模态深度神经网络给出另一模态数据集中与查询目标相似度较高的行人图像列表，由此实现跨模态的行人匹配功能。

所述步骤1中，预处理为：进行帧采样及裁剪操作，并记录其不同行人对应的身份信息，经过数据预处理后保留了图像中行人的所有信息，并去除了图像中多余的无效背景等部分。

所述步骤1中，数据集为基于真实场景的SYSU-MM01数据集。

所述步骤2中，多粒度双流跨模态深度神经网络使用跨模态关系来更新每个通道的原始特征，补充单模态特征种缺少的信息，从而减小可见光与红外两种模态图像间的差异，其计算过程如下：

首先对提取出的原始可见光特征f^R与红外特征f^I进行批量标准化(BN)与ReLU激活函数操作，得到处理后的两种模态特征：

f^R＝σ^Rf^R,f^I＝σ^If^I

式中，σ^R与σ^I表示可学习的参数；

之后，将每个通道的特征图作为特征向量，并通过下式计算f^R中第i个特征向量与f^I中第j个特征向量之间的欧氏距离

式中，||*||表示L2范数，进而得到由d_ij组成的关系矩阵M^R，同理对红外特征

进行相同操作，得到关系矩阵M^I；

为了避免丢失原始信息，通过下式将原始特征与关系矩阵信息进行融合，得到最终实现缩小模态间差异的特征，

f^R＝f^R+f^R×S(H_R[α(f^R),β(M^R)])

f^I＝f^I+f^I×S(H_I[α(f^I),β(M^I)])

式中，α与β表示原始特征和关系矩阵的两个嵌入函数，S表示Sigmoid函数，H_R与H_I表示可学习的参数。

所述步骤2中，双流跨模态深度神经网络使用两种粒度分支来学习两个模态的特征：在全局粒度下，使用在ImageNet上进行过预训练的ResNet-50作为骨干网络，将ResNet-50中第一层作为不共享参数的双流网络，它分别提取可见光与红外两种模态的特征，之后的第二至第五层作为共享参数的网络结构，它用来提取两种模态的模态不变特征；在经过模态关系聚合后，使用线性层对特征进行降维，之后使用难负样本三元组损失、身份损失以及MMD-ID损失对特征空间进行优化，从而使相同身份的样本距离拉近，不同身份的样本距离拉远；其具体损失函数计算方法如下：

其中身份损失(Identification Loss)为：

式中，n表示样本总数，x_i表示给定的输入图像，y_i表示其对应的标签，预测x_i被识别为类别y_i的概率是用Softmax函数编码的，用p(y_i|x_i)表示；

难负样本三元组损失(TriHard Loss)为：

式中，对于每一个训练的batch，随机挑选P个身份的行人样本，并每个身份随机挑选K张不同的样本图片，以此构成一个P*K的batch，之后对于batch中的每一个样本a，都在batch内选出一个与其距离最近的不同标签样本作为难负样本；d_a,p表示样本a与其正样本的距离(标签相同)，d_a,n表示样本a与其负样本的距离(标签不同)；与a相同标签的样本集为A，与a不同标签的样本集为B，ε表示根据实际需求设置的阈值参数。

MMD-ID损失函数为：

式中，

与

分别表示同模态样本间的核相似性，

表示跨模态样本间的相似性；P^c与Q^c分别表示c标签样本的可见光图像和红外图像样本分布；

在局部粒度下，使用在ImageNet上进行过预训练的ResNet-50作为骨干网络，将ResNet-50的所有层不进行参数共享，提取出模态独有特征；之后对样本图像进行六块的切分后，将对应部分的两个模态的特征进行连接，并进入共享参数的线性层进行降维；最后使用全局粒度中相同的损失函数对特征空间进行优化。

有益效果：本发明构建了一种基于多模态关系聚合的可见光红外行人重识别方法，它分为三部分。第一部分用于计算跨模态间的关系，并将其与原始特征相加，缩小了模态间的差异；第二部分使用多粒度的特征提取，能够更好地结合全局全面的特征与局部更精细的特征，更好地利用跨模态图像中的信息；第三部分引入了三种损失函数，从而能对特征空间进行了优化，进一步提升了模型的性能。

具体实施方式

下面对本发明做更进一步的说明。

本发明的一种基于多模态关系聚合的可见光红外行人重识别方法，包括如下步骤：

步骤1，数据准备及形式化定义：通过真实场景收集获取到全天候多角度的可见光红外行人监控视频信息，对其进行帧采样及裁剪操作，并记录其不同行人对应的身份信息，本发明中使用的数据集为基于真实场景的SYSU-MM01数据集，它包含了在白天的4个用于捕捉可见光图像的摄像视域以及2个在黑暗环境中用于捕捉红外图像的摄像视域。数据预处理中保留了图像中行人的所有信息，并去除了图像中多余的无效背景等部分。经过数据预处理后，得到多身份信息标签的两个模态下的行人图像样本；

步骤2，构建基于模态关系聚合的多粒度双流跨模态深度神经网络，初始化网络参数，将步骤1得到的两种模态的行人图像样本作为网络输入，其对应的身份信息作为标签，对多粒度双流跨模态深度神经网络进行有监督的训练，经过不断调整，得到效果最优的后的深度学习网络参数。

多粒度双流跨模态深度神经网络使用跨模态关系来更新每个通道的原始特征，补充单模态特征种缺少的信息，从而减小可见光与红外两种模态图像间的差异，其计算过程如下：

首先对提取出的原始可见光特征f^R与红外特征f^I进行批量标准化(BN)与ReLU激活函数操作，得到处理后的两种模态特征：

f^R＝σ^Rf^R,f^I＝σ^If^I

式中，σ^R与σ^I表示可学习的参数。

之后，将每个通道的特征图作为特征向量，并通过下式计算f^R中第i个特征向量与f^I中第j个特征向量之间的欧氏距离

计算方式如下式所示，

式中，||*||表示L2范数，进而可以得到由d_ij组成的关系矩阵M^R，同理对红外特征

进行相同操作，得到关系矩阵M^I。

为了避免丢失原始信息，通过下式将原始特征与关系矩阵信息进行融合，得到最终实现缩小模态间差异的特征，

f^R＝f^R+f^R×S(H_R[α(f^R),β(M^R)])

f^I＝f^I+f^I×S(H_I[α(f^I),β(M^I)])

式中，α与β表示原始特征和关系矩阵的两个嵌入函数，S表示Sigmoid函数，H_R与H_I表示可学习的参数。

双流跨模态深度神经网络使用两种粒度分支来学习两个模态的特征。在全局粒度下，使用在ImageNet上进行过预训练的ResNet-50作为骨干网络，将ResNet-50中第一层作为不共享参数的双流网络，它分别提取可见光与红外两种模态的特征。之后的第二至第五层作为共享参数的网络结构，它用来提取两种模态的模态不变特征。在经过模态关系聚合后，使用线性层对特征进行降维，之后使用难负样本三元组损失、身份损失以及MMD-ID损失对特征空间进行优化，从而使相同身份的样本距离拉近，不同身份的样本距离拉远。其具体损失函数计算方法如下：

其中身份损失(Identification Loss)为：

式中，n表示样本总数，x_i表示给定的输入图像，y_i表示其对应的标签，预测x_i被识别为类别y_i的概率是用Softmax函数编码的，用p(y_i|x_i)表示。

难负样本三元组损失(TriHard Loss)为：

式中，对于每一个训练的batch，随机挑选P个身份的行人样本，并每个身份随机挑选K张不同的样本图片，以此构成一个P*K的batch。之后对于batch中的每一个样本a，都在batch内选出一个与其距离最近的不同标签样本作为难负样本；d_a,p表示样本a与其正样本的距离(标签相同)，d_a,n表示样本a与其负样本的距离(标签不同)；与a相同标签的样本集为A，与a不同标签的样本集为B，ε表示根据实际需求设置的阈值参数。

MMD-ID损失函数为：

式中，

与

分别表示同模态样本间的核相似性，

表示跨模态样本间的相似性；P^c与Q^c分别表示c标签样本的可见光图像和红外图像样本分布。

在局部粒度下，使用在ImageNet上进行过预训练的ResNet-50作为骨干网络，将ResNet-50的所有层不进行参数共享，提取出模态独有特征。之后对样本图像进行六块的切分后，将对应部分的两个模态的特征进行连接，并进入共享参数的线性层进行降维。最后使用全局粒度中相同的损失函数对特征空间进行优化。

步骤3，将白天或夜间的可见光或红外行人图像作为查询目标输入网络，经过训练的多粒度双流深度网络给出另一模态数据集中与查询目标相似度较高的行人图像列表，由此实现跨模态的行人匹配功能。

针对模态差异较大这一问题，本发明通过计算两种模态间的关系，并将其与原始特征相加，缩小了模态间的差异。进一步使用多粒度的特征提取，更好地结合了全局全面的特征与局部更精细的特征，对两种模态图像中的信息进行了更好的利用。最后引入了身份损失、难负样本三元组损失与MMD-ID损失三种损失函数，对特征空间进行了优化，进一步提升了模型的性能。通过实验发现，使用本方法提供的模型在真实场景下效果较好，取得了较高的准确率

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于多模态关系聚合的可见光红外行人重识别方法，其特征在于：包括如下步骤：

步骤1，通过真实场景收集获取到全天候多角度的可见光红外行人监控视频信息，进行预处理，得到多身份信息标签的两个模态下的行人图像样本；

步骤2，构建基于模态关系聚合的多粒度双流跨模态深度神经网络，初始化网络参数，将步骤1得到的两个模态的行人图像样本作为网络输入，其对应的身份信息作为标签，对所述多粒度双流跨模态深度神经网络进行有监督的训练，经过不断调整，得到效果最优的后的深度学习网络参数；

步骤3，将白天或夜间的可见光或红外行人图像作为查询目标输入网络，经过训练的多粒度双流跨模态深度神经网络给出另一模态数据集中与查询目标相似度较高的行人图像列表，由此实现跨模态的行人匹配功能。

2.根据权利要求1所述的基于多模态关系聚合的可见光红外行人重识别方法，其特征在于：所述步骤1中，预处理为：进行帧采样及裁剪操作，并记录其不同行人对应的身份信息，经过数据预处理后保留了图像中行人的所有信息，并去除了图像中多余的无效背景等部分。

3.根据权利要求1所述的基于多模态关系聚合的可见光红外行人重识别方法，其特征在于：所述步骤1中，数据集为基于真实场景的SYSU-MM01数据集。

4.根据权利要求1所述的基于多模态关系聚合的可见光红外行人重识别方法，其特征在于：所述步骤2中，多粒度双流跨模态深度神经网络使用跨模态关系来更新每个通道的原始特征，补充单模态特征种缺少的信息，从而减小可见光与红外两种模态图像间的差异，其计算过程如下：

首先对提取出的原始可见光特征f^R与红外特征f^I进行批量标准化(BN)与ReLU激活函数操作，得到处理后的两种模态特征：

f^R＝σ^Rf^R,f^I＝σ^If^I

式中，σ^R与σ^I表示可学习的参数；

之后，将每个通道的特征图作为特征向量，并通过下式计算f^R中第i个特征向量与f^I中第j个特征向量之间的欧氏距离

式中，||*||表示L2范数，进而得到由d_ij组成的关系矩阵M^R，同理对红外特征

进行相同操作，得到关系矩阵M^I；

为了避免丢失原始信息，通过下式将原始特征与关系矩阵信息进行融合，得到最终实现缩小模态间差异的特征，

f^R＝f^R+f^R×S(H_R[α(f^R),β(M^R)])

f^I＝f^I+f^I×S(H_I[α(f^I),β(M^I)])

式中，α与β表示原始特征和关系矩阵的两个嵌入函数，S表示Sigmoid函数，H_R与H_I表示可学习的参数。

5.根据权利要求1所述的基于多模态关系聚合的可见光红外行人重识别方法，其特征在于：所述步骤2中，双流跨模态深度神经网络使用两种粒度分支来学习两个模态的特征：在全局粒度下，使用在ImageNet上进行过预训练的ResNet-50作为骨干网络，将ResNet-50中第一层作为不共享参数的双流网络，它分别提取可见光与红外两种模态的特征，之后的第二至第五层作为共享参数的网络结构，它用来提取两种模态的模态不变特征；在经过模态关系聚合后，使用线性层对特征进行降维，之后使用难负样本三元组损失、身份损失以及MMD-ID损失对特征空间进行优化，从而使相同身份的样本距离拉近，不同身份的样本距离拉远；其具体损失函数计算方法如下：

其中身份损失(Identification Loss)为：

式中，n表示样本总数，x_i表示给定的输入图像，y_i表示其对应的标签，预测x_i被识别为类别y_i的概率是用Softmax函数编码的，用p(y_i|x_i)表示；

难负样本三元组损失(TriHard Loss)为：

式中，对于每一个训练的batch，随机挑选P个身份的行人样本，并每个身份随机挑选K张不同的样本图片，以此构成一个P*K的batch，之后对于batch中的每一个样本a，都在batch内选出一个与其距离最近的不同标签样本作为难负样本；d_a,p表示样本a与其正样本的距离(标签相同)，d_a,n表示样本a与其负样本的距离(标签不同)；与a相同标签的样本集为A，与a不同标签的样本集为B，ε表示根据实际需求设置的阈值参数。

MMD-ID损失函数为：

式中，

与

分别表示同模态样本间的核相似性，

表示跨模态样本间的相似性；P^c与Q^c分别表示c标签样本的可见光图像和红外图像样本分布；

在局部粒度下，使用在ImageNet上进行过预训练的ResNet-50作为骨干网络，将ResNet-50的所有层不进行参数共享，提取出模态独有特征；之后对样本图像进行六块的切分后，将对应部分的两个模态的特征进行连接，并进入共享参数的线性层进行降维；最后使用全局粒度中相同的损失函数对特征空间进行优化。