CN113128441B - 一种属性和状态引导的结构嵌入车辆重识别***和方法 - Google Patents

Abstract

一种属性和状态引导的结构嵌入车辆重识别***和方法，属于计算机视觉技术领域，解决车辆重识别中的相同车辆间的类内差异和不同车辆间类间差异的问题，***通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；方法，含两个阶段：训练阶段和测试阶段；利用属性的增强和扩展来增加不同车辆间的特征间距，利用状态的弱化和收缩来减小相同车辆间的特征间距，从而更好的帮助网络学习车辆的特征。

Description

一种属性和状态引导的结构嵌入车辆重识别***和方法

技术领域

本发明属于计算机视觉技术领域，涉及一种属性和状态引导的结构嵌入车辆重识别***和方法。

背景技术

车辆重识别的任务是在不重叠的监控摄像头中匹配车辆图像。由于它在视频监控，社会治安，智慧城市和智慧交通等领域的广泛应用，因此它是一项活跃而具有挑战性的计算机视觉任务，并引起了广泛的关注。尽管最近在车辆重识别方面取得了突破，但它仍然面临着两个严峻的挑战。

如图1(a)和(b)所示，在不同状态下(例如不同的相机角度、车辆视角以及拍摄时间)的相同车辆图片间存在着较大类内差异。如图1(b)、(c)和(d)所示，不同的车辆间存在细微的类间差异，特别是两辆车有着相同或相似的属性，例如颜色、型号和生产商等。因此，解决相同车辆间的类内差异和不同车辆间类间差异已成为车辆重识别中的重要任务。

现有的解决方式提出了不同的方法来解决上述的两个挑战。具有代表性的方法主要分为四类：1)基于全局特征的方法，通过特定的度量学习方法提取车辆图像的全局手工/深度特征；2)基于路径的方法，在推理阶段通常采用时空信息去除不合理的车辆，细化检索结果；3)基于视角的方法，其目的是通过度量学习来处理视角变化，并学习车辆Re-ID的多视角特征；4)基于局部信息增强的方法，通过提供一些稳定的具有判别力的线索来增强车辆重识别中的类间差异。

但是在针对车辆重识别中存在的相同车辆间有较大的类内差异和不同车辆间有着较小的类间差异的两大挑战时，现有的解决方式存在着如下缺点：

1)基于全局特征的方法只考虑了车辆图像的外观，通常难以捕捉类内相似性和类间差异；

2)基于路径的方法往往在车辆特征的学习阶段，忽略了车辆因时空变化引起的外观变化；

3)基于视角的方法尽管显著减少了类内差异，但它们忽略了车辆的内在状态因素(如相机视角和捕捉时间)，忽视了细微类间差异的挑战；

4)基于局部信息增强的方法需要有局部区域提取操作，然而，局部区域提取模型通常需要大量的标注数据，耗时费力。

现有技术中，公开日期为2019年的文献《基于多属性的车辆重识别方法研究》(厦门大学，李科)，公开了一个融合车辆角度的车辆重识别算法、提出了融合车辆颜色和车型的车辆重识别算法、构建了基于网页平台的车辆重识别演示***；但是该文献虽然考虑了车辆的属性信息，但只是将属性信息直接拼接在车辆特征上当做辅助信息进行使用，虽然这样也获得了较好的车辆重识别性能，但没有考虑对属性信息和车辆特征进行同时优化。公开日期为2020年的文献《多视图稀疏融合与多尺度注意力的车辆重识别方法研究》(安徽大学，董家成)设计了一个基于多尺度注意力机制的车辆重识别网络，利用骨架网络提取车辆特征图，之后利用二次插值方法，生成其他尺度的车辆特征图，并且分别送入对应的包含空间通道注意力模块的子网络中。分别训练这些子网络后，利用结合层来融合多尺度注意力特征图，并且微调整个网络。该网络通过融合多尺度的互补信息，并且利用注意力机制挖掘判别性的局部细节，获得了更为鲁棒的特征；但是该文献并且没有考虑属性和状态的信息的问题。

发明内容

本发明的目的在于如何设计一种属性和状态引导的结构嵌入车辆重识别方法和***，解决车辆重识别中的相同车辆间的类内差异和不同车辆间类间差异的问题。

本发明是通过以下技术方案解决上述技术问题的：

一种属性和状态引导的结构嵌入车辆重识别***，通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；

所述的残差网络模块用于提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；

所述的基于属性的增强和扩展模块用于通过与身份相关的属性信息来增强对车辆特征的识别，并通过基于属性的扩展损失函数来增加不同车辆之间的特征间距；

所述的基于状态的削弱和收缩模块用于弱化干扰识别的状态信息，并通过基于状态的收缩损失函数来减小类内特征间距；

所述的全局结构嵌入模块用于基于属性的增强和基于状态的弱化运算得到最终的车辆特征向量，通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。

本发明的技术方案提出了一种属性和状态引导的结构嵌入车辆重识别方法，利用属性的增强和扩展来增加不同车辆间的特征间距，利用状态的弱化和收缩来减小相同车辆间的特征间距，从而更好的帮助网络学习车辆的特征。

一种应用于所述的属性和状态引导的结构嵌入车辆重识别***的方法，其特征在于，含两个阶段：训练阶段和测试阶段；

所述的训练阶段包括如下步骤：

步骤1)：获取一辆车的一张可见光图像，输入***；

步骤2)：经过残差网络提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；使用交叉熵函数计算预测的类别与真值的类别约束损失值，共有属性、状态和身份三个约束的类别损失值，三者按照比例相加构成多标签的类别损失函数来对三者的类别进行预测；

步骤3)：通过属性的扩展损失函数扩展属性的特征分布，从而增加类间属性的差异；通过状态的收缩损失函数缩小状态的分布，从而减少类内状态的差异；

步骤4)：使用全局结构嵌入损失函数，通过异类样本分离和同类样本靠拢训练所有样本，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界，同类样本的车辆特征距离随着状态的收缩而靠拢，直到小于下边界；

步骤5)：模型的最终损失定义为多标签分类损失、基于属性的扩展损失、基于状态的收缩损失和全局结构嵌入损失之和；在每一次训练中，属性和状态引导的结构嵌入***反传最终的损失值，以降低损失值为目标，用自适应的动量随机梯度下降法更新残差块的模型参数以及属性增强模块和状态弱化模块参数，多次迭代后，***的损失值不再减小，所有参数达到最优，则***的训练结束；

所述的测试阶段包括如下步骤：

步骤a)：载入一张车辆的可见光图像，输入已经训练完成的***；

步骤b)：经过一个已经训练好的残差网络提取可见光特征图；

步骤c)：可见光特征图分别经过训练好的基于属性的增强和扩展模块和基于状态的弱化和收缩模块，并得到属性增强特征张量和状态弱化特征张量；

步骤d)：经过基于属性的增强和基于状态的弱化运算，得到最终的车辆特征向量；

步骤e)：通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。

作为本发明技术方案的进一步改进，步骤3)中的通过属性的扩展损失函数扩展属性的特征分布，从而增加类间属性的差异的方法为：

输入一张图像大小为256×256的车辆图像I，首先经过一个50层的残差网络可以获取到这张车辆图像的特征图T，T＝ResNet50(I)；

将车辆图像的特征图T拷贝三份，其中第一份传入基于属性的增强和扩展模块；

然后将特征图T输入不同属性对应的1×1的卷积块，获得与属性相关的特征图：

将与属性相关的特征图进行批正则化BN操作和修正线性单元ReLU操作得到：

再进行全局平均池化操作，得到与属性相关的特征：

引入属性相关的标签

增加一层全连接层FC，使得与属性相关的特征在端到端的训练中受到标签的约束，属性相关的标签约束公式化为：

然后计算当前车辆相对于所有车辆的属性的均值

的特征分布，‖·‖₂代表l₂范数：

设计一个基于属性的扩展损失函数，迫使网络在端到端的训练中让与属性相关的特征分布不断扩展，扩展公式为：

其中，i代表属性的种类，分别为：车辆的颜色属性、车辆的类型属性、车辆的厂商属性；

***的训练朝着扩展损失的下降方向进行反传损失函数，使得属性特征分布不断扩展，从而带动不同车辆的特征距离不断远离；

利用S型函数，使得与属性相关的特征图

归一化为0-1之间，并与车辆特征图T进行元素层面的乘积操作，得到与属性相关的增强图T^e，公式为：

在***的迭代过程中，不断执行属性的扩展，利用与属性相关的特征图

增强车辆特征图T，车辆增强的特征图T′的计算公式为：

T′＝T+T^e

其中，T^e表示与属性相关的增强图，T表示车辆图像的特征图，T′表示车辆增强的特征图。

作为本发明技术方案的进一步改进，步骤3)中的通过状态的收缩损失函数缩小状态的分布，从而减少类内状态的差异的方法为：

输入一张图像大小为256×256的车辆图像I，首先经过一个50层的残差网络可以获取到这张车辆图像的特征图T，T＝ResNet50(I)；

将车辆图像的特征图T拷贝三份，其中第一份传入基于状态的削弱和收缩模块；

然后将特征图T输入不同状态对应的1×1的卷积块，获得与状态无关的特征图：

将与状态无关的特征图进行批正则化BN操作和修正线性单元ReLU操作得到

再进行全局平均池化操作，得到与状态无关的特征：

引入状态无关的标签

增加一层全连接层(FC)，使得与状态无关的特征在端到端的训练中受到标签的约束，状态无关的标签约束公式化为：

然后计算当前车辆相对于所有车辆的不同状态均值

的特征分布，‖·‖₂代表l₂范数；

设计一个基于状态的收缩损失函数，迫使网络在端到端的训练中让不同状态特征分布不断收缩，状态的收缩公式为：

网络的训练会朝着收缩损失的下降方向进行反传损失函数，使得状态特征分布不断收缩，从而带动相同车辆的特征距离不断收缩；

利用S型函数，使得与状态无关的特征图

归一化为0-1之间，并与车辆特征图T进行元素层面的乘积操作，得到与状态无关的削弱图T^w，公式为：

在***的迭代过程中，不断执行状态的收缩，利用与状态无关的特征图

削弱车辆增强的特征图T′，得到最终的车辆特征图T″，计算公式为：

T″＝T′-T^w

其中，T″表示最终的车辆特征图，T′表示车辆增强的特征图。

作为本发明技术方案的进一步改进，步骤4)中的通过异类样本分离和同类样本靠拢训练所有样本的方法为：

对于输入的图像I，通过基于属性的增强和扩展模块和基于状态的削弱和收缩模块获得最终的车辆特征图T″，对最终的车辆特征图T″进行全局平均池化操作，得到图像I的特征向量：

f＝GAP(T″)

针对训练集中的任意一个异类样本对(I_i,I_j),可以得到相应的车辆特征(f_i,f_j)，相应的属性特征

设计的属性驱动的异类样本分离约束如下：

其中y_ij＝0表示这是一个异类样本对，

表示异类样本对(I_i,I_j)的属性特征的欧式距离，d_ij表示异类样本对的车辆特征欧氏距离，属性驱动的异类样本分离使得在度量学习阶段，异类样本的特征学习有一个和属性相关的权重，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界1；

针对训练集中的任意一个同类样本对(I_i,I_j),可以得到相应的车辆特征(f_i,f_j)，相应的属性特征

设计的属性驱动的异类样本分离约束如下：

其中y_ij＝1表示这是一个异同类样本对，

表示异类样本对(I_i,I_j)的状态特征的欧式距离，d_ij表示同类样本对的车辆特征欧氏距离，状态驱动的同类样本靠拢使得在度量学习阶段，同类样本的特征学习有一个和状态相关的权重；使得同异类样本的车辆特征距离随着状态的收缩而靠拢，直到小于下边界0.3。

作为本发明技术方案的进一步改进，步骤5)中的全局结构嵌入损失的函数为：

***的训练会朝着全局结构嵌入损失的下降方向进行反传损失函数，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界1，同类样本的车辆特征距离随着状态的收缩而靠拢，直到小于下边界0.3；最后反传多标签分类损失值，基于属性的扩展损失值，基于状态的削弱损失值以及全局结构化嵌入损失值，更新迭代120次获取最佳的网络参数。

本发明的优点在于：

(1)本发明的技术方案利用属性的增强和扩展来增加不同车辆间的特征间距，利用状态的弱化和收缩来减小相同车辆间的特征间距，从而更好的帮助网络学习车辆的特征。

(2)本发明的技术方案在测试阶段执行车辆重识别任务时，利用训练阶段的属性标签直接获取车辆的属性信息，通过增强车辆的属性信息可以在重识别时过滤掉大部分不具备相同属性的车辆，通过扩展车辆的属性信息在车辆重识别时更好地挖掘相同属性下同身份的车辆；同时利用训练阶段的状态标签，判断测试车辆的相机环境，视角信息和时间信息，通过削弱车辆的状态信息可以使重识别模型更易判别相同身份的车辆，通过收缩车辆的状态信息可以在车辆重识别时更好地检索同身份的车辆。

(3)本发明的技术方案从单张车辆测试图像出发，联想车辆的属性信息和状态信息，在庞大的车辆检索库中更易寻找到同身份的车辆，为智能交通部署快速重识别***提供了简单有效的策略。

附图说明

图1是本发明***的框架图；

图2是本发明***的结构图；

图3是本发明的全局结构嵌入模块结构图；

图4是本发明的方法的训练阶段流程图；

图5是本发明的方法的测试阶段流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：

如图2所示，一种属性和状态引导的结构嵌入车辆重识别***，通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；

所述的残差网络模块用于提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；

所述的基于属性的增强和扩展模块用于通过与身份相关的属性信息来增强对车辆特征的识别，并通过设基于属性的扩展损失函数来增加不同车辆之间的特征间距；

所述的基于状态的削弱和收缩模块用于弱化干扰识别的状态信息，并通过基于状态的收缩损失函数来减小类内特征间距；

如图3所示，所述的全局结构嵌入模块用于基于属性的增强和基于状态的弱化运算得到最终的车辆特征向量，通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。

所述的通过最终的特征向量来计算类别得分具体为：使用交叉熵函数计算预测的类别与真值的类别约束损失值，共有属性、状态和身份三个约束的类别损失值，三者按照比例相加构成多标签的类别损失函数来对三者的类别进行预测。

利用属性的增强和扩展来增加不同车辆间的特征间距，利用状态的弱化和收缩来减小相同车辆间的特征间距，从而更好的帮助网络学习车辆的特征。

如图4-5所示，一种属性和状态引导的结构嵌入车辆重识别方法，含两个阶段：训练阶段和测试阶段。

1、训练阶段包括如下步骤

步骤1：获取一辆车的一张可见光图像，将其作为输入传入网络。

步骤2：经过一个在车辆重识别领域普遍使用的残差网络提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分。

使用交叉熵函数计算预测的类别与真值的类别约束损失值，共有属性、状态和身份三个约束的类别损失值，三者按照比例相加构成多标签的类别损失函数来对三者的类别进行预测。

步骤3：除了基于属性的增强和状态的弱化，进一步提出了基于属性的扩展损失和基于状态的收缩损失。基于属性的扩展损失是为了扩展属性的特征分布，从而增加类间属性的差异。基于状态的收缩损失是为了缩小状态的分布，从而减少类内状态的差异。

步骤4：提出使用状态和属性引导的全局结构嵌入损失使得属性差异较小的负样本和状态较大的正样本获得更大的梯度幅度。

步骤5：模型的最终损失定义为多标签分类损失、基于属性的扩展损失、基于状态的收缩损失和全局嵌入损失之和。在每一次训练中，属性和状态引导的结构嵌入网络会反传最终的损失值，以降低损失值为目标用自适应的动量随机梯度下降法更新残差块的模型参数以及属性增强模块和状态弱化模块参数。迭代一定次数后，网络的损失值不再减小，所有参数达到最优则网络的训练结束。

具体的训练方式包括：

(1)在每次训练中网络批次大小设置为64，即网络每次读取64张车像图像。将每张图像的大小调整为256×256像素并填充图像周边的10个像素为0。然后将其随机裁剪为256×256矩形图像。每张图像以0.5的概率水平翻转并且图像的R、G、B三个通道分别以均值0.485、0.456、0.406和标准差0.229、0.224、0.225的大小进行归一化操作，每张图像均解码为32位的浮点原始数据即图像的像素值为[0，1]间的浮点数。

(2)对于输入网络的一张车辆图像，首先通过一个训练好的50层残差网络提取相应的特征图。特征图复制三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分。一方面，通过联合属性、状态和身份的分类损失来获得多标签分类损失，以保证来自每个模块的预测类别与真值一致。同时，通过基于属性的扩展损失来增加类间属性的差异和基于状态的收缩损失来减少类内状态的差异。另一方面，使用属性和状态引导的全局结构嵌入损失来使得属性差异较小的负样本和状态较大的正样本获得更大的梯度幅度。属性和状态引导的结构嵌入网络模型的最终损失值就是多标签分类损失、基于属性的扩展损失、基于状态的收缩损失和属性和状态引导的全局结构嵌入损失的总和。

(3)反传损失值，并更新参数。反复迭代，直至网络收敛。将上一步计算得到的损失反传至网络中，并用优化器更新模型参数，其中优化器采用随机梯度下降法，学习率随着网络训练次数动态设定，初始学习率设置为0.00035，并在第40次迭代和第70次迭代分别降低10倍。总共有120个训练次数。

2、测试阶段包括如下步骤

步骤1：载入车辆的一张可见光图像。输入已经训练完成的网络。

步骤2：经过一个已经训练好的残差网络提取可见光特征图。

步骤3：可见光特征图分别经过训练好的基于属性的增强和扩展模块和基于状态的弱化和收缩模块，并得到属性增强特征张量和状态弱化特征张量。

步骤4：经过基于属性的增强和基于状态的弱化运算，可以得到最终的车辆特征向量。

步骤5：通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。

具体的测试方式包括：

1)输入一张车辆图像。将每个图像的大小调整为256×256像素塞入已经训练好的网络。

2)网络计算得到属性增强和状态减弱后的类别得分。

3)得到车辆的类别得分后，将车辆特征放入图像检索库比对，判断车辆有没有在其他摄像机中出现。

3、扩展阶段的具体工作流程

(1)输入一张图像大小为256×256的车辆图像I，首先经过一个50层的残差网络可以获取到这张车辆图像的特征图T，T＝ResNet50(I)。

(2)将车辆图像的特征图T拷贝三份，其中第一份传入基于属性的增强和扩展模块。

(3)然后将特征图T输入颜色属性相关的1×1的卷积块，获得颜色属性相关的特征图：

(4)将颜色属性相关的特征图进行批正则化BN操作和修正线性单元ReLU操作

(5)将颜色属性相关的特征图进行全局平均池化操作，得到颜色属性相关的特征

(6)引入颜色属性相关的标签

增加一层全连接层(FC)，使得颜色属性相关的特征在端到端的训练中受到标签的约束，颜色属性的标签约束公式化为：

(7)同时进行多种(M)属性的标签约束，公式为：

(8)然后计算当前车辆相对于所有车辆的颜色属性均值

的特征分布，‖·‖₂代表l₂范数求特征平方和的平方根。

(9)设计了一个基于属性的扩展损失函数，迫使网络在端到端的训练中让属性相关特征分布不断扩展，属性的扩展公式为：

(10)同时进行多种属性(M)的扩展，公式为：

网络的训练会朝着扩展损失的下降方向进行反传损失函数，使得性相关特征分布不断扩展(黑色和灰色的属性特征远离)，从而带动不同车辆的特征距离不断远离，让不同车辆的图像更易被网络区分。

4、增强阶段的具体工作流程

因为在网络的迭代中不断执行颜色属性的扩展。会获得更具判别力的颜色特征图

所以希望利用更具判别力的颜色特征图

增强车辆特征图T；

(1)利用S型函数，使得颜色特征图归一化为0-1之间与车辆特征图进行元素层面的乘积操作，公式为：

(2)多种属性(M)的增强图可以公式化为：

(3)将多种属性的增强图和原始的车辆特征图进行元素层面的累加：

T′＝T+T^e

5、收缩阶段的具体工作流程

(1)输入一张图像大小为256×256的车辆图像I，首先经过一个50层的残差网络可以获取到这张车辆图像的特征图T，T＝ResNet50(I)。

(2)将车辆图像的特征图T拷贝三份，其中第一份传入基于属性的增强和扩展模块。

(3)然后将特征图T输入相机状态相关的1×1的卷积块，获得相机状态相关的特征图：

(4)将颜色属性相关的特征图进行批正则化BN操作和修正线性单元ReLU操作

(5)将颜色属性相关的特征图进行全局平均池化操作，得到相机状态相关的特征

(6)引入相机状态相关的标签

增加一层全连接层(FC)，使得相机状态相关的特征在端到端的训练中受到标签的约束，相机状态的标签约束公式化为：

(7)同时进行多种(N)状态的标签约束，公式为：

(8)然后计算当前车辆相对于所有车辆的相机状态均值

的特征分布，‖·‖₂代表l₂范数求特征平方和的平方根。

(9)设计了一个基于状态的收缩损失函数，迫使网络在端到端的训练中让状态相关特征分布不断收缩，状态的收缩公式为：

(10)同时进行多种状态(N)的收缩，公式为：

网络的训练会朝着收缩损失的下降方向进行反传损失函数，使得状态相关特征(139号相机与79号相机)分布不断收缩，从而带动相同车辆的特征距离不断收缩，让同一车辆的处于不同状态的图像更易被网络区分。

6、削弱阶段的具体工作流程

因为在网络的迭代中不断执行相机状态的收缩。会获得车辆判别无关的相机特征图

所以希望利用车辆判别无关的相机特征图

削弱车辆特征图T

(1)利用S型函数，使得颜色特征图归一化为0-1之间与车辆特征图进行元素层面的乘积操作，公式为：

(2)多种状态(N)的削弱图可以公式化为：

(3)将多种属性的增强图和增强后的车辆特征图进行元素层面的累差，获得最终的车辆特征图：

T″＝T′-T^w

7、属性驱动的异类样本分离

(1)对于输入的图像I，通过基于属性的增强和扩展模块，基于状态的削弱和收缩模块获得最终的车辆特征图T″，对车辆特征图T″进行全局平均池化操作，可以得到图像I的特征向量：

f＝GAP(T″)

(2)针对训练集中的任意一个异类样本对(I_i,I_j),可以得到相应的车辆特征(f_i,f_j)，相应的属性特征

设计的属性驱动的异类样本分离约束如下：

其中y_ij＝0表示这是一个异类样本对，

表示异类样本对(I_i,I_j)的属性特征的欧式距离，d_ij表示异类样本对的车辆特征欧氏距离，属性驱动的异类样本分离使得在度量学习阶段，异类样本的特征学习有一个和属性相关的权重。使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界1。

8、状态驱动的同类样本靠拢

(1)对于输入的图像I，通过基于属性的增强和扩展模块，基于状态的削弱和收缩模块获得最终的车辆特征图T″，对车辆特征图T″进行全局平均池化操作，可以得到图像I的特征向量：

f＝GAP(T″)

(2)针对训练集中的任意一个同类样本对(I_i,I_j),可以得到相应的车辆特征(f_i,f_j)，相应的属性特征

设计的属性驱动的异类样本分离约束如下：

其中y_ij＝1表示这是一个异同类样本对，

表示异类样本对(I_i,I_j)的状态特征的欧式距离，d_ij表示同类样本对的车辆特征欧氏距离，状态驱动的同类样本靠拢使得在度量学习阶段，同类样本的特征学习有一个和状态相关的权重。使得同异类样本的车辆特征距离随着状态的收缩而靠拢，直到小于下边界0.3。

9、全局结构嵌入

(1)因为异类样本分离和同类样本靠拢是对训练集所有样本的操作，所以这整个约束被命名为全局结构嵌入模块，全局结构嵌入损失函数为：

网络的训练会朝着全局结构嵌入损失的下降方向进行反传损失函数，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界1，同类样本的车辆特征距离随着状态的收缩而靠拢，直到小于下边界0.3。让不同车辆的图像更易被网络区分，让同一车辆的处于不同状态的图像更易被网络区分。

(2)最后反传多标签分类损失值，基于属性的扩展损失值，基于状态的削弱损失值以及全局结构化嵌入损失值，更新迭代120次获取最佳的网络参数。

本实施例将特征学习和度量学习用一个端到端的深度神经网络进行训练，并且在特征学习和度量学习的两个阶段都考虑了属性信息(颜色，车型，厂商)和状态信息(摄像机的编号，编号往往意味着相机的布置地点，有多少个拍摄地点就会有多少个相机编号)，车辆的视点(车头，车尾，车侧面，前侧，后侧五个视点)，拍摄时间(0-23，包含一天的24小时))的嵌入。

而对于车辆的属性信息进行了优化，使得不同属性信息在端到端的学习中不断扩展使得不同车辆的特征距离更加远离，这样做相对于直接特征拼接更有意义也会获得更好的车辆重识别性能。

除此之外，还考虑了车辆的状态信息，这个称谓也是独创，将车辆的信息分为两组，一组是认为对于车辆重识别有帮助的(车辆的属性)，一组是认为对于车辆的判别有影响的(车辆的状态)。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种属性和状态引导的结构嵌入车辆重识别***，其特征在于，通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；

所述的残差网络模块用于提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；

所述的基于属性的增强和扩展模块用于通过与身份相关的属性信息来增强对车辆特征的识别，并通过基于属性的扩展损失函数来增加不同车辆之间的特征间距；

所述的基于属性的扩展损失函数的设计方法如下：

输入一张车辆图像I，首先经过残差网络获取到这张车辆图像的特征图T；

将车辆图像的特征图T拷贝三份，其中第一份传入基于属性的增强和扩展模块；

然后将特征图T输入不同属性对应的1×1的卷积块，获得与属性相关的特征图：

将与属性相关的特征图进行批正则化BN操作和修正线性单元ReLU操作得到：

再进行全局平均池化操作，得到与属性相关的特征：

引入属性相关的标签

增加一层全连接层FC，使得与属性相关的特征在端到端的训练中受到标签的约束，属性相关的标签约束公式化为：

然后计算当前车辆相对于所有车辆的属性的均值

的特征分布，‖·‖₂代表l₂范数：

设计一个基于属性的扩展损失函数，迫使网络在端到端的训练中让与属性相关的特征分布不断扩展，扩展公式为：

其中，i代表属性的种类，分别为：车辆的颜色属性、车辆的类型属性、车辆的厂商属性；

所述的基于状态的削弱和收缩模块用于弱化干扰识别的状态信息，并通过基于状态的收缩损失函数来减小类内特征间距；

所述的基于状态的收缩损失函数的设计方法如下：

输入一张车辆图像I，首先经过残差网络获取到这张车辆图像的特征图T；

将车辆图像的特征图T拷贝三份，其中第一份传入基于状态的削弱和收缩模块；

然后将特征图T输入不同状态对应的1×1的卷积块，获得与状态无关的特征图：

将与状态无关的特征图进行批正则化BN操作和修正线性单元ReLU操作得到：

T_j ^stt＝ReLU(BN(T_j ^st))

再进行全局平均池化操作，得到与状态无关的特征：

f_j ^st＝GAP(T_j ^stt)

引入状态无关的标签

增加一层全连接层(FC)，使得与状态无关的特征在端到端的训练中受到标签的约束，状态无关的标签约束公式化为：

然后计算当前车辆相对于所有车辆的不同状态均值

的特征分布，‖·‖₂代表l₂范数；

设计一个基于状态的收缩损失函数，迫使网络在端到端的训练中让不同状态特征分布不断收缩，状态的收缩公式为：

其中，j代表状态的种类，分别为：相机的编号、车辆的视点、拍摄时间；

所述的全局结构嵌入模块用于基于属性的增强和基于状态的弱化运算得到最终的车辆特征向量，通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。

2.一种应用于权利要求1所述的属性和状态引导的结构嵌入车辆重识别***的方法，其特征在于，含两个阶段：训练阶段和测试阶段；

所述的训练阶段包括如下步骤：

步骤1)：获取一辆车的一张可见光图像，输入***；

步骤2)：经过残差网络提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；使用交叉熵函数计算预测的类别与真值的类别约束损失值，共有属性、状态和身份三个约束的类别损失值，三者按照比例相加构成多标签的类别损失函数来对三者的类别进行预测；

步骤3)：通过属性的扩展损失函数扩展属性的特征分布，从而增加类间属性的差异；通过状态的收缩损失函数缩小状态的分布，从而减少类内状态的差异；

步骤4)：使用全局结构嵌入损失函数，通过异类样本分离和同类样本靠拢训练所有样本，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界，同类样本的车辆特征距离随着状态的收缩而靠拢，直到小于下边界；

步骤5)：模型的最终损失定义为多标签分类损失、基于属性的扩展损失、基于状态的收缩损失和全局结构嵌入损失之和；在每一次训练中，属性和状态引导的结构嵌入***反传最终的损失值，以降低损失值为目标，用自适应的动量随机梯度下降法更新残差块的模型参数以及属性增强模块和状态弱化模块参数，多次迭代后，***的损失值不再减小，所有参数达到最优，则***的训练结束；

所述的测试阶段包括如下步骤：

步骤a)：载入一张车辆的可见光图像，输入已经训练完成的***；

步骤b)：经过一个已经训练好的残差网络提取可见光特征图；

步骤c)：可见光特征图分别经过训练好的基于属性的增强和扩展模块和基于状态的弱化和收缩模块，并得到属性增强特征张量和状态弱化特征张量；

步骤d)：经过基于属性的增强和基于状态的弱化运算，得到最终的车辆特征向量；

步骤e)：通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。

3.根据权利要求2所述的方法，其特征在于，步骤3)中的通过属性的扩展损失函数扩展属性的特征分布，从而增加类间属性的差异的方法为：

输入一张图像大小为256×256的车辆图像I，首先经过一个50层的残差网络可以获取到这张车辆图像的特征图T，T＝ResNet50(I)；

将车辆图像的特征图T拷贝三份，其中第一份传入基于属性的增强和扩展模块；

然后将特征图T输入不同属性对应的1×1的卷积块，获得与属性相关的特征图：

将与属性相关的特征图进行批正则化BN操作和修正线性单元ReLU操作得到：

再进行全局平均池化操作，得到与属性相关的特征：

引入属性相关的标签

增加一层全连接层FC，使得与属性相关的特征在端到端的训练中受到标签的约束，属性相关的标签约束公式化为：

然后计算当前车辆相对于所有车辆的属性的均值

的特征分布，‖·‖₂代表l₂范数：

设计一个基于属性的扩展损失函数，迫使网络在端到端的训练中让与属性相关的特征分布不断扩展，扩展公式为：

其中，i代表属性的种类，分别为：车辆的颜色属性、车辆的类型属性、车辆的厂商属性；

***的训练朝着扩展损失的下降方向进行反传损失函数，使得属性特征分布不断扩展，从而带动不同车辆的特征距离不断远离；

利用S型函数，使得与属性相关的特征图

归一化为0-1之间，并与车辆特征图T进行元素层面的乘积操作，得到与属性相关的增强图T^e，公式为：

在***的迭代过程中，不断执行属性的扩展，利用与属性相关的特征图

增强车辆特征图T，车辆增强的特征图T′的计算公式为：

T′＝T+T^e

其中，T^e表示与属性相关的增强图，T表示车辆图像的特征图，T′表示车辆增强的特征图。

4.根据权利要求3所述的方法，其特征在于，步骤3)中的通过状态的收缩损失函数缩小状态的分布，从而减少类内状态的差异的方法为：

输入一张图像大小为256×256的车辆图像I，首先经过一个50层的残差网络可以获取到这张车辆图像的特征图T，T＝ResNet50(I)；

将车辆图像的特征图T拷贝三份，其中第一份传入基于状态的削弱和收缩模块；

然后将特征图T输入不同状态对应的1×1的卷积块，获得与状态无关的特征图：

将与状态无关的特征图进行批正则化BN操作和修正线性单元ReLU操作得到：

T_j ^stt＝ReLU(BN(T_j ^st))

再进行全局平均池化操作，得到与状态无关的特征：

f_j ^st＝GAP(T_j ^stt)

引入状态无关的标签

增加一层全连接层(FC)，使得与状态无关的特征在端到端的训练中受到标签的约束，状态无关的标签约束公式化为：

然后计算当前车辆相对于所有车辆的不同状态均值

的特征分布，‖·‖₂代表l₂范数；

设计一个基于状态的收缩损失函数，迫使网络在端到端的训练中让不同状态特征分布不断收缩，状态的收缩公式为：

网络的训练会朝着收缩损失的下降方向进行反传损失函数，使得状态特征分布不断收缩，从而带动相同车辆的特征距离不断收缩；

利用S型函数，使得与状态无关的特征图T_j ^st归一化为0-1之间，并与车辆特征图T进行元素层面的乘积操作，得到与状态无关的削弱图T^w，公式为：

在***的迭代过程中，不断执行状态的收缩，利用与状态无关的特征图T_j ^st削弱车辆增强的特征图T′，得到最终的车辆特征图T″，计算公式为：

T″＝T′-T^w

其中，T″表示最终的车辆特征图，T′表示车辆增强的特征图。

5.根据权利要求4所述的方法，其特征在于，步骤4)中的通过异类样本分离和同类样本靠拢训练所有样本的方法为：

对于输入的图像I，通过基于属性的增强和扩展模块和基于状态的削弱和收缩模块获得最终的车辆特征图T″，对最终的车辆特征图T″进行全局平均池化操作，得到图像I的特征向量：

f＝GAP(T″)

针对训练集中的任意一个异类样本对(I_i,I_j),可以得到相应的车辆特征(f_i,f_j)，相应的属性特征

设计的属性驱动的异类样本分离约束如下：

其中y_ij＝0表示这是一个异类样本对，

表示异类样本对(I_i,I_j)的属性特征的欧式距离，d_ij表示异类样本对的车辆特征欧氏距离，属性驱动的异类样本分离使得在度量学习阶段，异类样本的特征学习有一个和属性相关的权重，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界1；

针对训练集中的任意一个同类样本对(I_i,I_j),可以得到相应的车辆特征(f_i,f_j)，相应的属性特征

设计的状态驱动的同类样本靠拢约束如下：

其中y_ij＝1表示这是一个同类样本对，

表示同类样本对(I_i,I_j)的状态特征的欧式距离，d_ij表示同类样本对的车辆特征欧氏距离，状态驱动的同类样本靠拢使得在度量学习阶段，同类样本的特征学习有一个和状态相关的权重；使得同类样本的车辆特征距离随着状态的收缩而靠拢靠拢，直到小于下边界0.3。

6.根据权利要求5所述的方法，其特征在于，步骤5)中的全局结构嵌入损失的函数为：

***的训练会朝着全局结构嵌入损失的下降方向进行反传损失函数，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界1，同类样本的车辆特征距离随着状态的收缩而靠拢，直到小于下边界0.3；最后反传多标签分类损失值，基于属性的扩展损失值，基于状态的削弱损失值以及全局结构化嵌入损失值，更新迭代120次获取最佳的网络参数。

Images