CN109344842A - 一种基于语义区域表达的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于语义区域表达的行人重识别方法，包括：给定一幅图像，将图像中行人不同部件的位置检测出来，得到包含不同部件区域的集合，根据行人所具备的高层语义信息，使用尺度不变局部模式描述符以及颜色直方图描述符，提取每一个部件区域内的特征并将其进行级联，再使用主成分分析对原始特征进行降维，获取部件区域特征的集合；根据部件区域特征的集合、结合图像的全局特征和局部特征获得对行人更完备的特征描述符；利用三元组损失训练度量函数，训练得到的度量矩阵可以将原始的特征向量映射到新的特征空间中，提高样本间的可分性；根据学习得到的度量矩阵计算行人图像特征之间的相似性，从而实现对行人的重识别。本发明不仅避免了图像背景的干扰，还实现了对应区域之间相似性的比较，有效提高特征的鲁棒性和可靠性。

Description

一种基于语义区域表达的行人重识别方法

技术领域

本发明涉及图像处理、计算机视觉技术领域，尤其涉及一种基于语义区域表达的行人重识别方法。

背景技术

随着智慧城市和公共安全需求的日益增长，智能视频监控***得到了广泛的关注和研究，并已应用到安防、工业生产等诸多领域，在日常生活中扮演着重要的角色。在智能视频监控领域中主要关注的对象就是行人，最基本的任务就是在大范围的视频监控网络中对目标进行长期且稳定的跟踪。但是出于隐私以及维护成本等方面的考虑，摄像头监控网络很难覆盖整个区域，从而出现监控盲区，当目标经过监控盲区时，就无法对目标进行连续的跟踪，因此就会出现跟踪目标在一个摄像头的监控视野中消失，之后在其他摄像头中出现的情况。而把在一个监控摄像视野中丢失的目标在其他监控视野中重新找回的过程就是行人重识别技术。该技术通过解决非重叠摄像头视域的目标交接问题，从而将不同视域中的轨迹连接起来，实现在整个监控网络下对行人目标长期且稳定的跟踪。此外，行人重识别可以实现行人的检索功能，从历史录像中快速查找目标行人，代替人力排查的方式，高效快速的筛选出最有可能包含目标嫌疑人的视频图像。因此该技术具有广阔的应用前景和研究价值。

相比于其他已经取得高精度的生物识别***，例如人脸识别来说，行人重识别的研究面临光照变化、视角变化、背景干扰、遮挡、图像质量低等诸多因素的干扰。例如，1)监控视频的画面较为模糊，另外也很难保证人脸是正对摄像机拍摄的，所以无法在监控视频中使用人脸识别技术，只能利用人体的外观信息来进行识别；2)由于视角、光照等因素的影响，同一个行人在不同场景下的外表会存在较大的差异，而不同行人的外表则有可能比较相似；3)遮挡与背景干扰等因素会导致目标身体的一部分不可见，仅靠可见部分难以对目标进行区分。这些因素都对行人重识别技术带来了很大的挑战，因此如何提取到可靠的特征表示，使其对这些因素具有较好的鲁棒性是解决该问题的一个关键步骤。结合图像中有用的语义区域表达特征，本发明提出了一种有效的特征提取方式，用于提高行人重识别算法的性能。

Liao等人将颜色直方图特征、尺寸不变纹理特征结合起来，用于提高特征的鲁棒性。Su等人利用高层的属性信息不随视角变化的特性来描述行人，以提高算法的准确度。Zhao等人在目标匹配过程中引入了显著性信息，Cheng等人提出了一个多流的卷积神经网络模型，同时学习目标的全局和局部信息。Wu等人将卷积神经网络的全连接层特征与传统的颜色特征相结合，以提高全连接层特征的辨析力。

发明人在实现本发明的过程中，发现现有技术主要存在以下缺点和不足：

现有技术的方法往往根据图像的全局特征进行目标相似性的比对，但未考虑全局特征中会包含背景信息等诸多干扰因素；现有方法通常计算图像对之间相同位置的相似性，再进行相似性的加和，没有考虑两幅图像中行人不对齐的问题。

发明内容

本发明提供了一种基于语义区域表达的行人重识别方法，本发明通过深入挖掘图像中具有语义信息的区域，设计了一种鲁棒的基于语义区域表达的行人重识别算法，用于提高算法检索的精度，详见下文描述：

一种基于语义区域表达的行人重识别方法，所述方法包括以下步骤：

给定一幅图像，将图像中行人不同部件的位置检测出来，得到包含不同部件区域的集合：

根据行人所具备的高层语义信息，使用尺度不变局部模式描述符以及颜色直方图描述符，提取每一个部件区域内的特征并将其进行级联，再使用主成分分析对原始特征进行降维，获取部件区域特征的集合；

根据部件区域特征的集合、结合图像的全局特征和局部特征获得对行人更完备的特征描述符；

利用三元组损失训练度量函数，训练得到的度量矩阵可以将原始的特征向量映射到新的特征空间中，提高样本间的可分性；

根据学习得到的度量矩阵计算行人图像特征之间的相似性，从而实现对行人的重识别。

进一步地，所述部件区域特征的集合具体为：

F^P＝{f^P，1，...，f^P，i，...，f^P，M}

其中，F^P表示的是部件区域特征的集合，f^P，i表示的是第i个分割子区域的特征。进一步地，所述特征描述符具体为：

F＝{F^P，F^G，F^L}

其中，F^P为部件区域特征；F^G为全局特征；F^L为局部区域特征。

所述相似度具体为：

其中，F_a，F_b分别表示在不同监控视野下的图像特征描述符，<·，·>表示的是内积运算，表示的是图像特征间的马氏距离，表示的是图像特征间的双线性距离，W_M和W_B是度量矩阵。

本发明提供的技术方案的有益效果是：

1、本发明根据行人身体所具备的语义信息，分别提取图像前景中不同部件内的特征，不仅避免了图像背景的干扰，同时还实现了对应区域之间相似性的比较，从而有效提高特征的鲁棒性和可靠性。

2、本发明除了利用更关注局部细节的部件区域信息，还利用了能够在较大尺度上描述图像的全局和局部区域特征。三种特征从不同尺度层次上描述图片，将其结合从而可以得到对图像描述更加全面的特征描述符。

3、本发明利用三元组损失进行度量学习，提高了样本特征在新的特征空间中的可分度，有利于行人重识别算法性能的提高。

附图说明

图1为一种基于语义区域表达的行人重识别方法的流程图；

图2为本发明与其他算法的对比结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种基于语义区域表达的行人重识别方法，参见图1，该方法包括以下步骤：

101：根据行人所具备的高层语义信息，提取图像前景中不同身体部件的特征，并结合了图像的全局特征和局部特征获得对行人更完备的特征描述；

102：利用三元组损失训练度量函数，使相同行人的特征在新的映射空间中距离尽量小，不同新人的特征之间距离尽量大。

本方法主要包括：语义区域提取，语义区域内的图像特征提取，图像的全局和局部区域特征提取，图像样本间相似度的计算，利用三元损失进行度量学习的训练五个部分。

综上所述，本发明实施例通过上述步骤深入挖掘图像中具有语义信息的区域，提高了算法检索的精度。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

一、语义区域内的图像特征提取

行人重识别算法首先利用行人检测算法将监控视频中的行人检测出来，再根据图像间的相似性寻找正确匹配的目标。由于行人检测算法得到的矩形框中除了行人之外，还包含一定的背景信息，如果利用图像的全局特征进行匹配，该特征会包含很多背景信息的干扰，从而对匹配的精度带来较大的影响。

此外由于视角和行人姿势变换等因素的存在，图像之间行人的位置是不对齐的，有可能出现一幅图像的某一区域属于行人的上半身，而在另一幅图像的相同区域属于另一个行人的下半身，从而出现错误的比较。

因此，本发明实施例根据行人的语义信息，提取图像中行人不同身体部件区域内的特征，在避免图像中背景信息干扰的同时，还实现了图像间对应区域相似性的比较，从而有效提高特征的鲁棒性。

给定一幅图像，首先对其中行人进行部件分割，将图像中行人不同部件的位置检测出来，从而可以得到包含不同部件区域的集合：

R_P＝{r_P，1，...，r_P，i，...，r_P，M}

其中，R_P表示的是部件区域的集合，r_P，i表示的是任一一个部件区域，每一种类型的部件区域表示为一个r，下标P表示的是部件区域，M表示的是共有M个部件区域，例如：当M等于4时，部件区域的集合则包括：头部、躯干、左腿、右腿区域。

在每个子区域中，使用16×8像素大小的滑窗来提取特征，滑窗在水平方向上步进长度为8像素，在竖直方向上步进长度为4像素。在每个滑窗中，分别提取颜色直方图特征和纹理特征。针对颜色直方图特征，分别从HSV(色相、饱和度、亮度)颜色空间和LAB(颜色-对立)颜色空间中提取两种类型的颜色直方图，一种是将三个通道级联，提取48-bins(组距)的直方图，另一种分别对每个颜色通道单独提取8-bins(组距)的直方图。

对于纹理直方图，使用SILTP(尺度不变局部模式)描述符。最后将每一个区域内的特征级联，并使用PCA(主成分分析)算法对原始特征进行降维。对于M个部件区域，可以得到对应的M个部件区域的特征，表示为：

F^P＝{f^P，1，...，f^P，i，...，f^P，M}

其中，F^P表示的是部件区域特征的集合，f^P，i表示的是第i个部件区域的特征。

二、图像的全局和局部区域特征提取

为了获得更加稳定、全面的特征描述，除了语义区域内的特征之外，本发明实施例还引入了全局区域和局部区域内的特征。其中全局区域表示的是整幅图像，用符号R_G来表示。局部区域则表示将图像按照水平方向分割成若干个水平的条带的子区域，用符号R_L＝{r_L，1，...，r_L，i，...，r_L，C}来表示。其中，R_L表示局部区域的集合，r_L，i表示第i个局部子区域，C表示局部子区域的个数。

针对每类区域，使用滑窗的方法遍历每个子区域，在每个滑窗内同样提取颜色直方图特征和SILTP纹理特征，并将每个子区域内所有滑窗提取到的特征级联，并进行PCA特征降维，得到该子区域内的特征。

使用F^G表示全局特征，使用F^L＝{f^L，1，...，f^L，i，...，f^L，C}表示局部区域特征，其中F^L是局部区域特征的集合，f^L，i表示的是第i个局部子区域的特征。

最后三种不同类型的区域可以用集合R来表示，其中R＝{R_P，R_G，R_L}。即集合中包括：部件区域、全局区域以及局部区域。

通过利用行人的部件区域特征F^P以及全局特征F^G和局部区域特征F^L，能够从不同尺度层次上描述图片，因此可以使新的特征描述更全面、可靠，并用F＝{F^P，F^G，F^L}作为表示该图像的特征描述符。

三、图像样本间相似度的计算

为了满足身份相同的样本之间的距离小于身份不同的目标样本之间的距离，本发明实施例使用三元组损失，通过训练得到新的度量矩阵并将原始的特征向量映射到一个有辨析力的特征空间中。

在新的特征空间中，相同样本之间的距离会被缩小，而不相同目标特征之间的距离将会被拉远，使得样本之间更容易区分，从而提高行人重识别的准确率。在新的映射空间内，样本间的相似性表示为：

其中，F_a，F_b分别表示在不同监控视野下的图像特征描述符，<·，·>表示的是内积运算。表示的是两个特征的马氏距离，表示的是两个特征的双线性距离。W_M和W_B是要通过学习得到的度量矩阵。

四、利用三元损失进行度量学习的训练。

为了通过训练得到更符合要求的度量矩阵，三元组损失表示如下：

g(X_i，Y_i)≥α+g(X_i，Y_j)，

其中，X，Y分别表示不同监控视野下的图像特征，i和j分别表示不同行人的身份标签。g(X_i，Y_i)表示的是同一个目标在不同监控视野下的外表相似性，g(X_i，Y_j)表示的是不同目标在不同监控视野下的外表相似性。α表示间隔阈值，也就是要求相同目标样本之间的相似性得分要比不相同目标之间的外表相似性得分大α。

为了利用整个数据集内图像的特征信息训练度量矩阵，三元组损失构建为：

其中，[·]₊是指示函数，当函数内的数值小于等于0时，输出0，当函数内的数值大于0时，输出该数值。该公式要求任意一个相同样本之间的相似性得分要比所有不相似样本之间的相似性得分的平均值大α。

由于要求当样本间相似性越大，得分越高，因此W_M为负半正定矩阵，此外还利用l_2，1范数做目标函数的正则化项，最后的目标函数为：

其中，R(W)＝||W_M||_2，1+||W_B||_2，1为正则化项，S_-为负的半正定矩阵集合,λ为权重项。为了使目标函数最小，使用交替方向乘子法求最优解W。因此目标函数等价于：

其中，W₁，W₂，W₃是三个不同子问题的变量，当W₃为负半正定矩阵时，S(W₃)为零，反之则为无穷。每个变量是通过固定其他变量，再优化求解得到的。其中W₁根据对偶形式的梯度进行求解，W₂通过固定其他变量，利用近邻算子进行求解。W₃是通过欧式映射求解得到的。经过多次迭代优化后，可以得到一个最优的度量矩阵。

在测试阶段，给定一张需要查询的图像以及所有待检索的图像，分别提取图像特征，并利用学习得到的度量矩阵，计算图像对之间的相似性。根据图像对之间的相似性得分进行排序，进而找到最相似的图像，从而实现行人重识别。

综上所述，本发明实施例除了利用更关注局部细节的部件区域信息，还利用了能够在较大尺度上描述图像的全局和局部区域特征。三种特征从不同尺度层次上描述图片，将其结合可以得到对图像描述更加全面的特征描述符。

实施例3

下面结合图1对实施例1和2中的方案进行可行性验证，详见下文描述：

图2给出了本方法在通用行人重识别数据集VIPeR上的测试结果，纵坐标是CMC累计匹配得分，横坐标是排名。其中Rank1表示的是正确匹配的目标排名处在第一的概率，Rank10表示的是正确匹配的目标处在排名前十的概率。从图2中可以看出，通过利用行人的语义部件信息，本方法在不同的评价指标上均取得了最好的结果。

在Rank1上取得了该数据集下目前最好的性能结果，并且在Rank10上取得了超过90％的精度，表明绝大多数正确匹配的样本均会出现在检索结果的前十名中，因此可以在很大程度减少人力物力，并且快速高效的找到正确匹配的目标。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于语义区域表达的行人重识别方法，其特征在于，所述方法包括以下步骤：

给定一幅图像，将图像中行人不同部件的位置检测出来，得到包含不同部件区域的集合：

根据行人所具备的高层语义信息，使用尺度不变局部模式描述符以及颜色直方图描述符，提取每一个部件区域内的特征并将其进行级联，再使用主成分分析对原始特征进行降维，获取部件区域特征的集合；

根据部件区域特征的集合、结合图像的全局特征和局部特征获得对行人更完备的特征描述符；

利用三元组损失训练度量函数，训练得到的度量矩阵可以将原始的特征向量映射到新的特征空间中，提高样本间的可分性；

根据学习得到的度量矩阵计算行人图像特征之间的相似性，从而实现对行人的重识别。

2.根据权利要求1所述的一种基于语义区域表达的行人重识别方法，其特征在于，所述部件区域特征的集合具体为：

F^P＝{f^P，1，...，f^P，i，...，f^P，M}

其中，F^P表示的是部件区域特征的集合，f^P，i表示的是第i个分割子区域的特征。

3.根据权利要求1所述的一种基于语义区域表达的行人重识别方法，其特征在于，所述特征描述符具体为：

F＝{F^P，F^G，F^L}

其中，F^P为部件区域特征；F^G为全局特征；F^L为局部区域特征。

4.根据权利要求1所述的一种基于语义区域表达的行人重识别方法，其特征在于，所述相似度具体为：

其中，F_a，F_b分别表示在不同监控视野下的图像特征描述符，<·，·>表示的是内积运算，表示的是图像特征间的马氏距离，表示的是图像特征间的双线性距离，W_M和W_B是度量矩阵。