CN109919141A - 一种基于骨架姿态的行人再识别方法 - Google Patents

Abstract

一种基于骨架姿态的行人再识别方法，包括步骤：获取行人图像，构建目标行人模板；采集图像帧，通过骨架检测依次分割出图像中各种姿态下的所有行人图像；根据目标行人骨架模板对分割出的所有行人图像及骨架信息进行尺寸标准化；根据行人骨架信息对所有行人图像依次进行局部特征区域分割，对所有行人的局部特征区域进行倾斜矫正，获得与目标行人模板姿态一致的局部特征图像集；建立目标行人局部特征融合识别模型，综合计算出目标行人模板与实时检测的所有行人的相似度，实现目标行人的准确识别。本发明能实现复杂环境多人场景下弯腰、肢体倾斜等部分异常姿态影响下的行人有效识别，提升行人识别准确率。

Description

一种基于骨架姿态的行人再识别方法

技术领域

本发明属于行人识别技术领域，具体地说是一种基于骨架姿态的行人再识别方法。

背景技术

行人再识别(Person re-identification)是再由不同摄像机拍摄的视频图像中识别出目标行人。与行人跟踪不同的是，行人再识别可以在复杂的环境下实现长期的跨境追踪目标，因此在监控领域可以发挥非常大的作用。比如监控视频的行人再跟踪，当警察办案时电脑可以自动锁定嫌疑人，而无需人工的费时费力的观察识别。

目前，依据行人特征匹配的行人再识别通常是采用单一特征匹配，其效果往往不理想，主要原因在于单一的特征只能表达目标的一部分属性，往往难以满足海量监控视频数据下的目标准确识别与连续追踪需求。另外，传统的以全身为一个整体的识别方法无法突出行人的局部特征，遇到遮挡的情况会导致目标重要特征信息丢失从而导致识别率下降，并且普通的局部区域提取和相似度匹配会发生局部区域无法对准的情况而导致匹配出现歧义从而大大降低了识别率。

发明内容

为了解决上述的技术问题，本发明提供了一种基于骨架姿态的行人再识别方法。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于骨架姿态的行人再识别方法，包括以下步骤：

通过监控视频或摄像头获取包括目标行人正面直立姿态的图像，通过骨架检测分割出目标行人图像及目标行人局部特征区域图像，从而构建目标行人模板，该目标行人模板包括目标行人图像模板、目标行人骨架模板和目标行人局部特征图像集模板；

采集监控视频或摄像头中的图像帧，提取行人骨架信息，通过骨架检测依次分割出图像中各种姿态下的所有行人图像，姿态包括正常、弯腰、肢体倾斜；

根据目标行人骨架模板对分割出的所有行人图像及骨架信息进行尺寸标准化；

根据行人骨架信息对所有行人图像依次进行局部特征区域分割，对所有行人的局部特征区域进行倾斜矫正，获得与目标行人模板姿态一致的局部特征图像集；

将目标行人局部特征图像集模板与各个行人的局部特征图像集进行匹配，并建立目标行人局部特征融合识别模型，综合计算出目标行人模板与实时检测的所有行人的相似度，实现目标行人的准确识别。

所述目标行人骨架模板获取方法为采用深度卷积神经网络对采集的图像进行处理，得到18个骨架特征关键点，标记为P_i＝{(x_i,y_i)|i＝0,1…17}，该18个骨架特征关键点包括眼、右眼、左耳、右耳、嘴巴、胸颈处、左肩、左肘、左手、右肩、右肘、右手、左髋、左膝、左脚、右髋、右膝和右脚。

所述的骨架信息的尺寸标准化过程为：分别根据目标行人骨架模板B₀和已检测行人骨架B₁的关节点坐标信息，计算出B₀和B₁骨架中下身腿部骨架与上身躯干骨架的空间长度和，用于表征行人骨架身高；

对B₀的骨架身高长度与B₁的骨架身高长度进行比值计算得到K，并根据K将已检测行人图像缩放到目标行人图像模板大小，得到完成尺寸标准化后的行人图像

所述采用基于骨架信息的骨架分割方法，对目标行人图像模板和已进行尺寸标准化的行人图像进行局部区域分割，得到若干个目标行人局部图像模板和行人局部区域图像，局部区域图像表示为R_i，其中i＝0,1…m。

所述对行人的局部特征区域进行倾斜矫正，具体为：

在目标行人局部图像模板和已检测的行人局部区域图像中建立一个垂直基准轴,为图像Y轴方向，将目标行人局部图像模板与垂直基准轴所成的角度记为θ⁰，行人局部区域图像与垂直基准轴所成的角度记为θ¹，θ⁰与θ¹的差值记为则将行人局部区域图像旋转Δθ的角度并进行背景剪裁，得到校正后的人体局部特征区域。

所述对目标行人局部特征图像集模板与各个行人的局部特征图像集进行匹配，具体为：

对目标行人图像模板和行人局部区域图像进行特征匹配，得到局部区域特征相似度S_ij，其中i＝1…m表示某个局部区域，j＝1…n表示表示不同的特征匹配方法得到的相似度结果，建立行人局部特征相似度融合矩阵S：

将若干个局部特征相似度融合为综合特征相似度，融合计算公式如下：

F＝(S·λ)^T·ω

上式中，为不同的特征匹配方法分配不同的特征权重，λ为特征权重矩阵λ，

为每一个局部区域分配不同的局部区域权重，ω为局部区域权重矩阵，

则F＝(S·λ)^T·ω展开为：

根据综合特征相似度F实现目标行人模板与所有行人图像逐一进行相似判别，选择行人图像中相似度最高的行人，完成识别。

所述对目标行人图像模板和行人局部区域图像进行特征匹配，得到局部区域特征相似度具体为：

提取目标行人局部特征图像集模板与行人图像中的颜色特征与LBP纹理特征，分别形成表征目标行人局部区域图像模板的特征向量x₀和行人局部区域图像的特征向量x₁；然后，通过深度卷积神经网络获得表征目标行人局部区域图像模板的卷积特征向量y₀与行人局部区域图像的卷积特征向量y₁，再分别计算特征向量x₀与x₁，y₀与y₁间的余弦距离，距离越小说明特征向量相似度越高，该特征向量相似度越高即当前的行人局部区域图像与目标行人局部区域图像模板越相似。

本发明的有益效果为：

采用人体骨架检测方法，可精准提取行人细粒度局部特征区域，并根据骨架姿态进行了待检测行人特征区域矫正，使得待检测行人局部特征区域与目标模板保持一致，提升了复杂环境弯腰、肢体倾斜等部分异常姿态影响下目标特征模板与待检测行人特征匹配准确度，同时构建行人局部特征相似度矩阵对目标行人与监控图像中各行人的特征进行相似度综合计算，从而实现目标行人的准确识别。能实现复杂环境多人场景下行人有效识别，提升行人再识别准确率，具有一定的实用价值。

附图说明

图1算法流程图；

图2行人再识别原理框图；

图3骨架分割图；

图4目标骨架局部区域校正图；

图5局部区域颜色、纹理特征提取匹配模型；

图6局部区域特征匹配模型；

图7骨架模型；

图8胸膛局部区域骨架信息；

图9像素点旋转示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1-9所示，本发明揭示了一种基于骨架姿态的行人再识别方法，包括以下步骤：

S1，通过摄像头获取包括目标行人正面直立姿态的图像，通过骨架检测分割出目标行人图像及目标行人局部特征区域图像，从而构建目标行人模板，该目标行人模板包括目标行人图像模板、目标行人骨架模板和目标行人局部特征图像集模板。人为的在视频中标定出目标行人，同时选取某一帧中目标姿态为正面直立的图像作为目标行人模板M₀。

S2，采集监控视频或摄像头中的图像帧，提取行人骨架信息，通过骨架检测依次分割出图像中各种姿态下的所有行人图像，姿态包括正常、弯腰、肢体倾斜等肢体动作。在下文中所述的行人图像，即表示是已检测的图像。在本实施例中，使用深度卷积神经网络对目标行人模板M₀和已检测行人模板M₁的骨架关节点进行定位，并根据骨架关节点置信度对关节点进行连接。并使用OpenPose对行人骨架进行可视化建模，骨架模型如图7所示，该18个骨架特征关键点包括眼、右眼、左耳、右耳、嘴巴、胸颈处、左肩、左肘、左手、右肩、右肘、右手、左髋、左膝、左脚、右髋、右膝和右脚。

S3，根据目标行人骨架模板对分割出的所有行人图像及骨架信息进行尺寸标准化。分别根据目标行人骨架模板B₀和已检测行人骨架B₁的关节点坐标信息，计算出B₀和B₁骨架中下身腿部骨架与上身躯干骨架的空间长度和，用于表征行人骨架身高；对B₀的骨架身高长度与B₁的骨架身高长度进行比值计算得到K，并根据K将已检测行人图像缩放到目标行人图像模板大小，得到完成尺寸标准化后的行人图像。

S4，根据行人骨架信息对所有行人图像依次进行局部特征区域分割，对所有行人的局部特征区域进行倾斜矫正，获得与目标行人模板姿态一致的局部特征图像集。

S5，将目标行人局部特征图像集模板与各个行人的局部特征图像集进行匹配，并建立目标行人局部特征融合识别模型，综合计算出目标行人模板与实时检测的所有行人的相似度，实现目标行人的准确识别。

此外，对行人图像依次进行局部特征区域分割，具体过程为：根据骨架信息中包含的关节点坐标对骨架进行分割，然后将行人图像与行人骨架局部区域相对应，得到行人局部区域图像R_i，其中i＝0,1…m。将行人图像分割为10个区域，行人局部区域图像表示为R_ij(x,y,w,h)，其中i＝0,1…9，依次代表头部、胸膛、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大臂、右大腿，j＝0,1,分别表示目标行人图像与行人图像。局部区域图像的重心表示为G(x,y)，局部区域图像的宽和高分别为w、h。例如，胸膛的局部区域模板为R_2j(x,y,w,h)，如图7和8所示，可通过P1(x1,y1)、P5(x5,y5)、P8(x8,y8)、P11(x11,y11)坐标信息得到，骨架信息具体计算公式如下：

其中：

得到行人局部区域图像后，还进行倾斜矫正，具体过程为：

如图4所示，在局部模板R_ij中建立一个垂直基准轴L L，在目标行人局部图像模板R_i0与L所成的角度记为θ_i0，目标模板局部区域R_i1与L所成的角度记为θ_i1。θ_i0与θ_i1的差值记为Δθ_i

图像的旋转就是对每一个像素进行旋转。由于图像的坐标原点在图像的左上角，我们通过坐标转，将图像的中心作为坐标原点。假设原图像的宽为w，高为h，(x₀,y₀)为原坐标内的一点，转换坐标后的点为(x₁,y₁)，则可得到：

像素旋转示意图如图9所示，由点(x₀,y₀)旋转到点(x₁,y₁)，那么易得到：

x₁＝r×cos(b-a)

y₁＝r×sin(b-a)

在转换后的坐标系中得到旋转后的像素坐标，只要将这些坐标再转换为原坐标系即可。上述公式中(b-a)就是Δθ_i，则将已检测行人局部图像旋转Δθ_i的角度人后再进行背景剪裁进而达到校正目的。

在目标行人局部图像模板和已检测的行人局部区域图像中建立一个垂直基准轴,为图像Y轴方向，将目标行人局部图像模板与垂直基准轴所成的角度记为θ⁰，行人局部区域图像与垂直基准轴所成的角度记为θ¹，θ⁰与θ¹的差值记为则将行人局部区域图像旋转Δθ的角度并进行背景剪裁，得到校正后的人体局部特征区域。

所述对目标行人局部特征图像集模板与各个行人的局部特征图像集进行匹配，具体为：

对目标行人图像模板和行人局部区域图像进行特征匹配，得到局部区域特征相似度S_ij，其中i＝1…m表示某个局部区域，j＝1…n表示表示不同的特征匹配方法得到的相似度结果，特征匹配方法包括颜色特征匹配方法、纹理特征匹配方法，当然，也还可以为其他特征匹配方法，在此不再一一列举，建立行人局部特征相似度融合矩阵S：

将若干个局部特征相似度融合为综合特征相似度，融合计算公式如下：

F＝(S·λ)^T·ω

上式中，为不同的特征匹配方法分配不同的特征权重，λ为特征权重矩阵λ，

为每一个局部区域分配不同的局部区域权重，ω为局部区域权重矩阵，

则F＝(S·λ)^T·ω展开为：

根据综合特征相似度F实现目标行人模板与所有行人图像逐一进行相似判别，选择行人图像中相似度最高的行人，完成识别。

所述对目标行人图像模板和行人局部区域图像进行特征匹配，得到局部区域特征相似度具体为：

提取目标行人局部特征图像集模板与行人图像中的颜色特征与LBP纹理特征，分别形成表征目标行人局部区域图像模板的特征向量x₀和行人局部区域图像的特征向量x₁；然后，通过深度卷积神经网络获得表征目标行人局部区域图像模板的卷积特征向量y₀与行人局部区域图像的卷积特征向量y₁，再分别计算特征向量x₀与x₁，y₀与y₁间的余弦距离，距离越小说明特征向量相似度越高，该特征向量相似度越高即当前的行人局部区域图像与目标行人局部区域图像模板越相似。

x_j由采用彩色图像的Y,U,V的前三阶颜色矩，共九个分量和纹理特征的三个属性组成。其中颜色矩特征表达式为：

其中，i为Y,U,V三个颜色通道分量，p_i,j表示彩色图像第i个颜色通道分量中灰度为j的像素出现的概率，N表示图像中像素的个数。

纹理特征的三个属性为：能量S_E、对比度S_Con和熵S_q的表达式为：

其中，p(i,j|d,θ)表示在θ方向上，相隔一定的像元距离d，灰度值分别为i和j的像元对出现的频率。

人工特征向量x_j与卷积特征向量y_j可表示为：

x₀(x₀₁,x₀₂,…x_0m)，

y₀(y₀₁,y₀₂,…y_0n)，

x₁(x₁₁,x₁₂,…x_1m)，

y₁(y₁₁,y₁₂,…y_1n)，

其中，x_j是由颜色和纹理特征构成的n维人工特征向量，其中n＝9，(x₀₁,x₀₂,…x₀₁₂)＝(μ_Y,σ_Y,s_Y…,S_E,S_con,S_Q)。

余弦距离公式为：

其中i＝0…9表示某个局部区域，S_i0代表目标行人局部区域图像模板与已检测行人局部区域图像的人工特征向量间的余弦距离，S_i1代表目标行人局部区域图像模板与已检测行人局部区域图像的卷积特征向量间的余弦距离。

根据图6局部区域特征匹配模型，构建行人局部特征相似度矩阵S：

由于采用多模式特征匹配，所以根据两种特征的重要程度分配权重，得到一个权重矩阵λ：

根据λ求得某一局部区域在特征融合情况下的相似度。然后，基于局部区域融合匹配模型，根据10个局部区域所占的权重矩阵ω：

加权求融合相似度得出最终全身的相似度。相似度融合计算公式为：

F＝(S·λ)^T·ω，

最后，根据综合特征相似度F实现目标行人模板与所有已检测行人图像逐一进行相似判别，优选图像中相似度最高的行人，从而实现目标行人再识别。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于骨架姿态的行人再识别方法，包括以下步骤：

通过监控视频或摄像头获取包括目标行人正面直立姿态的图像，通过骨架检测分割出目标行人图像及目标行人局部特征区域图像，从而构建目标行人模板，该目标行人模板包括目标行人图像模板、目标行人骨架模板和目标行人局部特征图像集模板；

采集监控视频或摄像头中的图像帧，提取行人骨架信息，通过骨架检测依次分割出图像中各种姿态下的所有行人图像，姿态包括正常、弯腰、肢体倾斜；

根据目标行人骨架模板对分割出的所有行人图像及骨架信息进行尺寸标准化；

根据行人骨架信息对所有行人图像依次进行局部特征区域分割，对所有行人的局部特征区域进行倾斜矫正，获得与目标行人模板姿态一致的局部特征图像集；

将目标行人局部特征图像集模板与各个行人的局部特征图像集进行匹配，并建立目标行人局部特征融合识别模型，综合计算出目标行人模板与实时检测的所有行人的相似度，实现目标行人的准确识别。

2.根据权利要求1所述的基于骨架姿态的行人再识别方法，其特征在于，所述目标行人骨架模板获取方法为采用深度卷积神经网络对采集的图像进行处理，得到18个骨架特征关键点，标记为P_i＝{(x_i,y_i)|i＝0,1…17}，该18个骨架特征关键点包括眼、右眼、左耳、右耳、嘴巴、胸颈处、左肩、左肘、左手、右肩、右肘、右手、左髋、左膝、左脚、右髋、右膝和右脚。

3.根据权利要求2所述的基于骨架姿态的行人再识别方法，其特征在于，所述的骨架信息的尺寸标准化过程为：分别根据目标行人骨架模板B₀和已检测行人骨架B₁的关节点坐标信息，计算出B₀和B₁骨架中下身腿部骨架与上身躯干骨架的空间长度和，用于表征行人骨架身高；

对B₀的骨架身高长度与B₁的骨架身高长度进行比值计算得到K，并根据K将已检测行人图像缩放到目标行人图像模板大小，得到完成尺寸标准化后的行人图像。

4.根据权利要求3所述的基于骨架姿态的行人再识别方法，其特征在于，所述采用基于骨架信息的骨架分割方法，对目标行人图像模板和已进行尺寸标准化的行人图像进行局部区域分割，得到若干个目标行人局部图像模板和行人局部区域图像，局部区域图像表示为R_i，其中i＝0,1…m。

5.根据权利要求4所述的基于骨架姿态的行人再识别方法，其特征在于，所述对行人的局部特征区域进行倾斜矫正，具体为：

在目标行人局部图像模板和已检测的行人局部区域图像中建立一个垂直基准轴,为图像Y轴方向，将目标行人局部图像模板与垂直基准轴所成的角度记为θ⁰，行人局部区域图像与垂直基准轴所成的角度记为θ¹，θ⁰与θ¹的差值记为则将行人局部区域图像旋转Δθ的角度并进行背景剪裁，得到校正后的人体局部特征区域。

6.根据权利要求5所述的基于骨架姿态的行人再识别方法，其特征在于，所述对目标行人局部特征图像集模板与各个行人的局部特征图像集进行匹配，具体为：

对目标行人图像模板和行人局部区域图像进行特征匹配，得到局部区域特征相似度S_ij，其中i＝1…m表示某个局部区域，j＝1…n表示不同的特征匹配方法得到的相似度结果，特征匹配方法包括颜色特征匹配方法、纹理特征匹配方法，建立行人局部特征相似度融合矩阵S：

将若干个局部特征相似度融合为综合特征相似度，融合计算公式如下：

F＝(S·λ)^T·ω

上式中，为不同的特征匹配方法分配不同的特征权重，λ为特征权重矩阵λ，

为每一个局部区域分配不同的局部区域权重，ω为局部区域权重矩阵，

则F＝(S·λ)^T·ω展开为：

根据综合特征相似度F实现目标行人模板与所有行人图像逐一进行相似判别，选择行人图像中相似度最高的行人，完成识别。

7.根据权利要求6所述的基于骨架姿态的行人再识别方法，其特征在于，所述对目标行人图像模板和行人局部区域图像进行特征匹配，得到局部区域特征相似度具体为：

提取目标行人局部特征图像集模板与行人图像中的颜色特征与LBP纹理特征，分别形成表征目标行人局部区域图像模板的特征向量x₀和行人局部区域图像的特征向量x₁；然后，通过深度卷积神经网络获得表征目标行人局部区域图像模板的卷积特征向量y₀与行人局部区域图像的卷积特征向量y₁，再分别计算特征向量x₀与x₁，y₀与y₁间的余弦距离，距离越小说明特征向量相似度越高，该特征向量相似度越高即当前的行人局部区域图像与目标行人局部区域图像模板越相似。