CN112001251A

CN112001251A - 基于人体解析与衣着颜色相结合的行人重识别方法及***

Info

Publication number: CN112001251A
Application number: CN202010711107.2A
Authority: CN
Inventors: 宋勇; 许金辉; 李贻斌; 李彩虹; 庞豹; 许庆阳; 袁宪锋
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2020-11-27

Abstract

本申请公开了基于人体解析与衣着颜色相结合的行人重识别方法及***，包括：获取待识别的目标行人图像；将待识别目标行人图像，输入到预先构建的人体解析模型中，输出待识别目标行人的身体部位类别；对待识别目标行人图像，提取各类别身体部位的颜色特征；依据提取的各类别身体部分的颜色特征，从候选图片中识别出目标行人。

Description

基于人体解析与衣着颜色相结合的行人重识别方法及***

技术领域

本申请涉及计算机视觉技术领域，特别是涉及基于人体解析与衣着颜色相结合的行人重识别方法及***。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

行人重识别(Person Re-identification,ReID)是指在非重叠视域的多摄像头网络中进行的行人匹配，即某个特定的行人被监控摄像头在某一时刻捕捉到图像后通过计算机将该图像作为样本图像去检索其他摄像头中是否包含该行人的踪迹，因此行人重识别问题亦称为非重叠视域摄像头网络中的行人检索问题，也被称为跨镜头追踪技术。在2005年Zajdel等人在多镜头追踪中引入了行人重识别，但是Gheissari等人在2006年的CVPR第一次以独立的视觉任务被提出后，此后的相关研究才开始大量的出现。

人脸识别技术经过近几年的发展，已较为成熟，在众多的场景与产品中都已有应用，但人脸识别技术只能用到人体的人脸信息，放弃了人体其他重要信息的利用，例如衣着、姿态、行为等，另外在应用时必须要有清晰的人脸正面照片，但在很多场景下无法满足要求，例如低头、背影、模糊身形、帽子遮挡等。而跨镜头追踪技术正好能够弥补人脸识别的这些不足，行人重识别能够根据所追踪行人的附属物品、容貌姿态及着装等信息去辨别所检索的行人。正因为近年来国家对安防产业的愈加重视，跨镜头追踪已成为安防领域的重要研究方向，这也是人工智能的认知水平逐渐提高的重要体现。

行人重识别起初是利用颜色、纹理等手工图像特征表述进行研究，由于高维视觉特征不能在样本改变时获取不变因素，因此这些行人重识别模型中最为关键的因素是距离的度量，即通过度量学习获取ROI(Region Of Interest，感兴趣区域)的判别性特征。但是行人重识别算法若基于手工特征的话，度量学习和特征提取这两步是分离使用的，无法相互利用二者间的相关信息，因此无法取得最佳性能。

目前，大量的行人重识别研究均基于深度学习开展进行。厦门大学钟准、郑良参与指导的团队，通过CycleGAN完成图像风格迁移，在训练集中增加更多样本来了解摄像机之间的风格差异，解决个人身份识别中的数据稀缺问题，并学习不同摄像机之间的不变特征。北京大学高文团队提出了一种针对ReID的生成式对抗网络PTGAN，这种网络可以对ReID的不同数据集进行行人图片的背景迁移，即确保包含行人自身的前景不变而将背景转换成特定数据集的背景风格。中科院自动化所孙哲南课题组主要针对partial ReID问题，对有遮挡情况下的重识别问题进行相关研究。他们提出的算法通过卷积神经网络(ConvolutionalNetural Network,CNN)网络进行图像空间域的重新构建，把输出空间域特征图与输入图像尺寸保持一致。自动化所侯增广课题组王贯安博士的论文，他提出通过联合像素和特征对齐来解决夜间行人重识别问题，论文中的AlignGAN方法比其他方法具有明显的优势。

在实现本申请的过程中，发明人发现现有技术中存在以下技术问题：

虽然研究人员在行人重识别方向上取得了大量卓有成效的成果，但是与此同时，深度学习在行人重识别方向的落地也存在着许多问题，如在实际场景中行人衣物会受到光照、角度、遮挡、清晰度等多种条件影响，传统方法对行人衣物和相关属性识别十分困难。

发明内容

为了克服上述深度学习对传统颜色特征识别性能较差的技术不足，，本申请提供了基于人体解析与衣着颜色相结合的行人重识别方法及***；

第一方面，本申请提供了基于人体解析与衣着颜色相结合的行人重识别方法；

基于人体解析与衣着颜色相结合的行人重识别方法，包括：

获取待识别的目标行人图像；

将待识别目标行人图像，输入到预先构建的人体解析模型中，输出待识别目标行人的身体部位类别；

对待识别目标行人图像，提取各类别身体部位的颜色特征；

依据提取的各类别身体部分的颜色特征，从候选图片中识别出目标行人。

第二方面，本申请提供了基于人体解析与衣着颜色相结合的行人重识别***；

基于人体解析与衣着颜色相结合的行人重识别***，包括：

获取模块，其被配置为：获取待识别的目标行人图像；

类别划分模块，其被配置为：将待识别目标行人图像，输入到预先构建的人体解析模型中，输出待识别目标行人的身体部位类别；

颜色特征提取模块，其被配置为：对待识别目标行人图像，提取各类别身体部位的颜色特征；

输出模块，其被配置为：依据提取的各类别身体部分的颜色特征，从候选图片中识别出目标行人。

第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。

与现有技术相比，本申请的有益效果是：

本申请基于人体解析的行人重识别方法采用了改进的人体解析网络来识别行人的上衣和下衣颜色，能够解决深度学习对传统手工特征学习结果差的问题。同时提出的方法属于轻量级方法，实验证明此方法能够作为其他行人重识别先验方法来筛选出相关不符合的图片。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本申请第一个实施例的人体解析网络框架示意图；

图2(a)-图2(b)是本申请第一个实施例的HSV颜色空间分布示意图；

图3(a)-图3(d)是本申请第一个实施例的经过人体解析后的人体分割示意图；

图4(a)-图4(e)是本申请第一个实施例的人体解析作为先验条件的筛选后的图片结果示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了基于人体解析与衣着颜色相结合的行人重识别方法；

基于人体解析与衣着颜色相结合的行人重识别方法，包括：

S101：获取待识别的目标行人图像；

S102：将待识别目标行人图像，输入到预先构建的人体解析模型中，输出待识别目标行人的身体部位类别；

S103：对待识别目标行人图像，提取各类别身体部位的颜色特征；

S104：依据提取的各类别身体部分的颜色特征，从候选图片中识别出目标行人。

作为一个或多个实施例，所述预先构建的人体解析模型；具体构建步骤包括：

S1021：构建神经网络模型；

S1022：构建训练集；所述训练集采用已知人体部位类别的若干张人物实例图像；

S1023：将训练集输入到神经网络模型中，当神经网络模型的损失函数达到最小值时，停止训练，输出训练好的神经网络模型。

示例性的，所述神经网络模型为U-net模型。

所述U-net模型，是通过扩大网络解码器的改进全卷积算法，此种算法在编码和解码模块添加收缩路径来更好的实现像素边界的定位，其网络模型与U型十分相似，左侧网络在下采样过程中使用了卷积和最大池化，并在下降时逐次增加特征通道。U-Net整体的思路与全卷积相似，主要差别在进行浅层特征融合时没有采用求和操作而是采用叠加，同时在U-Net中没有使用预训练模型。

进一步地，改进的U-net模型，包括：

U-net原始结构中，卷积层并没有使用残差网络，也没有使用ASPP结构，改进的网络使用了Deeplab-ASPP的空洞卷积层来加大感受野和Unet的反卷积层实现特征可视化，人体解析网络主要的结构如附图中图1所示。

示例性的，本申请中的人体解析模型采用了Look in Person(LIP)数据集进行训练，此数据集包含19种人体部位的类别标注和16个关键点姿势标注，共有五万余张从COCO数据集中裁剪出来的人物实例图像。LIP数据集有着极为详细的像素标注，且图像是从现实世界中收集的，具有各种遮挡、不同视角、不同分辨率，背景也十分复杂，数据集的命名方式为image-id_instance-id。

LIP数据集中加上背景的属性总共包含20种，分别为：Background、Hat、Hair、Glove、Sunglasses、Upper-clothes、Dress、Coats、Socks、Pants、Jumpsuits、Scarf、Skirt、Face、Left-arm、Right-arm、Left-leg、Right-leg、Left-shoes、Right-shoes等属性。

本申请所提出的颜色识别算法只需要统计行人上衣和下衣的颜色直方图，所以在设计属性时将LIP数据集中相关属性进行合并归类，如：将Left-arm、Right-arm、Glove归为arm；将Left-leg、Right-leg、Socks归为leg；将Left-shoe、Right-shoe归为shoes；将Pants、Skirt归为l-clothes；将Hat、Hair归为Hair；将Sunglasses、Face归为Face；将Upper-clothes、Dress、Coats、Jumpsuits归为u-clothes。综上所述，上衣即为u-clothes中的类别；同理，下衣为l-clothes中的类别。

为了提高网络的运行效率，将原测试过程中消耗计算机资源最为严重的对人体调色板上色步骤省去，直接简化为返回行人指定位置的坐标，便于部署到硬件资源一般的设备上。

作为一个或多个实施例，所述将待识别目标行人图像，输入到预先构建的人体解析模型中，输出待识别目标行人的身体部位类别；包括：

将待识别目标行人图像，输入到预先构建的人体解析模型中，输出各个属性类别，将属性类别按照上衣和下衣进行归类，输出待识别目标行人的上衣图像和下衣图像。

示例性的，所述各个属性类别，包括：背景、帽子、头发、手套、太阳镜、外套、裙子、袜子、裤子、连体裤、面部、左胳膊、右胳膊、左腿、右腿、左鞋子、右鞋子。

示例性的，所述将属性类别按照上衣和下衣进行归类，是指将帽子、头发、手套、太阳镜、外套、面部、左胳膊、右胳膊归类为上衣；将袜子、裤子、连体裤、左腿、右腿、左鞋子、右鞋子、裙子归类为下衣。

应理解的，这里的上衣是指上半身所穿的衣服，这里的下衣是指下半身所穿的衣服。

人体解析(Human parsing)是语义分割中的一个子课题，它将在图像中捕获的人体图像分割成身体部位、衣服等多个语义上相同的区域，是一种比寻找人体轮廓的分割更有难度的细粒度的语义分割任务。采用了用于人体解析的改进对抗网络，此种新型网络减少了人体错位、模糊等语义不一致性。所采用的改进网络通过较小的感受野实现了全局和局部监督，避免了GAN网络在处理高分辨率图像收敛差的问题。

作为一个或多个实施例，所述对待识别目标行人图像，提取各类别身体部位的颜色特征；是指识别上衣的HSV特征和下衣的HSV特征。

进一步地，所述对待识别目标行人图像，提取各类别身体部位的颜色特征；包括：

S1031：识别待识别目标行人图像的上衣的RGB颜色特征和下衣的RGB颜色特征；

S1032：将上衣的RGB颜色特征和下衣的RGB颜色特征，转换到HSV颜色空间，得到上衣的HSV颜色特征和下衣的HSV颜色特征。

应理解的，颜色空间是简化的颜色规范，它是表示颜色的一种数学方法，以数字形式表示颜色，也被称为彩色空间或彩色***，通常以三维模型表示。颜色空间也决定了不同颜色间的转换是不同的。

RGB(Red,Green,Blue)颜色空间是根据人眼识别的颜色定义的空间，但由于它将饱和度、色调、亮度三个参数放在了一起从而导致细节难以进行数字化调整且不够直观，所以一般在科学研究中不使用，RGB颜色空间主要用于彩色监视器、视频摄像等。

HSV(Hue,Saturation,Value)颜色空间是工业界常用的颜色模型，是通过对色调(H)、饱和度(S)、亮度值(S)三个颜色的变化以及相互之间的叠加来产生所有颜色。它的特点是色调饱和度分量与人眼感受的颜色的方式相同且亮度分量与图像的彩色信息无关，所以HSV颜色空间十分适合感知颜色特性应用在图像处理算法中。

如图2(a)-图2(b)所示，HSV颜色空间呈现出六棱锥分布，圆周角度代表色调H，取值范围为0-360°，红色为0°，绿色为120°，蓝色为240°。饱和度S表示颜色与光谱色相似的程度，颜色越深越艳则饱和度越高，S＝0时只有灰度，通常取值范围是0％-100％。

V表示色彩的明亮程度，范围从0％到100％，V＝0时光源色为黑，但是它和光强没有直接关系。本申请中对各种颜色判断的量化区间为：

HSV_COLOR_SPACE＝{'black′:[[0,180],[0,255],[0,46]],

′white′:[[0,180],[0,43],[120,255]],

′gray′:[[0,180],[0,43],[46,120]],

′red1':[[0,10],[43,255],[46,255]],

′red2':[[156,180],[43,255],[46,255]],

′orange':[[11,25],[43,255],[46,255]],

′yellow':[[26,34],[43,255],[46,255]],

′green':[[35,77],[43,255],[46,255]],

′blue-green':[[78,99],[43,255],[46,255]],

′blue':[[100,124],[43,255],[46,255]],

′purple':[[125,155],[43,255],[46,255]],}

由于实验中采用的是Python版本的开源计算机视觉库OpenCV进行颜色的提取，其默认的颜色空间是BGR，所以需要重新转换为HSV颜色空间，转换公式如式(1)到式(9)所示：

R'＝R/255 (1)

G′＝G/255 (2)

B'＝B/255 (3)

C_max＝max(R′,G′,B′) (4)

C_min＝min(R′,G′,B′) (5)

Δ＝C_max-C_min (6)

V＝C_max (9)

颜色匹配的前提是人体解析网络已经将行人图片分割为上半部分和下半部分，将上下部分输入到颜色直方图算法中。首先使用公式(1)到公式(9)将BGR颜色空间转换为HSV空间；再查找符合每一种颜色的HSV颜色空间数值的范围，即统计出满足HSV颜色量化空间每一种颜色的比例；对符合条件的像素值进行统计后，与上一种人体解析类型的像素值进行比较，若统计的像素个数过小即相关区域颜色面积过小，则舍弃；最后进行排序。

颜色匹配算法的伪代码描述如下：

作为一个或多个实施例，所述依据提取的各类别身体部分的颜色特征，从候选图像中识别出目标行人；具体步骤包括：

假设候选图像中行人的上衣HSV颜色特征和下衣的HSV颜色特征均为已知量；

计算待识别目标行人的上衣的HSV颜色特征与所有候选图像的所有已知目标上衣HSV颜色特征的距离，如果距离小于设定阈值，则表示待识别目标行人的上衣与候选图像的上衣颜色相同，则对相应候选图像的置信度加一；

计算待识别目标行人的下衣的HSV颜色特征与所有候选图像的所有已知目标下衣HSV颜色特征的距离，如果距离小于设定阈值，则表示待识别目标行人的下衣与候选图像的下衣颜色相同，则对相应候选图像的置信度加一；

将候选图像按照置信度从高到低进行排序，将排序靠前的N张候选图像输出，作为行人重识别的结果。

示例性的，将目标行人图片输入人体解析网络中，并利用人体解析算法对检索库中的行人图片进行筛选。其中，在进行颜色匹配过程中，选取了占比排序前三的颜色，若前两种颜色相同则判定为合格的图片。

同时，在目标图像和候选库的行人图像进行对比时，采用了置信度判断的方法，当行人上衣或者下衣颜色相同达到设定的阈值1和阈值2后才算作合格的图片。

算法实现的具体步骤如下方伪代码所示：

行人重识别在实际场景中行人衣物会受到光照、角度、遮挡、清晰度等多种条件影响，传统方法对行人衣物和相关属性识别十分困难。而深度学习方法对传统方法中的颜色识别结果不那么敏感。为了克服上述深度学习对传统颜色特征识别性能较差的技术不足，本申请结合了深度学习中的人体解析方法与传统颜色识别的HSV颜色直方图方法，提供了一种基于人体解析网络成功提取各个部位的前提进行颜色的判断方法。

为了说明人体解析模型有效性，在计算机中进行了实验，将行人图片送入到网络中，如图3(a)-图3(d)所示，行人的语义分割较为成功，上身衣物和下身衣物均能够提取出来。

为了验证所提出的筛选方法的有效性，将穿着不同颜色衣物的行人图像送入到本申请中的算法中，如图4(a)-图4(e)所示，经过人体解析作为先验条件的行人重识别方法后的图片中没有衣服颜色相差较大的情况出现，实现了行人重识别数据的初步筛选。

当计算机对行人图像人体解析后，网络可以提取出相应部位，后续步骤需对衣物进行颜色识别，主要采用了传统的颜色空间的HSV方法。

本申请能够解决深度学习对传统手工特征学习结果差的问题，能够作为其他行人重识别先验方法来筛选出相关不符合的图片。

人体解析属于深度学习其中的一个领域，采用了人体解析的改进对抗网络，此种网络减少了人体错位、模糊等语义不一致性。所采用的改进网络通过较小的感受野实现了全局和局部监督，避免了GAN网络在处理高分辨率图像收敛差的问题。

实施例二

本实施例提供了基于人体解析与衣着颜色相结合的行人重识别***；

基于人体解析与衣着颜色相结合的行人重识别***，包括：

获取模块，其被配置为：获取待识别的目标行人图像；

此处需要说明的是，上述获取模块、类别划分模块、颜色特征提取模块和输出模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的***，可以通过其他的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.基于人体解析与衣着颜色相结合的行人重识别方法，其特征是，包括：

获取待识别的目标行人图像；

对待识别目标行人图像，提取各类别身体部位的颜色特征；

2.如权利要求1所述的方法，其特征是，所述预先构建的人体解析模型；具体构建步骤包括：

构建神经网络模型；

构建训练集；所述训练集采用已知人体部位类别的若干张人物实例图像；

将训练集输入到神经网络模型中，当神经网络模型的损失函数达到最小值时，停止训练，输出训练好的神经网络模型。

3.如权利要求2所述的方法，其特征是，所述神经网络模型为U-net模型。

4.如权利要求1所述的方法，其特征是，所述将待识别目标行人图像，输入到预先构建的人体解析模型中，输出待识别目标行人的身体部位类别；包括：

5.如权利要求1所述的方法，其特征是，所述对待识别目标行人图像，提取各类别身体部位的颜色特征；是指识别上衣的HSV特征和下衣的HSV特征。

6.如权利要求1所述的方法，其特征是，所述对待识别目标行人图像，提取各类别身体部位的颜色特征；包括：

识别待识别目标行人图像的上衣的RGB颜色特征和下衣的RGB颜色特征；

将上衣的RGB颜色特征和下衣的RGB颜色特征，转换到HSV颜色空间，得到上衣的HSV颜色特征和下衣的HSV颜色特征。

7.如权利要求1所述的方法，其特征是，依据提取的各类别身体部分的颜色特征，从候选图片中识别出目标行人；具体步骤包括：

8.基于人体解析与衣着颜色相结合的行人重识别***，其特征是，包括：

获取模块，其被配置为：获取待识别的目标行人图像；

9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。