CN111582154A - 基于多任务骨架姿态划分部件的行人重识别方法 - Google Patents

基于多任务骨架姿态划分部件的行人重识别方法 Download PDF

Info

Publication number
CN111582154A
CN111582154A CN202010377073.8A CN202010377073A CN111582154A CN 111582154 A CN111582154 A CN 111582154A CN 202010377073 A CN202010377073 A CN 202010377073A CN 111582154 A CN111582154 A CN 111582154A
Authority
CN
China
Prior art keywords
pedestrian
network
skeleton
feature
multitask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010377073.8A
Other languages
English (en)
Inventor
陈海英
王慧燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202010377073.8A priority Critical patent/CN111582154A/zh
Publication of CN111582154A publication Critical patent/CN111582154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多任务骨架姿态划分部件的行人重识别方法。本发明将行人特征提取和骨架关键点检测两个任务联合构建模型,其中行人特征提取网络采用了改进的InceptionResNetv2网络,与骨架关键点检测分支进行特征融合,提高了网络特征表达能力,同时能够根据人的形体自适应地进行区域分块,提高了细节特征提取的精细度和准确率,适用于解决外观特征相似,需要借助于外观细节进行辨识的行人重识别问题。

Description

基于多任务骨架姿态划分部件的行人重识别方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于多任务骨架姿态划分部件的行人重识别方法。
背景技术
行人重识别是指从不同摄像机捕获的行人图像中识别这个行人的身份,旨在弥补目前固定的摄像头的视觉局限,并与行人检测/行人跟踪技术相结合,可广泛应用于智能视频监控、智能安防等领域。给定包含目标行人(查询)的图像,行人重识别(re-identification,ReID)技术尝试从大量行人图像(图库)中搜索包括相同行人的图像,广泛被认为是一个图像检索的子问题;ReID因其重要的理论价值和广阔的应用前景,受到了学术界和工业界的极大关注。
近年来ReID技术发展的很快,但是由于摄像机视角、高度、行人姿态、复杂背景、分辨率等的显著变化,使得ReID仍然是一项非常具有挑战性的任务。与人脸识别任务相比较,ReID的场景更加复杂,有一些困难的问题没有解决,尤其是当行人着装等外观特征很相似时的识别更是一件困难的任务,且已有的细节特征提取多是基于均匀分块的方法,精细度不够。
发明内容
本发明的目的是针对现有行人重识别技术的不足,提供一种基于多任务骨架姿态划分部件的行人重识别方法,具体包括如下步骤:
步骤(1)数据预处理。
对样本图像进行归一化处理,以512×512大小的输入图像为例,如果样本图像大于该尺寸,则进行随机裁剪得到,如果样本图像大小比该尺寸小,则进行等比例放大后再进行裁剪。
步骤(2)设计网络模型进行特征提取。
基于多任务骨架姿态划分的行人重识别模型包含两个分支:行人特征提取分支和骨架关键点检测分支。
其中行人特征提取分支为主网络,采用了改进的InceptionResNetv2作为骨干网,将原来InceptionResNetv2最后一个下采样层暂时丢弃掉,得到空间张量特征集合(TensorT),从而可得到行人的全局特征。
其中骨架关键点检测分支采用VGG网络结构,网络末端通过1*1卷积输出一个置信图,置信图的层数与人体关节点的个数相同,每一层表示一个关节点的热图。借助骨架关键点检测分支得到的骨架关键点进行部件划分,按照水平方向分成七部分,即七个空间张量α,得到行人的局部特征。
将全局特征和局部特征采用按向量拼接的方式进行融合,如若这两个特征向量的维度是相同的,则直接采用按向量拼接的方式进行融合;如果是不同维度,则可以通过线性变换转换成同维向量,再用按向量拼接的方式进行融合以增强特征的表达能力,得到七个空间张量μ。
最后再将七个空间张量μ各自进行平均汇合(average pooling)得到七个列向量β,利用1*1卷积进行通道降维后得到七个列向量γ,七个列向量γ接7个全连接层(FCLayer),通过Softmax进行分类得到七个特征向量,整个过程权值不共享。
步骤(3)采用标签平滑损失函数对模型进行训练,使得网络参数最优。
根据骨架姿态在ImageNet数据库上进行训练得到一个预训练网络,然后将步骤(2)产生的七个特征向量(权值不共享)输入到标签平滑损失函数中得到七个损失函数,并利用反向传播算法对定义的骨架姿态划分部件的行人重识别的模型参数进行训练,直至整个网络模型收敛。
步骤(4)测试时,将七个列向量γ采用按点逐位相加的方式组合成(concatenation)一个特征向量,计算查询集中指定对象和候选集中的每一个对象的欧式距离,接着对所计算得到的距离进行升序排序,获得识别结果。
本发明的有益效果:本发明提出的方法能够根据人的形体自适应地进行区域分块,与已有的方法相比,提高了细节特征提取的精细度,适合于解决外观特征相似、需要借助于外观细节进行辨识的行人ReID问题。
附图说明
图1为根据本发明的的流程图;
图2为根据本发明的总体网络结构图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明,该方法一实施例的流程如图1所示。本发明基于骨架姿态划分部件的行人重识别方法,包括如下步骤:
步骤(1)、数据预处理
获取足够数量的样本图像(100),图像可以从网络下载(Market1501,DukeMTMC-reID,CUHK03),也可以自行拍摄处理。
对样本图像进行归一化处理(101),以512×512大小的输入图像为例,如果样本图像大于该尺寸,则进行随机裁剪得到,如果样本图像大小比该尺寸小,则进行等比例放大后再裁剪得到。
步骤(2)、设计网络模型进行特征提取
输入图片数据进入采用了改进的InceptionResNetv2作为骨干网,InceptionResNetv2可以在训练时融合不同尺度的feature map。
改进的InceptionResNetv2输入首先经过stem结构(202),也就是输入为3通道,即图片的RGB通道,经过stem网络结构,输出为256通道。
再将stem网络输出的256通道数据输入到5个Inception-ResNet-A(203)网络中,输出依旧为256通道。
将5个Inception-ResNet-A网络中的输出的通道数为256,输入到Reduction-A(204)中,输出为通道数为896的卷积。
将从Reduction-A中输出的结果,输入到10个Inception-ResNet-B(205)中,得到通道数为896的卷积。
将Inception-ResNet-B的输出结果输入到Reduction-A(206)中,得到输出通道数为1792的卷积。
将Reduction-A的结果输入到5个Inception-ResNet-C(207)中,得到通道数为1792的卷积,即得到空间张量特征集合Tensor T,也就是行人的全局特征。
然后借助骨架关键点检测网络分支(208)得到的骨架关键点进行7个部件划分,按照水平方向分成7部分,即7个空间张量α,得到行人的局部特征。基于多任务骨架姿态划分的行人重识别方法对行人采用7个部件进行划分是利用了14个人体关键点来提取局部特征来提高行人重识别的准确率,7个部件分别是头,上半身根据行人手肘的关键点分成两部分,胯为一部分,腿根据膝关节分成两部分,然后脚为一部分,总共将人体分为7个部件,这样有助于在不破坏行人的重要特征下,提取行人的局部特征。
再将全局特征和局部特征采用按向量拼接的方式进行融合,如若这两个特征向量的维度是相同的,则直接采用按向量拼接的方式进行融合;如果是不同维度,则可以通过线性变换转换成同维向量,再用按向量拼接的方式进行融合以增强特征的表达能力,得到7个空间张量μ。
最后再将7个空间张量μ各进行平均池化(average pooling),得到7个列向量β。使用1*1卷积对β降维通道数得到7个列向量γ,然后接7个全连接层,Softmax进行分类得到7个特征向量(209),整个过程权值不共享,训练时就相当于有7个损失。
在输入图片通过骨架关键点检测分支(208),输入图片经过经典VGG结构,并用1*1卷积,输出一个置信图,如果人体有p个关节点,那么置信图有p层,每一层表示一个关节点的热图。置信图与标签计算该阶段的损失,并存储起来,在网络末尾将每一层的损失加起来作为总损失用于反向传输,实现中间监督,避免梯度消失。
步骤(3)、模型训练(102)
根据行人特征提取分支和骨架关键点检测分支(208)进行联合训练,将网络产生的特征向量按向量拼接的方式进行特征融合输入到标签平滑损失损失函数中,并利用反向传播算法对定义的行人重识别的网络模型参数进行训练,使得网络模型的参数最优,其中模型训练采用的是标签平滑损失。
行人重识别的分类常使用交叉熵损失函数:
Figure BDA0002480530850000041
其中N为总的行人数,是行人标签。当输入图像i时,yi是图像中行人的标签,若yi为类别i,其值为1,否则为0。pi是网络预测该行人属于标签i行人的概率。
引入标签平滑损失函数的原因是交叉熵损失函数过度依赖正确的行人标签,容易造成训练过拟合的现象,为了避免训练过程出现过拟合现象。在行人训练样本中可能会存在少量的错误标签,这些错误标签会在一定程度上对预测结果产生一定影响,标签平滑损失函数还可用来防止模型在训练过程中过度依赖标签。故行人标签平滑处理就是在训练过程中,给标签设置一个错误率ε,以1-ε作为真实标签进行训练。
Figure BDA0002480530850000042
其中N为总的行人数,是行人标签。当输入图像i时,yi是图像中行人的标签,若yi为类别i,其值为1,否则为0。pi是网络预测该行人属于标签i行人的概率。ε为标签错误率。
步骤(4)、模型测试(103)
针对行人重识别数据集中包含的查询集和候选集,计算查询集中指定对象和候选集中的每一个对象的欧式距离,测试时是将7个列向量γ按向量拼接的方式合并在一起,再算相似度。接着对所计算得到的距离进行升序排序,获得行人重识别的排序结果,获得行人重识别结果。
综上,本发明根据大量不受控制的变化源,例如姿势和视点的显着变化,照明的复杂变化以及较差的图像质量,ReID面临的挑战性,提供一种新的基于骨架姿态对行人部件划分进行划分提取局部特征而不借助分割估计进行重识别的方法。本发明利用卷积神经网络的方法从单目RGB图像中内隐地利用图像的feature与图像相关的空间模型学习了人体姿态来划分人体部件,提出基于骨架姿态划分部件的行人重识别的方法,带来一定的准确率的提高,而且这也是进行行人识别的过程中一个合理的方式。

Claims (4)

1.基于多任务骨架姿态划分部件的行人重识别方法,其特征在于该方法包括如下步骤:
步骤(1)数据预处理;
获取足够数量的样本图像,并对样本图像进行归一化预处理;
步骤(2)设计网络模型进行特征提取;
所述的网络模型由两个分支组成:行人特征提取分支和骨架关键点检测分支;
所述的行人特征提取分支为主网络,采用改进的InceptionResNetv2作为骨干网,即将原来InceptionResNetv2最后一个下采样层暂时丢弃掉,得到空间张量特征集合,从而可得到行人的全局特征;
所述的骨架关键点检测分支采用VGG网络结构,网络末端通过1*1卷积输出一个置信图,置信图的层数与人体关节点的个数相同,每一层表示一个关节点的热图;借助骨架关键点检测分支得到的骨架关键点,按照水平方向分成七部分,即七个空间张量α,从而得到行人的局部特征;
将全局特征和局部特征采用按向量拼接的方式进行融合,得到七个空间张量μ,再将七个空间张量μ各自进行平均汇合得到七个列向量β,然后利用1*1卷积进行通道降维后得到七个列向量γ,七个列向量γ接七个全连接层,通过Softmax进行分类得到七个特征向量;
步骤(3)采用标签平滑损失函数对网络模型进行训练,使得网络参数最优;
步骤(4)测试时,将七个列向量γ采用按点逐位相加的方式组合成一个特征向量,计算查询集中指定对象和候选集中的每一个对象的欧式距离,接着对所计算得到的距离进行升序排序,获得识别结果。
2.根据权利要求1所述的一种基于多任务骨架姿态划分部件的行人重识别方法,其特征在于:步骤(1)中的预处理具体是:设定输入图像尺寸,如果样本图像大于该尺寸,则进行随机裁剪得到;如果样本图像小于该尺寸小,则进行等比例放大后再裁剪得到。
3.根据权利要求1所述的一种基于多任务骨架姿态划分部件的行人重识别方法,其特征在于:步骤(2)中如若这两个特征向量的维度是相同的,则直接采用按向量拼接的方式进行融合;如果是不同维度,则通过线性变换转换成同维向量,再用按向量拼接的方式进行融合以增强特征的表达能力。
4.根据权利要求1所述的一种基于多任务骨架姿态划分部件的行人重识别方法,其特征在于:步骤(3)具体是根据骨架姿态在ImageNet数据库上进行训练得到一个预训练网络,然后将步骤(2)产生的七个特征向量输入到标签平滑损失函数中得到七个损失函数,并利用反向传播算法对网络模型参数进行训练,直至整个网络模型收敛。
CN202010377073.8A 2020-05-07 2020-05-07 基于多任务骨架姿态划分部件的行人重识别方法 Pending CN111582154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010377073.8A CN111582154A (zh) 2020-05-07 2020-05-07 基于多任务骨架姿态划分部件的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010377073.8A CN111582154A (zh) 2020-05-07 2020-05-07 基于多任务骨架姿态划分部件的行人重识别方法

Publications (1)

Publication Number Publication Date
CN111582154A true CN111582154A (zh) 2020-08-25

Family

ID=72112062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010377073.8A Pending CN111582154A (zh) 2020-05-07 2020-05-07 基于多任务骨架姿态划分部件的行人重识别方法

Country Status (1)

Country Link
CN (1) CN111582154A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200093A (zh) * 2020-10-13 2021-01-08 北京邮电大学 一种基于不确定性估计的行人再识别方法
CN112487966A (zh) * 2020-11-30 2021-03-12 中再云图技术有限公司 一种流动商贩行为识别管理***
CN112966574A (zh) * 2021-02-22 2021-06-15 厦门艾地运动科技有限公司 人体三维关键点预测方法、装置及电子设备
CN114359970A (zh) * 2022-01-12 2022-04-15 平安科技(深圳)有限公司 行人重识别方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN108664904A (zh) * 2018-04-24 2018-10-16 长沙学院 一种基于Kinect的人体坐姿行为识别方法和***
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN110032940A (zh) * 2019-03-13 2019-07-19 华中科技大学 一种视频行人重识别的方法和***
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法
CN110717411A (zh) * 2019-09-23 2020-01-21 湖北工业大学 一种基于深层特征融合的行人重识别方法
CN110796026A (zh) * 2019-10-10 2020-02-14 湖北工业大学 一种基于全局特征拼接的行人重识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN108664904A (zh) * 2018-04-24 2018-10-16 长沙学院 一种基于Kinect的人体坐姿行为识别方法和***
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN110032940A (zh) * 2019-03-13 2019-07-19 华中科技大学 一种视频行人重识别的方法和***
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法
CN110717411A (zh) * 2019-09-23 2020-01-21 湖北工业大学 一种基于深层特征融合的行人重识别方法
CN110796026A (zh) * 2019-10-10 2020-02-14 湖北工业大学 一种基于全局特征拼接的行人重识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUANG,H. , ET AL.: "EANet: Enhancing Alignment for Cross-Domain Person Re-identification", pages 1 - 2 *
WU, X. , ET AL.: "Person Re-identification Based on Semantic Segmentation", pages 903 *
XIE,Y. , ET AL.: "Cross-Camera Person Re-Identification With Body-Guided Attention Network", pages 361 *
秦晓飞 等: "基于孪生网络和多距离融合的行人再识别", no. 01 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200093A (zh) * 2020-10-13 2021-01-08 北京邮电大学 一种基于不确定性估计的行人再识别方法
CN112487966A (zh) * 2020-11-30 2021-03-12 中再云图技术有限公司 一种流动商贩行为识别管理***
CN112487966B (zh) * 2020-11-30 2024-05-10 中再云图技术有限公司 一种流动商贩行为识别管理***
CN112966574A (zh) * 2021-02-22 2021-06-15 厦门艾地运动科技有限公司 人体三维关键点预测方法、装置及电子设备
CN114359970A (zh) * 2022-01-12 2022-04-15 平安科技(深圳)有限公司 行人重识别方法、装置、电子设备及存储介质
WO2023134071A1 (zh) * 2022-01-12 2023-07-20 平安科技(深圳)有限公司 行人重识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN108764065B (zh) 一种行人重识别特征融合辅助学习的方法
Li et al. R $^ 3$-net: A deep network for multi-oriented vehicle detection in aerial images and videos
CN109325952B (zh) 基于深度学习的时尚服装图像分割方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN111582154A (zh) 基于多任务骨架姿态划分部件的行人重识别方法
CN111325111A (zh) 一种融合逆注意力和多尺度深度监督的行人重识别方法
CN110633632A (zh) 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN111310668B (zh) 一种基于骨架信息的步态识别方法
KR101917354B1 (ko) 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
CN111582126B (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
CN108764019A (zh) 一种基于多源深度学习的视频事件检测方法
CN111985332B (zh) 一种基于深度学习的改进损失函数的步态识别方法
CN113221770B (zh) 基于多特征混合学习的跨域行人重识别方法及***
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN111488766A (zh) 目标检测方法和装置
Akanksha et al. A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP.
Wang et al. Summary of object detection based on convolutional neural network
CN114973305B (zh) 一种针对拥挤人群的精确人体解析方法
Kavimandan et al. Human action recognition using prominent camera
CN115063831A (zh) 一种高性能行人检索与重识别方法及装置
CN114663835A (zh) 一种行人跟踪方法、***、设备及存储介质
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用
Kamaleswari et al. An Assessment of Object Detection in Thermal (Infrared) Image Processing
CN111401286A (zh) 一种基于部件权重生成网络的行人检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination