CN109101866A - 基于分割剪影的行人再识别方法及*** - Google Patents
基于分割剪影的行人再识别方法及*** Download PDFInfo
- Publication number
- CN109101866A CN109101866A CN201810567647.0A CN201810567647A CN109101866A CN 109101866 A CN109101866 A CN 109101866A CN 201810567647 A CN201810567647 A CN 201810567647A CN 109101866 A CN109101866 A CN 109101866A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- feature
- model
- outline
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000006870 function Effects 0.000 claims description 43
- 238000012360 testing method Methods 0.000 claims description 24
- 210000000746 body region Anatomy 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域,具体涉及一种基于分割剪影的行人再识别方法及***,旨在解决如何消除图像背景噪声,提高行人再识别准确率的问题。为此目的,本发明中的行人再识别方法包括:基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取待测行人的行人特征;分别计算行人特征与每个预设的行人身份特征之间的相似度;获取最大相似度对应的行人身份特征,并根据所获取的行人身份特征获取待测行人的身份信息。基于本发明的行人再识别方法可以较好的解决背景杂乱情况下的行人再识别问题,提高识别准确率。同时,本发明中的行人再识别***能够执行并实现上述方法。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于分割剪影的行人再识别方法及***。
背景技术
行人再识别是利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术,该技术在安防监控、智能视频分析、人员搜救检索等领域具有广泛的应用。
行人再识别技术通过处理图像数据进行目标检测,在学术界已经研究多年,直到最近几年随着深度学习的发展,才取得巨大的突破。基于深度卷积神经网络提取行人特征描述,最理想的状态是提取的特征具有很强的区分效果,并且相对来说比较稳定,但是由于复杂的现实环境,图像的背景部分会带来严重的噪声,且行人具有多种多样的姿态和视角,所以难以提取较好的行人特征描述,这样给行人再识别技术带来了巨大的挑战。基于此,本发明提供了一种基于分割剪影的行人再识别方法及***可以较好的解决这一问题。
发明内容
为了解决现有技术中的上述问题,即为了解决如何消除图像背景噪声,提高行人再识别准确率的问题,本发明的一方面,提供了一种基于分割剪影的行人再识别方法,包括:
基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取所述待测行人的行人特征;
分别计算所述行人特征与每个预设的行人身份特征之间的相似度;
获取最大相似度对应的行人身份特征,并根据所获取的行人身份特征获取所述待测行人的身份信息;
其中,所述行人再识别模型是根据预设的行人测试样本并利用机器学习算法所构建的深度卷积神经网络模型,所述行人身份特征是基于所述行人再识别模型并根据预设的行人比对样本的彩色图像及对应的分割剪影,获取到的所述行人比对样本的行人特征。
进一步地,本发明提供的一个优选技术方案为:
所述行人再识别模型包括对比注意模型;在“基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取所述待测行人的行人特征”的步骤之前,所述方法包括:
利用所述对比注意模型并根据所述行人再识别模型中特定卷积层的输出特征和行人测试样本对应的分割剪影,获取行人身体敏感特征和行人背景敏感特征;
根据所述特定卷积层的输出特征、行人身体敏感特征和行人背景敏感特征,获取所述行人测试样本对应的全局特征H、行人身体区域特征和H+行人背景区域特征H-;
根据所述H、H+和H-,并按照下式所示的损失函数Lall对所述行人再识别模型进行模型训练:
Lall=Lid+α·Ltriplet+β·Latt
其中,所述Lid是所述H、H+和H-对应的分类损失函数,所述Ltriplet是所述H、H+和H-对应的三元组约束损失函数,所述Latt是所述对比注意模型对应的损失函数,所述α和β均是预设的超参数。
进一步地,本发明提供的一个优选技术方案为:
所述三元组约束损失函数Ltriplet如下式所示:
其中,所述m是预设的边界参数,所述表示“H-H+”的2范数的平方,所述表示“H-H-”的2范数的平方。
进一步地,本发明提供的一个优选技术方案为:
所述对比注意模型包括身体区域注意模型和背景区域注意模型;“利用所述对比注意模型并根据所述行人再识别模型中特定卷积层的输出特征和行人测试样本对应的分割剪影,获取行人身体敏感特征和行人背景敏感特征”的步骤包括:
利用所述身体区域注意模型并根据所述特定卷积层的输出特征和预设的第一权重矩阵Φ+,获取所述行人身体敏感特征;
利用所述背景区域注意模型并根据所述特定卷积层的输出特征和预设的第二权重矩阵Φ-,获取所述行人背景敏感特征;
其中,Φ++Φ-=O,所述O是全1矩阵。
进一步地,本发明提供的一个优选技术方案为:
所述对比注意模型对应的损失函数Latt如下式所示:
其中,所述I是分割剪影M横轴方向的像素数,所述J是分割剪影M竖轴方向的像素数,所述M(i,j)是分割剪影M在位置(i,j)处的值,所述是第一权重矩阵在位置(i,j)处的值,所述表示的2范数的平方。
本发明的另一方面,还提供了一种基于分割剪影的行人再识别***,包括:
特征提取模块,其配置为基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取所述待测行人的行人特征;
特征对比模块,其配置为分别计算所述行人特征与每个预设的行人身份特征之间的相似度;
身份识别模块,其配置为获取最大相似度对应的行人身份特征,并根据所获取的行人身份特征获取所述待测行人的身份信息;
其中,所述行人再识别模型是根据预设的行人测试样本并利用机器学习算法所构建的深度卷积神经网络模型,所述行人身份特征是基于所述行人再识别模型并根据预设的行人比对样本的彩色图像及对应的分割剪影,获取到的所述行人比对样本的行人特征。
进一步地,本发明提供的一个优选技术方案为:
所述行人再识别模型包括对比注意模型;
所述行人再识别***还包括模型训练模块,该模型训练模块包括:
敏感特征获取单元,其配置为利用所述对比注意模型并根据所述行人再识别模型中特定卷积层的输出特征和行人测试样本对应的分割剪影,获取行人身体敏感特征和行人背景敏感特征;
区域特征获取单元,其配置为根据所述特定卷积层的输出特征、行人身体敏感特征和行人背景敏感特征,获取所述行人测试样本对应的全局特征H、行人身体区域特征和H+行人背景区域特征H-;
模型更新单元,其配置为根据所述H、H+和H-,并按照下式所示的损失函数Lall对所述行人再识别模型进行模型训练:
Lall=Lid+α·Ltriplet+β·Latt
其中,所述Lid是所述H、H+和H-对应的分类损失函数,所述Ltriplet是所述H、H+和H-对应的三元组约束损失函数,所述Latt是所述对比注意模型对应的损失函数,所述α和β均是预设的超参数。
进一步地,本发明提供的一个优选技术方案为:
所述三元组约束损失函数Ltriplet如下式所示:
其中,所述m是预设的边界参数,所述表示“H-H+”的2范数的平方,所述表示“H-H-”的2范数的平方。
进一步地,本发明提供的一个优选技术方案为:
所述对比注意模型包括身体区域注意模型和背景区域注意模型;在此情况下,所述敏感特征获取单元进一步配置为执行如下操作:
利用所述身体区域注意模型并根据所述特定卷积层的输出特征和预设的第一权重矩阵Φ+,获取所述行人身体敏感特征;
利用所述背景区域注意模型并根据所述特定卷积层的输出特征和预设的第二权重矩阵Φ-,获取所述行人背景敏感特征;
其中,Φ++Φ-=O,所述O是全1矩阵。
进一步地,本发明提供的一个优选技术方案为:
所述对比注意模型对应的损失函数Latt如下式所示:
其中,所述I是分割剪影M横轴方向的像素数,所述J是分割剪影M竖轴方向的像素数,所述M(i,j)是分割剪影M在位置(i,j)处的值,所述是第一权重矩阵在位置(i,j)处的值,所述表示的2范数的平方。
与最接近的现有技术相比,上述技术方案至少具有如下有益效果:
1、本发明的行人再识别方法中通过引入分割剪影,一方面可以提供行人身体轮廓信息,另一方面可以给后续的卷积神经网络模型提供指导,让其能够在学习的过程中关注到包含人体的区域。该方法对于图像中多样的背景变化具有极强的鲁棒性,可以较好的解决背景杂乱情况下的行人再识别问题,提高识别准确率。
2、通过行人的彩色图像及对应的分割剪影训练基于深度卷积神经网络构建的行人再识别模型,行人分割轮廓含有人体体型等个体相关的信息能够指导卷积神经网络的训练,可以提高行人再识别的准确率。
3、本发明提供的一种基于分割剪影的行人再识别***,该***可以实现上述基于分割剪影的行人再识别方法。
附图说明
图1是本发明实施例中一种基于分割剪影的行人再识别方法的主要步骤示意图;
图2是本发明实施例中一种行人彩色图像、对应的分割剪影及行人彩色图像与对应分割剪影构成的四通道输入数据示意图;
图3是本发明实施例中一种行人再识别模型的主要结构示意图;
图4本发明实施例中一种基于分割剪影的行人再识别算法的流程示意图;
图5本发明实施例中一种基于分割剪影的行人再识别***的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明的目的是针对现有技术中的行人图像中含有杂乱的背景,并且图像中的行人通常有多种多样的姿态和视角的难题,本发明一方面引入了二值化的行人分割剪影来提供身体轮廓信息,另一方面利用分割剪影给后续采用的卷积神经网络模型提供指导,构造对比注意模型来学习背景无关的行人特征,提高行人再识别的准确率。为实现上述目的,本发明提供的基于分割剪影的行人再识别方法中,首先引进二值化的行人分割剪影作为额外输入,并与彩色图像合成为四通道的输入;然后设计一种基于分割剪影的对比注意模型来学习背景无关的行人特征;最后采用一种区域级别的三元组损失来约束全图区域、行人身体区域、背景区域的特征,让来自全图区域和行人身体区域的特征在特征空间靠近,并远离背景区域的特征,从而达到去除背景噪声的作用。
下面结合附图,对本发明提供的基于分割剪影的行人再识别方法进行说明。
参阅附图1,图1示例性示出了本发明实施例中基于分割剪影的行人再识别方法的主要步骤,如图1所示,本实施例中的基于分割剪影的行人再识别方法可以包括下述内容:
步骤S101:基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取待测行人的行人特征。
本实施中,待测行人的彩色图像及对应的分割剪影构成四通道输入数据,将该数据输入行人再识别模型,获取待测行人的行人特征。
参阅附图2,图2示例性示出了本发明实施例中一种行人彩色图像、对应的分割剪影及行人彩色图像与对应分割剪影构造的四通道输入数据,如图2所示,左数第1幅图为行人彩色图像,其包含行人身体区域和背景区域,从行人身体区域中可以看出图像拍摄的视角是背面视角,待测行人的姿势是侧身站立姿势;在背景区域中,可以看出背景部分是较为杂乱的环境。左数第2幅图为行人分割剪影,其对应行人彩色图像的行人身体轮廓信息,该行人分割剪影为二值化后的行人剪影图像。左数第3幅图为四通道输入数据,该数据为基于行人彩色图像及对应的分割剪影构造的四通道输入数据。
本实施例中,行人再识别模型是根据预设的行人测试样本并利用机器学习算法所构建的深度卷积神经网络模型,行人身份特征是基于行人再识别模型并根据预设的行人比对样本的彩色图像及对应的分割剪影,获取到的行人比对样本的行人特征。
参阅附图3,图3示例性示出了一种行人再识别模型的主要结构,如图3所示,行人再识别模型基于深度卷积神经网络构建,其包括对比注意模型,行人再识别模型的训练步骤如下:
步骤S201:将训练样本的彩色图像及对应的分割剪影输入行人再识别模型,在模型的特定卷积层输出特征F;
步骤S202:利用对比注意模型并根据特征F和行人测试样本对应的分割剪影,获取行人身体敏感特征F+和行人背景敏感F-;
步骤S203:根据特征F、行人身体敏感特征F+、行人背景敏感特征F-,获取行人测试样本对应的全局特征H、行人身体区域特征H+和行人背景区域特征H-;
步骤S204:根据H、H+和H-,并按照公式(1)所示的损失函数Lall对行人再识别模型进行训练:
Lall=Lid+α·Ltriplet+β·Latt (1)
其中,Lid是H、H+和H-对应的分类损失函数;Ltriplet是H、H+和H-对应的三元组约束损失函数;Latt是对比注意模型对应的损失函数;α和β均是预设的超参数,用于调节上述分类损失函数、三元组约束损失函数以及对比注意模型对应的损失函数之间的权重比值,通常分别设置为0.01和0.1。
三元组约束损失函数如公式(2)所示:
其中,m是预设的边界参数,通常设置为10;表示“H-H+”的2范数的平方;表示“H-H-”的2范数的平方。
对比注意模型对应的损失函数Latt如公式(3)所示:
其中,I是分割剪影M横轴方向的像素数,J是分割剪影M竖轴方向的像素数,M(i,j)是分割剪影M在位置(i,j)处的值,是第一权重矩阵在位置(i,j)处的值,表示的2范数的平方。
具体地,对比注意模型子网络还可以包括身体区域注意模型和背景区域注意模型,上述步骤S202的步骤包括:
利用身体区域注意模型并根据特征F和预设的第一权重矩阵Φ+,获取行人身体敏感特征F+;
利用背景区域注意模型并根据特定卷积层的输出特征F和预设的第二权重矩阵Φ-,获取行人背景敏感特征F-;
其中,Φ++Φ-=O,O是全1矩阵。
步骤S102:分别计算行人特征与每个预设的行人身份特征之间的形似度。
本实施例中,预设的行人身份特征是利用行人彩色图像及对应的分割剪影构造四通道输入数据,并归一化至160×64×4,输入训练好的行人再识别模型得到128维的行人特征。在测试阶段,将测试样本的行人彩色图像及对应的分割剪影输入训练好的行人再识别模型,得到全局特征H(即测试样本的行人特征),分别计算全局特征H与每个预设的行人身份特征的相似度。
步骤S103:获取最大相似度对应的行人身份特征,并根据所获得的行人身份特征获取待测行人的身份信息。
具体地,通过步骤S102得到待测行人的全局特征H与每个预设的行人身份特征的相似度,选取最大相似度对应的行人身份特征,并根据所获得的行人身份特征获取待测行人的身份信息。
下面通过另一实施例描述本发明的基于分割剪影的行人再识别方法。本实施中应用的是行人再识别数据库,包含1,501个行人的共32,368张图像及对应的行人分割剪影。
参阅附图4,图4示例性示出了本实施中基于分割剪影的行人再识别算法的流程,如图4所示,包括如下步骤:
步骤S0,将数据集中的32,368张行人彩色图像及对应的分割剪影构造成四通道的输入数据,这样就得到32,368个输入数据。
步骤S1,将S0中的输入数据归一化至统一的大小(如160×64×4像素),然后将该输入数据送入一个深度全卷积神经网络(即行人再识别模型)。
继续参阅附图3,如图3所示,该深度全卷积神经网络由4层卷积层与2个全连接层组成,且具有三个通道分支:全局通道、身体区域通道、背景区域通道。
步骤S2,选取S1中的深度卷积神经网络的第二个卷积层的输出特征F,在其后增加一个单层输出的卷积层(大小为40×16×1),作为身体区域注意模型的权重矩阵Φ+(每个权重的取值范围为[0,1]),该矩阵由相同大小(40×16×1)的分割剪影M作为监督,其损失函数为如公式(3)所示。
步骤S3,利用S2中获取的身体区域注意模型权重矩阵Φ+,容易得到对应的背景区域注意模型的权重矩阵Φ-,由于Φ+的取值范围为[0,1],因此Φ-=O-Φ+,其中O为全1矩阵。
步骤S4,分别利用S2和S3得到身体区域权重矩阵Φ+和背景区域权重矩阵Φ-按照空间位置作用于S2中选取的第二个卷积层的特征F上,即可分别身体敏感特征F+和背景敏感特征F-。
步骤S5,由S4中得到两种来自身体和背景区域特征F+和F-,以及深度卷积神经网络本身的特征F,分别经过2个卷积层和1个全连接层,输出三个128维的特征H+、H-和H,具体地,深度卷积神经网络本身的特征F通过全局通道输出特征向量H;身体敏感特征F+通过身体区域通道输出身体区域特征H+;背景敏感特征F-通过背景区域通道输出背景区域特征H-。将H+、H-和H构成一个三元组,并采用一种三元组约束损失函数约束这三个特征,让来自全图区域和行人身体区域的特征在特征空间靠近,并远离背景区域的特征,实现去除背景噪声的作用。其中,三元组约束损失函数如公式(2)所示。
步骤S6,在S5中的三个特征H+、H-和H可分别连接一个与训练集行人ID数大小相同的1501维的全连接层,并通过soft-max分类器计算与真实ID的偏差,将这三项分类器的损失统一记为Lid。
步骤S7,按公式(1)所示的损失函数Lall计算深度卷积神经网络的全局损失。
步骤S8,采用反向传播算法和随机梯度下降法来减小预测的整体误差Lall,经过多次迭代训练得到最终的网络模型,通常需要在整个数据集上迭代1000轮,当损失不再收敛时停止训练。
步骤S9,利用训练好的深度卷积神经网络进行注册。首先将需要注册的100个行人彩色图像及对应的分割剪影构造成四通道的输入数据,并归一化至160×64×4,输入训练好的深度卷积神经网络,分别得到全局通道的128维的特征,作为这100个注册行人图像的身份特征;
步骤S10,利用同样的方式得到待测行人的行人特征,并与已注册的100个行人身份特征进行相似度比对,最相似的注册行人的ID即为测试样本的身份识别结果。
基于方法实施例相同的技术构思,本发明还提供了一种基于分割剪影的行人再识别***,下面对该***进行具体说明。
参阅附图5,图5示例性示出了基于分割剪影的行人再识别***的主要结构,如图5所示,本实施中行人再识别***可以包括特征提取模块31、特征对比模块32、身份识别模块33。特征提取模块31,其配置为基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取待测行人的行人特征;特征对比模块32,其配置为分别计算行人特征与每个预设的行人身份特征之间的相似度;身份识别模块33,其配置为获取最大相似度对应的行人身份特征,并根据所获取的行人身份特征获取待测行人的身份信息;其中,行人再识别模型是根据预设的行人测试样本并利用机器学习算法所构建的深度卷积神经网络模型,行人身份特征是基于行人再识别模型并根据预设的行人比对样本的彩色图像及对应的分割剪影,获取到的行人比对样本的行人特征。
具体地,行人再识别模型包括对比注意模型;在此情况下,行人再识别***还包括模型训练模块,该模型训练模块包括:
敏感特征获取单元,其配置为利用对比注意模型并根据行人再识别模型中特定卷积层的输出特征和行人测试样本对应的分割剪影,获取行人身体敏感特征和行人背景敏感特征;
区域特征获取单元,其配置为根据特定卷积层的输出特征、行人身体敏感特征和行人背景敏感特征,获取行人测试样本对应的全局特征H、行人身体区域特征和H+行人背景区域特征H-;
模型更新单元,其配置为根据H、H+和H-,并按照公式(1)所示的损失函数Lall对行人再识别模型进行模型训练。
具体地,本实施中对比注意模型还可以包括身体区域注意模型和背景区域注意模型;在此情况下,敏感特征获取单元进一步配置为:
利用身体区域注意模型并根据特定卷积层的输出特征和预设的第一权重矩阵Φ+,获取行人身体敏感特征;
利用背景区域注意模型并根据特定卷积层的输出特征和预设的第二权重矩阵Φ-,获取行人背景敏感特征;
其中,Φ++Φ-=O,O是全1矩阵。
本领域技术人员可以理解,特征提取模块、特征对比模块以及身份识别模块的物理形式可以彼此独立的,当然也可以是集成到一个物理模块上的功能单元,如特征对比模块包括存储器和处理器,以及存储在存储器并且可在处理器上运行的计算程序,该计算程序可以完成上述特征提取模块、特征对比模块以及身份识别模块的功能。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤及***,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于分割剪影的行人再识别方法,其特征在于包括:
基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取所述待测行人的行人特征;
分别计算所述行人特征与每个预设的行人身份特征之间的相似度;
获取最大相似度对应的行人身份特征,并根据所获取的行人身份特征获取所述待测行人的身份信息;
其中,所述行人再识别模型是根据预设的行人测试样本并利用机器学习算法所构建的深度卷积神经网络模型,所述行人身份特征是基于所述行人再识别模型并根据预设的行人比对样本的彩色图像及对应的分割剪影,获取到的所述行人比对样本的行人特征。
2.根据权利要求1所述的基于分割剪影的行人再识别方法,其特征在于,所述行人再识别模型包括对比注意模型;在“基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取所述待测行人的行人特征”的步骤之前,所述方法包括:
利用所述对比注意模型并根据所述行人再识别模型中特定卷积层的输出特征和行人测试样本对应的分割剪影,获取行人身体敏感特征和行人背景敏感特征;
根据所述特定卷积层的输出特征、行人身体敏感特征和行人背景敏感特征,获取所述行人测试样本对应的全局特征H、行人身体区域特征和H+行人背景区域特征H-;
根据所述H、H+和H-,并按照下式所示的损失函数Lall对所述行人再识别模型进行模型训练:
Lall=Lid+α·Ltriplet+β·Latt
其中,所述Lid是所述H、H+和H-对应的分类损失函数,所述Ltriplet是所述H、H+和H-对应的三元组约束损失函数,所述Latt是所述对比注意模型对应的损失函数,所述α和β均是预设的超参数。
3.根据权利要求2所述的基于分割剪影的行人再识别方法,其特征在于,所述三元组约束损失函数Ltriplet如下式所示:
其中,所述m是预设的边界参数,所述表示“H-H+”的2范数的平方,所述表示“H-H-”的2范数的平方。
4.根据权利要求2所述的基于分割剪影的行人再识别方法,其特征在于,所述对比注意模型包括身体区域注意模型和背景区域注意模型;“利用所述对比注意模型并根据所述行人再识别模型中特定卷积层的输出特征和行人测试样本对应的分割剪影,获取行人身体敏感特征和行人背景敏感特征”的步骤包括:
利用所述身体区域注意模型并根据所述特定卷积层的输出特征和预设的第一权重矩阵Φ+,获取所述行人身体敏感特征;
利用所述背景区域注意模型并根据所述特定卷积层的输出特征和预设的第二权重矩阵Φ-,获取所述行人背景敏感特征;
其中,Φ++Φ-=O,所述O是全1矩阵。
5.根据权利要求4所述的基于分割剪影的行人再识别方法,其特征在于,所述对比注意模型对应的损失函数Latt如下式所示:
其中,所述I是分割剪影M横轴方向的像素数,所述J是分割剪影M竖轴方向的像素数,所述M(i,j)是分割剪影M在位置(i,j)处的值,所述是第一权重矩阵在位置(i,j)处的值,所述表示的2范数的平方。
6.一种基于分割剪影的行人再识别***,其特征在于包括:
特征提取模块,其配置为基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取所述待测行人的行人特征;
特征对比模块,其配置为分别计算所述行人特征与每个预设的行人身份特征之间的相似度;
身份识别模块,其配置为获取最大相似度对应的行人身份特征,并根据所获取的行人身份特征获取所述待测行人的身份信息;
其中,所述行人再识别模型是根据预设的行人测试样本并利用机器学习算法所构建的深度卷积神经网络模型,所述行人身份特征是基于所述行人再识别模型并根据预设的行人比对样本的彩色图像及对应的分割剪影,获取到的所述行人比对样本的行人特征。
7.根据权利要求6所述的基于分割剪影的行人再识别***,其特征在于,所述行人再识别模型包括对比注意模型;
所述行人再识别***还包括模型训练模块,该模型训练模块包括:
敏感特征获取单元,其配置为利用所述对比注意模型并根据所述行人再识别模型中特定卷积层的输出特征和行人测试样本对应的分割剪影,获取行人身体敏感特征和行人背景敏感特征;
区域特征获取单元,其配置为根据所述特定卷积层的输出特征、行人身体敏感特征和行人背景敏感特征,获取所述行人测试样本对应的全局特征H、行人身体区域特征和H+行人背景区域特征H-;
模型更新单元,其配置为根据所述H、H+和H-,并按照下式所示的损失函数Lall对所述行人再识别模型进行模型训练:
Lall=Lid+α·Ltriplet+β·Latt
其中,所述Lid是所述H、H+和H-对应的分类损失函数,所述Ltriplet是所述H、H+和H-对应的三元组约束损失函数,所述Latt是所述对比注意模型对应的损失函数,所述α和β均是预设的超参数。
8.根据权利要求7所述的基于分割剪影的行人再识别***,其特征在于,所述三元组约束损失函数Ltriplet如下式所示:
其中,所述m是预设的边界参数,所述表示“H-H+”的2范数的平方,所述表示“H-H-”的2范数的平方。
9.根据权利要求7所述的基于分割剪影的行人再识别***,其特征在于,所述对比注意模型包括身体区域注意模型和背景区域注意模型;在此情况下,所述敏感特征获取单元进一步配置为执行如下操作:
利用所述身体区域注意模型并根据所述特定卷积层的输出特征和预设的第一权重矩阵Φ+,获取所述行人身体敏感特征;
利用所述背景区域注意模型并根据所述特定卷积层的输出特征和预设的第二权重矩阵Φ-,获取所述行人背景敏感特征;
其中,Φ++Φ-=O,所述O是全1矩阵。
10.根据权利要求9所述的基于分割剪影的行人再识别***,其特征在于,所述对比注意模型对应的损失函数Latt如下式所示:
其中,所述I是分割剪影M横轴方向的像素数,所述J是分割剪影M竖轴方向的像素数,所述M(i,j)是分割剪影M在位置(i,j)处的值,所述是第一权重矩阵在位置(i,j)处的值,所述表示的2范数的平方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810567647.0A CN109101866B (zh) | 2018-06-05 | 2018-06-05 | 基于分割剪影的行人再识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810567647.0A CN109101866B (zh) | 2018-06-05 | 2018-06-05 | 基于分割剪影的行人再识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109101866A true CN109101866A (zh) | 2018-12-28 |
CN109101866B CN109101866B (zh) | 2020-12-15 |
Family
ID=64796708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810567647.0A Active CN109101866B (zh) | 2018-06-05 | 2018-06-05 | 基于分割剪影的行人再识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109101866B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110083723A (zh) * | 2019-04-24 | 2019-08-02 | 成都大熊猫繁育研究基地 | 一种小熊猫个体识别方法、设备及计算机可读存储介质 |
CN110490082A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 一种有效融合神经网络特征的道路场景语义分割方法 |
CN111027434A (zh) * | 2018-12-29 | 2020-04-17 | 北京地平线机器人技术研发有限公司 | 一种行人识别模型的训练方法、装置及电子设备 |
WO2020147414A1 (zh) * | 2019-01-15 | 2020-07-23 | 北京市商汤科技开发有限公司 | 网络优化方法及装置、图像处理方法及装置、存储介质 |
CN113239776A (zh) * | 2021-05-10 | 2021-08-10 | 北方工业大学 | 一种基于能量模型的行人重识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191850A1 (en) * | 2001-06-15 | 2002-12-19 | Claus Neubauer | Real time object localization and recognition from silhouette images |
CN1503194A (zh) * | 2002-11-26 | 2004-06-09 | 中国科学院计算技术研究所 | 利用身材信息辅助人脸信息的身份识别方法 |
CN101989326A (zh) * | 2009-07-31 | 2011-03-23 | 三星电子株式会社 | 人体姿态识别方法和装置 |
CN104298964A (zh) * | 2014-09-15 | 2015-01-21 | 燕山大学 | 一种人体行为动作快速识别方法及装置 |
US20150139535A1 (en) * | 2013-11-18 | 2015-05-21 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
CN105069816A (zh) * | 2015-07-29 | 2015-11-18 | 济南中维世纪科技有限公司 | 一种进出口人流量统计的方法及*** |
CN107330396A (zh) * | 2017-06-28 | 2017-11-07 | 华中科技大学 | 一种基于多属性和多策略融合学习的行人再识别方法 |
-
2018
- 2018-06-05 CN CN201810567647.0A patent/CN109101866B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191850A1 (en) * | 2001-06-15 | 2002-12-19 | Claus Neubauer | Real time object localization and recognition from silhouette images |
CN1503194A (zh) * | 2002-11-26 | 2004-06-09 | 中国科学院计算技术研究所 | 利用身材信息辅助人脸信息的身份识别方法 |
CN101989326A (zh) * | 2009-07-31 | 2011-03-23 | 三星电子株式会社 | 人体姿态识别方法和装置 |
US20150139535A1 (en) * | 2013-11-18 | 2015-05-21 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
CN104298964A (zh) * | 2014-09-15 | 2015-01-21 | 燕山大学 | 一种人体行为动作快速识别方法及装置 |
CN105069816A (zh) * | 2015-07-29 | 2015-11-18 | 济南中维世纪科技有限公司 | 一种进出口人流量统计的方法及*** |
CN107330396A (zh) * | 2017-06-28 | 2017-11-07 | 华中科技大学 | 一种基于多属性和多策略融合学习的行人再识别方法 |
Non-Patent Citations (1)
Title |
---|
LIANG WANG ET AL: "Automatic gait recognition based on statistical shape analysis", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027434A (zh) * | 2018-12-29 | 2020-04-17 | 北京地平线机器人技术研发有限公司 | 一种行人识别模型的训练方法、装置及电子设备 |
CN111027434B (zh) * | 2018-12-29 | 2023-07-11 | 北京地平线机器人技术研发有限公司 | 一种行人识别模型的训练方法、装置及电子设备 |
WO2020147414A1 (zh) * | 2019-01-15 | 2020-07-23 | 北京市商汤科技开发有限公司 | 网络优化方法及装置、图像处理方法及装置、存储介质 |
JP2021517321A (ja) * | 2019-01-15 | 2021-07-15 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. | ネットワーク最適化方法及び装置、画像処理方法及び装置、記憶媒体及びコンピュータプログラム |
JP7074877B2 (ja) | 2019-01-15 | 2022-05-24 | 北京市商▲湯▼科技▲開▼▲発▼有限公司 | ネットワーク最適化方法及び装置、画像処理方法及び装置、記憶媒体及びコンピュータプログラム |
US11416703B2 (en) | 2019-01-15 | 2022-08-16 | Beijing Sensetime Technology Development Co., Ltd. | Network optimization method and apparatus, image processing method and apparatus, and storage medium |
CN110083723A (zh) * | 2019-04-24 | 2019-08-02 | 成都大熊猫繁育研究基地 | 一种小熊猫个体识别方法、设备及计算机可读存储介质 |
CN110083723B (zh) * | 2019-04-24 | 2021-07-13 | 成都大熊猫繁育研究基地 | 一种小熊猫个体识别方法、设备及计算机可读存储介质 |
CN110490082A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 一种有效融合神经网络特征的道路场景语义分割方法 |
CN110490082B (zh) * | 2019-07-23 | 2022-04-05 | 浙江科技学院 | 一种有效融合神经网络特征的道路场景语义分割方法 |
CN113239776A (zh) * | 2021-05-10 | 2021-08-10 | 北方工业大学 | 一种基于能量模型的行人重识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109101866B (zh) | 2020-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101866A (zh) | 基于分割剪影的行人再识别方法及*** | |
CN104978580B (zh) | 一种用于无人机巡检输电线路的绝缘子识别方法 | |
CN106326886B (zh) | 基于卷积神经网络的手指静脉图像质量评估方法 | |
CN108052896B (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
CN107358149A (zh) | 一种人体姿态检测方法和装置 | |
CN106295502B (zh) | 一种人脸检测方法及装置 | |
CN101593272B (zh) | 一种基于asm算法的人脸特征定位方法 | |
CN109829437A (zh) | 图像处理方法、文本识别方法、装置和电子*** | |
CN107967451A (zh) | 一种利用多尺度多任务卷积神经网络对静止图像进行人群计数的方法 | |
CN106919921B (zh) | 结合子空间学习与张量神经网络的步态识别方法及*** | |
CN110969087A (zh) | 一种步态识别方法及*** | |
CN108319957A (zh) | 一种基于超点图的大规模点云语义分割方法 | |
CN106991368A (zh) | 一种基于深度卷积神经网络的指静脉验证身份识别方法 | |
CN110796100B (zh) | 步态识别方法、装置、终端及存储装置 | |
CN107122707A (zh) | 基于外貌特征紧凑表示的视频行人再识别方法及*** | |
CN101833654B (zh) | 基于约束采样的稀疏表示人脸识别方法 | |
CN105069774B (zh) | 基于多示例学习与图割优化的目标分割方法 | |
CN107292907A (zh) | 一种对跟随目标进行定位的方法以及跟随设备 | |
CN105373777A (zh) | 一种用于人脸识别的方法及装置 | |
CN107507188B (zh) | 一种基于机器学习提取图像信息的方法及装置 | |
CN108537181A (zh) | 一种基于大间距深度度量学习的步态识别方法 | |
CN109766873A (zh) | 一种混合可变形卷积的行人再识别方法 | |
CN110097029A (zh) | 基于Highway网络多视角步态识别的身份认证方法 | |
CN110008861A (zh) | 一种基于全局和局部特征学习的行人再识别方法 | |
CN108921071A (zh) | 人脸活体检测方法、装置、存储介质及处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |