CN108875445A - 一种行人再识别方法及装置 - Google Patents
一种行人再识别方法及装置 Download PDFInfo
- Publication number
- CN108875445A CN108875445A CN201710317785.9A CN201710317785A CN108875445A CN 108875445 A CN108875445 A CN 108875445A CN 201710317785 A CN201710317785 A CN 201710317785A CN 108875445 A CN108875445 A CN 108875445A
- Authority
- CN
- China
- Prior art keywords
- image
- dictionary
- projection
- feature
- image collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种行人再识别方法及装置。该方法包括:将测试集的第一图像集合中的目标图像和第二图像集合投影至度量空间,第一图像集合和第二图像集合是由不同的图像采集装置采集得到的;根据度量空间的投影矩阵和马氏距离度量矩阵获取目标图像与第二图像集合中各个图像的马氏距离;获取目标图像在度量空间的第一特征投影,并获取第二图像集合在度量空间的第二特征投影集合,采用特征字典获取各个特征投影的字典表达特征;根据第一特征投影和第二特征投影集合中各个特征投影的字典表达特征获取目标图像与第二图像集合中各个图像的欧式距离;根据马氏距离和欧式距离从第二图像集合中确定与目标图像相匹配的图像。本发明实施例提高了行人再识别的精度。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种行人再识别方法及装置。
背景技术
随着科技的发展,基于计算机视觉的智能监控技术已经得到广泛应用,行人再识别为智能监控技术中的极具挑战的一个任务。行人再识别的目标是对跨视野的行人图像进行匹配,对于解决监控目标跨视野运动轨迹连续性问题,以及公安***中疑犯的识别追踪问题有着重要的意义。
现有的行人再识别方法大致分为两类,一类是基于表观特征模型的行人再识别方法,另一类是基于度量学习的行人再识别方法。
现有的基于表观特征模型的行人再识别方法的主要目标是通过手工设计的特征描述正样本图像之间的相似性,同时有效区分负样本的差异性。该方法可利用色彩直方图特征以及尺度不变三值模式SILTP特征对图像进行分块描述,提取图像特征。然而在实际环境中,由于阴影、光照、姿态、视角以及背景的剧烈变化,使得基于色彩和纹理的手工特征(色彩直方图特征以及和尺度不变三值模式SILTP特征)难以应对行人在不同摄像头下的视觉特征变化,造成正样本类间距离变大,行人再识别精度较低。
现有的基于度量学习的行人再识别方法,在度量空间中获取跨视野下的图像的马氏距离,根据马氏距离实现行人再识别,然而,受限于样本特征的不稳定性和表达能力的缺陷,该方法的识别精度也较低。此外,该基于度量学习的行人再识别方法是基于手工特征进行分类识别的,样本特征具有较高维度,由于优化准则的约束,学习得到的度量空间会对训练样本过拟合,影响行人再识别的精度。
发明内容
本发明实施例提供一种行人再识别方法及装置,用于解决现有的的行人再识别方法识别精度较低的问题。
本发明实施例提供了一种行人再识别方法,包括:
将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间,所述第一图像集合和所述第二图像集合是分别由不同的图像采集装置采集得到的;
根据所述度量空间的投影矩阵和马氏距离度量矩阵获取所述目标图像与所述第二图像集合中各个图像的马氏距离;
获取所述目标图像在所述度量空间的第一特征投影,并获取所述第二图像集合在所述度量空间的第二特征投影集合,采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征;
根据所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征获取所述目标图像与所述第二图像集合中各个图像的欧式距离;
根据马氏距离和欧式距离获取所述目标图像与所述第二图像集合中各个图像的相似距离,根据所述相似距离从所述第二图像集合中确定与目标图像相匹配的图像。
可选地,在将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间之前,所述方法还包括:
按照最小化正样本散度、最大化负样本散度的准则根据训练集的第三图像集合和第四图像集合学习获得所述度量空间,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的。
可选地,所述采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征之前,所述方法还包括:
分别获取所述训练集的第三图像集合和所述第四图像集合在所述度量空间的第三特征投影集合和第四特征投影集合,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的;
根据所述第三特征投影集合和第四特征投影集合对待学习的特征字典的损失函数进行优化,获取所述特征字典的字典矩阵和字典特征转换矩阵。
可选地,所述待学习的特征字典的损失函数的公式如下:
s.t.||mi||2≤1,||ri||2≤1
其中,M表示所述特征字典的字典矩阵,R表示所述字典特征转换矩阵;U表示所述第三特征投影集合的各个特征投影的字典表达特征,V表示所述第四特征投影集合的各个特征投影的字典表达特征;X′表示所述第三图像集合在所述度量空间的第三特征投影集合,Y′表示所述第四图像集合在所述度量空间的第四特征投影集合;为正则项;α和ρ是已知的平衡参数;mi表示所述字典矩阵的第i行,ri表示所述字典特征转换矩阵的第i行。
可选地,所述采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征,包括:
根据以下公式获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征:
其中,xi表示所述第一图像集合X中的第i个图像的原始特征,yj表示所述第二图像集合中的第j个图像的原始特征;ui表示xi的字典表达特征,vj表示yj的字典表达特征;W表示所述度量空间的投影矩阵,M表示所述特征字典的字典矩阵;ρ是已知的平衡参数。
本发明实施例提供一种行人再识别装置,包括:
投影单元,用于将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间,所述第一图像集合和所述第二图像集合是分别由不同的图像采集装置采集得到的;
马氏距离获取单元,用于根据所述度量空间的投影矩阵和马氏距离度量矩阵获取所述目标图像与所述第二图像集合中各个图像的马氏距离;
字典表达特征获取单元,用于获取所述目标图像在所述度量空间的第一特征投影,并获取所述第二图像集合在所述度量空间的第二特征投影集合,采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征;
欧式距离获取单元,用于根据所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征获取所述目标图像与所述第二图像集合中各个图像的欧式距离;
匹配图像确定单元,用于根据马氏距离和欧式距离获取所述目标图像与所述第二图像集合中各个图像的相似距离,根据所述相似距离从所述第二图像集合中确定与目标图像相匹配的图像。
可选地,还包括:
度量空间学习单元,用于按照最小化正样本散度、最大化负样本散度的准则根据训练集的第三图像集合和第四图像集合学习获得所述度量空间,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的。
可选地,还包括:
特征字典学习单元,用于分别获取所述训练集的第三图像集合和所述第四图像集合在所述度量空间的第三特征投影集合和第四特征投影集合,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的;根据所述第三特征投影集合和第四特征投影集合对待学习的特征字典的损失函数进行优化,获取所述特征字典的字典矩阵和字典特征转换矩阵。
可选地,所述待学习的特征字典的损失函数的公式如下:
s.t.||mi||2≤1,||ri||2≤1
其中,M表示所述特征字典的字典矩阵,R表示所述字典特征转换矩阵;U表示所述第三特征投影集合的各个特征投影的字典表达特征,V表示所述第四特征投影集合的各个特征投影的字典表达特征;X′表示所述第三图像集合在所述度量空间的第三特征投影集合,Y′表示所述第四图像集合在所述度量空间的第四特征投影集合;为正则项;α和ρ是已知的平衡参数;mi表示所述字典矩阵的第i行,ri表示所述字典特征转换矩阵的第i行。
可选地,所述字典表达特征获取单元进一步用于:
根据以下公式获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征:
其中,xi表示所述第一图像集合X中的第i个图像的原始特征,yj表示所述第二图像集合中的第j个图像的原始特征;ui表示xi的字典表达特征,vj表示yj的字典表达特征;W表示所述度量空间的投影矩阵,M表示所述特征字典的字典矩阵;ρ是已知的平衡参数。
本发明实施例提供一种电子设备,处理器、存储器和总线;其中,
处理器和存储器通过总线完成相互间的通信;
处理器用于调用存储器中的程序指令,以执行上述的行人再识别方法。
本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述的行人再识别方法。
本发明实施例提供的行人再识别方法及装置,根据度量空间的投影矩阵和马氏距离度量矩阵获取图像之间的马氏距离;根据特征字典获取跨视野的图像对应的字典表达特征,根据字典表达特征获取图像之间的欧式距离,基于马氏距离和欧式距离完成行人再识别。本发明实施例克服了现有度量空间对训练样本过拟合的缺陷,提高了行人再识别的精度,在安防管理、军事侦察以及公安***辅助刑侦等领域有着广阔的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的行人再识别方法的流程示意图;
图2是本发明一个实施例的行人再识别装置的结构示意图;
图3是本发明一个实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明一个实施例的行人再识别方法的流程示意图。如图1所示,该实施例的方法包括:
S11:将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间,所述第一图像集合和所述第二图像集合是分别由不同的图像采集装置采集得到的;
需要说明的是,本发明实施例的样本图像分为训练集和测试集。训练集和测试集对应每个行人,均对应两个图像采集装置采集的图像。在实际应用中,根据图像采集装置的不同,分别将测试集和训练集的图像分为gallery集合和probe集合。
可理解的是,行人再识别的具体内容是在gallery集合中选定一张图像,然后在probe图像集中找到与之匹配的图像。
在实际应用中,可将数据集的图像通过随机抽样的方式划分为训练集和测试集,对行人编号进行随机排序,选取前k个行人的图像作为训练集,剩余图像则作为测试集。S12:根据所述度量空间的投影矩阵和马氏距离度量矩阵获取所述目标图像与所述第二图像集合中各个图像的马氏距离;
在实际应用中,将目标图像和第二图像集合中的各个图像投影到度量空间,对正负样本集合做高斯分布假设,通过样本协方差获取目标图像与第二图像集合中各个图像的马氏距离:
d(xi,yj)=(xi-yj)TWHWT(xi-yj)
H=((WT∑pW)-1-(WT∑nW)-1)
其中,xi表示所述第一图像集合X中的第i个图像的原始特征,yj表示所述第二图像集合中的第j个图像的原始特征;d(·)表示马氏距离;W表示所述度量空间的投影矩阵,H表示马氏距离的度量矩阵;H=((WT∑pW)-1-(WT∑nW)-1),∑p为正样本对总体的协方差,∑n为负样本对总体的协方差。
S13:获取所述目标图像在所述度量空间的第一特征投影,并获取所述第二图像集合在所述度量空间的第二特征投影集合,采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征;
可理解的是,本发明实施例的特征字典是经过训练集的样本图像训练得到的。通过训练集的学习,可获取特征字典的字典矩阵和字典特征转换矩阵。
S14:根据所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征获取所述目标图像与所述第二图像集合中各个图像的欧式距离;
需要说明的是,本发明实施例可以先获取马氏距离、再获取欧式距离,或者先获取欧式距离、再获取马氏距离,或者同时获取马氏距离和欧式距离,本发明对此不作限制,即本发明对步骤S12与步骤S13、步骤S14的执行的先后顺序不作限制。
S15:根据马氏距离和欧式距离获取所述目标图像与所述第二图像集合中各个图像的相似距离,根据所述相似距离从所述第二图像集合中确定与目标图像相匹配的图像;
在实际应用中,本发明实施例可选取第二图像集合中与目标图像的相似距离最小的图像作为匹配图像。
本发明实施例提供的行人再识别方法,根据度量空间的投影矩阵和马氏距离度量矩阵获取图像之间的马氏距离;根据特征字典获取跨视野的图像对应的字典表达特征,根据字典表达特征获取图像之间的欧式距离,基于马氏距离和欧式距离完成行人再识别。本发明实施例克服了现有度量空间对训练样本过拟合的缺陷,提高了行人再识别的精度,在安防管理、军事侦察以及公安***辅助刑侦等领域有着广阔的应用前景。
在本发明实施例的一种可选的实施方式中,在将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间之前,所述方法还包括:
按照最小化正样本散度、最大化负样本散度的准则根据训练集的第三图像集合和第四图像集合学习获得所述度量空间,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的。
在实际应用中,定义训练集中第三图像集合gallery和第四图像集合probe集合分别为X={x1,x2,...xi}和Y={y1,y2,...yj};当i=j时为正样本对,否则为负样本对。按照最小化正样本散度、最大化负样本散度的准则,建立如下优化模型:
其中,Sw表示正样本散度,Sb表示负样本散度。
通过广义的拉格朗日乘数法将上述优化问题转化为求解特征根问题,按照特征值从大到小排序,选取前m个特征向量组成度量空间W=(w1,w2,L,wm)。
进一步地,所述采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征之前,所述方法还包括:
分别获取所述训练集的第三图像集合和所述第四图像集合在所述度量空间的第三特征投影集合和第四特征投影集合,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的;
根据所述第三特征投影集合和第四特征投影集合对待学习的特征字典的损失函数进行优化,获取所述特征字典的字典矩阵和字典特征转换矩阵。
具体地,所述待学习的特征字典的损失函数的公式如下:
s.t.||mi||2≤1,||ri||2≤1
其中,M表示所述特征字典的字典矩阵,R表示所述字典特征转换矩阵;U表示所述第三特征投影集合的各个特征投影的字典表达特征,V表示所述第四特征投影集合的各个特征投影的字典表达特征;X′表示所述第三图像集合在所述度量空间的第三特征投影集合,Y′表示所述第四图像集合在所述度量空间的第四特征投影集合;为正则项;α和ρ是已知的平衡参数;mi表示所述字典矩阵的第i行,ri表示所述字典特征转换矩阵的第i行。
上述损失函数为非凸的,通过交替优化的方法对问题进行求解,首先固定M,V,R,学习U,求解如下问题:
通过求导,得到U的计算表达式:
U=(MTM+λRTR+ρI)-1(MTX′+λRTV)
同理,固定M,U,R,学习V
V=(αMTM+λI+ρI)-1(αMTY′+λRU)
最后,通过拉格朗日对偶问题,求解字典矩阵M和字典特征转换矩阵R。
需要说明的是,目标图像与所述第二图像集合中各个图像的相似距离(马氏距离与欧式距离的和)的计算公式如下:
d(xi,yj)=(xi-yj)TWHWT(xi-yj)+||vj-Rui||2
进一步地,所述采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征,包括:
根据以下公式获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征:
其中,xi表示所述第一图像集合X中的第i个图像的原始特征,yj表示所述第二图像集合中的第j个图像的原始特征;ui表示xi的字典表达特征,vj表示yj的字典表达特征;W表示所述度量空间的投影矩阵,M表示所述特征字典的字典矩阵;ρ是已知的平衡参数。
重复上述操作,对测试集中的各个图像完成相似距离的计算,计算累计精度(CMC)。统计测试集相似距离结果,组成相似距离矩阵D。将相似距离结果按照距离有小到大排序,同时记录下每个距离所对应的probe集合中图像的序号。累计精度的计算公式如下:
其中,l表示CMC累积精度的rank=l,即测试距离按照从小到大的排名为l,N为测试集中第一图像集合gallery的样本图像个数;为符号函数,即函数内变量为真时则对应函数值为1,否则为0;表示相似距离排名计算,Pi为第i个gallery样本图像的正样本距离,rank(Pi)表示其正样本的排序。
通常,希望正确匹配图像对应的相似距离结果最小,即rank=1所对应的图像就是正确匹配图像,然而由于行人在识别问题的复杂性,样本受到光线、行人姿态、拍摄视角、背景等多方面因素影响,特征变化剧烈。因此,在rank=1的条件下,识别率有限,因此在实际应用中通常考虑rank排在前20的累积识别率。
以下通过仿真实验说明本发明实施例的行人再识别方法的技术效果。本仿真实验是在中央处理器为Intel(R)Core i3-21303.4GHZ、内存16G、WINDOWS 8操作***上,运用MATLAB软件进行的。
仿真实验所使用的图像测试数据库为加州大学公开的行人再识别权威数据库VIPeR。VIPeR图像库是由两个室外摄像机拍摄得到的,共有632个行人的样本图像,每个行人在每个摄像机下均有且仅有一张图像。
首先,在VIPeR数据集上,完成本发明实施例的实验。为了证明本发明实施例的方法的技术效果选取4个对比方法LMNN、KISSME、XQDA、MLAPG进行比较。
为了保证结果的准确性,进行重复并行实验(相同试验条件下,重复进行实验10次),计算平均精度作为最终识别结果,其结果如表1所示。r表示rank,从表1可见,本发明的识别精度比现有的方法的识别精度要高。
表1行人再识别方法的平均精度
图2是本发明一个实施例的行人再识别装置的结构示意图。如图2所示,本发明实施例的装置包括投影单元21、马氏距离获取单元22、字典表达特征获取单元23、欧式距离获取单元24和匹配图像确定单元25,具体地:
投影单元21,用于将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间,所述第一图像集合和所述第二图像集合是分别由不同的图像采集装置采集得到的;
马氏距离获取单元22,用于根据所述度量空间的投影矩阵和马氏距离度量矩阵获取所述目标图像与所述第二图像集合中各个图像的马氏距离;
字典表达特征获取单元23,用于获取所述目标图像在所述度量空间的第一特征投影,并获取所述第二图像集合在所述度量空间的第二特征投影集合,采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征;
欧式距离获取单元24,用于根据所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征获取所述目标图像与所述第二图像集合中各个图像的欧式距离;
匹配图像确定单元25,用于根据马氏距离和欧式距离获取所述目标图像与所述第二图像集合中各个图像的相似距离,根据所述相似距离从所述第二图像集合中确定与目标图像相匹配的图像。
本发明实施例提供的行人再识别装置,根据度量空间的投影矩阵和马氏距离度量矩阵获取图像之间的马氏距离;根据特征字典获取跨视野的图像对应的字典表达特征,根据字典表达特征获取图像之间的欧式距离,基于马氏距离和欧式距离完成行人再识别。本发明实施例克服了现有度量空间对训练样本过拟合的缺陷,提高了行人再识别的精度,在安防管理、军事侦察以及公安***辅助刑侦等领域有着广阔的应用前景。
在本发明实施例的一种可选的实施方式中,还包括:
度量空间学习单元,用于按照最小化正样本散度、最大化负样本散度的准则根据训练集的第三图像集合和第四图像集合学习获得所述度量空间,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的。
进一步地,还包括:
特征字典学习单元,用于分别获取所述训练集的第三图像集合和所述第四图像集合在所述度量空间的第三特征投影集合和第四特征投影集合,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的;根据所述第三特征投影集合和第四特征投影集合对待学习的特征字典的损失函数进行优化,获取所述特征字典的字典矩阵和字典特征转换矩阵。
具体地,待学习的特征字典的损失函数的公式如下:
s.t.||mi||2≤1,||ri||2≤1
其中,M表示所述特征字典的字典矩阵,R表示所述字典特征转换矩阵;U表示所述第三特征投影集合的各个特征投影的字典表达特征,V表示所述第四特征投影集合的各个特征投影的字典表达特征;X′表示所述第三图像集合在所述度量空间的第三特征投影集合,Y′表示所述第四图像集合在所述度量空间的第四特征投影集合;为正则项;α和ρ是已知的平衡参数;mi表示所述字典矩阵的第i行,ri表示所述字典特征转换矩阵的第i行。
字典表达特征获取单元23进一步用于:
根据以下公式获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征:
其中,xi表示所述第一图像集合X中的第i个图像的原始特征,yj表示所述第二图像集合中的第j个图像的原始特征;ui表示xi的字典表达特征,vj表示yj的字典表达特征;W表示所述度量空间的投影矩阵,M表示所述特征字典的字典矩阵;ρ是已知的平衡参数。
本发明实施例的行人再识别装置可以用于执行上述方法实施例,其原理和技术效果类似,此处不再赘述。
图3是本发明一个实施例的电子设备的结构示意图。
参照图3,电子设备包括:处理器(processor)31、存储器(memory)32和总线33;其中,
处理器31和存储器32通过总线33完成相互间的通信;
处理器31用于调用存储器32中的程序指令,以执行上述各方法实施例所提供的行人再识别方法。
此外,上述的存储器32中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的行人再识别方法。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的行人再识别方法。
本发明实施例提供的行人再识别方法及装置,根据度量空间的投影矩阵和马氏距离度量矩阵获取图像之间的马氏距离;根据特征字典获取跨视野的图像对应的字典表达特征,根据字典表达特征获取图像之间的欧式距离,基于马氏距离和欧式距离完成行人再识别。本发明实施例克服了现有度量空间对训练样本过拟合的缺陷,提高了行人再识别的精度,在安防管理、军事侦察以及公安***辅助刑侦等领域有着广阔的应用前景。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
以上实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种行人再识别方法,其特征在于,包括:
将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间,所述第一图像集合和所述第二图像集合是分别由不同的图像采集装置采集得到的;
根据所述度量空间的投影矩阵和马氏距离度量矩阵获取所述目标图像与所述第二图像集合中各个图像的马氏距离;
获取所述目标图像在所述度量空间的第一特征投影,并获取所述第二图像集合在所述度量空间的第二特征投影集合,采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征;
根据所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征获取所述目标图像与所述第二图像集合中各个图像的欧式距离;
根据马氏距离和欧式距离获取所述目标图像与所述第二图像集合中各个图像的相似距离,根据所述相似距离从所述第二图像集合中确定与目标图像相匹配的图像。
2.根据权利要求1所述的方法,其特征在于,在将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间之前,所述方法还包括:
按照最小化正样本散度、最大化负样本散度的准则根据训练集的第三图像集合和第四图像集合学习获得所述度量空间,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的。
3.根据权利要求1所述的方法,其特征在于,所述采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征之前,所述方法还包括:
分别获取所述训练集的第三图像集合和所述第四图像集合在所述度量空间的第三特征投影集合和第四特征投影集合,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的;
根据所述第三特征投影集合和第四特征投影集合对待学习的特征字典的损失函数进行优化,获取所述特征字典的字典矩阵和字典特征转换矩阵。
4.根据权利要求3所述的方法,其特征在于,所述待学习的特征字典的损失函数的公式如下:
s.t.||mi||2≤1,||ri||2≤1
其中,M表示所述特征字典的字典矩阵,R表示所述字典特征转换矩阵;U表示所述第三特征投影集合的各个特征投影的字典表达特征,V表示所述第四特征投影集合的各个特征投影的字典表达特征;X′表示所述第三图像集合在所述度量空间的第三特征投影集合,Y′表示所述第四图像集合在所述度量空间的第四特征投影集合;为正则项;α和ρ是已知的平衡参数;mi表示所述字典矩阵的第i行,ri表示所述字典特征转换矩阵的第i行。
5.根据权利要求1所述的方法,其特征在于,所述采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征,包括:
根据以下公式获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征:
其中,xi表示所述第一图像集合X中的第i个图像的原始特征,yj表示所述第二图像集合中的第j个图像的原始特征;ui表示xi的字典表达特征,vj表示yj的字典表达特征;W表示所述度量空间的投影矩阵,M表示所述特征字典的字典矩阵;ρ是已知的平衡参数。
6.一种行人再识别装置,其特征在于,包括:
投影单元,用于将测试集的第一图像集合中的目标图像和第二图像集合分别投影至度量空间,所述第一图像集合和所述第二图像集合是分别由不同的图像采集装置采集得到的;
马氏距离获取单元,用于根据所述度量空间的投影矩阵和马氏距离度量矩阵获取所述目标图像与所述第二图像集合中各个图像的马氏距离;
字典表达特征获取单元,用于获取所述目标图像在所述度量空间的第一特征投影,并获取所述第二图像集合在所述度量空间的第二特征投影集合,采用通过训练集学习得到的特征字典获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征;
欧式距离获取单元,用于根据所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征获取所述目标图像与所述第二图像集合中各个图像的欧式距离;
匹配图像确定单元,用于根据马氏距离和欧式距离获取所述目标图像与所述第二图像集合中各个图像的相似距离,根据所述相似距离从所述第二图像集合中确定与目标图像相匹配的图像。
7.根据权利要求6所述的装置,其特征在于,还包括:
度量空间学习单元,用于按照最小化正样本散度、最大化负样本散度的准则根据训练集的第三图像集合和第四图像集合学习获得所述度量空间,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的。
8.根据权利要求6所述的装置,其特征在于,还包括:
特征字典学习单元,用于分别获取所述训练集的第三图像集合和所述第四图像集合在所述度量空间的第三特征投影集合和第四特征投影集合,所述第三图像集合和所述第四图像集合是分别由不同的图像采集装置采集得到的;根据所述第三特征投影集合和第四特征投影集合对待学习的特征字典的损失函数进行优化,获取所述特征字典的字典矩阵和字典特征转换矩阵。
9.根据权利要求8所述的装置,其特征在于,所述待学习的特征字典的损失函数的公式如下:
s.t.||mi||2≤1,||ri||2≤1
其中,M表示所述特征字典的字典矩阵,R表示所述字典特征转换矩阵;U表示所述第三特征投影集合的各个特征投影的字典表达特征,V表示所述第四特征投影集合的各个特征投影的字典表达特征;X′表示所述第三图像集合在所述度量空间的第三特征投影集合,Y′表示所述第四图像集合在所述度量空间的第四特征投影集合;为正则项;α和ρ是已知的平衡参数;mi表示所述字典矩阵的第i行,ri表示所述字典特征转换矩阵的第i行。
10.根据权利要求6所述的装置,其特征在于,所述字典表达特征获取单元进一步用于:
根据以下公式获取所述第一特征投影和所述第二特征投影集合中各个特征投影的字典表达特征:
其中,xi表示所述第一图像集合X中的第i个图像的原始特征,yj表示所述第二图像集合中的第j个图像的原始特征;ui表示xi的字典表达特征,vj表示yj的字典表达特征;W表示所述度量空间的投影矩阵,M表示所述特征字典的字典矩阵;ρ是已知的平衡参数。
11.一种电子设备,其特征在于,包括:处理器、存储器和总线;其中,
处理器和存储器通过总线完成相互间的通信;
处理器用于调用存储器中的程序指令,以执行权利要求1-5任一项所述的行人再识别方法。
12.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行权利要求1-5任一项所述的行人再识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710317785.9A CN108875445B (zh) | 2017-05-08 | 2017-05-08 | 一种行人再识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710317785.9A CN108875445B (zh) | 2017-05-08 | 2017-05-08 | 一种行人再识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108875445A true CN108875445A (zh) | 2018-11-23 |
CN108875445B CN108875445B (zh) | 2020-08-25 |
Family
ID=64287352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710317785.9A Active CN108875445B (zh) | 2017-05-08 | 2017-05-08 | 一种行人再识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108875445B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069857A (zh) * | 2019-06-10 | 2020-12-11 | 联想新视界(天津)科技有限公司 | 一种识别奶牛花纹的方法和装置 |
CN113177487A (zh) * | 2021-05-06 | 2021-07-27 | 南京信息工程大学 | 行人重识别方法、装置、计算机设备和存储介质 |
WO2022147977A1 (zh) * | 2021-01-05 | 2022-07-14 | 山东交通学院 | 基于深度特征和稀疏度量投影的车辆重识别方法及*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745235A (zh) * | 2013-12-18 | 2014-04-23 | 小米科技有限责任公司 | 人脸识别方法、装置及终端设备 |
CN103839075A (zh) * | 2014-02-24 | 2014-06-04 | 西安电子科技大学 | 一种基于联合稀疏表示的sar图像分类方法 |
CN104298992A (zh) * | 2014-10-14 | 2015-01-21 | 武汉大学 | 一种基于数据驱动的自适应尺度行人重识别方法 |
WO2015056024A1 (en) * | 2013-10-18 | 2015-04-23 | Vision Semantics Limited | Visual data mining |
CN105046193A (zh) * | 2015-06-05 | 2015-11-11 | 上海大学 | 一种基于融合稀疏表示矩阵的人体动作识别方法 |
CN105138998A (zh) * | 2015-09-07 | 2015-12-09 | 上海交通大学 | 基于视角自适应子空间学习算法的行人重识别方法及*** |
CN105574505A (zh) * | 2015-12-16 | 2016-05-11 | 深圳大学 | 一种多摄像机间人体目标再识别的方法及*** |
CN105678260A (zh) * | 2016-01-07 | 2016-06-15 | 浙江工贸职业技术学院 | 一种基于稀疏保持距离度量的人脸识别方法 |
CN106570464A (zh) * | 2016-10-31 | 2017-04-19 | 华南理工大学 | 一种快速处理人脸遮挡的人脸识别方法及装置 |
-
2017
- 2017-05-08 CN CN201710317785.9A patent/CN108875445B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015056024A1 (en) * | 2013-10-18 | 2015-04-23 | Vision Semantics Limited | Visual data mining |
CN103745235A (zh) * | 2013-12-18 | 2014-04-23 | 小米科技有限责任公司 | 人脸识别方法、装置及终端设备 |
CN103839075A (zh) * | 2014-02-24 | 2014-06-04 | 西安电子科技大学 | 一种基于联合稀疏表示的sar图像分类方法 |
CN104298992A (zh) * | 2014-10-14 | 2015-01-21 | 武汉大学 | 一种基于数据驱动的自适应尺度行人重识别方法 |
CN105046193A (zh) * | 2015-06-05 | 2015-11-11 | 上海大学 | 一种基于融合稀疏表示矩阵的人体动作识别方法 |
CN105138998A (zh) * | 2015-09-07 | 2015-12-09 | 上海交通大学 | 基于视角自适应子空间学习算法的行人重识别方法及*** |
CN105574505A (zh) * | 2015-12-16 | 2016-05-11 | 深圳大学 | 一种多摄像机间人体目标再识别的方法及*** |
CN105678260A (zh) * | 2016-01-07 | 2016-06-15 | 浙江工贸职业技术学院 | 一种基于稀疏保持距离度量的人脸识别方法 |
CN106570464A (zh) * | 2016-10-31 | 2017-04-19 | 华南理工大学 | 一种快速处理人脸遮挡的人脸识别方法及装置 |
Non-Patent Citations (5)
Title |
---|
DAPENG TAO 等: "Person Reidentfication by Minimum Classifiation Error-Based KISS Metric Learning", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
LINA LIU 等: "Person Re-identification by Bidirectional Projection", 《ICIMCS》 * |
PETER M.ROTH 等: "Mahalanobis Distance Learning for Person Re-identifiation", 《ADVANCES IN COMPUTER VISION AND PATTERN RECOGNITION》 * |
师洁琼: "基于词袋模型与行人属性的行人再识别算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
张磊: "智能监控***中活动相关分析与行人再识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069857A (zh) * | 2019-06-10 | 2020-12-11 | 联想新视界(天津)科技有限公司 | 一种识别奶牛花纹的方法和装置 |
WO2022147977A1 (zh) * | 2021-01-05 | 2022-07-14 | 山东交通学院 | 基于深度特征和稀疏度量投影的车辆重识别方法及*** |
CN113177487A (zh) * | 2021-05-06 | 2021-07-27 | 南京信息工程大学 | 行人重识别方法、装置、计算机设备和存储介质 |
CN113177487B (zh) * | 2021-05-06 | 2023-07-18 | 南京信息工程大学 | 行人重识别方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108875445B (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325115B (zh) | 带有三重约束损失的对抗跨模态行人重识别方法和*** | |
Kristan et al. | The visual object tracking vot2015 challenge results | |
Zhao et al. | Learning mid-level filters for person re-identification | |
WO2020061489A1 (en) | Training neural networks for vehicle re-identification | |
CN110059807A (zh) | 图像处理方法、装置和存储介质 | |
Borji et al. | Human vs. computer in scene and object recognition | |
CN110298249A (zh) | 人脸识别方法、装置、终端及存储介质 | |
CN107209853A (zh) | 定位和地图构建方法 | |
Yu et al. | The solution path algorithm for identity-aware multi-object tracking | |
CN104573652A (zh) | 确定人脸图像中人脸的身份标识的方法、装置和终端 | |
CN105740808B (zh) | 人脸识别方法和装置 | |
CN109213882A (zh) | 图片排序方法及终端 | |
CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
CN110210335A (zh) | 一种行人重识别学习模型的训练方法、***和装置 | |
CN108647571A (zh) | 视频动作分类模型训练方法、装置及视频动作分类方法 | |
Li et al. | Online metric-weighted linear representations for robust visual tracking | |
CN111126249A (zh) | 一种大数据和贝叶斯相结合的行人重识别方法及装置 | |
CN108875445A (zh) | 一种行人再识别方法及装置 | |
CN109815823A (zh) | 数据处理方法及相关产品 | |
Spencer et al. | Scale-adaptive neural dense features: Learning via hierarchical context aggregation | |
Kokul et al. | Gate connected convolutional neural network for object tracking | |
Zhang et al. | Visual Object Tracking via Cascaded RPN Fusion and Coordinate Attention. | |
Pandey et al. | A hierarchical clustering approach for image datasets | |
CN108960013A (zh) | 一种行人再识别方法及装置 | |
CN106934339A (zh) | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20191225 Address after: 518109 first floor, building 1b, yunantong Industrial Park, langrong Road, Dalang community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Jinghong Technology Co., Ltd Address before: 201203 Shanghai Pudong New Area Shanghai free trade trial area, 1 spring 3, 400 Fang Chun road. Applicant before: Shanghai Jinghong Electronic Technology Co., Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |