CN105574505B - 一种多摄像机间人体目标再识别的方法及*** - Google Patents

Abstract

本发明适用于无重叠区域的多摄像机间的人体再识别，提供了一种多传感器间人体目标再识别的方法，步骤包括：A，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；B，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；C，计算分类器的输出权值平均值，从而确定最匹配人体。本发明能够用多帧图像数据来实现人体再识别，及度量多帧图像数据中的人体目标的相似度，与现有技术提供的算法相比，本发明提供提出的显著性差异距离在数据集上识别率较高，可以有效的改善不同摄像机间样本图像中人体产生较大的外形、尺度和遮挡等影响因素的鲁棒性，从而提高算法的识别率。

Description

一种多摄像机间人体目标再识别的方法及***

技术领域

本发明属于图像识别领域，尤其涉及一种无重叠区域的多摄像机间人体目标再识别的方法及***。

背景技术

目前，现有技术的人体再识别方法几乎都是使用一幅查询图像与图库中所有图形进行相似度匹配，然而，这些方法存在固有缺陷，即人体外观特征在摄像机间可能会发生显著性变化。视觉识别原理指出目标识别是一个动态的过程，即需要注视两个目标一段时间后才能识别出它们是否为同一目标。现有技术中有利用行人在每个摄像机内跟踪产生的图像序列，提出了基于图像序列的人体再识别算法。该算法计算两个摄像机中人体序列对应样本间相似度作为特征，从而将人体再识别转化为一个二分类问题，并利用adaboost分类器来判断是否为同一人。在该方法中每个样本仅与另一样本序列中一个样本进行相似度对比，得到的特征不仅缺乏多样性，而且缺乏考虑样本自身形变、拍摄视角变化等影响。如图1所示，a与d的腿部形状变化较大而与e的较为相似；b与e腿部形状变化较大而与f比较相似；c与f腿部形状变化较大而与d比较相似。如果采用上述的再识别方法，即a与d、b与e、c与f分别进行相似度比较，则会忽略a与e、b与f、c与d之间相似度的贡献。

现有技术无法实现用多帧图像数据进行人体再识别，及度量多帧图像数据中的人体目标的相似度。

发明内容

本发明所要解决的技术问题在于提供一种多传感器间人体目标再识别的方法及***，旨在解决现有技术无法实现用多帧图像数据进行人体再识别，及度量多帧图像数据中的人体目标的相似度的问题。

本发明是这样实现的，一种多摄像机间人体目标再识别的方法，包括以下步骤：

步骤A，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；

步骤B，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；

步骤C，计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。

进一步地，所述步骤A包括以下步骤：

步骤A1，将已知人体图像序列与图库中待识别的个体图像序列分为若干组；

步骤A2，计算组内每幅图像中人体的原型相似度特征；

步骤A3，分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；

步骤A4，以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征；

以n,m分别表示样本图像序列和待识别图像序列的大小，表示第i个人的第n幅图像的原型相似度特征,以f_isdf表示个体相似度差异特征，则：

进一步地，所述步骤A1具体包括：

采用***抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列，则：

seq＝{sp₁,sp₂,...,sp_N}，

其中：sp_id∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/s_c，s_c表示组内样本个数。

进一步地，所述步骤A2具体包括：

步骤A21，将每一图像序列中的人体按照1:3:4的分割比例分成三部件；

步骤A22，构建各部件的部件特征集和对应的原型集；

假如图库中有T个样本，即G＝{Γ₁,...,Γ_T}，每个样本按照分割比例分割成三部件，即Γ_i＝{Γ_i,head,Γ_i,body,Γ_i,leg}，以n1种特征向量描述每个部件，即：

其中，p∈{head,body,leg}，1≤k≤n1，图库中所有样本的部件p的第k种特征融合在一起形成部件p的第k种特征集即：其中，U表示包含关系；

接着，利用k-means算法将部件p的部件特征集聚类得到c个簇1≤j≤c，同时形成该部件的一个原型集即：

其中，每个簇作为该部件在该特征下的一个原型；

步骤A23，根据所述部件特征集和所述原型集计算所述原型相似度特征；

以表示样本部件p的第k种特征与其对应的原型集之间的相似度，d(·,·)表示为显著性差异距离，则：

以F_p表示部件p的部件原型相似度特征，则：

以F表示人体原型相似度特征，则：

F＝{F_head,F_body,F_leg}。

进一步地，所述分类器为adaboost分类器，在步骤B中，以相同人样本计算所得到的个体相似度差异特征作为正样本，而不同人样本计算所得到的个体相似度差异特征作为负样本来训练所述adaboost分类器。

进一步地，所述步骤C包括具体包括：

步骤C1，计算样本图像序列中的样本序列与待识别图像序列中所有图像经过adaboost分类器分类后的权值平均值；

以score^q表示样本图像序列中的样本序列seq与待识别图像序列中所有图像中人体q的图像序列经过adaboost分类后权值平均值，output_g表示为第g组经过adaboost分类器后输出的权值，则：

步骤C2，选择adaboost分类器输出权值平均值的最大值对应的图像序列为最终的在识别结果，确认最匹配人体；

以q^*表示权值平均值的最大值，Q表示图库，则：

本发明还提供了一种多摄像机间人体目标再识别的***，包括：

计算单元，用于将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；

训练单元，用于根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；

确定单元，用于计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。

进一步地，所述计算单元包括：

分组模块，用于将已知人体图像序列与图库中待识别的个体图像序列分为若干组；

原型相似度计算模块，用于计算组内每幅图像中人体的原型相似度特征；

相似度计算模块，用于分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；

计算模块，用于以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征，其中；

以n,m分别表示样本图像序列和待识别图像序列的大小，表示第i个人的第n幅图像的原型相似度特征,以f_isdf表示个体相似度差异特征，则：

进一步地，所述分组模块具体用于：

采用***抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列：

则：seq＝{sp₁,sp₂,...,sp_N}，

其中：sp_id∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/s_c，s_c表示组内样本个数。

进一步地，所述原型相似度计算模块包括：

分割子模块，用于将每一图像序列中的人体按照1:3:4的分割比例分成三部件；

构建子模块，用于构建各部件的部件特征集和对应的原型集；

假如图库中有T个样本，即G＝{Γ₁,...,Γ_T}，每个样本按照分割比例分割成三部件，即Γ_i＝{Γ_i,head,Γ_i,body,Γ_i,leg}，以n1种特征向量描述每个部件，即：

其中，p∈{head,body,leg}，1≤k≤n1，图库中所有部件p的第k种特征融合在一起形成部件p的部件特征集即：其中，U表示包含关系；

接着，利用k-means算法将部件p的部件特征集聚类得到c个簇1≤j≤c，同时形成该部件的一个原型集即：

其中，每个簇作为该部件在该特征下的一个原型；

原型相似度特征计算子模块，用于根据所述部件特征集和所述原型集计算所述原型相似度特征；

以表示样本部件p的第k种特征与其对应的原型集之间的相似度，d(·,·)表示为显著性差异距离，则：

以F_p表示部件p的部件原型相似度特征，则：

以F表示原型相似度特征，则：

F＝{F_head,F_body,F_leg}。

本发明与现有技术相比，有益效果在于：本发明能够用多帧图像数据来实现人体再识别，及度量多帧图像数据中的人体目标的相似度，与现有技术提供的算法相比，本发明提供提出的显著性差异距离在数据集上识别率较高，可以有效的改善不同摄像机间样本图像中人体产生较大的外形、尺度和遮挡等影响因素的鲁棒性，从而提高算法的识别率。

附图说明

图1是现有技术中跨摄像机拍摄下同一个人在不同摄像机的差异图。

图2是本发明实施例提供的一种多摄像机间人体目标再识别方法的流程图。

图3是本发明实施例提供的一种多摄像机间人体目标再识别方法的详细流程图。

图4是本发明实施例提供的相似度度量的比较示意图。

图5是本发明实施例提供的人体分割及描述示意图。

图6是本发明实施例提供的部件原型重建示意图。

图7是本发明实施例提供的个体相似度差异特征提取示意图。

图8是本发明实施例提供的显著性差异距离性能对比结果示意图。

图9是本发明实施例提供的算法性能对比结果示意图。

图10是本发明实施例提供的一种多摄像机间人体目标再识别***的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

人体再识别是人体跨摄像机跟踪的关键任务，近年来受到广泛关注。人体再识别就是在不同的摄像机视野里利用一些视觉特征进行人体匹配。人体再识别在视频监控***中具有非常重要的应用，如跨摄像机跟踪、行为分析和行人搜索等。经过十多年的研究，目前已经存在许多人体再识别的算法，但是其仍面临着巨大的挑战，这主要是因为不同摄像机间光照变化、形状变化、部分遮挡和摄像机设置等因素影响，使得同一个人在不同摄像机内外观特征变化非常大，甚至出现不同人在同一摄像机内的外观相似度高于同一人在不同摄像机内的外观相似度。如图1所示，6幅图均为同一人体，其中a、b和c来自摄像机A，d、e和f来自摄像机B。从图中可以看出，摄像机B中人体颜色要比摄像机A中人体颜色深，两个摄像机的图像在人体形状、光照、尺度、背景环境、拍摄视角等方面也有较大差异。目前主要从两个方面来提高人体再识别算法的准确度：一种方法是提取鲁棒的特征描述子使得同一个人具有最小的类内变化而不同人间具有最大类间变化；另一种是学习一种鲁棒的度量机制能够抑制摄像机内物体变化并优化摄像机间度量学习。

特征描述子是目标检测、跟踪、检索和再识别等应用的重要步骤。近几十年，研究者设计出了许多鲁棒的特征描述子。然而，单一特征一般只对某种或几种影响因素具有较好鲁棒性，例如颜色特征对形变具有较好的鲁棒性而容易受光照变化影响，因此，目前一些算法通过选择几种互补的特征进行特征融合或构成特征池来增加再识别算法的鲁棒性。Farenzena等利用加权欧式距离、最大稳定局部颜色区域和结构化块特征来处理视角变化。相似性度量是人体匹配的关键步骤，目前常用的相似性度量方法有欧式距离，直方图交叉法，巴氏距离和马氏距离等。ZHAO等将人体图像划分为稠密的块，然后利用欧式距离进行分类和学习中间层滤波器。

目前大部分的人体再识别方法都是依靠人体间外观特征的相似度来完成不同摄像机间再识别任务。因此，目前的人体再识别方法主要分为特征设计与选择和度量学习两类。

特征设计与选择的方法则是设计出对光照变化、人体形变鲁棒的外观特征，增强不同人间的外观区分能力，同时维持同一人在不同摄像机间外观特征的不变性。Kviatkovsky等发现了一种对光照具有不变性的内分布的颜色结构，并结合协方差描述子用于行人再识别。Zhao等利用无监督学习的方法提取人体图像中显著性特征并用于行人再识别。Lian等提出了具有亮度不变性的基于颜色距离的LBP特征(DLBP)，并再此基础上融合颜色特征形成颜色DLBP特征(CI_DLBP)进行行人再识别。Farenzena等结合整体的加权颜色直方图、最大稳定的颜色区域和周期性的高度结构化块三种特征进行行人再识别。Liu等发现行人外观各特征的描述的重要程度在不同摄像机视角、不同光照环境下各特征的重要性不同，据此提出了一种基于特征重要性挖掘的行人再识别算法。Ryan等用中心属性来描述行人并通过比较属性特征来区分不同摄像机中的行人。

度量学习的方法就是学习一种特征转换或距离度量使得同一人在不同摄像机间具有最小距离而不同人体在相同摄像机里具有最大距离。Zheng等优化距离学习度量机制，使得正确匹配对之间的距离要小于错误匹配对之间距离的概率最大化。Prosser等受文本分类和检索的启发，将行人再识别问题转换为一个排序问题，提出了基于排序支持向量机的行人再识别算法。Hirzer等针对度量学习存在优化计算模式复杂的缺陷提出了宽松的逐对度量学习的行人再识别算法。Liu等通过利用LCC(局部坐标编码)来学习得到两个稀疏字典，并通过字典的重构误差大小来实现行人再识别。Li等提出了一个由联合距离度量模型和局部自适应阈值规则组成的局部自适应决策函数用于行人再识别并取得了很好的再识别性能。

基于上述原因，如图2所示，本发明实施例提供了一种多摄像机间人体目标再识别的方法，步骤包括：

S1，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；

S2，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；

S3，计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。

进一步地，步骤S1具体包括：

S11，将已知人体图像序列与图库中待识别的个体图像序列分为若干组；

S12，计算组内每幅图像中人体的原型相似度特征。在本步骤中，计算所有组内图像的人体原型相似度特征，包括已知人体图像序列和图库中待识别个体图像序列，本步骤将每幅图像内人体划分为三部件，然后每个部件与对应的已经构建好的原型特征计算相似度，最后将三部件的相似度融合在一起形成整个人体的原型相似度特征。

S13，分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度。在本步骤中，拿步骤S12中已知人体图像序列中样本的原型相似度特征一一与待识别的图库中的具有相同组编号的组内所有人体图像的原型相似度特征计算相似度。在本步骤中使用的是个体图像序列来代替单幅图像，因此需查询个体各组内每幅人体图像。

S14，以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征；

以n,m分别表示样本图像序列和待识别图像序列的大小，表示第i个人的第n幅图像的原型相似度特征,以f_isdf表示个体相似度差异特征，则：

下面，通过图3至图9来对本发明实施例进行进一步的阐述：

本实施例的详细流程如图3所示，首先，以分组数为间距，采用***抽样的方法将图像序列划分至多个组中，并提取个体相似度差异特征(ISDF，Individual SimilarityDifference Feature)。然后，训练一个adaboost分类器。最后，根据分类器输出得分来实现人体再识别。在特征提取过程中，本实施例使用SDD作为相似度测量函数。因此，5.1节介绍SDD(Significant Difference Distance，显著性差异距离)，5.2节介绍ISDF，5.3介绍基于分组相似度对比模型的人体再识别。详细介绍如下：

5.1显著性差异距离

相似性度量是目标再识别算法中重要组成部分，相似性度量的结果直接影响着后续目标再识别的准确性。相似性度量函数的设计应遵循同类之间相似度距离越小越好，异类之间相似度距离越大越好的原则，以便更加准确的实现目标再识别。本实施例中采用间隔差异度来评价相似性度量函数的性能，其定义如下：

θ＝D(x,x_d)-D(x,x_s) (1)

其中θ表示间隔差异，D(·,·)表示相似性度量函数，x表示特征向量，x_d表示与x异类的特征向量，x_s与x同类的特征向量。根据相似性度量函数设计原则可知，θ值越大，相似性度量函数设计的就越好，越能区分不同物体间差异。

欧氏距离仅仅表示在多维空间里两个向量的累计差异值，如式(2)所示。

式中n表示向量的维数，x_i,y_i分别表示两个向量的元素值。

在利用特征向量来描述物体时，特征向量中每个元素都是物体某种特定属性信息的描述。例如颜色直方图中每个bin描述的是对应色度值在整幅图像中的比例。因此，在计算相似性时应突出显著性元素间差异的重要性，即对显著性差异的元素赋予更大的权值来突出其贡献，而对差异小的元素赋予更小权值来减少其在度量中的影响，从而增加相似性度量函数的区分性。基于上述分析，本实施例提出了以两向量对应元素间差异性作为权值的显著性差异距离来度量向量间的相似性。其计算定义如下:

其中n为向量维数，ω_i为权值，其计算如式(4)所示，σ为带宽，本实施例σ＝0.1。

本实施例中涉及的显著性差异距离，既考虑了向量间对应元素间的差异度，也考虑了所有元素的累积差异。并且向量间对应元素值差异越大，其权值越大，最终的显著性差异距离也越大，两向量就越不相似。本实施例用d_ED,d_SDD,θ_ED,θ_SDD分别表示欧氏距离和显著性差异距离及其对应的间隔差异度。如图4所示，a和b分别是不同摄像机里同一人样本图像，b与c为同一摄像机内不同人体图像。从图中相似性度量结果可知，θ_ED＜＜θ_SDD，因此显著性差异距离相比于欧氏距离而言，具有更好的类内与类间距离的差异性，可更好的描述行人间的相似性。

5.2个体相似度差异特征

5.2.1人体分割

多余的背景会影响人体再识别准确性，为了减少背景区域对人体再识别的干扰，现有技术提供的一些算法通过颜色聚类的方法将人体垂直方向分割为多个部件，并忽略区域小的头部。然而，这类通过颜色聚类的分割方法容易受到衣着颜色的干扰，如穿风衣或连衣裙时容易造成分割不准确。此外，虽然头部区域较小，但是也包含着丰富的信息，如头发颜色、发型、配饰等。Mazzon等发现人体头部被遮挡的概率小，因此利用人体头部区域在拥挤场景中进行人体再识别。为了有效的利用头部区域并尽量避免过多的引入背景，本实施例将头部区域在水平方向上划分为左侧背景区域、中间前景区域和右侧背景区域三部分。本实施例将VIPeR、iLIDS、CUHK01和ETHZ四个数据集里共6364幅人体样本归一化至64*128后，对各数据集内图像垂直方向和水平方向的分割比例进行统计，其结果如表1所示。从表1中可以得出头部、躯干和腿部的平均比例约为19.25:45.25:63.5，化简后约为1:3:4；左侧背景、头部和右侧背景的平均比例约为17.25:30.125:16.625，化简后约为1:2:1。因为ETHZ数据集样本中行人离摄像机比较远，人体尺度也比较小，从表1中也可以看出其头部在垂直方向变化比较大。因此，为了增加头部区域对垂直方向平移的鲁棒性，本实施例对头部区域高度延伸1.5倍。如图5为本实施例人体分割示意图。其中样本宽度为W，高度为H，垂直条纹的高度为h(h＝H/8)，水平条纹宽度为w(w＝W/4)。

表1各部件垂直高度(像素)

5.2.2原型相似度特征

假如图库中包含T个样本，即G＝{Γ₁,...,Γ_T}，每个个体按照图5所示的分割比例分割成三部分，即Γ_i＝{Γ_i,head,Γ_i,body,Γ_i,leg}。每个部件由n1种特征向量描述，即：

其中p∈{head,body,leg}，1≤k≤n1。图库中所有样本的部件p的第k种特征按照式(6)融合在一起形成部件特征集

其中U表示包含关系。接着利用k-means算法将聚类得到c个簇(1≤j≤c)，并形成该部件p的一个原型集如式(7)所示，每个簇作为部件p在该种特征下的一个原型。

图6为部件原型构建示意图。一旦部件原型集创建成功，任何样本的各部件都可以用对应的原型相似度距离来表示。本实施例称此特征为原型相似度特征(PSF，PrototypeSimilarity Feature)：

F＝{F_head,F_body,F_leg} (8)

其中F_p表示部件p的PSF，其计算表达式如下：

其中表示样本部件p的第k种特征与其对应的原型集间相似度，计算如下：

其中d(·,·)表示为显著性差异距离。

计算摄像机A中每个样本图像与摄像机B中所有图像的相似度(称为全连接)，如果把每一对PSF的相似度作为一个元素值，那么，在计算完一个组内所有对后可得到一个新的描述子，本实施例称为个体相似度差异特征：

其中n,m分别表示两组不同图像序列大小。表示第i个人的第n幅图像的PSF。图7为ISDF提取示意图。

5.3人体再识别

行人在不同摄像机里存在形状、光照变化等，如果只计算两个样本序列里对应样本图像的相似度，其缺乏对影响因素的充分考虑；如果计算每个样本与另一样本序列里所有样本的相似度，其计算复杂度将会增加，影响实时性应用要求。本实施例提出了一种科学高效的再识别算法。该算法将样本序列进行分组，采用组内全连接而组间不连接的规则并利用显著性差异距离计算样本间相似度。为了增强算法对人体形变、遮挡等因素的鲁棒性，本实施例以总分组数为间距，采用如式(11)所示的***抽样的方法，将图像序列seq＝{sp₁,sp₂,...,sp_N}分配到各个组内。

sp_id∈Group_(s+1)if id％gn＝s (12)

s.t.1≤id≤N,1≤s≤gn

其中N为个体序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其设置规则如下：

gn＝N/s_c (13)

其中s_c表示组内样本个数，一个经验值范围是2≤s_c≤5。

如果将相同人样本计算所得到的作为正样本，而不同人样本计算所得到的作为负样本来训练adaboost分类器，那么人体再识别问题可转化为一个二分类问题，即相同人和不同人。adaboost分类器最终的输出是各弱分类器学***均值，其值越大表示两个人体样本越相似。那么，计算出摄像机A中人p的样本序列seq^p与摄像机B图库中所有图像序列的分类器输出结果后，选择分类器输出结果最大的图像序列作为最终的再识别结果。用公式表达如下：

其中Q为图库，score^q表示已知样本序列seq与图库中待识别人体q的样本序列经过adaboost分类后权值平均值，其计算描述如下：

其中output_g表示为第g组经过adaboost分类器后输出的权值。

分组的另一个目的是为了平衡算法鲁棒性和时间开销，假设图像序列seq_a,seq_b的样本数为n，那么不分组时全连接的算法时间复杂度为ο(n²)。如果每个序列分为K组，则seq_a,seq_b每组样本数约为n/K，此时算法时间复杂度为ο(n²/K)。可见随着分组数增加，算法的时间复杂度在降低。因此，在实际应用中需要在识别精度与时间复杂度方面进行权衡。结合图3和图7可知，本实施例的一个特例为s_c＝1。

本专利选择4个公开的人体再识别数据集，分别是VIPeR，CUHK01，ETHZ和MCT04。VIPeR属于单帧模式，而其它3个数据集属于多帧模式。VIPeR由大学校园室外环境里两个不同拍摄角度的摄像机拍摄图像组成，包含632个行人，每个行人每个摄像机只包含一幅图像。CUKH01包含971个行人共3884幅样本图像，每个行人包含4幅图像，分别来自两个不同拍摄角度的摄像机。ETHZ由一个移动摄像机拍摄得到，该数据集共包含83个行人图像序列，每个行人图像序列至少包含7幅图像。本实施例选择出至少包含12幅样本(划分为两个样本序列，每个样本序列包含6幅图像)的图像进行实验，经过筛选得到960幅包含80个行人图像序列。MCT04为由5个不重叠视野区域的视频组成，本实施例选择其中两个摄像机里共同出现的73个行人图像序列，每个行人每个摄像机里6幅图像，共876幅样本。所有数据集都非常具有挑战性，因为不同拍摄视角、姿态和光照等因素影响使得行人在不同摄像机间具有较大的外观差异。

参数设置：本实施例采用HOG和LBP、主颜色谱直方图(Major Color SpectrumHistogram,MCSH)、YUV颜色直方图6种特征来描述人体各部件。所有样本根据本实施例分割比例分割成头部、躯干和腿部三部分，并且头部每种特征构建10个原型，躯干和腿部构建20个原型。用g_c表示分组数，那么各数据集分组信息如下：VIPeR：g_c＝1,s_c＝1，CUHK01：g_c＝1,s_c＝2，ETHZ：g_c＝2,s_c＝3和MCT04：g_c＝3,s_c＝2，σ＝0.1。

评价指标：本实施例采用累积匹配特性曲线(Cumulative MatchingCharacteristic，CMC)和Rank N来评估各方法的再识别性能。

通过本发明实施例，可以达到以下有益效果：

优点一：本实施例提出的显著性差异距离在数据集上无论是Rank-1还是Rank-5的识别率都远高于其它现有技术提供的方法

为了验证显著性差异距离在特征相似性度量的性能，本实施例选择欧氏距离、巴氏距离、直方图相交法与本实施例提出的显著性差异距离4种特征相似度方法进行对比实验。实验使用Rank-1和Rank-5两种评价指标，对比结果如图8所示。从图中对比结果可知，本实施例提出的显著性差异距离在数据集上无论是Rank-1还是Rank-5的识别率都远高于其它几种方法，而在ETHZ和MCT04数据集上Rank-1的识别率高于其它方法。欧氏距离描述的特征向量的累积差异，而没有考虑两个向量间对应元素间的差异的重要性。直方图交叉法虽然考虑了两特征向量对应元素间相似性，但没有考虑两特征向量间空间距离。巴氏距离描述的是两特征向量在相同空间内的概率分布，识别率虽高于欧氏距离和直方图相交法，但低于显著性差异距离。SDD在四个图库的识别率都优于其它三种方法，从而说明了SDD具有更好的区分能力。

优点二：本专利的方法比现有其他方法具有更好的多传感器间人体再识别率。

本实施例与传统的识别模式方法和序列识别模式方法在ETHZ和MCT04数据集上进行对比实验。其结果的CMC曲线如图9所示。本实施例提出的方法在ETHZ和MCT04数据集上分别获得了87.75％和68.77％的Rank-1的准确率，并且也展示了本实施例提出的方法优于其它三种方法。这原因可能是基于分组的全连接模式可以有效的改善不同摄像机间样本图像中人体产生较大的外形、尺度和遮挡等影响因素的鲁棒性，从而提高算法的识别率。而ETHZ数据集的识别率高于MCT04数据集的一个可能原因是ETHZ数据集图像分辨率高并且遮挡少。

如图10所示，本发明实施例还提供了一种多摄像机间人体目标再识别的***，包括：

计算单元1，用于将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；

训练单元2，用于根据各组的个体相似度差异特征及其对应的标签来进行分类器训练。具体地，所述分类器为adaboost分类器，训练单元2以相同人样本计算所得到的个体相似度差异特征作为正样本，而不同人样本计算所得到的个体相似度差异特征作为负样本来训练所述adaboost分类器

确定单元3，用于计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。

进一步地，计算单元1包括：

分组模块，用于将已知人体图像序列与图库中待识别的个体图像序列分为若干组；

原型相似度计算模块，用于计算组内每幅图像中人体的原型相似度特征；

相似度计算模块，用于分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；

计算模块，用于以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征，其中；

以n,m分别表示样本图像序列和待识别图像序列的大小，表示第i个人的第n幅图像的原型相似度特征,以f_isdf表示个体相似度差异特征，则：

进一步地，所述分组模块具体用于：

采用***抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列：

则：seq＝{sp₁,sp₂,...,sp_N}，

其中：sp_id∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/s_c，s_c表示组内样本个数。

上述中，seq表示为一个个体的图像序列，没有特指，也不是表示查询和待识别的全部图像序列，可以是查询人体图像序列也可以是待识别图库里某个个体的图像序列。根据sp_id∈Group_(s+1)if id％gn＝s分组，即样本编号除分组数后得到的余数即为该样本所在分组编号，上述公式中，％取余操作的值域为[0gn-1]，因此需要将余数加1，使其值域为[1gn]与附图3对应。一个样本指一幅图像，一个个体可以包含多个样本。

进一步地，所述原型相似度计算模块包括：

分割子模块，用于将每一图像序列中的人体按照1:3:4的分割比例分成三部件

构建子模块，用于构建各部件的部件特征集和对应的原型集；

假如图库中有T个样本，即G＝{Γ₁,...,Γ_T}，每个样本按照分割比例分割成三部件，即Γ_i＝{Γ_i,head,Γ_i,body,Γ_i,leg}，以n1种特征向量描述每个部件，即：

其中，p∈{head,body,leg}，1≤k≤n1，图库中所有部件p的第k种特征融合在一起形成部件p的部件特征集即：其中，U表示包含关系；

接着，利用k-means算法将部件p的部件特征集聚类得到c个簇1≤j≤c，同时形成该部件的一个原型集即：

其中，每个簇作为该部件在该特征下的一个原型；

原型相似度特征计算子模块，用于根据所述部件特征集和所述原型集计算所述原型相似度特征；

以表示样本部件p的第k种特征与其对应的原型集之间的相似度，d(·,·)表示为显著性差异距离，则：

以F_p表示部件p的部件原型相似度特征，则：

以F表示原型相似度特征，则：

F＝{F_head,F_body,F_leg}。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多摄像机间人体目标再识别的方法，其特征在于，所述方法包括以下步骤：

步骤A，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；

步骤B，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；

步骤C，计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。

2.如权利要求1所述的方法，其特征在于，所述步骤A包括以下步骤：

步骤A1，将已知人体图像序列与图库中待识别的个体图像序列分为若干组；

步骤A2，计算组内每幅图像中人体的原型相似度特征；

步骤A3，分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；

步骤A4，以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征；

以n,m分别表示样本图像序列和待识别图像序列的大小，F_i ⁿ表示第i个人的第n幅图像的原型相似度特征,以f_isdf表示个体相似度差异特征，以表示特征F_i ⁿ与经过显著性差异距离d(·,·)计算后得到的相似度值，则：

3.如权利要求2所述的方法，其特征在于，所述步骤A1具体包括：

采用***抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列，则：

seq＝{sp₁,sp₂,...,sp_N}；

其中：若id％gn＝s，则sp_id∈Group_(s+1)，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/s_c，s_c表示组内样本个数，s.t.表示约束条件。

4.如权利要求2所述的方法，其特征在于，所述步骤A2具体包括：

步骤A21，将每一图像序列中的人体按照1:3:4的分割比例分成三部件；

步骤A22，构建各部件的部件特征集和对应的原型集；

假如图库中有T个样本，即G＝{Γ₁,...,Γ_T}，每个样本按照分割比例分割成三部件，即Γ_i＝{Γ_i,head,Γ_i,body,Γ_i,leg}，以n1种特征向量描述每个部件，即：

其中，p∈{head,body,leg}，1≤k≤n1，图库中所有样本的部件p的第k种特征融合在一起形成部件p的第k种特征集即：其中，U表示包含关系；

接着，利用k-means算法将部件p的部件特征集聚类得到c个簇1≤j≤c，同时形成该部件的一个原型集即：

其中，每个簇作为该部件在该特征下的一个原型；

步骤A23，根据所述部件特征集和所述原型集计算所述原型相似度特征；

以表示样本部件p的第k种特征与其对应的原型集之间的相似度，d( · , ·) 表示为显著性差异距离，则：

以F_p表示部件p的部件原型相似度特征，则：

以F表示人体原型相似度特征，则：

F＝{F_head,F_body,F_leg}。

5.如权利要求3所述的方法，其特征在于，所述分类器为adaboost分类器，在步骤B中，以相同人样本计算所得到的个体相似度差异特征作为正样本，而不同人样本计算所得到的个体相似度差异特征作为负样本来训练所述adaboost分类器。

6.如权利要求5所述的方法，其特征在于，所述步骤C包括具体包括：

步骤C1，计算样本图像序列中的样本序列与待识别图像序列中所有图像经过adaboost分类器分类后的权值平均值；

以score^q表示样本图像序列中的样本序列seq与待识别图像序列中所有图像中人体q的图像序列经过adaboost分类后权值平均值，output_g表示为第g组经过adaboost分类器后输出的权值，则：

步骤C2，选择adaboost分类器输出权值平均值的最大值对应的图像序列为最终的在识别结果，确认最匹配人体；

以q^*表示权值平均值的最大值，Q表示图库，则：

7.一种多摄像机间人体目标再识别的***，其特征在于，所述***包括：

计算单元，用于将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；

训练单元，用于根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；

确定单元，用于计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。

8.如权利要求7所述的***，其特征在于，所述计算单元包括：

分组模块，用于将已知人体图像序列与图库中待识别的个体图像序列分为若干组；

原型相似度计算模块，用于计算组内每幅图像中人体的原型相似度特征；

相似度计算模块，用于分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；

计算模块，用于以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征，其中；

以n,m分别表示样本图像序列和待识别图像序列的大小，F_i ⁿ表示第i个人的第n幅图像的原型相似度特征,以f_isdf表示个体相似度差异特征，以表示特征F_i ⁿ与经过显著性差异距离d( · , · ) 计算后得到的相似度值，则：

9.如权利要求8所述的***，其特征在于，所述分组模块具体用于：

采用***抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列：

则：seq＝{sp₁,sp₂,...,sp_N}；

其中：若id％gn＝s，则sp_id∈Group_(s+1)，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/s_c，s_c表示组内样本个数，s.t.表示约束条件。

10.如权利要求8所述的***，其特征在于，所述原型相似度计算模块包括：

分割子模块，用于将每一图像序列中的人体按照1:3:4的分割比例分成三部件；

构建子模块，用于构建各部件的部件特征集和对应的原型集；

假如图库中有T个样本，即G＝{Γ₁,...,Γ_T}，每个样本按照分割比例分割成三部件，即Γ_i＝{Γ_i,head,Γ_i,body,Γ_i,leg}，以n1种特征向量描述每个部件，即：

其中，p∈{head,body,leg}，1≤k≤n1，图库中所有部件p的第k种特征融合在一起形成部件p的部件特征集即：其中，U表示包含关系；

接着，利用k-means算法将部件p的部件特征集聚类得到c个簇1≤j≤c，同时形成该部件的一个原型集即：

其中，每个簇作为该部件在该特征下的一个原型；

原型相似度特征计算子模块，用于根据所述部件特征集和所述原型集计算所述原型相似度特征；

以表示样本部件p的第k种特征与其对应的原型集之间的相似度，d( · , ·) 表示为显著性差异距离，则：

以F_p表示部件p的部件原型相似度特征，则：

以F表示原型相似度特征，则：

F＝{F_head,F_body,F_leg}。