CN103793721B - 一种基于区域相关反馈的行人重识别方法及*** - Google Patents

Abstract

本发明提供一种基于区域相关反馈的行人重识别方法及***，进行初次查询匹配和反馈样本收集，选取不相关图像作为反馈样本并标记类型；确定近邻集合、区域权重调整和特征权重调整；进行特征表达和距离度量，得到查询匹配结果；查询匹配结果，如果符合要求则输出结果，如果不符合要求，则返回进行迭代更新反馈样本，直到符合要求。本发明提出的基于区域相关反馈的技术，是充分了利用行人图像的局部特征信息，从局部特征出发，结合其他信息实时动态地调整局部特征权重，并结合传统行人重识别方法最终实现准确快速地找出并成功匹配目标嫌疑人。

Description

一种基于区域相关反馈的行人重识别方法及***

技术领域

本发明涉及视频侦查领域中的监控视频中对目标嫌疑人进行重识别的过程，属于一种基于区域相关反馈的行人重识别的方法及***。

背景技术

随着平安城市的广泛建设和各种场所面临监控的普及，视频监控数据量变得越来越大，这给刑侦破案带来了巨大的挑战，如何快速准确地从这些海量数据库提取出目标嫌疑人成为破案的关键。

传统的行人重识别方法能有效解决长时间人工手动检索可能带来的漏检和误检的问题，但是匹配效率相对较低，其主要是通过特征表达和距离度量的方法来对改善原始检索排序的，是一种非交互的查询方法。近年来有一些交互式的相关反馈方法应用于行人重识别***，但大都是基于正样本图像的一个整体关联匹配，没有考虑行人样本库中的不相关样本以及其局部特征对改善查询排序结果的影响。

在现有的行人重识别方法中，基于特征表达的方法在实际中应用比较广泛。在进行行人重识别过程中，通过对目标的各个不同外观特征以及运动信息特征进行提取，找出一个合适的表达方式，然后在行人样本库中直接对有相似或相同的特征表达的样本进行匹配，直到找出嫌疑目标。

专利号“CN102663366A”，名称为“行人目标识别方法及***”的专利，提出了一种基于特征表达的行人目标识别方法，该方法包括采集视频帧、提取视频帧的HOG特征等步骤，提取出的视频帧包含了行人方向和强度信息的LBP特征，然后根据所述HOG特征和所述LBP特征来识别监控视频场景中的特定的行人目标，这种方法算法比较简单、效率也很高，但是鲁棒性不是很好，对摄像头的拍摄方位角度和不同的光照条件变化比较敏感，很容易导致错误匹配，不适于在复杂环境下用于进行行人重识别；

相关反馈的方法在基于内容的图像检索中使用也很广泛。不同于在行人重识别特定的应用范围，在基于内容的图像检索中，存在着数量较多的用于匹配的正样本图像，这样就比较容易对大量的不相关的样本图像进行学习，在人机交互过程中，根据相关特征包含的信息量和图像场景，选取相对应的特征表达，通过比较、匹配、排序后反馈给识别子***，从而实现优化初始检索结果的目的。这种方法实现效果很好，鲁棒性好，但是需要对大量样本的所有特征进行训练学习，***开销较大，算法相对复杂，实时性方面难以达到要求，不适于在行人重识别***中应用。

专利号“CN 101539930 A”，名称为“一种相关反馈图像检索方法”的专利，通过基于分段相似性度量和多伦次联合反馈的图像检索方法来实现对目标图像进行检索的，这种方法检索出的匹配效果比较好，但是运算过程相对复杂，需要反复对图像中多个特征进行训练学习，不适于在行人重识别***中进行实战部署。

发明内容

本发明的目的在于克服现有技术缺陷，提出一种基于区域相关反馈的行人重识别方法和***。

本发明的技术方案提供一种基于区域相关反馈的行人重识别方法，包括以下步骤，

步骤S1，进行初次查询匹配和反馈样本收集，包括以下子步骤，

步骤S1.1，进行初次查询匹配，包括将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

步骤S1.2，进行反馈样本收集，在第一次执行步骤S1.2时，从初次排序结果在排名最靠前的一定预设数目的图像中选取不相关图像作为反馈样本并标记类型，构成反馈样本集；后续执行步骤S1.2时，从上一轮迭代执行步骤S4的所得查询排序结果中选取不相关图像作为反馈样本并标记类型，加入反馈样本集；

标记类型方式为，设划分U个区域1、2…U，每个反馈样本分别标记为2U个类型之一，即与查询图像基于区域1相似、基于区域1不相似、基于区域2相似、基于区域2不相似…基于区域U相似、基于区域U不相似；对反馈样本进行标记时，按照区域的划分，在每个区域提取视觉特征，设得到M维特征向量，其中任一维记为第m维，根据特征向量与查询图像中对应区域分别进行相似性比较；

步骤S2，进行确定近邻集合、区域权重调整和特征权重调整，包括以下子步骤，

步骤S2.1，对查询图像，首先通过区域K近邻集合的方法寻找出基于区域相似的区域相似和区域不相似的样本集合；然后运用动态k近邻规则，对每一个标记为某区域相似的样本，更新调整并得到新的包含k个近邻的区域相似的集合，对每一个标记为某区域不相似的样本，更新调整并得到新的包含k个近邻的该区域不相似的集合；

步骤S2.2，更新区域权重和特征权重，

设查询图像p与反馈样本集中第i个反馈样本的图像之间相似性S_a(p,g_i)采用如下计算公式，

其中，代表第j个区域部位在m维特征向量下的特征权重；代表第j个区域部位在第m维特征向量；W_j(p,g_i)代表查询图像p与反馈样本之间的基于第j个区域部位区域权重；其中设代表查询图像p与反馈样本之间的基于第j个区域部位在第m维特征值下的相似度；j的取值为1、2…U，

步骤S2.2.1，利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_j(p,g_i)＝W_j(p,g_i)×β₁ β₁>1 式二

W_j(p,g_i)＝W_j(p,g_i)×β₂ 0<β₂<1 式三

其中，W_j(p,g_i)表示第j个区域部位的区域权重，β₁、β₂为预设系数；

步骤S2.2.2，利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数；

步骤S3，根据步骤S2中所得调整后的区域权重和式一，进行特征表达和距离度量，得到查询匹配结果；

步骤S4，显示步骤S3所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则返回步骤S1.2进行迭代，直到符合要求。

而且，对反馈样本按照区域的划分，与查询图像中对应区域分别进行相似性比较时，各区域分别所采用的相似性度量计算如下式，

其中，表示第j个区域部位的特征权重，初次执行步骤S1.2采用预设初值，后续执行步骤S1.2时采用上一轮迭代时执行步骤S2更新的权重值；代表第j个区域部位的第m维特征向量；代表查询图像p与反馈样本g_i之间的基于第j个区域部位在第m维特征值下的相似度。

而且，设划分2个区域，包括躯干和腿部，与查询图像中对应区域分别进行相似性比较时，躯干和腿部分别所采用的相似性度量计算如下式，

其中，和分别代表腿部和躯干部位的特征权重，和分别代表腿部和躯干部位m维特征向量；和分别代表查询图像与反馈样本之间基于腿部在第m维特征值下的相似度和基于躯干部位在第m维特征值下的相似度；S_t(p,g_i)为躯干部位相似性度量的值，S_l(p,g_i)为腿部部位相似性度量的值。

而且，查询图像p与反馈样本集中第i个样本的图像之间相似性采用如下计算公式，

其中，和分别代表腿部和躯干部位的在m维特征向量下的特征权重；和分别代表腿部和躯干部位m维特征向量；W_l(p,g_i)和W_t(p,g_i)分别代表嫌疑目标与样本之间的基于腿部区域和躯干部位区域权重；和则分别代表嫌疑目标与样本之间的基于腿部区域在第m维特征值下的相似度和基于躯干部位在第m维特征值下的相似度。

而且，步骤S2.2.1，利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_t,l(p,g_i)＝W_t,l(p,g_i)×β₁ β₁>1 式九

W_t,l(p,g_i)＝W_t,l(p,g_i)×β₂ 0<β₂<1 式十

其中，W_t,l(p,g_i)表示W_t(p,g_i)或W_l(p,g_i)，β₁、β₂为预设系数。

而且，步骤S2.2.2，利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数。

本发明还相应提供一种基于区域相关反馈的行人重识别***，包括以下模块，

反馈模块，用于进行初次查询匹配和反馈样本收集，包括以下子模块，

初次查询匹配子模块，用于将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

反馈样本收集子模块，用于在第一次执行反馈样本收集时，从初次排序结果在排名最靠前的一定预设数目的图像中选取不相关图像作为反馈样本并标记类型，构成反馈样本集；后续执行反馈样本收集时，从上一轮迭代时结果显示模块所得查询排序结果中选取不相关图像作为反馈样本并标记类型，加入反馈样本集；

标记类型方式为，设划分U个区域1、2…U，每个反馈样本分别标记为2U个类型之一，即与查询图像基于区域1相似、基于区域1不相似、基于区域2相似、基于区域2不相似…基于区域U相似、基于区域U不相似；对反馈样本进行标记时，按照区域的划分，在每个区域提取视觉特征，设得到M维特征向量，其中任一维记为第m维，根据特征向量与查询图像中对应区域分别进行相似性比较；

权值模块，用于进行确定近邻集合、区域权重调整和特征权重调整，包括以下子模块，确定近邻集合子模块，用于对查询图像，首先通过区域K近邻集合的方法寻找出基于区域相似的区域相似和区域不相似的样本集合；然后运用动态k近邻规则，对每一个标记为某区域相似的样本，更新调整并得到新的包含k个近邻的区域相似的集合，对每一个标记为某区域不相似的样本，更新调整并得到新的包含k个近邻的该区域不相似的集合；

更新区域权重和特征权重子模块，用于执行以下操作，

设查询图像p与反馈样本集中第i个反馈样本的图像之间相似性S_a(p,g_i)采用如下计算公式，

其中，代表第j个区域部位在m维特征向量下的特征权重；代表第j个区域部位在第m维特征向量；W_j(p,g_i)代表查询图像p与反馈样本之间的基于第j个区域部位区域权重；其中设代表查询图像p与反馈样本之间的基于第j个区域部位在第m维特征值下的相似度；

利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_j(p,g_i)＝W_j(p,g_i)×β₁ β₁>1 式二

W_j(p,g_i)＝W_j(p,g_i)×β₂ 0<β₂<1 式三

其中，W_j(p,g_i)表示第j个区域部位的区域权重，β₁、β₂为预设系数；

利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数；

查询匹配模块，用于根据权值模块所得调整后的区域权重和式一，进行特征表达和距离度量，得到查询匹配结果；

结果显示模块，显示查询匹配模块所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则通知反馈样本收集子模块更新反馈样本集，直到符合要求。

本发明可提高行人重识别***进行匹配识别的有效性和准确性，创新点主要有以下两点：

1.将图像的局部区域作为反馈单元而不是整幅图像应用于行人重识别***，并且每一部分对应一个权重值；

2.运用动态K近邻规则的方法来调整每一部分及其对应特征的权重值，然后依据总的相似度值来优化和改进排序结果的。

附图说明

图1为本发明实施例的流程图。

具体实施方式

本发明所提供的一种基于区域相关反馈的行人重识别方法，是针对视频监控场景下的行人图像与其他情况下各种图像的显著差异性，依据人在行走状态下身体各部位组成结构特点，将其分为几个固定的组成区域，将区域作为基本处理单元，根据每个区域所包含特征信息的不同以及不同区域对最终匹配结果的影响大小，及时更新并反馈调整后的动态权重值，最后依据优化后的相似度大小进行重排序，实现基于区域的相关反馈方法的全过程。具体实施时可采用计算机软件技术，支持流程运行。参见图1，实施例的流程包括步骤如下：

步骤S1，初次查询匹配和反馈样本收集：按照区域的划分，标记区域相似和区域不相似的样本，实现反馈信息收集具体过程。

可采用以下子步骤实现：

步骤S1.1，进行初次查询匹配，包括输入目标人物图像作为查询图像，例如刑侦破案涉及的嫌疑目标人图像，进行初始查询并输出初始查询排序结果，具体实施时，可采用传统方法进行查询图像的初始查询匹配，例如欧式距离或者L1距离的方法，将查询匹配结果根据相似性从高到低排列得到初次排序结果；

步骤S1.2，进行反馈信息收集，第一次执行步骤S1.2时，从初次排序结果在排名最靠前的一定预设数目的图像中选取不相关图像作为反馈样本并标记类型，构成反馈样本集。其中，不相关图像是指行人图像不是被查询的目标人物图像，即使外貌非常相似。设划分U个区域1、2…U，每个反馈样本分别标记为2U个类型之一，即与查询图像基于区域1相似、基于区域1不相似、基于区域2相似、基于区域2不相似…基于区域U相似、基于区域U不相似。在后续迭代时，如果某轮执行到步骤S4的当前查询排序结果不满足要求，则返回执行步骤S1.2时，在排名最靠前的一定预设数目的图像中选取不相关图像作为反馈样本并标记类型，并加入到反馈样本集内，然后基于扩大后的反馈样本重复步骤S2-S4的操作。

实施例划分为躯干部位和腿部部位两个区域。每个反馈样本的类型标记为基于躯干部位相似的样本(PSN_t)、基于躯干部位不相似样本(PDN_t)、基于腿部部位相似的样本(PSN_l)或基于腿部部位不相似样本(PDN_l)。

具体实施时为提高效率起见，可由用户自行选择非查询目标的图像作为不相关图像，并根据视觉和先验知识进行标记。为便于用户选择参考起见，也可自动基于区域进行相似性度量并输出结果，度量实现方式，可由本领域技术人员自行指定。例如，按照人体结构组成特点，将行人身体结构分为上部的躯干部分(torso part)和下部的双腿部分(legpart)，按照两个区域的划分，分别在每个区域提取出基于视觉所包含的外观形状及颜色特征，设得到M维特征向量，其中任一维记为第m维。

设查询图像p，未作标记的样本库为G，其中设：G＝{g_i|i＝1,…,n},其中n代表样本库中样本个数。标记后反馈样本集有n个反馈样本。对反馈样本按照区域的划分，与查询图像中对应区域分别进行相似性比较时，各区域分别所采用的相似性度量计算如下式，

其中，表示第j个区域部位的特征权重，初次执行步骤S1.2采用预设初值，后续执行步骤S1.2时采用上一轮迭代时执行步骤S2更新的权重值；代表第j个区域部位的m维特征向量；代表查询图像p与反馈样本g_i之间的基于第j个区域部位在第m维特征值下的相似度。

实施例中，在不相关图像类中，按照躯干和腿部两部分的划分，与查询图像中嫌疑目标对应区域分别进行相似性比较，躯干和腿部分别所采用的相似性度量计算方法如下：

和分别代表腿部和躯干部位的特征权重，初次执行步骤S1.2采用的初值可由用户依据行人图像与反馈样本之间具体不同特征下的相似性自行预设，后续执行步骤S1.2时可采用上一轮迭代时执行步骤S2更新的权重值；和分别代表腿部和躯干部位m维特征向量；和则分别代表嫌疑目标与样本之间的基于腿部区域和躯干部位在第m维特征值下的相似度；S_t(p,g_i)为躯干部位相似性度量的值，S_l(p,g_i)为腿部部位相似性度量的值。

根据相似性度量值得到初次排序结果后，通过人机交互，用户可根据视觉和先验判断，标记出基于躯干部位相似的样本(PSN_t)和不相似样本(PDN_t)以及基于腿部部位相似的样本(PSN_l)和不相似样本(PDN_l)。

步骤S2，包括确定近邻集合、区域权重调整、特征权重调整：

本步骤通过区域K近邻集合的方法寻找出类似基于区域相似的区域相似和区域不相似的样本集合，对于每一种区域，都可以找出这样的一对集合；对找出的每一对集合，运用动态K近邻的方法，分别重新确定其新的K个近邻，调整不同区域对应的权重。对于不同区域内所包含的特征信息对最终行人重识别的匹配结果的影响程度不同，所以不同的区域具有不同的权重值，而针对相同的区域，由于包含很多特征信息，其中某些特征能够显著地区别于其他样本，对最终的匹配结果影响较大，因而具有较大的权重值，而另外一些特征则与其他样本没有显著区别，对最终匹配结果影响很小，因而具有较小的权重。为此，本发明实施例先找出近邻集合，然后再调整权重大小。针对区域不相似近邻的集合，找出该区域内所有的特征信息，并将所有特征表达组成一个多维的特征向量，对于更新后的新的K个近邻，依据不同的维度上对应的特征值变动大小确定该特征值对匹配结果的影响，对那些能够很好代表查询目标共有性质的特征赋予较大的权重；反之，对那些不能够很好代表查询目标性质的特征，赋予较小的权重值，以此来调整不同特征的特征权重。

可采用以下子步骤实现：

步骤S2.1，对查询图像，首先通过区域K近邻集合的方法寻找出基于区域相似的区域相似和区域不相似的样本集合；然后运用动态k近邻规则，对每一个标记为某区域相似的样本，更新调整并得到新的包含k个近邻的区域相似的集合，对每一个标记为某区域不相似的样本，更新调整并得到新的包含k个近邻的该区域不相似的集合。具体实现方法如下：

对每一种区域，根据公式(1)可知，都可得一个基于该区域相似性大小的排序，设对查询图像通过区域K近邻集合的方法寻找后，分别用和代表组成基于腿部相似和不相似的一对近邻集合，用Set_PSNt和Set_PDNt代表组成基于躯干相似和不相似的一对近邻集合；这些近邻集合所包含的K个样本都是通过K-近邻规则从反馈样本中获取的，K值可预先设定，实施例中取K的值为K＝5。

对每一个标记为某区域相似的样本，将该区域不相似的近邻集合作为分界依据，从排序结果的最前面依次往后面选择样本，直到所选取的样本属于该区域不相似的近邻集合，通过这种方法可以得到新的包含k个近邻的区域相似的集合；同理，对每一个标记为某区域不相似的样本，将该区域相似的近邻集合作为分界依据，运用相同方法，可以得到新的包含k个近邻的该区域不相似的集合。k值根据具体分界选取的情况动态调整。

步骤S2.2，更新区域权重值和特征权重：

设查询图像p与反馈样本集中第i个反馈样本的图像之间相似性S_a(p,g_i)采用如下计算公式，

其中，代表第j个区域部位在m维特征向量下的特征权重；代表第j个区域部位在第m维特征向量；W_j(p,g_i)代表查询图像p与反馈样本之间的基于第j个区域部位区域权重；其中设代表查询图像p与反馈样本之间的基于第j个区域部位在第m维特征值下的相似度；j的取值为1、2…U，

步骤S2.2.1，利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_j(p,g_i)＝W_j(p,g_i)×β₁ β₁>1 (5)

W_j(p,g_i)＝W_j(p,g_i)×β₂ 0<β₂<1 (6)

其中，W_j(p,g_i)表示第j个区域部位的区域权重，β₁、β₂为预设系数；

步骤S2.2.2，利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数。

实施例中，

设嫌疑目标(图像p)与反馈样本集中第i个样本的图像之间相似性的可用如下计算公式：

其中：

和分别代表腿部和躯干部位的在m维特征向量下的特征权重；和分别代表腿部和躯干部位m维特征向量；W_l(p,g_i)和W_t(p,g_i)分别代表嫌疑目标与样本之间的基于腿部区域和躯干部位区域权重值；和则分别代表嫌疑目标与样本之间的基于腿部区域和躯干部位的在m维特征值下的相似度。

步骤S2.2.1，利用机器学习中距离度量的方法，更新区域权重值，

通过公式(4)和(5)来更新区域权重值：

W_t,l(p,g_i)＝W_t,l(p,g_i)×β₁ β₁>1 (9)

W_t,l(p,g_i)＝W_t,l(p,g_i)×β₂ 0<β₂<1 (10)

其中，W_t,l(p,g_i)表示W_t(p,g_i)或W_l(p,g_i)，第一次执行本步骤时，计算前W_t(p,g_i)、W_l(p,g_i)的初值可依据用户所选取的查询行人图像(嫌疑目标的图像p)与反馈样本在不同区域的差异性自行预设，比如在某些环境下，衣服颜色比较鲜明，而且外观差异变化不大，这样上身的权重就更大一些。后续执行本步骤时，计算前W_t(p,g_i)、W_l(p,g_i)的值可采用上一轮迭代执行本步骤时根据计算所得更新的权重值。在上述公式(9)中β₁>1是针对标记为区域相似的样本，使其组成新的k个近邻更加接近所选取的查询图像，从而增加这部分区域的区域权重值；在上述公式(10)中0<β₂<1则针对区域不相似的样本，使其组成的新的k个近邻更加远离所选取的查询图像，从而减小这部分区域的区域权重值，实施例中预设取值为：系数β₁＝100，系数β₂＝0.01。因为得到新的K个近邻样本是计算机依据动态K近邻规则重新选取的，那么与原来样本相比较，会有一部分在某些区域的特征比较明显(比如体型比较大)样本包含到新形成的集合中，于是对应于查询图像，这些样本在进行匹配时，这些区域对结果影响较大，所以区域权重随之发生变化(β₁增大)

对于区域不相似的近邻集合，原来相同。

步骤S2.2.2，利用机器学习中距离度量的方法，更新特征权重值，

通过以下公式来调整更新特征权重：

在公式(11)和(12)中，第一次执行本步骤时，计算前和的初值可由用户依据行人图像与反馈样本之间具体不同特征下的相似性自行预设，μ_m、σ_m分别表示第m维特征值的均值和方差，预设参数α一般在范围[0.5，1]内取值，例如取值0.5。后续执行本步骤时，计算前和的值可采用上一轮迭代执行本步骤时根据计算所得更新的权重值。在更新后得到新的包含k个近邻的区域不相似集合中，当相似性的值和较大时，则表明该维度向量下的特征不能真实反映用户的实际意图，应当减小其关联匹配权重；并将所有相似性序列的值和堆叠起来，形成一个L_pn×(2M)矩阵，其中，2M代表特征的个数，上述矩阵的列即为相似性序列和在某个特征值下的长度L_pn，当标记的所有区域不相似样本在该特征值下的具有相近的相似性值时，则代表该特征值很好代表查询目标共有性质，于是该序列标准差的倒数成为特征权重的无偏估计量，当参数μ_m取值在前M/4时，运用公式(11)和(12)来调整更新特征权重。当在第m维特征值下，样本中的某幅图像与查询图像反而有较大的相似度，这并没有反应用户真实意图(用户目标是尽可能找到那些差异比较大的特征值的样本，使他们尽可能远离聚类中心，那么相似的样本的排序就会相应靠前，接近聚类中心)，因此根据经验约定在参数μ_m取值在前M/4范围内情况下运用公式(11)、(12)。μ_m、σ_m是从新得到的近邻样本集合中提取出特征组成的特征向量的均值和方差(他们依据样本的不同而变化)于是，特征权重就会自动更新。

步骤S3，包括特征表达和距离度量，得到查询匹配结果：

特征表达和距离度量可采用现有行人重识别技术里面的成熟方法。

特征表达是基于在图像已提取出的特征的前提下，通过调整后的权重值，并对不同特征进行多次的训练学习，选出能够很好表征图像与其他样本之间差异的特征。

距离度量中可通过以上步骤S2中得出的调整后的权重值，利用公式(4)重新进行相似性度量，得出新的查询匹配结果。这样可以充分利用上述经过调整后权重值增大的区域及其所包含的特征值，找出相似度更高的样本，提高行人重识别的准确性；

步骤S4，显示步骤S3所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则返回步骤S1.2进行迭代，直到符合要求。具体实施时，可在交互界面上，输出显示优化匹配后的排序结果，用户可自行结合匹配目标和其他各方面的信息，综合判断决定查询匹配结果是否符合要求。

一种基于区域相关反馈的行人重识别***，利用相关反馈技术来优化排序结果，具体实施时可提供人机交互界面方便用户选择不相关的图像，并在图像上标记与查询图像相似或不相似的区域，利用这些信息进行相关反馈，基于区域的相关反馈技术，是充分了利用行人图像的局部特征信息，并结合传统行人重识别方法来实现优化排序结果的。其***可采用软件模块化方式实现，包括以下模块：

反馈模块，用于进行初次查询匹配和反馈样本收集，包括以下子模块，

初次查询匹配子模块，用于将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

反馈样本收集子模块，用于在第一次执行反馈样本收集时，从初次排序结果在排名最靠前的一定预设数目的图像中选取不相关图像作为反馈样本并标记类型，构成反馈样本集；后续执行反馈样本收集时，从上一轮迭代时结果显示模块所得查询排序结果中选取不相关图像作为反馈样本并标记类型，加入反馈样本集；

标记类型方式为，设划分U个区域1、2…U，每个反馈样本分别标记为2U个类型之一，即与查询图像基于区域1相似、基于区域1不相似、基于区域2相似、基于区域2不相似…基于区域U相似、基于区域U不相似；对反馈样本进行标记时，按照区域的划分，在每个区域提取视觉特征，设得到M维特征向量，其中任一维记为第m维，根据特征向量与查询图像中对应区域分别进行相似性比较；

权值模块，用于进行确定近邻集合、区域权重调整和特征权重调整，包括以下子模块，确定近邻集合子模块，用于对查询图像，首先通过区域K近邻集合的方法寻找出基于区域相似的区域相似和区域不相似的样本集合；然后运用动态k近邻规则，对每一个标记为某区域相似的样本，更新调整并得到新的包含k个近邻的区域相似的集合，对每一个标记为某区域不相似的样本，更新调整并得到新的包含k个近邻的该区域不相似的集合；

更新区域权重和特征权重子模块，用于执行以下操作，

设查询图像p与反馈样本集中第i个反馈样本的图像之间相似性S_a(p,g_i)采用如下计算公式，

其中，代表第j个区域部位在m维特征向量下的特征权重；代表第j个区域部位在第m维特征向量；W_j(p,g_i)代表查询图像p与反馈样本之间的基于第j个区域部位区域权重；其中设代表查询图像p与反馈样本之间的基于第j个区域部位在第m维特征值下的相似度；

利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_j(p,g_i)＝W_j(p,g_i)×β₁ β₁>1 (5)

W_j(p,g_i)＝W_j(p,g_i)×β₂ 0<β₂<1 (6)

其中，W_j(p,g_i)表示第j个区域部位的区域权重，β₁、β₂为预设系数；

利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数；

查询匹配模块，用于根据权值模块所得调整后的区域权重和式(4)，进行特征表达和距离度量，得到查询匹配结果；

结果显示模块，显示查询匹配模块所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则通知反馈样本收集子模块更新反馈样本集，直到符合要求。

各模块具体实现参见方法流程的各步骤，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于区域相关反馈的行人重识别方法，其特征在于：包括以下步骤，

步骤S1，进行初次查询匹配和反馈样本收集，包括以下子步骤，

步骤S1.1，进行初次查询匹配，包括将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

步骤S1.2，进行反馈样本收集，在第一次执行步骤S1.2时，从初次排序结果在排名最靠前的一定预设数目的图像中选取不相关图像作为反馈样本并标记类型，构成反馈样本集；后续执行步骤S1.2时，从上一轮迭代执行步骤S4的所得查询排序结果中选取不相关图像作为反馈样本并标记类型，加入反馈样本集；

标记类型方式为，设划分U个区域1、2…U，每个反馈样本分别标记为2U个类型之一，即与查询图像基于区域1相似、基于区域1不相似、基于区域2相似、基于区域2不相似…基于区域U相似、基于区域U不相似；对反馈样本进行标记时，按照区域的划分，在每个区域提取视觉特征，设得到M维特征向量，其中任一维记为第m维，根据特征向量与查询图像中对应区域分别进行相似性比较；

步骤S2，进行确定近邻集合、区域权重调整和特征权重调整，包括以下子步骤，

步骤S2.1，对查询图像，首先通过区域K近邻集合的方法寻找出基于区域相似的区域相似和区域不相似的样本集合；然后运用动态k近邻规则，对每一个标记为某区域相似的样本，更新调整并得到新的包含k个近邻的区域相似的集合，对每一个标记为某区域不相似的样本，更新调整并得到新的包含k个近邻的该区域不相似的集合；

步骤S2.2，更新区域权重和特征权重，

设查询图像p与反馈样本集中第i个反馈样本的图像之间相似性S_a(p,g_i)采用如下计算公式，

其中，代表第j个区域部位在m维特征向量下的特征权重；W_j(p,g_i)代表查询图像p与反馈样本之间的基于第j个区域部位区域权重；其中设代表查询图像p与反馈样本之间的基于第j个区域部位在第m维特征值下的相似度；j的取值为1、2…U，

步骤S2.2.1，利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_j(p,g_i)＝W_j(p,g_i)×β₁ β₁>1 式二

W_j(p,g_i)＝W_j(p,g_i)×β₂ 0<β₂<1 式三

其中，W_j(p,g_i)表示第j个区域部位的区域权重，β₁、β₂为预设系数；

步骤S2.2.2，利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数；

步骤S3，根据步骤S2中所得调整后的区域权重和式一，进行特征表达和距离度量，得到查询匹配结果；

步骤S4，显示步骤S3所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则返回步骤S1.2进行迭代，直到符合要求。

2.根据权利要求1所述基于区域相关反馈的行人重识别方法，其特征在于：对反馈样本按照区域的划分，与查询图像中对应区域分别进行相似性比较时，各区域分别所采用的相似性度量计算如下式，

$S_j(p,g_i)={\mathrm{\&Sigma;W}}_{F_{O_j}^{\left(m\right)}}S(F_{p_j}^{\left(m\right)},F_{g_{i,j}}^{\left(m\right)})$

式五

其中，表示第j个区域部位的特征权重，初次执行步骤S1.2采用预设初值，后续执行步骤S1.2时采用上一轮迭代时执行步骤S2更新的权重值；代表第j个区域部位的第m维特征向量；代表查询图像p与反馈样本g_i之间的基于第j个区域部位在第m维特征值下的相似度。

3.根据权利要求2所述基于区域相关反馈的行人重识别方法，其特征在于：设划分2个区域，包括躯干和腿部，与查询图像中对应区域分别进行相似性比较时，躯干和腿部分别所采用的相似性度量计算如下式，

其中，和分别代表腿部和躯干部位的特征权重，和分别代表腿部和躯干部位m维特征向量；和分别代表查询图像与反馈样本之间基于腿部在第m维特征值下的相似度和基于躯干部位在第m维特征值下的相似度；S_t(p,g_i)为躯干部位相似性度量的值，S_l(p,g_i)为腿部部位相似性度量的值。

4.根据权利要求3所述基于区域相关反馈的行人重识别方法，其特征在于：查询图像p与反馈样本集中第i个样本的图像之间相似性采用如下计算公式，

其中，和分别代表腿部和躯干部位的在m维特征向量下的特征权重；和分别代表腿部和躯干部位m维特征向量；W_l(p,g_i)和W_t(p,g_i)分别代表嫌疑目标与样本之间的基于腿部区域和躯干部位区域权重；和则分别代表嫌疑目标与样本之间的基于腿部区域在第m维特征值下的相似度和基于躯干部位在第m维特征值下的相似度。

5.根据权利要求4所述基于区域相关反馈的行人重识别方法，其特征在于：步骤S2.2.1，利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_t,l(p,g_i)＝W_t,l(p,g_i)×β₁ β₁>1 式九

W_t,l(p,g_i)＝W_t,l(p,g_i)×β₂ 0<β₂<1 式十

其中，W_t,l(p,g_i)表示W_t(p,g_i)或W_l(p,g_i)，β₁、β₂为预设系数。

6.根据权利要求4所述基于区域相关反馈的行人重识别方法，其特征在于：步骤S2.2.2，利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数。

7.一种基于区域相关反馈的行人重识别***，其特征在于：包括以下模块，

反馈模块，用于进行初次查询匹配和反馈样本收集，包括以下子模块，

初次查询匹配子模块，用于将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

反馈样本收集子模块，用于在第一次执行反馈样本收集时，从初次排序结果在排名最靠前的一定预设数目的图像中选取不相关图像作为反馈样本并标记类型，构成反馈样本集；后续执行反馈样本收集时，从上一轮迭代时结果显示模块所得查询排序结果中选取不相关图像作为反馈样本并标记类型，加入反馈样本集；

标记类型方式为，设划分U个区域1、2…U，每个反馈样本分别标记为2U个类型之一，即与查询图像基于区域1相似、基于区域1不相似、基于区域2相似、基于区域2不相似…基于区域U相似、基于区域U不相似；对反馈样本进行标记时，按照区域的划分，在每个区域提取视觉特征，设得到M维特征向量，其中任一维记为第m维，根据特征向量与查询图像中对应区域分别进行相似性比较；

权值模块，用于进行确定近邻集合、区域权重调整和特征权重调整，包括以下子模块，确定近邻集合子模块，用于对查询图像，首先通过区域K近邻集合的方法寻找出基于区域相似的区域相似和区域不相似的样本集合；然后运用动态k近邻规则，对每一个标记为某区域相似的样本，更新调整并得到新的包含k个近邻的区域相似的集合，对每一个标记为某区域不相似的样本，更新调整并得到新的包含k个近邻的该区域不相似的集合；

更新区域权重和特征权重子模块，用于执行以下操作，

设查询图像p与反馈样本集中第i个反馈样本的图像之间相似性S_a(p,g_i)采用如下计算公式，

其中，代表第j个区域部位在m维特征向量下的特征权重；W_j(p,g_i)代表查询图像p与反馈样本之间的基于第j个区域部位区域权重；其中设代表查询图像p与反馈样本之间的基于第j个区域部位在第m维特征值下的相似度；

利用机器学习中距离度量的方法，更新区域权重采用如下计算公式，

W_j(p,g_i)＝W_j(p,g_i)×β₁ β₁>1 式二

W_j(p,g_i)＝W_j(p,g_i)×β₂ 0<β₂<1 式三

其中，W_j(p,g_i)表示第j个区域部位的区域权重，β₁、β₂为预设系数；

利用机器学习中距离度量的方法，更新特征权重采用如下计算公式，

其中，μ_m、σ_m分别表示第m维特征值的均值和方差，α为预设参数；

查询匹配模块，用于根据权值模块所得调整后的区域权重和式一，进行特征表达和距离度量，得到查询匹配结果；

结果显示模块，显示查询匹配模块所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则通知反馈样本收集子模块更新反馈样本集，直到符合要求。