CN104239907A - 面向变化场景的远红外行人检测方法 - Google Patents

Abstract

本发明公开面向变化场景的远红外行人检测方法，该方法基于Boosting-style的归纳迁移学习算法DTLBoost，从辅助数据中筛选样本扩展目标数据集。首先利用基于k近邻的样本重要性度量模型评估辅助数据与目标数据之间的相似度，为辅助数据中的不同样本分配相应的初始权重。在训练过程中，显式地定义成员分类器的预测不一致性程度，并结合当前成员分类器的预测错误率对辅助数据和目标数据样本的当前权重进行迭代更新，从辅助数据中筛选出具有正迁移能力的样本扩展训练集，并鼓励不同成员分类器学习目标数据的不同部分或方面。从而训练出泛化能力更强的集成分类器，增强新场景中行人检测的鲁棒性。

Description

面向变化场景的远红外行人检测方法

技术领域

本发明涉及行人检测技术领域，具体为一种面向变化场景的远红外行人检测方法。

背景技术

训练数据与测试数据之间通常存在不可避免的数据分布差异性，这是导致多数基于机器学习的远红外行人检测方法在场景因素变化较大时表现得不够理想的主要原因之一。具体来说，一般行人检测方案中采用的传统机器学习算法默认满足下述基本假设：训练数据和测试数据独立同分布，即训练数据和测试数据通常来源于相似甚至相同的场景。当这个基本假设得不到满足的时候，这类基于传统机器学习算法的远红外行人检测方案通常难以成功应用。

然而，在针对不同应用场合的行人检测***中，由于测试视频数据中潜在的场景差异性，训练数据和测试数据之间存在的数据分布差异性通常难以避免。产生这类差异性的主要因素包括：不同的气候条件(行人衣着和/或环境随温度的改变而改变，由此将影响行人散发的热辐射能量、以及热辐射能量被远红外摄像头接吸收的幅度)以及、不同的摄像头配置方案(如视角的变化将显著影响目标的外观模式)等。因此，为了适时应对新场景中潜在的未知远红外行人模式，需要从新场景中重新收集规模充足的训练数据(规模不充分的训练数据容易造成过拟合问题从而影响分类器的泛化能力)，重新训练适合新场景的行人分类器。但是这种传统方案需要标记足够多的适时训练数据而存在高标记成本问题，而且当其他新场景出现时，这种无止境的高代价方案明显阻碍高效率远红外行人检测***的建立。此外，直接抛弃原来已有的大量训练数据(即辅助数据)亦造成了资源的浪费。

以提高新场景中的行人检测性能作为学习目标，出现了大量致力于各种自适应学习算法的研究。各种在线学习或增量学习策略被用于离线更新行人分类器。这类方案大多利用从辅助数据中学习得到的行人分类器，在指定的新场景中搜索检测置信度较高的目标模式(包括行人模式和背景模式)组成扩展样本集，以对行人分类器进行在线更新或者重新训练，达到在指定新场景中准确识别/检测远红外行人目标的目的。例如，Wang等(Wang X Y,Hua G,Han T X.Detection by detections:non-parametric detector adaptation for a video.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2012)提出一种基于非参数估计的行人分类器自适应调整方法，建立基于层次c均值聚类的词汇树模型收集高置信度的检测结果，并利用它们对其余低置信度的检测结果进行排序和重组，进而获取扩展样本集。Sharma等(Sharma P,Huang C,Nevatia R.Unsupervised incrementallearning for improved object detection in a video.Proceedings of IEEE Conference onComputer Vision and Pattern Recognition,2012)对行人分类器获得的检测结果进行跟踪，将检测结果与跟踪结果进行匹配，正确匹配者视为新场景中表征行人模式的样本，否则视为表征背景模式的样本。上述方法的优点在于无需预先进行标记新场景中的目标模式，但可能面临两个重要问题：(1)扩展样本集中的样本可能包含数据标记的噪声，直接采用带噪声的扩展样本集难以保证更新后的行人分类器的可靠性；(2)当行人分类器泛化能力较差时，通常无法处理或收集新场景中不能被正确检测的行人模式，因为这类行人模式并未包含在辅助数据中，也即无法通过学习获取其信息，难以保证更新后的分类器能够有效识别新场景中的各种行人模式。

虽然目标数据(当前数据)和辅助数据(历史数据)往往服从不同的数据分布，但这些数据通常位于同一特征空间中，彼此之间仍具有一定的关联性或相关性。具体地说，部分辅助数据和新场景中的数据具有较高的相似性，如果能够提取具有较高相似性的辅助数据并迁移到新场景中，将大大减少对新样本标记量的需求，促进改善新场景中的行人检测的鲁棒性。Cao等(Cao X B,Wang Z,Yan P K,et al.Transfer learning for pedestrian detection.Neurocomputing,2013)利用迭代调整训练数据权重的方式，过滤辅助数据中与目标数据相似度较低的“不利”样本，提出基于实例迁移的ITLAdaBoost算法进行未知场景中的行人检测。Pang等(Pang J B,Huang Q M,Yan S C,et al.Transferring boosted detectors towardsviewpoint and scene adaptiveness.IEEE Transactions on Image Processing,2011)提出一种基于局部特征迁移的学习方法，解决了视频监控领域中不同摄像头视角和变化场景中的行人检测问题，该方法利用CovBoost算法搜索辅助数据和目标数据之间共享的局部视觉特征，并将其进行迁移从而协助行人分类器的更新。谢尧芳等(谢尧芳,苏松志,李绍滋.基于稀疏编码的迁移学习及其在行人检测中的应用.厦门大学学报(自然科学版),2010)提出了一种基于稀疏编码的迁移学习方法，利用稀疏编码从未标记训练数据中学习到一个紧凑的、有效的描述特征，并将该特征迁移到行人检测问题中。Wang等(Wang M,Li W,Wang X G.Transferring a generic pedestrian detector towards specific scenes.Proceedings of IEEEConference on Computer Vision and Pattern Recognition,2012)首先建立关系图模型描述辅助数据和目标数据之间的视觉相似度，以调整辅助数据中的样本权重，继而根据新场景中目标模式的运动信息以及所在场景的结构信息的评估，从新场景中获取的扩展数据的置信度，最后提出整合上述信息的Confidence Encoded SVM算法来指导迁移学习。

迁移学习试图通过“举一反三”的方式，快速地将已有知识合理地关联到新的相似的问题中，目前利用迁移学习解决变化场景中远红外行人检测问题的研究尚处于起步阶段。鉴于远红外图像中目标模式的成像性质，虽然在不同气候条件下，远红外行人的外观模式通常存在较大差异性，但是，在特定气候条件下的行人模式具有更强的相似性；特定气候条件下的远红外行人检测可以视为在指定场景中的检测问题。本发明公开一种Boosting-style的归纳迁移学习算法DTLBoost(Data-level Transfer Learning AdaBoost)，该方法通过显式度量的预测不一致性程度来评估不同成员分类器之间的差异性，从辅助数据中筛选具有正迁移能力的样本，并鼓励不同成员分类器学习当前目标数据中的不同部分或方面，保证算法能更充分地学习整个数据集，提高分类器在新场景中的行人检测性能。

发明内容

本发明的目的在于提供一种面向变化场景的远红外行人检测方法，旨在改善基于传统机器学习的行人检测方法在变化场景中的行人检测的适应性和鲁棒性。本发明通过如下技术方案实现。

面向变化场景的远红外行人检测方法，基于Boosting-style归纳迁移学习算法DTLBoost，包括如下步骤：

(1)通过基于k近邻算法的样本重要性度量模型评估辅助数据与目标数据之间的相似性程度，为辅助数据中的不同样本分配相应的初始权重；

(2)筛选训练数据集，训练成员分类器；

(3)显式地定义成员分类器的预测不一致性程度，并结合当前成员分类器的预测错误率对辅助数据和目标数据样本的当前权重进行迭代更新；

(4)若满足迭代终止条件，输出行人分类器，实现面向新场景的行人检测；否则，返回步骤(2)。

进一步的，步骤(1)所述辅助数据源自历史场景中的足量已标记样本，所述目标数据源自新场景(当前的目标场景)中的少量已标记样本。

进一步的，步骤(1)所述相似性程度通过以下方法获得：在相同的描述特征空间中，针对每一个辅助数据样本搜索k个目标数据近邻，累加该样本与k个近邻之间的高斯热核距离，用以描述该样本与目标数据之间的相似性程度，据此为其分配初始样本权重。

进一步的，步骤(2)所述筛选训练数据集是指利用基于样本权重的重采样策略同时从辅助数据和目标数据中获得训练样本；所述成员分类器是指在任一次迭代训练过程中，通过弱学习算法在训练数据集上学习得到的分类器。

进一步的，步骤(3)所述预测不一致性程度通过以下方法获得：在当前迭代过程中，评估所有成员分类器对每一个训练样本的正确和错误预测结果在数量上的差异性。

进一步的，步骤(3)所述结合当前成员分类器的预测错误率对辅助数据和目标数据样本的当前权重进行迭代更新是指：对于辅助数据，显著提高被当前成员分类器预测正确且具有低预测不一致性程度的样本的权重；对于目标数据，其权重更新策略兼顾被错误预测数据中的“困难”样本和被正确预测数据中的“简单”样本；但所述“困难”和“简单”样本均为具有较低预测不一致性程度的目标数据。

进一步的，步骤(4)所述迭代中止条件是指达到预先设定的迭次训练次数。

本发明提出的算法具有如下优点和效果：(1)对于辅助数据，主要聚焦于被正确预测且具有较高预测一致性程度的样本，有利于避免负迁移现象。(2)对于目标数据，不仅聚焦于被错误预测的样本，还提高了被错误预测数据集中的“困难”样本和被正确预测数据集中的“简单”样本的权重；具体地说，部分“简单”样本有一定机会被选中进而用于辅助目标任务中“困难”样本的识别，经过几轮迭代之后，某些“困难”样本将成为中后期的“简单”样本，而且它们仍有一定机会被选中并用于辅助其他“困难”样本的识别；因此，不同成员分类器将拥有更多的机会聚焦于目标任务中不同的“困难”样本，从而鼓励不同成员分类器学习目标数据中的不同部分或方面，这种方式还有利于避免在迭代中后期可能出现的对少数“困难”样本的过拟合问题。

附图说明

图1为实施方式中面向变化场景的行人检测方法流程的实施例图。

图2为条件n:m＝0.03:1和σ＝10下，不同近邻参数k对新场景中行人识别/检测性能的对比实施例图。

图3为条件n:m＝0.03:1和k＝3下，不同高斯热核宽度σ对新场景中行人识别/检测性能的对比实施例图。

图4为条件n:m＝0.03:1下，不同集成学习算法在新场景中行人识别/检测性能及其变化趋势的对比实施例图。

图5为条件n:m＝0.11:1下，不同集成学习算法在新场景中的行人识别/检测性能及其变化趋势对比实施例图。

图6为在不同目标数据和辅助数据样本数量比例的条件下，不同集成学习算法对新场景中行人识别/检测性能进行评估与比较的实施例图

具体实施方式

以下结合附图给出详细的实施例操作过程。附图所示实施例以本发明技术方案为前提，附图所述的实施例属于但不限于本发明保护范围。需指出的是，以下仅仅为举例，若有未特别详细说明的符号和过程，均是本领域技术人员可参照现有技术实现的。

本实例的检测方法的整体流程如图1所示。

(一)训练数据的准备

所有训练样本均取自实拍的远红外视频，其中，绝大多数训练样本从历史的远红外视频中获得，组成辅助数据(设为m个)，仅有少数训练样本从新场景视频中获得，组成目标数据(设为n个，且n＜＜m)。所有训练样本均为图片样本，其中，正样本为包含行人模式的图片样本，具体为处于静止、行走和/或跑步等运动状态的直立行人和/或使用人力交通工具的人体，负样本为仅包含背景模式的图片样本。

(二)基于迁移学习的行人检测

本发明基于Boosting-style的归纳迁移学习算法DTLBoost，该算法包括如下环节：

(1)样本重要性度量模型

结合半监督学习方法中类别标签传播的基本思想，提出样本重要性度量模型评估辅助数据样本与目标数据样本的相似性程度，为具有较高相似性的辅助数据样本分配较大的初始权重。该模型能够直接聚焦辅助数据中“最富”信息的部分样本，确保在前期迭代训练过程中，算法能更容易地选取适合目标任务的辅助数据，从而提高集成迁移学习算法迭代训练过程的收敛速度。

针对辅助数据中的每一个样本，于特征空间中搜索k个目标数据近邻，然后根据下式为其计算相应的初始权重v_i：

$v_i=\frac{\underset{x_j^t\∈\mathrm{kNN}\left(x_i^a\right)}{\mathrm{\Σ}}S(x_i^a,x_j^t)}{Z_i}---\left(1\right)$

式中，表示为针对辅助数据样本在目标数据中搜索得到的第j个近邻，Z_i为归一化因子。本发明所有实施例图均基于18次独立重复实验的结果得出。图2为条件n:m＝0.03:1和σ＝10下，不同近邻参数k对新场景中行人识别/检测性能的对比实施例图。由图2可知，DTLBoost算法的实际识别性能较为不敏感于参数k，后续实施例中取k＝3。

样本与之间的相似性通过高斯热核进行评估：

$S(x_i^a,x_j^t)=\exp (-\frac{{\left|\right|x_i^a-x_j^t\left|\right|}^2}{\mathrm{\σ}})---\left(2\right)$

式中的σ为高斯热核宽度，用于控制在不同距离变化条件下两个样本之间的相似性衰减程度。图3为条件n:m＝0.03:1下，不同高斯热核宽度σ对新场景中行人识别/检测性能的对比实施例图。由图3可知，当参数σ的取值较大(σ≥10)时，DTLBoost算法的识别性能对该参数的依赖性较小、且具有良好的收敛速度，因此后续实施例中取σ＝10。

(2)Boosting-style的归纳迁移学习算法

由于每个辅助数据样本对目标任务的迁移能力有所不同，归纳迁移学习算法的性能主要依靠从辅助数据中选取合适的样本以扩展适应目标任务的训练数据集，因此当所选取的辅助数据不利于目标任务时，可能导致负迁移现象。为此，基于负相关学习的基本思想，利用成员分类器对每个训练样本的预测不一致性程度和预测错误率评估辅助数据中每个样本的正迁移能力，并将其融入归纳迁移学习算法中，提出DTLBoost算法。在Boosting-style的学习框架下，所有成员分类器都是依次建立的，所以它们彼此之间相互独立，有利于将预测不一致性程度显式地融入训练过程。

在第T轮迭代训练过程中，所有成员分类器对每一个训练样本(x_i,y_i)不一致性程度的预测可量化为：

$d_T\left(x_i\right)=\frac{1}{T}|\underset{l=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_l(1-{(F\left(x_i\right)-y_i)}^2)-\underset{l=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_l(1-{(f_l\left(x_i\right)-y_i)}^2)|---\left(3\right)$

式中，F表示集成分类器，f_l为第l个成员分类器，α_l为f_l的权重系数。

设v¹为基于样本重要性度量模型初始化后，辅助数据中所有样本的权重向量；u¹为目标数据中所有样本的初始权重向量；w¹＝{v¹,u¹}为初始联合权重向量，为(联合)训练集，其中：

$x_i=\left\{\begin{array}{c}{x}_i^a,i=\mathrm{1,2},...,m\\ x_i^t,i=m+1,m+2,...m+n\end{array}\right.$

$y_i=\left\{\begin{array}{c}{y}_i^a,i=\mathrm{1,2},...,m\\ y_i^t,i=m+1,m+2,...m+n\end{array}\right.$

DTLBoost算法的迭代训练过程如下：

For l＝1,2,…,T

Step.1：归一化联合权重向量w^l

$w^l\←\frac{w^l}{{\mathrm{\Σ}}_{i=1}^{m+n}{w}_i^l}$

Step.2：调用弱学习算法，在联合训练样本集X上，通过X上的权重分布w^l得到一个成员分类器f_l:X→Y，其中

Step.3：评估所有成员分类器对X中每一个样本x_i的预测不一致性程度d_l(x_i)

Step.4：评估成员分类器f_l在辅助数据上的预测错误率

${\mathrm{\ϵ}}_a^l=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\frac{{(1-d_l\left(x_i\right))}^{\mathrm{\γ}}{w}_i^l|f_l\left(x_i\right)-y_i|}{{\mathrm{\Σ}}_{j=1}^m{w}_j^l}$

评估成员分类器f_l在目标数据上的预测错误率

${\mathrm{\ϵ}}_t^l=\underset{i=m+1}{\overset{m+n}{\mathrm{\Σ}}}\frac{{(1-d_l\left(x_i\right))}^{\mathrm{\γ}}{w}_i^l|f_l\left(x_i\right)-y_i|}{{\mathrm{\Σ}}_{j=m+1}^{m+n}{w}_j^l}$

式中，γ为满足γ≥1的代价参数

Step.5：利用样本权重的更新规则/模型更新X上的样本权重分布向量

$w_i^{l+1}=\left\{\begin{array}{cc}{(1-d_l\left(x_i\right))}^{\mathrm{\γ}}{w}_i^l{\left({\mathrm{\β}}_a^l\right)}^{|f_l\left(x_i\right)-y_i|},& i=\mathrm{1,2},...,m\\ {(1-d_l\left(x_i\right))}^{\mathrm{\γ}}{w}_i^l{\left({\mathrm{\β}}_t^l\right)}^{-|f_l\left(x_i\right)-y_i|},& i=m+1,m+2,...,m+n\end{array}\right.$

式中， ${\mathrm{\β}}_a^l={\mathrm{\ϵ}}_a^l/(1-{\mathrm{\ϵ}}_a^l)$ 且 ${\mathrm{\β}}_t^l={\mathrm{\ϵ}}_t^l/(1-{\mathrm{\ϵ}}_t^l)$

End For

在每一轮迭代训练过程中，成员分类器首先对每一个训练样本的预测不一致性程度d_T进行评估，d_T越小表示成员分类器对该样本的预测一致性程度越高。对于辅助数据中的样本，只有那些被正确预测且具有较小d_T值的样本才能被评估为具有较高正迁移能力的样本，因此这部分样本将得到较高的权重增长。特别地，为了抑制辅助数据中被错误预测但具有较低d_T值的样本，辅助数据中样本权重的更新规则/模型可进一步扩展为：

$w_i^{l+1}=\left\{\begin{array}{cc}{(1-d_l\left(x_i\right))}^{\mathrm{\γ}}{w}_i^l{\left({\mathrm{\β}}_a^l\right)}^{|f_l\left(x_i\right)-y_i|},& \mathrm{if\Ψ}\\ {\left(d_l\left(x_i\right)\right)}^{\mathrm{\γ}}{w}_i^l{\left({\mathrm{\β}}_t^l\right)}^{|f_l\left(x_i\right)-y_i|},& \mathrm{otherwise}\end{array}\right.,i=\mathrm{1,2},...,m---\left(4\right)$

式(4)中的Ψ表示：在第l次迭代训练过程中，有个以上的成员分类器满足条件|f_v(x_i)-y_i|≤ε，即

其中，运算符||π||表示：如果满足条件π，则有||π||＝1，否则||π||＝0；ε为一个取值较小的正数。

DTLBoost算法的输出/决策形式如下：

输出：

对于一个来自目标任务的待识别数据x，集成分类器F对x的预测结果为

$F\left(x\right)=\underset{y}{\arg \max }\underset{l=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_l\left|\right||f_l\left(x\right)-y|\≤\mathrm{\ϵ}\left|\right|$

式中，f_l的权重系数为

图4和图5分别表示在n:m＝0.03:1和n:m＝0.11:1条件下，不同集成学习算法在新场景中行人识别/检测性能及其变化趋势的对比实施例图。图6为在不同目标数据和辅助数据样本数量比例的条件下，不同集成学习算法对新场景中行人识别/检测性能进行评估与比较的实施例图。DTLBoost算法从辅助数据中筛选具有正迁移能力的样本，不仅考虑了不同场景中共享知识的迁移，还考虑了不同成员分类器对数据集的预测差异性，鼓励不同成员分类器学习目标数据的不同部分或方面，保证算法能更充分地学习整个数据集，以至所得分类器在指定的目标场景中获得更好的行人识别/检测性能。

上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于这些内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。

Claims (7)

1.面向变化场景的远红外行人检测方法，其特征在于该检测方法基于Boosting-style的归纳迁移学习算法DTLBoost，具体包括如下步骤：

(1)通过基于k近邻算法的样本重要性度量模型评估辅助数据与目标数据之间的相似性程度，为辅助数据中的不同样本分配相应的初始权重；

(2)筛选训练数据集，训练成员分类器；

(3)显式地定义成员分类器的预测不一致性程度，并结合当前成员分类器的预测错误率对辅助数据和目标数据样本的当前权重进行迭代更新；

(4)若满足迭代终止条件，输出行人分类器，实现面向新场景的行人检测；否则，返回步骤(2)。

2.根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤(1)所述辅助数据源自历史场景中的足量已标记样本，所述目标数据源自新场景即当前的目标场景中的少量已标记样本。

3.根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤(1)所述相似性程度通过以下方法获得：在相同的描述特征空间中，针对每一个辅助数据样本搜索k个目标数据近邻，累加该辅助数据样本与k个近邻之间的高斯热核距离，用以描述该辅助数据样本与目标数据之间的相似性程度，据此为其分配初始样本权重。

4.根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤(2)所述筛选训练数据集是指利用基于样本权重的重采样策略同时从辅助数据和目标数据中获得训练样本；所述成员分类器是指在任一次迭代训练过程中，通过弱学习算法在训练数据集上学习得到的分类器。

5.根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤(3)所述预测不一致性程度通过以下方法获得：在当前迭代过程中，评估所有成员分类器对每一个训练样本的正确和错误预测结果在数量上的差异性。

6.根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤(3)所述结合当前成员分类器的预测错误率对辅助数据和目标数据样本的当前权重进行迭代更新是指：对于辅助数据，显著提高被当前成员分类器预测正确且具有低预测不一致性程度的样本的权重；对于目标数据，其权重更新策略兼顾被错误预测数据中的“困难”样本和被正确预测数据中的“简单”样本；但所述“困难”和“简单”样本均为具有较低预测不一致性程度的目标数据。

7.根据权利要求1所述面向变化场景的远红外行人检测方法，其特征在于，步骤(4)所述迭代中止条件是指达到预先设定的迭次训练次数。