CN106156808A - 对象分类器的在线学习方法和设备以及检测方法和设备 - Google Patents

Abstract

本发明提供了用于一组对象分类器的在线学***的同时将误报警率降低到极低水平。

Description

对象分类器的在线学习方法和设备以及检测方法和设备

技术领域

本发明涉及图像处理、计算机视觉(computer vision)和模式识别，并且特别地涉及用于一组对象分类器的在线学习方法和设备以及用于在图像序列中检测对象的方法和设备。

背景技术

最近几十年在检测特定对象或种类(诸如脸、人、汽车等)方面已经取得很大的进展。大部分检测器必须被离线训练，其经常包含利用手动标记的训练示例的较大集合的密集学习阶段。当前，越来越多的用户倾向于拍摄特定对象。这意味着用户需要的不是传统的像脸/狗/猫检测器那样的检测器，而是能够学习用户自己的对象(例如，他的宠物)的外观(appearance)的检测器。例如，用户经常想要在拍摄时自动地聚焦于他们的宠物。

已经开发了一种新颖的技术，称为“用户注册对象检测(UserRegistered Object Detection)”，其能够基于由用户作为正样本提供的一个或若干个对象图像来检测用户注册对象。但是一般难以仅仅通过使用非常小集合的正样本而从视频帧序列中准确地检测出对象。

因此，已经提出了一种解决方案，其使用基于用于检测用户注册对象的支持向量的单类分类器(one-class classifier)。这个方法能够基于少数的正样本(即，由用户注册的对象图像)、甚至仅仅一个正样本来对单类分类器进行在线学***。

然而，仍然存在对在一些特殊应用中进一步减少误报警率的需要。例如，在对于用户注册对象的监视(surveillance)应用中，分类器需要长时间工作在有限场景中。针对各种照明条件的极低误报警率和高鲁棒性是重要的要求。

发明内容

鉴于上述内容，本发明的发明人提出了通过对一组对象分类器进行在线学***。该组分类器包括一个或更多个单类分类器以及一个或更多个两类分类器(binary classifier)，并且这两个类型的分类器都基于支持向量并且当它们被在线学习时将在其之间共享支持向量，从而提高在线学习效果。此外，可以利用在其之间共享支持向量的这样一组在线学习分类器来从视频帧序列中更准确地检测用户注册对象。

请注意，在现有技术中，两类分类器是仅仅基于巨大数量的正样本和负样本离线学习的。两类分类器不能用于仅仅使用小集合样本的用户注册对象检测，因为它的误报警率将会非常高。这是因为学习两类分类器需要许多的足够的负样本，但是在用户注册对象检测期间，用户不能提供足够的负样本来覆盖背景中的所有情形。当在要检测的场景中存在未知的负样本时，误报警率将会较高，也就是说，许多不是用户注册对象的对象将被视为对象。此外，通过使用直接反馈的对于两类分类器的在线学习使得检测器倾向于漂移(drift)，并且错误地更新将使得检测器处于不可靠的状态。然而，通过深入研究，本发明的发明人已经发现，在用户注册对象检测期间通过在其之间共享支持向量来与单类分类器结合地使用两类分类器，能够改善误报警率。

本发明的一个方面提供了一种用于一组对象分类器的在线学习方法，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述方法包括：特征向量提取步骤，从新添加的样本中提取特征向量；单类分类器更新步骤，基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；两类分类器更新步骤，基于所提取的特征向量以及在所述单类分类器更新步骤中已经部分地或全部地被更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。

本发明的另一个方面提供了一种用于通过使用已经被确定为对象的至少一个正样本在图像序列中检测所述对象的方法，所述方法包括：单类分类器产生步骤，根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器；两类分类器产生步骤，基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器；对象检测步骤，通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的第二图像中检测所述对象；分类器更新步骤，通过使用上述的在线学习方法，根据所述检测结果更新所述一组对象分类器；以及后续的检测和更新步骤，对于所述序列中的每一个后续的图像，通过使用经更新的一组对象分类器在所述后续的图像中检测所述对象并且随后更新所述一组对象分类器。

本发明的又一个方面提供了一种用于一组对象分类器的在线学习设备，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述设备包括：特征向量提取单元，被配置为从新添加的样本中提取特征向量；单类分类器更新单元，被配置为基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；两类分类器更新单元，被配置为基于所提取的特征向量以及由所述单类分类器更新单元已经部分地或全部地更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。

本发明的还一个方面提供了一种用于通过使用已经被确定为对象的至少一个正样本在图像序列中检测所述对象的设备，所述设备包括：单类分类器产生单元，被配置为根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器；两类分类器产生单元，被配置为基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器；对象检测单元，被配置为通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的每一个后续的图像中检测所述对象；以及如上所述的在线学习设备，被配置为根据由所述对象检测单元获得的检测结果来更新所述一组对象分类器。

在本发明的上述方面中，在在线学习阶段期间将共享来自单类分类器和两类分类器两者的支持向量。因此，将通过共享支持向量而紧密地结合这两个类型的分类器，使得通过利用该组分类器进行的分类更准确。此外，更多的特征向量将被用于该组分类器的在线学习，因此共享支持向量非常适合于在线学习应用。

另外，使用该组分类器将使单独的分类器避免漂移问题并且因此将误报警率保持在极低水平。此外，这组分类器不仅能够将对象与类似的场景区分开，而且能够避免来自我们还没有发现的未知的负样本的噪声。

鉴于上述内容，利用根据本发明的在线学***的同时将误报警率降低到极低水平，尤其对于持续且有限的场景如此。因此，本发明尤其适合于监视应用等。

根据参照附图的以下描述，本发明的其它特性特征和优点将变得清晰。

附图说明

并入说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于说明本发明的原理。

图1是示出能够实施本发明的实施例的计算机***的硬件配置的框图。

图2是示出了根据本发明的第一实施例的用于一组对象分类器的在线学习方法的流程图。

图3示例性地示出用于确定用于更新单类分类器的候选特征向量的单类分类器的判决超球面(decision hypersphere)。

图4是示出了根据本发明第一实施例的用于一组对象分类器的在线学习设备400的框图。

图5是示出根据本发明第二实施例的用于在图像序列中检测对象的方法的流程图。

图6是示出根据本发明第二实施例的用于在图像序列中检测对象的设备600的框图。

图7示出根据本发明其它实施例的图像拾取设备的一个示例。

图8示出将根据本发明实施例的使用一对分类器的检测方法与仅仅使用单类分类器的现有技术检测方法进行比较而得到的比较结果。

具体实施方式

下面将参考附图来详细描述本发明的优选的实施例。

请注意，类似的参考数字和字母指的是图中的类似的项目，因而一旦在一幅图中定义了一个项目，就不需要在之后的图中讨论了。

在本公开中，术语“第一”、“第二”等仅仅被用来在元件或步骤之间进行区分，而并不意图表示时间顺序、优先级或重要性。

(计算机***的硬件配置)

图1是示出能够实施本发明的实施例的计算机***1000的硬件配置的框图。

如图1中所示，计算机***包括计算机1110。计算机1110包括经由***总线1121连接的处理单元1120、***存储器1130、固定非易失性存储器接口1140、可移动非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190和输出***接口1195。

***存储器1130包括ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出***)1133驻留在ROM 1131中。操作***1134、应用程序1135、其它程序模块1136和某些程序数据1137驻留在RAM 1132中。

诸如硬盘之类的固定非易失性存储器1141连接到固定非易失性存储器接口1140。固定非易失性存储器1141例如可以存储操作***1144、应用程序1145、其它程序模块1146和某些程序数据1147。

诸如软盘驱动器1151和CD-ROM驱动器1155之类的可移动非易失性存储器连接到可移动非易失性存储器接口1150。例如，软盘1152可以被***到软盘驱动器1151中，以及CD(光盘)1156可以被***到CD-ROM驱动器1155中。

诸如麦克风1161和键盘1162之类的输入设备被连接到用户输入接口1160。

计算机1110可以通过网络接口1170连接到远程计算机1180。例如，网络接口1170可以经由局域网1171连接到远程计算机1180。或者，网络接口1170可以连接到调制解调器(调制器－解调器)1172，以及调制解调器1172经由广域网1173连接到远程计算机1180。

远程计算机1180可以包括诸如硬盘之类的存储器1181，其存储远程应用程序1185。

视频接口1190连接到监视器1191。

输出***接口1195连接到打印机1196和扬声器1197。

图1所示的计算机***仅仅是说明性的并且决不意图对本发明、其应用或用途进行任何限制。

图1所示的计算机***可以被实施于任何实施例，可作为独立计算机，或者也可作为设备中的处理***，可以移除一个或更多个不必要的组件，也可以向其添加一个或更多个附加的组件。

(第一实施例)

图2是示出了根据本发明的第一实施例的用于一组对象分类器的在线学习方法的流程图，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器。

如图2所示，在特征向量提取步骤210中，从新添加的样本中提取特征向量。此时，该组对象分类器已经基于用户注册对象图像(一个或多个)以及可选地先前检测的图像而被产生，并且将要基于作为新添加样本的新图像(例如，捕获的视频帧)来被在线更新。显然，所提取的特征向量的类型与单类分类器和两类分类器的支持向量的类型相同，使得这些特征向量能够在单类分类器和两类分类器之间被共享。

然后，在单类分类器更新步骤220中，基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个。

在一种实现方式中，所述单类分类器更新步骤220可以包括：对于所述至少一个单类分类器中的一个单类分类器，计算从这个单类分类器的所有支持向量的聚类中心(clustering centre)到所提取的特征向量和所述至少一个两类分类器的所述支持向量中的每一个的各个距离；基于所述单类分类器的支持向量来设定阈值；从所提取的特征向量和所述至少一个两类分类器的所述支持向量中选择候选特征向量，其中所述候选特征向量中的每一个的计算距离都比所述阈值小；以及通过使用所述候选特征向量来更新所述单类分类器的支持向量。

下面将详细描述这样的单类分类器更新方法的一个示例。本领域技术人员会理解，本发明不限于这个特定的示例，而是能够使用任何适当的方式来更新单类分类器。

在该示例中，单类分类器是基于SVDD的单类分类器，其通过仅仅使用正样本来训练，并且它旨在获得具有最小体积的球形的边界使得该球能够包围尽可能多的正样本。单类分类器的支持向量组如下：SVs＝{(x_i,α_i)|i＝1,2…N_p}，其中x_i是支持向量并且α_i是对应的权重。对于所提取的特征向量以及所述至少一个两类分类器的所述支持向量中的任何一个特征向量z，可以计算到这个单类分类器的所有支持向量的聚类中心的距离。用于从所提取的特征向量以及所述至少一个两类分类器的所述支持向量中选择候选特征向量的判决函数可以是：

$f_{\mathrm{one}}\left(z\right)={R_z}^2=K(z,z)-2\underset{x_i\∈\mathrm{SVs}}{\mathrm{\Σ}}{a}_{i}K(x_i,z)+\underset{x_i\∈\mathrm{SVs}}{\mathrm{\Σ}}{a}_i{a}_{j}K(x_i,x_j)\≤R_T^2---\left(1\right)$

其中，R_z是从特征向量z到聚类中心的距离，R_T是基于所述单类分类器的支持向量设定的阈值，并且K(·)是核函数，例如，公式化为如下的直方图交叉核(Histogram Intersection Kernel，HIK)：

$K(T,Q)=\underset{i=1}{\overset{d}{\mathrm{\Σ}}}\min (T_i,Q_i)---\left(2\right)$

其中，d是特征向量维度。

这里，我们并不试图找到支持向量的所述聚类中心在特征空间中的位置，我们只是想要确定从任何特征向量z到支持向量的所述聚类中心的距离函数。

在该步骤中，将计算从所述中心到所提取的特征向量以及两类分类器的支持向量的所有距离。

然后，该方法将通过使用所述单类分类器的支持向量来设定阈值，即，上述R_T。

下面，假设参数P，即，指出将在单类分类器的判决超球面外的正样本的比率的预设概率，通过使用R_min和R_max，产生判决超球面的半径R_T，即，上述阈值。参数P被定义如下：

P＝(f_T(z)-f_min)/(f_max-f_min) (3)。

根据公式(3)，判决超球面的半径R_T可以被确定为：

$\begin{array}{c}{f}_T\left(z\right)={\mathrm{Pf}}_{\max }+(1-P)f_{\min }\\ \⇒\mathrm{\π}{R}_T^2=\mathrm{P\π}{R}_{\max }^2+(1-P)\mathrm{\π}{P}_{\min }^2\\ \⇒R_T^2=P{R}_{\max }^2+(1-P)R_{\min }^2\end{array}---\left(4\right)$

其中R_min和R_max是能够基于公式(1)得到的最小半径和最大半径。

根据公式(4)，对于特征向量z，估计适当的阈值，即f_T(z)。最终，对于所有支持向量X_i∈SVs估计f_T：

$f_T={\mathrm{\Σ}}_{i=1}^M{\mathrm{\α}}_i{f}_T\left(X_i\right)---\left(5\right)$

f_T是阈值R_T的平方。

至于根据公式(1)的f_one(z)，K(z,z)将对于任何特征向量z是固定的，因为K(·)是HIK核并且数据z已经被规格化(normalize)。

$f_{\max }\left(z\right)=R_{\max }^2=K(z,z)+\underset{x_i\∈\mathrm{SVs}}{\mathrm{\Σ}}\underset{x_j\∈\mathrm{SVs}}{\mathrm{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(x_i,x_j)$

$f_{\min }\left(z\right)=R_{\min }^2=f_{\max }-2\max \left(\underset{x_i\∈\mathrm{SVs}}{\mathrm{\Σ}}{\mathrm{\α}}_{i}K(x_i,z)\right)---\left(6\right)$

结合公式(4)-(6)，能够通过设定固定概率P_one来计算阈值R_T。

然后，对于所提取的特征向量以及所述两类分类器的所述支持向量中的每一个，将计算距离与设定的阈值进行比较，并且当时，特征向量z被选为候选特征向量，所述候选特征向量被认为是位于其半径为R_T的判决超球面内的正样本，如图3所示。

接下来，通过使用所述候选特征向量来更新单类分类器的支持向量。这里能够使用用于具有支持向量的单类分类器的任何更新方法。以下方法是优选的：通过使用由LIBSVM实现的序列最小优化(Sequential Minimal Optimization，SMO)方法，基于先前的支持向量和更新后的候选特征向量对单类分类器进行再学习。SMO方法将较大的二次规划(quadratic programming，QP)优化问题分解成一系列的最小的可能的QP问题。解析地解出这些小的QP问题，这避免了使用耗时的数值QP优化作为内循环。LIBSVM是用于SVM的库，其自2000年以来已经被开发。它是当前使用最广泛的SVM软件。

接下来，在两类分类器更新步骤230中，基于所提取的特征向量以及在所述步骤220中已经部分地或全部地被更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。

在一种实现方式中，所述两类分类器更新步骤230可以包括：对于所述至少一个两类分类器中的一个两类分类器，确定所提取的特征向量是正特征向量还是负特征向量；以及通过使用所有单类分类器的支持向量作为正特征向量以及使用确定结果来更新所述两类分类器的支持向量。本领域技术人员会理解，本发明不限于这种实现方式，而是能够使用任何适当的方式来更新两类分类器。

具体地，单类分类器的支持向量被获得作为正特征向量。并且所提取的特征向量可以由所述一组分类器或者仅仅单类分类器或者仅仅两类分类器确定为正特征向量或者负特征向量。

然后，通过使用所有正特征向量和负特征向量来更新两类分类器的支持向量。

基于正特征向量和负特征向量两者，可以通过采用基于直方图交叉核的SVM来训练两类分类器。对于未确定的样本z，SVM的判决函数被示出为：

$f_{\mathrm{binary}}\left(z\right)=\underset{x_i\∈\mathrm{SVs}}{\mathrm{\Σ}}{\mathrm{\α}}_{i}K(x_i,z)+b>0---\left(7\right)$

其中x_i是支持向量，α_i是对应的权重因子，K(·)是核函数，并且b是判决偏置(bias)。当f_binary(z)＞0时，样本z被分类为正的。

此外，如公式(7)所示的SVM的判决函数能够被规格化为概率输出SVM。对于两类SVM的概率输出被公式化为：

$f_{\mathrm{binary}}=1.0-\frac{1}{1+\exp (\mathrm{Af}\left(z\right)+B)}---\left(8\right)$

其中在训练过程中使用5折交叉验证(5-fold cross-validation)来估计A和B。

与单类分类器更新方法类似，在训练过程中的5折交叉验证期间，序列最小优化(SMO)方法和LIBSVM能够被用于更新两类分类器。本领域技术人员会明白的是，任何已知的或者新的适当的方法能够被用于更新两类分类器。

请注意，在一些示例中，包含单类分类器和两类分类器的所述一组分类器可以是级联结构(cascade structure)，其通过这两个类型的分类器按合适顺序进行分类。但是所述一组分类器还可以具有加权累加结构，其通过所有分类器的加权累加的分数来进行分类。在所述一组分类器具有加权累加结构的情况下，根据第一实施例的在线学习方法在所述两类分类器更新步骤230之后还可以可选地包括更新单类分类器和两类分类器的权重的权重更新步骤。

在加权累加结构中，两种类型的分类器具有各自的规格化的概率输出，并且可以通过如下地对所有输出进行加权求和来计算最终分类分数。

f_win＝w1_one*f1_one+w2_one*f2_one+…+wm_one*fm_one+w1_binary*f1_binary+w2_binary*f2_binary

+…+wn_binary*fn_binary (9)

其中w1_one,…,wm_one和w1_binary,…,wn_binary是对于单类分类器和两类分类器的各自的权重，其可以基于用户体验或者非参数评估或者训练来得到。

许多方法可以被用于更新权重w1_one,…,wm_one和w1_binary,…,wn_binary。以下是优选的有效的方法：

1)收集包括所提取的特征向量以及所述单类分类器和两类分类器的支持向量的所有正特征向量和负特征向量作为

F＝{X_pos,X_neg}，以及X_pos＝{(x_i,f_i)|i＝1,2…N_p}，X_neg＝{(x_i,f_i)|i＝1,2…N_n}

其中X_pos是正特征向量集合，并且X_neg是负特征向量集合。

2)调节权重w1_one,…,wm_one和w1_binary,…,wn_binary，从而确保正特征向量和负特征向量的平均分数之间的差值最大；

$\left\{\begin{array}{c}{w1}_{\mathrm{one}}+...+{\mathrm{wm}}_{\mathrm{one}}+{w1}_{\mathrm{binary}}+...{\mathrm{wn}}_{\mathrm{binary}}=1\\ \mathrm{diffrence}=f_{\mathrm{positive}}^{\mathrm{average}}-f_{\mathrm{negative}}^{\mathrm{average}}\end{array}\right..$

图4是示出了根据本发明第一实施例的用于一组对象分类器的在线学习设备400的框图，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器。

如图4所示，用于一组对象分类器的在线学习设备400包括：特征向量提取单元410、单类分类器更新单元420和两类分类器更新单元430。

更具体地，特征向量提取单元410被配置为从新添加的样本中提取特征向量。

单类分类器更新单元420被配置为基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个。

两类分类器更新单元430被配置为基于所提取的特征向量以及由所述单类分类器更新单元420已经部分地或全部地更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。

设备400中的各个单元能够被配置为执行图2中的流程图中示出的各个步骤。

在上述的用于包含单类分类器和两类分类器的一组对象分类器的在线学***的同时将误报警率降低到极低水平。

(第二实施例)

本实施例涉及将根据第一实施例的在线学习方法和设备应用于在图像序列中检测用户注册对象。

图5是示出根据本发明第二实施例的通过使用已经确定为对象的至少一个正样本在图像序列中检测对象的方法的流程图。

如图5所示，在单类分类器产生步骤510中，根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器。本领域技术人员会明白的是，任何已知的或者新的适当的方法能够被用于产生单类分类器。

接下来，在两类分类器产生步骤520中，基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器。

在一种实现方式中，所述两类分类器产生步骤520可以包括：将所述第一图像划分成多个区域并且通过使用所述单类分类器确定所划分的区域中的每一个是否为所述对象；收集所述单类分类器的支持向量以及从已经被确定为所述对象的区域中提取的特征向量，作为正特征向量；收集从已经被确定为非对象的区域中提取的特征向量，作为负特征向量；以及通过使用所收集的正特征向量和负特征向量训练至少一个两类分类器。

下面将详细描述这样的两类分类器产生方法的一个示例。本领域技术人员会理解，本发明不限于这个特定的示例，而是能够使用任何适当的方式来产生两类分类器。

在该示例中，首先，通过滑动窗来将第一图像划分成多个窗图像，然后对于每个窗，提取特征向量。然后，单类对象分类器基于所提取的特征向量来确定滑动窗中的图像是正的还是负的，即，确定该图像是否为待检测对象。

基于分类结果，收集被分类为正的所有窗，使用非最大抑制(non-maximum suppression)，将正的窗进行聚类并且合并以便利用包围盒(bounding box)w_obj定位对象。

然后，所有所述包围盒w_obj的特征向量被提取，并且被视为正特征向量。

此外，单类分类器的所有支持向量也被收集作为正特征向量。

在图像中定位对象区域之后，与对象包围盒的重合度(overlapratio)小于用户特定的阈值thr的窗被视为负的，即：

如果则窗w_s被视为负的。

所有的负的窗被收集，并且基于它们的分类分数按升序排列，并且仅仅头N_n个窗被选为难(hard)负样本，其中N_n＝N_p，并且N_p是通用的单类分类器的正支持向量的数量。从那些负样本中提取特征向量并且将其添加到负特征向量集合X_neg中。

然后，训练基于支持向量的两类分类器，其可以将对象与当前场景区分开。序列最小优化(SMO)方法和LIBSVM也可以被用于这种训练。

基于正特征向量和负特征向量(名为X_pos和X_neg)两者，通过采用基于直方图交叉核的SVM来训练两类分类器，其将对象与背景分离。对于未确定的样本z，SVM的判决函数被示出为：

$f_{\mathrm{binary}}\left(z\right)=\underset{x_i\∈\mathrm{SVs}}{\mathrm{\Σ}}{\mathrm{\α}}_{i}K(x_i,z)+b>0---\left(10\right)$

其中x_i是支持向量，α_i是对应的权重因子，K(·)是核函数，并且b是判决偏置(bias)。当f_binary(z)＞0时，样本z被分类为正的。

此外，如公式(10)所示的SVM的判决函数能够被规格化为概率输出SVM。对于两类SVM的概率输出被公式化为：

$f_{\mathrm{binary}}=1.0-\frac{1}{1+\exp (\mathrm{Af}\left(z\right)+B)}---\left(11\right)$

其中在训练过程中使用5折交叉验证来估计A和B。

然后，在对象检测步骤530中，通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的跟在第一图像之后的第二图像中检测所述对象。在该检测之后，该方法执行分类器更新步骤540，在该步骤540中通过使用根据第一实施例的在线学习方法，根据所述检测结果来更新所述一组对象分类器。然后，该方法返回到对象检测步骤530，以用于通过使用更新后的对象分类器在该序列中的下一个图像中检测所述对象。对象检测步骤530和分类器更新步骤540被重复，直到该序列中的所有图像都已经被检测完或者检测结束。分类器更新步骤540采用根据第一实施例的在线学习方法，其之前已经被详细讨论并且这里不会重复叙述。因此，我们下面将详细讨论对象检测步骤530。

在对象检测方法的一种实现方式中，检测所述对象可以包括：将所述图像划分成多个区域；通过使用所述一组对象分类器来对所划分的区域中的每一个进行分类并且从所述一组分类器得到对于所划分的区域中的每一个的分类分数；以及根据所述分类分数和预定义的阈值确定所划分的区域中的每一个是所述对象还是非对象。

可替代地，在另一种实现方式中，检测所述对象可以包括：将所述图像划分成多个区域；通过使用所述单类分类器来对所划分的区域中的每一个进行分类并且从所述单类分类器得到对于所划分的区域中的每一个的第一分类分数；通过使用两类分类器来对已经由所述单类分类器分类为正的区域进行分类，从两类分类器得到对于这些区域的第二分类分数，并且通过对第一分类分数和第二分类分数进行加权求和来计算最终分类分数；以及收集其最终分类分数大于预定义的阈值的区域作为对象区域，并且收集其最终分类分数不大于所述预定义的阈值的区域作为非对象区域。

下面将详细描述这样的检测方法的一个示例。本领域技术人员会理解，本发明不限于这个特定的示例，而是能够使用任何适当的方式来检测对象。

在该示例中，包括单类分类器和两类分类器的该组分类器具有级联结构。这个结构的第一级是单类分类器而第二级是两类分类器。

通过该组分类器在图像中检测对象并且收集正特征向量和负特征向量以用于接下来的更新(在线学习)。

具体的检测过程如下。

通过滑动窗来将图像划分成多个样本窗图像，然后对于每个窗w_s，提取特征向量x_s。然后，该组分类器如下地对样本图像进行分类：

1)通过使用单类分类器对样本特征向量x_s进行分类并且得到分类分数

2)如果由单类分类器将该样本特征向量x_s分类为正的，则通过使用两类分类器来对其进行分类并且得到分类分数

3)当通过上述两个分类器将样本分类为对象区域时，通过使用公式来得到最终分类分数f_s。

在检测期间，收集候选的正窗和负窗：W_pos＝{(w_i,f_i)|i＝1,…,N_p}，W_neg＝{(w_i,f_i)|i＝1,…,N_n}，其中每一个关联一个分类分数，其中W_pos是正窗集合，并且W_neg是负窗集合。正的候选者W_pos是已经被该组分类器分类为正的那些样本，即，其最终分类分数大于预定义的阈值的那些样本，而负的候选者W_neg是已经被单类分类器分类为正的但是被两类分类器分类为负的那些样本，即，其最终分类分数不大于预定义的阈值的那些样本。

图6是示出根据本发明第二实施例的用于通过使用已经确定为对象的至少一个正样本在图像序列中检测对象的设备600的框图。

如图6所示，该设备600包括：单类分类器产生单元610、两类分类器产生单元620、对象检测单元630、以及根据第一实施例的在线学习设备400。

更具体地，单类分类器产生单元610被配置为根据所述至少一个正样本，基于用于对所述对象进行分类的支持向量产生至少一个单类分类器。

两类分类器产生单元620被配置为基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器。

对象检测单元630被配置为通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的每一个后续的图像中检测所述对象。

根据第一实施例的在线学习设备400被配置为根据由所述对象检测单元获得的检测结果来更新所述一组对象分类器。

设备600中的各个单元能够被配置为执行图5中的流程图中示出的各个步骤。

在上述的检测方法和设备中，在单类分类器和两类分类器之间共享支持向量，并且因此能够在将检出率保持在高水平的同时将误报警率降低到极低水平。

(其它实施例)

上述的根据第一实施例的在线学习方法或者根据第二实施例的用于在图像序列中检测对象的方法可被用于许多应用中。应用之一是用于在图像拾取设备中自动地聚焦于用户注册对象。

如图7所示，图像拾取设备700可以包括：光学***710，被配置为拾取图像或者视频；以及根据第一实施例的在线学习设备400或者根据第二实施例的用于在视频帧的序列中检测对象的设备600。

此外，图像拾取设备700可以被包括在图像处理设备中，该图像处理设备例如是照相机、移动电话、台式计算机、平板计算机或者膝上型计算机等。

(通过本发明实现的技术效果的评估)

示出了根据本发明的原理的用于检测对象的方法与现有技术中的其它方法的测试比较的示例。注意，这里示出的示例仅仅是示例性的，用于示出本发明的有利技术效果，而不是限制性的。

根据本发明的对象检测方法被用在用户注册对象检测(UROD)***中。通过使用用户提供的很少的样本来训练用于特定对象的单类分类器；并且视频序列的第一帧被用来构造两类分类器。这两个分类器被组合以形成一组分类器，并且基于检测结果被在线更新。

我们将本发明的检测方法的性能与仅仅使用单类分类器的现有技术的方法进行比较。用于图像区域描述的特征是颜色和局部三值模式(Local ternary pattern，LTP)。

评估准则是PASCAL评估准则，当时，检测区域被视为正确的检测区域。这里，T是0.5。

召回率(recall rate)，即检出率，为

虚检率(FPPI)为其中错误检出的帧包括不具有对象但是被检测为对象的帧。

表1示出测试中的硬件和软件配置。

表1

评估示例1

图8示出将根据本发明实施例的使用一对分类器的检测方法与仅使用单类分类器的现有技术检测方法进行比较而得到的比较结果，即，ROC曲线。采用的数据集是全部由手持式照相机拍摄的20个视频。待检测对象是许多种动物，诸如猫、狗等等。每一种动物包括不同的外观并且背景慢慢地改变。

如图8所示，与仅具有单类分类器的方法相比，根据本实施例的方法具有更好的性能(更高的检出率和更低的FPPI)。

评估示例2

在该示例中，同样，将根据本发明实施例的使用一对分类器的检测方法与仅使用单类分类器的现有技术检测方法进行比较。

采用的数据集是全部由手持式照相机拍摄的144个视频。待检测对象是28种动物。

在将检出率保持在92.1％的情况下执行FPPI的比较。

FPPI被示出在表2中：

表2

如上述表所示，当这两种方法的检出率相同时，根据本发明的方法的FPPI仅为单类分类器方法的FPPI的约30％。

从上面的比较结果可以看出，根据本发明的对象检测方法能够减少FPPI率(假警报)。也就是说，单类分类器和两类分类器的组合能更有效地将对象与周围的场景区分开。此外，根据本发明的对象检测方法能够改善检出率。也就是说，根据本发明的在线学习将使得该组分类器能够适应于对象的外观变化。

可以通过许多方式来实施本发明的方法和设备。例如，可以通过软件、硬件、固件、或其任何组合来实施本发明的方法和设备。上述的方法步骤的次序仅是说明性的，本发明的方法步骤不限于以上具体描述的次序，除非以其它方式明确说明。此外，在一些实施例中，本发明还可以被实施为记录在记录介质中的程序，其包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。

虽然已通过示例详细展示了本发明的一些具体实施例，但是本领域技术人员应当理解，上述示例仅意图是说明性的而不限制本发明的范围。本领域技术人员应该理解，上述实施例可以在不脱离本发明的范围和实质的情况下被修改。本发明的范围是通过所附的权利要求限定的。

Claims (20)

1.一种用于一组对象分类器的在线学习方法，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述方法包括：

特征向量提取步骤，从新添加的样本中提取特征向量；

单类分类器更新步骤，基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；

两类分类器更新步骤，基于所提取的特征向量以及在所述单类分类器更新步骤中已经部分地或全部地被更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。

2.根据权利要求1所述的在线学习方法，其中所述一组对象分类器具有加权累加结构，并且所述在线学习方法在所述两类分类器更新步骤之后还包括更新单类分类器和两类分类器的权重的步骤。

3.根据权利要求1所述的在线学习方法，其中所述单类分类器更新步骤包括：

对于所述至少一个单类分类器中的一个单类分类器，

计算从这个单类分类器的所有支持向量的聚类中心到所提取的特征向量和所述至少一个两类分类器的所述支持向量中的每一个的各个距离；

基于所述单类分类器的支持向量来设定阈值；

从所提取的特征向量和所述至少一个两类分类器的所述支持向量中选择具有比所述阈值小的计算距离的候选特征向量；以及

通过使用所述候选特征向量来更新所述单类分类器的支持向量。

4.根据权利要求1所述的在线学习方法，其中所述两类分类器更新步骤包括：

对于所述至少一个两类分类器中的一个两类分类器，

确定所提取的特征向量是正特征向量还是负特征向量；以及

通过使用所有单类分类器的支持向量作为正特征向量以及使用确定结果来更新所述两类分类器的支持向量。

5.一种用于通过使用已经被确定为对象的至少一个正样本在图像序列中检测所述对象的方法，所述方法包括：

单类分类器产生步骤，根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器；

两类分类器产生步骤，基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器；

对象检测步骤，通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的第二图像中检测所述对象；

分类器更新步骤，通过使用根据权利要求1所述的在线学习方法，根据所述检测结果更新所述一组对象分类器；以及

后续的检测和更新步骤，对于所述序列中的每一个后续的图像，通过使用经更新的一组对象分类器在所述后续的图像中检测所述对象并且随后更新所述一组对象分类器。

6.根据权利要求5所述的方法，其中所述两类分类器产生步骤包括：

将所述第一图像划分成多个区域并且通过使用所述单类分类器确定所划分的区域中的每一个是否为所述对象；

收集所述单类分类器的支持向量以及从已经被确定为所述对象的区域中提取的特征向量，作为正特征向量；

收集从已经被确定为非对象的区域中提取的特征向量，作为负特征向量；以及

通过使用所收集的正特征向量和负特征向量训练至少一个两类分类器。

7.根据权利要求5所述的方法，其中检测所述对象包括：

将所述图像划分成多个区域；

通过使用所述一组对象分类器来对所划分的区域中的每一个进行分类并且从所述一组分类器得到对于所划分的区域中的每一个的分类分数；以及

根据所述分类分数和预定义的阈值确定所划分的区域中的每一个是所述对象还是非对象。

8.根据权利要求5所述的方法，其中检测所述对象包括：

将所述图像划分成多个区域；

通过使用所述单类分类器来对所划分的区域中的每一个进行分类并且从所述单类分类器得到对于所划分的区域中的每一个的第一分类分数；

通过使用两类分类器来对已经由所述单类分类器分类为正的区域进行分类，从两类分类器得到对于这些区域的第二分类分数，并且通过对第一分类分数和第二分类分数进行加权求和来计算最终分类分数；以及

收集其最终分类分数大于预定义的阈值的区域作为对象区域，并且收集其最终分类分数不大于所述预定义的阈值的区域作为非对象区域。

9.一种用于一组对象分类器的在线学习设备，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述设备包括：

特征向量提取单元，被配置为从新添加的样本中提取特征向量；

单类分类器更新单元，被配置为基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；

两类分类器更新单元，被配置为基于所提取的特征向量以及由所述单类分类器更新单元已经部分地或全部地更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。

10.根据权利要求9所述的在线学习设备，其中所述一组对象分类器具有加权累加结构，并且所述在线学习设备还包括被配置为在更新两类分类器之后更新单类分类器和两类分类器的权重的单元。

11.根据权利要求9所述的在线学习设备，其中所述单类分类器更新单元包括：

被配置为对于所述至少一个单类分类器中的一个单类分类器，计算从这个单类分类器的所有支持向量的聚类中心到所提取的特征向量和所述至少一个两类分类器的所述支持向量中的每一个的各个距离的单元；

被配置为对于所述至少一个单类分类器中的一个单类分类器，基于所述单类分类器的支持向量来设定阈值的单元；

被配置为从所提取的特征向量和所述至少一个两类分类器的所述支持向量中选择具有比所述阈值小的计算距离的候选特征向量的单元；以及

被配置为通过使用所述候选特征向量来更新所述单类分类器的支持向量的单元。

12.根据权利要求9所述的在线学习设备，其中所述两类分类器更新单元包括：

被配置为对于所述至少一个两类分类器中的一个两类分类器，确定所提取的特征向量是正特征向量还是负特征向量的单元；以及

被配置为对于所述至少一个两类分类器中的一个两类分类器，通过使用所有单类分类器的支持向量作为正特征向量以及使用确定结果来更新所述两类分类器的支持向量的单元。

13.一种用于通过使用已经被确定为对象的至少一个正样本在图像序列中检测所述对象的设备，所述设备包括：

单类分类器产生单元，被配置为根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器；

两类分类器产生单元，被配置为基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器；

对象检测单元，被配置为通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的每一个后续的图像中检测所述对象；以及

根据权利要求9所述的在线学习设备，被配置为根据由所述对象检测单元获得的检测结果来更新所述一组对象分类器。

14.根据权利要求13所述的设备，其中所述两类分类器产生单元包括：

被配置为将所述第一图像划分成多个区域并且通过使用所述单类分类器确定所划分的区域中的每一个是否为所述对象的单元；

被配置为收集所述单类分类器的支持向量以及从已经被确定为所述对象的区域中提取的特征向量，作为正特征向量的单元；

被配置为收集从已经被确定为非对象的区域中提取的特征向量，作为负特征向量的单元；以及

被配置为通过使用所收集的正特征向量和负特征向量训练至少一个两类分类器的单元。

15.根据权利要求13所述的设备，其中所述对象检测单元包括：

被配置为将所述图像划分成多个区域的单元；

被配置为通过使用所述一组对象分类器来对所划分的区域中的每一个进行分类并且从所述一组分类器得到对于所划分的区域中的每一个的分类分数的单元；以及

被配置为根据所述分类分数和预定义的阈值确定所划分的区域中的每一个是所述对象还是非对象的单元。

16.根据权利要求13所述的设备，其中所述对象检测单元包括：

被配置为将所述图像划分成多个区域的单元；

被配置为通过使用所述单类分类器来对所划分的区域中的每一个进行分类并且从所述单类分类器得到对于所划分的区域中的每一个的第一分类分数的单元；

被配置为通过使用两类分类器来对已经由所述单类分类器分类为正的区域进行分类，从两类分类器得到对于这些区域的第二分类分数，并且通过对第一分类分数和第二分类分数进行加权求和来计算最终分类分数的单元；以及

被配置为收集其最终分类分数大于预定义的阈值的区域作为对象区域，并且收集其最终分类分数不大于所述预定义的阈值的区域作为非对象区域的单元。

17.根据权利要求1-4中的任一项所述的在线学习方法或者根据权利要求5-8中的任一项所述的用于在图像序列中检测对象的方法在用于自动聚焦于用户注册对象的图像拾取设备中的使用。

18.一种图像拾取设备，包括：

光学***，被配置为拾取图像或者视频；以及

根据权利要求9-12中的任一项所述的在线学习设备或者根据权利要求13-16中的任一项所述的用于在视频帧的序列中检测对象的设备。

19.一种图像处理设备，包括根据权利要求18所述的图像拾取设备。

20.根据权利要求19所述的图像处理设备，其中所述图像处理设备是照相机、移动电话、台式计算机、平板计算机或者膝上型计算机。