CN108009558B - 基于多模型的目标检测方法及装置 - Google Patents

Abstract

本发明实施例公开了一种基于多模型的目标检测方法及装置，所述基于多模型的目标检测方法包括：对当前帧图像进行图像帧预处理操作，得到当前灰度图像；对所述当前灰度图像进行特征提取及后续的特征积分图的计算；对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存；将所保存的目标矩形框进行相近窗口聚类；将经过相近窗口聚类后剩余的向量进行二次检测；将通过二次检测的目标作为最终的检测目标进行显示。本发明能够降低目标检测的误检率，提升检测效率。

Description

基于多模型的目标检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多模型的目标检测方法及装置。

背景技术

随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通***、智能监控***、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。

目标检测也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个***的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。

目前，在进行基于多模型的目标检测时，通常是基于现有的级联分类器的单个模型检测，改进得到多个模型同时进行目标检测，或者基于现有的弱分类器组合成强分类器的思想，提升弱分类器的分类能力，或者基于现有的级联分类器Adaboost进行目标检测的基础上，进行新的级联分类的检测。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

现有的级联分类器的检测通过不断缩放原图进行不同尺度的检测，耗时的同时造成了一定数据损失，误检率较高；另外，现有的级联分类器检测存在计算冗余，导致检测效率较低。

发明内容

本发明提供的基于多模型的目标检测方法及装置，能够降低目标检测的误检率，提升检测效率。

一方面，本发明提供一种基于多模型的目标检测方法，包括：

对当前帧图像进行图像帧预处理操作，得到当前灰度图像；

对所述当前灰度图像进行特征提取及后续的特征积分图的计算；

对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存；

将所保存的目标矩形框进行相近窗口聚类；

将经过相近窗口聚类后剩余的向量进行二次检测；

将通过二次检测的目标作为最终的检测目标进行显示。

可选地，所述方法还包括：

在对第一帧图像进行检测前进行数据模型的加载，以便读取分类器数据到相应的类的向量中。

可选地，所述对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存包括：

由当前比例确定相对应的数据模型；

对于缩放后的图像进行当前大小窗口的遍历，对于每个窗口由分类器模型的第一级强分类器的第一个弱分类器对应的特征值算起，若特征值小于该弱分类器的阈值，则直接退出，否则继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器，每一个窗口退出时返回其通过的当前强分类器的级数，若一个窗口退出时返回的级数不超过预定级数，则增加下一次遍历的步长，直接不检测；

当一个窗口依次通过所有的强分类器时，作为可能的目标进行保存。

可选地，所述弱分类器的阈值按照如下公式计算得到：

treeThreshold＝eval[thresholdIdx]

其中，thresholdIdx＝(1-minHitRate)*numPos，eval存放的是所有样本的特征值，minHitRate为最小击中率，即正样本的正检率，numPos为训练该弱分类器使用的正样本总数。

可选地，所述将所保存的目标矩形框进行相近窗口聚类包括：采用取均值的方式将重合度在预定比例以上的目标矩形框进行合并。

可选地，所述将经过相近窗口聚类后剩余的向量进行二次检测包括：

将图像缩放至模型大小；

计算所提取的每个特征的特征值；

计算每个特征的特征值和对应模型值的乘积之和；

判断所述每个特征的特征值和对应模型值的乘积之和是否大于或等于命中阈值，若是，将对应的目标矩形框作为最终的检测目标进行保存，否则不进行保存。

另一方面，本发明提供一种基于多模型的目标检测装置，包括：

预处理单元，用于对当前帧图像进行图像帧预处理操作，得到当前灰度图像；

特征提取单元，用于对所述当前灰度图像进行特征提取及后续的特征积分图的计算；

第一检测单元，用于对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存；

聚类单元，用于将所保存的目标矩形框进行相近窗口聚类；

第二检测单元，用于将经过相近窗口聚类后剩余的向量进行二次检测；

显示单元，用于将通过二次检测的目标作为最终的检测目标进行显示。

可选地，所述装置还包括：

加载单元，用于在对第一帧图像进行检测前进行数据模型的加载，以便读取分类器数据到相应的类的向量中。

可选地，所述第一检测单元包括：

确定子单元，用于由当前比例确定相对应的数据模型；

遍历子单元，用于对于缩放后的图像进行当前大小窗口的遍历，对于每个窗口由分类器模型的第一级强分类器的第一个弱分类器对应的特征值算起，若特征值小于该弱分类器的阈值，则直接退出，否则继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器，每一个窗口退出时返回其通过的当前强分类器的级数，若一个窗口退出时返回的级数不超过预定级数，则增加下一次遍历的步长，直接不检测；

第一保存子单元，用于当一个窗口依次通过所有的强分类器时，作为可能的目标进行保存。

可选地，所述弱分类器的阈值按照如下公式计算得到：

treeThreshold＝eval[thresholdIdx]

其中，thresholdIdx＝(1-minHitRate)*numPos，eval存放的是所有样本的特征值，minHitRate为最小击中率，即正样本的正检率，numPos为训练该弱分类器使用的正样本总数。

可选地，所述聚类单元，用于采用取均值的方式将重合度在预定比例以上的目标矩形框进行合并。

可选地，所述第二检测单元包括：

缩放子单元，用于将图像缩放至模型大小；

第一计算子单元，用于计算所提取的每个特征的特征值；

第二计算子单元，用于计算每个特征的特征值和对应模型值的乘积之和；

判断子单元，用于判断所述每个特征的特征值和对应模型值的乘积之和是否大于或等于命中阈值；

第二保存子单元，用于当所述判断子单元的判断结果为是时，将对应的目标矩形框作为最终的检测目标进行保存。

本发明提供的基于多模型的目标检测方法及装置，对当前帧图像进行图像帧预处理操作，得到当前灰度图像，对其进行特征提取及后续的特征积分图的计算，然后进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存，将所保存的目标矩形框进行相近窗口聚类，将经过相近窗口聚类后剩余的向量进行二次检测，将通过二次检测的目标作为最终的检测目标进行显示。与现有技术相比，本发明利用多模型检测的思想，避免过多的图像缩放和特征积分图的计算，充分利用了已有的资源，能够提升检测效率；另外，在微级联分类器检测的基础上增加了二级检测，能够降低目标检测的误检率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一实施例提供的基于多模型的目标检测方法的流程图；

图2为本发明另一实施例提供的基于多模型的目标检测方法的流程图；

图3为本发明实施例提供的多尺度模型的推算过程示意图；

图4为本发明一实施例提供的基于多模型的目标检测装置的结构示意图；

图5为本发明另一实施例提供的基于多模型的目标检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种基于多模型的目标检测方法，如图1所示，所述基于多模型的目标检测方法包括：

S11、对当前帧图像进行图像帧预处理操作，得到当前灰度图像；

S12、对所述当前灰度图像进行特征提取及后续的特征积分图的计算；

S13、对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存；

S14、将所保存的目标矩形框进行相近窗口聚类；

S15、将经过相近窗口聚类后剩余的向量进行二次检测；

S16、将通过二次检测的目标作为最终的检测目标进行显示。

本发明实施例提供的基于多模型的目标检测方法，对当前帧图像进行图像帧预处理操作，得到当前灰度图像，对其进行特征提取及后续的特征积分图的计算，然后进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存，将所保存的目标矩形框进行相近窗口聚类，将经过相近窗口聚类后剩余的向量进行二次检测，将通过二次检测的目标作为最终的检测目标进行显示。与现有技术相比，本发明利用多模型检测的思想，避免过多的图像缩放和特征积分图的计算，充分利用了已有的资源，能够提升检测效率；另外，在微级联分类器检测的基础上增加了二级检测，能够降低目标检测的误检率。

本发明实施例提供另一种基于多模型的目标检测方法，如图2所示，所述基于多模型的目标检测方法包括：

S21、接收视频帧图像。

S22、在对第一帧图像进行检测前进行数据模型的加载，即读取分类器数据到相应的类的向量(vector)中。

S23、对当前帧图像进行图像帧预处理操作。

其中所述预处理操作包括彩色图到灰度转换(RGB2Gray())等。

S24、对进行预处理操作后得到的当前灰度图像进行特征提取及后续的特征积分图的计算。

S25、对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框。

具体地，所述步骤S25可以包括：

S251、由当前比例找到相对应的数据模型。

S252、对于缩放后的图像进行当前大小窗口的遍历，遍历的步长为yStep。

S253、对于一个窗口由分类器模型的第一级强分类器的第一个弱分类器对应的特征值算起，若特征值小于该弱分类器的阈值(Vi<treeThreshold)，则直接退出，否则，继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器，每一个窗口退出时返回其通过的当前强分类器的级数。

其中，弱分类器的阈值treeThreshold和其他数据一样，也是在训练中得到，它的取值如下：

treeThreshold＝eval[thresholdIdx]

其中，thresholdIdx＝(1-minHitRate)*numPos，eval存放的是所有样本的特征值，minHitRate为最小击中率，即正样本的正检率，numPos为训练该弱分类器使用的正样本总数。

由于在每个弱分类器前加上一个弱分类器的阈值，从而可以便于提前拒绝，减少冗余计算。

S254、若一个窗口退出时返回的级数不超过预定级数，则认为其周围为目标的可能性很小，于是下一次遍历的步长改为2*yStep，即认为其下一个窗口为目标的可能性很小，直接不检测。

S255、只有当一个窗口依次通过所有的强分类器才被认为是可能的目标保存下来。

S256、对于当前比例重复步骤S252-S255的操作直到遍历完所有的窗口。

S257、对下一个比例重复步骤S251-S256的操作直到所有大小的模型都检测完毕。

具体地，如图3所示，多尺度模型的推算过程具体如下：

例如，已经训练得到的几个(少数)模型分别为模型0、模型1、模型2，分别得到所需要的所有模型：模型0.0、模型0.1、模型0.2、模型1.0、模型1.1、模型2.0等。如果还有其他尺度，仍然可以得到，只是相对而言，距离越近误差越小，所以应该尽量把所有的情况都考虑到，取一些适当大小的作为已有模型，同时还要保证其检测率尽量高。

模型间的具体推导如下：

例如，已有的数据模型的大小分别w1*h1,w2*h2,w3*h3，其中，需保证h1/w1＝h2/w2＝h3/w3，最小检测目标为w0*h0，最大检测目标为w*h，则已有模型的相对比例为w1/w0、w2/w0、w3/w0，对于原始图像的缩放比例为a，则所需要的模型大小为：w0*h0、a*(w0*h0)、a^2*(w0*h0)、a^3*(w0*h0)，以此类推。其中，a^n*(w0*h0)<w*h，则对于所有模型由公式：

best_mode_0＝min(w0,(w1,w2,w3))

best_mode_1＝min(a*w0,(w1,w2,w3))

best_mode_2＝min(a^2*w0,(w1,w2,w3))

......

best_mode_i＝min(a^i*w0,(w1,w2,w3))

分别找到与之距离最近的已有的数据模型，并由其相对比例计算得到所需大小的数据模型，这样我们就由少数几个模型推出我们所需的所有模型来参与后面的检测。

S26、由步骤S25检测到的目标矩形框都以向量的形式进行保存。

S27、对步骤S26中的矩形框进行窗口聚类，重合度在75％以上的均认为检测到的是同一个目标，而被合并，合并采用的是取均值的原则，检到的次数低于2次的也被认为是误检而被剔除。

S28、步骤S27中得到剩余的向量就是被认为是可能的检测目标，对该目标进行一次二级检测。

具体地，所述二级检测采用SVM(Support Vector Machine，支持向量机)，具体实现步骤如下：

S281、接收图像。

S282、缩放图像至模型大小。

S283、计算特征vi。

S284、计算每个特征vi和对应模型值a的乘积之和S。

S285、判断S是否大于或等于HitThreshold，若是，则执行步骤S286，否则执行步骤S287。

S286、保存目标。

S287、检测完毕。

S29、通过二级检测的被认为是最终的检测目标，将其进行显示。

本发明实施例还提供一种基于多模型的目标检测装置，如图4所示，所述基于多模型的目标检测装置包括：

预处理单元11，用于对当前帧图像进行图像帧预处理操作，得到当前灰度图像；

特征提取单元12，用于对所述当前灰度图像进行特征提取及后续的特征积分图的计算；

第一检测单元13，用于对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存；

聚类单元14，用于将所保存的目标矩形框进行相近窗口聚类；

第二检测单元15，用于将经过相近窗口聚类后剩余的向量进行二次检测；

显示单元16，用于将通过二次检测的目标作为最终的检测目标进行显示。

本发明提供的基于多模型的目标检测装置，对当前帧图像进行图像帧预处理操作，得到当前灰度图像，对其进行特征提取及后续的特征积分图的计算，然后进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存，将所保存的目标矩形框进行相近窗口聚类，将经过相近窗口聚类后剩余的向量进行二次检测，将通过二次检测的目标作为最终的检测目标进行显示。与现有技术相比，本发明利用多模型检测的思想，避免过多的图像缩放和特征积分图的计算，充分利用了已有的资源，能够提升检测效率；另外，在微级联分类器检测的基础上增加了二级检测，能够降低目标检测的误检率。

进一步地，如图5所示，所述装置还包括：

加载单元17，用于在对第一帧图像进行检测前进行数据模型的加载，以便读取分类器数据到相应的类的向量中。

可选地，如图5所示，所述第一检测单元13包括：

确定子单元131，用于由当前比例确定相对应的数据模型；

遍历子单元132，用于对于缩放后的图像进行当前大小窗口的遍历，对于每个窗口由分类器模型的第一级强分类器的第一个弱分类器对应的特征值算起，若特征值小于该弱分类器的阈值，则直接退出，否则继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器，每一个窗口退出时返回其通过的当前强分类器的级数，若一个窗口退出时返回的级数不超过预定级数，则增加下一次遍历的步长，直接不检测；

第一保存子单元133，用于当一个窗口依次通过所有的强分类器时，作为可能的目标进行保存。

可选地，所述弱分类器的阈值按照如下公式计算得到：

treeThreshold＝eval[thresholdIdx]

其中，thresholdIdx＝(1-minHitRate)*numPos，eval存放的是所有样本的特征值，minHitRate为最小击中率，即正样本的正检率，numPos为训练该弱分类器使用的正样本总数。

可选地，所述聚类单元14，用于采用取均值的方式将重合度在预定比例以上的目标矩形框进行合并。

可选地，如图5所示，所述第二检测单元15包括：

缩放子单元151，用于将图像缩放至模型大小；

第一计算子单元152，用于计算所提取的每个特征的特征值；

第二计算子单元153，用于计算每个特征的特征值和对应模型值的乘积之和；

判断子单元154，用于判断所述每个特征的特征值和对应模型值的乘积之和是否大于或等于命中阈值；

第二保存子单元155，用于当所述判断子单元的判断结果为是时，将对应的目标矩形框作为最终的检测目标进行保存。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于多模型的目标检测方法，其特征在于，包括：

对当前帧图像进行图像帧预处理操作，得到当前灰度图像；

对所述当前灰度图像进行特征提取及后续的特征积分图的计算；

对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存；

将所保存的目标矩形框进行相近窗口聚类；

采用SVM将经过相近窗口聚类后剩余的向量进行二次检测；

将通过二次检测的目标作为最终的检测目标进行显示；

所述方法还包括：在对第一帧图像进行检测前进行数据模型的加载，以便读取分类器数据到相应的类的向量中，其中，所加载的数据模型有多个，在后面的检测中，所需的所有数据模型可由所加载的数据模型推算得到，具体为：根据最小检测目标以及对于原始图像的缩放比例确定所需要的各数据模型的大小，对于所需要的各数据模型，根据数据模型的大小分别找到与之距离最近的已有的数据模型，并按照所需要的数据模型和与之距离最近的已有的数据模型之间的相对比例计算得到所需大小的数据模型。

2.根据权利要求1所述的方法，其特征在于，所述对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存包括：

由当前比例确定相对应的数据模型；

对于缩放后的图像进行当前大小窗口的遍历，对于每个窗口由分类器模型的第一级强分类器的第一个弱分类器对应的特征值算起，若特征值小于该弱分类器的阈值，则直接退出，否则继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器，每一个窗口退出时返回其通过的当前强分类器的级数，若一个窗口退出时返回的级数不超过预定级数，则增加下一次遍历的步长，直接不检测；

当一个窗口依次通过所有的强分类器时，作为可能的目标进行保存。

3.根据权利要求2所述的方法，其特征在于，所述弱分类器的阈值按照如下公式计算得到：

treeThreshold＝eval[thresholdIdx]

其中，thresholdIdx＝(1-minHitRate)*numPos，eval存放的是所有样本的特征值，minHitRate为最小击中率，即正样本的正检率，numPos为训练该弱分类器使用的正样本总数。

4.根据权利要求1所述的方法，其特征在于，所述将所保存的目标矩形框进行相近窗口聚类包括：采用取均值的方式将重合度在预定比例以上的目标矩形框进行合并。

5.根据权利要求3所述的方法，其特征在于，所述将经过相近窗口聚类后剩余的向量进行二次检测包括：

将图像缩放至模型大小；

计算所提取的每个特征的特征值；

计算每个特征的特征值和对应模型值的乘积之和；

判断所述每个特征的特征值和对应模型值的乘积之和是否大于或等于命中阈值，若是，将对应的目标矩形框作为最终的检测目标进行保存，否则不进行保存。

6.一种基于多模型的目标检测装置，其特征在于，包括：

预处理单元，用于对当前帧图像进行图像帧预处理操作，得到当前灰度图像；

特征提取单元，用于对所述当前灰度图像进行特征提取及后续的特征积分图的计算；

第一检测单元，用于对经过特征提取及特征积分图计算的当前灰度图像进行多模型微级联分类器检测，得到目标矩形框，并将所述目标矩形框以向量的形式进行保存；

聚类单元，用于将所保存的目标矩形框进行相近窗口聚类；

第二检测单元，用于采用SVM将经过相近窗口聚类后剩余的向量进行二次检测；

显示单元，用于将通过二次检测的目标作为最终的检测目标进行显示；

所述装置还包括：加载单元，用于在对第一帧图像进行检测前进行数据模型的加载，以便读取分类器数据到相应的类的向量中，其中，所加载的数据模型有多个，在后面的检测中，所需的所有数据模型可由所加载的数据模型推算得到，具体为：根据最小检测目标以及对于原始图像的缩放比例确定所需要的各数据模型的大小，对于所需要的各数据模型，根据数据模型的大小分别找到与之距离最近的已有的数据模型，并按照所需要的数据模型和与之距离最近的已有的数据模型之间的相对比例计算得到所需大小的数据模型。

7.根据权利要求6所述的装置，其特征在于，所述第一检测单元包括：

确定子单元，用于由当前比例确定相对应的数据模型；

遍历子单元，用于对于缩放后的图像进行当前大小窗口的遍历，对于每个窗口由分类器模型的第一级强分类器的第一个弱分类器对应的特征值算起，若特征值小于该弱分类器的阈值，则直接退出，否则继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器，每一个窗口退出时返回其通过的当前强分类器的级数，若一个窗口退出时返回的级数不超过预定级数，则增加下一次遍历的步长，直接不检测；

第一保存子单元，用于当一个窗口依次通过所有的强分类器时，作为可能的目标进行保存。

8.根据权利要求7所述的装置，其特征在于，所述弱分类器的阈值按照如下公式计算得到：

treeThreshold＝eval[thresholdIdx]

其中，thresholdIdx＝(1-minHitRate)*numPos，eval存放的是所有样本的特征值，minHitRate为最小击中率，即正样本的正检率，numPos为训练该弱分类器使用的正样本总数。

9.根据权利要求6所述的装置，其特征在于，所述聚类单元，用于采用取均值的方式将重合度在预定比例以上的目标矩形框进行合并。

10.根据权利要求8所述的装置，其特征在于，所述第二检测单元包括：

缩放子单元，用于将图像缩放至模型大小；

第一计算子单元，用于计算所提取的每个特征的特征值；

第二计算子单元，用于计算每个特征的特征值和对应模型值的乘积之和；

判断子单元，用于判断所述每个特征的特征值和对应模型值的乘积之和是否大于或等于命中阈值；

第二保存子单元，用于当所述判断子单元的判断结果为是时，将对应的目标矩形框作为最终的检测目标进行保存。

Images