CN103530612B - 基于少量样本的快速目标检测方法 - Google Patents

Abstract

本发明公开了一种基于少量样本的快速目标检测方法，其主要通过使用少量的样本的梯度直方图HOG特征来构造关于目标的投票空间，以及计算查询图像的HOG特征和不同尺度下检测图像的HOG特征，采用滑动窗口的方式计算查询图像和检测图像块的梯度直方图距离，从而来对在检测图片中的目标进行定位；最后通过mean‑shift算法对上一步中定位到的检测图像中的目标进行精确提取，从而把重叠在一起的检测框相融合，其方法过程简单，同时能够基于更少的样本进行检测，得出的结果精确度更高。

Description

基于少量样本的快速目标检测方法

技术领域

本发明属于计算机视觉和模糊识别技术领域，具体是一种应用在图片库和视频中的基于少量样本的快速目标检测方法的设计。

背景技术

随着电子信息技术的高速发展，图像和视频的应用技术已经深入到人们生活和工作的各个角落，例如基于图像信息的认证、安防监控以及图像信息数据的检索等等，在这样的应用场景中，通常需要对某一出现在图像或视频中的目标进行检测和识别。由于图像或视频中的目标往往存在噪声、光照已经形变，所以在图像或视频中对某一目标的检测依然是一个难题。通常，人们会选择一种基于大量样本来训练分类器的方式进行目标检测，这样的方案往往需要针对某一目标搜集成千上万的样本，并且需要很长的时间来训练分类器，一旦要检测的目标更改，又需要重新搜集样本进行训练。在许多应用场景中，搜集成千上万的训练样本是不可能实现的，例如：在机场安检的图像信息认证过程中，一个旅客往往只有两三张照片和本人进行身份验证，在此情况下就无法获得关于旅客的成千上万张图片来进行验证，而是需要从几张照片中进行验证的技术；又如，在网络购物中，客户手里有几个自己感兴趣的商品图片可是又叫不出商品名称，于是需要通过图片搜索的方式在网站上寻找到这些商品，此时就只能通过这几个样本就搜索到对应商品图片；另外，在安防监控***中，由于出现的目标各式各样，若通过搜集成千上万的样本来训练分类器，将是一个非常浩大的工作，因此，可以选择通过少量的样本的方案来进行。此外，在图像或视频中进行目标检测时，还需要考虑速度问题，即在图像和视频中能快速地定位目标，如果一个检索算法太慢，会影响到相应技术的推广应用。

现有技术中，西安电子科技大学的刘芳等人发明的“基于Primal Sketch算法的SAR图像目标检测方法”，专利申请号为：2011101028551，该发主要针对目标检测方法无法实现对不同类型的人工目标进行检测的缺点，其实现过程为：1)对原SAR图像运用Primal Sketch算法得到图像结果信息的线段集合；2)定义并计算线段集合中所有线段的规整度和规整比率；3)确定用于区域升值呢的种子线段集合；4)以种子线段为基准进行区域生长，得到包含人工目标和自然目标的候选目标区域集合；5)根据候选目标区域内线段的特征筛选得到最终的人工目标。该发明首先计算SAR图像，然后采用Primal Sketch算法来表示SAR图像中的线段集合，通过计算线段规整度和规整比率从而生成种子线段区域。但是该方法存在如下缺点：1)该方法的特征是基于图像的线段，这样的特征表达容易受到光照、对比度的影响，且没有局部特征信息；2)运行速度较慢，难以满足基于网络的图片和视频检索。

发明内容

本发明所要解决的技术问题是针对上述现有技术中目标识别检测方法中存在的缺点而提出一种基于少量样本的快速目标检测方法。

本发明解决其技术问题采用的技术方案是：基于少量样本的快速目标检测方法，具体包括：

S1、收集关于要检测的目标的样本，并组成样本集R；

S2、将步骤S1中收集到的样本放缩到统一大小，计算样本集R中每个样本图片的梯度直方图HOG特征，对样本集R中的样本图片采用两两组合的方式分别计算两个样本图片每个像素的HOG直方图距离；

S3、针对样本的大小，在每个像素位置求得所述步骤S2中的HOG直方图距离的均值μ和方差∑；

S4、从样本集R中随机选择一个样本图片作为查询图片Q，计算其HOG特征；对于输入的测试图片T在多个尺度上进行放缩，并分别在各个尺度上计算其HOG特征；

S5、用查询图片Q的HOG特征对多个尺度下的测试图片T以滑动窗口的方式计算相似度，当相似度大于设定阈值时则认为是检测目标；

S6、合并重叠已经计算出的检测目标作为最终的检测结果。

进一步的，所述HOG直方图距离计算公式为：其中，h₁和h₂分别为两个直方图向量，和分别表示直方图向量h₁和h₂的第i个元素。

进一步的，所述步骤S2具体包括：

S21、对每个样本图片采用中值滤波的方式去噪；

S22、计算步骤S21去噪后每个样本图片的HOG特征，计算之后每个样本图片的每个像素位置都对应一个直方图向量；

S23、对两两组合的样本图片分别计算在每个像素的HOG直方图距离。

更进一步的，所述步骤S2中，两个样本图片计算HOG特征之后均是一个三维矩阵，其HOG特征记为m×n×p，其中m和n分别表示HOG特征的在平面上的长度和宽度，p表示每个像素位置处直方图向量的长度。

进一步的，所述步骤S4具体包括：

S41、对查询图片Q采用中值滤波方式去噪，计算其HOG特征；

S42、对输入的测试图片T采用中值滤波方式去噪，在多个尺度上进行放缩，在每个尺度上分别计算其HOG特征。

进一步的，所述步骤S5包括：

S51、采用滑动窗口的方式计算查询图片Q与同样大小的某一尺度下的测试图片T中相同大小的图像块T_i的HOG直方图距离；

S52、若查询图片Q与图像块T_i对应像素的HOG直方图距离与步骤S3中对应所述像素位置的HOG直方图距离的均值μ之差的绝对值小于对应像素位置的HOG直方图距离的方差∑，则有一个相似度累积到T_i这个图像块上，累加T_i上所有位置的相似度就成为了图像块T_i与查询图片Q整体的相似度，当图像块T_i整体的相似度大于设定阈值时则认为是检测目标。

更进一步的，所述步骤S5中，查询图片Q与图像块T_i之间的HOG直方图距离为：其中，j＜m，k＜n，d_jk为查询图片Q与图像块T_i之间第j×k个直方图之间的HOG直方图距离；

查询图片Q与图像块T_i之间的相似度计算公式为：其中μ_jk表示μ中的第j×k个元素，∑_jk表示∑中的第j×k个元素，函数的定义为：

其中N(d_jk,μ_jk,∑_jk)为高斯分布函数，该函数的均值为μ_jk，方差为∑_jk。

进一步的，所述步骤S6中采用mean-shift算法合并重叠已经计算出的检测目标。

本发明的有益效果：本发明基于少量样本的快速目标检测方法通过使用少量的样本的梯度直方图HOG特征来构造关于目标的投票空间，以及计算查询图像的HOG特征和不同尺度下检测图像的HOG特征，采用滑动窗口的方式计算查询图像和检测图像块的梯度直方图距离，从而来对在检测图片中的目标进行定位；最后通过mean-shift算法对上一步中定位到的检测图像中的目标进行精确提取，从而把重叠在一起的检测框相融合，其方法过程简单，同时能够基于更少的样本进行检测，得出的结果精确度更高。

附图说明

图1为本发明实施例的基于少量样本的快速目标检测方法的流程框图；

图2为以人脸为例的检测流程框图；

图3为采用滑动窗口的方式进行相似度的计算的示意图；

图4为以人脸为例的检测结果示意图；

图5为以汽车为例的检测结果示意图；

图6为以心形和花朵为例的检测结果示意图；

图7为以行走的人为列的检测结果示意图。

具体实施方式

下面结合附图和具体的实施例对本发明作进一步的阐述。

如图1所示为本发明实施例的基于少量样本的快速目标检测方法的流程框图，其具体包括，

S1、收集少量的关于要检测的目标的样本，并组成样本集R；其中样本集R应该来自行业内公开并公认的数据集或者来自网络搜索引擎的图片，且允许有一定的形变；

S2、将步骤S1中收集到的样本放缩到统一大小，计算样本集R中每个样本图片的梯度直方图HOG特征，对样本集R中的样本图片采用两两组合的方式分别计算两个样本图片每个像素的HOG直方图距离；

S3、针对样本的大小，在每个像素位置求得所述步骤S2中的HOG直方图距离的均值μ和方差∑；

S4、从样本集R中随机选择一个样本图片作为查询图片Q，计算其HOG特征；对于输入的测试图片T在多个尺度上进行放缩，并分别在各个尺度上计算其HOG特征；

S5、用查询图片Q的HOG特征对多个尺度下的测试图片T以滑动窗口的方式计算相似度，当相似度大于设定阈值时则认为是检测目标；

S6、合并重叠已经计算出的检测目标作为最终的检测结果；其中，可以采用mean-shift算法来对检测目标进行合并重叠。

其中，所述HOG直方图距离计算公式为：其中，h₁和h₂分别为两个直方图向量，和分别表示对直方图向量h₁和h₂分别取第i个元素。

所述步骤S2具体包括：

S21、对每个样本图片采用中值滤波的方式去噪；

S22、对每个样本图片计算HOG特征，计算之后每个样本图片的每个像素位置都对应一个直方图向量；

S23、对两两组合的样本图片分别计算在每个像素的HOG直方图距离。

当两个样本图片计算HOG特征之后均是一个三维矩阵，其HOG特征记为m×n×p，其中m和n分别表示HOG特征的在平面上的长度和宽度，p表示每个像素位置处直方图向量的长度。同理，在下述步骤中涉及到的查询图片Q与图像块T_i之间相似度的计算中，也需要用到上述三维矩阵。

所述步骤S4具体包括：

S41、对查询图片Q采用中值滤波方式去噪，计算其HOG特征；

S42、对输入的测试图片T采用中值滤波方式去噪，在多个尺度上进行放缩，在每个尺度上分别计算其HOG特征。

所述步骤S5包括：

S51、采用滑动窗口的方式计算查询图片Q与同样大小的某一尺度下的测试图片T中相同大小的图像块T_i的HOG直方图距离；

S52、若查询图片Q与图像块T_i对应像素的HOG直方图距离与步骤S3中对应所述像素位置的HOG直方图距离的均值μ之差的绝对值小于对应像素位置的HOG直方图距离的方差∑，则有一个相似度累积到T_i这个图像块上，累加T_i上所有位置的相似度就成为了图像块T_i与查询图片Q整体的相似度，当图像块T_i整体的相似度大于设定阈值时则认为是检测目标。

其中，所述步骤S5中计算查询图片Q与图像块T_i的相似度时，需要用到所述步骤S3中的均值μ和方差∑，其中均值μ和方差∑分别是大小为m×n的矩阵，

查询图片Q与图像块T_i之间的HOG直方图距离为：其中，j＜m，k＜n，d_jk为查询图片Q与图像块T_i之间第j×k个直方图之间的HOG直方图距离；

查询图片Q与图像块T_i之间的相似度计算公式为：其中μ_jk表示μ中的第j×k个元素，∑_jk表示∑中的第j×k个元素，函数的定义为：

其中N(d_jk,μ_jk,∑_jk)为高斯分布函数，该函数的均值为μ_jk，方差为∑_jk。

所述步骤S6具体为：将所述步骤S5筛查出的检测目标位置的坐标(x,y)和每个相似度值代入到mean-shift算法中，通过有限步的迭代把在同一目标上的多个目标框融合成一个。

为了本领域技术人员能够理解并且实施本发明基于少量样本的快速目标检测方法，将结合具体的实施方式对本发明方案进行详细描述：

我们以人脸检测为例，如图2所示为检测过程的流程框图，其中包含的人脸样本图片只有4个，样本图片的大小均为80×80像素，对每个样本图片进行中值滤波去噪之后计算每个样本的HOG特征，计算完成后得到的每个样本的大小为10×10×32；对4个样本图片的大小为10×10×32的HOG特征分别两两组合计算HOG直方图距离，对两个样本来说，计算方式采用的是对10×10个32维的直方图分别计算直方图距离，计算完成之后得到一个大小为10×10的矩阵，矩阵的每一个元素表示的是直方图距离。4个人脸样本，两两组合，能够得到个这样的10×10的矩阵。

通过4个人脸样本得到了6个10×10的矩阵，分别记为D¹,D²,…,D⁶，则直方图距离的均值矩阵μ为：

$\begin{array}{cc}{\mathrm{\μ}}_{i,j}=\frac{D_{i,j}^1+D_{i,j}^2+...+D_{i,j}^6}{6}& i,j=1,2,...10\end{array},$

μ_i,j表示均值矩阵μ的第i行第j列元素，表示第k个矩阵的第i行第j列元素。方差矩阵Σ的计算为：

$\begin{array}{cc}{\Σ}_{i,j}=\frac{\underset{k=1}{\overset{6}{\Σ}}{(D_{i,j}^k-{\mathrm{\μ}}_{i,j})}^2}{6}& i,j=1,2,...10\end{array}.$

在进行目标检测时，从已有的四个样本中随机选择一个人脸图片作为在测试图片中滑动的查询图片，并计算其HOG特征，记为Q。

对输入的待检测图片，首先采用中值滤波，然后进行多尺度放缩，再在各个尺度上计算HOG特征。在输入的待检测图片的每一尺度上，采用滑动窗口的方式进行相似度的计算，如图3所示，窗口的大小与查询图片Q的大小相同。每个窗口均与查询图片Q计算一次直方图相似度，若直方图相似度大于某一设定的阈值，则认为窗口中包含人脸。对某一个窗口图像T_i，T_i对应的HOG特征是Hⁱ，Q对应的HOG特征是H，Hⁱ与H均是10×10×32的矩阵，则T_i与Q之间的直方图Dⁱ是一个10×10的矩阵，Q与T_i之间的相似度计算公式为：

其中d_jk是Dⁱ的第j×k个元素。

由于检测过程是在测试图片中逐像素滑动窗口，所以在测试图片的同一人脸周围往往都会出现相似度大于预先设定的阈值的情况，因此在滑动窗口完成之后，我们通过mean-shift算法融合这些在同一目标上的多个候选位置，mean-shift算法的输入是这些候选位置的图像坐标(x,y)和该位置的相似度，该算法运行完之后会在将相互重叠的候选框合并。其中mean-shift算法为本领域技术人员的公知常识，在本发明申请方案中不作详细描述。

为了进一步说明本发明申请方案的实用性，本方案在上述所举实例的基础上另外列举了几种不同检测目标通过本发明所述的方法完成的检测结果，分别如图4、5、6、7所示，其具体的检测过程与上述实例的检测过程类似，在此不再累述。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.基于少量样本的快速目标检测方法，其特征在于，具体包括：

S1、收集关于要检测的目标的样本，并组成样本集R；

S2、将步骤S1中收集到的样本放缩到统一大小，计算样本集R中每个样本图片的梯度直方图HOG特征，对样本集R中的样本图片采用两两组合的方式分别计算两个样本图片每个像素的HOG直方图距离；

S3、针对样本的大小，在每个像素位置求得所述步骤S2中的HOG直方图距离的均值μ和方差∑；

S4、从样本集R中随机选择一个样本图片作为查询图片Q，计算其HOG特征；对于输入的测试图片T在多个尺度上进行放缩，并分别在各个尺度上计算其HOG特征；

S5、用查询图片Q的HOG特征对多个尺度下的测试图片T以滑动窗口的方式计算相似度，当相似度大于设定阈值时则认为是检测目标；

S6、合并重叠已经计算出的检测目标作为最终的检测结果。

2.如权利要求1所述的基于少量样本的快速目标检测方法，其特征在于，所述HOG直方图距离计算公式为：其中，h₁和h₂分别为两个直方图向量，和分别表示直方图向量h₁和h₂的第i个元素。

3.如权利要求1所述的基于少量样本的快速目标检测方法，其特征在于，所述步骤S2具体包括：

S21、对每个样本图片采用中值滤波的方式去噪；

S22、计算步骤S21去噪后每个样本图片的HOG特征，计算之后每个样本图片的每个像素位置都对应一个直方图向量；

S23、对两两组合的样本图片分别计算在每个像素的HOG直方图距离。

4.如权利要求3所述的基于少量样本的快速目标检测方法，其特征在于，所述步骤S2中，两个样本图片计算HOG特征之后均是一个三维矩阵，其HOG特征记为m×n×p，其中m和n分别表示HOG特征的在平面上的长度和宽度，p表示每个像素位置处直方图向量的长度。

5.如权利要求1所述的基于少量样本的快速目标检测方法，其特征在于，所述步骤S4具体包括：

S41、对查询图片Q采用中值滤波方式去噪，计算其HOG特征；

S42、对输入的测试图片T采用中值滤波方式去噪，在多个尺度上进行放缩，在每个尺度上分别计算其HOG特征。

6.如权利要求1所述的基于少量样本的快速目标检测方法，其特征在于，所述步骤S5包括：

S51、采用滑动窗口的方式计算查询图片Q与同样大小的某一尺度下的测试图片T中相同大小的图像块T_i的HOG直方图距离；

S52、若查询图片Q与图像块T_i对应像素的HOG直方图距离与步骤S3中对应所述像素位置的HOG直方图距离的均值μ之差的绝对值小于对应像素位置的HOG直方图距离的方差∑，则有一个相似度累积到T_i这个图像块上，累加T_i上所有位置的相似度就成为了图像块T_i与查询图片Q整体的相似度，当图像块T_i整体的相似度大于设定阈值时则认为是检测目标。

7.如权利要求6所述的基于少量样本的快速目标检测方法，其特征在于，所述步骤S5中，查询图片Q与图像块T_i之间的HOG直方图距离为：其中，j＜m，k＜n，d_jk为查询图片Q与图像块T_i之间第j×k个直方图之间的HOG直方图距离；

查询图片Q与图像块T_i之间的相似度计算公式为：其中μ_jk表示μ中的第j×k个元素，Σ_jk表示Σ中的第j×k个元素，函数的定义为：

其中N(d_jk,μ_jk,Σ_jk)为高斯分布函数，该函数的均值为μ_jk，方差为Σ_jk。

8.如权利要求1至7任一项权利要求所述的基于少量样本的快速目标检测方法，其特征在于，所述步骤S6中采用mean-shift算法合并重叠已经计算出的检测目标。