CN104143197A - 一种航拍场景下运动车辆的检测方法 - Google Patents

Abstract

本发明公开一种航拍场景下运动车辆的检测方法，该方法包括以下步骤：步骤S1：对运动图像序列进行图像配准；步骤S2：对配准后的图像进行背景建模；步骤S3：对背景建模后图像进行背景减除，获取减除背景后的图像；步骤S4：对背景减除后的图像提取前景域，利用训练的支持向量机分类器对前景目标分类，获得分类的车辆目标和非车辆目标；步骤S5：对车辆目标进行跟踪关联，产生车辆目标的时序轨迹；步骤S6：对多个车辆目标时序轨迹拟合，得到道路区域估计；步骤S7：对道路估计和前景目标分类融合，获得车辆检测结果。

Description

一种航拍场景下运动车辆的检测方法

技术领域

本发明涉及计算机视觉领域，特别涉及目标检测(Object detection)技术，具体涉及一种航拍场景下运动车辆的检测方法。

背景技术

目标检测是计算机视觉的一个重要研究领域，它希望将所有存在于图像中的特定目标找到，并给出具体的参数信息，例如目标的空间位置、方位、大小等。目标检测是众多技术的基础，存在着广泛的应用，例如图像分类和检索、视觉监控和行为分析、基于视觉的人机交互等领域。

当前大部分的目标检测包含两部分内容：搜索技术和识别/判别技术，第一部分是在完整图像范围里找出可能的目标候选，第二部分是判定候选目标是不是特定目标。第一部分广泛采用的技术是滑动窗口法(sliding by window)，在完整图像上按照不同的空间位置和目标尺寸大小遍历。第二部分一般采用分类器的形式实现，比如用于行人检测的基于方向梯度直方图HOG的支持向量机分类器和缺省模型(deform model)。

基于航拍数据的特点，航拍场景下运动车辆的检测和普通目标的检测有所不同。较广泛的方法一般是通过特定的技术来限定搜索和判定的范围而不用实施全局的检测。比较常见的是首先实施运动检测，然后对运动目标候选实施分类判别。另一种策略是通过采用辅助信息，例如地理信息***(geographical information system)来确定道路范围，进而用道路范围来约束运动车辆检测。基于辅助信息方法的最大缺陷是如果辅助信息不存在或者难以获得时，该类方法将会失效。

发明内容

(一)要解决的技术问题

为了解决现有技术存在失效的问题，本发明的目的是提出一种航拍场景下运动车辆的检测新的方法，从而有效地实现对航拍场景下运动车辆实施检测。

(二)技术方案

为了实现上述目的，本发明提出一种航拍场景下运动车辆的检测方法，该方法包括步骤如下：

步骤S1：对运动图像序列进行图像配准；

步骤S2：对配准后的图像进行背景建模；

步骤S3：对背景建模后图像进行背景减除，获取减除背景后的图像；

步骤S4：对背景减除后的图像提取前景域，利用训练的支持向量机分类器对前景目标进行分类，获得分类的车辆目标和非车辆目标；

步骤S5：对车辆目标进行跟踪关联，产生车辆目标的时序轨迹；

步骤S6：对多个车辆目标做时序轨迹拟合，得到道路区域估计；

步骤S7：对道路估计和前景目标分类融合，获得车辆检测结果。

(三)有益效果

本发明所提出的融合道路估计和目标分类的航拍运动车辆检测方法，通过估计图像中的道路区域，去除大量的错误检测，简化问题的复杂性，最后通过目标分类的方式获得可靠的运动车辆检测。在目标分类中联合使用尺寸特征和基于方向梯度直方图的形状特征这两种互补信息，并采用级联的支持向量机分类器，从而具有较好的目标分类效果。另外，方法自动提取道路场景知识，进而采用其作为车辆检测的辅助信息源，能够较大程度地改善运动车辆检测的效果。

附图说明

图1是本发明的航拍运动车辆检测框架图；

图2是线下训练支持向量机分类器；

图3所示矩形是两帧目标关联产生的道路域估计。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明的方法具体运行的硬件和编程语言并不受限制，用任何语言编写都可以实现本发明的方法。本发明实施采用一台CPU频率为2.53GHz内存为4G的电脑，并用C++语言来编程实现本发明的方法。

如图1示出本发明的航拍运动车辆的检测方法的流程图，

下面详细给出本发明技术方案线下训练模块的所涉及的步骤。

步骤S1：对运动图像序列实施图像配准，包括以下几个主要部分：

步骤S1a：对每一帧图像提取surf(speeded up robust features)特征。

步骤S1b：以单幅图像为基准，按照随机采样一致(RANSAC)的方式建立其它图像和参考图像surf特征间的匹配对应性。

步骤S1c：基于参考图像surf特征间的对应性关系，求解其它图像到参考图像的空间仿射关系，依据该仿射关系将所有图像转换到参考图像坐标系中。

步骤S2：配准图像实施背景建模。配准图像序列的背景建模采用中值滤波(median filter)的方法。排序所有配准图像在同一空间位置的像素值大小，取中间排位的像素值大小作为背景图像该空间位置的像素大小。

步骤S3：对背景建模后图像进行背景减除，获取减除背景后的图像；主要包含以下三个部分

步骤S3a：将配准图像与背景图像作差分，得到背景差分图像。

步骤S3b：遍历差分图像所有像素，如果像素差值大于预定义阈值TBK，则标记该像素为前景，其中预定义阈值TBK＝3*ζ，ζ为对应像素位置差分量的方差统计。

步骤S3c：连通域分析，将相邻的前景像素聚集在一起。连通面积大于预订阈值S时，求解连通域的最小外接矩形，最小外接矩形域即为对应的前景目标域，所述预订阈值，由航拍图像分辨率下对应车辆面积确定。

步骤S4：对背景减除后的图像提取前景域，对前景域提取尺寸特征和方向直方图特征，利用训练的支持向量机分类器对前景目标进行分类，获得车辆目标和非车辆目标。主要包含以下两个步骤：

步骤S4a：将所有前景域的尺寸特征输入到线下训练模块，通过Size-支持向量机的分类判决，判定为车辆的前景域被保留，其它的前景域丢弃

步骤S4b：将通过步骤S4a后的前景域方向梯度直方图特征输入到线下训练模块获得的方向HOG-支持向量机，判定为车辆的前景域保留为目标，其它丢弃。HOG是方向梯度直方图。

如图2示出本发明中线下训练的支持向量机分类器的步骤如下：

步骤41：对图像序列实施图像配准。

步骤42：对配准后图像实施背景建模。

步骤43：对背景建模后图像实施背景减除。

步骤44：人工标识前景图像中的车辆和非车辆。

步骤45：提取目标的尺寸特征、方向梯度直方图特征，训练支持向量机分类器。

其中，步骤44按照如下方式进行：假设前景图像中某外接矩形域为S_A，配准图像中离该矩形域最近的真实车辆域为S_B，如果两个域的交并比大于0.5，则该外接矩形域标记为车辆，否则标记为非车辆。

其中，步骤45包含以下四个步骤，分别如下：

步骤45a：提取车辆与非车辆的尺寸特征。尺寸特征f如公式(1)定义，其中h和w分别表示目标域的长和宽。

$f=\{h,w,\frac{h}{w},h\×w\}---\left(1\right)$

步骤45b：将车辆与非车辆的图像域规范到24×32像素的大小，进而对规范化后的图像域提取方向梯度直方图特征。

步骤45c：基于车辆的尺寸特征，训练出单类线性支持向量机分类器(one-class SVM)，称之为Size-支持向量机。

步骤45d：对于所有Size-支持向量机判定为车辆的样本(包含部分非车辆)，基于方向梯度直方图特征训练学习非线性支持向量机分类器，称之为HOG-支持向量机。

步骤S5对步骤S4中支持向量机分类器判定为车辆的目标进行跟踪关联，包含以下几个部分

步骤S5a：对每帧图像中的车辆目标提取空间位置(x，y)，车辆域的图像颜色直方图特征b，车辆几何域的主轴方向θ以及面积大小a。

步骤S5b：计算相邻两帧任意两个目标的关联相似性。

假设第t帧图像中第i个目标为t为图像帧索引，i为车辆目标索引，i＞0，其对应的特征为：空间位置特征颜色直方图特征方向特征和面积特征

假设t+1帧图像中第j个目标为j为车辆目标索引，j＞0，其对应的空间位置、颜色、方向和面积特征分别为和

另外每帧存在一个虚目标，t帧虚目标以表示，t+1帧虚目标以表示。则相邻两帧的两个目标和的关联相似性如公式(2)定义如下：

$s_{\mathrm{ij}}^t=\left\{\begin{array}{cc}0,& \mathrm{if}{\left|\right|x_i^t-x_j^{t+1}\left|\right|}^2+{\left|\right|y_i^t-y_j^{t+1}\left|\right|}^2<d\\ {\mathrm{\&alpha;s}}_{b,\mathrm{ij}}^t+{\mathrm{\&beta;s}}_{\mathrm{\&theta;},\mathrm{ij}}^t+{(1-\mathrm{\&alpha;}-\mathrm{\&beta;})s}_{a,\mathrm{ij}}^t,& \mathrm{otherwise}\end{array}\right.---\left(2\right)$

其中，α，β为自定义参数，0＜α＜1；0＜α+β＜1，d为空间距离阈值。和分别表示两个目标的颜色直方图相似性、方向相似性和面积相似性，按照公式(3)计算如下：

$\left\{\begin{array}{c}{s}_{b,\mathrm{ij}}^t=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\min (b_i^t\left(k\right),b_j^{t+1}\left(k\right))\\ s_{\mathrm{\&theta;},\mathrm{ij}}^t=\left|\cos ({\mathrm{\&theta;}}_i^t-{\mathrm{\&theta;}}_j^{t+1})\cos ({\mathrm{\&theta;}}_i^t-{\mathrm{\&theta;}}_{\mathrm{ij}}^t)\cos ({\mathrm{\&theta;}}_j^{t+1}-{\mathrm{\&theta;}}_{\mathrm{ij}}^t)\right|\\ s_{a,\mathrm{ij}}^t=\min (\frac{a_i^t}{a_j^{t+1}},\frac{a_j^{t+1}}{a_i^t})\end{array}\right.---\left(3\right)$

公式(3)中k为维度，n表示直方图的维度数目，表示直方图第k个bin(格子)的大小，表示连接目标中心位置和中心位置的直线的水平倾角。目标和虚目标的关联相似性为自定义的常数c，0＜c＜1，同样和的关联相似性同样为c。

步骤S5c：基于相邻两帧不同目标的关联相似性，求解目标对应性关系，即求解下面的优化问题表示如下：

$\underset{\mathrm{\&Pi;}}{\arg \max }\underset{i=0}{\overset{N^t}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N^{t+1}}{\mathrm{\&Sigma;}}}{s}_{\mathrm{ij}}^t{\mathrm{\&pi;}}_{\mathrm{ij}}^t---\left(4\right)$

面对下述约束：

$\left\{\begin{array}{c}\underset{\text{i=0}}{\overset{N^t}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_{\mathrm{ij}}^t=1;j\&Element;\{\mathrm{1,2},...,N^{t+1}\}\\ \underset{j=0}{\overset{N^{t+1}}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_{\mathrm{ij}}^t=1;j\&Element;\{\mathrm{1,2},...,N^t\}\\ {\mathrm{\&pi;}}_{\mathrm{ij}}^t\&Element;\left\{\mathrm{0,1}\right\};j\&Element;\{\mathrm{1,2},...,N^t\},j\&Element;\{\mathrm{1,2},...,N^{t+1}\}\end{array}\right.---\left(5\right)$

其中，N^t和N^t+1分别表示第t帧和第t+1帧的目标数目。表示目标和的关联相似性，按照公式(2)计算。表示和的关联结果，如果为1则表示两个目标关联，否则不关联。我们采用匈牙利算法(Hungarian Algorithm)求解该优化问题。

将所有相邻的两帧关联在时序上串接起来，即得到完整的目标时序轨迹。

步骤S6：对多车辆目标时序轨迹拟合，得到道路区域估计；

分析所有时序轨迹，得到其中可靠的轨迹，主要部分如下：

假设一个目标的时序轨迹表示为其中为起始时刻t₀的目标、为终止时刻t_e的目标，t₀和t_e表示轨迹的起始和终止时刻，t₀，t₀+1，…t_e为时序。如果下面的约束公式(6)成立，则该目标轨迹为可靠轨迹表示如下：

$\left\{\begin{array}{c}|{\mathrm{\&theta;}}_k^t-{\mathrm{\&theta;}}_k^{t+1}|<{\mathrm{\&theta;}}_0;t\&Element;\{t_0+1,...,t_e-1\}\\ \min \{\frac{l_k^t}{l_k^{t+1}},\frac{l_k^{t+1}}{l_k^t}\}>l_0;t\&Element;\{t_0+1,...,t_e-1\}\end{array}\right.---\left(6\right)$

其中，θ₀为角度阈值，设置为 表示连接目标与目标中心位置的直线的水平倾角，表示连接目标与目标中心位置的直线的水平倾角；表示目标与目标中心的距离，表示目标与目标中心的距离。

满足上述条件的轨迹即为可靠轨迹，不满足条件的轨迹丢弃。另外，当t_e-t₀≤3时，轨迹过短不可靠，被丢弃。

对可靠目标轨迹进行道路拟合，得到道路区域估计，主要有以下两个部分。

步骤S6a：假设一条可靠的目标轨迹为对于其中的两帧目标关联其产生的局部道路估计域为一个矩形，如图3所示。在数学上，该道路区域可以用公式(7)表示：

其中，为1则表示位置(x，y)处被标记为道路，否则该位置不属于道路。σ表示车辆域的宽度。I(.)表示指示函数，当括号中条件为真时函数值为1，否则为0。和表示连接点(x，y)和构成的向量在两个主轴方向的投影距离，按照公式(8)计算。

公式(8)中表示连接空间点和空间点构成向量的水平倾角。表示空间点和空间点的中间点。表示点到点的距离。和的计算方式按步骤S6中形式计算。

步骤S6b：轨迹产生的完整道路估计为各个基本两帧目标关联产生的道路估计域的并集，所述并集M_k(x，y)如公式(9)所示：

$M_k(x,y)=m_k^{t_0+1}(x,y)\&cup;m_k^{t_0+2}(x,y)\&CenterDot;\&CenterDot;\&CenterDot;\&cup;m_k^{t_e}(x,y)---\left(9\right)$

其中分别为两帧关联 产生的道路估计域，而假设可靠轨迹集合为Ψ：{T₁，....，T_k，....T_K}，由K条目标轨迹构成，则综合所有目标轨迹生成的道路估计域，得到最终的道路估计域如公式(10)所示：

M(x，y)＝M¹(x，y)∪M²(x，y)…M^K(x，y)    (10)

其中M¹(x，y)、M²(x，y)…M^K(x，y)分别为轨迹T₁、T₂…T_K产生的道路估计域。

步骤S7：联合道路估计和前景目标分类，获得车辆检测结果，分两个主要的部分。

步骤S7a：将道路域外的前景目标去除，保留道路域上的前景目标。

步骤S7b：将道路域上的前景目标输入支持向量机分类器，判定为车辆(较低的车辆分类阈值)的目标即为最终的运动车辆检测。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果做了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种航拍场景下运动车辆的检测方法，该方法包括以下步骤：

步骤S1：对运动图像序列进行图像配准；

步骤S2：对配准后的图像进行背景建模；

步骤S3：对背景建模后图像进行背景减除，获取减除背景后的图像；

步骤S4：对背景减除后的图像提取前景域，利用训练的支持向量机分类器对前景目标分类，获得分类的车辆目标和非车辆目标；

步骤S5：对车辆目标进行跟踪关联，产生车辆目标的时序轨迹；

步骤S6：对多个车辆目标时序空轨迹做空间位置拟合，得到道路区域估计；

步骤S7：对道路估计和前景目标分类融合，获得车辆检测结果。

2.根据权利要求1所述航拍场景下运动车辆的检测方法，其特征在于，获得支持向量机分类器的步骤包括：

步骤S41：对航拍图像序列配准，用以获得同一世界坐标系的图像序列；

步骤S42：对配准后图像实施背景建模，获得背景图像；

步骤S43：基于航拍配准图像和背景图像，实施背景减除，获得前景图像；

步骤S44：基于前景图像，人工区分车辆和非车辆，提取对应的尺寸特征和方向梯度直方图特征；

步骤S45：基于车辆和非车辆的特征，训练出支持向量机分类器。

3.根据权利要求1所述航拍场景下运动车辆的检测方法，其特征在于，所述对前景目标分类的步骤包括如下：

步骤S4a：求解前景域的最小外接矩形，该矩形域表示对应的目标候选；

步骤S4b：提取外接矩形域的尺寸特征，将所有外接矩形域规范化到同一尺寸大小，提取方向梯度直方图特征；

步骤S4c：基于尺寸特征和方向梯度直方图特征，做目标分类。

4.根据权利要求1所述航拍场景下运动车辆的检测方法，其特征在于，采用数据关联的形式串联不同图像帧的车辆检测，获得车辆目标的时序轨迹。

5.根据权利要求1所述航拍场景下运动车辆的检测方法，其特征在于，对所述车辆目标时序轨迹进行分析，去除错误和短时轨迹，得到可靠车辆目标时序轨迹。

6.根据权利要求5所述航拍场景下运动车辆的检测方法，其特征在于，基于可靠车辆目标时序轨迹，实时对多车辆目标时序轨迹进行道路拟合，得到道路分布。