CN103886583A - 一种基于场景几何约束的目标检测滑窗扫描方法 - Google Patents

Abstract

本发明公开一种基于场景几何约束的目标检测滑窗扫描方法。现有的基于单目摄像头的全图滑窗穷搜索方法，存在搜索效率低导致检测***无法达到实时的问题。本发明公开了一种基于场景几何约束的目标检测滑窗扫描方法。该方法利用八个控制点和直接线性变换算法，计算出预先标定的车载摄像头的单应性矩阵和地平面法向量在图像投影向量，根据我们图像成像几何约束关系推导的约束方程计算出滑窗扫描约束区域的上边界和下边界，只在相应的图像约束区域中进行图像特征金字塔构建和滑窗扫描检测分类，不仅具有高效的扫描效率，而且由于只需要一个摄像头，解决了多目探测器硬件成本高的问题。

Description

一种基于场景几何约束的目标检测滑窗扫描方法

技术领域

本发明涉及一种车载视频图像的目标检测中的高效滑窗扫描方法，特别涉及一种基于场景几何约束的视频图像滑窗扫描方法。

背景技术

随着交通事业的高速发展，交通安全变得越来越重要。高级驾驶辅助***（advanced driver assistance systems）中的前方车辆、行人等目标检测预警是减少车辆交通事故的重要方法，其中的图像滑窗扫描搜索检测是车载图像目标检测技术中的关键一环，是影响图像目标检测效率和实时性的重要因素。

基于视觉的图像目标检测根据采用的探测器不同，滑窗扫描搜索可以分为两大类：基于单目摄像头的全图滑窗穷尽搜索和基于多探测器的利用深度信息滑窗搜索。全图滑窗穷尽搜索属于全局贪婪搜索，方法简单，但是滑窗搜索量大，搜索效率很低，导致目标检测算法运算量过大，无法达到车载目标检测的实时性要求。基于多探测器的利用深度信息滑窗搜索，属于利用图像深度信息的启发式搜索，搜索效率有所提高，但是需要多个探测器，导致***硬件成本大大提高；而且由于需要结合多个探测器得到用于搜索空间约束的深度信息，计算复杂度更高，算法稳定性较差，最终的目标检测实时性也受影响。因此，针对车载单目视频图像的目标检测，本发明提出一种基于几何约束的滑窗扫描搜索方法。通过车载固定焦距摄像头的预先标定，车辆前方道路上的人车目标对象在视频图像中的垂直方向的尺度大小和位置，与实际目标对象和车载摄像头之间的距离形成几何约束关系，利用这些几何约束进行启发式搜索，可以减少滑窗搜索区域，大幅度减少搜索窗口数，提高目标检测的时间性能，降低误检率。

发明内容

针对单目视觉图像目标检测应用场景，本发明公开了一种基于场景几何约束的图像高效扫描检测方法。该方法利用八个控制点和直接线性变换算法，计算出预先标定的车载摄像头的单应性矩阵和地平面法向量在图像投影向量，根据图像成像几何约束关系推导的约束方程计算出滑窗扫描约束区域的上边界和下边界，只在相应的图像约束区域中进行图像特征金字塔构建和滑窗扫描检测分类，不仅具有高效的扫描效率，而且由于只需要一个摄像头，解决了多目探测器硬件成本高的问题。

本发明解决其技术问题采用的技术方案步骤如下：

Step1：首先进行车载定焦摄像头（非广角单目）校正。保证摄像头取景方向平行于地平面，即相机的俯仰角、航偏角、旋转角都为零。

Step2：测量八个控制点，分别记录每个点在空间世界坐标系的坐标和图像局部坐标系的坐标。

Step3：计算单应性矩阵H_π和地平面法向量在图像上的映射向量n。取八个测量点的测量值，利用直接线性变换算法计算H_π和n。

Step4：计算不同缩放层下的单应性矩阵和地平面法向量在图像上的映射向量，更新第k层的H_π,k和n_k。

Step5：利用相机成像几何约束方程求出约束线。

Step6：设定图像的左右边界，即取图像的最左边界x_min和最右边界x_max。

Step7：计算当前层约束的上边界y_min和下边界y_max。设定约束区域ROI。

Step8：使用分类器扫描检测ROI区域（x_min,x_max,y_min,y_max）。要求做扫描检测时只对ROI内的图像进行特征提取；只对ROI内的图像进行滑窗扫描分类。

转到Step4，重复执行Step4、Step5、Step6、Step7、Step8直到完成所有层的扫描检测。

本发明的有益效果：

1.本发明从车载应用场景出发，利用车载相机成像的几何场景信息进行约束，可以有效地将检测窗约束在有意义假阳性相关（行人可能出现）的图像区域，具有很高的搜索效率，可以明显降低目标检测***运算量，提升检测速度。

2.本发明由于限制了很多假阳性不相关图像区域/检测窗，减少了不相关的图像区域的假阳性目标干扰，可以降低错误率，提高检测精度。

附图说明：

图1为本发明计算约束区域的整体流程图。

图2为计算牵涉到的坐标系和部分符号说明图。

图3为缩放金字塔其中两层（δ=1.75和δ=0.65）的约束上边界和下边界示例。

图4为全图滑窗穷尽搜索和使用本发明约束后的待检测窗口展示。

具体实施方式

下面结合附图，以检测目标为行人为例，对本发明的具体实施方案作进一步详细描述。其具体步骤流程如图1所示：

步骤1：安装校正车载摄像头。摄像头成像轴平行于地平面，即相机的俯仰角、航偏角、旋转角都为零。摄像头安装位置距离地面高度在20厘米到160厘米范围内，要求摄像头为普通（非广角）单目定焦摄像头。

步骤2：测量八个控制点，分别记录其在空间世界坐标系的坐标X=[X,Y,Z]^T和图像局部坐标系的坐标x=[x,y]^T，坐标系说明如图2所示。测量点布设要求：这八个点不能布设在空间的任意同一平面内；而且在空间分布均匀，在图像上构像范围大。

步骤3：计算单应性矩阵H_π和地平面法向量在图像上的映射向量n。利用直接线性变换算法，代入六个测量点的测量值，求解

$H_{\mathrm{\π}}={\left(\begin{array}{ccc}{h}_1^T& h_2^T& h_3^T\end{array}\right)}^T,n=\left(\begin{array}{ccc}{n}_1& n_2& n_3\end{array}\right).$ 求解单应性矩阵的求解算法为：

其中调用到的利用松弛法求解线性方程组的算法为：

步骤4：使用两个测量点的测量值，求出地面法向量在图像上的映射向量n。根据 $\left|\begin{array}{ccc}-S_i& 0& S_i{x}_i\\ 0& -S_i& S_i{y}_i\\ .& .& .\\ .& .& .\\ .& .& .\end{array}\right|\left|\begin{array}{c}{n}_1\\ n_2\\ n_3\end{array}\right|=\left|\begin{array}{c}(h_1^T-x_i{h}_3^T)U_i\\ (h_2^T-y_i{h}_3^T)U_i\\ .\\ .\\ .\end{array}\right|$ 即An=b求出其最小二乘解向量

n=(A^TA)^-1A^Tb。

步骤5：将关键参数H_π和n推广到不同缩放层，并更新。为了将上述约束算法推广到多尺度使用，本发明通过将检测窗大小的缩放变化传递给关键参数H_π和n，也可以达到同样的检测不同距离的效果。缩放间隔为δ，在第K层作如下更新： $H_{\mathrm{\π},k}=\left|\begin{array}{c}{h}_1^T/{\mathrm{\δ}}^k\\ h_1^T/{\mathrm{\δ}}^k\\ h_3^T\end{array}\right|,n_k=\left|\begin{array}{c}{n}_1/{\mathrm{\δ}}^k\\ n_2/{\mathrm{\δ}}^k\\ n_3\end{array}\right|.$

步骤6：利用相机几何成像约束关系（推导得出的）约束方程计算出约束线。将H_π,k代入约束方程 $x^T\mathrm{Dx}=x^T{H}_{\mathrm{\π}}^{-1}C{H}_{\mathrm{\π}}^{-1}x=0,$ 求出约束线D。

步骤7：设定图像的左右边界x_min=0和x_max=W_img。本发明基于车载场景几何信息，结合检测目标的高度进行上边界和下边界进行约束，左右边界不进行约束，即左边界设置为最左侧右边界设置为最右侧。

步骤8：计算当前层约束的上边界y_min和下边界y_max。利用单应性矩阵H_π,k、约束线D以及图像的左右边界x_min和x_max，根据约束方程

计算出约束的上边界y_min和下边界y_max。δ=1.75和δ=0.65两层的约束上边界和下边界展示如图3所示。

步骤9：设定分类器扫描检测约束区域/感兴趣区域ROI（x_min,x_max,y_min,y_max）。检测窗口以八个像素为步长，在约束区域内作上下左右扫描，全图滑窗穷尽搜索与使用本发明约束后的带检测窗口对比如图4所示。要求做扫描检测时只对ROI内的图像进行特征提取；只对ROI内的图像进行滑窗扫描分类。本发明整个约束过程与分类器类别不相关，对任何分类器均适用。下面以

DPM+LatentSVM为例，描述使用本发明计算出约束区域后的高效扫描检测过程，算法描述如下：

Claims (1)

1.一种基于场景几何约束的目标检测滑窗扫描方法，其特征在于该方法的具体步骤为：

步骤1、控制点的选取和测量：

选取八个控制点，要求这八个点不能布设在空间的任意同一平面内，而且在空间分布均匀，在图像上构像范围大；保存其在空间世界坐标系的坐标和图像局部坐标系的坐标；

步骤2、计算相机单应性矩阵H_π和地平面法向量在图像的投影向量n：

根据测量得到的八组测量值，使用直接线性变换算法，求出相应的最小二乘解即可；

步骤3、计算不同缩放层下的单应性矩阵和地平面法向量在图像上的映射向量，根据当前缩放层的缩放因子δ更新第k层的H_π,k和n_k：

将当前所在缩放层的缩放因子代入

更新；

步骤4、使用约束方程计算约束上边界和下边界：

设定约束的左右边界为图像的最左和最右，使用约束方程计算出约束上边界和约束下边界，给出当前缩放层的约束区域；

步骤5、高效滑窗扫描检测：

只在约束区域内进行特征金字塔的构建和分类器滑窗分类扫描，检测窗以八个像素为步长，在约束区域分别从左向右从上向下做扫描检测。

Images