CN103886583A - 一种基于场景几何约束的目标检测滑窗扫描方法 - Google Patents
一种基于场景几何约束的目标检测滑窗扫描方法 Download PDFInfo
- Publication number
- CN103886583A CN103886583A CN201410050851.7A CN201410050851A CN103886583A CN 103886583 A CN103886583 A CN 103886583A CN 201410050851 A CN201410050851 A CN 201410050851A CN 103886583 A CN103886583 A CN 103886583A
- Authority
- CN
- China
- Prior art keywords
- constraint
- sliding window
- image
- scanning
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于场景几何约束的目标检测滑窗扫描方法。现有的基于单目摄像头的全图滑窗穷搜索方法,存在搜索效率低导致检测***无法达到实时的问题。本发明公开了一种基于场景几何约束的目标检测滑窗扫描方法。该方法利用八个控制点和直接线性变换算法,计算出预先标定的车载摄像头的单应性矩阵和地平面法向量在图像投影向量,根据我们图像成像几何约束关系推导的约束方程计算出滑窗扫描约束区域的上边界和下边界,只在相应的图像约束区域中进行图像特征金字塔构建和滑窗扫描检测分类,不仅具有高效的扫描效率,而且由于只需要一个摄像头,解决了多目探测器硬件成本高的问题。
Description
技术领域
本发明涉及一种车载视频图像的目标检测中的高效滑窗扫描方法,特别涉及一种基于场景几何约束的视频图像滑窗扫描方法。
背景技术
随着交通事业的高速发展,交通安全变得越来越重要。高级驾驶辅助***(advanced driver assistance systems)中的前方车辆、行人等目标检测预警是减少车辆交通事故的重要方法,其中的图像滑窗扫描搜索检测是车载图像目标检测技术中的关键一环,是影响图像目标检测效率和实时性的重要因素。
基于视觉的图像目标检测根据采用的探测器不同,滑窗扫描搜索可以分为两大类:基于单目摄像头的全图滑窗穷尽搜索和基于多探测器的利用深度信息滑窗搜索。全图滑窗穷尽搜索属于全局贪婪搜索,方法简单,但是滑窗搜索量大,搜索效率很低,导致目标检测算法运算量过大,无法达到车载目标检测的实时性要求。基于多探测器的利用深度信息滑窗搜索,属于利用图像深度信息的启发式搜索,搜索效率有所提高,但是需要多个探测器,导致***硬件成本大大提高;而且由于需要结合多个探测器得到用于搜索空间约束的深度信息,计算复杂度更高,算法稳定性较差,最终的目标检测实时性也受影响。因此,针对车载单目视频图像的目标检测,本发明提出一种基于几何约束的滑窗扫描搜索方法。通过车载固定焦距摄像头的预先标定,车辆前方道路上的人车目标对象在视频图像中的垂直方向的尺度大小和位置,与实际目标对象和车载摄像头之间的距离形成几何约束关系,利用这些几何约束进行启发式搜索,可以减少滑窗搜索区域,大幅度减少搜索窗口数,提高目标检测的时间性能,降低误检率。
发明内容
针对单目视觉图像目标检测应用场景,本发明公开了一种基于场景几何约束的图像高效扫描检测方法。该方法利用八个控制点和直接线性变换算法,计算出预先标定的车载摄像头的单应性矩阵和地平面法向量在图像投影向量,根据图像成像几何约束关系推导的约束方程计算出滑窗扫描约束区域的上边界和下边界,只在相应的图像约束区域中进行图像特征金字塔构建和滑窗扫描检测分类,不仅具有高效的扫描效率,而且由于只需要一个摄像头,解决了多目探测器硬件成本高的问题。
本发明解决其技术问题采用的技术方案步骤如下:
Step1:首先进行车载定焦摄像头(非广角单目)校正。保证摄像头取景方向平行于地平面,即相机的俯仰角、航偏角、旋转角都为零。
Step2:测量八个控制点,分别记录每个点在空间世界坐标系的坐标和图像局部坐标系的坐标。
Step3:计算单应性矩阵Hπ和地平面法向量在图像上的映射向量n。取八个测量点的测量值,利用直接线性变换算法计算Hπ和n。
Step4:计算不同缩放层下的单应性矩阵和地平面法向量在图像上的映射向量,更新第k层的Hπ,k和nk。
Step5:利用相机成像几何约束方程求出约束线。
Step6:设定图像的左右边界,即取图像的最左边界xmin和最右边界xmax。
Step7:计算当前层约束的上边界ymin和下边界ymax。设定约束区域ROI。
Step8:使用分类器扫描检测ROI区域(xmin,xmax,ymin,ymax)。要求做扫描检测时只对ROI内的图像进行特征提取;只对ROI内的图像进行滑窗扫描分类。
转到Step4,重复执行Step4、Step5、Step6、Step7、Step8直到完成所有层的扫描检测。
本发明的有益效果:
1.本发明从车载应用场景出发,利用车载相机成像的几何场景信息进行约束,可以有效地将检测窗约束在有意义假阳性相关(行人可能出现)的图像区域,具有很高的搜索效率,可以明显降低目标检测***运算量,提升检测速度。
2.本发明由于限制了很多假阳性不相关图像区域/检测窗,减少了不相关的图像区域的假阳性目标干扰,可以降低错误率,提高检测精度。
附图说明:
图1为本发明计算约束区域的整体流程图。
图2为计算牵涉到的坐标系和部分符号说明图。
图3为缩放金字塔其中两层(δ=1.75和δ=0.65)的约束上边界和下边界示例。
图4为全图滑窗穷尽搜索和使用本发明约束后的待检测窗口展示。
具体实施方式
下面结合附图,以检测目标为行人为例,对本发明的具体实施方案作进一步详细描述。其具体步骤流程如图1所示:
步骤1:安装校正车载摄像头。摄像头成像轴平行于地平面,即相机的俯仰角、航偏角、旋转角都为零。摄像头安装位置距离地面高度在20厘米到160厘米范围内,要求摄像头为普通(非广角)单目定焦摄像头。
步骤2:测量八个控制点,分别记录其在空间世界坐标系的坐标X=[X,Y,Z]T和图像局部坐标系的坐标x=[x,y]T,坐标系说明如图2所示。测量点布设要求:这八个点不能布设在空间的任意同一平面内;而且在空间分布均匀,在图像上构像范围大。
步骤3:计算单应性矩阵Hπ和地平面法向量在图像上的映射向量n。利用直接线性变换算法,代入六个测量点的测量值,求解
其中调用到的利用松弛法求解线性方程组的算法为:
步骤4:使用两个测量点的测量值,求出地面法向量在图像上的映射向量n。根据 即An=b求出其最小二乘解向量
n=(ATA)-1ATb。
步骤5:将关键参数Hπ和n推广到不同缩放层,并更新。为了将上述约束算法推广到多尺度使用,本发明通过将检测窗大小的缩放变化传递给关键参数Hπ和n,也可以达到同样的检测不同距离的效果。缩放间隔为δ,在第K层作如下更新:
步骤6:利用相机几何成像约束关系(推导得出的)约束方程计算出约束线。将Hπ,k代入约束方程 求出约束线D。
步骤7:设定图像的左右边界xmin=0和xmax=Wimg。本发明基于车载场景几何信息,结合检测目标的高度进行上边界和下边界进行约束,左右边界不进行约束,即左边界设置为最左侧右边界设置为最右侧。
步骤8:计算当前层约束的上边界ymin和下边界ymax。利用单应性矩阵Hπ,k、约束线D以及图像的左右边界xmin和xmax,根据约束方程计算出约束的上边界ymin和下边界ymax。δ=1.75和δ=0.65两层的约束上边界和下边界展示如图3所示。
步骤9:设定分类器扫描检测约束区域/感兴趣区域ROI(xmin,xmax,ymin,ymax)。检测窗口以八个像素为步长,在约束区域内作上下左右扫描,全图滑窗穷尽搜索与使用本发明约束后的带检测窗口对比如图4所示。要求做扫描检测时只对ROI内的图像进行特征提取;只对ROI内的图像进行滑窗扫描分类。本发明整个约束过程与分类器类别不相关,对任何分类器均适用。下面以
DPM+LatentSVM为例,描述使用本发明计算出约束区域后的高效扫描检测过程,算法描述如下:
Claims (1)
1.一种基于场景几何约束的目标检测滑窗扫描方法,其特征在于该方法的具体步骤为:
步骤1、控制点的选取和测量:
选取八个控制点,要求这八个点不能布设在空间的任意同一平面内,而且在空间分布均匀,在图像上构像范围大;保存其在空间世界坐标系的坐标和图像局部坐标系的坐标;
步骤2、计算相机单应性矩阵Hπ和地平面法向量在图像的投影向量n:
根据测量得到的八组测量值,使用直接线性变换算法,求出相应的最小二乘解即可;
步骤3、计算不同缩放层下的单应性矩阵和地平面法向量在图像上的映射向量,根据当前缩放层的缩放因子δ更新第k层的Hπ,k和nk:
步骤4、使用约束方程计算约束上边界和下边界:
设定约束的左右边界为图像的最左和最右,使用约束方程计算出约束上边界和约束下边界,给出当前缩放层的约束区域;
步骤5、高效滑窗扫描检测:
只在约束区域内进行特征金字塔的构建和分类器滑窗分类扫描,检测窗以八个像素为步长,在约束区域分别从左向右从上向下做扫描检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410050851.7A CN103886583A (zh) | 2014-02-14 | 2014-02-14 | 一种基于场景几何约束的目标检测滑窗扫描方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410050851.7A CN103886583A (zh) | 2014-02-14 | 2014-02-14 | 一种基于场景几何约束的目标检测滑窗扫描方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103886583A true CN103886583A (zh) | 2014-06-25 |
Family
ID=50955456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410050851.7A Pending CN103886583A (zh) | 2014-02-14 | 2014-02-14 | 一种基于场景几何约束的目标检测滑窗扫描方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103886583A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9940524B2 (en) | 2015-04-17 | 2018-04-10 | General Electric Company | Identifying and tracking vehicles in motion |
CN108108706A (zh) * | 2017-12-29 | 2018-06-01 | 北京华航无线电测量研究所 | 目标检测中滑动窗口的优化方法及*** |
US10043307B2 (en) | 2015-04-17 | 2018-08-07 | General Electric Company | Monitoring parking rule violations |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080164985A1 (en) * | 2007-01-10 | 2008-07-10 | Omron Corporation | Detection device, method and program thereof |
CN102609682A (zh) * | 2012-01-13 | 2012-07-25 | 北京邮电大学 | 一种针对感兴趣区域的反馈式行人检测方法 |
CN102646199A (zh) * | 2012-02-29 | 2012-08-22 | 湖北莲花山计算机视觉和信息科学研究院 | 复杂场景中的车型识别方法 |
CN103093214A (zh) * | 2013-02-01 | 2013-05-08 | 浙江捷尚视觉科技有限公司 | 一种基于车载红外相机的行人检测方法 |
CN103218604A (zh) * | 2013-04-03 | 2013-07-24 | 上海交通大学 | 交通场景中基于路面提取的行人检测方法 |
-
2014
- 2014-02-14 CN CN201410050851.7A patent/CN103886583A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080164985A1 (en) * | 2007-01-10 | 2008-07-10 | Omron Corporation | Detection device, method and program thereof |
CN102609682A (zh) * | 2012-01-13 | 2012-07-25 | 北京邮电大学 | 一种针对感兴趣区域的反馈式行人检测方法 |
CN102646199A (zh) * | 2012-02-29 | 2012-08-22 | 湖北莲花山计算机视觉和信息科学研究院 | 复杂场景中的车型识别方法 |
CN103093214A (zh) * | 2013-02-01 | 2013-05-08 | 浙江捷尚视觉科技有限公司 | 一种基于车载红外相机的行人检测方法 |
CN103218604A (zh) * | 2013-04-03 | 2013-07-24 | 上海交通大学 | 交通场景中基于路面提取的行人检测方法 |
Non-Patent Citations (5)
Title |
---|
DAVID GERÓNIMO 等: "2D-3D-based on-board pedestrian detection system", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 * |
MARKUS ENZWEILER 等: "Monocular Pedestrian Detection:Survey and Experiments", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
PATRICK SUDOWE 等: "Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video", 《COMPUTER VISION SYSTEMS》 * |
曾春 等: "基于感兴趣区梯度方向直方图的行人检测", 《计算机工程》 * |
贾慧星 等: "车辆辅助驾驶***中基于计算机视觉的行人检测研究综述", 《自动化学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9940524B2 (en) | 2015-04-17 | 2018-04-10 | General Electric Company | Identifying and tracking vehicles in motion |
US10043307B2 (en) | 2015-04-17 | 2018-08-07 | General Electric Company | Monitoring parking rule violations |
US10380430B2 (en) | 2015-04-17 | 2019-08-13 | Current Lighting Solutions, Llc | User interfaces for parking zone creation |
US10872241B2 (en) | 2015-04-17 | 2020-12-22 | Ubicquia Iq Llc | Determining overlap of a parking space by a vehicle |
US11328515B2 (en) | 2015-04-17 | 2022-05-10 | Ubicquia Iq Llc | Determining overlap of a parking space by a vehicle |
CN108108706A (zh) * | 2017-12-29 | 2018-06-01 | 北京华航无线电测量研究所 | 目标检测中滑动窗口的优化方法及*** |
CN108108706B (zh) * | 2017-12-29 | 2020-07-17 | 北京华航无线电测量研究所 | 目标检测中滑动窗口的优化方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12030502B2 (en) | Road vector fields | |
US11200433B2 (en) | Detection and classification systems and methods for autonomous vehicle navigation | |
US9489586B2 (en) | Traffic sign recognizing apparatus and operating method thereof | |
CN107272021B (zh) | 使用雷达和视觉定义的图像检测区域的对象检测 | |
CN104573646B (zh) | 基于激光雷达和双目相机的车前行人检测方法及*** | |
Zhao et al. | A novel multi-lane detection and tracking system | |
CN103488976B (zh) | 一种基于智能驾驶中停止线实时检测的距离测量的方法 | |
Hautière et al. | Real-time disparity contrast combination for onboard estimation of the visibility distance | |
WO2020163311A1 (en) | Systems and methods for vehicle navigation | |
ES2949030T3 (es) | Procedimiento y dispositivo para determinar la posición geográfica y orientación de un vehículo | |
US20160107689A1 (en) | Apparatus and method for driver assistance | |
WO2021069967A1 (en) | Systems and methods for vehicle navigation | |
CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
US20160232410A1 (en) | Vehicle speed detection | |
Fernández et al. | Free space and speed humps detection using lidar and vision for urban autonomous navigation | |
CN102222236A (zh) | 图像处理***及位置测量*** | |
CN107463890A (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
Chong et al. | Integrated real-time vision-based preceding vehicle detection in urban roads | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
US20190180121A1 (en) | Detection of Objects from Images of a Camera | |
CN104751119A (zh) | 基于信息融合的行人快速检测跟踪方法 | |
US10984264B2 (en) | Detection and validation of objects from sequential images of a camera | |
CN106127787A (zh) | 一种基于逆投影变换的相机标定方法 | |
US9734611B2 (en) | Around view system and operating method thereof | |
CN104504364A (zh) | 基于时空关联的停止线实时识别与测距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140625 |