CN109190523A - 一种基于视觉的车辆检测跟踪预警方法 - Google Patents

一种基于视觉的车辆检测跟踪预警方法 Download PDF

Info

Publication number
CN109190523A
CN109190523A CN201810940833.4A CN201810940833A CN109190523A CN 109190523 A CN109190523 A CN 109190523A CN 201810940833 A CN201810940833 A CN 201810940833A CN 109190523 A CN109190523 A CN 109190523A
Authority
CN
China
Prior art keywords
vehicle
area
region
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810940833.4A
Other languages
English (en)
Other versions
CN109190523B (zh
Inventor
肖进胜
申梦瑶
眭海刚
王文
雷俊锋
周永强
赵博强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810940833.4A priority Critical patent/CN109190523B/zh
Publication of CN109190523A publication Critical patent/CN109190523A/zh
Application granted granted Critical
Publication of CN109190523B publication Critical patent/CN109190523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于视觉的车辆检测跟踪预警方法。采集图像并标定道路消失线,划分车辆检测区域并进行灰度化,根据采集图像的光照强度分类对车辆检测区域图像进行灰度拉伸;构建训练样本图像并进行人工标注为正样本图像以及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征以训练Adaboost级联分类器;将车辆检测区域划分为不同域,通过训练后Adaboost级联分类器用来检测车辆,根据光照强度进行车辆二次判别;当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。本发明降低了计算复杂度,提高了车辆检测准确率。

Description

一种基于视觉的车辆检测跟踪预警方法
技术领域
本发明涉及智能交通、汽车电子及视觉车辆检测跟踪碰撞预警方法,涉及 到一种基于视觉的车辆检测跟踪预警方法。
背景技术
随着汽车销量的不断增长,道路交通事故也在不断增加,2017年12月19 号国家***总局和交通运输部联合发布公告称虽然近年来我国道路交通事 故降幅明显,但依然高发,2016年共接到864.3万起交通事故报告,同比增加 65.9万起,与同期相比上升2.9%,共造成63093人死亡,226430人受伤,万车 死亡率高达2.14。2017年3月7日,交通运输部发布了《营运客车安全技术条 件》(JT/T 1094-2016),并于2017年4月1日开始实施,标准中提出:超过9米 以上的客车需具有前方碰撞预警和车道偏离预警等驾驶辅助功能。这表明国家开 始出台相应的法律法规来推动主动安全驾驶技术的落地,以此来降低交通事故的 发生率。
中国的辅助驾驶行业渗透率只有2%左右,且集中在高端车型,价格昂贵, 随着车辆数量的不断增加,研发高性价比的车辆碰撞预警***显得十分必要。
车辆检测是碰撞预警***中最为重要的模块之一。目前基于视觉的车辆检测 方法大致分为如下5类:第一类为基于模板的车辆检测方法,需要创建大量的模 板和参数,并且要实时的观测和更新模板,在实际使用过程中由于车辆的不同外 形、尺度以及行进过程中的形变所带来的外形差异造成了模板的无穷无尽,所以 基于模板的车辆检测对于移动场所并不合适。第二类为基于光流的方法,根据图 像序列的像素点灰度变化来实现车辆运动参数的获取,从而得到车辆的位置等信 息,该种方法只能检测动态车辆目标。第三类为基于特征的方法,利用车底阴影、 车辆轮廓、车辆边缘、车尾角点、车灯等,根据这些先验知识来检测车辆,该种 方法特征简单,检测率较低。第四类为传统的机器学习方法,该方法检测速度快、 准确率较高,但模型的泛化能力较差。第五类为基于深度学习的目标检测方法,该种方法识别能力强、准确率高,但是计算量大,对硬件的要求较高。
检测效果较好的车辆检测算法需要较大的计算资源,使得硬件的成本较高, 经优化后的车辆检测算法可以提高车辆的检测速度,降低对硬件的依赖,可以提 高车辆辅助***的性价比。
发明内容
为了解决上述技术问题,本发明提出了一种基于视觉的车辆检测跟踪预警方 法。该***通过车载摄像头实时采集图像,通过车辆检测算法得到前方车辆相对 本车的位置、距离、碰撞时间信息,当发生潜在危险时,进行提前预警。
本发明的技术方案为一种基于视觉的车辆检测跟踪预警方法,具体包括以下 步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域, 将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分 类对车辆检测区域图像进行灰度拉伸;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以 及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训 练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost 级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本 车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。
作为优选,步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原 点,建立坐标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线, 使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水 平线重合,选取以为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区 域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车 辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代 表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图 片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边 采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05h];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值, Rr(xrr,yrr)代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95h,h],m为天空左边采样区域的像素数量,n为右 边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为 正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
若为强光场景则
若为正常光照场景则
若为弱光场景则
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值;
作为优选,步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含 车辆的负样本图像,通过样本的积分图分别计算正负样本图像的haar特征值:
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像 的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征 值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特 征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k 的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个 像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置 记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的 十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算 法来训练Adaboost级联分类器;
作为优选,步骤3中所述将步骤1中车辆感兴趣区域划分为远域Rf,中间域 Rm和近域Rn,其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右 边区域Rnr,在每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:w∈[20,30],h∈[20,30];
中间域Rm:
近域Rn:
近域左边区域Rnl:
近域中间区域Rnm:
近域右边区域Rnr:
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域 的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入 到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正 常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用 于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取 车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直 线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和 车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ 为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直 线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否 为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度 值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200, 得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri; Ai的面积为Ai.area,Ri的面积为Ri.area,删除面积小于L个像素的轮廓,然后求 其面积之差Si=Ri.area-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计 算像素值为1的面积,记为Ti
当Ti<0.1Si时,将Mat_bright中尾灯轮廓Ai对应区域的像素置0得到筛选 后尾灯轮廓
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮 廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area, 右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的 水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的 长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr, 左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
αlr<200
若以上条件均满足则该区域为车辆区域,否则为非车辆区域;
作为优选,步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4 跟踪到车辆后,用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光 轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆 尾部到图像顶端的像素距离,f为摄像头的焦距,d1为摄像头到车头最前端的 水平距离,d2为摄像头到前方车辆尾部的水平距离,θv为车辆尾部下方进入摄 像头的光线与垂直方向的夹角;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β则提醒预警。
与现有技术相比,本发明具有如下优点:
本发明提出的车辆检测跟踪预警方法适合在全天候环境下运行,能适应日间、 夜间、雨天、雨天等场景;
本发明提出了一种依据道路灭点自动获取检测域的方法,并根据车辆空间分 布的特点,将检测域进行了多区域划分,极大地减少了车辆检测算法的计算量, 使得能用较少的计算资源得到较好的检测效果;
本发明结合haar特征、LBP特征、角点特征、平行直线特征、尾灯对特征 进行车辆检测,提高了车辆检测算法的准确率;
本发明依据碰撞时间和车道线进行预警,根据车道线进行预警提高了车辆预 警的准确性。
附图说明
图1:本发明的方法流程示意图;
图2:本发明的预警结果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对 本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解 释本发明,并不用于限定本发明。
下面结合图1至图2介绍本发明的实施方式,具体包括以下步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域, 将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分 类对车辆检测区域图像进行灰度拉伸;
步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原点,建立坐 标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线, 使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水 平线重合,选取以为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区 域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车 辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代 表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图 片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边 采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05h];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值, 代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95h,h],m为天空左边采样区域的像素数量,n为右 边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为 正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
若为强光场景则
若为正常光照场景则
若为弱光场景则
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以 及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训 练Adaboost级联分类器;
步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含 车辆的负样本图像,M1:M2=1:3,通过样本的积分图分别计算正负样本图像的haar 特征值:
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像 的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征 值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特 征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k 的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个 像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置 记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的 十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算 法来训练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost 级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤3中所述将步骤1中车辆感兴趣区域划分为远域Rf,中间域Rm和近域Rn, 其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右边区域Rnr,在 每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:w∈[20,30],h∈[20,30];
中间域Rm:
近域Rn:
近域左边区域Rnl:
近域中间区域Rnm:
近域右边区域Rnr:
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域 的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入 到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
步骤3中所述根据光照强度进行车辆二次判别为:
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正 常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用 于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取 车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直 线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和 车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ 为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直 线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否 为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度 值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200, 得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri; Ai的面积为Ai.area,Ri的面积为Riarea,删除面积小于L个像素的轮廓,然后求 其面积之差Si=Riarea-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计 算像素值为1的面积,记为Ti
当Ti<0.1Si时,将Mat_bright中尾灯轮廓Ai对应区域的像素置0得到筛选 后尾灯轮廓
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮 廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area, 右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的 水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的 长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr, 左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
αlr<200
若以上条件均满足则该区域为车辆区域,否则为非车辆区域;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本 车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。
步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4跟踪到车辆后, 用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光 轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆 尾部到图像顶端的像素距离,f为摄像头的焦距,d1为摄像头到车头最前端的 水平距离,d2为摄像头到前方车辆尾部的水平距离,θv为车辆尾部下方进入摄 像头的光线与垂直方向的夹角;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β,β=2.7s,则提醒预警。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是 对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不 脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发 明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于视觉的车辆检测跟踪预警方法,其特征在于,包括以下步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域,将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分类对车辆检测区域图像进行灰度拉伸;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。
2.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原点,建立坐标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线,使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水平线重合,选取以为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05h];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值,代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95h,h],m为天空左边采样区域的像素数量,n为右边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
若为强光场景则
若为正常光照场景则
若为弱光场景则
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值。
3.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像,通过样本的积分图分别计算正负样本图像的haar特征值:
H(i)=A(x-1,y-1)+A(x+w-1,y+w-1)-A(x-1,y+h-1)-A(x+w-1,y-1)
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算法来训练Adaboost级联分类器。
4.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤3中所述将步骤1中车辆感兴趣区域划分为远域Rf,中间域Rm和近域Rn,其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右边区域Rnr,在每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:w∈[20,30],h∈[20,30];
中间域Rm:
近域Rn:
近域左边区域Rnl:
近域中间区域Rnm:
近域右边区域Rnr:
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200,得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri;Ai的面积为Ai.area,Ri的面积为Ri.area,删除面积小于L个像素的轮廓,然后求其面积之差Si=Ri.area-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计算像素值为1的面积,记为Ti
当Ti<0.1Si时,将Mat_bright中尾灯轮廓Ai对应区域的像素置0得到筛选后尾灯轮廓
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area,右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr,左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
αlr<20°;
若以上条件均满足则该区域为车辆区域,否则为非车辆区域。
5.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4跟踪到车辆后,用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆尾部到图像顶端的像素距离,f为摄像头的焦距,d1为摄像头到车头最前端的水平距离,d2为摄像头到前方车辆尾部的水平距离,θv为车辆尾部下方进入摄像头的光线与垂直方向的夹角;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β则提醒预警。
CN201810940833.4A 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法 Active CN109190523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810940833.4A CN109190523B (zh) 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810940833.4A CN109190523B (zh) 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法

Publications (2)

Publication Number Publication Date
CN109190523A true CN109190523A (zh) 2019-01-11
CN109190523B CN109190523B (zh) 2021-06-04

Family

ID=64918282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810940833.4A Active CN109190523B (zh) 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法

Country Status (1)

Country Link
CN (1) CN109190523B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887281A (zh) * 2019-03-01 2019-06-14 北京云星宇交通科技股份有限公司 一种监控交通事件的方法及***
CN109948582A (zh) * 2019-03-28 2019-06-28 湖南大学 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN110415561A (zh) * 2019-06-14 2019-11-05 青岛科技大学 一种非冲突会遇局面下船舶集群态势分析方法
CN111091061A (zh) * 2019-11-20 2020-05-01 浙江工业大学 一种基于视频分析的车辆刮蹭检测方法
CN111414857A (zh) * 2020-03-20 2020-07-14 辽宁工业大学 一种基于视觉的多特征融合的前方车辆检测方法
CN111879360A (zh) * 2020-08-05 2020-11-03 吉林大学 一种黑暗场景中自动驾驶辅助安全预警***及其预警方法
CN111914627A (zh) * 2020-06-18 2020-11-10 广州杰赛科技股份有限公司 一种车辆识别与追踪方法及装置
CN112818736A (zh) * 2020-12-10 2021-05-18 西南交通大学 应急指挥大数据支撑平台
WO2021101923A1 (en) * 2019-11-18 2021-05-27 Boston Scientific Scimed, Inc. Systems and methods for processing electronic medical images to determine enhanced electronic medical images
CN111422190B (zh) * 2020-04-03 2021-08-31 北京四维智联科技有限公司 一种后装车机的前向碰撞预警方法及***
CN113643325A (zh) * 2021-06-02 2021-11-12 范加利 一种用于航母舰面舰载机碰撞警告的方法及***
CN114066968A (zh) * 2021-11-05 2022-02-18 郑州高识智能科技有限公司 一种基于视觉图像处理的车速测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
CN103455820A (zh) * 2013-07-09 2013-12-18 河海大学 基于机器视觉技术的车辆检测和跟踪方法及***
CN107704833A (zh) * 2017-10-13 2018-02-16 杭州电子科技大学 一种基于机器学习的前方车辆检测与跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
CN103455820A (zh) * 2013-07-09 2013-12-18 河海大学 基于机器视觉技术的车辆检测和跟踪方法及***
CN107704833A (zh) * 2017-10-13 2018-02-16 杭州电子科技大学 一种基于机器学习的前方车辆检测与跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. KHAMMARI 等: "Vehicle detection combining gradient analysis and AdaBoost classification", 《2005 IEEE INTELLIGENT TRANSPORTATION SYSTEMS》 *
毛河: "基于机器视觉的辅助驾驶***中预警***设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887281A (zh) * 2019-03-01 2019-06-14 北京云星宇交通科技股份有限公司 一种监控交通事件的方法及***
CN109948582A (zh) * 2019-03-28 2019-06-28 湖南大学 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN109948582B (zh) * 2019-03-28 2021-03-02 湖南大学 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN110415561A (zh) * 2019-06-14 2019-11-05 青岛科技大学 一种非冲突会遇局面下船舶集群态势分析方法
US11501433B2 (en) 2019-11-18 2022-11-15 Boston Scientific Scimed, Inc. Systems and methods for processing electronic medical images to determine enhanced electronic medical images
US11776122B2 (en) 2019-11-18 2023-10-03 Boston Scientific Scimed, Inc. Systems and methods for processing electronic medical images to determine enhanced electronic medical images
WO2021101923A1 (en) * 2019-11-18 2021-05-27 Boston Scientific Scimed, Inc. Systems and methods for processing electronic medical images to determine enhanced electronic medical images
CN111091061A (zh) * 2019-11-20 2020-05-01 浙江工业大学 一种基于视频分析的车辆刮蹭检测方法
CN111414857A (zh) * 2020-03-20 2020-07-14 辽宁工业大学 一种基于视觉的多特征融合的前方车辆检测方法
CN111414857B (zh) * 2020-03-20 2023-04-18 辽宁工业大学 一种基于视觉的多特征融合的前方车辆检测方法
CN111422190B (zh) * 2020-04-03 2021-08-31 北京四维智联科技有限公司 一种后装车机的前向碰撞预警方法及***
CN111914627A (zh) * 2020-06-18 2020-11-10 广州杰赛科技股份有限公司 一种车辆识别与追踪方法及装置
CN111879360B (zh) * 2020-08-05 2021-04-23 吉林大学 一种黑暗场景中自动驾驶辅助安全预警***及其预警方法
CN111879360A (zh) * 2020-08-05 2020-11-03 吉林大学 一种黑暗场景中自动驾驶辅助安全预警***及其预警方法
CN112818736A (zh) * 2020-12-10 2021-05-18 西南交通大学 应急指挥大数据支撑平台
CN113643325A (zh) * 2021-06-02 2021-11-12 范加利 一种用于航母舰面舰载机碰撞警告的方法及***
CN114066968A (zh) * 2021-11-05 2022-02-18 郑州高识智能科技有限公司 一种基于视觉图像处理的车速测量方法

Also Published As

Publication number Publication date
CN109190523B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109190523A (zh) 一种基于视觉的车辆检测跟踪预警方法
Siogkas et al. Traffic lights detection in adverse conditions using color, symmetry and spatiotemporal information
EP1671216B1 (en) Moving object detection using low illumination depth capable computer vision
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警***及方法
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
CN109299674B (zh) 一种基于车灯的隧道违章变道检测方法
CN105654073B (zh) 一种基于视觉检测的速度自动控制方法
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
CN106541968B (zh) 基于视觉分析的地铁车厢实时提示***的识别方法
CN107886034B (zh) 行车提醒方法、装置及车辆
JP6723328B2 (ja) 車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステム
CN107316486A (zh) 基于双摄像头的无人驾驶汽车视觉识别***
CN103020948A (zh) 智能车载防撞预警***中的夜间图像特征提取方法
CN107891808A (zh) 行车提醒方法、装置及车辆
CN106679633A (zh) 一种车载测距***及方法
CN103927548A (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN111783666A (zh) 一种基于连续视频帧角点特征匹配的快速车道线检测方法
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN107292260A (zh) 基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
CN115240471A (zh) 一种基于图像采集的智慧厂区避撞预警方法和***
Alami et al. Local fog detection based on saturation and RGB-correlation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant