CN109190523B - 一种基于视觉的车辆检测跟踪预警方法 - Google Patents

一种基于视觉的车辆检测跟踪预警方法 Download PDF

Info

Publication number
CN109190523B
CN109190523B CN201810940833.4A CN201810940833A CN109190523B CN 109190523 B CN109190523 B CN 109190523B CN 201810940833 A CN201810940833 A CN 201810940833A CN 109190523 B CN109190523 B CN 109190523B
Authority
CN
China
Prior art keywords
vehicle
area
region
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810940833.4A
Other languages
English (en)
Other versions
CN109190523A (zh
Inventor
肖进胜
申梦瑶
眭海刚
王文
雷俊锋
周永强
赵博强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810940833.4A priority Critical patent/CN109190523B/zh
Publication of CN109190523A publication Critical patent/CN109190523A/zh
Application granted granted Critical
Publication of CN109190523B publication Critical patent/CN109190523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出了一种基于视觉的车辆检测跟踪预警方法。采集图像并标定道路消失线,划分车辆检测区域并进行灰度化,根据采集图像的光照强度分类对车辆检测区域图像进行灰度拉伸;构建训练样本图像并进行人工标注为正样本图像以及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征以训练Adaboost级联分类器;将车辆检测区域划分为不同域,通过训练后Adaboost级联分类器用来检测车辆,根据光照强度进行车辆二次判别;当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。本发明降低了计算复杂度,提高了车辆检测准确率。

Description

一种基于视觉的车辆检测跟踪预警方法
技术领域
本发明涉及智能交通、汽车电子及视觉车辆检测跟踪碰撞预警方法,涉及 到一种基于视觉的车辆检测跟踪预警方法。
背景技术
随着汽车销量的不断增长,道路交通事故也在不断增加,2017年12月19 号国家***总局和交通运输部联合发布公告称虽然近年来我国道路交通事 故降幅明显,但依然高发,2016年共接到864.3万起交通事故报告,同比增加 65.9万起,与同期相比上升2.9%,共造成63093人死亡,226430人受伤,万车 死亡率高达2.14。2017年3月7日,交通运输部发布了《营运客车安全技术条 件》(JT/T 1094-2016),并于2017年4月1日开始实施,标准中提出:超过9米 以上的客车需具有前方碰撞预警和车道偏离预警等驾驶辅助功能。这表明国家开 始出台相应的法律法规来推动主动安全驾驶技术的落地,以此来降低交通事故的 发生率。
中国的辅助驾驶行业渗透率只有2%左右,且集中在高端车型,价格昂贵, 随着车辆数量的不断增加,研发高性价比的车辆碰撞预警***显得十分必要。
车辆检测是碰撞预警***中最为重要的模块之一。目前基于视觉的车辆检测 方法大致分为如下5类:第一类为基于模板的车辆检测方法,需要创建大量的模 板和参数,并且要实时的观测和更新模板,在实际使用过程中由于车辆的不同外 形、尺度以及行进过程中的形变所带来的外形差异造成了模板的无穷无尽,所以 基于模板的车辆检测对于移动场所并不合适。第二类为基于光流的方法,根据图 像序列的像素点灰度变化来实现车辆运动参数的获取,从而得到车辆的位置等信 息,该种方法只能检测动态车辆目标。第三类为基于特征的方法,利用车底阴影、 车辆轮廓、车辆边缘、车尾角点、车灯等,根据这些先验知识来检测车辆,该种 方法特征简单,检测率较低。第四类为传统的机器学习方法,该方法检测速度快、 准确率较高,但模型的泛化能力较差。第五类为基于深度学习的目标检测方法,该种方法识别能力强、准确率高,但是计算量大,对硬件的要求较高。
检测效果较好的车辆检测算法需要较大的计算资源,使得硬件的成本较高, 经优化后的车辆检测算法可以提高车辆的检测速度,降低对硬件的依赖,可以提 高车辆辅助***的性价比。
发明内容
为了解决上述技术问题,本发明提出了一种基于视觉的车辆检测跟踪预警方 法。该***通过车载摄像头实时采集图像,通过车辆检测算法得到前方车辆相对 本车的位置、距离、碰撞时间信息,当发生潜在危险时,进行提前预警。
本发明的技术方案为一种基于视觉的车辆检测跟踪预警方法,具体包括以下 步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域, 将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分 类对车辆检测区域图像进行灰度拉伸;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以 及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训 练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost 级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本 车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。
作为优选,步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原 点,建立坐标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线, 使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水 平线重合,选取以
Figure BDA0001769030050000021
为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区 域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)
Figure BDA0001769030050000022
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车 辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
Figure BDA0001769030050000031
Figure BDA0001769030050000032
Figure BDA0001769030050000033
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代 表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图 片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边 采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05h];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值, Rr(xrr,yrr)代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95h,h],m为天空左边采样区域的像素数量,n为右 边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为 正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
若为强光场景则
Figure BDA0001769030050000034
若为正常光照场景则
Figure BDA0001769030050000035
若为弱光场景则
Figure BDA0001769030050000036
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值;
作为优选,步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含 车辆的负样本图像,通过样本的积分图分别计算正负样本图像的haar特征值:
Figure BDA0001769030050000041
Figure BDA0001769030050000042
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像 的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征 值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特 征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k 的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个 像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置 记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的 十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算 法来训练Adaboost级联分类器;
作为优选,步骤3中所述将步骤1中车辆感兴趣区域划分为远域Rf,中间域 Rm和近域Rn,其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右 边区域Rnr,在每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:w∈[20,30],h∈[20,30];
中间域Rm:
Figure BDA0001769030050000043
近域Rn:
Figure BDA0001769030050000044
近域左边区域Rnl:
Figure BDA0001769030050000045
近域中间区域Rnm:
Figure BDA0001769030050000046
近域右边区域Rnr:
Figure BDA0001769030050000047
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域 的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入 到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正 常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用 于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取 车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直 线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和 车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ 为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直 线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否 为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度 值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200, 得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri; Ai的面积为Ai.area,Ri的面积为Ri.area,删除面积小于L个像素的轮廓,然后求 其面积之差Si=Ri.area-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计 算像素值为1的面积,记为Ti
当Ti<0.1Si时,将Mat_bright中尾灯轮廓Ai对应区域的像素置0得到筛选 后尾灯轮廓
Figure BDA0001769030050000066
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮 廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area, 右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的 水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的 长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr, 左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
Figure BDA0001769030050000061
Figure BDA0001769030050000062
Figure BDA0001769030050000063
αlr<200
Figure BDA0001769030050000064
若以上条件均满足则该区域为车辆区域,否则为非车辆区域;
作为优选,步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4 跟踪到车辆后,用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
Figure BDA0001769030050000065
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光 轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆 尾部到图像顶端的像素距离,f为摄像头的焦距,d1为摄像头到车头最前端的 水平距离,d2为摄像头到前方车辆尾部的水平距离,θv为车辆尾部下方进入摄 像头的光线与垂直方向的夹角;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β则提醒预警。
与现有技术相比,本发明具有如下优点:
本发明提出的车辆检测跟踪预警方法适合在全天候环境下运行,能适应日间、 夜间、雨天、雨天等场景;
本发明提出了一种依据道路灭点自动获取检测域的方法,并根据车辆空间分 布的特点,将检测域进行了多区域划分,极大地减少了车辆检测算法的计算量, 使得能用较少的计算资源得到较好的检测效果;
本发明结合haar特征、LBP特征、角点特征、平行直线特征、尾灯对特征 进行车辆检测,提高了车辆检测算法的准确率;
本发明依据碰撞时间和车道线进行预警,根据车道线进行预警提高了车辆预 警的准确性。
附图说明
图1:本发明的方法流程示意图;
图2:本发明的预警结果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对 本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解 释本发明,并不用于限定本发明。
下面结合图1至图2介绍本发明的实施方式,具体包括以下步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域, 将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分 类对车辆检测区域图像进行灰度拉伸;
步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原点,建立坐 标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线, 使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水 平线重合,选取以
Figure BDA0001769030050000071
为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区 域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j
Figure BDA0001769030050000081
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车 辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
Figure BDA0001769030050000082
Figure BDA0001769030050000083
Figure BDA0001769030050000084
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代 表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图 片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边 采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05h];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值,
Figure BDA0001769030050000085
代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95h,h],m为天空左边采样区域的像素数量,n为右 边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为 正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
若为强光场景则
Figure BDA0001769030050000086
若为正常光照场景则
Figure BDA0001769030050000087
若为弱光场景则
Figure BDA0001769030050000088
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以 及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训 练Adaboost级联分类器;
步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含 车辆的负样本图像,M1:M2=1:3,通过样本的积分图分别计算正负样本图像的haar 特征值:
Figure BDA0001769030050000091
Figure BDA0001769030050000092
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像 的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征 值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特 征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k 的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个 像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置 记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的 十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算 法来训练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost 级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤3中所述将步骤1中车辆感兴趣区域划分为远域Rf,中间域Rm和近域Rn, 其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右边区域Rnr,在 每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:w∈[20,30],h∈[20,30];
中间域Rm:
Figure BDA0001769030050000101
近域Rn:
Figure BDA0001769030050000102
近域左边区域Rnl:
Figure BDA0001769030050000103
近域中间区域Rnm:
Figure BDA0001769030050000104
近域右边区域Rnr:
Figure BDA0001769030050000105
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域 的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入 到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
步骤3中所述根据光照强度进行车辆二次判别为:
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正 常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用 于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取 车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直 线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和 车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ 为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直 线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否 为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度 值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200, 得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri; Ai的面积为Ai.area,Ri的面积为Riarea,删除面积小于L个像素的轮廓,然后求 其面积之差Si=Riarea-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计 算像素值为1的面积,记为Ti
当Ti<0.1Si时,将Mat_bright中尾灯轮廓Ai对应区域的像素置0得到筛选 后尾灯轮廓
Figure BDA0001769030050000111
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮 廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area, 右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的 水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的 长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr, 左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
Figure BDA0001769030050000112
Figure BDA0001769030050000113
Figure BDA0001769030050000114
αlr<200
Figure BDA0001769030050000115
若以上条件均满足则该区域为车辆区域,否则为非车辆区域;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本 车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。
步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4跟踪到车辆后, 用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
Figure BDA0001769030050000121
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光 轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆 尾部到图像顶端的像素距离,f为摄像头的焦距,d1为摄像头到车头最前端的 水平距离,d2为摄像头到前方车辆尾部的水平距离,θv为车辆尾部下方进入摄 像头的光线与垂直方向的夹角;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β,β=2.7s,则提醒预警。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是 对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不 脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发 明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于视觉的车辆检测跟踪预警方法,其特征在于,包括以下步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域,将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分类对车辆检测区域图像进行灰度拉伸;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警;
步骤3中所述将车辆检测区域划分为近域,中间域,远域,记远域为Rf,中间域为Rm,近域为Rn,其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右边区域Rnr,在每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:e∈[20,30],h∈[20,30];
中间域Rm:
Figure FDA0003032175340000011
近域Rn:
Figure FDA0003032175340000012
近域左边区域Rnl:
Figure FDA0003032175340000013
近域中间区域Rnm:
Figure FDA0003032175340000014
近域右边区域Rnr:
Figure FDA0003032175340000015
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200,得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri;Ai的面积为Ai.area,Ri的面积为Ri.area,删除面积小于L个像素的轮廓,然后求其面积之差Si=Ri.area-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计算像素值为1的面积,记为Ti
当Ti<0.1Si时,将Mat_bright中尾灯轮廓Ai对应区域的像素置0得到筛选后尾灯轮廓
Figure FDA0003032175340000021
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area,右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr,左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
Figure FDA0003032175340000031
Figure FDA0003032175340000032
Figure FDA0003032175340000033
αlr<200
Figure FDA0003032175340000034
若以上条件均满足则该区域为车辆区域,否则为非车辆区域。
2.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原点,建立坐标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线,使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水平线重合,选取以
Figure FDA0003032175340000035
为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)
Figure FDA0003032175340000036
j∈[y,y+H]
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
Figure FDA0003032175340000037
Figure FDA0003032175340000038
Figure FDA0003032175340000041
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05v];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值,Rr(xr,yr)代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95v,v],m为天空左边采样区域的像素数量,n为右边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
若为强光场景则
Figure FDA0003032175340000042
若为正常光照场景则
Figure FDA0003032175340000043
若为弱光场景则
Figure FDA0003032175340000044
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值。
3.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像,通过样本的积分图分别计算正负样本图像的haar特征值:
Figure FDA0003032175340000045
H(i)=A(x-1,y-1)+A(x+w-1,y+w-1)-A(x-1,y+h-1)-A(x+w-1,y-1)
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算法来训练Adaboost级联分类器。
4.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4跟踪到车辆后,用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
Figure FDA0003032175340000051
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆尾部到图像顶端的像素距离;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β则提醒预警。
CN201810940833.4A 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法 Active CN109190523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810940833.4A CN109190523B (zh) 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810940833.4A CN109190523B (zh) 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法

Publications (2)

Publication Number Publication Date
CN109190523A CN109190523A (zh) 2019-01-11
CN109190523B true CN109190523B (zh) 2021-06-04

Family

ID=64918282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810940833.4A Active CN109190523B (zh) 2018-08-17 2018-08-17 一种基于视觉的车辆检测跟踪预警方法

Country Status (1)

Country Link
CN (1) CN109190523B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887281B (zh) * 2019-03-01 2021-03-26 北京云星宇交通科技股份有限公司 一种监控交通事件的方法及***
CN109948582B (zh) * 2019-03-28 2021-03-02 湖南大学 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN110415561B (zh) * 2019-06-14 2021-07-02 青岛科技大学 一种非冲突会遇局面下船舶集群态势分析方法
WO2021101923A1 (en) 2019-11-18 2021-05-27 Boston Scientific Scimed, Inc. Systems and methods for processing electronic medical images to determine enhanced electronic medical images
CN111091061B (zh) * 2019-11-20 2022-02-15 浙江工业大学 一种基于视频分析的车辆刮蹭检测方法
CN111414857B (zh) * 2020-03-20 2023-04-18 辽宁工业大学 一种基于视觉的多特征融合的前方车辆检测方法
CN111422190B (zh) * 2020-04-03 2021-08-31 北京四维智联科技有限公司 一种后装车机的前向碰撞预警方法及***
CN111914627A (zh) * 2020-06-18 2020-11-10 广州杰赛科技股份有限公司 一种车辆识别与追踪方法及装置
CN111879360B (zh) * 2020-08-05 2021-04-23 吉林大学 一种黑暗场景中自动驾驶辅助安全预警***及其预警方法
CN112818736A (zh) * 2020-12-10 2021-05-18 西南交通大学 应急指挥大数据支撑平台
CN113643325B (zh) * 2021-06-02 2022-08-16 范加利 一种用于航母舰面舰载机碰撞警告的方法及***
CN114066968A (zh) * 2021-11-05 2022-02-18 郑州高识智能科技有限公司 一种基于视觉图像处理的车速测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
CN103455820A (zh) * 2013-07-09 2013-12-18 河海大学 基于机器视觉技术的车辆检测和跟踪方法及***
CN107704833A (zh) * 2017-10-13 2018-02-16 杭州电子科技大学 一种基于机器学习的前方车辆检测与跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
CN103455820A (zh) * 2013-07-09 2013-12-18 河海大学 基于机器视觉技术的车辆检测和跟踪方法及***
CN107704833A (zh) * 2017-10-13 2018-02-16 杭州电子科技大学 一种基于机器学习的前方车辆检测与跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vehicle detection combining gradient analysis and AdaBoost classification;A. Khammari 等;《2005 IEEE Intelligent Transportation Systems》;20050916;第66-71页 *
基于机器视觉的辅助驾驶***中预警***设计;毛河;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;I140-1236 *

Also Published As

Publication number Publication date
CN109190523A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
EP1671216B1 (en) Moving object detection using low illumination depth capable computer vision
CN110069986B (zh) 一种基于混合模型的交通信号灯识别方法及***
US9384401B2 (en) Method for fog detection
Siogkas et al. Traffic lights detection in adverse conditions using color, symmetry and spatiotemporal information
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警***及方法
CN109299674B (zh) 一种基于车灯的隧道违章变道检测方法
CN107891808B (zh) 行车提醒方法、装置及车辆
CN103984950B (zh) 一种适应白天检测的运动车辆刹车灯状态识别方法
CN107886034B (zh) 行车提醒方法、装置及车辆
KR101240499B1 (ko) 실시간 차선 인식 및 차량 검출 장치 및 방법
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN102509098A (zh) 一种鱼眼图像车辆识别方法
Fernández et al. Real-time vision-based blind spot warning system: Experiments with motorcycles in daytime/nighttime conditions
Andreone et al. Vehicle detection and localization in infra-red images
Siogkas et al. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection
Lin et al. Adaptive IPM-based lane filtering for night forward vehicle detection
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN103927548A (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN111783666A (zh) 一种基于连续视频帧角点特征匹配的快速车道线检测方法
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN111414857B (zh) 一种基于视觉的多特征融合的前方车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant