CN108615242B - 一种高速护栏跟踪方法 - Google Patents
一种高速护栏跟踪方法 Download PDFInfo
- Publication number
- CN108615242B CN108615242B CN201810420757.4A CN201810420757A CN108615242B CN 108615242 B CN108615242 B CN 108615242B CN 201810420757 A CN201810420757 A CN 201810420757A CN 108615242 B CN108615242 B CN 108615242B
- Authority
- CN
- China
- Prior art keywords
- guardrail
- image
- tracking
- equation
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种高速护栏跟踪方法,属于无人驾驶中道路环境感知领域,用于在高速路环境中建立护栏模型并对护栏进行跟踪,包括:首先采用摄像机获取道路图像,其次对采集的图像预处理,并对图像进行逆透视变换,然后对于预处理后的图像数据,采用一种可操纵滤波器的方法,建立图像中的护栏模型,并用迭代加权最小二乘法去除干扰线段拟合护栏,从而获得护栏相关参数,随后采用卡尔曼滤波跟踪护栏模型,得到护栏位置、斜率以及曲率的最优估计值,最终实现对高速护栏的跟踪。上述高速护栏跟踪方法可以仅利用摄像机精确稳定地实现高速护栏的跟踪。
Description
技术领域
本发明属于无人驾驶中道路环境感知领域,具体涉及一种高速护栏跟踪方法。
背景技术
随着社会和经济技术的发展,交通道路上的车辆越来越多,道路环境也越来越复杂,随之而来的交通事故也频繁发生,为了减少此类情况的发生,智能交通应运而生,而在智能交通中,智能车是智能交通中关键的一部分,智能车的出现帮助驾驶员驾驶,使得交通事故发生的频率得以减少。
智能车主动安全研究是智能交通研究中重要一环,而智能车防碰撞***就是为解决智能车主动安全设计的,智能车行驶在高速路上时,护栏检测与跟踪对于区分潜在的碰撞威胁有很重要的作用,并且由于护栏限制了道路的边界,提供了车道的变化信息,这些对于车辆的路径规划和局部感知都能提供更丰富的信息;另外,对于更加复杂的高速环境,可以利用护栏的位置来确定的车辆最大行驶横向区域来更好的行驶在本车道内,从而降低了交通事故的发生率。因此高速护栏的检测和跟踪在智能车研究上,特别是高速道路的安全中具有重要的意义。
现有护栏检测技术主要有两种,一是采用摄像头图像处理的方法采集护栏,单一图像对于护栏检测具有;二是根据激光点云采集护栏的特征点,但是,激光点云数据既包括有用的护栏信息,也包括与护栏有交叠部分的植被、树木或阴影等不易去除,导致目前护栏的检测准确度较低。
发明内容
有鉴于此,本发明的目的在于提供一种基于卡尔曼滤波的护栏跟踪方法,以实现高速护栏检测与跟踪在环境感知中的应用,区分智能车在高速路上行驶时潜在的碰撞威胁,提高护栏的跟踪精度、稳定性及鲁棒性,并能实时的跟踪护栏。
为达到上述目的,本发明提供如下技术方案:
一种高速护栏跟踪方法,包括以下步骤:
S1:获取道路图像数据,所述道路图像数据包含高速道路和护栏的图像;
S2:对采集的图像进行预处理,并对图像进行逆透视变换;
S3:对于预处理后的图像数据,采用可操纵滤波器建立图像中的护栏模型;
S4:采用迭代加权最小二乘法去除干扰线段拟合护栏,获得护栏相关参数用于护栏跟踪;
S5:采用卡尔曼滤波跟踪护栏模型,对高速护栏进行跟踪。
进一步,在步骤S1中,采用摄像机获取道路图像数据,摄像机位置为固定视频采集,并安装在智能汽车的车顶中间位置,安装位置距离地面1-1.5米,摄像广角大于110度,分辨率大于640*480,以每秒钟30帧的速率采集车辆前方的图像。
进一步,在步骤S2中,对图像的预处理包括:
S21:将图像灰度化,采用以下公式将RGB图像转化为灰度图像:
Gray=0.3R+0.59G+0.11B (1)
S22:对图像采取形态学梯度操作,将团块的边缘突出出来;
所述逆透视变换包括将图像经过一系列旋转和平移转换,整体变换公式如下:
其中R,T分别为数据由世界坐标系转为摄像机坐标系的旋转和平移矩阵,F为相机焦距,和表示:x方向和y方向的每单位长度包含的像素个数;u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
进一步,在步骤S3中所述的采用可操纵滤波器建立护栏模型包括:
S32:利用霍夫变换求解图像中的斜率tanθ;
进一步,在步骤S5中,使用卡尔曼滤波跟踪护栏的位置、护栏宽度和护栏曲率与斜率参数,***的线性动态模型公式如下:
gk=Agk-1+Buk-1+sk-1 (7)
yk=Hgk+ok (8)
Pk=APk-1AT+Q (9)
Kk=PkHT(HPkHT+R)-1 (10)
其中:
Buk-1=[0 ΦΔt 0 0]T (16)
公式(7)表示卡尔曼滤波方程中的状态变量gk,其使用护栏位置、斜率、曲率来估计护栏下一时刻的状态,其中Buk-1为智能车的车轮转向角;
公式(8)表示卡尔曼滤波方程中的观测变量yk,其用护栏内的横向距离、护栏宽度和斜率的观测值来对***状态变量进行校正;
公式(9)为卡尔曼滤波方程中的误差协方差Pk;
进一步,在步骤S1中,采用的摄像机为微光相机或者光学相机。
本发明的有益效果在于:
1、本发明采用摄像头采集图像数据用于高速护栏的跟踪与检测,如此减少了实施成本,避免了运用激光雷达时对庞大数据的处理。
2、相比于现有的其他护栏检测的方法,本发明采用结合可操纵滤波器和迭代加权最小二乘法的方法能更加准确、稳定地检测护栏。
3、本发明利用卡尔曼滤波对高速护栏实现跟踪,以估计下一时刻护栏的位置、斜率、曲率等信息,区分智能车在高速路上行驶时潜在的碰撞威胁,提高护栏的跟踪精度、稳定性及鲁棒性,并能实时的跟踪护栏。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明实施例所述高速护栏跟踪方法的主流程图;
图2为发明实施例所述的摄像头安装位置图;
图3为发明实施例所述的应用卡尔曼滤波器跟踪护栏模型流程图;
图4为发明实施例所述的护栏模型图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
本实施例选用微光摄像机或者光学作为图像数据采集传感器,在VS2013环境中编写算法以实现一种基于卡尔曼滤波的高速护栏跟踪方法。
具体实施方式如图1所示,包括以下步骤:
101,采用摄像机获取道路图像,所述道路图像数据包含高速道路和护栏的图像。
102:对采集的图像预处理,并对图像进行逆透视变换。
103:对于预处理后的图像数据,采用一种可操纵滤波器的方法,提取图像中的护栏模型。
104:采用迭代加权最小二乘法去除干扰线段拟合护栏,从而获得护栏相关参数用于护栏跟踪。
105:采用卡尔曼滤波跟踪护栏模型,最终完成对高速护栏进行跟踪的结果。
所述步骤101摄像机位置如图2所示,应为固定视频采集,并安装在智能汽车的车顶中间位置,其位置距离地面1-1.5米,摄像广角大于110度,分辨率大于640*480,以每秒钟30帧的速率采集车辆前方的图像。
所述步骤102图像预处理包括:
(1)将图像灰度化,采用如下公式将RGB图像转化为灰度图像
Gray=0.3R+0.59G+0.11B (1)
(2)对图像采取形态学梯度操作,对二值图像进行这一操作可以将团块的边缘突出出来,从而保留了车道线、护栏等边缘信息,也一定程度上去除了噪声。
所述步骤102的逆透视变换就是将图像经过一系列旋转和平移转换得到,整体变换公式如下
其中:R,T分别为数据由世界坐标系转为摄像机坐标系的旋转和平移矩阵,F为相机焦距,和表示:x方向和y方向的每单位长度包含多少像素个数(可是小数);u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
所述步骤103采用可操纵滤波器,建立护栏模型,如图4所示包括:
b.利用霍夫变换求解图像中的斜率tanθ。对于预处理和逆透视变换后的图像,在opencv2.4.6的环境下,在设置感兴趣区域的条件下对图像采取霍夫变换,从而求得护栏的参数:斜率tanθ。
如图3所示,所述步骤105的使用卡尔曼滤波跟踪护栏的位置、护栏宽度和护栏曲率与斜率参数。***的线性动态模型如公式如下:
gk=Agk-1+Buk-1+sk-1 (7)
yk=Hgk+ok (8)
Pk=APk-1AT+Q (9)
Kk=PkHT(HPkHT+R)-1 (10)
其中:
Buk-1=[0 ΦΔt 0 0]T (16)
上式中,tanθ为护栏的斜率,φ为护栏内的横向距离,为曲率,此三项都从求解出的护栏模型中得出。W为护栏宽度,为经验测试得到。v为车速,Φ为智能车车轮的转向角,此两项都可观测得到。sk-1状态噪声,ok为观测噪声,Q为状态噪声协方差,R为观测噪声协方差。
公式(7)表示卡尔曼滤波方程中的状态变量gk,其使用护栏位置、斜率、曲率来估计护栏下一时刻的状态,其中Buk-1为***的输入,这里用智能车的车轮转向角来作为输入。公式(8)表示卡尔曼滤波方程中的观测变量yk,其用护栏内的横向距离、护栏宽度和斜率的观测值来对***状态变量进行校正。公式(9)为卡尔曼滤波方程中的误差协方差Pk。公式(10)表示卡尔曼滤波方程中的卡尔曼增益Kk,其用作护栏状态值和护栏观测值之间的权重,从而构成护栏位置、斜率、曲率的最优估计值即公式(11)。公式(12)表示卡尔曼滤波方程中的误差协方差更新值其为下一时刻估计护栏位置等参数准备。
卡尔曼滤波器利用状态方程(7)与观测方程(8)对护栏位置、护栏宽度和护栏斜率进行估计。状态噪声协方差Q和观测噪声协方差R由经验测试决定,将控制输入添加到卡尔曼方程(7)中,通过观测方程(8)来确定使用卡尔曼增益Kk即加权值,从而经卡尔曼方程(11)校正得到护栏的最优估计值可以有效地对下一时刻护栏位置、护栏的斜率、曲率进行跟踪。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (6)
1.一种高速护栏跟踪方法,其特征在于:包括以下步骤:
S1:获取道路图像数据,所述道路图像数据包含高速道路和护栏的图像;
S2:对采集的图像进行预处理,并对图像进行逆透视变换;
S3:对于预处理后的图像数据,采用可操纵滤波器建立图像中的护栏模型,所述可操纵滤波器能够分离且能够定位各种车道标记取向;
S4:采用迭代加权最小二乘法去除干扰线段拟合护栏,获得护栏相关参数用于护栏跟踪;
S5:采用卡尔曼滤波跟踪护栏模型,对高速护栏进行跟踪。
3.根据权利要求2所述的高速护栏跟踪方法,其特征在于:在步骤S3中所述的采用可操纵滤波器建立护栏模型包括:
S32:利用霍夫变换求解图像中的斜率tanθ;
4.根据权利要求3所述的高速护栏跟踪方法,其特征在于:在步骤S5中,使用卡尔曼滤波跟踪护栏的位置、护栏宽度和护栏曲率与斜率参数,***的线性动态模型公式如下:
gk=Agk-1+Buk-1+sk-1 (7)
yk=Hgk+ok (8)
Pk=APk-1AT+Q (9)
Kk=PkHT(HPkHT+R)-1 (10)
其中:
Buk-1=[0 ΦΔt 0 0]T (16)
公式(7)表示卡尔曼滤波方程中的状态变量gk,其使用护栏位置、斜率、曲率来估计护栏下一时刻的状态,其中Buk-1为智能车的车轮转向角;
公式(8)表示卡尔曼滤波方程中的观测变量yk,其用护栏内的横向距离、护栏宽度和斜率的观测值来对***状态变量进行校正;
公式(9)为卡尔曼滤波方程中的误差协方差Pk;
5.根据权利要求4所述的高速护栏跟踪方法,其特征在于:在步骤S1中,采用的摄像机为微光相机或者光学相机。
6.根据权利要求5所述的高速护栏跟踪方法,其特征在于:在步骤S1中,采用摄像机获取道路图像数据,摄像机位置为固定视频采集,并安装在智能汽车的车顶中间位置,安装位置距离地面1-1.5米,摄像广角大于110度,分辨率大于640*480,以每秒钟30帧的速率采集车辆前方的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810420757.4A CN108615242B (zh) | 2018-05-04 | 2018-05-04 | 一种高速护栏跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810420757.4A CN108615242B (zh) | 2018-05-04 | 2018-05-04 | 一种高速护栏跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108615242A CN108615242A (zh) | 2018-10-02 |
CN108615242B true CN108615242B (zh) | 2021-07-27 |
Family
ID=63662056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810420757.4A Active CN108615242B (zh) | 2018-05-04 | 2018-05-04 | 一种高速护栏跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108615242B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110021167A (zh) * | 2019-04-09 | 2019-07-16 | 杭州路灵信息技术有限公司 | 一种高速公路云巡查***及数据处理方法 |
CN111241900B (zh) * | 2019-04-12 | 2021-02-05 | 宁夏爱特云翔信息技术有限公司 | 交通环境现场维护方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5807287A (en) * | 1996-08-01 | 1998-09-15 | Cheng; Tzu-Keng | Massaging apparatus with audio signal control |
CN103699899A (zh) * | 2013-12-23 | 2014-04-02 | 北京理工大学 | 基于等距曲线模型的车道线检测方法 |
CN104008645A (zh) * | 2014-06-12 | 2014-08-27 | 湖南大学 | 一种适用于城市道路车道线预测及预警方法 |
CN105760812A (zh) * | 2016-01-15 | 2016-07-13 | 北京工业大学 | 一种基于Hough变换的车道线检测方法 |
CN106056100A (zh) * | 2016-06-28 | 2016-10-26 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
CN106778668A (zh) * | 2016-12-30 | 2017-05-31 | 明见(厦门)技术有限公司 | 一种联合ransac和cnn的鲁棒的车道线检测方法 |
CN106780524A (zh) * | 2016-11-11 | 2017-05-31 | 厦门大学 | 一种三维点云道路边界自动提取方法 |
CN107330906A (zh) * | 2017-06-28 | 2017-11-07 | 江南大学 | 基于曲线拟合的改进细化算法 |
-
2018
- 2018-05-04 CN CN201810420757.4A patent/CN108615242B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5807287A (en) * | 1996-08-01 | 1998-09-15 | Cheng; Tzu-Keng | Massaging apparatus with audio signal control |
CN103699899A (zh) * | 2013-12-23 | 2014-04-02 | 北京理工大学 | 基于等距曲线模型的车道线检测方法 |
CN104008645A (zh) * | 2014-06-12 | 2014-08-27 | 湖南大学 | 一种适用于城市道路车道线预测及预警方法 |
CN105760812A (zh) * | 2016-01-15 | 2016-07-13 | 北京工业大学 | 一种基于Hough变换的车道线检测方法 |
CN106056100A (zh) * | 2016-06-28 | 2016-10-26 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
CN106780524A (zh) * | 2016-11-11 | 2017-05-31 | 厦门大学 | 一种三维点云道路边界自动提取方法 |
CN106778668A (zh) * | 2016-12-30 | 2017-05-31 | 明见(厦门)技术有限公司 | 一种联合ransac和cnn的鲁棒的车道线检测方法 |
CN107330906A (zh) * | 2017-06-28 | 2017-11-07 | 江南大学 | 基于曲线拟合的改进细化算法 |
Also Published As
Publication number | Publication date |
---|---|
CN108615242A (zh) | 2018-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kang et al. | Pothole detection system using 2D LiDAR and camera | |
Assidiq et al. | Real time lane detection for autonomous vehicles | |
CN106529493B (zh) | 一种基于透视图的鲁棒性多车道线检测方法 | |
EP1796043B1 (en) | Object detection | |
CN105718872B (zh) | 两侧车道快速定位及检测车辆偏转角度的辅助方法及*** | |
CN108398672B (zh) | 基于前倾2d激光雷达移动扫描的路面与障碍检测方法 | |
WO2020158219A1 (en) | Pothole detection system | |
Zhang et al. | Robust inverse perspective mapping based on vanishing point | |
CN111369541A (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
Berg et al. | Detecting rails and obstacles using a train-mounted thermal camera | |
DE102016104732A1 (de) | Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug | |
Fernández et al. | Free space and speed humps detection using lidar and vision for urban autonomous navigation | |
KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
CN202134079U (zh) | 一种无人驾驶车辆车道标志线识别与报警装置 | |
CN108615242B (zh) | 一种高速护栏跟踪方法 | |
Khalifa et al. | A hyperbola-pair based lane detection system for vehicle guidance | |
CN114399748A (zh) | 一种基于视觉车道检测的农机实时路径校正方法 | |
Lim et al. | Lane detection and Kalman-based linear-parabolic lane tracking | |
Kuramoto et al. | Mono-camera based 3D object tracking strategy for autonomous vehicles | |
Li et al. | A lane marking detection and tracking algorithm based on sub-regions | |
CN111368797A (zh) | 一种基于路端单目摄像头的目标实时测距方法 | |
Sun | Vision based lane detection for self-driving car | |
CN103204104A (zh) | 一种车辆全视角驾驶监控***及方法 | |
CN113516711A (zh) | 相机位姿估计技术 | |
FAN et al. | Robust lane detection and tracking based on machine vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |