CN110733416B - 一种基于逆透视变换的车道偏离预警方法 - Google Patents

一种基于逆透视变换的车道偏离预警方法 Download PDF

Info

Publication number
CN110733416B
CN110733416B CN201910871995.1A CN201910871995A CN110733416B CN 110733416 B CN110733416 B CN 110733416B CN 201910871995 A CN201910871995 A CN 201910871995A CN 110733416 B CN110733416 B CN 110733416B
Authority
CN
China
Prior art keywords
early warning
lane
inverse perspective
cross
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910871995.1A
Other languages
English (en)
Other versions
CN110733416A (zh
Inventor
唐斌
尹玥
江浩斌
林子晏
蔡英凤
袁朝春
尹晨辉
朱宸
张迪
黄映秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910871995.1A priority Critical patent/CN110733416B/zh
Publication of CN110733416A publication Critical patent/CN110733416A/zh
Application granted granted Critical
Publication of CN110733416B publication Critical patent/CN110733416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于逆透视变换的车道偏离预警方法，采集道路图像，对采集到的道路图像信息进行图像预处理，从预处理后的图像中提取消失点信息和车道线信息；根据消失点信息得到偏航角γ；对预处理后的道路图像进行像素坐标转换得到逆透视变换俯视图，车道线信息、偏航角γ和逆透视变换俯视图通过距离坐标转换算法得到实际道路俯视图中的车辆横向偏差d6；根据偏航角γ和横向偏差d6计算跨道时间TLC和跨道时间变化速率η；本发明根据TLC和跨道时间变化速率η进行车道偏离安全风险评定并预警，相比于传统基于跨道时间的偏离预警算法更为精确合理。

Description

一种基于逆透视变换的车道偏离预警方法
技术领域
本发明属于汽车智能辅助驾驶技术领域，具体涉及一种基于逆透视变换的车道偏离预警方法。
背景技术
智能视觉导航***需要建立在道路交通标志和车道线检测和识别基础上，许多学者针对道路交通标志和车道线的检测和识别进行了大量的研究工作，并取得了较大的理论成果和实用价值。目前常见的车道线检测算法有基于双目摄像头的方法、基于FCM聚类的车道线算法、基于最大直线模型的车道线检测算法、基于统计模型的车道线位置更新算法等。
逆透视变换主要是将图像从图像坐标系映射到世界坐标系，在透视误差消除方面得到了广泛的应用。道路驾驶环境信息的理解可以为智能导航***提供重要的道路环境信息，为驾驶者提供导航决策参考和建议。综合现有的研究成果，逆透视变换主要用于图像处理，而在距离检测方面逆透视变换的应用还不够成熟。
在预警算法方面，单一算法容易导致LDWS和LKAS的误警率和漏警率较高，部分驾驶员行车中甚至选择关闭LDWS和LKAS，因此需要开发一种适用范围广的预警算法来提高预警精度。预警算法研究主要集中在使用哪种预警算法及如何改进某种算法，应用范围较广的预警算法有跨道时间(Time to Lane Cross,TLC)算法、未来偏移距离(Future OffsetDistance,FOD)算法和车辆当前位置(Car’s Center Position,CCP)算法。这三种算法大都利用时间或者距离其中之一作为预警值，不能给驾驶员预留充足的反应时间，并且在使用过程中其误报现象经常给驾驶员带来困扰。
发明内容
针对现有技术中存在的不足，本发明提出了一种基于逆透视变换的车道偏离预警方法，提供一种相比于传统基于跨道时间的偏离预警算法更为精确合理的算法。
本发明所采用的技术方案如下：
步骤1，使用单目摄像头采集道路图像；
步骤2，对采集到的道路图像信息进行图像预处理，从预处理后的图像中提取消失点信息和车道线信息；其中，消失点信息包括消失点在图像上的坐标V(X0,Y0)、成像平面的水平方向和垂直方向像素的大小W和H；
步骤3，将提取出的消失点信息，导入姿态角估计模型，得到偏航角γ；
步骤4，利用逆透视变换技术对预处理后的道路图像进行像素坐标转换，得到逆透视变换俯视图，所述车道线信息、偏航角γ和逆透视变换俯视图通过距离坐标转换算法得到实际道路俯视图中的车辆横向偏差d6；
步骤5，根据偏航角γ和横向偏差d6计算跨道时间TLC和跨道时间变化速率η；
步骤6，对跨道时间TLC以及跨道时间变化速率η进行判断，根据判断结果进行预警；
进一步，所述图像预处理包括对道路图像进行感兴趣区域划分、灰度化、滤波和边缘增强的处理，进而提取消失点信息；
进一步，所述偏航角γ表示为：
Figure BDA0002203111220000021
其中，f为摄像机焦距，Y1为图像坐标系下面的消失点纵坐标，W为成像平面的水平方向大小；
进一步，车辆横向偏差d6表示为：
Figure BDA0002203111220000022
其中，n为透视图下边界所对应的实际距离的一半，W为成像平面的水平方向大小，xD为D点横坐标；
进一步，跨道时间TLC与跨道时间变化速率η分别表示为：
Figure BDA0002203111220000023
Figure BDA0002203111220000031
其中，v为车速，dlane为车道宽度，L为轴距；
Figure BDA0002203111220000032
a为加速度，v为车速；
进一步，预警方法为：
当TLC<K1时，则表明车辆处于偏离车道的状态，进行预警：
当K1<TLC<K2时，则表明车辆处于临界偏离车道的状态，进行如下判断：当η>K3且TLC<K1时，具有较大的安全风险，需要进行预警；当η<K3时，则表明车辆处于安全驾驶的状态，不需要预警；
当TLC>K2时，则表明车辆处于安全驾驶的状态，不需要预警；
其中，K1、K2为跨道时间判断阈值，K3为跨道时间变化率阈值；K3由实验数据得到；
本发明的有益效果：
一种基于逆透视变换的车道偏离预警方法根据计算出的跨道时间和跨道时间变化速率进行车道偏离安全风险评定，最终进行预警，相比于传统基于跨道时间的偏离预警算法更为精确合理，可以提供给驾驶员收到的预警信息后更充裕的反应时间。
且本发明通过逆透视变换技术，利用实际道路俯视图和逆透视变换俯视图之间的坐标变换计算出车辆横向偏差的方法算法简单且耗时较短，并且仅用单目摄像头就能完成算法，且计算结果较为精确。
附图说明
图1是一种基于逆透视变换的车道线检测方法流程图；
图2是不存在偏航角时的消失点示意图
图3是基于消失点的偏航角计算示意图；
图4是实际道路俯视图；
图5是逆透视变换俯视图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1，本发明哪个一种基于逆透视变换的车道偏离预警方法，包括如下步骤：
步骤1，使用单目摄像头采集道路图像；
步骤2，对采集到的道路图像信息进行图像预处理，从预处理后的图像中提取消失点信息和车道线信息，消失点信息即车道线以及车道线的交汇点，消失点信息包括消失点在图像上的坐标V(X0,Y0)、成像平面的水平方向和垂直方向像素的大小W和H；
其中，图像预处理具体包括感兴趣区域划分、灰度化、滤波和边缘增强,具体步骤如下：
步骤2.1，对采集到的图像进行感兴趣区域划分；通过分析车辆后视镜的高度和实际照片的尺寸大小，将车道线图像下方3/5区域设置为感兴趣区域，2/5的区域设置为非感兴趣区域；将该区域确定为后期图像分析所关注的重点。
步骤2.2，通过摄像头采集到的原始图像是彩色的，每个像素点的色值都是由红(R)、绿(G)、蓝(B)三个分量组成，其中R、G、B由不同的灰度级来描述。然后根据公式(1)将每个像素点的红绿蓝三个分量按照固定的权值相乘后再相加；进而将所有像素点的三原色值变成灰度值，使得彩色图片变成灰度图片；
greyscale(x,y)＝0.3R+0.59G+0.11B (1)
其中，greyscale(x,y)为像素点(x,y)处的灰度值。
步骤2.3，对图像进行滤波增强，首先中值滤波器在目标像素中选择模板，将模板中心点相邻区域内的像素点进行有序排列，获取模板覆盖区域的像素点中值，并用该值作为该区域中心点的滤波结果，接下来不断移动模板，重新选取采样区域，并对其像素点排序求出中值，最终对整个图像进行滤波处理；中值滤波法具体过程如下：
(1)选取一个(2n+1)×(2n+1)的中值滤波模板，移动模板沿着图像行进行有序移动，每次移动两个像素点；
(2)当模板每滑动一次后，就重新对模板图像区域内的(2n+1)×(2n+1)个像素进行有序排列，并求出模板区域内像素的中值；
(3)重复上述步骤，对图像内其他的像素点进行相同处理，得到相应的中值，即像素点滤波完成后的新像素点。
步骤2.4，对图像进行边缘增强，以便图像的边缘信息可得到充分的检测提取；边缘增强包括通过Gauss对图像平滑处理和对图像边缘的非极值点进行消除。
步骤3，将提取出的消失点信息，导入姿态角估计模型，得到偏航角γ；图2为不存在偏航角时的消失点示意图，姿态角估计模型表示为：
Figure BDA0002203111220000051
Figure BDA0002203111220000052
联立式(2)和(3)，偏航角γ计算公式如下：
Figure BDA0002203111220000053
其中，γ为偏航角，h1为图3中消失点到图像边界的距离，f为摄像机焦距，Y1为图像坐标系下面的消失点纵坐标，W为成像平面的水平方向大小；
步骤4，利用逆透视变换技术对预处理后的道路图像进行像素坐标转换，得到逆透视变换俯视图，所述车道线信息、偏航角γ和逆透视变换俯视图通过距离坐标转换算法得到实际道路俯视图，进而得到车辆横向偏差d6；距离坐标转换算法的具体过程为
步骤4.1，计算实际道路俯视图中e点到图像下边界的距离d1；如图4所示，过摄像头位置O点作平行于车道线qd的辅助线l1，再过O点作一条垂直于l1的辅助线l2，分别过d、a点作垂直于图像下边界ab的辅助线l3、l4，l4与l2的交点为c点，连接b、c点交l3于e点；图5为逆透视变换俯视图，则
由△BDE∽△BAC得
Figure BDA0002203111220000054
根据逆透视变换纵向比例系数i得
Figure BDA0002203111220000055
Figure BDA0002203111220000056
步骤4.2，计算实际道路俯视图中c点到图像下边界的距离d2，则
d2＝i(yC-yA) (8)
步骤4.3，计算实际道路俯视图中d点到图像左边界的距离d3，则
Figure BDA0002203111220000061
Figure BDA0002203111220000062
其中，n为透视图下边界所对应的实际距离的一半；
步骤4.4，计算实际道路俯视图中d点到图像右边界的距离d4，则
Figure BDA0002203111220000063
其中，W为成像平面的水平方向像素数量。
步骤4.5，计算实际道路俯视图中d点到摄像头位置O点距离d5，则
Figure BDA0002203111220000064
步骤4.6，计算车辆横向偏差d6，则
Figure BDA0002203111220000065
步骤5，根据偏航角γ以及横向偏差d6计算跨道时间TLC与跨道时间变化速率η；具体过程为：
Figure BDA0002203111220000066
其中，v为车速，dlane为车道宽度，L为轴距；
Figure BDA0002203111220000067
Figure BDA0002203111220000071
其中，a为加速度，v为车速；
步骤6，对跨道时间TLC以及跨道时间变化速率η进行判断，根据判断结果进行预警；具体判断方法如下：
步骤6.1，计算跨道时间判断阈值K1、K2：
Figure BDA0002203111220000072
Figure BDA0002203111220000073
其中t1为驾驶员反应时间，t2为车辆反应时间，ay为侧向加速度；t1、t2由大量实验数据得到；
步骤6.2，判断车辆是否偏离，具体方法如下：
当TLC<K1时，则表明车辆处于偏离车道的状态，进行预警：
当K1<TLC<K2时，则表明车辆处于临界偏离车道的状态，需进行下述判断：当η>K3时，在临界偏离车道的状态下，虽然没有达到跨道时间阈值K1，但是跨道时间变化率已经超出了跨道时间变化率阈值K3，在这种情况下，一旦TLC<K1时，没有给驾驶员充足的反应时间，具有较大的安全风险，需要进行预警；当η<K3时，则表明车辆处于安全驾驶的状态，不需要预警；
当TLC>K2时，则表明车辆处于安全驾驶的状态，不需要预警。
其中，K1、K2为跨道时间判断阈值，K3为跨道时间变化率阈值；K3由大量实验数据得到；
这种判断方法可以给予驾驶员充足的反应时间，同时可以减少漏警率和误警率。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (3)

1.一种基于逆透视变换的车道偏离预警方法，其特征在于，采集道路图像，对采集到的道路图像信息进行图像预处理，从预处理后的图像中提取消失点信息和车道线信息；所述消失点信息包括消失点在图像上的坐标V(X0,Y0)、成像平面的水平方向和垂直方向像素的大小W和H；将提取出的消失点信息，导入姿态角估计模型，得到偏航角γ；利用逆透视变换技术对预处理后的道路图像进行像素坐标转换，得到逆透视变换俯视图，所述车道线信息、偏航角γ和逆透视变换俯视图通过距离坐标转换算法得到实际道路俯视图中的车辆横向偏差d6；根据偏航角γ和横向偏差d6计算跨道时间TLC和跨道时间变化速率η；对跨道时间TLC以及跨道时间变化速率η进行判断，根据判断结果进行预警；
跨道时间TLC与跨道时间变化速率η分别表示为：
Figure FDA0003707644220000011
Figure FDA0003707644220000012
其中，v为车速，dlane为车道宽度，L为轴距；
Figure FDA0003707644220000013
a为加速度，xD为D点横坐标，Y1为图像坐标系下面的消失点纵坐标，f为摄像机焦距，db是轮距；
预警方法为：
当TLC<K1时，则表明车辆处于偏离车道的状态，进行预警：
当K1<TLC<K2时，则表明车辆处于临界偏离车道的状态，进行如下判断：当η>K3且TLC<K1时，具有较大的安全风险，需要进行预警；当η<K3时，则表明车辆处于安全驾驶的状态，不需要预警；
当TLC>K2时，则表明车辆处于安全驾驶的状态，不需要预警；
其中，K1、K2为跨道时间判断阈值，K3为跨道时间变化率阈值；K3由实验数据得到；计算跨道时间判断阈值K1、K2：
Figure FDA0003707644220000021
Figure FDA0003707644220000022
其中t1为驾驶员反应时间，t2为车辆反应时间，ay为侧向加速度。
2.根据权利要求1所述的一种基于逆透视变换的车道偏离预警方法，其特征在于，所述图像预处理包括对道路图像进行感兴趣区域划分、灰度化、滤波和边缘增强的处理，进而提取消失点信息。
3.根据权利要求1所述的一种基于逆透视变换的车道偏离预警方法，其特征在于，车辆横向偏差d6表示为：
Figure FDA0003707644220000023
其中，n为透视图下边界所对应的实际距离的一半，W为成像平面的水平方向大小，xD为D点横坐标。
CN201910871995.1A 2019-09-16 2019-09-16 一种基于逆透视变换的车道偏离预警方法 Active CN110733416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910871995.1A CN110733416B (zh) 2019-09-16 2019-09-16 一种基于逆透视变换的车道偏离预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910871995.1A CN110733416B (zh) 2019-09-16 2019-09-16 一种基于逆透视变换的车道偏离预警方法

Publications (2)

Publication Number Publication Date
CN110733416A CN110733416A (zh) 2020-01-31
CN110733416B true CN110733416B (zh) 2022-09-16

Family

ID=69268007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910871995.1A Active CN110733416B (zh) 2019-09-16 2019-09-16 一种基于逆透视变换的车道偏离预警方法

Country Status (1)

Country Link
CN (1) CN110733416B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070839A (zh) * 2020-09-11 2020-12-11 武汉理工大学 一种对后方车辆横纵向定位测距方法及设备
CN113191937B (zh) * 2021-04-17 2024-03-22 南京航空航天大学 一种基于曲面和消失点检测的自适应逆透视变换方法
CN114511832B (zh) * 2022-04-21 2022-07-12 深圳比特微电子科技有限公司 车道线分析方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
JP2011118889A (ja) * 2009-11-04 2011-06-16 Valeo Schalter & Sensoren Gmbh ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置
CN104943747A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆的防止偏离车道控制装置
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN107284455A (zh) * 2017-05-16 2017-10-24 浙江理工大学 一种基于图像处理的adas***
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN110203210A (zh) * 2019-06-19 2019-09-06 厦门金龙联合汽车工业有限公司 一种车道偏离预警方法、终端设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118889A (ja) * 2009-11-04 2011-06-16 Valeo Schalter & Sensoren Gmbh ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
CN104943747A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆的防止偏离车道控制装置
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN107284455A (zh) * 2017-05-16 2017-10-24 浙江理工大学 一种基于图像处理的adas***
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN110203210A (zh) * 2019-06-19 2019-09-06 厦门金龙联合汽车工业有限公司 一种车道偏离预警方法、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
逆透视投影下车道偏离时间的在线估计;戴斌等;《计算机工程与应用》;20070721(第21期);第235-238页 *

Also Published As

Publication number Publication date
CN110733416A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN107730520B (zh) 车道线检测方法及***
CN103177246B (zh) 基于动态区域划分的双模型车道线识别方法
CN105005771B (zh) 一种基于光流点轨迹统计的车道线实线的检测方法
CN105678285B (zh) 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN104392212B (zh) 一种基于视觉的道路信息检测及前方车辆识别方法
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警***及方法
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
CN105654073B (zh) 一种基于视觉检测的速度自动控制方法
CN109190483B (zh) 一种基于视觉的车道线检测方法
CN104700072B (zh) 基于车道线历史帧的识别方法
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN103971128A (zh) 一种面向无人驾驶车的交通标志识别方法
CN105825203A (zh) 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN104008377A (zh) 基于时空关联的地面交通标志实时检测识别方法
CN105740809A (zh) 一种基于机载摄像机的高速公路车道线检测方法
CN106250816A (zh) 一种基于双摄像头的车道线识别方法及***
CN107392139A (zh) 一种基于霍夫变换的车道线检测方法及终端设备
CN111539303B (zh) 基于单目视觉的车辆驾驶偏移预警方法
CN107284455A (zh) 一种基于图像处理的adas***
CN103204104B (zh) 一种车辆全视角驾驶监控***及方法
CN103996031A (zh) 一种自适应阈值分割的车道线检测***及其方法
CN107918775B (zh) 一种辅助车辆安全驾驶的斑马线检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant