CN109635737A - 基于道路标记线视觉识别辅助车辆导航定位方法 - Google Patents

Abstract

本发明提供一种基于道路标记线视觉识别辅助车辆导航定位方法，该方法包括：实时获取车辆行进中的道路彩色图像，将其处理为灰度图像；对灰度图像进行二值化处理，得到二值化图像；对二值化图像进行去噪处理，得到道路图像，每条道路线对应一个矩形；提取矩形中心线，得到道路标记线；结合车载GNSS提供的车辆位置信息以及相应地图数据库中的道路信息，确定车辆所在车道。本发明的有益效果：本发明利用消费级行车记录仪影像实时进行道路线提取的算法，模型简单、易于实现、且运算效率高，适用于辅助车辆实时导航定位数据处理；算法采取动态阈值进行图像处理，即使在光照条件较差的环境下也能有较好的道路线提取效果，从而最终实现车道级导航定位。

Description

基于道路标记线视觉识别辅助车辆导航定位方法

技术领域

本发明涉及汽车导航定位领域，尤其涉及一种基于道路标记线视觉识别辅助车辆导航定位方法。

背景技术

车辆行驶过程中的精确位置信息是实现车辆辅助驾驶甚至发展到自动驾驶的决定性因素之一，但在车辆行驶过程中，单独的GNSS定位信号易受到行车道两旁的树木、高层建筑的遮蔽或折射信号干扰，定位精度局限在十米量级，很难通过GNSS信号实现车道级的导航定位，无法满足车辆自动驾驶的需要。

目前关于提高车辆定位导航精度的研究包括实时地图匹配辅助GPS导航、GNSS/工NS组合导航、隧道环境中应用LED定位技术、基于3G技术的车辆导航等，但上述方法需安装额外设备来实现，成本较高，难以推广应用，而随着车辆行车记录仪的普及，视觉信息成为区分车道的重要观测资料。

发明内容

有鉴于此，本发明提供了一种基于道路标记线视觉识别辅助车辆导航定位方法，利用单目视觉信息提取道路线上的任意一点及该道路线的偏转角，可用于辅助车辆导航定位。

本发明提供一种基于道路标记线视觉识别辅助车辆导航定位方法，包括以下步骤：

S1、实时获取车辆行进中的道路彩色图像，对所述彩色图像进行处理，得到灰度图像；

进一步地，所述步骤S1的具体方法为：

S11、利用摄像机拍摄得到车辆行进中的道路彩色图像；

S12、将彩色图像处理为灰度图像，对于摄像机所拍摄图像的m行n列的像素阵中，任意一点P(x，y)，其灰度值记为g(x，y)。

S2、对所述灰度图像进行二值化处理，得到二值化图像；

进一步地，所述步骤S2的具体方法为：

S21、根据摄像机的内外方位元素求解得到图像中平行于主纵线方向的平行线的投影合点，即主合点；

S22、以步骤S21得到的主合点为参考确定图像的下半部分；

S23、对于步骤S22中确定的图像下半部分中任意一点P(x，y)，其灰度值记为g(x，y)，当该点灰度值满足以下条件：

式中L是投影宽，即道路标记线在相片上投影的宽度的集合，取图像列数的0.025倍作为L_max，ε是一个附加的正常数，取ε＝5为宜，D是通过光照条件得到的对比度阈值，

则将该点P(x，y)的灰度值用255表示，若不满足则令其灰度值为0，这样构成的图像为二值化图像；

S24、对于步骤S23中得到的二值化图像，根据车前盖与摄像机的相对位置确定图像中车前盖的部分，剔除这部分图像。

S3、对所述二值化图像进行去噪处理，得到道路线图像，每条道路线对应一个矩形；

进一步地，所述步骤S3的具体方法为：

S31、对步骤S2得到的二值化图像，检测每一块图块并提取其边界；

S32、根据提取的边界计算图块面积，小于临界值的图块认为是噪声并滤除，临界值S_min＝0.00015·m·n，m是道路彩色图像对应的像素行数，n是道路彩色图像对应的像素的列数；

S33、将相邻的白色像素点视为同一图块上的点，用一个最小的矩形将图块包裹起来，用这个矩形代替图块进行处理；

S34、将过矩形中点且沿长边方向的直线视作道路线的中心线的投影，算法将满足以下两个条件的矩形所代替的图块识别为道路线：

(1)矩形中心线倾角在10至70度之间(或者70至10度之间)或者垂直且处于图像中心；

(2)矩形长宽比大于2。

S4、提取步骤S3中的矩形的中心线，得到道路标记线；

进一步地，步骤S4中矩形中心线的计算公式为：

y＝tanα(x-x₀)+y₀

式中α是矩形长边与x轴的夹角，x₀、y₀是矩形中心点。

S5、根据步骤S4中提取的道路标记线，结合车载GNSS提供的车辆位置信息以及相应地图数据库中的道路信息，确定车辆所在车道。

进一步地，所述步骤S5的具体方法为：

S51、通过车载GNSS提供的车辆坐标信息，从地图数据库中提取相应位置的道路信息，包括道路的车道数量、各车道准行驶方向信息；

S52、根据步骤S4中提取的道路标记线，对比步骤S51中的道路信息，确定车辆所在的具体车道信息，辅助车辆导航定位。

本发明提供的技术方案带来的有益效果是：本发明利用消费级行车记录仪影像实时进行道路线提取的算法，模型简单、易于实现、且运算效率高，适用于辅助车辆实时导航定位数据处理；算法采取动态阈值进行图像处理，即使在光照条件较差的环境下也能有较好的道路线提取效果，最终实现对行驶车辆的车道级导航定位服务。

附图说明

图1是本发明实施例提供的一种道路标记线提取的方法流程示意图；

图2是本发明实施例提供的一张车辆行驶在公路上以驾驶员视角拍摄的照片经处理后的灰度示意图；

图3是本发明实施例提供的根据车前盖与摄像机的相对位置确定图像中车前盖的部分并剔除这部分图像后的效果图；

图4是本发明实施例提供的利用一个最小矩形代替图斑的示意图；

图5是本发明实施例提供的道路线的投影分布示意图；

图6是本发明实施例提供的道路线提取图与原灰度值图像的对比图；

图7是本发明实施例提供的道路线数学表达式与对应矩形的关系示意图；

图8是本发明实施例提供的某夜间行车时道路线提取过程图；

图9是本发明实施例提供的某夜间行车时所提取道路线的方程参数示例图；

图10是本发明实施例提供的某高架行车时道路线提取示例图；

图11是本发明实施例提供的某公路行车时道路线提取示例图；

图12是本发明实施例提供的某夜间行车时确定车辆所在车道信息示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的实施例选用车辆在公路上行驶过程中消费级行车记录仪所拍摄的照片，其流程如图1所示，包括如下步骤：

S1、利用消费级行车记录仪实时获取车辆行进中的道路彩色图像，对所述彩色图像进行处理，得到灰度图像；

其原因在于，灰度图可以兼顾白天和夜晚不同光照条件下的图像识别，处理后的灰度图像如图2所示，对于行车记录仪所拍摄图像的m行n列的像素阵中任意一点P(x，y)，其灰度值记为g(x，y)。

S2、对所述灰度图像进行二值化处理，得到二值化图像；

根据摄像机的内外方位元素求解得到图像中平行于主纵线方向的平行线的投影合点，即主合点。以该主合点为参考确定图像的下半部分；

其原因在于，对于垂直于地面平面的影像，其主合点为像主点，而所有地面上的点的投影都应在该点以下，所以可知所有地面上的道路线的投影都在图像的下半部分。

车辆行驶的车道通常是深色的(灰度值小)，而路面上的道路线通常是白色或者黄色的(灰度值大)，因此凡是满足两侧较暗而中间较亮的线都有可能是道路线。由此确定进行二值化的阈值条件：对于图像下半部分中任意一点P(x，y)，其灰度值记为g(x，y)，当该点灰度值满足以下条件：

式中L是投影宽，即道路标记线在相片上投影的宽度的集合，经测试取图像列数的0.025倍作为L_max，ε是一个附加的正常数，经测试取ε＝5为宜，D是通过光照条件得到的对比度阈值，需要说明的是，采用5作为D的最小值限制，其目的在于为了保证光照条件不好的区域不会因此产生大量噪声；

则将该点灰度值用255表示，否则其灰度值用0表示，由此输出二值化图像。

需要说明的是，在对单个图像处理时，发现车前盖处产生反光，由于反光亮度过高且与当时天气有关，难以通过去噪手段有效去除。因此对上述二值化图像，根据车前盖与摄像机的相对位置，确定图像中车前盖的部分，略过这部分的图像处理，效果如图3所示。

S3、对所述二值化图像进行去噪处理，得到道路线图像，每条道路线对应一个矩形；

对于步骤S2得到的二值化图像，检测每一块图块并提取其边界；

通常情况下噪声以小斑点的形式存在，而道路线则是长条形的规则图形，且近似于矩形。根据提取的边界计算图块面积，小于临界值的图块认为是噪声并滤除，临界值S_min＝0.00015.m·n，m是道路彩色图像对应的像素行数，n是道路彩色图像对应的像素的列数；

路面上有路旁树木或者栏杆的阴影，道路线也会出现被阴影遮盖的地方，会导致道路线的二值化图像的白色图块中有黑色小点，不利于道路线的方向判读。因此需要提取图块边界节点，将相邻的白色像素点视为同一图块上的点，用一个最小的矩形将图块包裹起来，用这个矩形代替图块进行处理，如图4所示，白色图块为二值化后的图块，白色矩形为可以包含整个图块的最小矩形，用该矩形代替该图块，能精确且方便地获得图块的若干几何参数；

将过矩形中点且沿长边方向的直线视作道路线的中心线的投影，由中心投影的基本原理可知，道路线的投影不会是水平的，且只有在影像中心的道路线会是竖直的，如图5所示。因此，将倾角在10至70度之间(或者70至10度之间)的线以及垂直且处于图像中心的线识别为道路线；

需要说明的是还需对图块的长度加以限制，道路线具有细长的特性，能区别于水潭、路标等噪声，因此代表道路线的矩形的长宽比还应该大于2；

经上述去噪过程后的图像即为本实施例所提取的道路线图像，如图6所示，为道路提取图与原灰度值图像的对比，可以发现驾驶员视线范围内的道路线均已被精确提取。

S4、提取步骤S3中的矩形的中心线，得到道路标记线；

由于车辆导航定位的精度需求没有达到厘米级，因此可以将车道的宽度忽略不计，将其视为没有宽度的直线，可以直接计算矩形中心线作为道路线投影影像表达式：

y＝tanα(x-x₀)+y₀

式中α是矩形长边与x轴的夹角，x₀、y₀是矩形中心点，如图7所示，道路线数学表达式与对应矩形的关系示意图。

本实施例采用多个不同路况、不同光照条件下的行车记录仪所录制视频作为研究数据进行测试，考虑不同品牌行车记录仪所录制视频的分辨率不同，为确保测试时不同视频所提取数据具有可比性，将视频分辨率统一为320*480，视频每秒帧数29.97帧。

本实施例选取日常行车中常见的三个条件恶劣的场景利用上述步骤进行道路标记线提取测试：

(1)某夜间行车时道路线提取过程图像如图8所示，当前行驶车道为4车道公路，该行驶方向为两车道，有3条道路线，且路况良好，无大量车辆阻挡。图中左上角为行车记录仪拍摄视频画面经处理后的灰度图，左下角为二值化图像，右下角为处理完毕后的道路线提取信息，右上角为提取的道路线与原图的对比。可以看出，算法共提取到3条道路线，将当前摄像机拍摄范围内的道路线全部提取，所提取道路线的方程参数如图9所示，以道路线中心点和倾斜角来表示道路线的方位；

(2)某高架行车时道路线提取图像如图10所示，当前路口较为宽阔，地面标记线由于磨损颜色较暗。可以看出，算法提取了道路线，但无法识别较远车道的道路线，由于算法二值化方法的限制，对于颜色较暗或者磨损较严重的区域，道路线识别存在困难；

(3)某公路行车时道路线提取图像如图11所示，当前道路线清晰但有车辆干扰。可以看出算法提取了右侧3条道路线，并未因车辆干扰而误将车辆判别为道路线。

S5、根据步骤S4中提取的道路标记线，结合车载GNSS提供的车辆位置信息以及相应地图数据库中的道路信息，确定车辆所在车道。

具体地，根据车载GNSS提供的车辆坐标信息，从地图数据库中提取相应位置的道路信息，包括道路的车道数量、各车道准行驶方向信息。根据步骤S4中提取的道路标记线，再对比所述道路信息，如图12所示，为夜间行车时确定车辆所在的具体车道信息的示例图，最后利用确定的具体车道信息来辅助车辆导航定位。

本实施例通过对不同情况下的路面道路线识别进行测试，可以看出本方法能适应白天及夜晚的光照条件，对于车辆等因素的干扰有较高的抗性，但在道路线较浅或者地面印有与道路线同色文字时，本方法的道路线提取会受到干扰。

本实施例提供了利用车辆行驶过程中行车记录仪的单目视频，对道路线进行提取的算法，算法快速有效，具备实时解算能力，算法提取的道路标记线的量化信息在后续工作中，可以应用于与GNSS观测信号进行数据融合定位解算中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***或计算机程序程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，包括如下步骤：

S1、实时获取车辆行进中的道路彩色图像，对所述彩色图像进行处理，得到灰度图像；

S2、对所述灰度图像进行二值化处理，得到二值化图像；

S3、对所述二值化图像进行去噪处理，得到道路线图像，每条道路线对应一个矩形；

S4、提取步骤S3中的矩形的中心线，得到道路标记线。

S5、根据步骤S4中提取的道路标记线，结合车载GNSS提供的车辆位置信息以及相应地图数据库中的道路信息，确定车辆所在车道。

2.根据权利要求1所述的基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，步骤S1中，利用摄像机拍摄得到车辆行进中的道路彩色图像。

3.根据权利要求1所述的基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，步骤S2中，根据摄像机的内外方位元素求解得到图像中平行于主纵线方向的平行线的投影合点，以所述投影合点为参考确定图像的下半部分。

4.根据权利要求1所述的基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，步骤S2中，对灰度图像进行二值化的过程为：设灰度图像中的任意一点P(x，y)的灰度值为g(x，y)，点P(x，y)处于图像的下半部分且灰度值g(x，y)满足以下条件：

式中，m是道路彩色图像对应的像素的行数，L是投影宽，ε取5，D是通过光照条件得到的对比度阈值，

则点P(x，y)构成的图像为二值化图像。

5.根据权利要求1所述的基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，步骤S2中，根据车前盖与摄像机的相对位置，确定二值化图像中车前盖的部分，剔除所述车前盖部分的图像。

6.根据权利要求1所述的基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，步骤S3中，通过筛选图块面积和图块形状对二值化图像进行去噪处理，具体过程为：

S31、筛选图块面积，图块面积的临界值为：S_min＝0.00015·m·n，式中，S_min为图块面积的最小值，m是道路彩色图像对应的像素行数，n是道路彩色图像对应的像素的列数，面积小于临界值的图块当作噪声滤除；

S32、提取图块边界节点，用一个矩形将图块包裹起来，用这个矩形代替图块进行处理；

S33、将过矩形中点且沿长边方向的直线视作道路线的中心线的投影，算法将满足以下两个条件的矩形所代替的图块识别为道路线：

(1)矩形中心线倾角在10至70度之间(或者-70至-10度之间)或者垂直且处于图像中心；

(2)矩形长宽比大于2。

7.根据权利要求1所述的基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，步骤S4中，矩形中心线的计算公式为：

y＝tanα(x-x₀)+y₀

式中α是矩形长边与x轴的夹角，x₀、y₀是矩形中心点。

8.根据权利要求1所述的基于道路标记线视觉识别辅助车辆导航定位方法，其特征在于，步骤S5的具体过程为：

S51、根据车载GNSS提供的车辆坐标信息，从地图数据库中提取相应位置的道路信息，包括道路的车道数量、各车道准行驶方向信息；

S52、根据步骤S4中提取的道路标记线，对比步骤S51中的道路信息，确定车辆所在的具体车道信息，辅助车辆导航定位。