CN103500322B

CN103500322B - 基于低空航拍图像的车道线自动识别方法

Info

Publication number: CN103500322B
Application number: CN201310409740.6A
Authority: CN
Inventors: 王云鹏; 余贵珍; 郑欣蕊; 徐永正; 张毅鹏
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2013-09-10
Filing date: 2013-09-10
Publication date: 2016-08-17
Anticipated expiration: 2033-09-10
Also published as: CN103500322A

Abstract

本发明提供了一种基于低空航拍图像的车道线自动识别方法，用于智能交通领域中。通过低空飞行器采集道路上的原始图像，保证航拍道路的拍摄角度为水平方向，且道路区域位于图像的中间位置；对采集的图像转化成灰度图像并提高对比度，复制灰度图像，由灰度图像获取边缘检测图像和二值化图像；在边缘检测图像和二值化图像中检测连通区域并记录各连通区域的特征；根据连通区域的像素点个数、连通边界的个数、外接矩形大小和方差值来删除连通区域，得到中央道路线；在中央道路线两侧进行搜索找到路侧车道线。本发明计算简便，运算速度快，可靠性高，能有效提取航拍视频中的道路部分，可以检测航拍图像中的直路和弯路，不受背景变化的干扰，准确度高。

Description

基于低空航拍图像的车道线自动识别方法

技术领域

本发明属于交通信息领域，涉及一种智能交通技术领域的低空航拍图像的车道线自动识别方法，尤其是一种适用于航拍图中弯道的识别与提取方法。

背景技术

中国由于人口密集，在大中城市交通状况日益拥堵，高速公路上的事故、雪灾等特殊情况都会导致交通瘫痪，对行车安全造成极大隐患，对市民的日常出行也带来极大不便。目前交通状态感知以路基手段为主，只能获得离散点抽样的断面信息，难以获得连续大范围的实时态势信息，传统地面交通指挥方式无法覆盖所有路段、路口，无法满足突发事件处理对交通信息的全方位需求。

目前，图像处理在道路交通中应用广泛，特别在断面交通流检测中较为成熟，其检测精度和速度已经满足当前交通需求，但是其识别算法仅在路段的某一点上对交通状态识别，对于低空飞行器拍摄的路段或多条路段交通状态识别无能为力。现有的车道线检测技术一般针对于驾驶人视角，采用霍夫变换得到车道线，航拍图的车道线检测多是针对低分辨率卫星地图，而对于低空飞行器动态摄像头拍摄的视频的处理方法却少有研究。现有的针对于低空飞行器动态摄像头的视频处理方法，是基于机器学习法对图像车辆进行识别，未涉及道路提取技术。

道路的检测是航拍图像中获取交通信息的一个基本且必须的步骤，它是进行当前路面车辆检测，判断交通状况等的前提。

发明内容

本发明的目的在于针对上述研究存在的不足及实际需要，提供了一种基于低空航拍图像的车道线自动识别方法，实现了针对低空飞行器航拍视频的、速度快、全自动、弯道直道都适用、检测率高的车道线识别和道路还原，并能输出道路部分的图像。

本发明的一种基于低空航拍图像的车道线自动识别方法，包括如下步骤：

步骤1：通过低空飞行器采集道路上的原始图像，保证航拍道路的拍摄角度为水平方向，且道路区域位于图像的中间位置；

步骤2：将步骤1采集的图像转化成灰度图像并提高灰度图像的对比度，复制灰度图像，然后，一方面获取灰度图像的边缘检测图像，另一方面二值化复制的灰度图像得到二值化图像；

步骤3：将边缘检测图像进行连通区域的检测，记录每个连通区域的特征：像素点个数以及外接矩形长和宽；对二值化图像进行连通区域的检测，并记录每个连通区域的特征：像素点个数、与图像边界的连接情况、外接矩形的长和宽以及区域的方差值；

步骤4：获取二值化图像的连通区域，并根据连通区域的像素点个数、连通边界的个数、外接矩形的大小以及方差值来删除连通区域，得到中央道路线；

步骤5：在边缘检测图像中，在中央道路线上下两侧进行双向搜索，提取路侧车道线。

所述的步骤4的实现方法是：

步骤4.1：取第k个连通区域，初始k=1；设由二值化图像共得到n个连通区域；

步骤4.2：判断第k个连通区域的像素点个数是否小于设定的阈值T₁，若是，删除第k个连通区域，更新k=k+1，然后转步骤4.6执行，否则，继续执行步骤4.2；T₁为[50,100]内的整数；

步骤4.3：判断第k个连通区域连通的图像边界个数S_k是否小于2，若是，删除第k个连通区域，更新k=k+1，然后转步骤4.6执行，否则，继续执行步骤4.4；

步骤4.4：判断第k个连通区域的外接矩形的长和宽是否满足如下条件：长小于灰度图像长度的一半，且宽小于灰度图像宽度的一半；若是，删除第k个连通区域，更新k=k+1，然后转步骤4.6执行，否则，继续执行步骤4.5；

步骤4.5：计算第k个连通区域的方差值σ_k，若σ_k>T₂，删除第k个连通区域，然后转步骤4.6执行，否则，保留第k个连通区域，然后执行步骤4.7；T₂在区间[30,60]内取值；

步骤4.6：判断k是否大于n，若否，转步骤4.1执行，若是，执行步骤4.7；

步骤4.7：由连通区域确定中央道路线，当得到两条以上道路线时，根据道路线的左右连通位置来确定中央道路线。

所述的步骤5具体实现步骤如下：

步骤5.1：设从边缘检索图像中检测到m个连通区域，对每个连通区域进行初始检测和删除处理；

（1）如果连通区域的像素点个数小于设定的阈值T₃，删除该连通区域，否则保留该连通区域；T₃为[10,30]内的整数；

（2）如果连通区域的外接矩形的宽处于区间[0,50]像素，且高处于区间[0,40]像素，删除该连通区域，否则保留该连通区域；

步骤5.2：将步骤4得到的中央道路线进行细化处理；

步骤5.3：用最小二乘法对中央道路线进行拟合，得到二次的中央道路线函数方程：

Y=Ax²+Bx+C，(x,y)为中央道路线上像素的坐标，A、B和C为三个参数；

步骤5.4：求取中央道路线函数方程中，横坐标x每隔10像素处点的导数值Y’：

Y’＝2Ax+B(x＝0，10，20......)

获取各个求导点的法线方向的斜率k＝1/Y’；

步骤5.5：对边缘检测图像进行道路线搜索，从中央道路线开始，沿着每个法线方向进行双向搜索；针对每个法线方向的搜寻，当搜索到值为1的点时，记录该点坐标并停止搜索，在每个法线方向上、中央道路线的两侧都找到一个值为1的点；

步骤5.6：将记录的点以中央道路线为界分为两组，对每组数据进行均值滤波，去掉偏差较大的点，然后用最小二乘法进行拟合，得到两条路侧车道线的函数方程，两条路侧车道线之间的部分就是道路区域。

基于本发明所述的车道线自动识别方法，进行道路识别与提取的实现方法为：首先，对原图RGB(i,j)的每一列进行搜索，令x=i，根据两条路侧车道线的函数方程，得到横坐标y₁和y₂的值；然后，将第i列中不位于区间[y₁，y₂]的点填充为白色，白色点表示不是道路区域部分；最后，在对原图的每一列进行搜索和填充后，输出道路区域图像。

本发明的优点与积极效果在于：该方法综合考虑了低空航拍视频的特点，利用图像处理中二值图的连通区域特征和边缘检测结果对图像进行分析，建立了航拍图和航拍视频中车道线的识别方法和道路区域提取方法，具有计算简便，运算速度快，可靠性高等优点，并能有效提取航拍视频中的道路部分。本发明可以检测航拍图像中的直路和弯路，不受道路形态限制，且镜头畸变的情况下也可准确检测道路，低空飞行器在任何路段都可检测出道路，并迅速得到道路线的方程。与现有技术相比，不同于固定摄像头处理方法，本发明针对移动摄像头采集的视频，可根据当前路面实时提取道路，不受背景变化的干扰。本发明检测道路可以排除掉大量非道路信息的干扰，提高后续检测车辆的效率。

附图说明

图1是本发明的基于低空航拍图像的车道线自动识别方法的整体流程图；

图2是本发明的道路中心线的提取流程图；

图3是本发明的道路中心线搜索示意图；

图4是本发明的道路两侧道路线识别流程图；

图5是本发明的道路识别与提取流程图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

如图1所示，为本发明的基于低空航拍图像的车道线自动识别方法，包括步骤1到步骤5。步骤1，用低空飞行器采集航拍道路原始图像，保证航拍道路的拍摄角度为水平方向，且道路区域位于图像的中间位置。

步骤2，对采集的原始图像进行预处理。

为保证处理速度，首先进行宽高等比例的压缩，得到宽为W，高为H的图像。

再进行灰度化处理，并提高灰度图的对比度，并复制得到的灰度图像。

最后，一方面通过canny算法获取灰度图像的边缘检测图像，另一方面对复制的灰度图像进行二值化处理，得到二值化图像。

步骤3，在边缘检测图像中进行连通区域的检测，并记录每个连通区域的特征：像素点个数和外接矩形的长和宽。

对二值化图像进行连通区域的检测，并记录每个连通区域的特征：像素点个数、与图像边界的连接情况、外接矩形的长和宽以及区域的方差值。

步骤4：获取二值化图像的连通区域，并根据连通区域的像素点个数、连通边界的个数、外接矩形的大小以及方差值来删除连通区域，搜索得到中央道路线。

如图2所示，为道路中心线的提取流程图，该过程是弯道识别的前提。设从二值化图像中共检测并标记出个连通区域。针对每个连通区域，进行如下步骤执行。

步骤S101：取第k个连通区域，初始k=1。

步骤S102：判断第k个连通区域的像素点个数是否小于设定的阈值T₁，若是，则认为该连通区域是边缘图像处理结果中无关的信息，删除第k个连通区域，然后转步骤S106执行，否则，继续执行步骤S103。阈值T₁是经验值，通常为处于区间[50,100]内的整数，设定阈值T₁旨在删除图像中过小的区域，以提高后续处理的速度。

步骤S103：对连通区域与边界的连通性进行判断，删除不是道路的区域。

计算第k个连通区域连通的边界的个数S_k，若S_k≥2_，则继续进行步骤S104的操作，否则，删除第k个连通区域，然后转步骤S106执行。

如图3所示，假设区域4是需要保留的道路区域，步骤S105的目的是判断连通区域与边界连通的情况。如区域2，只和图像的左边界连通，所以S_k=1；区域3不与任何边界连通，所以S_k=0;而区域1，区域4，区域5，区域6都和两条边界相连，所以S_k=2。只有当S_k≥2时才可能是道路，所以将S_k＜2的区域全部删除。

步骤S104：根据连通区域的外接矩形的特征，来删除连通区域。

设R_hk是第k个连通区域的外接矩形的高，R_wk是第k个连通区域的外接矩形的宽。若同时满足如图2中区域2和区域6，则认为该连通区域的外接矩形过小，不是道路区域，删除第k个连通区域，然后转步骤S106执行；相反，则可能是道路区域，保留该连通区域，并继续进入步骤S105执行。

步骤S105：根据方差值特征来删除连通区域。

设T₂是一个经过实验得到的方差的阈值，σ_k是第k个连通区域的方差值，该方差值通过计算连通区域的外接矩形范围内的每一列的像素点个数得到。例如图3中的区域4，先得到该连通区域外接矩形，并在外接矩形的范围内进行点个数的统计，将每一列的像素点个数值都记录下来，并对这些值求方差。连通区域形状越平滑规律，方差值越小，反之越大。通常道路线为平滑规律的曲线，所以方差值很小，而其他区域的方差值较大。由于道路中心线形状平滑规整，方差值小，所以低于方差阈值T₂的是道路区域。T2为经验值，处于区间[30,60]。

若σ_k＞T₂，删除第k个连通区域，然后执行步骤S106，否则，保留第k个连通区域，然后执行步骤S107。

步骤S106：更新k=k+1，然后判断k是否大于n，若否，转步骤S101执行，若是，执行步骤S107。

步骤S107：由保留的连通区域得到中央道路线。

步骤S108：通过步骤S101～S107基本可以确定中央道路线。若此时出现剩余两条以上道路线的特殊情况，则根据步骤1，可以根据与图像边界连接的位置来判定哪一条是中央道路线：连通位置在左右两边界1/2H附近的线即为中央道路线，否则删除道路线。

步骤5：基于所搜索到的中央道路线，在边缘检测图像中，在中央道路线上下两侧进行双向搜索，提取路侧车道线。

设从边缘检索图像中检测到m个连通区域，基于步骤4得到的中央道路线，通过下面步骤提取路侧车道线，如图4所示。

步骤S201：对每个连通区域进行初始检测和删除处理。

包括两方面：

（1）根据像素点个数来删除连通区域。如果连通区域的像素点个数小于设定的阈值T₃，认为该连通区域是边缘检测图像处理结果中无关的信息，删除该连通区域；否则保留该连通区域。由于是边缘检测图像，导致连通区域的像素值较少，所以阈值T₃设定在[10,30]内，例如可设为20。

（2）根据连通区域的外接矩形的大小来删除连通区域。如果连通区域的外接矩形的宽处于区间[0,50]像素，且高处于区间[0,40]像素，则认为该连通区域是道路中的车辆，为了避免其对路侧车道线检测的干扰，删除该连通区域，否则保留该连通区域。

步骤S202：为了方便拟合，对中央道路线进行细化处理，使道路中心线变为单连通的线。

步骤S203：用最小二乘法对中央道路线进行拟合。对中央道路线每隔10个像素抽取一个点，作为拟合点，并用最小二乘法进行二次拟合，得到中央道路线函数方程Y=Ax²+Bx+C，其中A，B，C是二次方程的三个参数，方程中(x,y)为中央道路线上像素的坐标。

步骤S204：对中央道路线函数方程中，横坐标x每隔10像素处的点求导。

由中央道路线函数方程，得到对应x=0，１0，２０......时，中央道路线上的点，设为P₁、P₂......P_N，N为正整数，根据情况确定具体值。对步骤S203中的方程Y=Ax²+Bx+C求导，得到Y’=2Ax+B，根据求导公式能得到P₁、P₂……P_N各点对应的导数值。根据各导数值，能计算得到P₁、P₂……P_N处各点的法线方向的斜率k=1/Y’。从而已知一个点和斜率，可得到法线方向直线方程y=kx+b。

步骤S205：对边缘检测图像进行道路线搜索，从中央道路线开始，沿着每个法线k方向进行双向搜索。

开始取P₁点对应的法线方向直线方程，从P₁点开始，沿法线y=kx+b进行双向搜索。若搜索的方向中出现了白色像素点，即值为1的点，则停止搜索，认为该点是路侧车道线上的点，记录该点位置坐标。然后取x=x+10处的求导点P₂对应的法线方向直线方程，从P₂点开始，沿法线y=kx+b进行双向搜索，直到找到值为1的点。以此类推，直到沿P_N点对应的法线进行双向搜索完毕。记录每一次搜索结束时中央道路线两侧遇到的第一个白色像素点。

步骤S206：将步骤S205中得到的所有值为1的点坐标，以中央道路线为界分为两组，对两组数据进行均值滤波，去掉偏差较大的点，对每组数据用同步骤S203的方法进行最小二乘法拟合，得到两个二次方程，设得到中央道路线上侧的二次方程y₁=A₁x²+B₁x+C₁，中央道路线下侧的二次方程y₂=A₂x²+B₂x+C₂。A₁、B₁和C₁，以及A₂、B₂和C₂都为拟合后得到的参数。

如图5所示，基于本发明所述的车道线自动识别方法，进行道路识别与提取包括如下步骤：

步骤S301：搜索原图RGB(i,j)的第i列，(i,j)表示原图中像素的坐标位置。初始设置i=1。

步骤S302：令x=i，根据两条路侧车道线的函数方程，对应横坐标y₁和y₂的值，计算得到第i列对应的两条路侧车道线纵坐标y₁和y₂的值。设置j=1。

步骤S303：搜索第i列的第j个像素，判断该像素坐标j值是否在区间[y₁，y₂]之间，若是，说明该像素位于道路区域内，对该像素不做处理，执行步骤S304；否则，说明该像素不在道路区域内，填充该像素为白色，然后执行步骤S304。

步骤S304：判断第i列的所有像素是否都已经的搜索完毕，如果是，执行步骤S305；否则，更新j=j+1，继续转步骤303执行。

步骤S305：判断原图的所有列是否都已经搜索完毕，如果是，执行步骤S306；否则，更新i=i+1，然后转步骤S302执行。

步骤S306：输出道路区域图像。

Claims

1.一种基于低空航拍图像的车道线自动识别方法，其特征在于，包括如下步骤：

步骤2：将步骤1采集的图像转化成灰度图像，并提高灰度图像的对比度，复制灰度图像；然后，一方面获取灰度图像的边缘检测图像，另一方面二值化复制的灰度图像得到二值化图像；

步骤4：获取二值化图像的连通区域，并根据连通区域的像素点个数、连通边界的个数、外接矩形的大小以及方差值来删除连通区域，得到中央道路线；实现方法是：

步骤4.1：取第k个连通区域，初始k＝1；设由二值化图像共得到n个连通区域；

步骤4.2：判断第k个连通区域的像素点个数是否小于设定的阈值T₁，若是，删除第k个连通区域，更新k＝k+1，然后转步骤4.6执行，否则，继续执行步骤4.2；T₁为[50,100]内的整数；

步骤4.3：判断第k个连通区域连通的图像边界个数S_k是否小于2，若是，删除第k个连通区域，更新k＝k+1，然后转步骤4.6执行，否则，继续执行步骤4.4；

步骤4.4：判断第k个连通区域的外接矩形的长和宽是否满足如下条件：长小于灰度图像长度的一半，且宽小于灰度图像宽度的一半；若是，删除第k个连通区域，更新k＝k+1，然后转步骤4.6执行，否则，继续执行步骤4.5；

步骤4.7：由连通区域确定中央道路线，当得到两条以上道路线时，根据道路线的左右边界的连通位置来确定中央道路线，中央道路线的左右边界的连通位置位于图像边界的中间；

步骤5：在边缘检测图像中，在中央道路线上下两侧进行双向搜索，提取路侧车道线，实现方法是：

(1)如果连通区域的像素点个数小于设定的阈值T₃，删除该连通区域，否则保留该连通区域；T₃为[10,30]内的整数；

(2)如果连通区域的外接矩形的宽处于区间[0,50]像素，且高处于区间[0,40]像素，删除该连通区域，否则保留该连通区域；

步骤5.2：将中央道路线进行细化处理；

Y＝Ax²+Bx+C，(x,y)为中央道路线上像素的坐标，A、B和C为三个参数；

Y’＝2Ax+B(x＝0,10,20……)

获取各个求导点的法线方向的斜率k＝1/Y’；

2.根据权利要求1所述的一种基于低空航拍图像的车道线自动识别方法，其特征在于，所述的步骤5.6的实现方法是：首先，对原图RGB(i,j)的每一列进行搜索，令x＝i，根据两条路侧车道线的函数方程，得到横坐标y₁和y₂的值；然后，将第i列中不位于区间[y₁,y₂]的点填充为白色，白色点表示不是道路区域部分；最后，在对原图的每一列进行搜索和填充后，输出道路区域图像。