CN109902758B - 基于深度学习的车道区域识别的数据集标定方法 - Google Patents

Abstract

本发明提供一种基于深度学习的车道区域识别的数据集制作方法，解决当前应用于深度学习识别车道区域的神经网络模型缺少相关数据集训练学习的问题。其中方法包括：采集各种天气情况下的不同车道图片，并进行分类；设计识别车道区域的相关算法，识别出车道区域；其中识别车道区域时候，需要根据分类的车道图片情况，对算法做出相应调整，达到对每张车道图片能够识别到最佳效果，并对识别区域进行高亮显示；将识别好的图片中的高亮显示颜色通道区域截取出来形成一张相关映射图片，即作为原始车道图片的标签。

Description

基于深度学习的车道区域识别的数据集标定方法

技术领域

本专利属于汽车自动驾驶感知技术领域，特别是涉及基于深度学习的车道识别区域的数据集标定方法。

背景技术

毫无疑问自动驾驶将会极大地改变我们的生活方式。计算机视觉领域对于研发用于自动驾驶的前沿算法有着浓厚的兴趣。但为了设计和测试算法，一般需要通过真实的驾驶平台收集的数据来帮助进行研发。但多数平台的数据集，采集范围有限，数据集类型有限，一般只能当作算法的验证来使用。牵涉到将深度学习算法运用到实际环境识别过程中，深度学习的模型就会受训练数据集所影响，难以将算法有效的运用到实际环境中。这对算法的实际验证是一个非常大的限制。

发明内容

有鉴于此，本发明实施例提供一种基于深度学习的车道区域识别的数据集标定方法，其目的在于解决现在训练识别车道的神经网络模型缺少数据集所存在的局限性。

本发明解决以上存在的技术问题所采用的技术方案如下：采用基于深度学习的车道识别区域的数据集标定方法包括：录取行车时带有车道信息的视频；对车道区域进行识别检测；识别到的车道区域截取出来作为标签与原始图像进行匹配形成新的数据集。

可选地，所述录取行车时带有车道信息的视频包括，采用usb摄像头拍摄行车过程中的道路视频。并将录取的车道视频按照帧率截取成图片。按照直道，弯道，含有斑马线的直道，强光弱光等进行分类。

可选地，所述采用对车道区域进行识别检测方法包括：采用一组棋盘格图片计算相机校准矩阵和失真系数,通过两组系数对图片进行畸变校正；截取感兴趣区域，仅对包含车道线信息的图像区域进行处理使用透视变换，将感兴趣区域图片转换成鸟瞰图；用梯度阈值和颜色阈值方法将鸟瞰图中的车道线清晰捕捉到，并生成二进制图片；将二进制鸟瞰图检测到的车道线通过逆变矩阵镶嵌到原始图上，并采用绿色通道高亮识别到的车道区域。

可选地，所述识别到的车道区域截取出来作为标签与原始图像进行匹配形成新的数据集包括，针对车道线环境进行滤波处理，其具体执行步骤：构建k*k矩阵并做二值化处理，二值化矩阵对鸟瞰图进行循环扫描，以二值化矩阵的中心点作为扫描起始点，对扫描重合的区域进行加权平均运算，将运算结果赋值给中心点所在区域，依此轮询，直到该矩阵通过其中心点将原图像全部扫描一次，运算处理后得到的结果图和原鸟瞰图进行差值运算，得滤波后的图像。

可选地，所述识别到的车道区域截取出来作为标签与原始图像进行匹配形成新的数据集包括，对滤波后的图中车道线区域进行亮度提升，具体执行步骤为，将图像分为N个w*h的小模块，对每个模块中像素点求均值average，设定M组亮度阈值 {threshold₁ …threshold_M}，按照像素点最小值min和最大值max亮度区间划分。每个模块的average与M组亮度阈值进行循环对比，根据对比结果找到各自对位的亮度阈值区间内，并按照如下公式(1)计算出N个模块对应的比例值：

公式(1)中light代表N个模块对应的比例值，根据该比例值light和每个模块的均值average及原始图像像素点f(x,y)，采用如下(2)公式计算出每个像素点亮度缩放后的值out(x,y)：

out(x,y)＝light*f(x,y)+(1-light)*average (2)

计算出每个像素点值out(x,y)，得到亮度拉伸图像并进行固定阈值的二值化得到二进制图鸟瞰图。

可选地，所述采用对车道区域进行识别检测包括，将二进制鸟瞰图检测到的车道线通过逆变矩阵镶嵌到原始图片上，并高亮识别到的车道区域，通过直观的视觉观察，将高亮区域与原图上实际车道区域重合度高的进行保留，将重合度低的识别结果删除掉，并重新调整识别中涉及到的参数，进行重新识别，其步骤为：若识别结果有较大的偏差，则重新找到好的源点即底部和水平线附近的车道线的角落并重新确定好目标点，并获得转换矩阵重新对图片进行透视变化，然后根据光照强度和环境的光照强度，重新设定上述所述中的M组亮度阈值 {threshold₁ … threshold_M}，当图片中的光照效果比较强烈是，对亮度阈值进行整体放大，反之则缩小。以此对图片的亮度和滤波进行重新调节，以达到最佳的识别效果。

可选地，所述识别到的车道区域截取出来作为标签与原始图像进行匹配形成新的数据集包括，将识别到的车道区域对应的高亮区域单独提取出来，生成一个底色为黑色，带有绿色车道区域的图片，将这种识别到的车道区域信息图片作为原始车道图片的数据标签。将生成的图像标签和对应的原始图像分别存储两个不同文件夹，并按照序列号进行相同的命名，并建立一个txt文档分成两列，第一列作为原始车道图片的所在文件夹位置以及其序列号名称，第二列则为对应的标签图像的文件夹位置与其序列号名称。

本发明中采用识别车道可行使区域的方法，可以根据自己所在地收集自己所需要的区域的车道上的道路图片，可以针对收集到的车道信息图片进行分类，根据分类的结果，对车道检测识别算法做出相应的优化调整，使得每张车道区域识别效果达到最佳。然后提取到的识别区域截取出来，作为用于深度学习的车道识别的数据集标签。整个制作过程操作简单，工作量小，可以针对性的采集与制作，而且制作生成的车道标签也是一组图像，可以在视觉上进行验证其标签的准确性。

附图说明

图1是本发明所用到的原始车道图；

图2是本发明校正后的车道图；

图3是滤波后图；

图4是亮度拉伸后效果图；

图5是二值化效果图。

图6是识别图。

图7是差效果识别图。

图8是提取出来的数据标签。

具体实施方式

下面时详细介绍本发明的实施。

本发明是一种深度学习的车道区域识别的数据集标定方法，在实施例中，采用基于边缘检测车道识别方法制作数据集，构建全卷积神经网络对车道进行识别。该方法的实施具体表现为：

1.首先，采用usb高清摄像头拍摄行车过程中的道路视频。视频水平/横向模式拍摄，y 轴为n像素，x轴为m像素，帧速率为w帧/秒。然后将录取好的视频图像按照帧率进行截取，保存成对应的车道信息图片。将车道图片根据道路类型，直道，弯道，斑马线等进行分类，还针对天气情况如晴天，阴天等进行二次分类整理。

2.采集数据集所用的摄像头是广角摄像头，存在一定的畸变，所以需要用相同摄像头拍摄棋盘图来校准摄像头生成相应的畸变矩阵和失真系数。即具体步骤为：用A4纸打印一张棋盘格即黑白相间的矩形构成的棋盘图，固定到硬纸板上，然后用采集数据集的摄相头对着制作好的棋盘图进行拍摄，从不同位置、不同角度、不同姿态下拍摄，拍摄10～20张棋盘图。接下来提取标定这些棋盘图的内角点(横纵坐标上的角点个数)，并且这些角点与硬纸板边缘不接触。然后将棋盘图像转换成为灰度图，接着进行腐蚀和膨胀操作，分别检测黑色以及白色正方形各自的数量是都为棋盘格width/2*height/2，如果符合，那么就能确认这张图片是正常的棋盘格图。生成方格轮廓。对于输入图像，先做膨胀操作。遍历每一个轮廓，如果该轮廓为方格并且其两个对边的长度都相近，那么将这个方格保存到结果中，这些方格即是棋盘格中的小正方形。将前一步生成的方格输入，对于每一个方格，都遍历所有的方格，计算相邻的方格定点的距离，并且找到最近距离的方格，将该方格记做是当前方格的相邻方格。经过了膨胀之后原来相邻的点从一个变成了两个，现在将这两个点用一个点来替代，这个点就是膨胀之前的两个方格的公共交点。寻找相互连接的方格。遍历所有的方格，如果该方格有相邻的方格并且它还没有被归类，则将这个方格归在一个新的group中，之后再考察当前方格的相邻方格，如果相邻方格的相邻方格没有被归类，那么再将新的方格加入group中，最终，group中包含了所有互相连接的方格。将方格排序。将所有的相互连接的方格进行排序，考察每一个方格的相邻方格的个数，并且通过角点的坐标是否在一直线上，可以考察每一个方格位于哪一列哪一行，返回的方格序列以左上角的为首，顺时针排序。剔除多余的方格。如果发现上一步排序后的方格数量超过了输入的棋盘格的width*height，那么就需要将一些不符合要求的方格剔除。我们需要找到的是最小的方格，如果当前四个角点组成的方格可以用更小的四个角点组成的方格替代，那就将大的那个方格剔除。一直循环直到方格的数量等于提供的棋盘格size中方格的数量。检查最终的方格,从一个只有一个相邻方格的方格开始检查，将所有的方格相连的角点位置进行一个更加精确的确定。检查方格是否水平平齐。对于每一行和每一列中所有的角点，考察该角点是否投影在该行或者该列的首位点所形成的线段上，以最终确保棋盘格方格提取的正确性。找出亚像素角点。对于最终提取出来的方格，找到其亚像素的精确角点，返回这些角点。本摄像头的内参数具体矩阵形式如下：

本发明中涉及的摄像头畸变系数是一个四维的向量，具体形式如下：

{k1 k2 k3 k4} (9)

利用标定函数，即可以将上述的摄像头内参数以及畸变系数都求出来。首先初始化外部参数值，紧接着计算这些外部参数的值(利用雅克比矩阵不断迭代运算，最终得到平移矩阵，旋转矩阵和旋转向量)。反复调用外部参数标定，直到所有的参数都达到最优化。利用不确定性评估，得到误差参数，如果误差参数控制在一定的范围内，则确认通过。最终返回摄像头内参数和畸变系数。初始化未畸变的校正图，透镜畸变前后图像坐标变换的公式如下：

(u-c_x′)/f_x′→x (10)

(v-c_y′)/f_y′→x (11)

R^-1*[xy]^T→[XYW]^T (12)

X/W→x′ (13)

Y/W→y′ (14)

x′(1+k₁r²+k₂r⁴+k₃r⁶)+2p₁x′y′+p₂(r²+2x′²)→x″ (15)

y′(1+k₁r²+k₂r⁴+k₃r⁶)+2p₂x′y′+p₁(r²+2x′²)→y″ (16)

y″f_y+c_y→mapx(u,v) (17)

x″f_x+c_x→mapx(u,v) (18)

通过上述公式完成了畸变前后的对应关系：由图像坐标系反变换到相机坐标系中。一般无校正变换的相机，默认为单位矩阵。归一化处理后，并进行摄像头透镜畸变处理，由此，得到由图像模型到透镜畸变模型相互变换的对应关系。在摄像头标定过程中的内参数和畸变系数与公式中对应。利用上一步得到的mapx和mapy的对应关系，将畸变图形通过校正得到正常的图片如图2。

3.针对校正好的图片，找到好的源点即底部和水平线附近的车道线的角落并确定好目标点(图像变换到的位置)以透视变换图像来获得转换矩阵，其本质则是将图像投影到一个新的视平面，即具体为先自下而上按列扫描，标记第一次遇到前景点的作为候选道路边界特征点；再自中间向左右两侧按行扫描；标记左侧第一次遇到的候选特征点作为左边界特征点，右侧第一次遇到的候选特征点作为右边界特征点。以两个特征点选取一个梯形区域表征近视野的路面，将梯形区域通过透视变换映射为一个矩形区域，由此得到透视变换矩阵：

公式(19)中(u,v)为原始图像像素坐标，(x＝x′/w′,y＝y′/w′)为变换之后的图像像素坐标。透视转换矩阵图解：

T₂＝[a₁₃ a₂₃]^T (22)

T₃＝[a₃₁ a₃₂] (23)

其中公式(20)T₁表示图像线性变换，T₂表示产生图像透视变换，T₃表示图像平移。通过透视变换矩阵将图像扭曲成鸟瞰的道路图，当然源点和目标点需要根据自己的实际图片进行选择，因为拍摄道路视野角度不同，源点和目标点也需要做出相应改变，根据选择的相关值来获得变形后的鸟瞰图。这样可以提高模型在小于清晰车道线的区域的稳健性。

4.对车道线环境进行滤波处理如图3所示，其具体执行步骤：构建k*k矩阵并做二值化处理，二值化矩阵对鸟瞰图进行循环扫描，以二值化矩阵的中心点作为扫描起始点，对扫描重合的区域进行加权平均运算，将运算结果赋值给中心点所在区域，依此轮询，直到该矩阵通过其中心点将原图像全部扫描一次，运算处理后得到的结果图和原鸟瞰图进行差值运算，得滤波后的图像。对滤波后的图中车道线区域进行亮度提升如图4所示，具体执行步骤为，将图像分为N个w*h的小模块，对每个模块中像素点求均值average，设定M组亮度阈值{threshold₁ … threshold_M}，按照像素点最小值min和最大值max亮度区间划分。每个模块的average与M组亮度阈值进行循环对比，根据对比结果找到各自对位的亮度阈值区间内，并按照如下公式(24)计算出N个模块对应的比例值：

公式(1)中light代表N个模块对应的比例值，根据该比例值light和每个模块的均值average及原始图像像素点f(x,y)，采用如下(25)公式计算出每个像素点亮度缩放后的值out(x,y)：

out(x,y)＝light*f(x,y)+(1-light)*average (25)

计算出每个像素点值out(x,y)，得到亮度拉伸图像并进行固定阈值的二值化得如图5所示。增强滤波图片亮度后，捕捉车道线具体过程为，将图像根据左右车道进行分割为两份，分别对两副图做相同的车道线捕捉处理，检测高于设定最高阈值max_threshold的像素点，去除掉低于最低阈值min_threshold的像素点，再检测像素值介于max_threshold与min_threshold之间的像素值并且该像素点需与高于max_threshold的像素点进行连接，在经过Hough变换，并设定一条直线中可接受输出直线的最短长度和一条直线中两点间隔的最大距离，得到一系列许多直线，计算每条直线斜率并求其均值，将斜率均值一定区间之外的斜率直线去除。对剩下的直线的斜率再取均值，根据新的均值斜率重新进行划线，得到所需车道直线。

5.使用逆变形矩阵把鸟瞰二进制图检测的车道镶嵌回原图，并高亮车道区域如图6所示。车道图上的车道区域通过上述算法被高亮显示。可以通过最为直观的视觉判断显示区域与实际期望的识别区域的重合度，来判断此次识别效果是否成功，如果效果不佳，可以对上述步骤中3，4中涉及到的参数根据实际情况在做调整，使得最后的识别效果能够达到最佳。具体调整实施步骤：若识别到的车道区域有偏差如图7所示，识别结果有较大的偏差，则重新调整步骤3，重新找到好的源点即底部和水平线附近的车道线的角落并确定好目标点，即重新标记左侧第一次遇到的候选特征点作为左边界特征点，右侧第一次遇到的候选特征点作为右边界特征点，并获得转换矩阵重新对图片进行透视变化，然后根据光照强度和环境的光照强度，重新设定步骤4中的M组亮度阈值{threshold₁ … threshold_M}，当图片中的光照效果比较强烈是，对亮度阈值进行整体放大，反之则缩小。以此对图片的亮度和滤波进行重新调节，达到最佳的识别效果如图6的效果程度。

最后将高亮区域提取出来作为数据集的数据标签如图8。将生成的图像标签和对应的原始图像分别存储两个不同文件夹，并按照序列号进行相同的命名，并建立一个文档分成两列，第一列作为原始车道图片的所在文件夹位置以及其序列号名称，第二列则为对应的标签图像的文件夹位置与其序列号名称，由此构建成一个车道数据集。

Claims (4)

1.基于深度学习的车道区域识别的数据集标定方法，其特征在于，包括：对车道区域进行识别检测，并将识别到的车道区域映射图截取出来作为数据标签；其执行步骤为：

A采用摄像头拍摄车辆行驶过程中的道路图片，将图片按照直道，弯道，含有斑马线的直道，强光弱光进行分类；

B.采用一组棋盘格图片计算相机校准矩阵和失真系数，通过两组系数对车道图片进行畸变校正；

C.截取感兴趣区域，仅对包含车道线信息的图像区域进行处理；

D.对感兴趣区域进行透视变换得鸟瞰图，并对鸟瞰图进行滤波处理；

E.增强鸟瞰图车道线亮度，并进行二值变换，捕捉二进制鸟瞰图中车道线包括:将图像分为N个w*h的小模块，对每个模块中像素点求均值average，设定M组亮度阈值{threshold₁…threshold_M}，按照像素点最小值min和最大值max亮度区间划分，每个模块的average与M组亮度阈值进行循环对比，根据对比结果找到各自对位的亮度阈值区间内，并按照如下公式(1)计算出N个模块对应的比例值：

公式(1)中light代表N个模块对应的比例值，根据该比例值light和每个模块的均值average及原始图像像素点f(x,y)，采用如下(2)公式计算出每个像素点亮度缩放后的值out(x,y)：

out(x,y)＝light*f(x,y)+(1-light)*average

(2)

计算出每个像素点值out(x,y)，得到亮度拉伸图像并进行固定阈值的二值化得到二进制图鸟瞰图；

F.将二进制鸟瞰图检测到的车道线通过逆变矩阵镶嵌到原始图上，并采用绿色通道高亮检测识别到的车道区域；

H.提取高亮区域制作成数据集标签。

2.根据权利要求1所述的方法，其特征在于，步骤D针对车道线环境进行滤波处理，其具体执行步骤：构建k*k矩阵并做二值化处理，二值化矩阵对鸟瞰图进行循环扫描，以二值化矩阵的中心点作为扫描起始点，对扫描重合的区域进行加权平均运算，将运算结果赋值给中心点所在区域，依此轮询，直到该矩阵通过其中心点将原图像全部扫描一次，运算处理后得到的结果图和原鸟瞰图进行差值运算，得滤波后的图像。

3.根据权利要求1所述的方法，其特征在于，步骤E中增强滤波图片亮度后，捕捉车道线具体过程为，将图像根据左右车道进行分割为两份，分别对两副图做相同的车道线捕捉处理，检测高于设定最高阈值max_threshold的像素点，去除掉低于最低阈值min_threshold的像素点，再检测像素值介于max_threshold与min_threshold之间的像素点并且该像素点需与高于max_threshold的像素点进行连接，再经过Hough变换，并设定一条直线中可接受输出直线的最短长度和一条直线中两点间隔的最大距离，得到一系列直线，计算每条直线斜率并求其均值，将斜率均值一定区间之外的斜率直线去除，对剩下的直线的斜率再取均值，根据新的均值斜率重新进行划线，得到所需车道直线。

4.根据权利要求1所述的方法，其特征在于，步骤F中所述将二进制鸟瞰图检测到的车道线通过逆变矩阵镶嵌到原始图片上，并高亮识别到的车道区域，通过直观的视觉观察，将高亮区域与原图上实际车道区域重合度高的进行保留，将重合度低的识别结果删除掉；步骤H中所述的识别到的车道区域对应的高亮区域提取出来，生成一个底色为黑色，带有绿色通道阈值的车道区域图片，将这种识别到的车道区域信息图片作为原始车道图片的数据标签，将生成的图像标签和对应的原始图像分别存储两个不同文件夹，并按照序列号进行相同的命名，并建立一个文档分成两列，第一列作为原始车道图片的所在文件夹位置以及其序列号名称，第二列则为对应的标签图像的文件夹位置与其序列号名称，由此构建成一个车道数据集。

Images