CN109492609B - 一种检测车道线的方法和车辆、及计算设备 - Google Patents

Abstract

本发明公开了一种检测车道线的方法和车辆、及计算设备。其中，检测车道线的方法包括步骤：利用来自耦接到车辆的动态视觉传感器的一系列事件数据生成光流图像，事件由场景中的物体和动态视觉传感器的相对运动而触发；基于光流图像确定出包含车道线起始点的初始的搜索区域；确定初始的搜索区域的重心点；通过对该重心点进行偏移处理来确定新的搜索区域；确定新的搜索区域的重心点；重复迭代确定新的搜索区域、和确定新的搜索区域的重心点的步骤，以得到多个搜索区域的重心点；以及根据多个搜索区域的重心点确定出车道线。

Description

一种检测车道线的方法和车辆、及计算设备

技术领域

本发明涉及辅助驾驶技术领域，尤其涉及一种检测车道线的方案。

背景技术

随着我国汽车工业的快速发展，机动车的保有量逐年攀升，道路交通事故对人类生命和财产安全造成的重大危害也不断凸显。世界卫生组织发布的《道路安全全球现状报告2013》中指出，全世界每年约有124万人死于道路交通，道路交通伤害是全球八大死因之一。

为了改善道路交通安全状况，国内外众多的科研机构、汽车企业均投入大量精力在汽车安全防护***的研究和开发领域。以检测车道线为例，在车辆行驶过程中检测出道路上的车道线，以确保车辆处于车道限制之内，减少车辆因越过车道而与其他车辆发生碰撞的机会。这对于提高行驶安全具有重要的意义。

目前已有的车道线检测技术研究成果中，一般是先对原始图像做预处理(如，边缘检测)以得到图像的边缘信息，再利用得到的边缘信息提取出车道线边缘点，最后通过车道线边缘点拟合出车道曲线。然而这种方法在提取图像边缘的过程中需要较大的计算量，这不仅消耗计算资源，还会影响检测的速度。而在车道线检测的应用场景中，常需要快速检测出车道线来辅助驾驶人员进行决策，以避免交通事故的发生。

鉴于此，需要一种能够快速准确地检测车道线的方案。

发明内容

本发明提供了一种检测车道线的方案，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种检测车道线的方法，适于在计算设备中执行，包括步骤：利用来自耦接到车辆的动态视觉传感器的一系列事件数据生成光流图像，事件由场景中的物体和动态视觉传感器的相对运动而触发；基于光流图像确定出包含车道线起始点的初始的搜索区域；确定初始的搜索区域的重心点；通过对重心点进行偏移处理来确定新的搜索区域；确定新的搜索区域的重心点；重复迭代确定新的搜索区域、和确定新的搜索区域的重心点的步骤，以得到多个搜索区域的重心点；以及根据多个搜索区域的重心点确定出车道线。

可选地，在根据本发明的方法中，动态视觉传感器布置在车辆前端，方法还包括步骤：基于动态视觉传感器的布置位置来预先标定左车道线起始点和右车道线起始点的位置。

可选地，在根据本发明的方法中，基于光流图像确定出包含车道线起始点的初始的搜索区域的步骤包括：基于光流图像确定出包含左车道线起始点的初始的第一搜索区域；基于光流图像确定出包含右车道线起始点的初始的第二搜索区域。

可选地，在根据本发明的方法中，基于光流图像确定出包含车道线起始点的初始的搜索区域的步骤还包括：基于光流图像确定出包含噪声像素的噪声区域。

可选地，在根据本发明的方法中，在确定初始的搜索区域的重心点的步骤之前，还包括步骤：计算噪声区域中噪声像素数占噪声区域的像素总数的比值；若所计算的比值大于阈值，则将上一图像帧的车道线作为当前图像帧的车道线；若所计算的比值小于阈值，则确定初始的搜索区域的重心点。

可选地，在根据本发明的方法中，确定初始的搜索区域的重心点的步骤包括：分别筛选出初始的第一搜索区域和初始的第二搜索区域内满足第一预设条件的像素；分别计算筛选出的像素的位置坐标的均值，作为初始的第一搜索区域和初始的第二搜索区域的重心点。

可选地，在根据本发明的方法中，通过对重心点进行偏移处理来确定新的搜索区域的步骤包括：通过预设规则分别对重心点进行偏移，以分别作为新的搜索区域的中心点；根据新的搜索区域的中心点分别确定处新的第一搜索区域和新的第二搜索区域。

可选地，在根据本发明的方法中，确定新的搜索区域的重心点的步骤包括：分别筛选出新的第一搜索区域和新的第二搜索区域内满足第一预设条件的像素；分别计算筛选出的像素的位置坐标的均值，作为新的第一搜索区域和新的第二搜索区域的重心点。

可选地，在根据本发明的方法中，重复迭代确定新的搜索区域、和确定新的搜索区域的重心点的步骤、以得到各搜索区域的重心点的步骤还包括：当所确定的新的搜索区域满足第二预设条件时，迭代结束，其中第二预设条件包括：新的第一搜索区域的上边界和新的第二搜索区域的上边界均不高于各自的预设位置，其中，预设位置基于动态视觉传感器的布置位置来预先标定。

可选地，在根据本发明的方法中，根据多个搜索区域得重心点确定出车道线的步骤包括：根据各第一搜索区域的重心点和各第二搜索区域的重心点分别拟合出当前图像帧的左车道线和右车道线。

可选地，在根据本发明的方法中，根据各第一搜索区域的重心点和各第二搜索区域的重心点分别拟合出当前图像帧的左车道线和右车道线的步骤包括：利用最小二乘法拟合出当前图像帧的左车道线和右车道线。

可选地，在根据本发明的方法中，事件数据包括被触发事件的坐标位置和时间戳，利用来自耦接到车辆的动态视觉传感器的一系列事件数据生成光流图像的步骤包括：按照时间戳的先后顺序将预定时间段内的事件数据分为预定数目个事件片段；为不同事件片段内的事件分配不同的像素值；以及根据事件的坐标位置和像素值生成光流图像。

可选地，在根据本发明的方法中，为不同事件片段内的事件分配不同的像素值的步骤包括：按照事件发生的时间先后顺序为事件分配不同的像素值，其中，当事件片段内的事件对应的时间戳越大时，为该事件片段内的事件分配的像素值越大，当事件片段内的事件对应的时间戳越小时，为该事件片段内的事件分配的像素值越小。

根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述检测车道线的方法中的任一方法的指令。

根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当计算设备执行时，使得计算设备执行如上所述检测车道线的方法中的任一方法。

根据本发明的再一方面，提供了一种车辆，包括：如上所述的计算设备；和与该计算设备相耦接的动态视觉传感器，适于记录场景中的物体相对于动态视觉传感器的运动，并根据相对运动触发事件生成事件数据。

综上所述，根据本发明的方案，将动态视觉传感器布置在车辆之中，利用其输出的一系列事件数据来生成光流图像，该光流图像携带了车辆行驶过程中的光流信息。而后，从该光流图像中确定出包含左右车道线的各搜索区域、并基于各搜索区域拟合出左右车道线。这样就不需要边缘检测等预处理过程，通过确定搜索区域来实现对车道线关键点的搜索以及对车道线的曲线拟合。因此，根据本发明的车道线检测方案能够大大减少车道线检测的算力，同时还提高了算法的鲁棒性。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一些实施例的车辆100的示意图；

图2示出了根据本发明一些实施例的计算设备200的示意图；

图3示出了根据本发明一个实施例的检测车道线的方法300的流程图；

图4A-图4D示出了根据本发明一个实施例的光流图像及其初始的搜索区域图像的示意图；以及

图5示出了根据本发明一个实施例的光流图像中所确定的搜索区域的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

近年来，动态视觉传感器(Dynamic Vision Sensor，DVS)在计算机视觉领域中得到了越来越多的关注和应用。DVS是一种模拟基于脉冲触发式神经元的人类视网膜的生物拟态视觉传感器。传感器内部具有由多个像素单元构成的像素单元阵列，其中每个像素单元只有在感应到光强变化时，才会响应并记录光强快速变化的区域。关于动态视觉传感器的具体组成此处不做过多阐述。由于DVS采用事件触发的处理机制，故其输出是异步的事件数据流，事件数据流例如是光强变化信息(如，光强变化的时间戳和光强阈值)以及被触发像素单元的坐标位置。基于以上工作原理特性，申请人发现，相比于传统视觉传感器，DVS具有如下优势：1)DVS的响应速度不再受传统的曝光时间和帧速率限制，可以侦测到高达万帧/秒速率运动的高速物体；2)DVS具有更大的动态范围，在低光照或者高曝光环境下都能准确感应并输出场景变化；3)DVS功耗更低；4)由于DVS每个像素单元都是独立响应光强变化，因此DVS不会受运动模糊的影响。

鉴于此，根据本发明的实施方式，提出了一种基于DVS的车道线检测方案，以解决现有技术要消耗大量算力和鲁棒性不足等问题。同时也弥补了目前基于DVS数据的车道线检测方法在公开研究中的空白。

根据本发明的实施方式，提供了一种用于实现车道线检测方案的车辆。图1示出了根据本发明一种实施例的车辆100的示意图。

如图1所示，除了基本的配置外，车辆100上还布置有动态视觉传感器110和检测车道线的装置120。根据一种实施例，动态视觉传感器110布置在车辆100前端，尤其是车辆100的前端的中部位置。如将动态视觉传感器110固定在车辆100的中控台上，但不限于此，只要确保在车辆100的行驶过程中，动态视觉传感器110能够清晰地采集到车辆100外部的环境数据(尤其是能够采集到包含车道线的相关数据)即可。本领域技术人员在布置动态视觉传感器110时，可以依据经验进行多次调试，直到找到满足上述条件的位置为止。此外，动态视觉传感器110还与检测车道线的装置120相耦接，以将采集到的数据传送给装置120，由装置120处理后最终检测出行驶道路上的车道线。

根据一种实现方式，在车辆100的行驶过程中，动态视觉传感器110实时采集场景中的事件数据。当场景中没有物体相对于车辆100(即，动态视觉传感器110)运动时，动态视觉传感器中像素单元的亮度不会发生变化，不会显示任何内容；一旦其检测到场景中的某个物体相对于车辆100发生运动(即，光线发生变化)，就会触发像素事件(或简称为“事件”)，输出动态像素(即，亮度发生变化的像素单元)的事件数据流，该事件数据流中每个事件数据至少包括被触发事件(即，亮度发生变化的像素单元)的坐标位置和被触发时刻的时间戳信息。

同时，检测车道线的装置120可以是布置在车辆100中的一个单独模块，也可以被实现为车辆100的车载设备或者中央控制单元中的一部分，本发明的实施例对此不做限制。在根据本发明的实施方式中，该装置120可以通过计算设备来实现。

图2是示例计算设备200的示意框图。

如图2所示，在基本的配置202中，计算设备200典型地包括***存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和***存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，***存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。***存储器206可以包括操作***220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作***上由一个或多个处理器204利用程序数据224执行指令。

计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备200可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备100也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。甚至可以被实现为服务器，如文件服务器、数据库服务器、应用程序服务器和WEB服务器等。本发明的实施例对此均不做限制。

在根据本发明的实施例中，计算设备200被配置为执行根据本发明的检测车道线的方法300。其中，计算设备200的应用222中包含执行根据本发明的方法300的多条程序指令。

图3示出了根据本发明一个实施例的检测车道线的方法300的流程图。如图3所示，方法300始于步骤S310。

在步骤S310中，利用来自耦接到车辆100的动态视觉传感器110的一系列事件数据生成光流图像。如前文所述，事件是由场景中的物体和动态视觉传感器110的相对运动而触发的，动态视觉传感器110输出的事件数据包括被触发事件的坐标位置和被触发时刻的时间戳。

在根据本发明的实施方式中，每隔预定时间段就将动态视觉传感器110输出的一系列事件数据生成光流图像。预定时间段的长度可以根据经验和实际场景设置，例如20毫秒、40毫秒、60毫秒等，本发明的实施例对此不做过多限制。可选地，采用如下方式生成光流图像。

首先，按照时间戳的先后顺序将预定时间段内的事件数据分为预定数目个事件片段。在根据本发明的一个实施例中，预定数目取255。例如，将预定时间段内的事件数据按照时间戳的先后顺序分成255个事件片段。需要说明的是，本发明实施例对分得的各事件片段的长度不做限制，在一些优选的实施例中，各事件片段的长度基本保持一致。

其次，为不同事件片段内的事件分配不同的像素值。在根据本发明的实施方式中，为一个事件片段内的全部事件赋同一个像素值，并且，按照事件发生的时间先后顺序为事件分配不同的像素值。优选地，当事件片段内的事件对应的时间戳越大时(即，越后发生的事件)，为该事件片段内的事件分配的像素值也越大；反之，当事件片段内的事件对应的时间戳越小时(即，越先发生的事件)，为该事件片段内的事件分配的像素值也越小。例如，将1～255这255个灰度值按照时间戳的先后顺序依次分配给255个事件片段内的事件。

最后，根据事件的坐标位置和像素值生成光流图像。根据一种实施例，设置光流图像的尺寸与动态视觉传感器110中像素单元阵列的尺寸一致，这样，光流图像中的每个像素点对应动态视觉传感器110中的每个像素单元。在光流图像的各像素点写入对应被触发事件所分配到的像素值，而其它没有被触发事件对应的像素点的像素值均为0。

应当指出，上文中提及的预定数目也可以是其它任何大于1的整数值(不限于255)。这里预定数目取255，是为了与传统的灰度图像的像素值(8bit量化，像素值为0～255)保持一致，以便生成的光流图像具有很好的视觉效果(为便于描述，下文实施例均以此为例，即预定数目取255，生成的光流图像的像素值也设置在0～255之间)。本领域技术人员据此可以想到，在10bit量化的场景中，可以将预定数目设为1023，将1～1023这1023个灰度值按照时间戳的先后顺序依次分配给1023个事件片段内的事件；当然，像素值也不局限于灰度值，也可以为不同时刻的事件分配表征不同颜色的像素值，等等，此处不做过多限制。

随后在步骤S320中，基于所生成的光流图像确定出包含车道线起始点的初始的搜索区域。

通常光流图像中至少要同时包含车辆100当前行驶的车道上的左车道线和右车道线。根据一种实施方式，所确定的初始的搜索区域应当既包含左车道线的起始点、又包含右车道线的起始点。在一种实施例中，确定初始的搜索区域的步骤包括：基于该光流图像确定出包含左车道线起始点的初始的第一搜索区域，同时，基于该光流图像确定出包含右车道线起始点的初始的第二搜索区域。本发明的实施例对初始的第一搜索区域和初始的第二搜索区域的尺寸大小不做过多限制，并且初始的第一搜索区域和初始的第二搜索区域的尺寸可以不相同，只要保证初始的第一搜索区域和初始的第二搜索区域中分别包含左右车道线起始点的像素即可。因此，只要确定了左右车道线起始点的位置，就可以确定出初始的搜索区域，即初始的第一搜索区域和初始的第二搜索区域。

下面示出一种根据本发明实施方式的确定车道线起始点位置的方法：在确定初始的搜索区域之前，先按照先验知识分别设定场景中左车道线的起始点和右车道线起始点的位置。先验知识例如是参照车辆100中动态视觉传感器110的布置位置。在一种优选的实施例中，基于动态视觉传感器110的布置位置来预先标定左车道线起始点和右车道线起始点的位置。也就是说，在布置好动态视觉传感器110之后，就可以事先标定出左、右车道线起始点在光流图像中的大致位置。一般地，车道线的起始点位于光流图像的下方区域，其中，左车道线的起始点通常在光流图像的左下方，右车道线的起始点通常在光流图像的右下方。需要说明的是，在标定车道线起始点的同时，还可以相应地调整动态视觉传感器110的布置位置，本发明对此不做过多限制，只要确保利用来自动态视觉传感器110的事件数据所生成的光流图像中包含左车道线和右车道线即可。

根据另一种实施方式，在确定初始的搜索区域的同时，还包括步骤：基于光流图像确定出包含噪声像素的噪声区域。应当理解，在车辆100行驶过程中，车道线起始点一般位于光流图像的下方区域且分布在两侧，而光流图像中下方区域的中间部分(即两个车道线起始点之间部分)所对应的像素坐标并没有被触发。也就是说，其对应的像素值为0。在一种优选的实施例中，选取光流图像中下方区域作为噪声区域。同样，本发明的实施例对噪声区域的尺寸大小亦不做限制，只要保证噪声区域包含车辆100行驶过程中前部道路的像素点即可。

图4A-图4D示出了根据本发明一个实施例的光流图像及其初始的搜索区域图像的示意图。从图4A可知，图4A示出的是一个车辆右转的场景，其光流图像为灰度图，不同的灰度值代表事件像素发生的先后顺序，越后发生的事件，其对应像素的灰度值越大。如前文所述，为可视化效果，亦可以将对应不同事件片段内的像素点用不同的颜色来表示，例如用红色表示时间戳较大的事件片段内对应的像素，用蓝色表示时间戳较小的事件片段内对应的像素，本发明的实施例不受限于此。图4B-图4D分别示出了从图4A中所确定的初始的搜索区域的图像和噪声区域的图像。其中，图4B示出的是包含左车道线起始点的初始的第一搜索区域，图4C示出的是包含右车道线起始点的初始的第二搜索区域，图4D示出的是噪声区域。此外，由于图4A的光流图像指向的是车辆右转场景，依据透视原理，右车道线所占的像素比例要大于左车道线的，故所确定的初始的第二搜索区域的尺寸大于初始的第一搜索区域的尺寸。

在随后的步骤S330中，确定初始的搜索区域的重心点。

根据本发明的实施方式，通过如下两步来确定上述搜索区域的重心点。

第一步，分别筛选出初始的第一搜索区域和初始的第二搜索区域内满足第一预设条件的像素。具体来说，筛选出初始的第一搜索区域内满足第一预设条件的像素，作为第一集合；同时筛选出初始的第二搜索区域内满足第一预设条件的像素，作为第二集合。第一预设条件可以是各搜索区域内像素的像素值分别大于预设值(预设值例如可以是1～127之间的任意值，但不限于此，预设值可以参照生成光流图像时的像素值范围来设置，预设值越大，表示所筛选出的像素对应的事件越晚被触发)。总之，只要该像素对应被触发事件，就可以确认该像素满足第一预设条件。

第二步，分别计算筛选出的像素的位置坐标的均值，作为初始的第一搜索区域和初始的第二搜索区域的重心点。接上一步骤的描述，计算第一集合中所有像素的坐标位置的均值，并将该均值指向的坐标位置作为初始的第一搜索区域的重心点位置，记作第一重心；同时，计算第二集合中所有像素的坐标位置的均值，并将该均值指向的坐标位置作为初始的第二搜索区域的重心点位置，记作第二重心。

根据本发明的再一些实施方式，为进一步提高检测结果的准确性，在确定搜索区域的重心点之前，先判断所确定的搜索区域(或者说，本次所采集的事件数据)是否可信。根据判断结果来执行后续步骤：若判断结果是可信的，则按照如上所述的两个步骤来确定初始的搜索区域的重心点；若判断结果是不可信的，则不再继续执行后续步骤，直接延续上一图像帧的车道线作为当前图像帧的车道线。

可选地，依据所生成的噪声区域中的噪声比例来执行上述判断的步骤。具体地，先计算噪声区域中噪声像素数占噪声区域的像素总数的比值。如前文所述，在噪声区域中，像素值大于0的像素即确定为噪声像素。在一些实施例中，通过统计噪声像素的直方图来计算出噪声像素所占的比值，但不限于此。而后根据计算出的比值来判断搜索区域是否可信，通常当噪声区域中噪声比例过大时，就认为该搜索区域不可信。根据一种实施例，当所计算的比值大于阈值时，就不再进行后续处理，直接将上一图像帧的车道线作为当前图像帧的车道线；当所计算的比值小于阈值时，再继续执行步骤S330来确定初始的搜索区域的重心点。

随后在步骤S340中，通过对所确定的重心点进行偏移处理来确定新的搜索区域。

根据一种实施方式，采用如下方式来对重心点进行偏移处理。

(1)通过预设规则分别对初始的第一搜索区域的重心点(即第一重心)和初始的第二搜索区域的重心点(即第二重心)进行偏移，以分别得到新的搜索区域的中心点。在一种实施例中，预设规则设置为：针对左车道线，将第一重心水平向右且垂直向上偏移一定的位移量；针对右车道线，将第二重心水平向左且垂直向上偏移一定的位移量。应当指出，根据上述预定规则，可以直接将第一重心向右上方方向移动一定的位移量，将第二重心向左上方方向移动一定的位移量；也可以分两步执行，先将第一重心(或第二重心)水平向右(或水平向左)移动一定的位移量、再垂直向上移动一定的位移量；或者先垂直向上移动一定的位移量、再水平向右或水平向左移动一定的位移量。本发明的实施例对此均不做过多限制。此外，关于偏移的位移量，可以根据动态视觉传感器110的布置位置来设置，同样可以标定左右车道线起始点位置时设置相应的偏移位移量。本发明的实施例对位移量的值不做过多限制，只要保证每次偏移后所形成的新的搜索区域能包含车道线的像素点即可。

(2)根据新的搜索区域的中心点分别确定出新的第一搜索区域和新的第二搜索区域。根据本发明一种实施例，以新的第一搜索区域的中心点为中心坐标来构建出新的第一搜索区域，以新的第二搜索区域的中心点为中心坐标来构建出新的第二搜索区域。需要说明的是，所构建的新的搜索区域(即新的第一搜索区域、新的第二搜索区域)的尺寸与初始的搜索区域(即对应的初始的第一搜索区域、初始的第二搜索区域)的尺寸可以保持一致、也可以不一致，本发明的实施例对此不做过多限制。

随后在步骤S350中，确定新的搜索区域的重心点。

根据一种实施例，确定新的搜索区域的重心点的步骤包括：第一步，分别筛选出新的第一搜索区域和新的第二搜索区域内满足第一预设条件的像素；第二步，分别计算筛选出的像素的位置坐标的均值，作为新的第一搜索区域和新的第二搜索区域的重心点。更具体的描述可参考前文步骤S330中的相关描述，此处不再赘述。

基于步骤S340和步骤S350，就可以确定出对应左车道线的新的第一搜索区域及其重心点、和对应右车道线的新的第二搜索区域及其重心点。随后，在步骤S360中，重复迭代确定新的搜索区域的步骤和确定新的搜索区域的重心点的步骤(即，重复迭代步骤S340和步骤S350)，以得到多个搜索区域的重心点。

同前文所述，不管是对应左车道线的第一搜索区域、还是对应右车道线的第二搜索区域，均可以设置新的搜索区域的尺寸与上一个对应的搜索区域的尺寸保持一致；当然，也可以在每次偏移后设置不一样的尺寸，例如，依据透视关系，设置偏移后生成的新的搜索区域的尺寸小于偏移前的搜索区域的尺寸。

具体来说就是，在得到初始的搜索区域的重心点后，通过执行步骤S340来对该重心点进行偏移处理，得到新的搜索区域的中心，根据这个中心构建出新的搜索区域，再通过执行步骤S350来确定出新的搜索区域的重心点；而后，对新的搜索区域的重心点进行偏移处理来作为再一个新的搜索区域的中心(即，步骤S340)，并根据这个中心构建出再一个新的搜索区域，再通过执行步骤S350来确定所构建的再一个新的搜索区域的中心点；……；以此类推，直到所确定的新的搜索区域满足第二预设条件时，迭代结束。根据本发明的实施例，第二预设条件包括：在每次确定出新的搜索区域后，判断新的搜索区域的上边界是否高于预设位置，若高于预设位置则迭代结束，不再计算该新的搜索区域的重心点。也就是说，判断新的第一搜索区域的上边界是否高于对应左车道线的预设位置，若高于该预设位置，则关于左车道线的迭代结束，后续依据在此之前所确定的多个重心点来确定出左车道线；判断新的第二搜索区域的上边界是否高于对应右车道线的预设位置，若高于该预设位置，则关于右车道线的迭代结束，后续依据在此之前所确定的多个重心点来确定出右车道线。

其中，预设位置也可以基于动态视觉传感器110的布置位置来预先标定。一般地，在布置好动态视觉传感器110的位置后，基于其位置预先标定出地平线的大致位置，作为预设位置。应当指出，左右车道线上的预设位置可以不相同。本发明的实施例对此不做限制。同时，对第一搜索区域和第二搜索区域的偏移处理是分别进行的，本发明的实施例并不限制对第一搜索区域和第二搜索区域进行偏移的次数必须一致。

至此，经步骤S320确定出了左右车道线对应的初始的第一搜索区域和初始的第二搜索区域，即初始的搜索区域，又经步骤S340～步骤S360，对初始的搜索区域进行连续多次偏移，得到了多个新的第一搜索区域和新的第二搜索区域。换句话说，针对左车道线，确定出了多个第一搜索区域(包括初始的和经偏移后确定的新的第一搜索区域)；针对右车道线，也确定出了多个第二搜索区域(包括初始的和经偏移后确定的新的第二搜索区域)。

图5示出了根据本发明一个实施例的光流图像中所确定的搜索区域的示意图。如图5所示，在图像左侧区域，先确定初始的搜索区域510，在对其重心点进行偏移处理后就确定出了新的搜索区域，最终经4次迭代后得到了确定出其他4个搜索区域。这样，确定的包含左车道线的第一搜索区域共有5个，后续通过对这5个搜索区域中的重心点进行拟合即得出左车道线的大致曲线。同样地，在图像右侧区域，先确定初始的搜索区域520，在对其重心点进行偏移处理后就确定出了新的搜索区域，最终经9次迭代后得到了其他9个搜索区域。这样，确定的包含右车道线的第二搜索区域共有10个，后续通过对这10个搜索区域中的重心点进行拟合即得出右车道线的大致曲线。需要说明的是，图5仅作为示意，以形象说明根据本发明实施例所确定的各搜索区域的位置和形状，本发明实施例并不限于此。

之后，在步骤S370中，根据上述这些搜索区域(包括多个第一搜索区域和多个第二搜索区域)各自的重心点确定出车道线。

根据一种实施例，根据各第一搜索区域的重心点和各第二搜索区域的重心点分别拟合出当前图像帧的左车道线和右车道线。换句话说，针对初始的第一搜索区域和经多次迭代后生成的多个新的第一搜索区域，根据其各自的重心点拟合出当前图像帧的左车道线；同样，针对初始的第二搜索区域和经多次迭代后生成的多个新的第二搜索区域，根据其各自的重心点拟合出当前图像帧的右车道线。

根据本发明的一个实施例，采用最小二乘法，根据各第一搜索区域的重心拟合出当前图像帧的左车道线，并根据各第二搜索区域的重心拟合出当前图像帧的右车道线。应当指出，本发明的实施例并不限制采用何种拟合方法来进行曲线拟合，任何拟合算法均可以与本发明的实施例相结合，以根据各搜索区域的重心

针对现有技术中算力大且鲁棒性不足的问题，本发明提出了一种基于DVS的车道线检测方案。根据本发明的方法300，考虑到动态视觉传感器对边缘信息敏感这一特性，直接将动态视觉传感器布置在车辆之中，利用其输出的一系列光流数据生成光流图像。该光流图像中携带了车辆行驶过程中的光流信息。同时，在生成光流图像时，将光流图像的像素值大小与对应像素上事件被触发时刻的先后顺序相对应，以便于后期确定搜索区域，再根据搜索区域拟合出车道线。

根据本发明的方案不需要边缘检测等预处理过程，通过确定搜索区域来实现对车道线关键点的搜索以及对车道线的曲线拟合。因此减少了车道线检测的算力，同时也提高了其鲁棒性。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (16)

1.一种检测车道线的方法，适于在计算设备中执行，所述方法包括步骤：

利用来自耦接到车辆的动态视觉传感器的一系列事件数据生成光流图像，事件由场景中的物体和动态视觉传感器的相对运动而触发，且所述事件数据包括被触发事件的坐标位置和时间戳；

基于所述光流图像确定出包含车道线起始点的初始的搜索区域；

确定所述初始的搜索区域的重心点，包括步骤：筛选出初始的搜索区域内满足第一预设条件的像素，计算筛选出的像素的坐标位置的均值，作为初始的搜索区域的重心点，其中当所述像素对应被触发事件时，确认所述像素满足第一预设条件；

通过对所述重心点进行偏移处理来确定新的搜索区域；

确定所述新的搜索区域的重心点；

重复迭代所述确定新的搜索区域、和所述确定新的搜索区域的重心点的步骤，以得到多个搜索区域的重心点；以及

根据多个搜索区域的重心点确定出车道线。

2.如权利要求1所述的方法，其中，所述动态视觉传感器布置在车辆前端，

所述方法还包括步骤：

基于所述动态视觉传感器的布置位置来预先标定左车道线起始点和右车道线起始点的位置。

3.如权利要求2所述的方法，其中，所述基于光流图像确定出包含车道线起始点的初始的搜索区域的步骤包括：

基于所述光流图像确定出包含左车道线起始点的初始的第一搜索区域；

基于所述光流图像确定出包含右车道线起始点的初始的第二搜索区域。

4.如权利要求3所述的方法，其中，所述基于光流图像确定出包含车道线起始点的初始的搜索区域的步骤还包括：

基于光流图像确定出包含噪声像素的噪声区域。

5.如权利要求4所述的方法，其中，在所述确定初始的搜索区域的重心点的步骤之前，还包括步骤：

计算所述噪声区域中噪声像素数占所述噪声区域的像素总数的比值；

若所计算的比值大于阈值，则将上一图像帧的车道线作为当前图像帧的车道线；

若所计算的比值小于阈值，则确定初始的搜索区域的重心点。

6.如权利要求5所述的方法，其中，所述确定初始的搜索区域的重心点的步骤包括：

分别筛选出初始的第一搜索区域和初始的第二搜索区域内满足第一预设条件的像素；

分别计算筛选出的像素的位置坐标的均值，作为初始的第一搜索区域和初始的第二搜索区域的重心点。

7.如权利要求6所述的方法，其中，所述通过对重心点进行偏移处理来确定新的搜索区域的步骤包括：

通过预设规则分别对所述重心点进行偏移，以分别作为新的搜索区域的中心点；

根据所述新的搜索区域的中心点分别确定出新的第一搜索区域和新的第二搜索区域。

8.如权利要求7所述的方法，其中，所述确定新的搜索区域的重心点的步骤包括：

分别筛选出新的第一搜索区域和新的第二搜索区域内满足第一预设条件的像素；

分别计算筛选出的像素的位置坐标的均值，作为新的第一搜索区域和新的第二搜索区域的重心点。

9.如权利要求8所述的方法，其中，所述重复迭代确定新的搜索区域、和所述确定新的搜索区域的重心点的步骤、以得到各搜索区域的重心点的步骤还包括：

当所确定的新的搜索区域满足第二预设条件时，迭代结束，

其中所述第二预设条件包括：新的第一搜索区域的上边界和新的第二搜索区域的上边界分别高于各自的预设位置，其中，所述预设位置基于所述动态视觉传感器的布置位置来预先标定。

10.如权利要求9所述的方法，其中，所述根据多个搜索区域的重心点确定出车道线的步骤包括：

根据各第一搜索区域的重心点和各第二搜索区域的重心点分别拟合出当前图像帧的左车道线和右车道线。

11.如权利要求10所述的方法，其中，所述根据各第一搜索区域的重心点和各第二搜索区域的重心点分别拟合出当前图像帧的左车道线和右车道线的步骤包括：

利用最小二乘法拟合出当前图像帧的左车道线和右车道线。

12.如权利要求1-11中任一项所述的方法，其中，

所述利用来自耦接到车辆的动态视觉传感器的一系列事件数据生成光流图像的步骤包括：

按照时间戳的先后顺序将预定时间段内的事件数据分为预定数目个事件片段；

为不同事件片段内的事件分配不同的像素值；以及

根据所述事件的坐标位置和像素值生成光流图像。

13.如权利要求12所述的方法，其中，所述为不同事件片段内的事件分配不同的像素值的步骤包括：

按照事件发生的时间先后顺序为事件分配不同的像素值，

其中，当事件片段内的事件对应的时间戳越大时，为该事件片段内的事件分配的像素值越大，当事件片段内的事件对应的时间戳越小时，为该事件片段内的事件分配的像素值越小。

14.一种计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-13所述方法中的任一方法的指令。

15.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-13所述的方法中的任一方法。

16.一种车辆，其中，所述车辆包括：

如权利要求14所述的计算设备；和

与所述计算设备相耦接的动态视觉传感器，适于记录场景中的物体相对于动态视觉传感器的运动，并根据相对运动触发事件生成事件数据。

Images