CN103954275A - 基于车道线检测和gis地图信息开发的视觉导航方法 - Google Patents

Abstract

本发明公开了一种基于车道线检测和GIS地图信息开发的视觉导航方法，该方法首先采集GIS地图信息并进行预处理，然后实时采集图像并进行车道线检测，同时实时生成GIS局部地图，将车道线检测结果与GIS局部地图通过ICP算法进行匹配校验，最终根据匹配结果生成可信度高的车道线结果。该方法既能通过地理信息***对车道线检测结果进行可信度评价，在出现误检或漏检时进行校正，扩大车道检测算法的适用范围，又能通过视觉感知信息提高地图定位的精度，从而提高整个智能驾驶及辅助驾驶***中视觉导航***的性能，使***能够适应更加复杂的环境。

Description

基于车道线检测和GIS地图信息开发的视觉导航方法

技术领域

本发明属于无人驾驶智能控制领域，涉及一种车辆智能驾驶的视觉导航方法，尤其是一种基于车道线检测和地理信息***（Geographic InformationSystem，GIS）地图信息相结合所开发的视觉导航方法，用于实时评价和校验传统车道线检测结果的可靠性，提高智能驾驶视觉导航的精度。

背景技术

视觉导航是智能驾驶以及辅助驾驶中的关键技术步骤，是通过对视觉数据的处理(一般为图像数据)，提取环境中有用的信息，为驾驶决策提供可靠依据。车道线检测是其中一个重要方面，一般通过前视相机采集图像进行图像处理，获得路面情况的信息，包括在城市、乡村及高速等不同场景下车道线的数量、位置、宽度和交汇分叉等。车道线检测主要分为以下几个模块：图像预处理，特征提取，车道模型拟合，时域关联以及图像和世界坐标的转换。目前的车道线检测***能满足在基本场景下的要求，但基于视觉的方法会受到多种因素的影响，比如道路多障碍物，路面标记不清，天气影响以及光照变化等。这些因素会导致***出现误检和漏检，而且***缺少对检测结果的校验和可信度的评价。另一方面，地理信息***（GIS），GPS以及惯性测量单元（IMU）也开始广泛运用于自动驾驶及辅助驾驶的定位和导航中。其测量和定位的精度是关键问题。目前的商业用途的GPS能达到5-10m的精度范围，结合惯性导航单元可以提高到1-2m，但是对车道精度下车的导航行驶则需要对精度提出更高的要求。如何设计实现对车道检测进行校验和评价，使检测方法适应不同的复杂环境，增强算法的鲁棒性，提高检测结果可信度，同时提高定位和导航的精度的方法已成为汽车自动驾驶及辅助驾驶的研究热点之一。

发明内容

本发明的目的在于克服上述的技术缺陷，提供一种基于车道线检测和GIS地图信息开发的视觉导航方法，该视觉导航方法既能通过地理信息***对车道线检测结果进行可信度评价，在出现误检或漏检时进行校正，扩大车道检测算法的适用范围，又能通过视觉信息提高地图定位的精度，从而提高整个视觉导航***的性能。

为达到上述目的，本发明采用了以下技术方案。

本发明假设初始状态时车体定位在给出的GIS地图中，得到初始化数据后，实时更新局部地图，然后和车道线检测结果进行匹配校验。

为了保证本发明的稳定性和适用性，该方法基于如下几个假设：1.已经将GIS地图信息经过预处理，给出车将要行驶路段的道路边缘点以及相应的路口点作为先验信息；2.给出的GPS道路边缘点与路口点均为顺序存储结构，依次对应于车辆行驶的路段并指导车辆按该路径行驶；3.由GPS及惯性导航单元定位的误差及精度在可接受范围（半个车道宽度约2m）以内。

本发明所述方法主要包括以下步骤：

1）预先采集GIS地图信息并进行预处理；

2）实时采集图像并进行车道线检测；

3）实时生成GIS局部地图；

4）将车道线检测结果与GIS局部地图进行匹配校验；

5）根据匹配结果生成可信度高的车道线结果。

所述步骤1）中，通过位姿测量设备预先采集全局地图的道路边缘数据，并对道路边缘数据进行光滑滤波处理，得到全局地图的道路边缘点集。

所述步骤2）中，通过图像采集设备（包括车载数字相机和固定焦距镜头等），采用基于单目视觉的、时域关联下进行特征提取以及车道模型拟合的检测方法实时检测路面车道线。

所述步骤3）中，通过位姿测量设备（包括惯性组合导航***，光纤陀螺，车载里程计和前轮转角测量计等），实时获得当前车***置，并在GIS全局地图中定位，然后按照局部地图模型生成局部环境地图。

所述步骤4）中，结合步骤2）与步骤3）的结果，在相同尺度下运用迭代最近点（Iterative Closest Point，ICP）算法对车道线检测结果与GIS局部道路边缘进行滑动匹配校验，获得最佳匹配位置及最大匹配误差，匹配时根据车道线模型以及局部地图模型分组匹配，选择匹配最优的一组。

所述步骤5）中，根据步骤4）得到的匹配结果，将最佳匹配位置下的最大匹配误差与阈值相比较，确定车道线检测结果的可信度，然后修正平移距离及定位的位置信息。

若检测结果不可信，则按照道路边缘线生成虚拟车道线。

通过车道线位置约束提高检测结果的正确性和稳定性，最终选择相应方案生成精确度高的车道线结果。

本发明的有益效果体现在：

本发明首先由GIS提供车辆所行驶区域的全局地图的道路边缘信息，然后得到GIS局部地图信息以及检测到的局部的车道线结果，接下来GIS信息与车道线检测结果相互匹配校验，由GIS信息来修正车道线的走向和趋势，同时由视觉车道线检测结果修正GIS提供的道路边缘与车道线间的位置关系，最终发送可信度及精确度高的车道线结果。加入GIS地图信息的目的是通过以地图上的道路边缘为先验，由曲线走向趋势的匹配程度来校正车道线存在的误检和漏检。在曲线的整体趋势上，GIS地图信息有较高的可信度，因此可以由此来校正车道线；但对于位置精度，由于GPS的不稳定性和精度限制，其可信度低于视觉感知的结果，因此可以通过视觉感知的检测结果来校正位置精度。

本发明具有以下特点：

1.本发明能够修正由于地标、光线或大曲率等因素造成的车道线误检或检测结果不准确的情况；

2.本发明在没有车道线检测结果时能够给出位置准确的虚拟车道线，保证车在行驶过程中有连续的感知数据；

3.由于GIS先验信息的加入，大大提高了车道线检测结果的可靠性；

4.使***能够适应更加复杂的环境，例如光线变化、多障碍物以及夜间行驶等等。

附图说明

图1为本发明的***结构图。

图2为本发明的概要流程图。

图3为本发明的详细设计流程图。

图4为本发明的GIS地图道路边缘模型图。

图5为本发明的车道线检测流程图。

图6为本发明的车道基本模型图。

图7为本发明的车体坐标示意图。

图8为本发明的车道线与道路边缘匹配算法流程图。

具体实施方式

以下结合附图对本发明作详细说明。

参见图1以及图2，所述的方法主要包括以下步骤：

1）预先采集GIS地图信息并进行预处理；

2）实时采集图像并进行车道线检测；

3）实时生成GIS局部地图；

4）车道线检测结果与GIS局部地图进行匹配校验；

5）根据匹配结果生成可信度高的车道线结果。

算法中要使用的GIS地图道路边缘信息是通过实地GPS数据采集和地图标定来实现的。标定时分别标注道路左边缘和道路右边缘，且所标注的道路为单向，各路段按照预定的行驶路线顺序排列。地图信息的数据形式以离散采样点的方式给出，数据内容为各采样点的GPS坐标，最终将数据进行平滑滤波得到符合道路边缘信息模型的GIS全局地图原始数据，模型参见图4，EL与ER分别代表道路左、右边缘。

参见图5，车道线检测过程为通过离线标定获得相机的内参和外参，对图像在线投影变化后获得车前图像俯视图。基于车道线部分图像像素高于路面区域的基本假设提取出可能的车道线信息即二值分割图像，对其进行连通域检测并依据折线段进行拟合。对所有连通域完成折线拟合后，依据其长度和角度约束进行折线段连接得到车道候选线。利用宽度和平行性对候选车道线进行筛选过滤并利用位姿数据进行多帧图像间的时域关联，得到最终的车道线检测结果。车道基本模型参见图6，采取三车道模型，L1与R1分别代表当前车道的左、右车道线，L2与R2分别代表左二与右二车道线。

GIS局部地图的实时生成、车道线及GIS信息匹配校验以及最终结果的生成由以下的详细步骤来实现，参见图3：

1）GIS信息点及平移距离初始化

对GIS地图信息的处理基于以下假设：车所要行驶区域的GIS地图信息已经由道路边缘点给出；GIS地图信息表示为道路左边缘与道路右边缘点成对顺序结构；车体启动位置在GIS地图范围内。***首先加载GIS地图信息文件，然后在地图中定位车***置。初始定位通过全局搜索GIS信息的道路边缘点并根据车***姿搜索最近的GIS道路边缘点。即找出i，

$s.t.\underset{i}{\min }\mathrm{dis}(P_v,G_i)$

其中P_v代表车***置坐标，G_i代表GIS信息点坐标,dis(P_v,G_i)代表两点间的距离。

考虑需要给出车体坐标下的局部地图，所以距离计算是将GIS点转化到车体坐标系下；另外在实际道路情况下，道路右边缘常会出现加宽或缩小一车道的情况，会影响车体定位的判断，而道路左边缘相对稳定，所以在定位时只考虑道路左边缘点，即：

$\underset{i}{\min }\mathrm{dis}(P_v,{\mathrm{GL}}_i)$

其中GL_i代表GIS信息中道路左边缘点。

初始定位后，开始初始化车体坐标下的局部地图。车体坐标局部地图的范围为车***置的（-10m，60m）。在全局地图中定位后，根据其顺序存储结构实时加载局部地图范围内的信息，然后按照局部地图模型转化到相应的结构体中。

局部地图创建成功后，初始化车道线与GIS地图道路边缘的平移距离（实际操作时车体在某车道中间的位置启动，用以获得正确的初始平移量）。初始平移距离默认为当前道的左车道线L1与道路左边缘EL间的距离。若初始有车道线检测结果，则计算左车道线与道路左边缘平移距离；若无车道线检测结果，则假设车体当前所在位置为车道中点，按照车道宽度估计左车道线L1的位置，计算平移距离。即：

$\mathrm{IniTransDis}=\left\{\begin{array}{c}\mathrm{dis}(P_v-\mathrm{LW}/2,{\mathrm{EL}}_{i,x=0}),\mathrm{if}(\mathrm{DetectLane}.\mathrm{IsOK}=0)\\ \mathrm{dis}({L1}_{x=0},{\mathrm{EL}}_{i,x=0}),\mathrm{if}(\mathrm{DetectLane}.\mathrm{IsOK}=1)\end{array}\right.$

其中InitTransDis表示初始平移距离，LW代表车道宽度，下标x=0表示车体坐标下位置，即车体所在的位置，DetectLane.IsOK为车道线检测结果是否正确的标志位。参见图7，为车体坐标示意图。初始平移距离为以下情况提供校验依据：1.初始帧匹配校验；2.无车道线检测结果，车道线信息丢失或历史关联数据丢失时。

2）局部GIS信息地图更新及拟合

初始帧车体定位后，以后每帧不再进行全局搜索定位，而是根据车***置实时更新局部地图。具体做法是：

Step1：将历史局部地图转化到当前车体坐标下；

Step2：去除历史局部地图中超出当前局部地图范围的点；

Step3：按顺序读入GIS信息地图中后续点直到超出局部地图范围。

另外，对于形成回路的GIS地图（即地图文件的起始点与终止点相同），当车体行驶到该位置附近，需要进行对文件末尾的判断处理，并从文件起始接着载入。

对于得到的局部地图，要对其中的GIS地图信息点按照车道线的模型结构表示方式进行拟合，以进行后面的匹配校验。实际操作时，按照多项式模型表示道路曲线。拟合时，道路左、右边缘分别采用自适应的拟合方式。具体步骤为：

Step1：将局部地图的道路边缘点从一阶开始拟合，获得拟合参数后，再进行离散采样，计算样本点与实际检测样本点的误差。若误差超过阈值，则说明在当前拟合阶次下精度不满足要求，则需要提高拟合阶次，阶次加1后重复该步骤直到满足拟合精度（考虑到道路的实际形态，并不会出现过度弯曲的曲线，故设置拟合阶次不超过3次）；

Step2：若3阶拟合后精度仍不满足要求，则需要缩小局部地图所拟合边缘点的范围，即从拟合的样本点中剔除最远端样本点，重新按照二阶拟合，重复该步骤直到满足拟合精度。

3）车道线检测结果与GIS信息匹配校验

算法在匹配校验车道线时，只考虑车体所在当前车道的左右车道线（即L1和R1）。匹配时分别将L1、R1与拟合后的GIS信息的道路左、右边缘（即EL，ER）相匹配，共进行四组匹配：左车道线与道路左边缘L1EL、左车道线与道路右边缘L1ER、右车道线与道路左边缘R1EL、右车道线与道路右边缘R1ER，四组匹配简记为LL,LR,RL,RR。记录其中最好的匹配结果，并记录该匹配组下最优匹配的匹配误差。通过比较匹配误差与设定的阈值来判断所检测到得车道线结果是否正确。

匹配过程中，局部环境地图道路边缘作为所参考的模型点集E，检测的车道线作为形状数据点集L。匹配的目的是寻找两个二维点集之间的最优变换T，使得形状数据点集中所有的点经过变换后与模型点集中相对应的点的差异性达到最小，即经过变换后的点集T(L)与E的相似性度量最小。即：

$\underset{T,C}{\min }J(T\left(L\right),E)$

其中，J(T(L),E)代表两点集间的相似性度量模式，若两点集间的映射关系表示为C:L→E,则上式重述为：

$\underset{T,C}{\min }J(T\left(L\right),C\left(L\right))$

匹配校验的部分采用了ICP算法的离散解法，上式中的T表示旋转和平移变换，相似性度量J采用最小平方距离，即：

$J(T\left(L\right),E)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|T{\stackrel{\→}{\left(l_i\right)}-\stackrel{\→}{e}}_{j\left(i\right)}|{|}_2^2$

式中l代表形状数据点集L中的点，e代表模型点集E中的点，j(i)表示点集L中的第i个点与点集E中的第j个点相对应，N_l表示形状数据点集L中点的个数。

在匹配校验车道线过程中，要对车道线的走向趋势进行评估，不考虑旋转变换，因此T(L)只包含平移变换，用代表平移量，则要求的车道线与道路边缘线的最小差异为：

$\min J\left(\stackrel{\→}{t}\right)=\underset{i=1}{\overset{N_l}{\mathrm{\Σ}}}\left|\right|{{\stackrel{\→}{l}}_i+\stackrel{\→}{t}-\stackrel{\→}{e}}_{j\left(i\right)}|{|}_2^2$

上式目标函数取最小值时，为：

$\stackrel{\→}{t}=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\stackrel{\→}{e_{j\left(i\right)}}-\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\stackrel{\→}{l}}_i$

即当车道线点集与道路边缘线点集中心位置对齐时，目标函数取最小值，也就是差异性最小。求出了最小差异下的平移量，也就得到了最优匹配的位置。然后将车道线的形状数据点集按照平移量移至道路边缘线的模型点集处，计算匹配误差。为了判断两点集是否满足实际应用的匹配要求，需要求出最优匹配位置下的最大匹配误差，即：

$\underset{i}{\max }{w}_i=\left|\right|{\stackrel{\→}{l}}_i+\stackrel{\→}{t}-{\stackrel{\→}{e}}_{j\left(i\right)}|{|}_2^2$

其中w_i表示点集中对应点的单点最大匹配误差。

对四组匹配（LL,LR,RL,RR）中的每一组，都通过交替迭代的方式，分别求出车道线点集L和道路边缘点集E的对应关系和平移变换，以及单点最大匹配误差，参见图8。另外为了保证视觉车道线精度的优先程度，认为四组匹配中只要有一组满足匹配要求，就认为车道线检测结果符合局部地图信息，检测结果正确且有较高的可信度。因此对四组匹配程度进行比较。匹配程度由两个点集中所有对应点的累计误差决定。累计误差最小的匹配组为最优匹配。即：

$\underset{\mathrm{LL},\mathrm{LR},\mathrm{RL},\mathrm{RR}}{\min }W=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|{\stackrel{\→}{l}}_i+\stackrel{\→}{t}-{\stackrel{\→}{e}}_{j\left(i\right)}|{|}_2^2$

最终的最优匹配下的单点最大匹配误差即为w_i ^M,M∈(LL,LR,RL,RR)，上标M代表了最优匹配组。该误差与阈值的关系就决定了车道线点集与道路边缘线点集是否满足匹配要求，也就是局部地图下检测到的车道线整体的走向趋势是否符合道路边缘线的走向趋势。

为了执行以上算法，首先要对拟合后的车道线以及道路边缘进行离散采样，得到形状数据点集和模型点集。在离散采样的同时，按照滑动匹配方式确定两个点集间的对应关系。计算平移变换的平移距离，相似性度量以及对应点出现的最大距离误差。具体按以下步骤执行：

Step1：对四个匹配组，分别执行Step2到Step6：

Step2：检测到的车道线与GIS道路边缘线滑动匹配，滑动距离d的取值在范围[-D,D]内且步长为D_step，循环执行Step3到Step5；

Step3：车道线点集中采样点的坐标xl从车道线起点到终点按距离h采样，并按车道线拟合参数计算各点y^l的值即y_i ^l=f^l(x_i ^l)，检测到的车道线上的点记为l_i(x_i ^l,y_i ^l)；按照当前滑动匹配距离d计算道路边缘线上的采样点的坐标x^e，即x^e=x^l+d，并按照道路边缘拟合参数计算各点y^e的值，即

y_j ^e=f^e(x_j ^e)=f^e(x_i ^l+d)，道路边缘线的点集记为e_j(x_j ^e,y_j ^e)；同时统计点集中点的总数N_p；

Step4：计算车道线及道路边缘线上采样点的平均位置（即中心位置），两个点集中所有点的x坐标及y坐标值分别累加，除以点集中统计的点的个数N_p，得到与

Step5：计算平移距离

Step6：对两个点集中的所有对应点计算单点匹配误差记录最大的单点匹配误差MAXw，同时累加计算总匹配误差W=W+w_i；

Step7：找出四组匹配中总匹配误差最小的，即最优匹配位置下对应的最大单点匹配误差，返回此时的MAXw，平移向量以及相匹配的组别（即LL，LR，RL或RR）。

将返回的误差值MAXw与阈值进行比较，若小于阈值，则认为所检测的车道线与GIS道路边缘趋势相吻合，增加了车道线的可信度，认为车道线检测正确；若大于阈值，则说明检测到的车道线与道路边缘走向趋势存在差异，认为车道线检测错误，则按照道路边缘线生成虚拟车道线。

4）生成虚拟车道线

以下几种情况均需要GIS信息来生成虚拟车道线：1.所检测到的车道线过短，此时认为车道线信息不能满足感知数据的要求或可信度不高；2.所检测到的车道线与GIS道路边缘线匹配误差超过阈值，此时认为车道线检测结果不准确；3.未能检测出车道线，此时直接由GIS信息给出虚拟车道线，保证感知数据连续性。

虚拟车道线的生成基于以下假设：步骤3）会实时根据车道线检测结果更新匹配信息和平移变换，且该匹配信息和平移变换在一段连续时间内适用，即在一段连续时间内车道线与道路边缘匹配具有相同的平移量，直到下次更新。***记录历史帧中最后一次正确匹配时的匹配组别以及平移距离，当需要生成虚拟车道线时，则按照记录的匹配组别及平移距离，将相应的道路左或右边缘拟合线按平移量移至车道线位置。然后将道路边缘线的拟合参数赋给车道线拟合参数，同时确定车道线的起点终点坐标、道路宽度、车道线属性等信息，即为虚拟车道线。生成后需要清空错误的车道线检测结果，避免时域关联造成多帧误检。

在发送最终的车道线结果前，还需要对车道线结果的整***置进行进一步约束，即判断是否所有车道线位置均在GIS道路左、右边缘线之间。即满足以下约束：

ER_Y<Lane_L2,L1,R1,R2<EL_Y

其中Lane_L2,L1,R1,R2表示车道线模型中的四条车道线L2，L1,R1，R2，EL_Y，ER_Y分别表示道路左、右边缘在车体坐标系下Y轴的坐标值。

算法执行时，选取每条车道线的起点和终点坐标与道路边缘线位置比较，来判断是否满足约束。

若R2或L2车道线超出道路边缘线的约束范围，则去除该车道线；若R1或L1主车道线超出道路边缘线的约束范围，则按照默认的LL匹配组及初始平移距离InitTransDis，在车体当前所在位置生成虚拟车道线。

最终的车道线检测结果与道路的其他感知信息（包括路口、障碍物等）相融合，以UDP包（User Datagram Protocol）的形式通过交换机通信，将完整的视觉感知数据发送给后续规划执行单元。

本方法首先采集GIS地图信息并进行预处理，然后实时采集图像并进行车道线检测，同时实时生成GIS局部地图，将车道线检测结果与GIS局部地图通过ICP算法进行匹配校验，最终根据匹配结果生成可信度高的车道线结果。该方法既能通过地理信息***对车道线检测结果进行可信度评价，在出现误检或漏检时进行校正，扩大车道检测算法的适用范围，又能通过视觉感知信息提高地图定位的精度，从而提高整个智能驾驶及辅助驾驶***中视觉导航***的性能，使***能够适应更加复杂的环境。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明的权利要求书确定的专利保护范围。

Claims (8)

1.一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：包括以下步骤：

1）预先采集GIS地图信息并进行预处理；

2）实时采集图像并进行车道线检测；

3）实时生成GIS局部环境地图；

4）将车道线检测结果与GIS局部地图进行匹配校验；

5）根据匹配结果生成可信度高的车道线结果。

2.根据权利要求1所述一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：所述步骤1）中，通过位姿测量设备预先采集全局地图的道路边缘数据，并对道路边缘数据进行光滑滤波处理，得到全局地图的道路边缘点集。

3.根据权利要求1所述一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：所述步骤2）中，通过图像采集设备，采用基于单目视觉的、时域关联下进行特征提取以及车道模型拟合的检测方法实时检测路面车道线。

4.根据权利要求1所述一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：所述步骤3）中，通过位姿测量设备实时获得当前车***置，并在GIS全局地图中定位，然后按照局部地图模型生成局部环境地图。

5.根据权利要求1所述一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：所述步骤4）中，结合步骤2）与步骤3）的结果，在相同尺度下运用迭代最近点算法对车道线检测结果与GIS局部道路边缘进行滑动匹配校验，获得最佳匹配位置及最大匹配误差，匹配时根据车道线模型以及局部地图模型分组匹配，选择匹配最优的一组。

6.根据权利要求1所述一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：所述步骤5）中，根据步骤4）得到的匹配结果，将最佳匹配位置下的最大匹配误差与阈值相比较，确定车道线检测结果的可信度，然后修正平移距离及定位的位置信息。

7.根据权利要求6所述一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：若检测结果不可信，则按照道路边缘线生成虚拟车道线。

8.根据权利要求6所述一种基于车道线检测和GIS地图信息开发的视觉导航方法，其特征在于：通过车道线位置约束提高检测结果的正确性和稳定性。