CN113392682A - 车道线识别装置及方法、电子设备 - Google Patents

Abstract

本发明实施例提供一种车道线识别装置及方法、电子设备。所述装置包括：第一检测单元，其用于在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；第二检测单元，其用于在所述图像的所述预定区域中，使用第二神经网络检测所述图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到所述路边参考物、所述对向车辆以及所述道路方向标志中的至少一个的第二检测结果；以及第一确定单元，其用于根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线。

Description

车道线识别装置及方法、电子设备

技术领域

本发明涉及信息技术领域。

背景技术

在自动驾驶和行车记录的很多应用中，对于车道线的检测很重要。特别是在道路上的核心线，例如道路中线和道路边线，可用于许多判定。例如，道路中线可广泛用于事故责任的判定，道路边线对于判定车辆违章停车很有用。另外，道路中线和道路边线的确定有助于车道的分类，从而可以协助进行道路信息监控。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

但是，现有的方法主要关注对于车道线的检测，而并没有简单有效的用于对特定车道线的识别和检测方法，例如，无法识别道路中线以及道路边线。

为了解决上述问题中的至少一个，本发明实施例提供一种车道线识别装置及方法、电子设备，能够快速准确的识别车载摄像设备取得的图像中的道路中线和道路边线，并具有强大的功能可扩展性，道路中线和道路边线的识别结果可用于各种交通分析以及自动驾驶等应用。

根据本发明实施例的第一方面，提供一种车道线识别装置，所述装置包括：在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；在所述图像的所述预定区域中，使用第二神经网络检测所述图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到所述路边参考物、所述对向车辆以及所述道路方向标志中的至少一个的第二检测结果；以及根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线。

根据本发明实施例的第二方面，提供一种电子设备，所述电子设备包括根据本发明实施例的第一方面所述的装置。

根据本发明实施例的第三方面，提供一种车道线识别方法，所述方法包括：在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；在所述图像的所述预定区域中，使用第二神经网络检测所述图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到所述路边参考物、所述对向车辆以及所述道路方向标志中的至少一个的第二检测结果；以及根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线。

本发明的有益效果在于：通过在车载摄像设备取得的图像中，使用第一神经网络检测车道线而获得第一检测结果，并使用第二神经网络检测路边参考物、对向车辆以及道路方向标志中的至少一个而获得第二检测结果，从而根据第一检测结果和第二检测结果能够快速准确的确定图像中的道路中线和道路边线，并具有强大的功能可扩展性，道路中线和道路边线的识别结果可用于各种交通分析以及自动驾驶等应用。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例1的车道线识别装置的一示意图；

图2是本发明实施例1的车载摄像设备取得的图像的一示意图；

图3是本发明实施例1的车载摄像设备取得的图像的另一示意图；

图4是本发明实施例1的第一确定单元103的一示意图；

图5是本发明实施例1的第四确定单元106的一示意图；

图6是本发明实施例2的电子设备的一示意图；

图7是本发明实施例2的电子设备的***构成的一示意框图；

图8是本发明实施例3的车道线识别方法的一示意图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

本发明实施例提供一种车道线识别装置。图1是本发明实施例1的车道线识别装置的一示意图。

如图1所示，车道线识别装置100包括：

第一检测单元101，其用于在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测该图像中的车道线，得到该车道线的第一检测结果；

第二检测单元102，其用于在该图像的该预定区域中，使用第二神经网络检测该图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到该路边参考物、该对向车辆以及该道路方向标志中的至少一个的第二检测结果；以及

第一确定单元103，其用于根据该第一检测结果和该第二检测结果，确定该图像中的道路中线和/或道路边线。

在本发明实施例的一种实施方式中，车道线识别装置100的检测所实施的对象是车载摄像设备取得的图像，例如，车载摄像头记录的从驾驶视角拍摄的视频的各个帧。在该情况下，车道线识别装置100针对各个帧逐个进行处理，并可以根据当前帧的识别结果更新之前的识别结果。

第一检测单元101在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测该图像中的车道线，得到该车道线的检测结果，作为第一检测结果。第一神经网络可以是能够检测车道线的各种神经网络。

例如，第一神经网络是通过深度学习方法训练得到的。例如，第一神经网络基于LineNet网络，其使用Tusimple模型作为预训练的模型并通过预先采集的训练数据集对该模型进行修改，完成训练后得到第一神经网络。通过该LineNet网络，能够准确的检测出图像中的车道线，作为该第一检测结果输出。

图2是本发明实施例1的车载摄像设备取得的图像的一示意图。如图2所示，通过第一神经网络的检测，得到车道线201、202和203。

在本发明实施例的一种实施方式中，道路中线指的是两个相反方向的行驶车道之间的道路线；道路边线指的是某个方向的行驶车道的最外侧边线。例如，对于靠左侧行驶的车道，最左侧的边线为道路边线，对于靠右侧行驶的车道，最右侧的边线为道路边线。

例如，对于图2中的车道线，车道线201为道路边线，车道线203为道路中线，而车道线202为多个同向车道之间的分界线，其不属于道路中线，也不属于道路边线。

在本发明实施例的一种实施方式中，第二检测单元102在该图像的该预定区域中，使用第二神经网络检测该图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到该路边参考物、该对向车辆以及该道路方向标志中的至少一个的第二检测结果。

第二检测单元102针对第一检测单元101处理的同一图像，使用第二神经网络检测进行检测，其检测的目标是该图像中的路边参考物、对向车辆以及道路方向标志中的至少一个。

第二神经网络可以是经过训练后能够实现上述功能的各种神经网络。例如，第二神经网络是通过深度学习方法训练得到的。

在本发明实施例的一种实施方式中，第二检测单元102检测的是对向车辆，也就是与搭载车载摄像设备的当前车辆行驶方向相反的车辆。对向车辆距离当前车辆较远，检测框较小，且角度较大，且检测器更容易识别车头和车大灯；而与当前车辆行驶方向相同的同向车辆，其距离当前车辆较近，检测框较大且角度较小，容易产生遮挡。因此，第二检测单元102检测对象车辆而不检测同向车辆，能够保证检测结果对于识别车道线的类型有较强的参考性。

在本发明实施例的一种实施方式中，路边参考物是为了识别车道边线而确定的特定物体，例如，路边护栏(roadside guardrail)或绿化带(green belt)。

在本发明实施例的一种实施方式中，根据道路方向标志中的箭头方向，能够判断该道路方向标志所在的车道的方向，从而有助于判断道路中线和/或道路边线。

在本发明实施例的一种实施方式中，例如，第二检测单元102输出的是检测到的这些物体的检测框以及物体的类型，作为第二检测结果。

例如，输出路边参考物的检测框以及路边参考物的类型是路边护栏；输出对象车辆的检测框以及该车辆为小汽车；输出道路方向标志的检测框以及该标志中箭头的方向，朝前的箭头表示该道路方向标志相对于当前车辆是同向的道路方向标志，反向的箭头表示该道路方向标志相对于当前车辆是反向的道路方向标志。

如图2所示，第二检测单元102检测到对向车辆204、路边参考物205以及道路方向标志206和207。

在本发明实施例的一种实施方式中，第一检测单元101和第二检测单元102在图像的预定区域中进行检测，该预定区域表示车道所在的区域。例如，在初始化阶段，可以先根据经验划定一初始范围，再对该初始范围进行调整。

图3是本发明实施例1的车载摄像设备取得的图像的另一示意图。如图3所示，在初始化阶段，先大致设定一个初始范围。

例如，装置100还可以包括：

第一调整单元104，其用于根据该图像的该第一检测结果和/或该第二检测结果，对该预定区域的初始范围进行调整。

例如，根据前几帧检测出的车道线以及路边参考物，能够调整车道所在区域的范围。如图3所示，按照箭头所示，可以根据检测的结果调整车道所在区域的范围。

例如，装置100还可以包括：

第二调整单元105，其用于当检测出的该预定区域内的车道线的长度不满足预设条件时，根据该车道线的斜率对该车道线进行延长。

该预设条件可以根据实际需要而设置，例如，根据图像的尺寸而设置的车道线需要达到的尺寸，或者，车道线的下端距离图像底部的尺寸需要大于某个值。

如图3所示，将检测出的车道线延长至图像底部。

在本发明实施例的一种实施方式中，通过第一调整单元104和/或第二调整单元105的调整，能够优化车道所在的区域即预定区域，使得基于该预定区域的检测结果更加准确。

在本发明实施例的一种实施方式中，第一确定单元103，其用于根据该第一检测结果和该第二检测结果，确定该图像中的道路中线和/或道路边线。

以下对第一确定单元103确定道路中线和/或道路边线的方法进行示例性的说明。

图4是本发明实施例1的第一确定单元103的一示意图。如图4所示，第一确定单元103包括：

第二确定单元401，其用于根据检测出的该图像中的该车道线与该路边参考物的位置关系，确定该图像中的道路边线；和/或

第三确定单元402，其用于根据检测出的该图像中的该车道线与该对向车辆以及该道路方向标志中的至少一个的位置关系，确定该图像中的道路中线。

在本发明实施例的一种实施方式中，第二确定单元401根据检测出的该图像中的该车道线与该路边参考物的位置关系，确定该图像中的道路边线。

例如，对于靠左侧行驶的道路，当一个车道线位于路边参考物的右侧时，该车道线为道路边线；对于靠右侧行驶的道路，当一个车道线位于路边参考物的左侧时，该车道线为道路边线。

在本发明实施例的一种实施方式中，第三确定单元402根据检测出的该图像中的该车道线与该对向车辆以及该道路方向标志中的至少一个的位置关系，确定该图像中的道路中线。

例如，对于靠左侧行驶的道路，当一个车道线位于对向车辆以及反向的道路方向标志的左侧时，该车道线为道路中线；对于靠右侧行驶的道路，当一个车道线位于对向车辆以及反向的道路方向标志的右侧时，该车道线为道路中线。

在本发明实施例的一种实施方式中，为了判断检测出的该图像中的该车道线与该路边参考物的位置关系，以及检测出的该图像中的该车道线与该对向车辆以及该道路方向标志中的至少一个的位置关系，可以确定位置参考点作为判断的基础。

例如，如图1所示，装置100还可以包括：

第四确定单元106，其用于确定检测出的该路边参考物、该对向车辆以及该道路方向标志的位置参考点，以确定该车道线与该路边参考物的位置关系和/或该车道线与该对向车辆以及该道路方向标志中的至少一个的位置关系。

图5是本发明实施例1的第四确定单元106的一示意图。如图5所示，第四确定单元106包括：

第五确定单元501，其用于对于靠左侧行驶的道路，将该路边参考物的检测框的左下角的点作为位置参考点，对于靠右侧行驶的道路，将该路边参考物的检测框的右下角的点作为位置参考点；

第六确定单元502，其用于对于远距离的对向车辆，将该对向车辆的检测框底边的中心点作为位置参考点，对于近距离的对向车辆，将该对向车辆的检测框的中心点作为位置参考点；以及

第七确定单元503，其用于对于道路方向标志，将该道路方向标志的检测框的中心点作为位置参考点。

这样，根据检测物的情况确定不同的位置参考点设置方法，能够准确的确定上述位置关系，从而保证识别结果的准确性。

在本发明实施例的一种实施方式中，如图1所示，装置100还可以包括：

保持单元107，其用于当根据当前帧的图像没有得到第一检测结果和/或第二检测结果时，将前一帧的图像的第一检测结果和/或第二检测结果作为当前帧的该图像的第一检测结果和/或第二检测结果。

这样，在根据当前帧没有得到第一检测结果和/或第二检测结果的情况下，能够保持对于车道线的识别结果的持续性和完整性。

在本发明实施例的一种实施方式中，如图1所示，装置100还可以包括：

第三检测单元108，其用于在该预定区域中，使用该第二神经网络检测该图像中的人行横道；以及

暂停单元109，其用于当检测到该图像中存在人行横道时，暂停车道线的识别。

由于人行横道可能对第一检测结果和第二检测结果造成较大的干扰，因此存在人行横道时暂停车道线的识别，能够避免车道线的识别错误。

在本发明实施例的一种实施方式中，第一检测结果、第二检测结果只是为了在表述上区分各个检测结果，并不对各个检测结果有实质的限制作用。

由上述实施例可知，通过在车载摄像设备取得的图像中，使用第一神经网络检测车道线而获得第一检测结果，并使用第二神经网络检测路边参考物、对向车辆以及道路方向标志中的至少一个而获得第二检测结果，从而根据第一检测结果和第二检测结果能够快速准确的确定图像中的道路中线和道路边线，并具有强大的功能可扩展性，道路中线和道路边线的识别结果可用于各种交通分析以及自动驾驶等应用。

实施例2

本发明实施例还提供了一种电子设备，图6是本发明实施例2的电子设备的一示意图。如图6所示，电子设备600包括车道线识别装置601，车道线识别装置601的结构和功能与实施例1中的记载相同，此处不再赘述。

在本发明实施例的一种实施方式中，电子设备600可以是各种类型的电子设备，例如，车载终端、移动终端或者计算机。

图7是本发明实施例2的电子设备的***构成的一示意框图。如图7所示，电子设备700可以包括处理器701和存储器702；该存储器702耦合到该处理器701。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。

如图7所示，电子设备700还可以包括：输入单元703、显示器704、电源705。

在一个实施方式中，实施例1所述的车道线识别装置的功能可以被集成到处理器701中。其中，处理器701可以被配置为：在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测该图像中的车道线，得到该车道线的第一检测结果；在该图像的该预定区域中，使用第二神经网络检测该图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到该路边参考物、该对向车辆以及该道路方向标志中的至少一个的第二检测结果；以及根据该第一检测结果和该第二检测结果，确定该图像中的道路中线和/或道路边线。

例如，处理器701还可以被配置为：根据该图像的该第一检测结果和/或该第二检测结果，对该预定区域的初始范围进行调整。

例如，处理器701还可以被配置为：当检测出的该预定区域内的车道线的长度不满足预设条件时，根据该车道线的斜率对该车道线进行延长。

例如，该根据该第一检测结果和该第二检测结果，确定该图像中的道路中线和/或道路边线，包括：根据检测出的该图像中的该车道线与该路边参考物的位置关系，确定该图像中的道路边线；和/或根据检测出的该图像中的该车道线与该对向车辆以及该道路方向标志中的至少一个的位置关系，确定该图像中的道路中线。

例如，处理器701还可以被配置为：确定检测出的该路边参考物、该对向车辆以及该道路方向标志的位置参考点，以确定该车道线与该路边参考物的位置关系和/或该车道线与该对向车辆以及该道路方向标志中的至少一个的位置关系。

例如，该确定检测出的该路边参考物、该对向车辆以及该道路方向标志的位置参考点，包括：对于靠左侧行驶的道路，将该路边参考物的检测框的左下角的点作为位置参考点，对于靠右侧行驶的道路，将该路边参考物的检测框的右下角的点作为位置参考点；对于远距离的对向车辆，将该对向车辆的检测框底边的中心点作为位置参考点，对于近距离的对向车辆，将该对向车辆的检测框的中心点作为位置参考点；以及对于道路方向标志，将该道路方向标志的检测框的中心点作为位置参考点。

例如，处理器701还可以被配置为：当根据当前帧的图像没有得到第一检测结果和/或第二检测结果时，将前一帧的图像的第一检测结果和/或第二检测结果作为当前帧的该图像的第一检测结果和/或第二检测结果。

例如，处理器701还可以被配置为：在该预定区域中，使用该第二神经网络检测该图像中的人行横道；以及当检测到该图像中存在人行横道时，暂停车道线的识别。

在另一个实施方式中，实施例1所述的车道线识别装置可以与该处理器701分开配置，例如可以将该车道线识别装置配置为与处理器701连接的芯片，通过处理器701的控制来实现该车道线识别装置的功能。

在本发明实施例的一种实施方式中，电子设备700也并不是必须要包括图7中所示的所有部件。

如图7所示，处理器701有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，处理器701接收输入并控制电子设备700的各个部件的操作。

该存储器702，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该处理器701可执行该存储器702存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备700的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。

由上述实施例可知，通过在车载摄像设备取得的图像中，使用第一神经网络检测车道线而获得第一检测结果，并使用第二神经网络检测路边参考物、对向车辆以及道路方向标志中的至少一个而获得第二检测结果，从而根据第一检测结果和第二检测结果能够快速准确的确定图像中的道路中线和道路边线，并具有强大的功能可扩展性，道路中线和道路边线的识别结果可用于各种交通分析以及自动驾驶等应用。

实施例3

本发明实施例还提供一种车道线识别方法，该方法对应于实施例1的车道线识别装置。图8是本发明实施例3的车道线识别方法的一示意图。如图8所示，该方法包括：

步骤801：在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测该图像中的车道线，得到该车道线的第一检测结果；

步骤802：在该图像的该预定区域中，使用第二神经网络检测该图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到该路边参考物、该对向车辆以及该道路方向标志中的至少一个的第二检测结果；以及

步骤803：根据该第一检测结果和该第二检测结果，确定该图像中的道路中线和/或道路边线。

在本发明实施例的一种实施方式中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。

在本发明实施例的一种实施方式中，不对步骤801和步骤802的执行顺序进行限制，例如，步骤801和步骤802可以先后执行，也可以并行的进行。

由上述实施例可知，通过在车载摄像设备取得的图像中，使用第一神经网络检测车道线而获得第一检测结果，并使用第二神经网络检测路边参考物、对向车辆以及道路方向标志中的至少一个而获得第二检测结果，从而根据第一检测结果和第二检测结果能够快速准确的确定图像中的道路中线和道路边线，并具有强大的功能可扩展性，道路中线和道路边线的识别结果可用于各种交通分析以及自动驾驶等应用。

本发明实施例还提供一种计算机可读程序，其中当在车道线识别装置或电子设备中执行所述程序时，所述程序使得计算机在所述车道线识别装置或电子设备中执行实施例3所述的车道线识别方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在车道线识别装置或电子设备中执行实施例3所述的车道线识别方法。

结合本发明实施例描述的车道线识别装置或电子设备中执行车道线识别方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图8所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可***移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

本发明实施例还公开下述的附记：

1、一种车道线识别装置，所述装置包括：

第一检测单元，其用于在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；

第二检测单元，其用于在所述图像的所述预定区域中，使用第二神经网络检测所述图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到所述路边参考物、所述对向车辆以及所述道路方向标志中的至少一个的第二检测结果；以及

第一确定单元，其用于根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线。

2、根据附记1所述的装置，其中，所述装置还包括：

第一调整单元，其用于根据所述图像的所述第一检测结果和/或所述第二检测结果，对所述预定区域的初始范围进行调整。

3、根据附记1所述的装置，其中，所述装置还包括：

第二调整单元，其用于当检测出的所述预定区域内的车道线的长度不满足预设条件时，根据所述车道线的斜率对所述车道线进行延长。

4、根据附记1所述的装置，其中，所述第一确定单元包括：

第二确定单元，其用于根据检测出的所述图像中的所述车道线与所述路边参考物的位置关系，确定所述图像中的道路边线；和/或

第三确定单元，其用于根据检测出的所述图像中的所述车道线与所述对向车辆以及所述道路方向标志中的至少一个的位置关系，确定所述图像中的道路中线。

5、根据附记4所述的装置，其中，所述装置还包括：

第四确定单元，其用于确定检测出的所述路边参考物、所述对向车辆以及所述道路方向标志的位置参考点，以确定所述车道线与所述路边参考物的位置关系和/或所述车道线与所述对向车辆以及所述道路方向标志中的至少一个的位置关系。

6、根据附记5所述的装置，其中，所述第四确定单元包括：

第五确定单元，其用于对于靠左侧行驶的道路，将所述路边参考物的检测框的左下角的点作为位置参考点，对于靠右侧行驶的道路，将所述路边参考物的检测框的右下角的点作为位置参考点；

第六确定单元，其用于对于远距离的对向车辆，将所述对向车辆的检测框底边的中心点作为位置参考点，对于近距离的对向车辆，将所述对向车辆的检测框的中心点作为位置参考点；以及

第七确定单元，其用于对于道路方向标志，将所述道路方向标志的检测框的中心点作为位置参考点。

7、根据附记1所述的装置，其中，所述装置还包括：

保持单元，其用于当根据当前帧的图像没有得到第一检测结果和/或第二检测结果时，将前一帧的图像的第一检测结果和/或第二检测结果作为当前帧的所述图像的第一检测结果和/或第二检测结果。

8、根据附记1所述的装置，其中，所述装置还包括：

第三检测单元，其用于在所述预定区域中，使用所述第二神经网络检测所述图像中的人行横道；以及

暂停单元，其用于当检测到所述图像中存在人行横道时，暂停车道线的识别。

9、一种电子设备，所述电子设备包括根据附记1所述的装置。

10、一种车道线识别方法，所述方法包括：

在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；

在所述图像的所述预定区域中，使用第二神经网络检测所述图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到所述路边参考物、所述对向车辆以及所述道路方向标志中的至少一个的第二检测结果；以及

根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线。

2、根据附记1所述的方法，其中，所述方法还包括：

根据所述图像的所述第一检测结果和/或所述第二检测结果，对所述预定区域的初始范围进行调整。

3、根据附记1所述的方法，其中，所述方法还包括：

当检测出的所述预定区域内的车道线的长度不满足预设条件时，根据所述车道线的斜率对所述车道线进行延长。

4、根据附记1所述的方法，其中，所述根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线，包括：

根据检测出的所述图像中的所述车道线与所述路边参考物的位置关系，确定所述图像中的道路边线；和/或

根据检测出的所述图像中的所述车道线与所述对向车辆以及所述道路方向标志中的至少一个的位置关系，确定所述图像中的道路中线。

5、根据附记4所述的方法，其中，所述方法还包括：

确定检测出的所述路边参考物、所述对向车辆以及所述道路方向标志的位置参考点，以确定所述车道线与所述路边参考物的位置关系和/或所述车道线与所述对向车辆以及所述道路方向标志中的至少一个的位置关系。

6、根据附记5所述的方法，其中，所述确定检测出的所述路边参考物、所述对向车辆以及所述道路方向标志的位置参考点，包括：

对于靠左侧行驶的道路，将所述路边参考物的检测框的左下角的点作为位置参考点，对于靠右侧行驶的道路，将所述路边参考物的检测框的右下角的点作为位置参考点；

对于远距离的对向车辆，将所述对向车辆的检测框底边的中心点作为位置参考点，对于近距离的对向车辆，将所述对向车辆的检测框的中心点作为位置参考点；以及

对于道路方向标志，将所述道路方向标志的检测框的中心点作为位置参考点。

7、根据附记1所述的方法，其中，所述方法还包括：

当根据当前帧的图像没有得到第一检测结果和/或第二检测结果时，将前一帧的图像的第一检测结果和/或第二检测结果作为当前帧的所述图像的第一检测结果和/或第二检测结果。

8、根据附记1所述的方法，其中，所述方法还包括：

在所述预定区域中，使用所述第二神经网络检测所述图像中的人行横道；以及

当检测到所述图像中存在人行横道时，暂停车道线的识别。

Claims (10)

1.一种车道线识别装置，其特征在于，所述装置包括：

第一检测单元，其用于在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；

第二检测单元，其用于在所述图像的所述预定区域中，使用第二神经网络检测所述图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到所述路边参考物、所述对向车辆以及所述道路方向标志中的至少一个的第二检测结果；以及

第一确定单元，其用于根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线。

2.根据权利要求1所述的装置，其中，所述装置还包括：

第一调整单元，其用于根据所述图像的所述第一检测结果和/或所述第二检测结果，对所述预定区域的初始范围进行调整。

3.根据权利要求1所述的装置，其中，所述装置还包括：

第二调整单元，其用于当检测出的所述预定区域内的车道线的长度不满足预设条件时，根据所述车道线的斜率对所述车道线进行延长。

4.根据权利要求1所述的装置，其中，所述第一确定单元包括：

第二确定单元，其用于根据检测出的所述图像中的所述车道线与所述路边参考物的位置关系，确定所述图像中的道路边线；和/或

第三确定单元，其用于根据检测出的所述图像中的所述车道线与所述对向车辆以及所述道路方向标志中的至少一个的位置关系，确定所述图像中的道路中线。

5.根据权利要求4所述的装置，其中，所述装置还包括：

第四确定单元，其用于确定检测出的所述路边参考物、所述对向车辆以及所述道路方向标志的位置参考点，以确定所述车道线与所述路边参考物的位置关系和/或所述车道线与所述对向车辆以及所述道路方向标志中的至少一个的位置关系。

6.根据权利要求5所述的装置，其中，所述第四确定单元包括：

第五确定单元，其用于对于靠左侧行驶的道路，将所述路边参考物的检测框的左下角的点作为位置参考点，对于靠右侧行驶的道路，将所述路边参考物的检测框的右下角的点作为位置参考点；

第六确定单元，其用于对于远距离的对向车辆，将所述对向车辆的检测框底边的中心点作为位置参考点，对于近距离的对向车辆，将所述对向车辆的检测框的中心点作为位置参考点；以及

第七确定单元，其用于对于道路方向标志，将所述道路方向标志的检测框的中心点作为位置参考点。

7.根据权利要求1所述的装置，其中，所述装置还包括：

保持单元，其用于当根据当前帧的图像没有得到第一检测结果和/或第二检测结果时，将前一帧的图像的第一检测结果和/或第二检测结果作为当前帧的所述图像的第一检测结果和/或第二检测结果。

8.根据权利要求1所述的装置，其中，所述装置还包括：

第三检测单元，其用于在所述预定区域中，使用所述第二神经网络检测所述图像中的人行横道；以及

暂停单元，其用于当检测到所述图像中存在人行横道时，暂停车道线的识别。

9.一种电子设备，其特征在于，所述电子设备包括根据权利要求1所述的车道线识别装置。

10.一种车道线识别方法，其特征在于，所述方法包括：

在车载摄像设备取得的至少一帧图像的预定区域中，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；

在所述图像的所述预定区域中，使用第二神经网络检测所述图像中的路边参考物、对向车辆以及道路方向标志中的至少一个，得到所述路边参考物、所述对向车辆以及所述道路方向标志中的至少一个的第二检测结果；以及

根据所述第一检测结果和所述第二检测结果，确定所述图像中的道路中线和/或道路边线。

Images