CN113688653A - 道路中心线的识别装置及方法、电子设备 - Google Patents

Abstract

本申请实施例提供一种道路中心线的识别装置及方法、电子设备。对于车载摄像设备取得的图像，使用第一神经网络检测图像中的目标物；对于靠左侧行驶的道路，当检测到的目标物中包含位于车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于该车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；根据各个目标物的位置，将与该车辆的水平距离最小的反向车辆和/或反向道路方向标志确定为参考车辆和/或参考道路方向标志；根据检测到的目标物中的道路线与参考车辆和/或参考道路方向标志的距离以及位置关系，确定道路中心线。

Description

道路中心线的识别装置及方法、电子设备

技术领域

本申请涉及信息技术领域。

背景技术

识别不同类型的道路是一项有用的技术，这可以帮助引导驾驶员在正确的车道上行驶车辆。道路中心线是将车辆行驶道路分为正向行驶区域和反向行驶区域两部分的车道线。道路中心线的识别对于指导驾驶员的行为、交通事故的责任判定以及自动驾驶技术等有着重要的意义。

在现有方法中，一般先对图像中的道路线进行检测，然后再根据检测出的道路线识别其是否为道路中心线。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

但是，现有方法中，其检测精度和检测效率依赖于道路线的检测，而在某些场景下无法获得可靠的道路线检测结果，这样也导致道路中心线的识别精度和识别效率较差，另外，道路线检测的模型一般较为复杂，导致检测装置的整体结构复杂。

为了解决上述问题中的至少一个，本申请实施例提供一种道路中心线的识别装置及方法、电子设备，能够通过简单的装置结构，快速且准确的识别道路中心线，从而能够为各种可能的应用提供有效的信息。

根据本申请实施例的第一方面，提供一种道路中心线的识别装置，所述装置包括：第一检测单元，其对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的目标物；第一确定单元，其对于靠左侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；第二确定单元，其根据各个目标物的位置，将与所述车载摄像设备所在车辆的水平距离最小的所述反向车辆和/或所述反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及第三确定单元，其根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线。

根据本申请实施例的第二方面，提供一种电子设备，所述电子设备包括根据本申请实施例的第一方面所述的装置。

根据本申请实施例的第三方面，提供一种道路中心线的识别方法，所述方法包括：对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的目标物；对于靠左侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；根据各个目标物的位置，将与所述车载摄像设备所在车辆的水平距离最小的所述反向车辆和/或所述反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线。

本申请实施例的有益效果在于：直接使用第一神经网络检测图像中的各种目标物，并根据目标物中的道路线以及反向车辆和/或反向道路方向标志确定参考车辆和/或参考道路方向标志，并根据检测到的道路线与参考车辆和/或参考道路方向标志的距离以及位置关系，确定道路中心线，这样，能够通过简单的装置结构，快速且准确的识别道路中心线，从而能够为各种可能的应用提供有效的信息。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例1的道路中心线的识别装置的一示意图；

图2是本申请实施例1的目标物的检测结果的一示意图；

图3是本申请实施例1的第二确定单元的一示意图；

图4是本申请实施例1的第三确定单元的一示意图；

图5是本申请实施例1的第六确定单元的一示意图；

图6是对图2进行进一步处理的一示意图；

图7是本申请实施例1的目标物的检测结果的另一示意图；

图8是本申请实施例2的电子设备的一示意图；

图9是本申请实施例2的电子设备的***构成的一示意框图；

图10是本申请实施例3的道路中心线的识别方法的一示意图。

具体实施方式

参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

本申请实施例提供一种道路中心线的识别装置。图1是本申请实施例1的道路中心线的识别装置的一示意图。

如图1所示，道路中心线的识别装置100包括：

第一检测单元101，其对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的目标物；

第一确定单元102，其对于靠左侧行驶的道路，当检测到的目标物中包含位于车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；

第二确定单元103，其根据各个目标物的位置，将与车载摄像设备所在车辆的水平距离最小的反向车辆和/或反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及

第三确定单元104，其根据检测到的目标物中的道路线与参考车辆和/或参考道路方向标志的距离以及位置关系，确定检测到的目标物中的道路线中的道路中心线。

在本申请实施例中，道路中心线是将车辆行驶道路分为正向行驶区域和反向行驶区域两部分的车道线。也就是说，在正向行驶区域行驶的车辆是正向车辆，在反向行驶区域行驶的车辆是行驶方向与正向车辆相反的反向车辆。

在本申请实施例中，车载摄像设备所在车辆又称为当前车辆，与车载摄像设备所在车辆行驶方向相同的车辆为正向车辆，与车载摄像设备所在车辆行驶方向相反的车辆为反向车辆。

在本申请实施例中，道路中心线的识别装置100的检测所实施的对象是车载摄像设备取得的图像。车载摄像设备取得图像之后，将该图像发送给道路中心线的识别装置100进行识别。

在本申请实施例中，车载摄像设备可以是安装在车辆上的各种类型的摄像设备。例如，该车载摄像设备是车载摄像头，车载摄像头记录从驾驶视角拍摄的视频的各个帧，道路中心线的识别装置100针对各个帧逐个进行处理，并可以根据当前帧的识别结果更新之前的识别结果。

第一检测单元101对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的目标物。

例如，第一神经网络是通过深度学习方法训练得到的。

例如，第一神经网络是特征金字塔网络(FPN，Feature Pyramid Networks)。特征金字塔网络是一种性能良好的适用于多场景多目标检测的神经网络，使用该网络能够得到较高的目标物检测精度。

在本申请实施例中，第一神经网络检测的目标物包括车辆、道路方向标志以及道路线。也就是说，图像中的车辆、道路方向标志以及道路线都被作为目标物而被检测出，而不需要单独检测出道路线。

另外，第一神经网络检测的目标物还可以包括非机动车辆以及行人等。

在本申请实施例中，目标物中的车辆可以包括正向车辆和反向车辆；目标物中的道路方向标志包括正向道路方向标志和反向道路方向标志，正向道路方向标志是在正向行驶区域设置的道路方向标志，反向道路方向标志是在反向行驶区域设置的道路方向标志；目标物中的道路线可以包括各种类型的道路线，例如，道路中心线、道路边线以及人行道的道路线等。

在本申请实施例的一种实施方式中，第一检测单元101输出的目标物的检测结果可以用各个目标物的检测框来表示。

图2是本申请实施例1的目标物的检测结果的一示意图。如图2所示，对于车载摄像设备取得的一帧图像，检测到的目标物包括道路线201、202、204以及车辆203、205，另外，还包括人206和自行车207，图2中示出了这些目标物的检测框。

在本申请实施例中，第一确定单元102对于靠左侧行驶的道路，当检测到的目标物中包含位于车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置。

在本申请实施例中，由于第一确定单元102根据检测到的目标物中是否包括反向车辆和/或反向道路方向标志来确定，例如，装置100还可以包括：

第二检测单元105，其使用第二神经网络确定检测到的目标物中的车辆的行驶方向；以及

第三检测单元106，其使用第三神经网络确定检测到的目标物中的道路方向标志的方向。

在本申请实施例的一种实施方式中，第二神经网络根据车辆的显示方向来确定车辆的方向，第二神经网络输出的结果可以包括两种，即“正向车辆”和“反向车辆”。

在本申请实施例中，车辆的显示方向指的是在该图像中，检测到的车辆所显示的方向，或者也可以说，检测到的车辆所显示的车辆的部位。例如，在该图像中，显示了车辆的前部或右前部或左前部，则该车辆的显示方向即为“前”，车辆的行驶方向则为反向。也就是说，车载摄像设备所在车辆的行驶方向为正向，车载摄像设备拍摄得到的图像中显示方向为“前”的车辆则为与车载摄像设备所在车辆的行驶方向相反的车辆，即反向车辆。

在本申请实施例中，道路方向标志的方向指的是在该图像中，检测到的道路方向标志的指向，例如，包含有指向正向的箭头的道路方向标志称为前向道路方向标志，即，设置在正向行驶区域内的道路方向标志；包含有指向反向的箭头的道路方向标志称为反向道路方向标志。

在本申请实施例的一种实施方式中，前向指的是车载摄像设备所在的车辆的行驶方向，即正向行驶方向；反向指的是与车载摄像设备所在的车辆的行驶方向相反的方向，即逆向行驶方向。

在本申请实施例的一种实施方式中，第三神经网络输出的结果可以包括两种，即“正向道路方向标志”和“反向道路方向标志”。

对于靠左侧行驶的道路，当检测到的目标物中包含位于车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，第一确定单元102确定检测到的各个目标物的位置。

例如，对于图2所示的图像中的道路，其属于靠左侧行驶的道路。检测到的目标物中包含了位于车载摄像设备所在车辆右侧的反向车辆203以及位于车载摄像设备所在车辆右侧的道路线201、202，第一确定单元102根据这些目标物的检测框确定其位置，例如，将检测框底边中心的位置确定为该目标物的位置。另外，由于图2中的车辆205距离车载摄像设备所在车辆较远且检测框较小，其没有被检测为属于“反向车辆”，因此没有被作为参考车辆的候选。如果车辆205也被检测为属于“反向车辆”，则车辆205也可以作为参考车辆的候选。

在本申请实施例中，车载摄像设备取得的图像的坐标原点为图像的左上角顶点，图像中各个点的坐标以像素数表示，从图像的左上角开始，向右方横坐标逐渐增加，向下方纵坐标逐渐增大。

在本申请实施例中，第二确定单元103将与车载摄像设备所在车辆的水平距离最小的反向车辆和/或反向道路方向标志确定为参考车辆和/或参考道路方向标志。

例如，当与车载摄像设备所在车辆的水平距离最小的反向车辆和反向道路方向标志的一方在图像中被检测到时，则第二确定单元103将检测到的该反向车辆或反向道路方向标志确定为参考车辆或参考道路标志；当与车载摄像设备所在车辆的水平距离最小的反向车辆和反向道路方向标志在图像中均被检测到时，则第二确定单元103将与车载摄像设备所在车辆的水平距离最小的反向车辆和反向道路方向标志确定为参考车辆和参考道路标志。

图3是本申请实施例1的第二确定单元的一示意图。如图3所示，第二确定单元103包括：

第四确定单元301，其对于靠左侧行驶的道路，将最左侧的该反向车辆和/或该反向道路方向标志作为参考车辆和/或参考道路方向标志；以及

第五确定单元302，其对于靠右侧行驶的道路，将最右侧的该反向车辆和/或该反向道路方向标志作为参考车辆和/或参考道路方向标志。

例如，如图2所示，将最左侧的反向车辆203作为参考车辆。

在本申请实施例中，第三确定单元104根据检测到的目标物中的道路线与参考车辆和/或参考道路方向标志的距离以及位置关系，确定检测到的目标物中的道路线中的道路中心线。

以下，分为参考车辆和参考道路方向标志中的一个被检测到以及参考车辆和参考道路方向标志均被检测到这两种情况进行说明。

图4是本申请实施例1的第三确定单元的一示意图。如图4所示，第三确定单元104包括：

第六确定单元401，其当参考车辆和参考道路方向标志中的一个被检测到时，将与该参考车辆或该参考道路标志的水平距离最小、且位于该参考车辆或该参考道路标志的该车载摄像设备所在车辆一侧的道路线确定为道路中心线。

图5是本申请实施例1的第六确定单元的一示意图。如图5所示，第六确定单元401包括：

第七确定单元501，其将该参考车辆或该参考道路标志的检测框的底边中心作为车辆参考点或道路标志参考点；

描绘单元502，其根据检测到的各个道路线检测框的对角线，对各个道路线进行描绘；

第八确定单元503，其根据各个道路线检测框的顶点，确定道路线参考点的位置；

第一计算单元504，其计算该道路线参考点与该车辆参考点或该道路标志参考点的水平坐标差值；以及

第九确定单元505，其对于靠左侧行驶的道路，将该差值小于零且该差值的绝对值最小的道路线确定为道路中心线，对于靠右侧行驶的道路，将该差值大于零且该差值的绝对值最小的道路线确定为道路中心线。

在本申请实施例的一种实施方式中，描绘单元602将道路线检测框的对角线作为道路线，例如，对于靠左侧行驶的道路，将道路线检测框的左上角顶点和右下角顶点连接的对角线作为道路线，对于靠右侧行驶的道路，将道路线检测框的右上角顶点和左下角顶点连接的对角线作为道路线。

在本申请实施例的一种实施方式中，第八确定单元503根据以下的公式(1)确定道路线参考点的位置：

其中，xi表示道路线参考点的横坐标，y表示道路线参考点的纵坐标，(x_min,y_min)表示道路线检测框的左上角顶点的坐标，(x_max,y_max)表示道路线检测框的右下角顶点的坐标，i表示道路线的序号，i为正整数。

在本申请实施例中，道路线参考点的纵坐标y等于车辆参考点或道路标志参考点的纵坐标。

如图5所示，该第六确定单元401还可以包括：

延长单元506，其当描绘出的道路线的水平坐标范围不包含该车辆参考点或该道路标志参考点的水平坐标时，对该描绘出的道路线进行延长，以使得延长后的道路线的水平坐标范围包含该车辆参考点或该道路标志参考点的水平坐标。

以图2所示的目标物为例进行说明。图6是对图2进行进一步处理的一示意图。如图6所示，将参考车辆203的检测框的底边中心作为车辆参考点2031，连接道路线201、202的检测框的对角线作为描绘出的道路线，并且，对道路线202进行延长，以使得延长后的道路线的水平坐标范围包含车辆参考点2031的水平坐标。根据各个道路线201、202检测框的顶点，确定道路线参考点2011、2021，计算道路线参考点2011、2021与车辆参考点2031的水平坐标差值，图2所示的道路为靠左侧行驶的道路，那么，将与车辆参考点2031的水平坐标的差值小于0且差值绝对值最小的道路线参考点2011所在的道路线201确定为道路中心线。

在本申请实施例的一种实施方式中，对于参考车辆和参考道路方向标志均被检测到的情况，如图4所示，第三确定单元104还包括：

第十确定单元402，其当该参考车辆和该参考道路方向标志均被检测到时，将与该参考车辆的水平距离最小、且位于该参考车辆的该车载摄像设备所在车辆一侧的道路线确定为第一候选道路中心线，并且，将与该参考道路标志的水平距离最小、且位于该参考道路标志的该车载摄像设备所在车辆一侧的道路线确定为第二候选道路中心线；以及

第十一确定单元403，其将该第一候选道路中心线和该第二候选道路中心线中与该车载摄像设备所在车辆的水平距离较小的一方确定为道路中心线。

例如，图7是本申请实施例1的目标物的检测结果的另一示意图。如图7所示，检测出的目标物包括位于车载摄像设备所在车辆的右侧的道路线701、702以及参考车辆703和参考道路方向标志704。将与参考车辆703的水平距离最小、且位于参考车辆703的左侧的道路线702确定为第一候选道路中心线，将与参考道路标志704的水平距离最小、且位于参考道路标志704的左侧的道路线701确定为第二候选道路中心线。最后，将第一候选道路中心线702和第二候选道路中心线701中与该车载摄像设备所在车辆的水平距离较小的一方，即第二候选道路中心线701确定为道路中心线。

在本申请实施例中，第十确定单元702确定的第一候选道路中心线和第二候选道路中心线也可能是同一条道路线，那么，直接将该道路线确定为道路中心线。

由上述实施例可知，直接使用第一神经网络检测图像中的各种目标物，并根据目标物中的道路线以及反向车辆和/或反向道路方向标志确定参考车辆和/或参考道路方向标志，并根据检测到的道路线与参考车辆和/或参考道路方向标志的距离以及位置关系，确定道路中心线，这样，能够通过简单的装置结构，快速且准确的识别道路中心线，从而能够为各种可能的应用提供有效的信息。

实施例2

本申请实施例还提供了一种电子设备，图8是本申请实施例2的电子设备的一示意图。如图8所示，电子设备800包括道路中心线的识别装置801，道路中心线的识别装置801的结构和功能与实施例1中的记载相同，此处不再赘述。

在本申请实施例的一种实施方式中，电子设备800可以是各种类型的电子设备，例如，车载终端、移动终端或者计算机。

图9是本申请实施例2的电子设备的***构成的一示意框图。如图9所示，电子设备900可以包括处理器901和存储器902；该存储器902耦合到该处理器901。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。

如图9所示，电子设备900还可以包括：输入单元903、显示器904、电源905。

在本申请实施例的一个实施方式中，实施例1所述的道路中心线的识别装置的功能可以被集成到处理器901中。其中，处理器901可以被配置为：对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的目标物；对于靠左侧行驶的道路，当检测到的目标物中包含位于该车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于该车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；根据各个目标物的位置，将与该车载摄像设备所在车辆的水平距离最小的该反向车辆和/或该反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及根据检测到的该目标物中的道路线与该参考车辆和/或该参考道路方向标志的距离以及位置关系，确定检测到的该目标物中的道路线中的道路中心线。

例如，该第一神经网络为特征金字塔网络。

例如，处理器901还可以被配置为：使用第二神经网络确定检测到的目标物中的车辆的行驶方向；以及使用第三神经网络确定检测到的目标物中的道路方向标志的方向。

例如，该将与该车载摄像设备所在车辆的水平距离最小的该反向车辆和/或该反向道路方向标志作为参考车辆和/或参考道路方向标志，包括：对于靠左侧行驶的道路，将最左侧的该反向车辆和/或该反向道路方向标志作为参考车辆和/或参考道路方向标志；以及对于靠右侧行驶的道路，将最右侧的该反向车辆和/或该反向道路方向标志作为参考车辆和/或参考道路方向标志。

例如，该根据检测到的该目标物中的道路线与该参考车辆和/或该参考道路方向标志的距离以及位置关系，确定检测到的该目标物中的道路线中的道路中心线，包括：当参考车辆和参考道路方向标志中的一个被检测到时，将与该参考车辆或该参考道路标志的水平距离最小、且位于该参考车辆或该参考道路标志的该车载摄像设备所在车辆一侧的道路线确定为道路中心线。

例如，该将与该参考车辆或该参考道路标志的水平距离最小、且位于该参考车辆或该参考道路标志的该车载摄像设备所在车辆一侧的道路线确定为道路中心线，包括：将该参考车辆或该参考道路标志的检测框的底边中心作为车辆参考点或道路标志参考点；根据检测到的各个道路线检测框的对角线，对各个道路线进行描绘；根据各个道路线检测框的顶点，确定道路线参考点的位置；计算该道路线参考点与该车辆参考点或该道路标志参考点的水平坐标差值；以及对于靠左侧行驶的道路，将该差值小于零且该差值的绝对值最小的道路线确定为道路中心线，对于靠右侧行驶的道路，将该差值大于零且该差值的绝对值最小的道路线确定为道路中心线。

例如，该将与该参考车辆或该参考道路标志的水平距离最小、且位于该参考车辆或该参考道路标志的该车载摄像设备所在车辆一侧的道路线确定为道路中心线，还包括：当描绘出的道路线的水平坐标范围不包含该车辆参考点或该道路标志参考点的水平坐标时，对该描绘出的道路线进行延长，以使得延长后的道路线的水平坐标范围包含该车辆参考点或该道路标志参考点的水平坐标。

例如，该根据检测到的该目标物中的道路线与该参考车辆和/或该参考道路方向标志的距离以及位置关系，确定检测到的该目标物中的道路线中的道路中心线，包括：当该参考车辆和该参考道路方向标志均被检测到时，将与该参考车辆的水平距离最小、且位于该参考车辆的该车载摄像设备所在车辆一侧的道路线确定为第一候选道路中心线，并且，将与该参考道路标志的水平距离最小、且位于该参考道路标志的该车载摄像设备所在车辆一侧的道路线确定为第二候选道路中心线；以及将该第一候选道路中心线和该第二候选道路中心线中与该车载摄像设备所在车辆的水平距离较小的一方确定为道路中心线。

在本申请实施例的另一个实施方式中，实施例1所述的道路中心线的识别装置可以与该处理器901分开配置，例如可以将该道路中心线的识别装置配置为与处理器901连接的芯片，通过处理器901的控制来实现该道路中心线的识别装置的功能。

在本申请实施例的一种实施方式中，电子设备900也并不是必须要包括图9中所示的所有部件。

如图9所示，处理器901有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，处理器901接收输入并控制电子设备900的各个部件的操作。

该存储器902，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该处理器901可执行该存储器902存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备900的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本申请的范围。

由上述实施例可知，直接使用第一神经网络检测图像中的各种目标物，并根据目标物中的道路线以及反向车辆和/或反向道路方向标志确定参考车辆和/或参考道路方向标志，并根据检测到的道路线与参考车辆和/或参考道路方向标志的距离以及位置关系，确定道路中心线，这样，能够通过简单的装置结构，快速且准确的识别道路中心线，从而能够为各种可能的应用提供有效的信息。

实施例3

本申请实施例还提供一种道路中心线的识别方法，该方法对应于实施例1的道路中心线的识别装置。图10是本申请实施例3的道路中心线的识别方法的一示意图。

如图10所示，该方法包括：

步骤1001：对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的目标物；

步骤1002：对于靠左侧行驶的道路，当检测到的目标物中包含位于该车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于该车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；

步骤1003：根据各个目标物的位置，将与该车载摄像设备所在车辆的水平距离最小的该反向车辆和/或该反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及

步骤1004：根据检测到的该目标物中的道路线与该参考车辆和/或该参考道路方向标志的距离以及位置关系，确定检测到的该目标物中的道路线中的道路中心线。

在本申请实施例的一种实施方式中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。

由上述实施例可知，直接使用第一神经网络检测图像中的各种目标物，并根据目标物中的道路线以及反向车辆和/或反向道路方向标志确定参考车辆和/或参考道路方向标志，并根据检测到的道路线与参考车辆和/或参考道路方向标志的距离以及位置关系，确定道路中心线，这样，能够通过简单的装置结构，快速且准确的识别道路中心线，从而能够为各种可能的应用提供有效的信息。

本申请实施例还提供一种计算机可读程序，其中当在道路中心线的识别装置或电子设备中执行所述程序时，所述程序使得计算机在所述道路中心线的识别装置或电子设备中执行实施例3所述的道路中心线的识别方法。

本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在道路中心线的识别装置或电子设备中执行实施例3所述的道路中心线的识别方法。

结合本申请实施例描述的道路中心线的识别装置或电子设备中执行道路中心线的识别方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图10所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可***移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

本申请实施例还公开下述的附记：

1、一种道路中心线的识别装置，其特征在于，所述装置包括：

第一检测单元，其对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的目标物；

第一确定单元，其对于靠左侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；

第二确定单元，其根据各个目标物的位置，将与所述车载摄像设备所在车辆的水平距离最小的所述反向车辆和/或所述反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及

第三确定单元，其根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线。

2、根据附记1所述的装置，其特征在于，

所述第一神经网络为特征金字塔网络。

3、根据附记1所述的装置，其特征在于，所述装置还包括：

第二检测单元，其使用第二神经网络确定检测到的目标物中的车辆的行驶方向；以及

第三检测单元，其使用第三神经网络确定检测到的目标物中的道路方向标志的方向。

4、根据附记1所述的装置，其特征在于，所述第二确定单元包括：

第四确定单元，其对于靠左侧行驶的道路，将最左侧的所述反向车辆和/或所述反向道路方向标志作为参考车辆和/或参考道路方向标志；以及

第五确定单元，其对于靠右侧行驶的道路，将最右侧的所述反向车辆和/或所述反向道路方向标志作为参考车辆和/或参考道路方向标志。

5、根据附记1所述的装置，其特征在于，所述第三确定单元包括：

第六确定单元，其当参考车辆和参考道路方向标志中的一个被检测到时，将与所述参考车辆或所述参考道路标志的水平距离最小、且位于所述参考车辆或所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为道路中心线。

6、根据附记5所述的装置，其特征在于，所述第六确定单元包括：

第七确定单元，其将所述参考车辆或所述参考道路标志的检测框的底边中心作为车辆参考点或道路标志参考点；

描绘单元，其根据检测到的各个道路线检测框的对角线，对各个道路线进行描绘；

第八确定单元，其根据各个道路线检测框的顶点，确定道路线参考点的位置；

第一计算单元，其计算所述道路线参考点与所述车辆参考点或所述道路标志参考点的水平坐标差值；以及

第九确定单元，其对于靠左侧行驶的道路，将所述差值小于零且所述差值的绝对值最小的道路线确定为道路中心线，对于靠右侧行驶的道路，将所述差值大于零且所述差值的绝对值最小的道路线确定为道路中心线。

7、根据附记6所述的装置，其特征在于，所述第六确定单元还包括：

延长单元，其当描绘出的道路线的水平坐标范围不包含所述车辆参考点或所述道路标志参考点的水平坐标时，对所述描绘出的道路线进行延长，以使得延长后的道路线的水平坐标范围包含所述车辆参考点或所述道路标志参考点的水平坐标。

8、根据附记1所述的装置，其特征在于，所述第三确定单元包括：

第十确定单元，其当所述参考车辆和所述参考道路方向标志均被检测到时，将与所述参考车辆的水平距离最小、且位于所述参考车辆的所述车载摄像设备所在车辆一侧的道路线确定为第一候选道路中心线，并且，将与所述参考道路标志的水平距离最小、且位于所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为第二候选道路中心线；以及

第十一确定单元，其将所述第一候选道路中心线和所述第二候选道路中心线中与所述车载摄像设备所在车辆的水平距离较小的一方确定为道路中心线。

9、一种电子设备，其特征在于，所述电子设备包括根据附记1所述的装置。

10、一种道路中心线的识别方法，其特征在于，所述方法包括：

对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的目标物；

对于靠左侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；

根据各个目标物的位置，将与所述车载摄像设备所在车辆的水平距离最小的所述反向车辆和/或所述反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及

根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线。

11、根据附记10所述的方法，其特征在于，

所述第一神经网络为特征金字塔网络。

12、根据附记10所述的方法，其特征在于，所述方法还包括：

使用第二神经网络确定检测到的目标物中的车辆的行驶方向；以及

使用第三神经网络确定检测到的目标物中的道路方向标志的方向。

13、根据附记10所述的方法，其特征在于，所述根据各个目标物的位置，将与所述车载摄像设备所在车辆的水平距离最小的所述反向车辆和/或所述反向道路方向标志作为参考车辆和/或参考道路方向标志，包括：

对于靠左侧行驶的道路，将最左侧的所述反向车辆和/或所述反向道路方向标志作为参考车辆和/或参考道路方向标志；以及

对于靠右侧行驶的道路，将最右侧的所述反向车辆和/或所述反向道路方向标志作为参考车辆和/或参考道路方向标志。

14、根据附记10所述的方法，其特征在于，所述根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线，包括：

当参考车辆和参考道路方向标志中的一个被检测到时，将与所述参考车辆或所述参考道路标志的水平距离最小、且位于所述参考车辆或所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为道路中心线。

15、根据附记14所述的方法，其特征在于，所述将与所述参考车辆或所述参考道路标志的水平距离最小、且位于所述参考车辆或所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为道路中心线，包括：

将所述参考车辆或所述参考道路标志的检测框的底边中心作为车辆参考点或道路标志参考点；

根据检测到的各个道路线检测框的对角线，对各个道路线进行描绘；

根据各个道路线检测框的顶点，确定道路线参考点的位置；

计算所述道路线参考点与所述车辆参考点或所述道路标志参考点的水平坐标差值；以及

对于靠左侧行驶的道路，将所述差值小于零且所述差值的绝对值最小的道路线确定为道路中心线，对于靠右侧行驶的道路，将所述差值大于零且所述差值的绝对值最小的道路线确定为道路中心线。

16、根据附记15所述的方法，其特征在于，所述将与所述参考车辆或所述参考道路标志的水平距离最小、且位于所述参考车辆或所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为道路中心线，还包括：

当描绘出的道路线的水平坐标范围不包含所述车辆参考点或所述道路标志参考点的水平坐标时，对所述描绘出的道路线进行延长，以使得延长后的道路线的水平坐标范围包含所述车辆参考点或所述道路标志参考点的水平坐标。

17、根据附记10所述的方法，其特征在于，所述根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线，包括：

当所述参考车辆和所述参考道路方向标志均被检测到时，将与所述参考车辆的水平距离最小、且位于所述参考车辆的所述车载摄像设备所在车辆一侧的道路线确定为第一候选道路中心线，并且，将与所述参考道路标志的水平距离最小、且位于所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为第二候选道路中心线；以及

将所述第一候选道路中心线和所述第二候选道路中心线中与所述车载摄像设备所在车辆的水平距离较小的一方确定为道路中心线。

Claims (10)

1.一种道路中心线的识别装置，其特征在于，所述装置包括：

第一检测单元，其对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的目标物；

第一确定单元，其对于靠左侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；

第二确定单元，其根据各个目标物的位置，将与所述车载摄像设备所在车辆的水平距离最小的所述反向车辆和/或所述反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及

第三确定单元，其根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线。

2.根据权利要求1所述的装置，其特征在于，

所述第一神经网络为特征金字塔网络。

3.根据权利要求1所述的装置，其特征在于，所述装置还包括：

第二检测单元，其使用第二神经网络确定检测到的目标物中的车辆的行驶方向；以及

第三检测单元，其使用第三神经网络确定检测到的目标物中的道路方向标志的方向。

4.根据权利要求1所述的装置，其特征在于，所述第二确定单元包括：

第四确定单元，其对于靠左侧行驶的道路，将最左侧的所述反向车辆和/或所述反向道路方向标志作为参考车辆和/或参考道路方向标志；以及

第五确定单元，其对于靠右侧行驶的道路，将最右侧的所述反向车辆和/或所述反向道路方向标志作为参考车辆和/或参考道路方向标志。

5.根据权利要求1所述的装置，其特征在于，所述第三确定单元包括：

第六确定单元，其当参考车辆和参考道路方向标志中的一个被检测到时，将与所述参考车辆或所述参考道路标志的水平距离最小、且位于所述参考车辆或所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为道路中心线。

6.根据权利要求5所述的装置，其特征在于，所述第六确定单元包括：

第七确定单元，其将所述参考车辆或所述参考道路标志的检测框的底边中心作为车辆参考点或道路标志参考点；

描绘单元，其根据检测到的各个道路线检测框的对角线，对各个道路线进行描绘；

第八确定单元，其根据各个道路线检测框的顶点，确定道路线参考点的位置；

第一计算单元，其计算所述道路线参考点与所述车辆参考点或所述道路标志参考点的水平坐标差值；以及

第九确定单元，其对于靠左侧行驶的道路，将所述差值小于零且所述差值的绝对值最小的道路线确定为道路中心线，对于靠右侧行驶的道路，将所述差值大于零且所述差值的绝对值最小的道路线确定为道路中心线。

7.根据权利要求6所述的装置，其特征在于，所述第六确定单元还包括：

延长单元，其当描绘出的道路线的水平坐标范围不包含所述车辆参考点或所述道路标志参考点的水平坐标时，对所述描绘出的道路线进行延长，以使得延长后的道路线的水平坐标范围包含所述车辆参考点或所述道路标志参考点的水平坐标。

8.根据权利要求1所述的装置，其特征在于，所述第三确定单元包括：

第十确定单元，其当所述参考车辆和所述参考道路方向标志均被检测到时，将与所述参考车辆的水平距离最小、且位于所述参考车辆的所述车载摄像设备所在车辆一侧的道路线确定为第一候选道路中心线，并且，将与所述参考道路标志的水平距离最小、且位于所述参考道路标志的所述车载摄像设备所在车辆一侧的道路线确定为第二候选道路中心线；以及

第十一确定单元，其将所述第一候选道路中心线和所述第二候选道路中心线中与所述车载摄像设备所在车辆的水平距离较小的一方确定为道路中心线。

9.一种电子设备，其特征在于，所述电子设备包括根据权利要求1所述的装置。

10.一种道路中心线的识别方法，其特征在于，所述方法包括：

对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的目标物；

对于靠左侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆右侧的反向车辆和/或反向道路方向标志以及道路线时，以及对于靠右侧行驶的道路，当检测到的目标物中包含位于所述车载摄像设备所在车辆左侧的反向车辆和/或反向道路方向标志以及道路线时，确定检测到的各个目标物的位置；

根据各个目标物的位置，将与所述车载摄像设备所在车辆的水平距离最小的所述反向车辆和/或所述反向道路方向标志确定为参考车辆和/或参考道路方向标志；以及

根据检测到的所述目标物中的道路线与所述参考车辆和/或所述参考道路方向标志的距离以及位置关系，确定检测到的所述目标物中的道路线中的道路中心线。

Images