CN113536941A - 训练图像生成、定位检测网络训练、定位检测方法及装置 - Google Patents

Abstract

本申请公开了一种训练图像生成、定位检测网络训练、定位检测方法及装置，所述方法包括：获取第一训练图像，所述第一训练图像为第一数量个标注有交通信号灯的位置信息的交通信号灯图像；基于所述第一训练图像对第一预设神经网络进行交通信号灯定位检测训练，得到初始训练数据生成网络；基于所述初始训练数据生成网络对所述第一训练图像进行数据扩充，得到第二训练图像；基于所述第二训练图像对所述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络；基于所述目标训练数据生成网络对所述第二训练图像进行数据扩充，得到目标训练图像。利用本申请的技术方案可以得到泛化能力较高的定位检测模型，提高信号灯的定位准确率。

Description

训练图像生成、定位检测网络训练、定位检测方法及装置

技术领域

本申请涉及图像识别技术领域，具体涉及一种训练图像生成、定位检测网络训练、定位检测方法及装置。

背景技术

随着人工智能技术的发展，自动驾驶逐步开始应用到人们的出行中，而交通信号灯检测是自动驾驶的关键技术之一。如果无法正确地检测出交通信号灯的位置，可能导致自动驾驶车辆违反交通规则，甚至可能造成严重的交通事故。

现有技术中主要使用深度检测网络YOLOv3进行交通信号灯的检测，通过对待检测图像和网络权重进行二值化处理虽然缩减了网络运算量和权重存储空间，但其检测精度也受到较大影响，在一些复杂场景下容易出现漏检或检错等问题。另外，由于在网络训练中通常使用全量的标注图像，训练图像集的收集与准备需要花费大量时间与人力。因此，现有技术难以真正实现交通信号灯的准确定位，需要提供更加有效的技术方案。

发明内容

本申请提供了一种训练图像生成、定位检测网络训练、定位检测方法及装置，可以获得泛化能力较强的定位检测网络从而提高交通信号灯定位的准确性，本申请技术方案如下：

一方面，提供了一种训练图像生成方法，所述方法包括：

获取第一训练图像，所述第一训练图像为第一数量个标注有交通信号灯的位置信息的交通信号灯图像；

基于所述第一训练图像对第一预设神经网络进行交通信号灯定位检测训练，得到初始训练数据生成网络；

基于所述初始训练数据生成网络对所述第一训练图像进行数据扩充，得到第二训练图像；

基于所述第二训练图像对所述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络；

基于所述目标训练数据生成网络对所述第二训练图像进行数据扩充，得到目标训练图像。

另一方面，提供了一种定位检测网络训练方法，所述方法包括：

获取训练图像，所述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；

将所述训练图像输入第二预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整所述第二预设神经网络的网络参数至所述第二预设神经网络输出的所述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到所述定位检测网络；

其中，所述训练图像是基于如上述的训练图像生成方法生成后得到的。

另一方面，提供了一种定位检测方法，所述方法包括：

获取待检测图像；

将所述待检测图像输入定位检测网络进行交通信号灯定位检测；

当检测到所述待检测图像中包含交通信号灯时，输出所述待检测图像中交通信号灯的位置信息；

其中，所述定位检测网络是基于如上述的定位检测网络训练方法训练后得到的。

另一方面，提供了一种训练图像生成装置，所述装置包括：

第一训练图像获取模块，用于获取第一训练图像，所述第一训练图像为第一数量个标注有交通信号灯的位置信息的交通信号灯图像；

第一定位检测训练模块，用于基于所述第一训练图像对第一预设神经网络进行交通信号灯定位检测训练，得到初始训练数据生成网络；

第一数据扩充模块，用于基于所述初始训练数据生成网络对所述第一训练图像进行数据扩充，得到第二训练图像集；

第二定位检测训练模块，用于基于所述第二训练图像对所述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络；

第二数据扩充模块，用于基于所述目标训练数据生成网络对所述第二训练图像集进行数据扩充，得到目标训练图像。

另一方面，提供了一种定位检测网络训练装置，所述装置包括：

训练图像获取模块，用于获取训练图像，所述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；

定位检测训练模块，用于将所述训练图像输入第二预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整所述第二预设神经网络的网络参数至所述第二预设神经网络输出的所述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到所述定位检测网络；

其中，所述训练图像是基于如上述的训练图像生成装置生成后得到的。

另一方面，提供了一种定位检测装置，所述装置包括：

待检测图像获取模块，用于获取待检测图像；

定位检测模块，用于将所述待检测图像输入定位检测网络进行交通信号灯定位检测；

位置信息输出模块，用于当检测到所述待检测图像中包含交通信号灯时，输出所述待检测图像中交通信号灯的位置信息；

其中，所述定位检测网络是基于如上述的定位检测网络训练装置训练后得到的。

另一方面，提供了一种定位检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的定位检测方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的定位检测方法。

本申请提供的训练图像生成、定位检测网络训练、定位检测方法及装置，具有如下技术效果：

本申请通过半监督式训练数据生成网络进行数据扩充，得到大量各类路况场景下的训练图像，并利用所述训练图像对定位检测网络进行交通信号灯定位检测训练，一方面，快速生成大量训练图像从而提升了网络训练的精度，另一方面，得到了泛化能力较强的定位检测网络，提升了在复杂道路场景下交通信号灯的定位准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种训练图像生成方法的流程示意图；

图2是本申请实施例提供的一种对第一训练图像进行数据扩充方法的流程示意图；

图3是本申请实施例提供的另一种对第一训练图像进行数据扩充方法的流程示意图；

图4是本申请实施例提供的一种初始训练数据生成网络的训练方法的流程示意图；

图5是本申请实施例提供的一种对第二训练图像进行数据扩充方法的流程示意图；

图6是本申请实施例提供的一种定位检测网络训练方法的流程示意图；

图7是本申请实施例提供的一种第二预设神经网络训练方法的流程示意图；

图8是本申请实施例提供的一种第二损失信息的计算方法的流程示意图；

图9是本申请实施例提供的一种定位检测方法的流程示意图；

图10是本申请实施例提供的一种训练图像生成装置示意图；

图11是本申请实施例提供的一种定位检测网络训练装置示意图；

图12是本申请实施例提供的一种定位检测装置示意图；

图13是本申请实施例提供的一种定位检测方法的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下介绍本申请实施例提供的一种训练图像生成方法，图1为本申请实施例提供的一种训练图像生成方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，上述方法可以包括：

S101，获取第一训练图像，上述第一训练图像为第一数量个标注有交通信号灯的位置信息的交通信号灯图像。

在实际应用中，在进行神经网络的交通信号灯定位检测训练之前，可以先确定训练图像，具体的，在本说明书实施例中，可以获取第一数量个标注有交通信号灯的位置信息的交通信号灯图像作为第一训练图像，其中，上述第一数量可以基于实际的神经网络训练需求进行预先设置，上述交通信号灯图像可以为包含交通信号灯的不同道路场景的图像。

在一些实施例中，交通信号灯的位置信息可以包括交通信号灯图像中交通信号灯的坐标信息，具体的实施例中，坐标信息可以为矩形坐标。

S103，基于上述第一训练图像对第一预设神经网络进行交通信号灯定位检测训练，得到初始训练数据生成网络。

具体的，将第一训练图像输入第一预设神经网络进行交通信号灯定位检测训练，在训练过程中调整第一预设神经网络的网络参数至第一预设神经网络输出的第一训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到初始训练数据生成网络。

在本说明书实施例中，上述第一预设神经网络可以包括但不限于深度神经网络、卷积神经网络、递归神经网络或逻辑回归网络等机器学习方式。上述网络参数可以为训练过程中学习到的网络参数，具体的，网络参数可以包括但不限于：权重、偏置值。

S105，基于上述初始训练数据生成网络对上述第一训练图像进行数据扩充，得到第二训练图像。

在本说明书实施例中，上述第二训练图像可以为第二数量个标注有交通信号灯的位置信息的交通信号灯图像，第二数量大于上述第一数量。

在一个具体的实施例中，如图2所示，图2是本说明书实施例提供的一种对第一训练图像进行数据扩充的流程示意图，具体的，可以包括：

S201，获取待标注样本图像。

具体的，待标注样本图像可以包括用于进行交通信号灯定位检测训练的样本图像。在实际应用中，样本图像可以为包含有交通信号灯的不同道路场景的图像。

S203，将上述待标注样本图像输入上述初始训练数据生成网络进行交通信号灯定位检测。

S205，当检测到上述待标注样本图像中包含交通信号灯时，输出上述待标注样本图像中交通信号灯的第一预测位置信息和上述第一预测位置信息的置信度。

在一些实施例中，上述第一预测位置信息可以包括第一预测矩形坐标，第一预测位置信息的置信度可以包括第一预测矩形坐标的置信度，具体的，第一预测矩形坐标可以为待标注样本图像中包含交通信号灯的最小矩形区域的顶点坐标，第一预测矩形坐标的置信度可以为上述顶点坐标的预测准确度。

S207，当上述第一预测位置信息的置信度不满足预设置信度条件时，对上述第一预测位置信息进行校正处理，得到校正后的第一预测位置信息。

具体的，上述预设置信度条件可以结合实际应用中对交通信号灯定位检测的准确度设定。具体的实施例中，当上述第一预测位置信息的置信度不满足预设置信度条件时，响应于后台触发的第一位置信息校正指令，第一位置信息校正指令包括校正后的第一预测位置信息，对第一预测位置信息进行校正处理，得到校正后的第一预测位置信息。

S209，将上述校正后的第一预测位置信息作为上述待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的第一样本图像。

S211，将上述第一样本图像加入上述第一训练图像，得到上述第二训练图像。

由以上实施例提供的技术方案可见，本说明书实施例中利用初始训练数据生成网络能够进行数据扩充，得到标注有准确位置信息的训练图像，为初始训练数据生成网络的迭代训练提供数据支持。

在另一个具体的实施例中，如图3所示，在上述输出上述待标注样本图像中交通信号灯的第一预测位置信息和上述第一预测位置信息的置信度之后，上述方法还可以包括：

S213，当上述第一预测位置信息的置信度满足上述预设置信度条件时，将上述第一预测位置信息作为上述待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的第二样本图像。

具体的，当第一预测位置信息的置信度满足上述预测置信度条件时，无需对第一预测位置信息进行校正处理，直接将第一预测位置信息作为待标注样本图像的标注标签。

S215，基于上述第二样本图像，更新上述第二训练图像。

由以上实施例提供的技术方案可见，本说明书实施例能够得到标注有准确位置信息的训练图像，为初始训练数据生成网络的迭代训练提供数据支持。

S107，基于上述第二训练图像对上述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络。

在一个具体的实施例中，如图4所示，图4是一种初始训练数据生成网络的训练方法的流程示意图，具体的，可以包括：

S401，将上述第二训练图像输入上述初始训练数据生成网络进行交通信号灯定位检测，得到上述第二训练图像中交通信号灯的第二预测位置信息。

在一些实施例中，第二预测位置信息可以包括第二预测矩形坐标。

S403，根据上述第二训练图像中标注的交通信号灯的位置信息和上述第二预测位置信息确定上述初始训练数据生成网络对应的第一损失信息。

具体的，标注的交通信号灯的位置信息可以包括标注的交通信号灯的矩形坐标，具体的实施例中，基于第一预设损失函数对标注的交通信号灯的矩形坐标和上述第二预测矩形坐标进行计算，得到初始训练数据生成网络对应的第一损失信息。其中，上述第一预设损失函数可以根据实际应用中初始训练数据生成网络的训练优化需求确定，具体的，第一预设损失函数可以包括但不限于L1范数损失函数、L2范数损失函数。

S405，根据上述第一损失信息更新上述初始训练数据生成网络，得到更新后的初始训练数据生成网络。

具体的，根据第一损失信息反向更新初始训练数据生成网络的网络参数，例如，网络参数可以包括但不限于：权重、偏置；根据更新后的网络参数，得到更新后的初始训练数据生成网络。

S407，基于上述更新后的初始训练数据生成网络重复执行上述将上述第二训练图像输入上述初始训练数据生成网络进行交通信号灯定位检测，得到上述第二训练图像中交通信号灯的第二预测位置信息至上述根据上述第一损失信息更新上述初始训练数据生成网络，得到更新后的初始训练数据生成网络的步骤，直至上述第一损失信息满足第一预设损失条件。

具体的，这里的第一预设损失条件可以结合实际应用中对初始训练数据生成网络的训练精度设定。

S409，将上述第一损失信息满足上述第一预设损失条件时的初始训练数据生成网络作为上述目标训练数据生成网络。

由以上实施例提供的技术方案可见，本说明书实施例中通过扩充后的训练图像对初始训练数据生成网络重复进行交通信号灯定位检测训练，得到泛化能力更强的目标训练数据生成网络，有效提高交通信号灯定位检测的准确率。

在一个可选的实施例中，如图5所示，在上述根据上述第一损失信息更新上述初始训练数据生成网络，得到更新后的初始训练数据生成网络之后，所述方法还可以包括：

S501，更新上述待标注样本图像，得到更新后的待标注样本图像。

在实际应用中，通过更新待标注样本图像，进一步扩充训练图像，提升网络训练精度。

S503，将上述更新后的待标注样本图像输入上述更新后的初始训练数据生成网络进行交通信号灯定位检测。

S505，当检测到上述更新后的待标注样本图像中包含交通信号灯时，输出上述更新后的待标注样本图像中交通信号灯的第三预测位置信息和上述第三预测位置信息的置信度。

在一些实施例中，上述第三预测位置信息可以包括第三预测矩形坐标，第三预测位置信息的置信度可以包括第三预测矩形坐标的置信度，具体的，第三预测矩形坐标可以为更新后的待标注样本图像中包含交通信号灯的最小矩形区域的顶点坐标，第三预测矩形坐标的置信度可以为顶点坐标的预测准确度。

S507，当上述第三预测位置信息的置信度不满足上述预设置信度条件时，对上述第三预测位置信息进行校正处理，得到校正后的第三预测位置信息。

具体的实施例中，当上述第三预测位置信息的置信度不满足上述预设置信度条件时，响应于后台触发的第三位置信息校正指令，第三位置信息校正指令包括校正后的第三预测位置信息，对第三预测位置信息进行校正处理，得到校正后的第三预测位置信息。

S509，将上述校正后的第三预测位置信息作为上述更新后的待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的更新样本图像。

S511，将上述更新样本图像加入上述第二训练图像，得到更新后的第二训练图像。

由以上实施例提供的技术方案可见，本说明书实施例中在进行初始训练数据生成网络的迭代训练之前，再次进行训练图像的扩充，利用扩充后的训练图像，进一步提升初始训练数据生成网络的训练效果。

S109，基于上述目标训练数据生成网络对上述第二训练图像进行数据扩充，得到目标训练图像。

由以上实施例提供的技术方案可见，本说明书实施例中通过少量训练图像训练预设神经网络得到初始训练数据生成网络，并利用初始训练数据生成网络进行数据扩充，然后利用扩充后的训练图像对初始训练数据生成网络进行迭代训练从而得到可以大量输出不同道路场景下的训练图像的目标训练数据生成网络，提高了训练图像的扩充效率，节省了大量时间与人力，从而提升了定位检测网络的训练精度。

以下介绍本申请实施例提供的一种定位检测网络训练方法，图6为本申请实施例提供的一种定位检测网络训练方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图6所示，上述方法可以包括：

S601，获取训练图像，上述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像。

具体的，训练图像是基于如上述的训练图像生成方法生成后得到的，这里训练图像的获取可以参见上述相关描述，在此不再赘述。

S603，将上述训练图像输入第二预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整上述第二预设神经网络的网络参数至上述第二预设神经网络输出的上述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到上述定位检测网络。

在本说明书实施例中，上述第二预设神经网络可以包括但不限于深度神经网络、卷积神经网络、递归神经网络或逻辑回归网络等机器学习方式。上述网络参数可以为训练过程中学习到的网络参数，具体的，网络参数可以包括但不限于：权重、偏置值。

在本说明书实施例中，如图7所示，图7是本说明书实施例提供的一种第二预设神经网络训练方法的流程示意图，具体的，可以包括：

S701，将上述训练图像输入上述第二预设神经网络进行交通信号灯定位检测，得到上述预测位置信息。

S703，基于上述预测位置信息和上述位置信息进行计算，得到上述第二预设神经网络对应的第二损失信息。

在一些实施例中，上述预测位置信息可以包括预测坐标信息，上述位置信息可以包括坐标信息。

在一个具体的实施例中，如图8所示，图8是本说明书实施例提供的一种第二损失信息的计算方法，具体的，可以包括：

S801，对上述预测坐标信息和上述坐标信息之间的向量差进行求模计算，得到位置信息误差值。

在本说明书实施例中，上述预测坐标信息可以为预测矩形坐标，上述坐标信息可以为矩形坐标，具体的，位置信息误差值的计算方法可以包括：

1)分别计算预测矩形坐标和矩形坐标之间四个矩形顶点坐标的向量差；

2)计算上述四个矩形顶点坐标的向量差的均值；

3)对上述均值进行求模计算，得到上述位置信息误差值。

S803，确定与上述位置信息误差值对应的损失函数。

在本说明书实施例中，可以预先结合多个样本位置信息误差值和对应的样本第二损失信息进行归纳总结后设定分段损失函数。

在一个具体的实施例中，分段损失函数可以为：

其中，loss为第二损失信息，|x|为位置信息误差值，a为位置信息误差值分段节点，b为控制参数。

具体的，当位置信息误差值较大，即位置信息误差值大于a时，将第二段函数作为对应的损失函数，该段函数的导数为1，对大误差不敏感，可以有效防止对应的第二损失信息被大误差主导；当位置信息误差值较小，即位置信息误差值小于a时，将第一段函数作为对应的损失函数，该段函数主体为对数函数，对小误差更敏感，能够很好地降低小误差，使模型更精确。其中，位置信息误差值分段节点a和控制参数b可以结合实际应用中对第二损失信息的梯度限制需求进行设定。

S805，将上述位置信息误差值输入上述对应的损失函数，得到上述对应的第二损失信息。

由以上实施例提供的技术方案可见，本说明书实施例中利用分段损失函数可以得到与位置信息误差值的大小相对应的第二损失信息，从而更好地调整网络参数，得到检测能力更强的第二预设神经网络。

S705，根据上述第二损失信息反向更新上述第二预设神经网络的网络参数，得到更新后的第二预设神经网络。

S707，基于上述更新后的第二预设神经网络重复执行上述将上述训练图像输入上述第二预设神经网络进行交通信号灯定位检测，得到上述预测位置信息至上述根据上述第二损失信息反向更新上述第二预设神经网络的网络参数，得到更新后的第二预设神经网络的步骤直至上述第二损失信息满足第二预设损失条件。

具体的，这里的第二预设损失条件可以结合实际应用中对定位检测网络的训练精度设定。

S709，将上述第二损失信息满足上述第二预设损失条件时的初始定位检测网络作为上述定位检测网络。

在一个具体的实施例中，以第二预设神经网络为深度神经网络为例，将训练图像输入到深度神经网络进行前馈传输，深度神经网络的输出为训练图像中交通信号灯的预测位置信息，而训练图像的样本标签为标注的交通信号灯的位置信息，根据标注的位置信息与预测位置信息确定位置信息误差值，相应的，训练过程中根据位置信息误差值可以得到对应的第二损失信息；再将第二损失信息基于bp算法(由信号的正向传播和误差的反向传播两个过程组成)从最后一层往前传输，在每一层中，通过这个第二损失信息去修改该层的神经网络权重的数值，修改完的数值会使得下一次前馈传输输出的交通信号灯的预测位置信息和标注的位置信息之间的位置信息误差值变得更小，当该位置信息误差值对应的第二损失信息小于第二预设损失条件时，可以将当前的深度神经网络作为定位检测网络。

由以上实施例提供的技术方案可见，本说明书实施例中利用上述训练图像生成方法得到的大量训练图像对第二预设神经网络进行交通信号灯定位检测训练，并提供了一种计算第二损失信息的方法，在训练过程中根据第二损失信息反向更新第二预设神经网络的网络参数，获得了泛化能力较强的定位检测网络，提高在复杂场景下交通信号灯的定位检测准确度。

以下介绍本申请实施例提供的一种定位检测方法，图9为本申请实施例提供的一种定位检测方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图9所示，上述方法可以包括：

S901，获取待检测图像。

在实际应用中，待检测图像可以包括需要进行交通信号灯定位检测的路况图像。

S903，将上述待检测图像输入定位检测网络进行交通信号灯定位检测。

具体的，定位检测网络是基于如上述的定位检测网络训练方法训练后得到的。

S905，当检测到上述待检测图像中包含交通信号灯时，输出上述待检测图像中交通信号灯的位置信息。

在本说明书实施例中，位置信息可以包括矩形坐标。可选的实施例中，当检测到待检测图像中包含交通信号灯时，可以输出待检测图像中交通信号灯的矩形顶点坐标或矩形对角坐标。

由以上本说明书实施例可见，利用上述定位检测网络训练方法训练得到的定位检测网络进行交通信号灯的定位检测，提升了交通信号灯定位检测的准确率，在复杂的道路场景下也有较好的交通信号灯定位检测效果。

本申请实施例提供了一种训练图像生成装置，如图10所示，上述装置可以包括：

第一训练图像获取模块1010，用于获取第一训练图像，上述第一训练图像为第一数量个标注有交通信号灯的位置信息的交通信号灯图像；

第一定位检测训练模块1020，用于基于上述第一训练图像对第一预设神经网络进行交通信号灯定位检测训练，得到初始训练数据生成网络；

第一数据扩充模块1030，用于基于上述初始训练数据生成网络对上述第一训练图像进行数据扩充，得到第二训练图像集；

第二定位检测训练模块1040，用于基于上述第二训练图像对上述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络；

第二数据扩充模块1050，用于基于上述目标训练数据生成网络对上述第二训练图像集进行数据扩充，得到目标训练图像。

在一个具体的实施例中，上述第一数据扩充模块1030可以包括：

待标注样本图像获取单元，用于获取待标注样本图像；

第一定位检测单元，用于将上述待标注样本图像输入上述初始训练数据生成网络进行交通信号灯定位检测；

第一预测位置信息单元，用于当检测到上述待标注样本图像中包含交通信号灯时，输出上述待标注样本图像中交通信号灯的第一预测位置信息和上述第一预测位置信息的置信度；

第一校正单元，用于当上述第一预测位置信息的置信度不满足预设置信度条件时，对上述第一预测位置信息进行校正处理，得到校正后的第一预测位置信息；

第一样本图像单元，用于将上述校正后的第一预测位置信息作为上述待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的第一样本图像；

第一扩充单元，用于将上述第一样本图像加入上述第一训练图像，得到上述第二训练图像。

在一个具体的实施例中，上述装置还可以包括：

第二样本图像单元，用于当上述第一预测位置信息的置信度满足上述预设置信度条件时，将上述第一预测位置信息作为上述待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的第二样本图像；

第二训练图像更新单元，用于基于上述第二样本图像，更新上述第二训练图像。

在一个具体的实施例中，上述第二定位检测训练模块1040可以包括：

第二定位检测单元，用于将上述第二训练图像输入上述初始训练数据生成网络进行交通信号灯定位检测，得到上述第二训练图像中交通信号灯的第二预测位置信息；

第一损失信息确定单元，用于根据上述第二训练图像中标注的交通信号灯的位置信息和上述第二预测位置信息确定上述初始训练数据生成网络对应的第一损失信息；

初始训练数据生成网络更新单元，用于根据上述第一损失信息更新上述初始训练数据生成网络，得到更新后的初始训练数据生成网络；

迭代训练单元，用于基于上述更新后的初始训练数据生成网络重复执行上述将上述第二训练图像输入上述初始训练数据生成网络进行交通信号灯定位检测，得到上述第二训练图像中交通信号灯的第二预测位置信息至上述根据上述第一损失信息更新上述初始训练数据生成网络，得到更新后的初始训练数据生成网络的步骤，直至上述第一损失信息满足第一预设损失条件；

目标训练数据生成网络确定单元，用于将上述第一损失信息满足上述第一预设损失条件时的初始训练数据生成网络作为上述目标训练数据生成网络。

在一个可选的实施例中，上述装置还可以包括：

待标注样本图像更新单元，用于更新上述待标注样本图像，得到更新后的待标注样本图像；

第三定位检测单元，用于将上述更新后的待标注样本图像输入上述更新后的初始训练数据生成网络进行交通信号灯定位检测；

第三预测位置信息单元，用于当检测到上述更新后的待标注样本图像中包含交通信号灯时，输出上述更新后的待标注样本图像中交通信号灯的第三预测位置信息和上述第三预测位置信息的置信度；

第二校正单元，用于当上述第三预测位置信息的置信度不满足上述预设置信度条件时，对上述第三预测位置信息进行校正处理，得到校正后的第三预测位置信息；

样本图像更新单元，用于将上述校正后的第三预测位置信息作为上述更新后的待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的更新样本图像；

第二扩充单元，用于将上述更新样本图像加入上述第二训练图像，得到更新后的第二训练图像。

上述的训练图像生成装置实施例中的装置与训练图像生成方法实施例基于同样地发明构思。

本申请实施例还提供了一种定位检测网络训练装置，如图11所示，上述装置可以包括：

训练图像获取模块1110，用于获取训练图像，上述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；

定位检测训练模块1120，用于将上述训练图像输入第二预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整上述第二预设神经网络的网络参数至上述第二预设神经网络输出的上述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到上述定位检测网络；

其中，上述训练图像是基于如上述的训练图像生成装置生成后得到的。

在本说明书实施例中，上述定位检测训练模块1120可以包括：

定位检测单元，用于将上述训练图像输入上述第二预设神经网络进行交通信号灯定位检测，得到上述预测位置信息；

第二损失信息计算单元，用于基于上述预测位置信息和上述位置信息进行计算，得到上述第二预设神经网络对应的第二损失信息；

第二预设神经网络更新单元，用于根据上述第二损失信息反向更新上述第二预设神经网络的网络参数，得到更新后的第二预设神经网络；

重复训练单元，用于基于上述更新后的第二预设神经网络重复执行上述将上述训练图像输入上述第二预设神经网络进行交通信号灯定位检测，得到上述预测位置信息至上述根据上述第二损失信息反向更新上述第二预设神经网络的网络参数，得到更新后的第二预设神经网络的步骤直至上述第二损失信息满足第二预设损失条件；

定位检测网络确定单元，用于将上述第二损失信息满足上述第二预设损失条件时的初始定位检测网络作为上述定位检测网络。

在一个具体的实施例中，上述第二损失信息计算单元可以包括：

位置信息误差值计算单元，用于对上述预测坐标信息和上述坐标信息之间的向量差进行求模计算，得到位置信息误差值；

损失函数确定单元，用于确定与上述位置信息误差值对应的损失函数；

第二损失信息确定单元，用于将上述位置信息误差值输入上述对应的损失函数，得到上述对应的第二损失信息。

上述的定位检测网络训练装置实施例中的装置与定位检测网络训练方法实施例基于同样地发明构思。

本申请实施例还提供了一种定位检测装置，如图12所示，上述装置可以包括：

待检测图像获取模块1210，用于获取待检测图像；

定位检测模块1220，用于将上述待检测图像输入定位检测网络进行交通信号灯定位检测；

位置信息输出模块1230，用于当检测到上述待检测图像中包含交通信号灯时，输出上述待检测图像中交通信号灯的位置信息；

其中，上述定位检测网络是基于如上述的定位检测网络训练装置训练后得到的。

上述的定位检测装置实施例中的装置与定位检测方法实施例基于同样地发明构思。

本申请实施例提供了一种定位检测设备，该定位检测设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的定位检测方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、功能所需的应用程序等；存储数据区可存储根据上述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括移动终端、计算机终端、服务器或者类似的运算装置。以运行在服务器上为例，图13是本申请实施例提供的一种定位检测方法的服务器的硬件结构框图。如图13所示，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(Central Processing Units，CPU)1310(处理器1310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1330，一个或一个以上存储应用程序1323或数据1322的存储介质1320(例如一个或一个以上海量存储设备)。其中，存储器1330和存储介质1320可以是短暂存储或持久存储。存储在存储介质1320的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1310可以设置为与存储介质1320通信，在服务器1300上执行存储介质1320中的一系列指令操作。服务器1300还可以包括一个或一个以上电源1360，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1340，和/或，一个或一个以上操作***1321，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1300的通信供应商提供的无线网络。在一个实例中，输入输出接口1340包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1340可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图13所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1300还可包括比图13中所示更多或者更少的组件，或者具有与图13所示不同的配置。

本申请实施例还提供了一种存储介质，上述存储介质可设置于服务器之中以保存用于实现方法实施例中一种的定位检测方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的定位检测方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的训练图像生成、定位检测网络训练、定位检测方法及装置的实施例可见，利用本申请提供的技术方案，通过少量训练图像训练第一预设神经网络得到初始训练数据生成网络，并利用初始训练数据生成网络进行数据扩充，然后利用扩充后的训练图像对初始训练数据生成网络进行迭代训练从而得到可以大量输出不同道路场景下的训练图像的目标训练数据生成网络，提高了训练图像的扩充效率，节省了大量时间与人力；利用由目标训练数据生成网络得到的大量训练图像对第二预设神经网络进行交通信号灯定位检测训练，并提供了一种计算第二损失信息的方法，在训练过程中根据第二损失信息反向更新第二预设神经网络的网络参数，获得了泛化能力较强的定位检测网络从而提高了在复杂场景下交通信号灯的定位检测准确度。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种训练图像生成方法，其特征在于，所述方法包括：

获取第一训练图像，所述第一训练图像为第一数量个标注有交通信号灯的位置信息的交通信号灯图像；

基于所述第一训练图像对第一预设神经网络进行交通信号灯定位检测训练，得到初始训练数据生成网络；

基于所述初始训练数据生成网络对所述第一训练图像进行数据扩充，得到第二训练图像；

基于所述第二训练图像对所述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络；

基于所述目标训练数据生成网络对所述第二训练图像进行数据扩充，得到目标训练图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述初始训练数据生成网络对所述第一训练图像进行数据扩充，得到第二训练图像包括：

获取待标注样本图像；

将所述待标注样本图像输入所述初始训练数据生成网络进行交通信号灯定位检测；

当检测到所述待标注样本图像中包含交通信号灯时，输出所述待标注样本图像中交通信号灯的第一预测位置信息和所述第一预测位置信息的置信度；

当所述第一预测位置信息的置信度不满足预设置信度条件时，对所述第一预测位置信息进行校正处理，得到校正后的第一预测位置信息；

将所述校正后的第一预测位置信息作为所述待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的第一样本图像；

将所述第一样本图像加入所述第一训练图像，得到所述第二训练图像。

3.根据权利要求2所述的方法，其特征在于，在所述当检测到所述待标注样本图像中包含交通信号灯时，输出所述待标注样本图像中交通信号灯的第一预测位置信息和所述第一预测位置信息的置信度之后，所述方法还包括：

当所述第一预测位置信息的置信度满足所述预设置信度条件时，将所述第一预测位置信息作为所述待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的第二样本图像；

基于所述第二样本图像，更新所述第二训练图像。

4.根据权利要求2或3所述的方法，其特征在于，所述基于所述第二训练图像对所述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络包括：

将所述第二训练图像输入所述初始训练数据生成网络进行交通信号灯定位检测，得到所述第二训练图像中交通信号灯的第二预测位置信息；

根据所述第二训练图像中标注的交通信号灯的位置信息和所述第二预测位置信息确定所述初始训练数据生成网络对应的第一损失信息；

根据所述第一损失信息更新所述初始训练数据生成网络，得到更新后的初始训练数据生成网络；

基于所述更新后的初始训练数据生成网络重复执行所述将所述第二训练图像输入所述初始训练数据生成网络进行交通信号灯定位检测，得到所述第二训练图像中交通信号灯的第二预测位置信息至所述根据所述第一损失信息更新所述初始训练数据生成网络，得到更新后的初始训练数据生成网络的步骤，直至所述第一损失信息满足第一预设损失条件；

将所述第一损失信息满足所述第一预设损失条件时的初始训练数据生成网络作为所述目标训练数据生成网络。

5.根据权利要求4所述的方法，其特征在于，在所述根据所述第一损失信息更新所述初始训练数据生成网络，得到更新后的初始训练数据生成网络之后，所述方法还包括：

更新所述待标注样本图像，得到更新后的待标注样本图像；

将所述更新后的待标注样本图像输入所述更新后的初始训练数据生成网络进行交通信号灯定位检测；

当检测到所述更新后的待标注样本图像中包含交通信号灯时，输出所述更新后的待标注样本图像中交通信号灯的第三预测位置信息和所述第三预测位置信息的置信度；

当所述第三预测位置信息的置信度不满足所述预设置信度条件时，对所述第三预测位置信息进行校正处理，得到校正后的第三预测位置信息；

将所述校正后的第三预测位置信息作为所述更新后的待标注样本图像中交通信号灯的位置信息，并生成标注有交通信号灯的位置信息的更新样本图像；

将所述更新样本图像加入所述第二训练图像，得到更新后的第二训练图像。

6.一种定位检测网络训练方法，其特征在于，所述方法包括：

获取训练图像，所述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；

将所述训练图像输入第二预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整所述第二预设神经网络的网络参数至所述第二预设神经网络输出的所述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到所述定位检测网络；

其中，所述训练图像是基于权利要求1至5任一所述的训练图像生成方法生成后得到的。

7.根据权利要求6所述的方法，其特征在于，所述将所述训练图像输入第二预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整所述第二预设神经网络的网络参数至所述第二预设神经网络输出的所述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到所述定位检测网络包括：

将所述训练图像输入所述第二预设神经网络进行交通信号灯定位检测，得到所述预测位置信息；

基于所述预测位置信息和所述位置信息进行计算，得到所述第二预设神经网络对应的第二损失信息；

根据所述第二损失信息反向更新所述第二预设神经网络的网络参数，得到更新后的第二预设神经网络；

基于所述更新后的第二预设神经网络重复执行所述将所述训练图像输入所述第二预设神经网络进行交通信号灯定位检测，得到所述预测位置信息至所述根据所述第二损失信息反向更新所述第二预设神经网络的网络参数，得到更新后的第二预设神经网络的步骤直至所述第二损失信息满足第二预设损失条件；

将所述第二损失信息满足所述第二预设损失条件时的初始定位检测网络作为所述定位检测网络。

8.根据权利要求7所述的方法，其特征在于，所述预测位置信息包括预测坐标信息，所述位置信息包括坐标信息，所述基于所述预测位置信息和所述位置信息进行计算，得到所述第二预设神经网络对应的第二损失信息包括：

对所述预测坐标信息和所述坐标信息之间的向量差进行求模计算，得到位置信息误差值；

确定与所述位置信息误差值对应的损失函数；

将所述位置信息误差值输入所述对应的损失函数，得到所述对应的第二损失信息。

9.一种定位检测方法，其特征在于，所述方法包括：

获取待检测图像；

将所述待检测图像输入定位检测网络进行交通信号灯定位检测；

当检测到所述待检测图像中包含交通信号灯时，输出所述待检测图像中交通信号灯的位置信息；

其中，所述定位检测网络是基于权利要求6至8任一所述的定位检测网络训练方法训练后得到的。

10.一种训练图像生成装置，其特征在于，所述装置包括：

第一训练图像获取模块，用于获取第一训练图像，所述第一训练图像为第一数量个标注有交通信号灯的位置信息的交通信号灯图像；

第一定位检测训练模块，用于基于所述第一训练图像对第一预设神经网络进行交通信号灯定位检测训练，得到初始训练数据生成网络；

第一数据扩充模块，用于基于所述初始训练数据生成网络对所述第一训练图像进行数据扩充，得到第二训练图像集；

第二定位检测训练模块，用于基于所述第二训练图像对所述初始训练数据生成网络进行交通信号灯定位检测训练，得到目标训练数据生成网络；

第二数据扩充模块，用于基于所述目标训练数据生成网络对所述第二训练图像集进行数据扩充，得到目标训练图像。

11.一种定位检测网络训练装置，其特征在于，所述装置包括：

训练图像获取模块，用于获取训练图像，所述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；

定位检测训练模块，用于将所述训练图像输入第二预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整所述第二预设神经网络的网络参数至所述第二预设神经网络输出的所述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到所述定位检测网络；

其中，所述训练图像是基于权利要求10所述的训练图像生成装置生成后得到的。

12.一种定位检测装置，特征在于，所述装置包括：

待检测图像获取模块，用于获取待检测图像；

定位检测模块，用于将所述待检测图像输入定位检测网络进行交通信号灯定位检测；

位置信息输出模块，用于当检测到所述待检测图像中包含交通信号灯时，输出所述待检测图像中交通信号灯的位置信息；

其中，所述定位检测网络是基于权利要求10所述的定位检测网络训练装置训练后得到的。

13.一种定位检测设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求9所述的定位检测方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求9所述的定位检测方法。

Images