CN111923915B - 一种交通灯智能提醒方法、装置及*** - Google Patents

Abstract

本发明提供了一种交通灯智能提醒方法、装置及***，可以通过目标检测网络和数字识别分类网络识别图像数据中交通灯的状态和倒计时数据，进而在车辆接近交通灯路口、且交通灯状态为红灯状态时结合位置数据、车速数据、交通灯的状态和倒计时数据预测车辆行驶至待通过交通灯路口时的交通灯实际状态，并在交通灯实际状态为红灯状态时进行刹车提醒。基于本发明，可以在驾驶员通过交通路口之前及时提醒刹车，以此减少甚至避免闯红灯的情况，提高行车安全性。

Description

一种交通灯智能提醒方法、装置及***

技术领域

本发明涉及汽车技术领域，更具体地说，涉及一种交通灯智能提醒方法、装置及***。

背景技术

随着我国的汽车保有量日益增多，城市交通安全和路口通行效率问题已成为亟需解决的问题。

现阶段，驾驶员通过交通路口时主要以主观意识判断来决策，尽管有严格的交通法规，仍会出现闯红灯的情况，带来安全隐患。

发明内容

有鉴于此，为解决上述问题，本发明提供一种交通灯智能提醒方法、装置及***。技术方案如下：

一种交通灯智能提醒方法，所述方法包括：

获取车辆前方目标的图像数据、所述车辆与待通过交通灯路口的位置数据、以及所述车辆的车速数据；

将所述图像数据输入预构建的目标检测网络中，通过所述目标检测网络确定所述图像数据中交通灯的状态和所述交通灯的检测框；其中，所述目标检测网络是基于预设深度卷积神经网络所构建的，所述预设深度卷积神经网络包括卷积层、池化层和全连接层，所述卷积层包括位于深度卷积层输出端的大尺度浅层特征层，所述大尺度浅层特征层用于对所述深度卷积层所提取的特征进行回归运算，所述卷积层和所述池化层均与所述全连接层连接，所述全连接层用于融合各层所输出的特征；

将所述图像数据中被所述交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过所述数字识别分类网络确定所述目标图像数据中的倒计时数据；

在所述位置数据符合指定的用于表征接近交通灯路口的第一条件、且所述交通灯的状态为红灯状态的情况下，利用所述位置数据、所述车速数据、所述交通灯的状态和所述倒计时数据，预测所述车辆驶至所述待通过交通灯路口时的交通灯实际状态；

若所述交通灯实际状态为所述红灯状态，进行刹车提醒。

优选的，所述将所述图像数据中被所述交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中之前，所述方法还包括：

计算所述交通灯的检测框在连续两帧图像间的边框重叠率；

基于所述边框重叠率对所述交通灯的检测框进行追踪。

优选的，所述进行刹车提醒，包括：

以语音播放的方式进行刹车提醒。

优选的，所述方法还包括：

在所述位置数据符合指定的用于表征驶至交通灯路口的第二条件、且所述交通灯的状态为所述红灯状态的情况下，至少基于所述车速数据进行制动提醒。

优选的，所述方法还包括：

在所述位置数据符合指定的用于表征驶至交通灯路口的第二条件、且所述交通灯的状态为绿灯状态的情况下，获取所述交通灯识别模型识别到的距离当前最近的历史交通灯的状态；

若所述历史交通灯的状态为所述红灯状态，获取指定时长内所述车辆的新车速数据，并在所述新车速数据为零时进行起步提醒。

一种交通灯智能提醒装置，其特征在于，所述装置包括：

获取模块，用于获取车辆前方目标的图像数据、所述车辆与待通过交通灯路口的位置数据、以及所述车辆的车速数据；

确定模块，用于将所述图像数据输入预构建的目标检测网络中，通过所述目标检测网络确定所述图像数据中交通灯的状态和所述交通灯的检测框；其中，所述目标检测网络是基于预设深度卷积神经网络所构建的，所述预设深度卷积神经网络包括卷积层、池化层和全连接层，所述卷积层包括位于深度卷积层输出端的大尺度浅层特征层，所述大尺度浅层特征层用于对所述深度卷积层所提取的特征进行回归运算，所述卷积层和所述池化层均与所述全连接层连接，所述全连接层用于融合各层所输出的特征；将所述图像数据中被所述交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过所述数字识别分类网络确定所述目标图像数据中的倒计时数据；

预测模块，用于在所述位置数据符合指定的用于表征接近交通灯路口的第一条件、且所述交通灯的状态为红灯状态的情况下，利用所述位置数据、所述车速数据、所述交通灯的状态和所述倒计时数据，预测所述车辆驶至所述待通过交通灯路口时的交通灯实际状态；

提醒模块，用于若所述交通灯实际状态为所述红灯状态，进行刹车提醒。

优选的，所述装置还包括：

追踪模块，用于计算所述交通灯的检测框在连续两帧图像间的边框重叠率；基于所述边框重叠率对所述交通灯的检测框进行追踪。

优选的，所述提醒模块，具体用于：

以语音播放的方式进行刹车提醒。

一种交通灯智能提醒***，所述***包括：

车载前视相机，用于采集车辆前方目标的图像数据；

定位装置，用于采集所述车辆与待通过交通灯路口的位置数据；

测速器，用于采集所述车辆的车速数据；

分别与所述车载前视相机、所述定位装置和所述测速器通信连接的智能控制器，用于获取所述图像数据、所述位置数据和所述车速数据；将所述图像数据输入预构建的目标检测网络中，通过所述目标检测网络确定所述图像数据中交通灯的状态和所述交通灯的检测框；其中，所述目标检测网络是基于预设深度卷积神经网络所构建的，所述预设深度卷积神经网络包括卷积层、池化层和全连接层，所述卷积层包括位于深度卷积层输出端的大尺度浅层特征层，所述大尺度浅层特征层用于对所述深度卷积层所提取的特征进行回归运算，所述卷积层和所述池化层均与所述全连接层连接，所述全连接层用于融合各层所输出的特征；将所述图像数据中被所述交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过所述数字识别分类网络确定所述目标图像数据中的倒计时数据；在所述位置数据符合指定的用于表征接近交通灯路口的第一条件、且所述交通灯的状态为红灯状态的情况下，利用所述位置数据、所述车速数据、所述交通灯的状态和所述倒计时数据，预测所述车辆驶至所述待通过交通灯路口时的交通灯实际状态；若所述交通灯实际状态为所述红灯状态，进行刹车提醒。

优选的，所述***还包括：

与所述智能控制器通信连接的语音播放器，用于以语音播放的方式进行刹车提醒。

以上本发明提供的交通灯智能提醒方法、装置及***，可以通过目标检测网络和数字识别分类网络识别图像数据中交通灯的状态和倒计时数据，进而在车辆接近交通灯路口、且交通灯状态为红灯状态时结合位置数据、车速数据、交通灯的状态和倒计时数据预测车辆行驶至待通过交通灯路口时的交通灯实际状态，并在交通灯实际状态为红灯状态时进行刹车提醒。基于本发明，可以在驾驶员通过交通路口之前及时提醒刹车，以此减少甚至避免闯红灯的情况，提高行车安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的交通灯智能提醒方法的方法流程图；

图2为本发明实施例提供的交通灯智能提醒方法的另一方法流程图；

图3为本发明实施例提供的交通灯智能提醒方法的再一方法流程图；

图4为本发明实施例提供的交通灯智能提醒装置的结构示意图；

图5为本发明实施例提供的交通灯智能提醒***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种交通灯智能提醒方法，该方法的方法流程图如图1所示，包括如下步骤：

S10，获取车辆前方目标的图像数据、车辆与待通过交通灯路口的位置数据、以及车辆的车速数据。

在执行步骤S10的过程中，可以利用车载前视相机，比如能看到较远距离的高分辨率长焦高动态范围车载相机实时采集车辆前方目标的图像数据，而本实施例中对于车载前视相机的安装位置并不限定，保证车辆接近交通路口时可以拍摄到交通灯即可，比如可以安装在车载后视镜下方。

此外，对于车辆与待通过交通灯路口的位置数据，比如与待通过交通灯路口之间的距离可以由定位装置，比如GPS采集。而车辆的车速数据则可以由车辆的测速器采集。

S20，将图像数据输入预构建的目标检测网络中，通过目标检测网络确定图像数据中交通灯的状态和交通灯的检测框；其中，目标检测网络是基于预设深度卷积神经网络所构建的，预设深度卷积神经网络包括卷积层、池化层和全连接层，卷积层包括位于深度卷积层输出端的大尺度浅层特征层，大尺度浅层特征层用于对深度卷积层所提取的特征进行回归运算，卷积层和池化层均与全连接层连接，全连接层用于融合各层所输出的特征。

本实施例中，预设深度卷积神经网络采用深度卷积方式，其卷积层采用depthwise卷积，可以达到减少参数数量、提升运算速度的目的。并且，考虑到交通标志和交通灯的目标较小，在卷积层中添加大尺度浅层特征层，可以对深度卷积层所输出的特征进行回归运算，以实现像素放大。此外，全连接层可以融合卷积层、池化层以及本层所输出的特征，实现多尺度的目标分类，提高分类准确性。

当然，在基于预设深度卷积神经网络构建目标检测网络的过程中，本实施例可以利用预先标注有交通灯的状态(比如直行红灯、直行黄灯、直行绿灯、禁止左转红灯、左转黄灯、左转绿灯中的任意一个)的图像对预设深度卷积神经网络进行训练，经过上万次的迭代训练后得到性能良好的目标检测网络。

S30，将图像数据中被交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过数字识别分类网络确定目标图像数据中的倒计时数据。

本实施例中，数字识别分类网络可以基于指定神经网络所构建，由于数字识别的要求并不高，本实施例对于指定神经网络的类型并不做限定。

当然，在基于指定神经网络构建数字识别分类网络的过程中，本实施例可以利用预先标注有倒计时数据的图像对指定神经网络进行训练，经过上万次的迭代训练后得到性能良好的数字识别分类网络。

此外，为避免图像中其他数字的干扰，本实施例的数字识别分类网络可以在交通灯检测框的一定范围内识别倒计时数据。

进一步的，由于神经网络的层数众多，适用于PC端而不利于在嵌入式端应用，因此在不损失精度的情况下，可以对目标检测网络和/或数字识别分类网络进行压缩，以达到实时性的要求。具体的，可以采用基于TensorRT，剪枝等技术对网络模型进行压缩。其中，

TensorRT是基于GPU高性能前向运算的C++库，能够选择高效的网络中间数据类型，基于层参数和性能进行评估选择，对网络进行优化，加速网络的前向推理时间。

剪枝是对神经网络中的冗余参数剪掉，舍去那些贡献度低的神经元，使得模型运行速度更快、模型文件更小。

在其他一些实施例中，为提高交通灯检测框的鲁棒性，抖动更小，在将图像数据中被交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中之前，还包括如下步骤：

计算交通灯的检测框在连续两帧图像间的边框重叠率；基于边框重叠率对交通灯的检测框进行追踪。

本实施例中，在同一帧图像中可能出现多组交通灯，相应的，经过目标检测网络后，该帧图像中会出现多个交通灯的检测框。考虑到车辆前进过程中交通灯的移动轨迹是平行的，并且交通灯之间有明显的间隔，因此可以使用匹配算法计算任意连续的两帧图像间的边框重叠率，对于重叠率大于一定值的两个交通灯的检测框可以确定为同一检测框，从而实现检测框跟踪。

S40，在位置数据符合指定的用于表征接近交通灯路口的第一条件、且交通灯的状态为红灯状态的情况下，利用位置数据、车速数据、交通灯的状态和倒计时数据，预测车辆驶至待通过交通灯路口时的交通灯实际状态。

在执行步骤S40的过程中，可以预先设置表征接近交通灯路口的第一条件，比如第一条件为“车辆与交通灯路口之间的距离小于第一指定阈值”，当位置数据符合该第一条件时，则表示车辆接近交通灯路口。

此外，在预测交通灯实际状态的过程中，结合位置数据、车速数据、交通灯的状态和倒计时数据，由卡尔曼滤波算法推算出车辆驶至待通过交通路口时的交通灯实际状态。其中，

卡尔曼滤波是利用运动目标的信息、设法去掉噪声的影响，以此得到一个关于目标位置鲁棒性较好的位置估计，其本质就是预测下一步的状态。在本发明中，目标为车辆，是一个动态的运动目标，结合位置数据、车速数据(比如速度和加速度)建立运动状态方程，输出为下一时刻车辆的位置，确保输出的位置鲁棒性更高。输出多次，即可以获得车辆到达交通灯路口的目标时间，从而结合交通灯的状态和倒计时数据确定目标时间下交通灯的状态，即车辆驶至待通过交通路口的交通灯实际状态。

S50，若交通灯实际状态为红灯状态，进行刹车提醒。

在执行步骤S50的过程中，可以采用指定方式，比如彩灯闪烁，再比如振动等进行刹车提醒。

当然，为提高提醒的及时性和可靠性，可以采用语音播放的方式进行刹车提醒，具体可以将指定播放消息，比如“请注意前方红灯，做好刹车准备”发送给语音播放器，由语音播放器周期性进行刹车提醒。

在其他一些实施例中，为避免红灯等待溜车，在图1所示的交通灯智能提醒方法的基础上，还包括如下步骤，方法流程图如图2所示：

S60，在位置数据符合指定的用于表征驶至交通灯路口的第二条件、且交通灯的状态为红灯状态的情况下，至少基于车速数据进行制动提醒。

在执行步骤S60的过程中，可以预先设置表征驶至交通灯路口的第二条件，比如“车辆与交通灯路口之间的距离小于第二指定阈值，其中，第二指定阈值小于上述第一指定阈值”，当位置数据符合第二条件时，则表示车辆驶至交通灯路口。

此外，如果车辆当前的档位为空档，则表示车辆停止，此时一旦车速数据大于等于指定速度，表示车辆出现溜车，则可以采用指定方式进行制动提醒，以提醒驾驶员挂R档或者拉手刹。当然，为提高提醒的及时性和可靠性，可以采用语音播放的方式进行制动提醒，具体可以将指定播放消息，比如“请做好制动准备”发送给语音播放器，由语音播放器周期性进行制动提醒。

另外，还可以进一步监测车辆与前后车之间的距离，在车辆当前的档位为空档、车距过小时及时进行制动提醒，本实施例对于第二条件具体内容不做限定。

在其他一些实施例中，为避免驾驶员因分神导致绿灯起步延时，在图1所示的交通灯智能提醒方法的基础上，还包括如下步骤，方法流程图如图3所示：

S70，在位置数据符合指定的用于表征驶至交通灯路口的第二条件、且交通灯的状态为绿灯状态的情况下，获取交通灯识别模型识别到的距离当前最近的历史交通灯的状态。

在执行步骤S70的过程中，可以预先设置表征驶至交通灯路口的第二条件，比如“车辆与交通灯路口之间的距离小于第二指定阈值，其中，第二指定阈值小于上述第一指定阈值”，当位置数据符合第二条件时，则表示车辆驶至交通灯路口。

此外，交通灯识别模型识别到的距离当前最近的历史交通灯的状态为交通灯识别模型在上一时刻所输出的交通灯的状态，比如，交通灯识别模型每隔1S输出一个交通灯的状态，当前为第5S，则距离当前最近的历史交通灯的状态为交通灯识别模型第4S输出的交通灯状态。

S80，若历史交通灯的状态为红灯状态，获取指定时长内车辆的新车速数据，并在新车速数据为零时进行起步提醒。

在执行步骤S80的过程中，如果历史交通灯的状态为红灯状态，表示交通灯由红灯转绿灯；进而如果指定时长内车辆的新车速数据为零，表示车辆未起步，则可以采用指定方式进行起步提醒。

当然，为提高提醒的及时性和可靠性，可以采用语音播放的方式进行起步提醒，具体可以将指定播放消息，比如“请做好起步准备”发送给语音播放器，由语音播放器周期性进行起步提醒。

本发明实施例提供的交通灯智能提醒方法，可以在驾驶员通过交通路口的不同场景下不同方式的提醒，从而提高行车的安全性、保证交通路口的通行效率。

基于上述实施例提供的交通灯智能提醒方法，本发明实施例则对应提供执行上述交通灯智能提醒方法的装置，该装置的结构示意图如图4所示，包括：

获取模块101，用于获取车辆前方目标的图像数据、车辆与待通过交通灯路口的位置数据、以及车辆的车速数据。

确定模块102，用于将图像数据输入预构建的目标检测网络中，通过目标检测网络确定图像数据中交通灯的状态和交通灯的检测框；其中，目标检测网络是基于预设深度卷积神经网络所构建的，预设深度卷积神经网络包括卷积层、池化层和全连接层，卷积层包括位于深度卷积层输出端的大尺度浅层特征层，大尺度浅层特征层用于对深度卷积层所提取的特征进行回归运算，卷积层和池化层均与全连接层连接，全连接层用于融合各层所输出的特征；将图像数据中被交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过数字识别分类网络确定目标图像数据中的倒计时数据。

预测模块103，用于在位置数据符合指定的用于表征接近交通灯路口的第一条件、且交通灯的状态为红灯状态的情况下，利用位置数据、车速数据、交通灯的状态和倒计时数据，预测车辆驶至待通过交通灯路口时的交通灯实际状态。

提醒模块104，用于若交通灯实际状态为红灯状态，进行刹车提醒。

可选的，确定模块102，还用于：

计算交通灯的检测框在连续两帧图像间的边框重叠率；基于边框重叠率对交通灯的检测框进行追踪。

可选的，提醒模块104，具体用于：

以语音播放的方式进行刹车提醒。

可选的，提醒模块104，还用于：

在位置数据符合指定的用于表征驶至交通灯路口的第二条件、且交通灯的状态为红灯状态的情况下，至少基于车速数据进行制动提醒。

可选的，提醒模块104，还用于：

在位置数据符合指定的用于表征驶至交通灯路口的第二条件、且交通灯的状态为绿灯状态的情况下，获取交通灯识别模型识别到的距离当前最近的历史交通灯的状态；若历史交通灯的状态为红灯状态，获取指定时长内车辆的新车速数据，并在新车速数据为零时进行起步提醒。

本发明实施例提供的交通灯智能提醒装置，可以在驾驶员通过交通路口的不同场景下不同方式的提醒，从而提高行车的安全性、保证交通路口的通行效率。

本发明实施例提供的交通灯智能提醒装置，可以在驾驶员通过交通路口的不同场景下不同方式的提醒，从而提高行车的安全性、保证交通路口的通行效率。

基于上述实施例提供的交通灯智能提醒方法和装置，本发明实施例还提供一种交通灯智能提醒***，该***的结构示意图如图5所示，包括：

车载前视相机201，用于采集车辆前方目标的图像数据。

定位装置202，用于采集车辆与待通过交通灯路口的位置数据。

测速器203，用于采集车辆的车速数据。

分别与车载前视相机201、定位装置202和测速器203通信连接的智能控制器204，用于获取图像数据、位置数据和车速数据；将图像数据输入预构建的目标检测网络中，通过目标检测网络确定图像数据中交通灯的状态和交通灯的检测框；其中，目标检测网络是基于预设深度卷积神经网络所构建的，预设深度卷积神经网络包括卷积层、池化层和全连接层，卷积层包括位于深度卷积层输出端的大尺度浅层特征层，大尺度浅层特征层用于对深度卷积层所提取的特征进行回归运算，卷积层和池化层均与全连接层连接，全连接层用于融合各层所输出的特征；将图像数据中被交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过数字识别分类网络确定目标图像数据中的倒计时数据；在位置数据符合指定的用于表征接近交通灯路口的第一条件、且交通灯的状态为红灯状态的情况下，利用位置数据、车速数据、交通灯的状态和倒计时数据，预测车辆驶至待通过交通灯路口时的交通灯实际状态；若交通灯实际状态为红灯状态，进行刹车提醒。

可选的，***还包括：

与智能控制器通信连接的语音播放器，用于以语音播放的方式进行刹车提醒。

本发明实施例提供的交通灯智能提醒***，可以在驾驶员通过交通路口的不同场景下不同方式的提醒，从而提高行车的安全性、保证交通路口的通行效率。

以上对本发明所提供的一种交通灯智能提醒方法、装置及***进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种交通灯智能提醒方法，其特征在于，所述方法包括：

获取车辆前方目标的图像数据、所述车辆与待通过交通灯路口的位置数据、以及所述车辆的车速数据；

将所述图像数据输入预构建的目标检测网络中，通过所述目标检测网络确定所述图像数据中交通灯的状态和所述交通灯的检测框；其中，所述目标检测网络是基于预设深度卷积神经网络所构建的，所述预设深度卷积神经网络包括卷积层、池化层和全连接层，所述卷积层包括位于深度卷积层输出端的大尺度浅层特征层，所述大尺度浅层特征层用于对所述深度卷积层所提取的特征进行回归运算，以实现像素放大，所述卷积层和所述池化层均与所述全连接层连接，所述全连接层用于融合各层所输出的特征；

使用匹配算法计算任意连续的两帧图像间的边框重叠率，重叠率大于所设阈值的两个交通灯的检测框确定为同一检测框，并基于所述边框重叠率对所述交通灯的检测框进行追踪

将所述图像数据中被所述交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过所述数字识别分类网络确定所述目标图像数据中的倒计时数据；

在所述位置数据符合指定的用于表征接近交通灯路口的第一条件、且所述交通灯的状态为红灯状态的情况下，利用所述位置数据、所述车速数据、所述交通灯的状态和所述倒计时数据，预测所述车辆驶至所述待通过交通灯路口时的交通灯实际状态；

若所述交通灯实际状态为所述红灯状态，进行刹车提醒。

2.根据权利要求1所述的方法，其特征在于，所述进行刹车提醒，包括：

以语音播放的方式进行刹车提醒。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述位置数据符合指定的用于表征驶至交通灯路口的第二条件、且所述交通灯的状态为所述红灯状态的情况下，至少基于所述车速数据进行制动提醒。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述位置数据符合指定的用于表征驶至交通灯路口的第二条件、且所述交通灯的状态为绿灯状态的情况下，获取所述交通灯识别模型识别到的距离当前最近的历史交通灯的状态；

若所述历史交通灯的状态为所述红灯状态，获取指定时长内所述车辆的新车速数据，并在所述新车速数据为零时进行起步提醒。

5.一种交通灯智能提醒装置，其特征在于，所述装置包括：

获取模块，用于获取车辆前方目标的图像数据、所述车辆与待通过交通灯路口的位置数据、以及所述车辆的车速数据；

确定模块，用于将所述图像数据输入预构建的目标检测网络中，通过所述目标检测网络确定所述图像数据中交通灯的状态和所述交通灯的检测框；其中，所述目标检测网络是基于预设深度卷积神经网络所构建的，所述预设深度卷积神经网络包括卷积层、池化层和全连接层，所述卷积层包括位于深度卷积层输出端的大尺度浅层特征层，所述大尺度浅层特征层用于对所述深度卷积层所提取的特征进行回归运算，以实现像素放大，所述卷积层和所述池化层均与所述全连接层连接，所述全连接层用于融合各层所输出的特征；使用匹配算法计算任意连续的两帧图像间的边框重叠率，重叠率大于所设阈值的两个交通灯的检测框确定为同一检测框，并基于所述边框重叠率对所述交通灯的检测框进行追踪；将所述图像数据中被所述交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过所述数字识别分类网络确定所述目标图像数据中的倒计时数据；

预测模块，用于在所述位置数据符合指定的用于表征接近交通灯路口的第一条件、且所述交通灯的状态为红灯状态的情况下，利用所述位置数据、所述车速数据、所述交通灯的状态和所述倒计时数据，预测所述车辆驶至所述待通过交通灯路口时的交通灯实际状态；

提醒模块，用于若所述交通灯实际状态为所述红灯状态，进行刹车提醒。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

追踪模块，用于计算所述交通灯的检测框在连续两帧图像间的边框重叠率；基于所述边框重叠率对所述交通灯的检测框进行追踪。

7.根据权利要求5所述的装置，其特征在于，所述提醒模块，具体用于：

以语音播放的方式进行刹车提醒。

8.一种交通灯智能提醒***，其特征在于，所述***包括：

车载前视相机，用于采集车辆前方目标的图像数据；

定位装置，用于采集所述车辆与待通过交通灯路口的位置数据；

测速器，用于采集所述车辆的车速数据；

分别与所述车载前视相机、所述定位装置和所述测速器通信连接的智能控制器，用于获取所述图像数据、所述位置数据和所述车速数据；将所述图像数据输入预构建的目标检测网络中，通过所述目标检测网络确定所述图像数据中交通灯的状态和所述交通灯的检测框；其中，所述目标检测网络是基于预设深度卷积神经网络所构建的，所述预设深度卷积神经网络包括卷积层、池化层和全连接层，所述卷积层包括位于深度卷积层输出端的大尺度浅层特征层，所述大尺度浅层特征层用于对所述深度卷积层所提取的特征进行回归运算，以实现像素放大，所述卷积层和所述池化层均与所述全连接层连接，所述全连接层用于融合各层所输出的特征；使用匹配算法计算任意连续的两帧图像间的边框重叠率，重叠率大于所设阈值的两个交通灯的检测框确定为同一检测框，并基于所述边框重叠率对所述交通灯的检测框进行追踪；将所述图像数据中被所述交通灯的检测框所标注的目标图像数据输入至预构建的数字识别分类网络中，通过所述数字识别分类网络确定所述目标图像数据中的倒计时数据；在所述位置数据符合指定的用于表征接近交通灯路口的第一条件、且所述交通灯的状态为红灯状态的情况下，利用所述位置数据、所述车速数据、所述交通灯的状态和所述倒计时数据，预测所述车辆驶至所述待通过交通灯路口时的交通灯实际状态；若所述交通灯实际状态为所述红灯状态，进行刹车提醒。

9.根据权利要求8所述的***，其特征在于，所述***还包括：

与所述智能控制器通信连接的语音播放器，用于以语音播放的方式进行刹车提醒。

Images