CN114743145A - 交通灯检测方法、装置以及电子设备 - Google Patents

Abstract

本公开提供了交通灯检测方法、装置以及电子设备，涉及人工智能领域，尤其涉及自动驾驶领域和智能交通领域。具体实现方案为：服务端可以根据无人车在整个行驶阶段采集的视频，识别得到交通灯在各时刻的显示数据，即第三时序数据，且服务端可以基于来自交通灯的第一时序数据、无人车在行驶过程中基于实时采集的视频画面得到第二时序数据，以及第三时序数据，检测交通灯显示是否正确，可以看作服务端对交通灯的显示数据进行了两次检测，可以提高交通灯检测的准确性和检测效率。

Description

交通灯检测方法、装置以及电子设备

技术领域

本公开涉及人工智能领域，尤其涉及一种交通灯检测方法、装置以及电子设备，可用于自动驾驶领域和智能交通领域。

背景技术

在自动驾驶领域，无人车在行驶过程中，可以识别路口的交通灯的颜色和倒计时等信息，进而基于识别到的信息准确控制驾驶操作。而交通灯的准确性对无人车的驾驶安全性影响重大，如交通灯的灯色不准确，将导致无人车做出错误的驾驶操作，进而引发交通事故。

因此，亟需一种交通灯检测方法，以检测交通灯的显示是否正确。

发明内容

本公开提供了一种交通灯检测方法、装置以及电子设备，可以检测交通灯显示是否正确。

根据本公开的第一方面，提供了一种交通灯检测方法。该方法包括：接收来自无人车的第一时序数据、第二时序数据，以及视频，所述视频为所述无人车在整个行驶阶段采集的视频，所述第一时序数据为：所述无人车在所述整个行驶阶段接收来自交通灯的显示数据，所述第二时序数据为：所述无人车基于所述视频得到的所述交通灯的显示数据；根据所述视频，获取第三时序数据，所述第三时序数据包括所述交通灯的显示数据；根据所述第一时序数据、所述第二时序数据，以及所述第三时序数据，得到所述交通灯显示是否正确的检测结果；输出所述检测结果。

本公开实施例中，服务端可以基于来自交通灯的第一时序数据、无人车在行驶过程中基于实时采集的视频画面得到第二时序数据，以及基于视频得到的第三时序数据，检测交通灯显示是否正确，可以看作服务端对交通灯的显示数据进行了两次检测，可以提高交通灯检测的准确性。

根据本公开的第二方面，提供了一种交通灯检测方法。该方法包括：在行驶过程中，接收来自路侧设备的交通灯的显示数据，所述路侧设备中的所述交通灯的显示数据来自所述交通灯；采集视频画面和无人车的方位信息；将接收所述显示数据的时刻与所述显示数据映射，得到第一时序数据；根据不同时刻采集的视频画面和方位信息，获取第二时序数据；在行驶结束时，向服务端发送所述第一时序数据、所述第二时序数据，以及所述无人车在整个行驶阶段采集的视频。

根据本公开的第三方面，提供了一种交通灯检测装置，其中，收发单元，用于接收来自无人车的第一时序数据、第二时序数据，以及视频，所述视频为所述无人车在整个行驶阶段采集的视频，所述第一时序数据为：所述无人车在所述整个行驶阶段接收来自交通灯的显示数据，所述第二时序数据为：所述无人车基于所述视频得到的所述交通灯的显示数据；处理单元，用于根据所述视频，获取第三时序数据，所述第三时序数据包括所述交通灯的显示数据；以及根据所述第一时序数据、所述第二时序数据，以及所述第三时序数据，得到所述交通灯显示是否正确的检测结果；输出单元，用于输出所述检测结果。

根据本公开的第四方面，提供了一种交通灯检测装置，其中，在行驶过程中，收发单元，用于接收来自路侧设备的交通灯的显示数据，所述路侧设备中的所述交通灯的显示数据来自所述交通灯；拍摄单元，用于采集视频画面；以及，定位单元，用于采集和无人车的方位信息；处理单元，用于将接收所述显示数据的时刻与所述显示数据映射，得到第一时序数据；以及，根据不同时刻采集的视频画面和方位信息，获取第二时序数据；在行驶结束时，所述收发单元，还用于向服务端发送所述第一时序数据、所述第二时序数据，以及所述无人车在整个行驶阶段采集的视频。

根据本公开的第五方面，提供了一种电子设备，该电子设备可以为上述服务端或无人车中的车载终端，该电子设备包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行上述第一方面、第二方面的方法。

根据本公开的第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述第一方面、第二方面的方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面、第二方面所述的方法。

根据本公开的技术，解决了交通灯不正确时引发驾驶安全的问题，通过服务端对来自交通灯的第一时序数据、无人车在行驶过程中基于实时采集的视频画面得到第二时序数据，以及基于视频得到的第三时序数据的对比验证，检测交通灯显示是否正确，可以看作服务端对交通灯的显示数据进行了两次检测，提高了交通灯检测的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例适用的一种场景示意图；

图2为本公开实施例中无人车的一种结构示意图；

图3为本公开实施例提供的交通灯检测方法的一种实施例的流程示意图；

图4为本公开实施例提供的时序数据的一种示意图；

图5为本公开实施例提供的交通灯检测方法的另一实施例的流程示意图；

图6为本公开实施例提供的视频处理的一种示意图；

图7为本公开实施例提供的获取目标视频帧的采集时刻的一种示意图；

图8A为本公开实施例提供的视频处理的一种流程示意图；

图8B为本公开实施例提供的基于时序数据检测交通灯的一种示意图；

图8C为本公开实施例提供的基于时序数据检测交通灯的另一种示意图；

图8D为本公开实施例提供的基于时序数据检测交通灯的另一种示意图；

图8E为本公开实施例提供的基于时序数据检测交通灯的另一种示意图；

图9为本公开实施例提供的交通灯检测方法的另一实施例的流程示意图；

图10为本公开实施例提供的无人车获取时序数据的一种示意图；

图11为本公开实施例提供的无人车行驶过程中的一种示意图；

图12为本公开实施例提供的交通灯检测方法的另一实施例的流程示意图；

图13为本公开实施例提供的交通灯检测装置的一种结构示意图；

图14为本公开实施例提供的交通灯检测装置的另一种结构示意图；

图15为本公开实施例提供的电子设备的一种示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

现有技术中亟需一种交通灯检测方法，以检测交通灯的显示是否正确，进而保证无人车的驾驶安全。目前，可以通过人为检测交通灯显示是否正确的方式，对交通灯进行检测，但该种方式存在效率低的问题。

在无人驾驶领域中，道路上设置的交通灯为车用无线通信技术(vehicle to X，V2X)交通灯，V2X交通灯可以实现与车辆的交互，据此车辆可以获取V2X交通灯的显示数据。因此本公开实施例提供一种交通灯检测方法，应用人工智能领域，具体用于自动驾驶领域和智能交通领域。该方法通过车辆比对来自V2X交通灯的显示数据，以及车辆基于采集的视频识别到的V2X交通灯的显示数据，来检测V2X交通灯的显示是否正确，以提高检测效率。本公开实施例中为了提高交通灯的检测准确性，可以在车辆采集完视频后，由第三方设备基于车辆采集的视频，识别得到交通灯的显示数据，以进一步检测交通灯显示是否准确，以提高检测准确性。另外，在检测到交通灯显示错误时，可以及时提示用户对交通灯进行检修，以保证交通灯的显示准确。

在一种实施例中，交通灯的显示数据可以包括：交通灯的灯色以及交通灯的倒计时等信息。

图1为本公开实施例适用的一种场景示意图。参照图1，该场景中可以包括：交通灯11、路侧设备(road side unit，RSU)12、车辆13，以及第三方设备14。

本公开实施例中的交通灯11为V2X交通灯，V2X交通灯11可以与路侧设备12进行通信，如V2X交通灯11可以将V2X交通灯的显示数据发送至路侧设备12。应理解，下述实施例中所述的交通灯指的是V2X交通灯。在一种实施例中，交通灯11和路侧设备12中均可以设置有通信单元，以实现交通灯11与路侧设备12的通信。

路侧设备12示例性地可以为路灯、安装交通灯的信号杆，或者安装在信号杆上的设备、或者安装在路侧的摄像头等，本公开实施例对路侧设备的形态不做限制。路侧设备12可以与车辆13进行通信，如路侧设备12可以将交通灯的显示数据发送给车辆13。

车辆13可以为无人车或非无人车，下述实施例中以无人车为例进行说明。车辆13可以接收来自路侧设备13的交通灯的显示数据。在一种实施例中，无人车可以理解为交通灯的检测车辆，以专用于检测交通灯显示是否正确。

第三方设备14可以为无人驾驶的服务端、交通灯的服务端，或者单独部署的设备等，服务端可以为服务器、计算机等电子设备，本公开实施例对第三方设备的形态不做限制。第三方设备14可以基于车辆13采集的视频，识别得到交通灯的显示数据，进而检测交通灯11的显示是否正确。下述实施例中以服务端表征第三方设备14。

图2为本公开实施例中无人车的一种结构示意图。参照图2，无人车13中可以包括：车载通信单元(on board unit，OBU)131、定位装置132、拍摄装置133、处理装置134，以及存储装置135。其中，OBU131，用于实现无人车13和路侧设备12的通信。定位装置132可以包括但不限于：全球导航卫星***(global navigation satellite system，GNSS)、全球定位***(global positioning system，GPS)等。定位装置132，用于实现无人车13的高精度定位。拍摄装置133可以包括但不限于摄像头、录像机等。拍摄装置133，用于采集无人车13在行驶过程中的视频画面，以得到视频。处理装置134可以包括但不限于处理器、芯片等具有计算功能的模块。处理装置134，用于基于视频画面，识别得到交通灯的显示数据。存储装置135，用于存储视频，以及无人车13识别的交通灯的显示数据。

无人车13执行的具体的动作可以参照下述实施例图10的相关描述。

下面结合具体的实施例对本公开实施例提供的交通灯检测方法进行说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图3为本公开实施例提供的交通灯检测方法的一种实施例的流程示意图。参照图3，本公开实施例提供的交通灯检测方法可以包括：

S301，接收来自无人车的第一时序数据、第二时序数据，以及视频，视频为无人车在整个行驶阶段采集的视频，第一时序数据为：无人车在整个行驶阶段接收来自交通灯的显示数据，第二时序数据为：无人车基于视频得到的交通灯的显示数据。

无人车在行驶完成后，可以向服务端发送第一时序数据、第二时序数据，以及视频。其中，视频为无人车在整个行驶阶段采集的视频。

应理解，时序数据指的是按照时间顺序记录的数据列。

其中，第一时序数据为无人车在整个行驶阶段接收来自交通灯的显示数据。示例性的，无人车在驾驶过程中，可以接收到来自路侧设备的交通灯的显示数据，该路侧设备的交通灯的显示数据为交通灯发送的。在一种实施例中，道路上的交通灯可以为多个，交通灯向路侧设备发送交通灯的显示数据时，可以携带发送交通灯的标识。这样无人车在接收到来自路侧设备的交通灯的显示数据时，可以确定是哪个交通灯的显示数据，如此无人车可以归并每个交通灯的显示数据，以得到第一时序数据，第一时序数据中包括：各时刻每个交通灯的显示数据，无人车的处理过程可以参照下述图10中的相关描述，本公开实施例中以交通灯的处理过程表征“每个交通灯”的处理过程。

其中，第二时序数据为无人车在整个行驶阶段基于视频得到的交通灯的显示数据。应理解的是，无人车在行驶过程中，可以实时采集视频画面，无人车可以基于实时采集的视频画面，以实时识别得到视频画面中的交通灯的显示数据，如此无人车可以得到第二时序数据。其中，无人车的处理过程可以参照下述图10中的相关描述。

图4为本公开实施例提供的时序数据的一种示意图。图4中的a中以一个交通灯(如交通灯1)为例的时序数据(如一段时间)为例进行说明，第一时序数据为：无人车实时接收到来自交通灯1的交通灯1的显示数据，第二时序数据为：无人车基于行驶过程中实时采集的视频画面，得到的交通灯1的显示数据。

S302，根据视频，获取第三时序数据，第三时序数据包括交通灯的显示数据。

无人车在整个行驶阶段采集的视频包括：各采集时刻的视频画面。在一种实施例中，服务端可以识别视频中包含有交通灯的第一视频帧(第一视频画面)，进而基于第一视频帧中的交通灯的灯色、倒计时，以及第一视频帧的采集时刻，得到第一视频帧中的交通灯的显示数据，即第三时序数据。

在一种实施例中，如服务端可以存储有交通灯的图片，服务端可以在视频中逐帧对比，以检测视频中是否包含有交通灯。示例性的，视频帧中可以包含有多个对象，对象如车辆、树木、建筑物等，服务端可以将包含的对象与交通灯的相似度大于预设相似度(如90％)的视频帧作为第一视频帧，即该第一视频帧中包含有交通灯。

示例性的，图4中的a中示出了基于视频得到的第三时序数据。在一种实施例中，因为服务端可以识别交通灯的灯色、倒计时等，但无法区分交通灯是哪个交通灯，因此服务端可以基于第一视频帧的采集时刻，与第一时序数据、第二时序数据进行时刻对齐，如图4中的b所示。如此，服务端可以基于采集时刻，得到交通灯1的显示数据。

S303，根据第一时序数据、第二时序数据，以及第三时序数据，得到交通灯显示是否正确的检测结果。

本公开实施例中，服务端可以对比第一时序数据、第二时序数据，以及第三时序数据，以检测交通灯显示是否正确，进而得到交通灯显示是否正确的检测结果。因为第二时序数据是无人车基于实时采集的视频画面得到的交通灯的显示数据，而服务端基于无人车采集的视频画面也得到交通灯的显示数据，即基于视频二次计算得到交通灯的显示数据。进而服务端对比第一时序数据、第二时序数据，以及第三时序数据时，可以看作对交通灯的显示数据进行了两次检测，进而能够提高交通灯检测的准确性。

在一种实施例中，在第一时序数据、第二时序数据，以及第三时序数据中，若交通灯在各时刻的显示数据(如灯色、倒计时)等均相同，则确定交通灯的显示正确。在一种实施例中，若第二时序数据和第三时序数据中，若交通灯在目标时刻的显示数据不相同，则表征无人车和服务端在目标时刻识别到的显示数据不同，该目标时刻的显示数据的准确性差，因此可以将第二时序数据和第三时序数据中目标时刻的显示数据作为无效数据，该目标时刻的视频需要重新采集，且目标时刻的显示数据需要计算。在一种实施例中，若第二时序数据和第三时序数据中，交通灯在各时刻的显示数据均相同，但在第一时序数据中交通灯在目标时刻的显示数据与第二时序数据和第三时序数据中目标时刻的显示数据不相同，则可以确定交通灯在目标时刻的显示错误。

S304，输出检测结果。

服务端在得到检测结果后，可以输出检测结果，这样工作人员可以及时根据检测结果，确定交通灯的显示是否正确，进而在交通灯显示错误时，及时调整交通灯，以使得调整后的交通灯的显示数据与第二时序数据和第三时序数据中交通的显示数据一致，进而提高驾驶安全性。

示例性的，如图1所示，服务端可以在服务端的界面上显示检测结果，如检测结果中包括：交通灯的标识(如交通灯1)，以及交通灯显示是否正确的结果。图1中以交通灯1在第10s时的显示数据错误为例进行说明，如服务端的界面上显示有：交通灯1、第10s，灯色错误(应是红灯，显示为绿灯)。

在一种实施例中，服务端也可以向其他具有显示功能的设备发送检测结果，以使得该设备可以显示该检测结果。本公开实施例中对服务端输出检测结果的方式不做限制，如服务端也可以采用语音方式输出检测结果。

本公开实施例提供的交通灯检测的方法中，服务端可以根据无人车在整个行驶阶段采集的视频，识别得到交通灯在各时刻的显示数据，即第三时序数据，且服务端可以基于来自交通灯的显示数据(第一时序数据)、无人车在行驶过程中基于实时采集的视频画面得到的交通灯的显示数据(第二时序数据)，以及第三时序数据，检测交通灯显示是否正确，可以看作服务端对交通灯的显示数据进行了两次检测，如根据无人车识别得到的交通灯的显示数据，以及服务端识别得到的交通灯的显示数据，对交通灯的显示进行检测，可以提高交通灯检测的准确性。

为使读者更深刻地理解本公开的实现原理，现结合以下图5-图8D对图3所示的实施例进行进一步细化。

图5为本公开实施例提供的交通灯检测方法的另一实施例的流程示意图。参照图5，上述实施例中的S302可以替换为S302A：

S302A，根据交通灯识别模型，识别视频中的交通灯，以得到第三时序数据。

服务端存储有预先训练好的交通灯识别模型，交通灯识别模型用于识别视频中的交通灯的灯色，以及倒计时等信息。其中，服务端可以将视频输入交通灯识别模型，以得到交通灯识别模型输出的第三时序数据。本公开实施例中对交通灯识别模型以及其训练过程不做描述，可以参照现有技术中识别模型(如识别人脸)以及训练过程的相关描述。

在一种实施例中，因为视频携带有每个视频帧的采集时刻，因此交通灯识别模型输出的第三时序数据中可以包括：包含有交通灯的视频帧的采集时刻，以及包含有交通灯的视频帧对应的交通灯的显示数据。

若无人车在整个行驶阶段采集的视频时长较长，若服务端一次性将所有的视频输入至交通灯识别模型，交通灯识别模型需要对视频的第一帧至最后一帧逐帧进行识别计算，花费的时长长，效率低。因此，在一种实施例中，服务端可以对视频进行分片后再输入交通灯识别模型，如此交通灯识别模型可以同时并行识别计算该多个分片视频，如此可以提高处理速度，提高效率。

其中，服务端可以将视频进行分片处理，得到至少一个视频片段。示例性的，参照图6，对于一个3分钟的视频来说，服务端可以将视频分成3个1分钟的视频片段。对于每个视频片段来说，服务端可以对每个视频片段进行抽帧处理，以得到视频片段对应的至少一个视频帧，示例性的，对于每个1分钟的视频片段来说，服务端可以每隔600ms抽一次帧，以得到100个视频帧。

服务端可以将每个片段对应的至少一个视频帧输入至交通灯识别模型，如此，交通灯识别模型可以并发识别每个片段对应的至少一个视频帧，进而至少一个目标视频帧对应的交通灯的显示数据。如服务端可以将每个1分钟的视频片段对应的100个视频帧输入至交通灯识别模型，服务端可以并发地识别计算每个1分钟的视频片段对应的100个视频帧。其中，包含有交通灯的视频帧为目标视频帧，经交通灯识别模型识别计算可以得至少一个视频帧中的交通灯的显示数据。示例性的，如图6所示，第一个视频片段中包含有80个目标视频帧，第二个视频片段中包含有90个目标视频帧，第三个视频片段中包含有85个目标视频帧。

应理解的是，目标视频帧对应的交通灯的显示数据可以理解为：目标视频帧中的交通灯的灯色、倒计时。在一种实施例中，目标视频帧与上述S302中的第一视频帧相同，均为视频中包含有交通灯的视频帧。

在一种实施例中，服务端在将每个视频片段对应的至少一个视频帧输入至交通灯识别模型时，还可以将每个视频片段对应的每个视频帧的采集时刻相应的输入至交通灯识别模型。在该种实施例中，交通灯识别模型在输出目标视频帧对应的交通灯的显示数据时，还可以输出目标视频帧的采集时刻。服务端可以将目标视频帧的采集时刻，以及目标视频帧对应的交通灯的显示数据进行映射，便可以得到第三时序数据。

在一种实施例中，服务端只将每个视频片段对应的至少一个视频帧输入至交通灯识别模型，交通灯识别模型可以输出目标视频帧对应的交通灯的显示数据，但不能输出目标视频帧的采集时刻。在该种实施例中，服务端可以获取目标视频帧的采集时刻，以将目标视频帧的采集时刻，以及目标视频帧对应的交通灯的显示数据进行映射，进而得到第三时序数据。

在该种实施例中，服务端可以根据视频的起止时间、目标视频帧在所属的视频片段的排序，以及抽帧时相邻两个视频帧的间隔时长，得到目标视频帧的采集时刻。参照图7，以第一个视频片段中的一个目标视频帧为例，视频的开始时间为10:00，终止时刻为10:03，即第一个视频片段的开始时间为10:00，第一个视频片段的终止时刻为10:01，目标视频帧在第一个视频片段的视频帧中的排序为第3个，且抽帧时相邻两个视频帧的间隔时长为600ms，则服务端可以计算得到目标帧的采集时刻为：10:00+600ms×2＝10:00:02。应理解的是，交通灯识别模型在输出目标视频帧对应的交通灯的显示数据时，可以同时输出目标视频帧在一组(至少一个)视频帧的编号，该编号即为目标视频帧在所属的视频片段的排序，即在该视频片段中的第几个视频帧。

在一种实施例中，“服务端将视频进行分片，以及对每个视频片段进行抽帧处理”可以称为视频的预处理。“服务端使用交通灯识别模型识别得到交通灯的显示数据”，可以称为AI识别交通灯。“服务端获取目标视频帧的采集时刻，以及将目标视频帧的采集时刻，以及目标视频帧对应的交通灯的显示数据进行映射”，可以称为“交通灯的显示数据和采集时刻对应”。其中，该实施例中服务端的执行步骤可以简化为图8A所示。

如此，本公开实施例中，服务端可以获取每个目标视频帧对应的交通灯的显示数据，以及每个目标视频帧的采集时刻，服务端将目标视频帧的采集时刻，以及目标视频帧对应的交通灯的显示数据进行映射，进而得到第三时序数据。

在该实施例中，服务端可以根据第一时序数据、第二时序数据，以及第三时序数据，得到交通灯显示是否正确的检测结果。当交通灯为多个时，每个交通灯的检测方式相同，示例性的，该多个交通灯中包括目标交通灯，或者将该多个交通灯中的交通灯均称为目标交通灯。

其中，第一时序数据、第二时序数据以及第三时序数据中均包括：目标交通灯在不同时刻的灯色。第一时序数据和第二时序数据中还包括目标交通灯的标识，因为第三时序数据中无法区分视频帧中的交通灯为哪个交通灯，因此第三时序数据中可以不包括交通灯的标识。其中，第一时序数据和第二时序数据中包括的目标交通灯的标识可以为：目标交通灯的编号、或目标交通灯在高精度地图中的位置，可以参照图10中的相关描述。相应的，检测结果中包括目标交通灯显示是否正确的结果。

下述以交通灯中包括目标交通灯为例，说明服务端基于第一时序数据、第二时序数据，以及第三时序数据，检测目标交通灯的显示是否正确的方式。

其一，若第一时序数据、第二时序数据，以及第三时序数据中，目标交通灯在相同时刻的灯色均相同，则服务端可以确定目标交通灯显示正确。相应的，检测结果包括：目标交通灯的标识，以及表征目标交通灯显示正确的信息。其中，表征目标交通灯显示正确的信息可以为：交通灯显示正确的文字或其他形式，本公开实施例不做限制。

参照图8B，图8B中以白色表征绿灯，以阴影1表征黄灯，以阴影2表征红灯，以目标交通灯在一段时间的显示数据为例。从图8B中可以看出，第一时序数据、第二时序数据以及第三时序数据中，目标交通灯在各相同时刻的灯色均一致(灯色均一致表征倒计时也一致)，则服务端可以确定目标交通灯显示正确，如服务端可以输出“交通灯1、显示正确”的信息。

其二，若第二时序数据和第三时序数据中，目标交通灯在相同时刻的灯色均相同，但第一时序数据中，目标交通灯在第一目标时刻的灯色与第二时序数据以及第三时序数据中目标交通灯在第一目标时刻的灯色不同，则服务端可以确定目标交通灯在第一目标时刻显示错误。相应的。检测结果包括：目标交通灯的标识，以及表征目标交通灯在第一目标时刻显示错误的信息。

其中，目标交通灯在第一目标时刻的灯色与第二时序数据以及第三时序数据中目标交通灯在第一目标时刻的灯色不同可以表现为两种形式，一种如是第一目标时刻时第一时序数据中的灯色为红色(示例说明)，而第二时序数据以及第三时序数据中的灯色为绿色。另一种是第一目标时刻时第一时序数据中的灯色为无灯色，而第二时序数据以及第三时序数据中的灯色为绿色。其中，第一目标时刻时第一时序数据中的灯色为无灯色可以理解为：目标交通灯在第一目标时刻未通过路侧设备向无人车发送交通灯的显示数据，因此第一时序数据中显示在第一目标时刻的目标交通灯没有灯色等信息。

参照图8C中的a和b，图8C中的a和b分别表征了“目标交通灯在第一目标时刻的灯色与第二时序数据以及第三时序数据中目标交通灯在第一目标时刻的灯色不同”的两种形式。其中，图8C中的a表征，第一目标时刻时第一时序数据中的灯色为红色，而第二时序数据以及第三时序数据中的灯色为绿色。在该种示例中，服务端可以输出如“交通灯1在10:01的灯色错误”的检测结果。

图8C中的b表征，第一目标时刻时第一时序数据中的灯色为无灯色，而第二时序数据以及第三时序数据中的灯色为绿色。在该种示例中，服务端可以输出如“交通灯1在10:01的无灯色”的检测结果。

在一种实施例中，第一目标时刻可以为无人车整个行驶阶段中的部分时段，如图8C中的a和b所示。在一种实施例中，第一目标时刻还可以为无人车整个行驶阶段的时长，即目标交通灯在无人车整个行驶阶段的显示数据均错误。

其三，若第二时序数据和第三时序数据中，目标交通灯在第二目标时刻的灯色不同，则确定第二时序数据和第三时序数据中第二目标时刻的数据不可用。在该种实施例中，服务端可以输出提示信息。其中，该提示信息用于指示无人车需要重新采集第二目标时刻的数据，以使得无人车和服务端重新识别和计算第二目标时刻的交通灯的显示数据。

参照图8D中的a和b，图8D中的a示出了第二时序数据和第三时序数据中，目标交通灯在相同时刻的灯色均不相同，表明无人车识别到的交通灯的灯色和服务端识别到的交通灯的灯色不一致，则第二时序数据和第三时序数据不可用，无人车需要重新采集第二目标时刻(该交通一段时间)的数据，以使得无人车和服务端重新识别和计算第二目标时刻的交通灯的显示数据。

在图8D中的a中，虽然第一时序数据和第二时序数据中，交通灯在相同时刻的灯色均一致，但第二时序数据和第三时序数据不可用，仍然不能判断交通灯正确。从该示例中可以看出，若仅适用无人车识别到的交通灯的显示数据，检测交通灯显示是否正确，则可能存在检测准确性不高的问题，但本公开实施例中采用无人车识别到的交通灯的显示数据和服务端识别到的交通灯的显示数据，来检测交通灯显示是否正确，可以提高检测准确性。

图8D中的b示出了第二时序数据和第三时序数据中，目标交通灯在相同时刻的灯色均不相同，表明无人车识别到的交通灯的灯色和服务端识别到的交通灯的灯色不一致，则第二时序数据和第三时序数据不可用。在图8D中的a中，虽然第一时序数据和第三时序数据中，交通灯在相同时刻的灯色均一致，但因为第二时序数据和第三时序数据不可用，仍然不能判断交通灯正确。从该示例中可以看出，若仅适用服务端识别到的交通灯的显示数据，检测交通灯显示是否正确，则可能存在检测准确性不高的问题，但本公开实施例中采用无人车识别到的交通灯的显示数据和服务端识别到的交通灯的显示数据，来检测交通灯显示是否正确，可以提高检测准确性。

其四，在一种实施例中，当第一时序数据和第二时序数据中，目标交通灯在相同时刻的灯色均相同的情况下，目标交通灯在第一时序数据、第一时序数据，以及第二时序数据的相同时刻中，存在灯色相同的时刻，也存在灯色不相同的时刻，服务端还可以检测目标交通灯是否存在灯色跳变延迟的情况。其中，灯色跳变指的是：目标交通灯的灯色从第一灯色跳变至第二灯色，如目标交通灯从绿色跳变至黄色，从黄色跳变至红色，从红色跳变至绿色。

其中，服务端可以分别获取目标交通灯连续至少三个灯色的跳变时差。灯色的跳变时差为：第一时序数据和第二时序数据中，目标交通灯在第一灯色跳变至第二灯色时的时刻之间的差值。因为第二时序数据和第三时序数据中，目标交通灯在相同时刻的灯色均相同，因此灯色的跳变时差也等同于：第一时序数据和第二时序数据中，目标交通灯在第一灯色跳变至第二灯色时的时刻之间的差值。

示例性的，图8E中示出了一种灯色跳变延迟的示意图。参照图8E，目标交通灯从绿灯跳变至黄灯时，第一时序数据中的跳变时刻与第二时序中的跳变时刻的差值为2s，图8E中以第一时序数据中目标交通灯从绿灯跳变至黄灯的时刻，比第二时序中目标交通灯从绿灯跳变至黄灯的时刻晚2s为例进行说明。另，第一时序数据中目标交通灯从黄灯跳变至红灯的时刻，比第二时序中目标交通灯从黄灯跳变至红灯的时刻晚2s，以及第一时序数据中目标交通灯从红灯跳变至绿灯的时刻，比第二时序中目标交通灯从红灯跳变至绿灯的时刻也晚2s。

这样，目标交通灯在连续的三次灯色跳变时，第一时序中的灯色跳变时刻均比第二时序数据(第三时序数据)中的灯色跳变时刻晚2s，则服务端可以确定目标交通灯存在灯色跳变延迟。其中，目标交通灯的灯色跳变延迟的时长为跳变时差(如2s)。相应的，服务端可以输出如“交通灯1，存在2s的跳变延迟”的检测结果。

应理解的是，与灯色跳变延迟对应的，目标交通灯还可以存在灯色跳变提前，在该示例中，如第一时序数据中目标交通灯的灯色跳变时刻，均比第二时序中目标交通灯的灯色跳变时刻早2s，具体可以参照跳变延迟的相关描述。

因为交通灯可以为多个，上述以目标交通灯为例说明了服务端检测目标交通灯显示是否正确的过程。在一种实施例中，对于目标交通灯来说，可以同时出现如上“其三至其四”中的问题。在一种实施例中，对于多个交通灯来说，每个交通灯也可以出现“其一至其四”至少一个中的问题。

在一种实施例中，图3、图5所示的实施例的流程可以简化为图9所示。

本公开实施例中，服务端可以采用交通灯识别模型，并发识别每个视频片段中的交通灯，可以提高检测效率。另外服务端除了可以判断交通灯显示正确或错误以外，还可以判断交通灯在显示错误时，输出具体的错误时刻，以及还可以确定错误是否为跳变延迟(或跳变提前)，如此工作人员可以根据交通灯具体的显示问题，及时采用对应的错误调整交通灯，以保证交通灯的显示正确，进而提高驾驶安全。

如上实施例中使用到的第二时序数据为无人车在驾驶过程中，基于实时采集的视频画面得到的，下述结合图10说明无人车获取第二时序数据的过程。参照图10，无人车获取第二时序数据的过程可以包括：

S1001，在行驶过程中，无人车接收来自路侧设备的交通灯的显示数据，路侧设备中的交通灯的显示数据来自交通灯。

本公开实施例中的交通灯可以理解为：待检测的交通灯。无人车可以在安装有交通灯的路段(或区域)行驶，且在行驶过程中采集数据。示例性的，图11所示的为安装有交通灯的路段，其中，在一个路口处，可以安装多个交通灯。为了检测该路段上的交通灯的显示是否正确，无人车可以按照预设的行驶路线，在该路段上行驶。示例性的，图11中以预设的行驶路线为线路1为例进行说明。

交通灯可以实时地将交通灯的数据发送给路侧设备。其中，交通灯的数据可以包括：交通灯的标识，以及交通灯的灯色、倒计时。

在一种实施例中，一个交通灯可以包括多个显示灯(如横向或竖向等排列的灯)，因此交通灯在向路侧设备发送交通灯的显示数据时，可以在交通灯的显示数据中携带每个显示灯的标识(如显示灯在该交通灯中的位置，如中间、左边或右边等)。在一种实施例中，一个交通灯指的是每个显示灯，每个显示灯均可以将自己的标识、灯色以及倒计时发送给路侧设备。无论交通灯如何发送自己的显示数据，下述以交通灯表征每个显示灯为例进行说明。

路侧设备在接收到来自交通灯的显示数据后，可以通过路侧设备中的通信单元，发送给周围的车辆。在一种实施例中，无人车处于路侧设备的预设距离范围内(如200m)，可以接收到来自路侧设备的交通灯的显示数据。

在一种实施例中，为了保证无人车可以采集到交通灯完整的显示数据，无人车可以按照较小的行驶速度行驶，以保证在相同的时长可以接收来自交通灯更多的显示数据，或者，无人车可以在安装有交通灯的路段循环行驶若干次，以保证无人车可以采集到更多的交通灯的显示数据，以便对交通灯进行准确地检测。

S1002，无人车采集视频画面和无人车的方位信息。

S1002和S1001没有先后顺序的区分，二者可以同时执行。

无人车在行驶过程中可以采集视频画面和无人车的方位信息。其中，无人车可以使用无人车中的拍摄装置133采集无人车行驶前方的视频画面。无人车的方位信息包括：无人车的位置和相位。无人车的位置可以为无人车在地球坐标系中的位置(或理解为高精度地图中的位置)，无人车的相位指的是无人车的车头的朝向。在同一位置，无人车的相位不同，无人车采集的视频画面不同。示例性的，参照图11所示，如无人车的车头朝向偏左，无人车可以采集到包含有交通灯2的视频画面，如无人车的车头朝向朝前，无人车可以采集到包含有交通灯1的视频画面。对于同一位置而言，高精度地图中的该位置与地球坐标系中的该位置相同。

本公开实施例中，为了避免漏采交通灯的显示数据，无人车可以按照预设行驶线路，遍历预设行驶线路上的路口以及遍历无人车的相位，以采集视频画面和无人车的方位信息。

在一种实施例中，无人车在路段中间未靠近路口时，无人车采集视频画面中并未包括交通灯，因此也无法基于视频画面识别计算得到无人车的显示信息，因此若无人车在行驶过程中一直采集视频画面，会采集很多无用数据。为了减少无人车的能耗以及减少计算量，无人车可以根据采集到的无人车的方位信息，以及高精度地图，若确定无人车距离无人车行驶前方路口的距离小于或等于预设距离，则采集视频画面。

在一种实施例中，无人车可以根据采集到的无人车的方位信息，以及高精度地图，若确定无人车距离无人车行驶前方路口的中心的距离小于或等于预设距离，则采集视频画面。

其中，预设距离为无人车可以采集到包含有交通灯的视频画面的距离，示例性的，如预设距离为60m。具体的，高精度地图中标注有每个路口(或每个路口的中心)的位置，以及每个路口安装的交通灯的标识。因此，无人车根据采集到的无人车的方位信息，能够确定无人车实时在高精度地图中的位置，进而无人车可以根据自己的行驶线路，实时计算无人车距离行驶前方路口(或路口的中心)的距离，进而在计算到该距离小于或等于预设距离时，控制拍摄装置133采集无人车行驶前方的视频画面。

S1003，无人车将接收交通灯的显示数据的时刻与交通灯的显示数据映射，得到第一时序数据。

无人车可以记录接收来自路侧设备的交通灯的显示数据的时刻，且可以将对应时刻接收到的交通灯的显示数据映射，得到第一时序数据。第一时序数据包括交通灯在各时刻的显示数据。

S1004，无人车根据不同时刻采集的视频画面和方位信息，获取第二时序数据。

以不同时刻中包括第一时刻为例，或以不同时刻中的各时刻为第一时刻为例，无人车可以根据第一时刻采集的无人车的方位信息，以及高精度地图，确定第一时刻采集的视频画面中的交通灯为目标交通灯。其中，无人车可以根据第一时刻采集的无人车的方位信息，以及高精度地图，确定无人车在高精度地图中的位置(如位于路段中的一位置)，且无人车可以根据无人车的相位，确定无人车驾驶前方采集的交通灯为高精度地图中的哪个交通灯，即目标交通灯。示例性的，参照图11所示，若无人车位于路口1处，且无人车的车头朝向前方，因此无人车可以基于无人车的方位信息，确定采集到的视频画面中的交通灯为交通灯1(目标交通灯)。

在确定了交通灯的标识(如交通灯的编号或交通灯在高精度地图中国的位置)后，终端可以根据交通灯识别模型，识别目标交通灯的灯色和倒计时，得到第一时刻目标交通灯的显示数据。其中，无人车可以将第一时刻采集的视频画面(视频帧)输入至交通灯识别模型，以得到交通灯识别模型输出的第一时刻的目标交通灯的显示数据。

按照相同的方法，无人车可以获取各时刻目标交通灯的显示数据，按照与目标交通灯的相同的方法，无人车可以获取各时刻，不同的交通灯的显示数据，即第二时序数据。

在一种实施例中，无人车采集方位信息的频率为100HZ，交通灯通过路侧设备向无人车发送交通灯的显示数据的频率为10HZ，因此无人车可以取较小的频率，如采用10HZ的频率，通过无人车的方位信息和采集到的视频画面，识别计算一次交通灯的显示数据。

S1005，在行驶结束时，无人车向服务端发送第一时序数据、第二时序数据，以及无人车在整个行驶阶段采集的视频。

本公开实施例中，无人车行驶结束时，可以向服务端发送第一时序数据、第二时序数据，以及无人车在整个行驶阶段采集的视频。相应的，服务端可以接收来自无人车的第一时序数据、第二时序数据，以及视频，进而服务端可以执行如上图3、图5中的步骤。

在一种实施例中，从无人车开始采集方位信息、视频画面开始，直至服务端输出检测结果，该整个流程可以简化为图12所示。应理解，图12中所示的AI识别为无人车采用交通灯识别模型，识别视频画面中的交通灯。

本公开实施例中，在交通灯需要检测时，无人车可以遍历路口以及遍历相位，以尽可能完整地获取交通灯的显示数据，以为交通灯的显示检测提供数据支持。

需要说明的是，本实施例中的交通灯识别模型并不是针对某一特定交通灯的识别模型。本公开的技术方案中，所涉及的数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图13为本公开实施例提供的交通灯检测装置的一种结构示意图。本实施例所涉及的交通灯检测装置可以为前述所说的服务端，也可以为应用于服务端的芯片。该交通灯检测装置可以用于执行上述方法实施例中服务端的动作。如图13所示，该交通灯检测装置1300可以包括：收发单元1301、处理单元1302，以及输出单元1303。其中，处理单元1302包括：时序数据获取模块13021、视频处理模块13022，以及检测模块12023。

收发单元1301，用于接收来自无人车的第一时序数据、第二时序数据，以及视频，视频为无人车在整个行驶阶段采集的视频，第一时序数据为：无人车在整个行驶阶段接收来自交通灯的显示数据，第二时序数据为：无人车基于视频得到的交通灯的显示数据。

处理单元1302，用于根据视频，获取第三时序数据，第三时序数据包括交通灯的显示数据，以及根据第一时序数据、第二时序数据，以及第三时序数据，得到交通灯显示是否正确的检测结果。

输出单元1303，用于输出检测结果。

在一种可能的实现方式中，时序数据获取模块13021，用于根据交通灯识别模型，识别视频中的交通灯，以得到第三时序数据。

在一种可能的实现方式中，视频处理模块13022，用于将视频进行分片处理，得到至少一个视频片段；对视频片段进行抽帧处理，得到视频片段对应的至少一个视频帧；将视频片段对应的至少一个视频帧输入至交通灯识别模型，得到至少一个目标视频帧对应的交通灯的显示数据，目标视频帧为包含有交通灯的视频帧；获取目标视频帧的采集时刻；将目标视频帧的采集时刻和目标视频帧对应的交通灯的显示数据进行映射，得到第三时序数据。

在一种可能的实现方式中，视频处理模块13022，还用于根据视频的起止时间、目标视频帧在所属的视频片段的排序，以及抽帧时相邻两个视频帧的间隔时长，得到目标视频帧的采集时刻。

在一种可能的实现方式中，交通灯为至少一个，至少一个交通灯中包括目标交通灯，第一时序数据、第二时序数据以及第三时序数据中均包括：目标交通灯在不同时刻的灯色，第一时序数据和第二时序数据中还包括目标交通灯的标识检测结果中包括目标交通灯显示是否正确的结果。

若第一时序数据、第二时序数据，以及第三时序数据中，目标交通灯在相同时刻的灯色均相同，则检测模块12023，用于确定目标交通灯显示正确，检测结果包括：目标交通灯的标识，以及表征目标交通灯显示正确的信息。

若第二时序数据和第三时序数据中，目标交通灯在相同时刻的灯色均相同，但第一时序数据中，目标交通灯在第一目标时刻的灯色与第二时序数据以及第三时序数据中目标交通灯在第一目标时刻的灯色不同，则检测模块12023，用于确定目标交通灯在第一目标时刻显示错误，检测结果包括：目标交通灯的标识，以及表征目标交通灯在第一目标时刻显示错误的信息。

在一种可能的实现方式中，当第一时序数据和第二时序数据中，目标交通灯在相同时刻的灯色均相同的情况下，检测模块12023，用于获取目标交通灯连续至少三个灯色的跳变时差，灯色的跳变时差为：第一时序数据和第二时序数据中，目标交通灯在第一灯色跳变至第二灯色时的时刻之间的差值；以及，若至少三个灯色的跳变时差相同，则确定目标交通灯存在灯色跳变延迟，灯色跳变延迟的时长为跳变时差，检测结果包括：目标交通灯的标识，以及跳变时差。

在一种可能的实现方式中，若第二时序数据和第三时序数据中，目标交通灯在第二目标时刻的灯色不同，则检测模块12023，用于确定第二时序数据和第三时序数据中第二目标时刻的数据不可用。

输出单元1303，还用于输出提示信息，提示信息用于指示无人车重新采集第二目标时刻的数据。

本公开实施例提供的交通灯检测装置，可以执行上述方法实施例中服务端的动作，其实现原理和技术效果类似，在此不再赘述。

图14为本公开实施例提供的交通灯检测装置的另一种结构示意图。本实施例所涉及的交通灯检测装置可以为前述所说的无人车，也可以为应用于无人车的芯片。该交通灯检测装置可以用于执行上述方法实施例中无人车的动作。如图14所示，该交通灯检测装置1400可以包括：收发单元1401、拍摄单元1402、定位单元1403，以及处理单元1404。其中，处理单元1404可以包括：显示数据获取模块14041和控制模块14042。

在一种实施例中，收发单元1401可以包括OBU131，拍摄单元1402可以为拍摄装置133，定位单元1403可以为定位装置132，处理单元1404可以为处理装置134。

在行驶过程中，收发单元1401，用于接收来自路侧设备的交通灯的显示数据，路侧设备中的交通灯的显示数据来自交通灯。

拍摄单元1402，用于采集视频画面。

定位单元1403，用于采集无人车的方位信息。

处理单元1404，用于将接收显示数据的时刻与显示数据映射，得到第一时序数据；以及，根据不同时刻采集的视频画面和方位信息，获取第二时序数据。

在行驶结束时，收发单元1401，还用于向服务端发送第一时序数据、第二时序数据，以及无人车在整个行驶阶段采集的视频。

在一种可能的实现方式中，不同时刻中包括第一时刻，第一时刻采集的视频画面中包括交通灯。显示数据获取模块14041，用于根据第一时刻采集的无人车的方位信息，以及高精度地图，确定第一时刻采集的视频画面中的交通灯为目标交通灯；根据交通灯识别模型，识别目标交通灯的灯色和倒计时，得到第一时刻目标交通灯的显示数据。

在一种可能的实现方式中，控制模块14042，用于控制无人车按照预设行驶线路，遍历预设行驶线路上的路口以及遍历无人车的相位，以使得拍摄单元1402采集视频画面，以及定位单元1403采集无人车的方位信息。

在一种可能的实现方式中，控制模块14042，还用于根据定位单元1403采集到的无人车的方位信息，以及高精度地图，若确定无人车距离无人车行驶前方路口的距离小于或等于预设距离，则控制拍摄单元1402采集视频画面。

本公开实施例提供的交通灯检测装置，可以执行上述方法实施例中无人车的动作，其实现原理和技术效果类似，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图15示出了可以用来实施本公开的实施例的示例电子设备1500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。在一种实施例中，电子设备可以为如上实施例中的服务端或无人车中的车载终端。

如图15所示，设备1500包括计算单元1501，其可以根据存储在只读存储器(ROM)1502中的计算机程序或者从存储单元1508加载到随机访问存储器(RAM)1503中的计算机程序，来执行各种适当的动作和处理。在RAM 1503中，还可存储设备1500操作所需的各种程序和数据。计算单元1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。

设备1500中的多个部件连接至I/O接口1505，包括：输入单元1506，例如键盘、鼠标等；输出单元1507，例如各种类型的显示器、扬声器等；存储单元1508，例如磁盘、光盘等；以及通信单元1509，例如网卡、调制解调器、无线通信收发机等。通信单元1509允许设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1501执行上文所描述的各个实施例中的交通灯检测方法。例如，在一些实施例中，交通灯检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1502和/或通信单元1509而被载入和/或安装到设备1500上。当计算机程序加载到RAM 1503并由计算单元1501执行时，可以执行上文描述的交通灯检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行交通灯检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种交通灯检测的方法，包括：

接收来自无人车的第一时序数据、第二时序数据，以及视频，所述视频为所述无人车在整个行驶阶段采集的视频，所述第一时序数据为：所述无人车在所述整个行驶阶段接收来自交通灯的显示数据，所述第二时序数据为：所述无人车基于所述视频得到的所述交通灯的显示数据；

根据所述视频，获取第三时序数据，所述第三时序数据包括所述交通灯的显示数据；

根据所述第一时序数据、所述第二时序数据，以及所述第三时序数据，得到所述交通灯显示是否正确的检测结果；

输出所述检测结果。

2.根据权利要求1所述的方法，其中，所述根据所述视频，获取第三时序数据，包括：

根据交通灯识别模型，识别所述视频中的所述交通灯，以得到所述第三时序数据。

3.根据权利要求2所述的方法，其中，所述根据交通灯识别模型，识别所述视频中的所述交通灯，以得到所述第三时序数据，包括：

将所述视频进行分片处理，得到至少一个视频片段；

对所述视频片段进行抽帧处理，得到所述视频片段对应的至少一个视频帧；

将所述视频片段对应的至少一个视频帧输入至所述交通灯识别模型，得到至少一个目标视频帧对应的交通灯的显示数据，所述目标视频帧为包含有所述交通灯的视频帧；

获取所述目标视频帧的采集时刻；

将所述目标视频帧的采集时刻和所述目标视频帧对应的交通灯的显示数据进行映射，得到所述第三时序数据。

4.根据权利要求3所述的方法，其中，所述获取所述目标视频帧的采集时刻，包括：

根据所述视频的起止时间、所述目标视频帧在所属的视频片段的排序，以及抽帧时相邻两个视频帧的间隔时长，得到所述目标视频帧的采集时刻。

5.根据权利要求1-4中任一项所述的方法，其中，所述交通灯为至少一个，所述至少一个交通灯中包括目标交通灯，所述第一时序数据、所述第二时序数据以及所述第三时序数据中均包括：所述目标交通灯在不同时刻的灯色，所述第一时序数据和所述第二时序数据中还包括所述目标交通灯的标识所述检测结果中包括所述目标交通灯显示是否正确的结果；

根据所述第一时序数据、所述第二时序数据，以及所述第三时序数据，得到所述目标交通灯显示是否正确的检测结果，包括：

若所述第一时序数据、所述第二时序数据，以及所述第三时序数据中，所述目标交通灯在相同时刻的灯色均相同，则确定所述目标交通灯显示正确，所述检测结果包括：所述目标交通灯的标识，以及表征所述目标交通灯显示正确的信息；

若所述第二时序数据和所述第三时序数据中，所述目标交通灯在相同时刻的灯色均相同，但所述第一时序数据中，所述目标交通灯在第一目标时刻的灯色与所述第二时序数据以及所述第三时序数据中所述目标交通灯在第一目标时刻的灯色不同，则确定所述目标交通灯在所述第一目标时刻显示错误，所述检测结果包括：所述目标交通灯的标识，以及表征所述目标交通灯在所述第一目标时刻显示错误的信息。

6.根据权利要求5所述的方法，其中，根据所述第一时序数据、所述第二时序数据，以及所述第三时序数据，得到所述目标交通灯显示是否正确的检测结果，包括：

当所述第一时序数据和所述第二时序数据中，所述目标交通灯在相同时刻的灯色均相同的情况下，获取所述目标交通灯连续至少三个灯色的跳变时差，所述灯色的跳变时差为：所述第一时序数据和所述第二时序数据中，所述目标交通灯在第一灯色跳变至第二灯色时的时刻之间的差值；

若所述至少三个灯色的跳变时差相同，则确定所述目标交通灯存在灯色跳变延迟，所述灯色跳变延迟的时长为所述跳变时差，所述检测结果包括：所述目标交通灯的标识，以及所述跳变时差。

7.根据权利要求5或6所述的方法，还包括：

若所述第二时序数据和所述第三时序数据中，所述目标交通灯在第二目标时刻的灯色不同，则确定所述第二时序数据和所述第三时序数据中所述第二目标时刻的数据不可用；

输出提示信息，所述提示信息用于指示所述无人车重新采集所述第二目标时刻的数据。

8.一种交通灯检测的方法，包括：

在行驶过程中，接收来自路侧设备的交通灯的显示数据，所述路侧设备中的所述交通灯的显示数据来自所述交通灯；

采集视频画面和无人车的方位信息；

将接收所述显示数据的时刻与所述显示数据映射，得到第一时序数据；

根据不同时刻采集的视频画面和方位信息，获取第二时序数据；

在行驶结束时，向服务端发送所述第一时序数据、所述第二时序数据，以及所述无人车在整个行驶阶段采集的视频。

9.根据权利要求8所述的方法，其中，所述不同时刻中包括第一时刻，所述第一时刻采集的视频画面中包括交通灯，所述根据不同时刻采集的视频画面和方位信息，获取第二时序数据，包括：

根据所述第一时刻采集的所述无人车的方位信息，以及高精度地图，确定所述第一时刻采集的视频画面中的交通灯为目标交通灯；

根据交通灯识别模型，识别所述目标交通灯的灯色和倒计时，得到所述第一时刻所述目标交通灯的显示数据。

10.根据权利要求8所述的方法，其中，所述采集视频画面和无人车的方位信息，包括：

按照预设行驶线路，遍历所述预设行驶线路上的路口以及遍历所述无人车的相位，以采集视频画面和所述无人车的方位信息。

11.根据权利要求8-10中任一项所述的方法，其中，所述采集视频画面，包括：

根据采集到的所述无人车的方位信息，以及高精度地图，若确定所述无人车距离无人车行驶前方路口的距离小于或等于预设距离，则采集视频画面。

12.一种交通灯检测装置，包括：

收发单元，用于接收来自无人车的第一时序数据、第二时序数据，以及视频，所述视频为所述无人车在整个行驶阶段采集的视频，所述第一时序数据为：所述无人车在所述整个行驶阶段接收来自交通灯的显示数据，所述第二时序数据为：所述无人车基于所述视频得到的所述交通灯的显示数据；

处理单元，用于根据所述视频，获取第三时序数据，所述第三时序数据包括所述交通灯的显示数据；以及根据所述第一时序数据、所述第二时序数据，以及所述第三时序数据，得到所述交通灯显示是否正确的检测结果；

输出单元，用于输出所述检测结果。

13.一种交通灯检测装置，包括：

在行驶过程中，收发单元，用于接收来自路侧设备的交通灯的显示数据，所述路侧设备中的所述交通灯的显示数据来自所述交通灯；

拍摄单元，用于采集视频画面；以及，

定位单元，用于采集和无人车的方位信息；

处理单元，用于将接收所述显示数据的时刻与所述显示数据映射，得到第一时序数据；以及，根据不同时刻采集的视频画面和方位信息，获取第二时序数据；

在行驶结束时，所述收发单元，还用于向服务端发送所述第一时序数据、所述第二时序数据，以及所述无人车在整个行驶阶段采集的视频。

14.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-11中任一项所述方法的步骤。

Images