CN115249407B - 指示灯状态识别方法、装置、电子设备、存储介质及产品 - Google Patents

指示灯状态识别方法、装置、电子设备、存储介质及产品 Download PDF

Info

Publication number
CN115249407B
CN115249407B CN202110587049.1A CN202110587049A CN115249407B CN 115249407 B CN115249407 B CN 115249407B CN 202110587049 A CN202110587049 A CN 202110587049A CN 115249407 B CN115249407 B CN 115249407B
Authority
CN
China
Prior art keywords
traffic signal
signal lamp
tracking target
state
current moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110587049.1A
Other languages
English (en)
Other versions
CN115249407A (zh
Inventor
黄超
陈熙
姚为龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiantu Intelligent Technology Co Ltd
Original Assignee
Shanghai Xiantu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiantu Intelligent Technology Co Ltd filed Critical Shanghai Xiantu Intelligent Technology Co Ltd
Priority to CN202110587049.1A priority Critical patent/CN115249407B/zh
Priority to PCT/CN2022/070699 priority patent/WO2022247299A1/zh
Publication of CN115249407A publication Critical patent/CN115249407A/zh
Application granted granted Critical
Publication of CN115249407B publication Critical patent/CN115249407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种指示灯状态识别方法、装置、电子设备、存储介质及产品，本发明实施例中，将从电子地图中当前时刻获取到的包括所述目标交通信号灯的位置信息投影到车载拍摄图像中，有效定位交通信号灯在车载拍摄图像中所处的感兴趣区域所处的感兴趣区域，通过对该感兴趣区域的交通信号灯进行识别，精确选定通过当前路口所需关注的交通信号灯，再将当前路口所需关注的交通信号灯的检测结果与该交通信号灯之前一段时间各帧的输出结果相融合，准确识别并输出交通信号灯的显示属性状态，从而提高了交通信号灯状态识别的准确率。

Description

指示灯状态识别方法、装置、电子设备、存储介质及产品
技术领域
本发明涉及交通技术领域，尤其涉及一种指示灯状态识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
随着道路复杂度的不断提升，以及车辆的日益增多，行车安全成为人们当前广泛关注的一个话题，比如，如何确定道路上某个十字路口或邻近十字路交通信号灯的指示状态，来保证行车的安全性等。
相关技术中，交通信号灯状态常用的确定方式，是先通过车辆上的车载摄像头来获取包含交通信号灯的图像，然后，再根据车辆定位装置定位该图像中的交通信号灯出现在电子地图上的感兴趣区域，最后在感兴趣区域中检测并识别交通信号灯的当前状态，并输出当前的识别结果。但是，相关技术中，由于车辆定位装置的误差、车载摄像头相机参数的偏差以及在车辆行驶过程中交通信号灯在拍摄图像中的大小与位置的变化等各种不确定因素，无法准确的识别出车辆通过当前路口时所需关注的交通信号灯的当前状态。
因此，如何准确的识别出车辆通过当前路口时所需关注的交通信号灯的状态，是目前有待解决的技术问题。
发明内容
本发明提供一种指示灯状态识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以至少解决相关技术中在车辆通过当前路口时不能准确的识别出当前路口所需关注的交通信号灯的状态的技术问题。本发明的技术方案如下：
根据本发明实施例的第一方面，提供一种指示灯状态识别方法，包括：
获取当前时刻拍摄车辆前方的交通信号图像，以及所述当前时刻所述车辆的定位信息；
若获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息，则根据所述当前时刻车辆的定位信息确定所述车辆当前需要经过路口的交通信号灯的位置信息在所述交通信号图像上的感兴趣区域ROI；
对所述感兴趣区域ROI中的交通信号灯进行检测识别，得到当前时刻需要经过路口的交通信号灯的状态；
更新历史跟踪目标的在所述当前时刻的状态，其中，所述历史跟踪目标为当前时刻的前一段时间内交通信号灯的检测识别结果；
确定当前时刻需要经过路口的交通信号灯的状态与所述历史跟踪目标在当前时刻的状态的第一匹配结果；
若所述第一匹配结果为所述历史跟踪目标匹配上当前时刻需要经过路口的交通信号灯的状态，则获取当前时刻匹配上的交通信号灯对应的所述历史跟踪目标的历史显示属性信息，其中，匹配上的交通信号灯为目标交通信号灯；
若获取到所述电子地图中当前时刻包括所述目标交通信号灯的位置信息，则确定所述目标交通信号灯在所述交通信号灯图像上的投影位置与所述历史跟踪目标的第二匹配结果；
根据所述第二匹配结果获取所述目标交通信号灯的投影位置匹配到对应的所述历史跟踪目标的显示属性状态，所述显示属性状态包括目标交通信号灯的颜色状态和形状状态；
输出所述目标交通信号灯的显示属性状态。
根据本发明实施例的第二方面，提供一种指示灯状态识别装置，包括：
第一获取模块，用于获取当前时刻拍摄车辆前方的交通信号图像，以及所述当前时刻所述车辆的定位信息；
第二获取模块，用于获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息；
第一确定模块，用于在所述第二获取模块获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息时，根据所述第一获取模块获取的所述当前时刻车辆的定位信息确定所述车辆当前需要经过路口的交通信号灯的位置信息在所述交通信号图像上的感兴趣区域ROI；
检测识别模块，用于对所述感兴趣区域ROI中的交通信号灯进行检测识别，得到当前时刻需要经过路口的交通信号灯的状态；
更新模块，用于更新历史跟踪目标的在所述当前时刻的状态，其中，所述历史跟踪目标为当前时刻的前一段时间内交通信号灯的检测识别结果；
第二确定模块，用于确定当前时刻需要经过路口的交通信号灯的状态与所述历史跟踪目标在当前时刻的状态的第一匹配结果；
第三获取模块，用于在所述第二确定模块确定的所述第一匹配结果为所述历史跟踪目标匹配上当前时刻需要经过路口的交通信号灯的状态时，获取所述当前时刻匹配上的交通信号灯对应的所述历史跟踪目标的历史显示属性信息，其中，匹配上的交通信号灯为目标交通信号灯；
第四获取模块，用于获取所述电子地图中包括当前时刻包括所述目标交通信号灯的位置信息；
第三确定模块，用于在所述第四获取模块获取到所述电子地图中包括所述目标交通信号灯的位置信息时，确定所述目标交通信号灯在所述交通信号灯图像上的投影位置与所述历史跟踪目标的第二匹配结果；
第五获取模块，用于根据所述第二匹配结果获取所述目标交通信号灯的投影位置匹配到对应的所述历史跟踪目标的显示属性状态，所述显示属性状态包括交通信号灯的颜色状态和形状状态；
输出模块，用于输出所述第五获取模块获取的所述目标交通信号灯的显示属性状态。
根据本发明实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上所述的指示灯状态识别方法。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上所述的指示灯状态识别方法。
根据本发明实施例的第五方面，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的指示灯状态识别方法。
本发明的实施例提供的技术方案至少可以包括以下有益效果：
本发明实施例提供的指示灯状态识别方法，将从电子地图中当前时刻获取到的包括所述目标交通信号灯的位置信息投影到车载拍摄图像中，有效定位交通信号灯在车载拍摄图像中所处的感兴趣区域所处的感兴趣区域，通过对该感兴趣区域的交通信号灯进行识别，精确选定通过当前路口所需关注的交通信号灯，再将当前帧的检测结果与该交通信号灯之前一段时间各帧的输出结果相融合，准确识别并输出交通信号灯的状态，从而提高交通信号灯状态识别的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种指示灯状态识别方法的流程图。
图2是本发明实施例提供的一种指示灯状态识别方法的应用实例的流程图。
图3是本发明实施例提供的一种指示灯状态识别装置的框图。
图4是本发明实施例提供的第一确定模块的结构示意图。
图5是本发明实施例提供的投影模块的结构示意图。
图6是本发明实施例提供的第二确定模块的结构示意图。
图7是本发明实施例提供的第三确定模块的结构示意图。
图8是本发明实施例提供的一种指示灯状态识别装置的另一框图。
图9是本发明实施例提供的一种指示灯状态识别装置的又一框图。
图10是本发明实施例提供的一种电子设备的结构框图。
图11是本发明实施例提供的一种具有指示灯状态识别的装置的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种指示灯状态识别方法的流程图，该指示灯状态识别方法可以用于终端中，终端实施设备可以是车载终端等电子设备，在此不作限制，如图1所示，该实施例可以包括以下步骤：
步骤101，获取当前时刻拍摄车辆前方的交通信号图像，以及所述当前时刻所述车辆的定位信息。
其中，该实施例中，车载终端在检测到拍摄指令时，启动车载相机进行拍摄，该车载相机该可以是集成在记录仪上，也可以独立部署在车机上，本实施例不做限制。
该步骤中，可以车载终端可以通过卫星导航***定位到当前车辆的定位信息，当然，也可以通过其他方式定位到当前车辆的定位信息，其中，车载终端通过卫星定位导航***进行定位的具体过程，对于本领域技术人员来说，已是熟知技术，在此不再赘述。
步骤102，若获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息，则根据所述当前时刻车辆的定位信息确定所述车辆当前需要经过路口的交通信号灯的位置信息在所述交通信号图像上的感兴趣区域ROI。
该步骤中，车载终端先判断是否获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息，如果获取到，先根据所述当前时刻车辆的定位信息将所述车辆当前需要经过路口的交通信号灯的位置信息投影到所述交通信号图像上，获得当前需要经过路口的交通信号灯在所述交通信号图像上的二维坐标信息；然后，以所述投影的投影点为中心获取当前需要经过路口的交通信号灯在所述交通信号图像上的感兴趣区域(ROI，region of interest)。其中以所述投影的投影点为中心获取当前需要经过路口的交通信号灯在所述交通信号图像上的感兴趣区域的过程，已是熟知技术，在此不再赘述。其中，ROI，为在机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域。
其中，所述根据所述当前时刻车辆的定位信息将所述车辆当前需要经过路口的交通信号灯的位置信息投影到所述交通信号图像上，获得当前需要经过路口的交通信号灯在所述交通信号图像上的二维坐标信息，可以包括：
当前需要经过路口的交通信号灯的位置信息与所述车辆的定位信息所在位置之间的距离；在根据所述距离，将当前需要经过路口的交通信号灯映射到所述交通信号灯图像中，获得当前需要经过路口的交通信号灯在交通信号灯图像上投影的二维坐标信息。
也就是说，该实施例中，需要先获得当前需要经过路口的交通信号灯的位置与当前所述车辆所在位置之间的距离，在将当前需要经过路口的交通信号灯的位置信息(即三维图像)映射至车载相机录制的交通信号灯图像(该图像为二维图像)中，从而获得了当前需要经过路口的交通信号灯在该交通信号灯图像上的投影结果，其中，投影结果为二维坐标信息。即本实施例中，为实现当前需要经过路口的交通信号灯的位置信息在交通信号灯图像上的映射，需要先明确交当前需要经过路口的交通信号灯与当前车辆的相对位置关系。本发明实施例采用的一种方式是，采用该交通信号灯的端点坐标集合描述其空间位置：先获取该交通信号灯的各端点与当前车辆之间的相对位置关系后，结合车载相机已标定得到的内外参数，参照相机的小孔成像原理，可将该交通信号灯的位置从三维空间投影至交通信号灯图像的二维平面上，以获取投影坐标集合。该投影点中心的坐标即为投影坐标集合中各元素对应坐标和的均值。
步骤103，对所述感兴趣区域ROI中的交通信号灯进行检测识别，得到当前时刻需要经过路口的交通信号灯的状态。
该步骤中，车载相机可以利用图像检测技术和图像识别技术，对该所述感兴趣区域ROI中的交通信号灯的位置和大小进行检测识别，得到当前时刻需要经过路口的交通信号灯的状态，所述状态，可以包括各个交通信号灯的位置和大小。
当然，本实施例中，也可以将感兴趣区域的图像依次输入到对应的检测模型和识别模型，分别进行交通信号灯的检测与识别。其中，该交通信号灯检测模型与识别模型可以是根据传统的机器学习算法训练得到模型，也可以根据深度学习算法得到模型，本发明实时例对于该系列模型的训练过程所使用的方法不做限制。在具体的事例中，交通信号灯检测模型可以采用centernet的深度学习算法训练得到，交通信号灯识别模型可以采用误差反向传播网络训练得到。其中，交通信号灯检测模型在感兴趣区域的交通信号灯图像上获得交通信号灯在所述图像上的位置以及尺寸。
步骤104，更新历史跟踪目标的在所述当前时刻的状态，其中，所述历史跟踪目标为当前时刻的前一段时间内交通信号灯的检测识别结果。
该步骤中，更新历史跟踪目标集合中每个历史跟踪目标的位置与尺寸，使其状态与当前时刻相匹配。其中，历史跟踪目标是指向当前时刻前的一段时间内的交通信号灯识别结果。
步骤105，确定当前时刻需要经过路口的交通信号灯的状态与所述历史跟踪目标在当前时刻的状态的第一匹配结果。
其中，该步骤中，先确定当前时刻需要经过路口的交通信号灯的状态与历史跟踪目标的状态的第一关联矩阵(即关联分数)；在对所述第一关联矩阵进行匹配，得到当前时刻需要经过路口的交通信号灯与历史跟踪目标之间的第一对应关系；并根据所述第一对应关系判定所述历史跟踪目标关联上当前时刻需要经过路口的交通信号灯的状态；以及利用所述当前时刻需要经过路口的交通信号灯的状态更新所述历史跟踪目标的状态。
也就是说，本发明实施例中，首先构建当前时刻需要经过路口的交通信号灯的状态(即检测结果)和历史跟踪目标之间的关联矩阵，然后，采用最优匹配原则决定二者之间一一对应关系(本文称为第一对应关系)。具体地，该实施例中的关联矩阵是交通信号灯的检测结果和历史跟踪目标之间相互关联的关联分数，关联分数越高，表示二者是同一个物体的可能性越大，相反的，关联分数越低，表示二者是不同的物体的可能性较大。
其中，关联分数的计算方式包括但不限于下述：一种方式是通过计算交通信号灯的检测结果和历史跟踪目标之间的距离远近，然后利用最优匹配算法，比如，匈牙利算法等，对得到的关联矩阵进行匹配，输出当前交通信号灯的检测结果和历史跟踪目标的对应关系(即第一对应关系)。需要说明的是，由于车辆定位装置的误差、车载摄像头和相机参数的偏差以及在车辆行驶过程中交通信号灯在拍摄图像中的大小与位置的变化等各种不利因素，可能会有新的交通信号灯进入感兴趣区域图像，或者历史跟踪目标在当前时刻未能成功检测识别或历史跟踪目标离开感兴趣区域图像等情况出现，其匹配结果通常有三种情况，即当前交通信号灯检测结果未能关联上历史跟踪目标，历史跟踪目标未能与当前交通信号灯检测结果关联上，历史跟踪目标未能与当前交通信号灯检测结果关联上。为了便于描述，本实施例以历史跟踪目标未能与当前交通信号灯检测结果关联上为例来说明，其余两种情况详见下述实施例。
该步骤中，先构建的关联矩阵的数量与采用目标跟踪算法的数量相同。本实施例以采用的目标跟踪算法分为方法A与方法B，需先对采用的目标跟踪算法设定不同的优先级，即先对交通信号灯检测结果和历史跟踪目标进行关联时，在采用优先级更高的跟踪算法得到的跟踪结果，将该跟踪结果与交通信号灯的检测结果相匹配。如果未能匹配上，则继续跟踪目标，采用优先级更低的跟踪算法得到的跟踪结果，再将利用更低的跟踪算法得到的跟踪结果与还未匹配上的交通信号的灯检测结果继续相匹配。以此类推，直至利用所有跟踪算法的跟踪结果都被匹配上。
步骤106，若所述第一匹配结果为所述历史跟踪目标匹配上当前时刻需要经过路口的交通信号灯的状态，则获取当前时刻匹配上的交通信号灯对应的所述历史跟踪目标的历史显示属性信息，其中，匹配上的交通信号灯为目标交通信号灯。
其中，历史显示属性信息包括前n帧与该跟踪目标关联上的交通信号灯检测结果的显示属性信息。构建显示属性信息可以按照时间前后排列的序列，对其做时间平滑，并通过投票融合获取最多投票属性作为该跟踪目标当前时刻的输出状态结果。
也即是说，如果历史跟踪目标与当前交通信号灯检测结果关联上(或匹配上等)，利用历史目标跟踪算法对当前时刻匹配上的交通信号灯的检测结果更新对应的历史跟踪目标的运动状态与显示属性信息。
步骤107，若获取到所述电子地图中包括所述目标交通信号灯的位置信息，则确定所述目标交通信号灯在所述交通信号灯图像上的投影位置与所述历史跟踪目标的第二匹配结果。
该步骤中，车载终端先判断该电子地图中是否包括所述目标交通信号灯的位置信息，如果包括，则创建当前时刻所述目标交通信号灯在所述交通信号灯图像上的投影位置与历史跟踪目标的第二关联矩阵(即关联分数)，之后，对所述第二关联矩阵进行匹配，得到当前时刻目标交通信号灯投影与历史跟踪目标的第二对应关系；最后，根据所述第二对应关系判定所述目标通信号灯投影位置匹配到对应的历史跟踪目标。
具体地，关联矩阵是目标交通信号灯投影和历史跟踪目标之间的关联分数，关联分数越高，代表二者是同一个物体的可能性越大，反之，关联分数越低，代表二者是不是同一个物体的可能性越大。关联分数的计算方式包括但不限于计算目标交通信号灯投影和历史跟踪目标之间的距离远近。然后使用最优匹配算法，比如匈牙利算法，对得到的关联矩阵进行匹配，输出目标交通信号灯投影和历史跟踪目标的对应关系(即第二对应关系)，根据所述第二对应关系判定所述目标通信号灯投影位置匹配到对应的历史跟踪目标。
步骤108，根据所述第二匹配结果获取所述目标交通信号灯的投影位置匹配到对应的所述历史跟踪目标的显示属性状态，所述显示属性状态包括目标交通信号灯的颜色状态和形状状态。
该步骤中，如果第二匹配结果为所述目标通信号灯投影位置匹配到对应的历史跟踪目标，则获取所述目标交通信号灯的投影位置匹配到对应的所述历史跟踪目标的显示属性信息，其中，所述显示属性信息可以包括交通信号灯的颜色信息和形状信息，颜色信息包括下述一种：红、黄、绿以及无显示等，形状信息至少包括下述之一：圆形、左转箭头、右转箭头以及直行箭头等。但在具体实现时，本发明实施例提供交通信号灯的显示属性信息并不限于此。
步骤109，输出所述目标交通信号灯的显示属性信息。
其中，该步骤中，输出选定的目标交通信号灯显示属性状态，作为车辆驾驶规划的依据。
本发明实施例提供的指示灯状态识别方法，将从电子地图中当前时刻获取到的包括所述目标交通信号灯的位置信息投影到车载拍摄图像中，有效定位交通信号灯在车载拍摄图像中所处的感兴趣区域所处的感兴趣区域，通过对该感兴趣区域的交通信号灯进行识别，精确选定通过当前路口所需关注的交通信号灯，再将当前帧的检测结果与该交通信号灯之前一段时间各帧的输出结果相融合，准确识别并输出交通信号灯的状态，从而提高交通信号灯状态识别的准确率。
可选的，在另一实施例中，该实施例在上述实施例的基础上，还可以包括：
若没有获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息，判断是否存在历史交通信号灯跟踪目标；如果不存在，则将所述默认检测区域设置为感兴趣区域；如果存在，则预测并更新所述历史交通信号灯跟踪目标在当前时刻的状态；根据所述当前时刻车辆的定位信息确定所述历史交通信号灯跟踪目标在所述交通信号图像上的感兴趣区域ROI，其中，将所述历史交通信号灯跟踪目标作为当前需要经过路口的交通信号灯。
本实施例中，若车载终端没有获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息，则需要判断是否存在历史交通信号灯跟踪目标，如果不存在，设置默认检测区域为感兴趣区域；如果存在，依据跟踪算法预测并更新历史交通信号灯跟踪目标在该当前时刻的位置与大小，之后，再以历史交通信号灯跟踪目标在拍摄的交通信号图像(即车载拍摄的二维图像)上的坐标的中心为中心获取感兴趣区域。具体为：将历史交通信号灯跟踪目标的位置信息投影该交通信号图像上，以获取二维坐标信息，之后，再以投影点为中心获取对应的感兴趣区域。
可选的，在另一实施例中，该实施例在上述实施例的基础上，还可以包括：
第一种情况，若所述第一匹配结果为当前时刻需要经过路口的交通信号灯的状态未能匹配上所述历史跟踪目标，则创建新的跟踪目标，并将新的所述跟踪目标添加到历史跟踪目标集合中。
也就是说，如果当前交通信号灯检测结果未能关联上历史跟踪目标，说明有新的交通信号灯进入感兴趣区域，进而为该检测结果生成一个新的跟踪目标实体，并将其加入到历史跟踪目标集合中。
本发明实施例中，若所述第一匹配结果为当前时刻需要经过路口的交通信号灯的状态未能匹配上所述历史跟踪目标，则通过创建新的跟踪目标，来提高交通信号灯状态的识别效率。
第二种，若所述第一匹配结果为所述历史跟踪目标未能匹配上当前时刻需要经过路口的交通信号灯的状态，判断是否移除所述历史跟踪目标；如果是，移除所述历史跟踪目标；如果否，更新所述历史跟踪目标的状态，所述状态记录当前帧中所述历史跟踪目标是否被检测到的信息。
也就是说，如果历史跟踪目标未能与当前交通信号灯检测结果关联上，说明历史跟踪目标在当前时刻未能成功检测识别或历史跟踪目标离开感兴趣区域等情况出现，为保证跟踪结果的稳定性，需要进一步判定是否删除该跟踪目标，其判定的标准，比如可以根据前m帧中未检测到该历史跟踪目标为例。若符合删除的标准，则将该跟踪目标从历史跟踪目标集合中删除；否则，更新该历史跟踪目标的状态，该状态包括标记在当前帧中该跟踪目标是否被检测到的信息。
本发明实施例中，如果历史跟踪目标未能与当前交通信号灯检测结果关联上，则根据判断标准，适应性删除未关联上的历史跟踪目标，不但节省了存储空间，而且还增加可跟踪结果的稳定性，从而提高了交通信号的状态的识别效率。
可选的，在另一实施例中，该实施例在上述实施例的基础上，还可以包括：
若没有获取到所述电子地图中包括所述目标交通信号灯的位置信息，则获取所述车辆在当前路口的计划行为；根据所述车辆的计划行为所述车辆匹配到相应状态的历史跟踪目标；获取所述历史跟踪目标在当前时刻的历史显示属性状态；输出所述历史跟踪目标的历史显示属性状态。
该实施例中，若已加载的电子地图中不包含当前所通过路口所需关注的目标交通信号灯的位置信息，则获取车辆在当前路口的计划行为，如左转、右转或直行等，之后，依据车辆计划行为匹配相应输出状态的跟踪目标，并获取跟踪目标在当前时刻的输出状态结果。在具体事例中，若车辆在该路口将左转，匹配的跟踪目标的输出状态应的形状信息应是左转箭头，其匹配的规则与交通通行规则相符合。
本发明实施例中，在已加载的电子地图中不包含当前所通过路口所需关注的目标交通信号灯的位置信息时，通过获取该车辆的计划行为，根据车辆计划行为匹配跟踪目标的输出状态，为车辆的行驶计划行为进行规划，提高了车辆行驶的稳定度和舒适度。
还请参阅图2，为本发明实施例提供的一种指示灯状态识别方法的应用流程图，该实施例中，以交通信号灯状态的检测与识别为例，该实施例包括：
步骤201，获取当前时刻车载相机所拍摄的交通信号图像，该交通信号图像中包括交通信号灯。
该步骤中，可以检测到拍摄指令时，启动车载相机的拍摄，该车载相机可以是集成在记录仪上，也可以独立部署在车机上，本实施例不做限制。
步骤202，获取当前时刻所述车辆的定位信息。
该步骤中，可以通过卫星导航***定位到当前车辆的定位信息，其通过卫星定位导航***的具体定位过程，对于本领域技术人员来说，已是熟知技术，在此不再赘述。
需要说明的是，再具体实施例时，步骤201和步骤202没有先后顺序可分，也可以同时执行，本实施例不做限制。
步骤203，判断已加载的电子地图中是否包括当前需要经过路口的交通信号灯的位置信息，如果是，执行步骤204，否则，执行步骤206。
步骤204，将交通信号灯的位置信息投影到所述交通信号图像上，获得在所述交通信号图像上的二维坐标信息；执行步骤205。
该步骤中，需要获得当前时刻交通信号灯的位置与车辆所在位置之间的距离，将交通信号灯的位置映射至图像中，从而获得交通信号灯在图像上的投影结果。为实现交通信号灯在交通信号图像上的映射，首先需要明确交通信号灯与当前车辆的相对位置关系。本发明实施例采用交通信号灯的端点坐标集合描述其空间位置。获取交通信号灯的各端点与当前车辆之间的相对位置关系后，结合车载相机已标定得到的内外参数，参照相机的小孔成像原理，可将交通信号灯从三维空间投影至图像的二维平面上以获取投影坐标集合。投影点中心的坐标即为投影坐标集合中各元素对应坐标和的均值。
步骤205，以所述投影的投影点为中心获取当前需要经过路口的交通信号灯在所述交通信号图像上的感兴趣区域ROI；之后，执行步骤210。
步骤206，判断所述电子地图上是否存在历史交通信号灯跟踪目标，如果是，执行步骤207，如果否，执行步骤209。
其中，历史跟踪目标是指当前时刻之前的一段时间内的交通信号灯识别结果。
步骤207，预测并更新历史交通信号灯跟踪目标在当前时刻的二维坐标与大小。
该步骤中，可以依据跟踪算法进行预测，比如，从运行速度和跟踪精度考虑，步骤207中的历史目标跟踪算法包括但不限于卡尔曼滤波器算法与核相关滤波算法等。卡尔曼滤波器算法是计算跟踪目标的运动状态，该运动状态包括但不限于大小，尺寸与位置坐标的变化速率，依据当前时刻与历史跟踪目标所处状态时刻的差值，得到跟踪目标运动状态的变化值，从而预测得到历史跟踪目标在当前时刻的状态。值得注意的是，为便于阐述，本实施实例使用了简单的常速运动模型，因此，运动状态以包括跟踪目标的位置和速度信息为例，但在实际应用中，并不限于此。需要说明的是，本发明还可使用其它运动状态信息，比如加速度、角速度等，从而适用于其它更复杂的运动模型。核相关滤波算法是用来计算历史跟踪目标的历史图像特征，该历史图像特征包括但不限于：灰度特征、方向梯度特征、直方图特征等，在当前时刻的交通信号图像上进行搜索，得到与历史图像特征最为相似的区域即为该跟踪目标当前时刻的预测跟踪结果。历史交通信号灯跟踪目标在二维图像上的坐标的中心坐标即为跟踪结果集合中各元素对应坐标和的均值。
步骤208，以所述历史交通信号灯跟踪目标在所述交通信号图像上的坐标为中心获取感兴趣区域ROI；之后，执行步骤210。
步骤209，设置默认检测区域为感兴趣区域。
设置的默认检测区域的位置可依据经验参数设置，即依据车载相机与交通信号灯相对位置的估计，和车载相机的内外参数进行假设投影得到默认检测区域的位置。
步骤210，对所述感兴趣区域ROI的图像中的交通信号灯进行检测，得到当前需要经过路口的交通信号灯在所述交通信号灯图像上的检测结果；之后，执行步骤212。
其中，检测结果可以包括位置和尺寸和显示属性信息。
其中，该步骤210以感兴趣区域的图像为输入进行交通信号灯的检测与识别。交通信号灯检测模型与识别模型可以根据传统的机器学习算法训练得到，也可以根据深度学习算法得到，本发明对于该系列模型的训练过程所使用的方法不做限制。在具体的事例中，交通信号灯检测模型可以采用centernet的深度学习算法训练得到，交通信号灯识别模型可以采用误差反向传播网络训练得到。交通信号灯检测模型在感兴趣区域的图像上获得交通信号灯在所述图像上的位置以及尺寸。交通信号灯识别模型根据交通信号灯在感兴趣区域上的显示图像获得交通信号灯的显示属性信息。在具体的事例中，显示属性信息可以包括交通信号灯的颜色信息和形状信息，其中，颜色信息可以包括红、黄、绿以及无显示等，形状信息可以包括圆形、左转箭头、右转箭头以及直行箭头等。本发明不对交通信号灯的显示属性信息所包含的内容做限制。
步骤211，更新历史跟踪目标在当前时刻的位置和尺寸，使所述历史跟踪目标的位置和尺寸与当前需要经过路口的交通信号灯在所述交通信号灯图像上的检测结果相匹配。
步骤212，构建当前需要经过路口的交通信号灯在所述交通信号灯图像上的检测结果与历史跟踪目标在当前时刻的位置与尺寸的关联矩阵。
其中，该关联矩阵也可称为第一管理矩阵。
在步骤中，首先构建当前交通信号灯检测结果和历史跟踪目标之间的关联矩阵。其中，关联矩阵就是交通信号灯检测结果和历史跟踪目标之间的关联分数，关联的分数越高，代表二者是同一个物体的可能性越大，相反，代表二者是同一个物体的可能性越小。关联分数的计算方式包括但不限于计算交通信号灯的检测结果和历史跟踪目标之间的距离远近这种方式。
步骤213，根据构建的所述关联矩阵关联当前信号灯的所述位置与尺寸与历史跟踪目标位置与尺寸之间的对应关系，如果关联失败，执行步骤214，如果关联成功，执行步骤220；
该步骤中，采用最优匹配算法来确定二者之间一一对应的关系。其中，最优匹配算法，比如匈牙利算法，对得到的关联矩阵进行匹配，输出当前交通信号灯检测结果和历史跟踪目标的对应关系。由于车辆定位装置的误差、车载摄像头相机参数的偏差以及在车辆行驶过程中交通信号灯在拍摄图像中的大小与位置的变化等各种不利因素，可能会有新的交通信号灯进入感兴趣区域图像、历史跟踪目标在当前时刻未能成功检测识别或历史跟踪目标离开感兴趣区域图像等情况出现，步骤213中采用最优匹配算法的匹配结果可能出现两种情况，一种是关联成功，一种是关联失败。
在具体示例中，步骤213构建的关联矩阵数量与采用目标跟踪算法的数量相同。若采用的目标跟踪算法有两种并分别记为方法A与方法B，需要先对采用的目标跟踪算法设定不同的优先级，即对交通信号灯检测结果和历史跟踪目标进行关联时，先采用优先级更高的跟踪算法得到的跟踪结果与交通信号灯检测结果相匹配，若未能匹配上，再采用优先级高的跟踪算法(该跟踪算法的优先级比上述优先级更高的跟踪算法低)得到的跟踪结果与还未匹配上的交通信号灯检测结果相匹配。以此类推，直至所有跟踪算法的跟踪结果都被使用上。
步骤214：判断是当前信号灯关联失败还是历史跟踪目标关联失败，如果是当前信号灯关联失败，则执行步骤215，如果是历史跟踪目标关联失败，执行步骤217。
步骤215，创建新的跟踪目标实体。
该步骤中，若当前交通信号灯检测结果未能关联上历史跟踪目标，则说明有新的交通信号灯进入感兴趣区域图像，为该检测结果生成一个新的跟踪目标实体。
步骤216，将新的跟踪目标加入到历史跟踪目标集合中，之后执行步骤221。
步骤217，判定是否删除该历史跟踪目标，如果否，执行步骤219，如果是，执行步骤218。
该步骤中，如果历史跟踪目标未能与当前交通信号灯检测结果关联上，则说明历史跟踪目标在当前时刻未能成功检测识别或历史跟踪目标离开感兴趣区域图像等情况出现，为保证跟踪结果的稳定性，需要按照判断标准判定是否删除该跟踪目标，其判定标准可以是根据前m帧中未检测到的跟踪目标的比例为例但在实际应应用中，并不限于此。若符合删除的判断标准，执行步骤218；否则，执行步骤219；
步骤218，删除该历史跟踪目标，结束当前流程。
步骤219，更新该历史跟踪目标的状态，之后执行步骤221。
其中，该更新后的状态可以包括标记在当前帧中该跟踪目标是否被观测到的信息。
步骤220，更新对应的历史跟踪目标的运动状态与显示属性信息。
该步骤中，当二者关联上时，利用当前时刻匹配上的交通信号灯检测结果依据上述步骤中的历史目标跟踪算法更新对应的历史跟踪目标的运动状态与显示属性信息。
步骤221，获取现有存在的历史跟踪目标的状态，包括其历史显示属性即前n帧与该跟踪目标关联上的交通信号灯检测结果的显示属性信息。
其中，该步骤中，可以按照时间前后排列的序列构建显示属性，对其做时间平滑，并通过投票融合获取最多投票属性作为该跟踪目标当前时刻的输出状态结果。
步骤222，判断已加载地图中是否包含当前所通过路口所需关注的目标交通信号灯的位置信息；若是，则执行步骤223；否则，执行步骤228。
步骤223，构建该目标红绿灯在车载相机图像上的投影位置与现存历史跟踪目标之间的关联矩阵。
步骤224：根据关联矩阵采用最优匹配算法关联二者的对应关系，如果关联成功，执行步骤225，如果关联失败，执行步骤227。
具体地，根据关联矩阵采用最优匹配算法关联二者之间一一对应关系具体实现过程与上述过程类似，其中，最优匹配算法，可以是匈牙利算法，对得到的关联矩阵进行匹配，若匹配成功(即关联成功)，输出目标交通信号灯投影和历史跟踪目标的对应关系。若目标交通信号灯投影与现存跟踪目标关联失败，即执行步骤227。
步骤225，获取目标交通信号灯投影匹配到对应的所述历史跟踪目标的显示属性状态。
其中，所述显示属性状态可以包括目标交通信号灯的颜色状态和形状状态。
步骤226，输出所述目标交通信号灯的显示属性状态，结束当前流程。
步骤227，当前时刻无交通信号灯输出，结束当前流程。
步骤228，获取车辆在当前路口的计划行为。
其中，计划行为，比如左转、右转或直行等。
步骤229，依据车辆计划行为匹配相应输出状态的历史跟踪目标，并获取该历史跟踪目标当前时刻的历史显示属性状态。
在具体示例中，若车辆在该路口将左转，匹配的历史跟踪目标的输出状态应的形状信息应是左转箭头。匹配的规则与交通通行规则相符合。
步骤230，输出获取的所述历史跟踪目标的历史现实属性状态，结束当前流程。
该步骤中可以将历史跟踪目标的历史现实属性状态作为车辆驾驶规划的依据。
本发明实施例中，在已加载的电子地图中不包含当前所通过路口所需关注的目标交通信号灯的位置信息时，通过获取该车辆的计划行为，根据车辆计划行为匹配跟踪目标的输出状态，为车辆的行驶计划行为进行规划，提高了车辆行驶的稳定度和舒适度。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本实施公开并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
图3是根据一示例性实施例示出的一种指示灯状态识别装置框图。参照图3，该装置包括第一获取模块301，第二获取模块302，第一确定模块303，检测识别模块304，更新模块305，第二确定模块306，第三获取模块307，第四获取模块308，第三确定模块309，第五获取模块310和输出模块311。其中，
该第一获取模块301，用于获取当前时刻拍摄车辆前方的交通信号图像，以及所述当前时刻所述车辆的定位信息；
该第二获取模块302，用于获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息；
该第一确定模块303，用于在所述第二获取模块302获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息时，根据所述第一获取模块301获取的所述当前时刻车辆的定位信息确定所述车辆当前需要经过路口的交通信号灯的位置信息在所述交通信号图像上的感兴趣区域ROI；
该检测识别模块304，用于对所述感兴趣区域ROI中的交通信号灯进行检测识别，得到当前时刻需要经过路口的交通信号灯的状态；
该更新模块305，用于更新历史跟踪目标的在所述当前时刻的状态，其中，所述历史跟踪目标为当前时刻的前一段时间内交通信号灯的检测识别结果；
该第二确定模块306，用于确定当前时刻需要经过路口的交通信号灯的状态与所述历史跟踪目标在当前时刻的状态的第一匹配结果；
该第三获取模块307，用于在所述第二确定模块306确定的所述第一匹配结果为所述历史跟踪目标匹配上当前时刻需要经过路口的交通信号灯的状态时，获取所述当前时刻匹配上的交通信号灯对应的所述历史跟踪目标的历史显示属性信息，其中，匹配上的交通信号灯为目标交通信号灯；
该第四获取模块308，用于获取所述电子地图中包括当前时刻包括所述目标交通信号灯的位置信息；
该第三确定模块309，用于在所述第四获取模块308获取到所述电子地图中包括所述目标交通信号灯的位置信息时，确定所述目标交通信号灯在所述交通信号灯图像上的投影位置与所述历史跟踪目标的第二匹配结果；
该第五获取模块310，用于根据所述第二匹配结果获取所述目标交通信号灯的投影位置匹配到对应的所述历史跟踪目标的显示属性状态，所述显示属性状态包括交通信号灯的颜色状态和形状状态；
该输出模块311，用于输出所述目标交通信号灯的显示属性状态。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一确定模块303包括：投影模块401和区域获取模块402，其结构示意图如图4所示，其中，
该投影模块401，用于根据所述当前时刻车辆的定位信息将所述车辆当前需要经过路口的交通信号灯的位置信息投影到所述交通信号图像上，获得当前需要经过路口的交通信号灯在所述交通信号图像上的二维坐标信息；
该区域获取模块402，用于以所述投影的投影点为中心获取当前需要经过路口的交通信号灯在所述交通信号图像上的感兴趣区域ROI。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述投影模块401包括：计算模块501和映射模块502，其结构示意图如图5所示，其中，
该计算模块501，用于计算当前需要经过路口的交通信号灯的位置信息与所述车辆的定位信息所在位置之间的距离；
该映射模块502，用于根据所述距离，将当前需要经过路口的交通信号灯的位置信息映射到所述交通信号灯图像中，获得当前需要经过路口的交通信号灯的位置信息在交通信号灯图像上投影的二维坐标信息。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第二确定模块306包括：第一关联矩阵确定模块601，第一匹配模块602，第一判断模块603和第一状态更新模块604，其结构示意图如图6所示，
该第一关联矩阵确定模块601，用于确定当前时刻需要经过路口的交通信号灯的状态与历史跟踪目标的状态的第一关联矩阵；
该第一匹配模块602，用于对所述第一关联矩阵进行匹配，得到当前时刻需要经过路口的交通信号灯与历史跟踪目标之间的第一对应关系；
该第一判断模块603，用于根据所述第一对应关系判断所述历史跟踪目标是否关联上当前时刻需要经过路口的交通信号灯的状态；
该第一状态更新模块604，用于在所述判断模块判定所述历史跟踪目标关联上当前时刻需要经过路口的交通信号灯的状态时，利用所述当前时刻匹配上的交通信号灯的状态更新对应的所述历史跟踪目标的状态。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第三确定模块309包括：第二关联矩阵确定模块701，第二匹配模块702，第二判断模块703和跟踪目标确定模块704，其结构示意图如图7所示，其中，
该第二关联矩阵确定模块701，用于确定当前时刻所述目标交通信号灯在所述交通信号灯图像上的投影位置与历史跟踪目标的第二关联矩阵；
该第二匹配模块702，用于对所述第二关联矩阵进行匹配，得到当前时刻目标交通信号灯投影与历史跟踪目标的第二对应关系；
该第二判断模块703，用于根据所述第二对应关系判定所述目标通信号灯投影位置是否匹配到对应的历史跟踪目标；
该跟踪目标确定模块704，用于在所述第二判断模块根据所述第二对应关系判定所述目标通信号灯投影位置匹配到对应的历史跟踪目标。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还包括：第三判断模块801，设置模块802，预测更新模块803和第四确定模块804，其结构示意图如图8所示，其中，
该第三判断模块801，用于在第一确定模块303确定没有获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息时，判断是否存在历史交通信号灯跟踪目标；
该设置模块802，用于所述判断模块判定不存历史在历史交通信号灯跟踪目标时，将所述默认检测区域设置为感兴趣区域；
该预测更新模块803，用于在所述第三判断模块801判定存在历史交通信号灯跟踪目标时，预测并更新所述历史交通信号灯跟踪目标在当前时刻的状态；
该第四确定模块804，用于根据所述当前时刻车辆的定位信息确定所述历史交通信号灯跟踪目标在所述交通信号图像上的感兴趣区域ROI，其中，将所述历史交通信号灯跟踪目标作为当前需要经过路口的交通信号灯。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：创建模块，和/或，第四判断模块，移除模块和第二状态更新模块，其中，
该创建模块，用于在所述第二确定模块确定的所述第一匹配结果为当前时刻需要经过路口的交通信号灯的状态未能匹配上所述历史跟踪目标时，创建新的跟踪目标，并将新的所述跟踪目标添加到历史跟踪目标集合中；
该第四判断模块，用于在所述第二确定模块确定的所述第一匹配结果为所述历史跟踪目标未能匹配上当前时刻需要经过路口的交通信号灯的状态时，判断是否移除所述历史跟踪目标；
该移除模块，用于在所述第四判断模块判定移除所述历史跟踪目标，移除所述历史跟踪目标；
该第二状态更新模块，用于在所述第四判断模块判定不移除所述历史跟踪目标时，更新所述历史跟踪目标的状态，所述状态记录当前帧中所述历史跟踪目标是否被检测到的信息。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：行为获取模块901，匹配模块902和状态获取模块903，其结构示意图如图9所示，其中，
该行为获取模块901，用于在所述第三确定模块309确定的第二匹配结果没有获取到所述电子地图中包括所述目标交通信号灯的位置信息时，获取所述车辆在当前路口的计划行为；
该匹配模块902，用于根据所述车辆的计划行为所述车辆匹配到相应状态的历史跟踪目标；
该状态获取模块903，用于获取所述历史跟踪目标在当前时刻的历史显示属性状态；
该输出模块311，还用于输出所述状态获取模块903获取的所述历史跟踪目标的历史显示属性状态。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，相关之处参见方法实施例的部分说明即可，此处将不做详细阐述说明。
本发明实施例还提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上所述的指示灯状态识别方法。
本发明实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上所述的指示灯状态识别方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的指示灯状态识别方法。
可选的，本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，其中，
所述存储器1003，用于存放计算机程序；
所述处理器1001，用于执行存储器1003上所存放的程序时，实现如上所述的指示灯状态识别方法。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
图11是根据一示例性实施例示出的一种用于指示灯状态识别的装置1100的框图。例如，装置1100可以被提供为一终端。参照图11，装置1100包括处理组件1122，其进一步包括一个或多个处理器，以及由存储器1132所代表的存储器资源，用于存储可由处理组件1122的执行的指令，例如应用程序。存储器1132中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1122被配置为执行指令，以执行上述方法。
装置1100还可以包括一个电源组件1126被配置为执行装置1100的电源管理，一个有线或无线网络接口1150被配置为将装置1100连接到网络，和一个输入输出(I/O)接口1158。装置1100可以操作基于存储在存储器932的操作***，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种指示灯状态识别方法，其特征在于，包括：
获取当前时刻拍摄车辆前方的交通信号图像，以及所述当前时刻所述车辆的定位信息；
若获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息，则根据所述当前时刻车辆的定位信息确定所述车辆当前需要经过路口的交通信号灯的位置信息在所述交通信号图像上的感兴趣区域ROI；
对所述感兴趣区域ROI中的交通信号灯进行检测识别，得到当前时刻需要经过路口的交通信号灯的状态；
更新历史跟踪目标的在所述当前时刻的状态，其中，所述历史跟踪目标为当前时刻的前一段时间内交通信号灯的检测识别结果；
确定当前时刻需要经过路口的交通信号灯的状态与所述历史跟踪目标在当前时刻的状态的第一匹配结果；
若所述第一匹配结果为所述历史跟踪目标匹配上当前时刻需要经过路口的交通信号灯的状态，则获取当前时刻匹配上的交通信号灯对应的所述历史跟踪目标的历史显示属性信息，其中，匹配上的交通信号灯为目标交通信号灯；
若所述电子地图中包括所述目标交通信号灯的位置信息，则根据所述目标交通信号灯在所述交通信号图像上的投影位置与历史跟踪目标之间的距离确定第二匹配结果；
根据所述第二匹配结果获取所述目标交通信号灯的投影位置匹配到对应的所述历史跟踪目标的显示属性状态，所述显示属性状态包括目标交通信号灯的颜色状态和形状状态；
输出所述目标交通信号灯的显示属性状态。
2.根据权利要求1所述的指示灯状态识别方法，其特征在于，所述根据所述当前时刻车辆的定位信息确定所述车辆当前需要经过路口的交通信号灯的位置信息在所述交通信号图像上的感兴趣区域ROI，包括：
根据所述当前时刻车辆的定位信息将所述车辆当前需要经过路口的交通信号灯的位置信息投影到所述交通信号图像上，获得当前需要经过路口的交通信号灯在所述交通信号图像上的二维坐标信息；
以所述投影的投影点为中心获取当前需要经过路口的交通信号灯在所述交通信号图像上的感兴趣区域ROI。
3.根据权利要求2所述的指示灯状态识别方法，其特征在于，所述根据所述当前时刻车辆的定位信息将所述车辆当前需要经过路口的交通信号灯的位置信息投影到所述交通信号图像上，获得当前需要经过路口的交通信号灯在所述交通信号图像上的二维坐标信息，包括：
计算当前需要经过路口的交通信号灯的位置信息与所述车辆的定位信息所在位置之间的距离；
根据所述距离，将当前需要经过路口的交通信号灯的位置信息映射到所述交通信号灯图像中，获得当前需要经过路口的交通信号灯的位置信息在交通信号灯图像上投影的二维坐标信息。
4.根据权利要求1所述的指示灯状态识别方法，其特征在于，所述确定当前时刻需要经过路口的交通信号灯的状态与所述历史跟踪目标在当前时刻的状态的第一匹配结果包括：
确定当前时刻需要经过路口的交通信号灯的状态与历史跟踪目标的状态的第一关联矩阵；
对所述第一关联矩阵进行匹配，得到当前时刻需要经过路口的交通信号灯与历史跟踪目标之间的第一对应关系；
根据所述第一对应关系判定所述历史跟踪目标关联上当前时刻需要经过路口的交通信号灯的状态；
利用所述当前时刻匹配上的交通信号灯的状态更新对应的所述历史跟踪目标的状态。
5.根据权利要求1所述的指示灯状态识别方法，其特征在于，所述根据所述目标交通信号灯在所述交通信号图像上的投影位置与历史跟踪目标之间的距离确定第二匹配结果，包括：
确定当前时刻所述目标交通信号灯在所述交通信号灯图像上的投影位置与历史跟踪目标的第二关联矩阵；
对所述第二关联矩阵进行匹配，得到当前时刻目标交通信号灯投影与历史跟踪目标的第二对应关系；
根据所述第二对应关系判定所述目标通信号灯投影位置匹配到对应的历史跟踪目标。
6.根据权利要求1至5任一项所述的指示灯状态识别方法，其特征在于，所述方法还包括：
若没有获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息，判断是否存在历史交通信号灯跟踪目标；
如果不存在，则将默认检测区域设置为感兴趣区域；
如果存在，则预测并更新所述历史交通信号灯跟踪目标在当前时刻的状态；
根据所述当前时刻车辆的定位信息确定所述历史交通信号灯跟踪目标在所述交通信号图像上的感兴趣区域ROI，其中，将所述历史交通信号灯跟踪目标作为当前需要经过路口的交通信号灯。
7.根据权利要求1至5任一项所述的指示灯状态识别方法，其特征在于，所述方法还包括：
若所述第一匹配结果为当前时刻需要经过路口的交通信号灯的状态未能匹配上所述历史跟踪目标，则创建新的跟踪目标，并将新的所述跟踪目标添加到历史跟踪目标集合中；
若所述第一匹配结果为所述历史跟踪目标未能匹配上当前时刻需要经过路口的交通信号灯的状态，判断是否移除所述历史跟踪目标；
如果是，移除所述历史跟踪目标；
如果否，更新所述历史跟踪目标的状态，所述状态记录当前帧中所述历史跟踪目标是否被检测到的信息。
8.根据权利要求1至5任一项所述的指示灯状态识别方法，其特征在于，所述方法还包括：
若没有获取到所述电子地图中包括所述目标交通信号灯的位置信息，则获取所述车辆在当前路口的计划行为；
根据所述车辆的计划行为所述车辆匹配到相应状态的历史跟踪目标；
获取所述历史跟踪目标在当前时刻的历史显示属性状态；
输出所述历史跟踪目标的历史显示属性状态。
9.一种指示灯状态识别装置，其特征在于，包括：
第一获取模块，用于获取当前时刻拍摄车辆前方的交通信号图像，以及所述当前时刻所述车辆的定位信息；
第二获取模块，用于获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息；
第一确定模块，用于在所述第二获取模块获取到电子地图中所述车辆当前需要经过路口的交通信号灯的位置信息时，根据所述第一获取模块获取的所述当前时刻车辆的定位信息确定所述车辆当前需要经过路口的交通信号灯的位置信息在所述交通信号图像上的感兴趣区域ROI；
检测识别模块，用于对所述感兴趣区域ROI中的交通信号灯进行检测识别，得到当前时刻需要经过路口的交通信号灯的状态；
更新模块，用于更新历史跟踪目标的在所述当前时刻的状态，其中，所述历史跟踪目标为当前时刻的前一段时间内交通信号灯的检测识别结果；
第二确定模块，用于确定当前时刻需要经过路口的交通信号灯的状态与所述历史跟踪目标在当前时刻的状态的第一匹配结果；
第三获取模块，用于在所述第二确定模块确定的所述第一匹配结果为所述历史跟踪目标匹配上当前时刻需要经过路口的交通信号灯的状态时，获取所述当前时刻匹配上的交通信号灯对应的所述历史跟踪目标的历史显示属性信息，其中，匹配上的交通信号灯为目标交通信号灯；
第四获取模块，用于获取所述电子地图中包括当前时刻包括所述目标交通信号灯的位置信息；
第三确定模块，用于在所述第四获取模块获取到所述电子地图中包括所述目标交通信号灯的位置信息时，根据所述目标交通信号灯在所述交通信号图像上的投影位置与历史跟踪目标之间的距离确定第二匹配结果；
第五获取模块，用于根据所述第二匹配结果获取所述目标交通信号灯的投影位置匹配到对应的所述历史跟踪目标的显示属性状态，所述显示属性状态包括交通信号灯的颜色状态和形状状态；
输出模块，用于输出所述第五获取模块获取的所述目标交通信号灯的显示属性状态。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至8中任一项所述的指示灯状态识别方法。
11.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至8中任一项所述的指示灯状态识别方法。
12.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至8中任一项所述的指示灯状态识别方法。
CN202110587049.1A 2021-05-27 2021-05-27 指示灯状态识别方法、装置、电子设备、存储介质及产品 Active CN115249407B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110587049.1A CN115249407B (zh) 2021-05-27 2021-05-27 指示灯状态识别方法、装置、电子设备、存储介质及产品
PCT/CN2022/070699 WO2022247299A1 (zh) 2021-05-27 2022-01-07 指示灯状态识别

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110587049.1A CN115249407B (zh) 2021-05-27 2021-05-27 指示灯状态识别方法、装置、电子设备、存储介质及产品

Publications (2)

Publication Number Publication Date
CN115249407A CN115249407A (zh) 2022-10-28
CN115249407B true CN115249407B (zh) 2023-09-26

Family

ID=83696258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587049.1A Active CN115249407B (zh) 2021-05-27 2021-05-27 指示灯状态识别方法、装置、电子设备、存储介质及产品

Country Status (2)

Country Link
CN (1) CN115249407B (zh)
WO (1) WO2022247299A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468868A (zh) * 2023-04-27 2023-07-21 广州小鹏自动驾驶科技有限公司 交通信号灯的建图方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949593A (zh) * 2019-03-13 2019-06-28 北京联合大学 一种基于路口先验知识的交通信号灯识别方法及***
CN111292531A (zh) * 2020-02-06 2020-06-16 北京百度网讯科技有限公司 交通信号灯的跟踪方法、装置、设备及存储介质
CN111582189A (zh) * 2020-05-11 2020-08-25 腾讯科技（深圳）有限公司 交通信号灯识别方法、装置、车载控制终端及机动车

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242889A (ja) * 1999-02-22 2000-09-08 Sanko Kk 信号機
CN105160924B (zh) * 2015-08-25 2017-10-17 公安部第三研究所 基于视频处理的智能信号灯状态检测方法及检测***
CN108305475B (zh) * 2017-03-06 2020-10-09 腾讯科技（深圳）有限公司 一种交通灯识别方法及装置
DE102019211102A1 (de) * 2019-07-25 2021-01-28 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Auswerten von Ampelinformationen über eine Ampelanlage
CN110688992B (zh) * 2019-12-09 2020-08-04 中智行科技有限公司 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949593A (zh) * 2019-03-13 2019-06-28 北京联合大学 一种基于路口先验知识的交通信号灯识别方法及***
CN111292531A (zh) * 2020-02-06 2020-06-16 北京百度网讯科技有限公司 交通信号灯的跟踪方法、装置、设备及存储介质
CN111582189A (zh) * 2020-05-11 2020-08-25 腾讯科技（深圳）有限公司 交通信号灯识别方法、装置、车载控制终端及机动车

Also Published As

Publication number Publication date
CN115249407A (zh) 2022-10-28
WO2022247299A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
US11094198B2 (en) Lane determination method, device and storage medium
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
WO2021155685A1 (zh) 一种更新地图的方法、装置和设备
CN115507862A (zh) 车道线定位方法及装置、电子设备及存储介质
CN115249407B (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN109800684A (zh) 一种视频中对象的确定方法及装置
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN115792945A (zh) 一种浮空障碍物检测方法、装置和电子设备、存储介质
CN113111872B (zh) 图像识别模型的训练方法、装置及电子设备、存储介质
CN112597924B (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器
CN113469045B (zh) 无人集卡的视觉定位方法、***、电子设备和存储介质
CN111857113B (zh) 可移动设备的定位方法及定位装置
CN112706159B (zh) 机器人控制方法、装置及机器人
CN109740518B (zh) 一种视频中对象的确定方法及装置
CN112799387B (zh) 机器人控制方法、装置及机器人
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle
CN116434041B (zh) 错误感知数据的挖掘方法、装置、设备及自动驾驶车辆
CN116503695B (zh) 目标检测模型的训练方法、目标检测方法及设备
CN115128655B (zh) 自动驾驶车辆的定位方法和装置、电子设备和存储介质
CN114283401A (zh) 障碍物识别方法和装置以及驾驶方法和装置
CN113808208A (zh) 功能安全的列车定位方法、***、电子设备及存储介质
CN118072280A (zh) 交通灯的变更检测方法、装置、电子设备及自动驾驶车辆
CN115164924A (zh) 基于视觉ai的融合定位方法、***、设备及存储介质
CN116824574A (zh) 目标检测方法、装置、设备和计算机可读存储介质
CN117854022A (zh) 车道线检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant