CN116052119A - 交通灯检测方法、装置及电子设备、计算机可读存储介质 - Google Patents

交通灯检测方法、装置及电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN116052119A
CN116052119A CN202310023740.6A CN202310023740A CN116052119A CN 116052119 A CN116052119 A CN 116052119A CN 202310023740 A CN202310023740 A CN 202310023740A CN 116052119 A CN116052119 A CN 116052119A
Authority
CN
China
Prior art keywords
lane
traffic light
vehicle
stop line
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310023740.6A
Other languages
English (en)
Inventor
张上鑫
万如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202310023740.6A priority Critical patent/CN116052119A/zh
Publication of CN116052119A publication Critical patent/CN116052119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种交通灯检测方法、装置及电子设备、计算机可读存储介质，该方法由路端执行，该方法包括：获取当前路段的第一道路图像并进行车辆检测；获取第一道路图像的车道信息，并根据第一道路图像的车道信息及第一道路图像的车辆检测结果确定各个车道的车辆检测结果；根据各个车道的车辆检测结果及第一道路图像中的停止线区域，确定各个车道的车辆在停止线区域的行驶状态；根据各个车道的车辆在停止线区域的行驶状态确定各个车道的交通灯检测结果。本申请从路端视角分析车辆在停止线区域的行驶状态，以此确定出车道级别的交通灯检测结果，不受路***通灯形式的影响，降低了对于路端算力的要求，易于实现，且不易受到光照变化的影响。

Description

交通灯检测方法、装置及电子设备、计算机可读存储介质
技术领域
本申请涉及交通灯检测技术领域，尤其涉及一种交通灯检测方法、装置及电子设备、计算机可读存储介质。
背景技术
无论是在人类司机驾驶的场景还是在自动驾驶场景，交通灯检测都十分重要。交通灯检测主要包括交通灯灯色的识别以及每种灯色对应的倒计时时长的识别，识别出的倒计时显示在仪表盘或者中控屏幕是一种能起到提醒又智能的方式，能够让司机或者自动驾驶车辆有足够时间做起步的准备或者提前变道等决策。
现有的检测交通灯灯色和倒计时的方案例如有通过图像检测路口显示的交通灯灯色和对应的倒计时，或者从地图中获取路口固定的交通灯显示时长并结合当前检测的结果加以判断。
然而，并不是每个路口都会有倒计时的显示，交通灯各个灯色的显示时间也不是固定不变，即使来到了路口也要等交通灯切换的瞬间开始计时，且交通灯灯色的识别也易受到环境光照的影响，导致现有的交通灯检测方案存在一定局限。
发明内容
本申请实施例提供了一种交通灯检测方法、装置及电子设备、计算机可读存储介质，以实现车道级别的交通灯检测。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种交通灯检测方法，所述方法由路端执行，其中，所述方法包括：
获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果；
获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；
根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态；
根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
可选地，所述获取所述第一道路图像的车道信息包括：
确定当前路段是否存在对应的高精地图数据；
若存在，则根据所述高精地图数据确定所述第一道路图像的车道信息；
若不存在，则对所述第一道路图像进行车道线检测，并根据车道线检测结果确定所述第一道路图像的车道信息。
可选地，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：
根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间；
根据各个车道的通行状态以及所述通行状态对应的持续时间确定各个车道的交通灯检测结果。
可选地，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间包括：
若在当前车道对应的停止线区域出现驶出停止线区域的第一车辆，则确定所述当前车道对应的通行状态为可通行状态并开始计时；
若在所述当前车道对应的停止线区域出现停止在停止线区域的第二车辆，则结束计时并确定所述当前车道对应的可通行状态的持续时间；
其中，所述当前车道为各个车道中的任意一个。
可选地，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间包括：
若在当前车道对应的停止线区域出现停止在停止线区域的第三车辆，则确定所述当前车道对应的通行状态为不可通行状态并开始计时；
若检测到所述第三车辆在所述当前车道对应的停止线区域的行驶状态为驶出停止线区域，则结束计时并确定所述当前车道对应的不可通行状态的持续时间；
其中，所述当前车道为各个车道中的任意一个。
可选地，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：
根据预设时间段内的各个车道的车辆在所述停止线区域的行驶状态确定各个车道的多个交通灯检测结果；
利用预设统计分析算法分别对各个车道的多个交通灯检测结果进行统计分析，得到各个车道的最终交通灯检测结果。
可选地，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：
对所述第一道路图像进行交通灯灯色识别，得到所述第一道路图像的交通灯灯色识别结果；
获取当前路段的车道与交通灯的对应关系，并根据所述当前路段的车道与交通灯的对应关系以及所述第一道路图像的交通灯灯色识别结果，确定各个车道对应的交通灯灯色识别结果；
根据各个车道对应的交通灯灯色识别结果以及各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
可选地，所述获取当前路段的车道与交通灯的对应关系包括：
确定当前路段是否存在对应的高精地图数据；
若存在，则根据所述高精地图数据确定所述当前路段的车道与交通灯的对应关系；
若不存在，则获取当前路段的第二道路图像进行交通灯灯色识别和车道线检测，并根据第二道路图像的交通灯灯色识别结果和车道线检测结果以及各个车道的车辆在停止线区域的行驶状态确定当前路段的车道与交通灯的对应关系。
第二方面，本申请实施例还提供一种交通灯检测装置，所述装置应用于路端，其中，所述装置包括：
检测单元，用于获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果；
第一确定单元，用于获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；
第二确定单元，用于根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态；
第三确定单元，用于根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
第三方面，本申请实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的交通灯检测方法由路端执行，先获取当前路段的第一道路图像并对第一道路图像进行车辆检测，得到第一道路图像的车辆检测结果；然后获取第一道路图像的车道信息，并根据第一道路图像的车道信息以及第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；之后根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在停止线区域的行驶状态；最后根据各个车道的车辆在停止线区域的行驶状态确定各个车道的交通灯检测结果。本申请实施例的交通灯检测方法能够从路端视角分析车辆在停止线区域的行驶状态，并以此确定出车道级别的交通灯检测结果，不受路***通灯形式的影响，相比于基于图像检测识别交通灯灯色的方案来说，大大降低了对于路端算力的要求，易于实现，且不易受到光照变化的影响。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种交通灯检测方法的流程示意图；
图2为本申请实施例中一种交通灯检测装置的结构示意图；
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种交通灯检测方法，所述方法由路端执行，如图1所示，提供了本申请实施例中一种交通灯检测方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：
步骤S110，获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果。
本申请实施例的交通灯检测方法由路端来执行，先获取路侧相机采集的对应视野范围的第一道路图像，然后利用一定的目标检测算法对第一道路图像中的车辆目标进行检测，得到车辆检测框的位置等信息。上述目标检测算法可以基于现有的卷积神经网络如YOLO系列的网络训练得到，具体如何进行车辆目标检测，本领域技术人员可以结合现有技术灵活选择，在此不作具体限定。
步骤S120，获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果。
本申请实施例的交通灯检测方法最终要实现车道级别的交通灯检测，因此这里还需要获取第一道路图像中包含的车道信息，例如有几条车道以及各个车道的位置等，由于前述步骤得到的是整个道路图像中的所有车辆目标的检测结果，因此将这些车辆目标的检测框位置与第一道路图像中对应的所有车道信息进行匹配，即可确定出哪些车辆位于哪些车道上，进而也就得到了车道级别的车辆检测结果。
步骤S130，根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态。
由于道路中的停止线区域的车流情况能够反映出交通灯的具体状态对于车辆行驶的影响，因此本申请实施例还需要确定出道路图像中的停止线区域，如果该路段有对应的高精地图数据，那么可以从高精地图数据中获取停止线区域的位置，如果没有高精地图数据，也可以通过事先训练好的停止线标识检测模型对道路图像中的停止线进行检测得到。
基于前述确定出的停止线区域的位置，结合车道级别的车辆检测结果即可确定出各个车道的车辆在停止线区域的行驶状态，例如是驶出停止线区域，还是停止在停止线区域以内。
步骤S140，根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
各个车道的车辆在停止线区域的行驶状态能够反映出车辆当前在其所在车道对应的停止线位置是处于驶出停止线区域的状态，还是处于停止在停止线区域的状态，如果是驶出停止线区域的状态，那说明当前该车道是可通行的，那么该车道对应的交通灯灯色就可能是绿灯或黄灯，反之如果是停止在停止线区域的状态，那么说明当前该车道是不可通行的，那么该车道对应的交通灯灯色就应该是红灯，通过对各个车道的车辆行驶状态进行持续检测和分析，即可确定出各个车道对应的交通灯灯色的持续时间，也即得到了车道级别的交通灯检测结果，从而可以为后续即将到达该路口的车辆提供车道级别的交通灯先验信息。
本申请实施例的交通灯检测方法能够从路端视角分析车辆在停止线区域的行驶状态，并以此确定出车道级别的交通灯检测结果，不受路***通灯形式的影响，相比于基于图像检测识别交通灯灯色的方案来说，大大降低了对于路端算力的要求，易于实现，且不易受到光照变化的影响。
在本申请的一些实施例中，所述获取所述第一道路图像的车道信息包括：确定当前路段是否存在对应的高精地图数据；若存在，则根据所述高精地图数据确定所述第一道路图像的车道信息；若不存在，则对所述第一道路图像进行车道线检测，并根据车道线检测结果确定所述第一道路图像的车道信息。
在获取第一道路图像中的车道信息时，可以先判断当前路段是否有对应的高精地图数据，高精地图数据中不仅有高精度的坐标，同时还有准确的道路形状，并且每个车道的坡度、曲率、航向、高程，侧倾的数据也都包含在内；另外，每条车道上的标识类型、车道线的颜色、道路的隔离带、道路上的指示牌上的箭头和文字都会在高精地图中呈现。因此，如果存在高精地图数据，则可以直接基于当前路端相机的位置从高精地图数据中获取到该路段对应的车道信息。
如果没有高精地图数据，则可以通过车道线检测的方式，得到第一道路图像中的车道信息，例如可以基于事先训练好的车道线检测模型如LaneNet模型、基于霍夫变换的车道线检测或者基于关键点的车道线检测等方式来实现。当然，具体如何进行车道线检测，本领域技术人员可以根据实际需求灵活选择，在此不作具体限定。
在本申请的一些实施例中，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间；根据各个车道的通行状态以及所述通行状态对应的持续时间确定各个车道的交通灯检测结果。
车辆在停止线区域的行驶状态的不同可以反映出对应车道通行状态的不同，例如车辆在停止线区域的行驶状态为驶出停止线区域的状态，那么说明对应车道的当前的通行状态为可通行状态，而如果车辆在停止线区域的行驶状态为停止在停止线区域的状态，那么说明对应车道的当前的通行状态为不可通行状态。
此外，通过对各个车道中的车辆的行驶状态持续进行检测，还可以进一步确定出各个车道在不同的通行状态下的持续时间，进而可以将各个车道的通行状态和对应的持续时间作为各个车道的交通灯检测结果。
在本申请的一些实施例中，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间包括：若在当前车道对应的停止线区域出现驶出停止线区域的第一车辆，则确定所述当前车道对应的通行状态为可通行状态并开始计时；若在所述当前车道对应的停止线区域出现停止在停止线区域的第二车辆，则结束计时并确定所述当前车道对应的可通行状态的持续时间；其中，所述当前车道为各个车道中的任意一个。
如果当前车道对应的停止线区域检测到刚驶出停止线区域的第一车辆，说明当前车道对应的交通灯可能是绿灯亮起或者黄灯亮起的情况，也即车辆可以通行的状态，此时开始计时，并持续对当前车道的车辆行驶状态进行检测，当在当前车道对应的停止线区域检测到刚刚停止在停止线区域的第二车辆，说明当前车道对应的交通灯应该是红灯亮起的情况，也即车辆不可通行的状态，此时结束计时，从开始计时到结束计时这段时间即可看作是绿灯亮起和黄灯亮起的累计时长，即可通行状态的累计时长。
需要说明的是，第一车辆是指在第一个检测周期内第一个驶出停止线区域的车辆，第二车辆是指在第一个检测周期内第一个停止在停止线区域的车辆，也就是说，无论是第一车辆还是第二车辆均是指发生相应动作时的第一个车辆。
在本申请的一些实施例中，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间包括：若在当前车道对应的停止线区域出现停止在停止线区域的第三车辆，则确定所述当前车道对应的通行状态为不可通行状态并开始计时；若检测到所述第三车辆在所述当前车道对应的停止线区域的行驶状态为驶出停止线区域，则结束计时并确定所述当前车道对应的不可通行状态的持续时间；其中，所述当前车道为各个车道中的任意一个。
与前述实施例相对应，如果当前车道对应的停止线区域检测到刚停止在停止线区域的第三车辆，说明当前车道对应的交通灯应该是红灯亮起的情况，也即车辆不可通行的状态，此时可以开始计时，并持续对当前车道的车辆行驶状态进行检测，当检测到第三车辆刚刚驶出停止线区域时，说明当前车道对应的交通灯应该是绿灯亮起的情况，也即车辆可以通行的状态，此时结束计时，从开始计时到结束计时这段时间即可看作是红灯亮起的累计时长，也即不可通行状态的累计时长。
需要说明的是，第三车辆是指在第二个检测周期内第一个停止在停止线区域的车辆，如果是连续检测的情况，这里的第三车辆可以和前述实施例的第二车辆看作同一车辆。
此外，还需要说明的是，由于本申请不需要依靠图像检测的方式来进行交通灯灯色的识别，因此这里对于交通灯的检测主要区分的是可通行状态和不可通行状态，也即将红灯状态与绿灯状态和黄灯状态进行区分，而对于绿灯状态和黄灯状态可以不进行具体区分，因为这些信息对于车辆提前确定路口的通行情况也是足够的，且由于不需要灯色识别，对于路端的算力要求不高。另外，此种方式不受交通灯类型的限制，无论是圆形灯还是箭头灯，还是无倒计时的交通灯场景都可以应用本申请实施例的交通灯检测方案。
在本申请的一些实施例中，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：根据预设时间段内的各个车道的车辆在所述停止线区域的行驶状态确定各个车道的多个交通灯检测结果；利用预设统计分析算法分别对各个车道的多个交通灯检测结果进行统计分析，得到各个车道的最终交通灯检测结果。
由于前述实施例中车辆在停止线区域做出的行驶行为的时间并不一定是严格对应到交通灯灯色切换的瞬间，因此单次检测结果可能会存在一定偏差，但本申请基于路侧相机位置固定的特点，可以对该路口的车辆的行驶状态进行持续检测，通过大量数据积累即可得到更加稳定、更加准确的车道级交通灯检测结果。
各个车道对应的交通灯检测结果主要包括各个车道在可通行状态和不可通行状态的持续时间，在对各个车道对应的多个交通灯检测结果进行处理时，可以采用一定的统计分析算法进行统计分析，例如各个车道对应的多个交通灯检测结果可以表示为如下表1的形式：
表1
Figure BDA0004043631900000111
从上表1中可以确定出各个车道的各个可通行状态和不可通行状态的持续时间出现的次数，在采用一定的统计分析算法进行汇总分析时，可以将出现次数最多的可通行状态和不可通行状态的持续时间作为该车道对应的最终的交通灯检测结果，例如如果可通行状态65s以及不可通行状态60s出现次数最多，则将其作为该车道的交通灯检测结果。
在有了各个车道的交通灯检测结果之后，就可以基于各个车道的可通行状态和不可通行状态的持续时间通过倒计时的方式为后续即将到达该路口的车辆提前提供各个车道或者对应车道的交通灯信息，以便车辆能够提前决策。
在本申请的一些实施例中，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：对所述第一道路图像进行交通灯灯色识别，得到所述第一道路图像的交通灯灯色识别结果；获取当前路段的车道与交通灯的对应关系，并根据所述当前路段的车道与交通灯的对应关系以及所述第一道路图像的交通灯灯色识别结果，确定各个车道对应的交通灯灯色识别结果；根据各个车道对应的交通灯灯色识别结果以及各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
前述实施例中主要基于车道级别的车辆行驶状态来确定车道级别的交通灯信息，当然，本申请实施例也可以结合灯色识别方案的识别结果来进一步提高交通灯检测的准确性。例如可以采用像素差分和的方式对相邻两帧图像进行像素差分和处理，如果图像中的灯色未发生变化，那么像素差分和的数值会接近于或者等于0，而如果图像中的灯色发生变化，那么像素差分和的数值会明显大于0，因此通过像素差分和的大小可以确定出灯色切换的时间节点，然后在对灯色切换前后相邻的两帧图像中的交通灯区域进行灯色识别，即可确定出切换前的灯色和切换后的灯色，当发生灯色切换时开始计时，当再次发生灯色切换时，结束计时，以此类推，即可计算出各个灯色的显示时长，最后再结合事先确定好的车道与交通灯的对应关系即可确定出各个车道对应的各个灯色的显示时长。
对于图像中交通灯区域的确定，如果有高精地图数据，可以直接根据高精地图与路侧相机图像的标定关系，确定出交通灯在道路图像中的具体区域。如果没有高精地图数据，可以先对朝向路口的图像进行全图检测，并通过多帧检测结果融合来验证交通灯区域位置的正确性和稳定性。有了交通灯区域的位置，后续可以直接从道路图像中裁剪该区域进行交通灯灯色的识别。
由于灯色识别易受到环境光照和识别算法精度的影响，因此本申请实施例可以结合各个车道的车辆行驶状态和灯色识别结果来综合确定最终的车道级别的交通灯检测结果，通过相互验证提高交通灯检测结果的准确性。
在本申请的一些实施例中，所述获取当前路段的车道与交通灯的对应关系包括：确定当前路段是否存在对应的高精地图数据；若存在，则根据所述高精地图数据确定所述当前路段的车道与交通灯的对应关系；若不存在，则获取当前路段的第二道路图像进行交通灯灯色识别和车道线检测，并根据第二道路图像的交通灯灯色识别结果和车道线检测结果以及各个车道的车辆在停止线区域的行驶状态确定当前路段的车道与交通灯的对应关系。
在获取车道与交通灯的对应关系时，可以先确定当前路段是否有高精地图数据，如果有，则可以直接从高精地图数据中得到各个车道与各个交通灯的对应关系，如果没有，则针对任一车道，可以根据交通灯灯色识别结果结合车道内车辆的行驶状态来判断该车道的车辆受哪个交通灯约束，例如，如果车辆的行驶状态为停止在停止线区域以内，那么该车道对应的交通灯就是当前红灯亮起的交通灯，或者如果车辆的行驶状态为驶出停止线区域，且检测到此时有交通灯由红灯变为绿灯，那么该车道对应的交通灯就是当前绿灯亮起的交通灯，基于此即可确定出车道与交通灯的对应关系。
此外，有些路口的交通灯为箭头灯，因此可以进一步通过对交通灯区域的箭头标识进行识别并与各个车道的行驶方向进行匹配，从而确定出车道与交通灯的对应关系。对于车道行驶方向的判断，一方面可以对道路中各个车道的箭头标识进行识别来确定，另一方面也可以对各个车道的车辆行驶轨迹进行跟踪检测来确定。
本申请实施例还提供了一种交通灯检测装置200，所述装置200应用于路端，如图2所示，提供了本申请实施例中一种交通灯检测装置的结构示意图，所述装置200包括：检测单元210、第一确定单元220、第二确定单元230以及第三确定单元240，其中：
检测单元210，用于获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果；
第一确定单元220，用于获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；
第二确定单元230，用于根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态；
第三确定单元240，用于根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
在本申请的一些实施例中，所述第一确定单元220具体用于：确定当前路段是否存在对应的高精地图数据；若存在，则根据所述高精地图数据确定所述第一道路图像的车道信息；若不存在，则对所述第一道路图像进行车道线检测，并根据车道线检测结果确定所述第一道路图像的车道信息。
在本申请的一些实施例中，所述第一确定单元220具体用于：根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间；根据各个车道的通行状态以及所述通行状态对应的持续时间确定各个车道的交通灯检测结果。
在本申请的一些实施例中，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述第一确定单元220具体用于：若在当前车道对应的停止线区域出现驶出停止线区域的第一车辆，则确定所述当前车道对应的通行状态为可通行状态并开始计时；若在所述当前车道对应的停止线区域出现停止在停止线区域的第二车辆，则结束计时并确定所述当前车道对应的可通行状态的持续时间；其中，所述当前车道为各个车道中的任意一个。
在本申请的一些实施例中，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述第一确定单元220具体用于：若在当前车道对应的停止线区域出现停止在停止线区域的第三车辆，则确定所述当前车道对应的通行状态为不可通行状态并开始计时；若检测到所述第三车辆在所述当前车道对应的停止线区域的行驶状态为驶出停止线区域，则结束计时并确定所述当前车道对应的不可通行状态的持续时间；其中，所述当前车道为各个车道中的任意一个。
在本申请的一些实施例中，所述第三确定单元240具体用于：根据预设时间段内的各个车道的车辆在所述停止线区域的行驶状态确定各个车道的多个交通灯检测结果；利用预设统计分析算法分别对各个车道的多个交通灯检测结果进行统计分析，得到各个车道的最终交通灯检测结果。
在本申请的一些实施例中，所述第三确定单元240具体用于：对所述第一道路图像进行交通灯灯色识别，得到所述第一道路图像的交通灯灯色识别结果；获取当前路段的车道与交通灯的对应关系，并根据所述当前路段的车道与交通灯的对应关系以及所述第一道路图像的交通灯灯色识别结果，确定各个车道对应的交通灯灯色识别结果；根据各个车道对应的交通灯灯色识别结果以及各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
在本申请的一些实施例中，所述第三确定单元240具体用于：确定当前路段是否存在对应的高精地图数据；若存在，则根据所述高精地图数据确定所述当前路段的车道与交通灯的对应关系；若不存在，则获取当前路段的第二道路图像进行交通灯灯色识别和车道线检测，并根据第二道路图像的交通灯灯色识别结果和车道线检测结果以及各个车道的车辆在停止线区域的行驶状态确定当前路段的车道与交通灯的对应关系。
能够理解，上述交通灯检测装置，能够实现前述实施例中提供的交通灯检测方法的各个步骤，关于交通灯检测方法的相关阐释均适用于交通灯检测装置，此处不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成交通灯检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果；
获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；
根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态；
根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
上述如本申请图1所示实施例揭示的交通灯检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中交通灯检测装置执行的方法，并实现交通灯检测装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中交通灯检测装置执行的方法，并具体用于执行：
获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果；
获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；
根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态；
根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种交通灯检测方法，所述方法由路端执行，其中，所述方法包括：
获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果；
获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；
根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态；
根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
2.如权利要求1所述方法，其中，所述获取所述第一道路图像的车道信息包括：
确定当前路段是否存在对应的高精地图数据；
若存在，则根据所述高精地图数据确定所述第一道路图像的车道信息；
若不存在，则对所述第一道路图像进行车道线检测，并根据车道线检测结果确定所述第一道路图像的车道信息。
3.如权利要求1所述方法，其中，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：
根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间；
根据各个车道的通行状态以及所述通行状态对应的持续时间确定各个车道的交通灯检测结果。
4.如权利要求3所述方法，其中，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间包括：
若在当前车道对应的停止线区域出现驶出停止线区域的第一车辆，则确定所述当前车道对应的通行状态为可通行状态并开始计时；
若在所述当前车道对应的停止线区域出现停止在停止线区域的第二车辆，则结束计时并确定所述当前车道对应的可通行状态的持续时间；
其中，所述当前车道为各个车道中的任意一个。
5.如权利要求3所述方法，其中，所述行驶状态包括驶出停止线区域和停止在停止线区域，所述通行状态包括可通行状态和不可通行状态，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的通行状态以及所述通行状态对应的持续时间包括：
若在当前车道对应的停止线区域出现停止在停止线区域的第三车辆，则确定所述当前车道对应的通行状态为不可通行状态并开始计时；
若检测到所述第三车辆在所述当前车道对应的停止线区域的行驶状态为驶出停止线区域，则结束计时并确定所述当前车道对应的不可通行状态的持续时间；
其中，所述当前车道为各个车道中的任意一个。
6.如权利要求1所述方法，其中，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：
根据预设时间段内的各个车道的车辆在所述停止线区域的行驶状态确定各个车道的多个交通灯检测结果；
利用预设统计分析算法分别对各个车道的多个交通灯检测结果进行统计分析，得到各个车道的最终交通灯检测结果。
7.如权利要求1所述方法，其中，所述根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果包括：
对所述第一道路图像进行交通灯灯色识别，得到所述第一道路图像的交通灯灯色识别结果；
获取当前路段的车道与交通灯的对应关系，并根据所述当前路段的车道与交通灯的对应关系以及所述第一道路图像的交通灯灯色识别结果，确定各个车道对应的交通灯灯色识别结果；
根据各个车道对应的交通灯灯色识别结果以及各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
8.如权利要求7所述方法，其中，所述获取当前路段的车道与交通灯的对应关系包括：
确定当前路段是否存在对应的高精地图数据；
若存在，则根据所述高精地图数据确定所述当前路段的车道与交通灯的对应关系；
若不存在，则获取当前路段的第二道路图像进行交通灯灯色识别和车道线检测，并根据第二道路图像的交通灯灯色识别结果和车道线检测结果以及各个车道的车辆在停止线区域的行驶状态确定当前路段的车道与交通灯的对应关系。
9.一种交通灯检测装置，所述装置应用于路端，其中，所述装置包括：
检测单元，用于获取当前路段的第一道路图像并对所述第一道路图像进行车辆检测，得到所述第一道路图像的车辆检测结果；
第一确定单元，用于获取所述第一道路图像的车道信息，并根据所述第一道路图像的车道信息以及所述第一道路图像的车辆检测结果，确定各个车道的车辆检测结果；
第二确定单元，用于根据各个车道的车辆检测结果以及第一道路图像中的停止线区域，确定各个车道的车辆在所述停止线区域的行驶状态；
第三确定单元，用于根据各个车道的车辆在所述停止线区域的行驶状态确定各个车道的交通灯检测结果。
10.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～8之任一所述方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～8之任一所述方法。
CN202310023740.6A 2023-01-09 2023-01-09 交通灯检测方法、装置及电子设备、计算机可读存储介质 Pending CN116052119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310023740.6A CN116052119A (zh) 2023-01-09 2023-01-09 交通灯检测方法、装置及电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310023740.6A CN116052119A (zh) 2023-01-09 2023-01-09 交通灯检测方法、装置及电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116052119A true CN116052119A (zh) 2023-05-02

Family

ID=86121506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310023740.6A Pending CN116052119A (zh) 2023-01-09 2023-01-09 交通灯检测方法、装置及电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116052119A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152718A (zh) * 2023-10-31 2023-12-01 广州小鹏自动驾驶科技有限公司 交通灯响应方法、装置、车辆及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152718A (zh) * 2023-10-31 2023-12-01 广州小鹏自动驾驶科技有限公司 交通灯响应方法、装置、车辆及计算机可读存储介质
CN117152718B (zh) * 2023-10-31 2024-03-15 广州小鹏自动驾驶科技有限公司 交通灯响应方法、装置、车辆及计算机可读存储介质

Similar Documents

Publication Publication Date Title
WO2021073267A1 (zh) 基于图像识别的行人闯红灯检测方法、装置及相关设备
CN110335484B (zh) 控制车辆行驶的方法及装置
CN114179836B (zh) 自动驾驶模式推送方法、装置、汽车及介质
US20190180132A1 (en) Method and Apparatus For License Plate Recognition Using Multiple Fields of View
CN113256989B (zh) 行车警示方法、装置、车载终端和存储介质
CN116052119A (zh) 交通灯检测方法、装置及电子设备、计算机可读存储介质
CN113804214B (zh) 车辆定位方法、装置及电子设备、计算机可读存储介质
CN114782924B (zh) 用于自动驾驶的交通灯检测方法、装置及电子设备
CN114333344A (zh) 机动车违章抓拍方法、装置及电子设备
CN116564133A (zh) 潮汐车道的车辆预警方法、装置及电子设备
CN116872957A (zh) 智能驾驶车辆的预警方法、装置及电子设备、存储介质
CN113853049A (zh) 机器人辅助灯光控制方法、机器人及***
CN113989772A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质
CN111688714B (zh) 车辆控制方法、装置及自动驾驶车辆
CN112528944A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN116010542A (zh) 高精地图安全岛生成方法、装置和存储介质
CN112489466B (zh) 交通信号灯识别方法和装置
CN115063764A (zh) 交通信号灯的状态估计方法、装置及电子设备
CN113111872A (zh) 图像识别模型的训练方法、装置及电子设备、存储介质
CN113822261A (zh) 交通信号灯的检测方法、装置及电子设备、存储介质
CN113989774A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质
CN113994391A (zh) 车辆通行提醒方法、装置及车载终端
CN115424220A (zh) 交通灯图像标注方法和装置、电子设备和存储介质
CN115841757A (zh) 数据处理方法、装置及电子设备、存储介质
CN115731523A (zh) 车辆定位方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination