CN113723229A - 信号灯的检测方法、装置及计算机可读存储介质 - Google Patents

信号灯的检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113723229A
CN113723229A CN202110939496.9A CN202110939496A CN113723229A CN 113723229 A CN113723229 A CN 113723229A CN 202110939496 A CN202110939496 A CN 202110939496A CN 113723229 A CN113723229 A CN 113723229A
Authority
CN
China
Prior art keywords
state
image
signal lamp
target signal
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110939496.9A
Other languages
English (en)
Inventor
郑少龙
王廷鸟
刘晓沐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110939496.9A priority Critical patent/CN113723229A/zh
Publication of CN113723229A publication Critical patent/CN113723229A/zh
Priority to PCT/CN2022/108821 priority patent/WO2023020251A1/en
Priority to EP22857563.5A priority patent/EP4232939A4/en
Priority to US18/452,532 priority patent/US20230394829A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种信号灯的检测方法、装置及计算机可读存储介质，该信号灯的检测方法包括：获取待检测图像，以及时序上在待检测图像之前的历史图像，待检测图像、历史图像均包括目标信号灯；识别待检测图像，得到目标信号灯在待检测图像中的第一状态；基于历史图像以及待检测图像，识别目标信号灯从历史图像到待检测图像的状态变化结果；基于目标信号灯对应的信号灯逻辑区域在历史图像中呈现的历史状态，以及状态变化结果，预测目标信号灯在待检测图像中的第二状态；基于第一状态以及第二状态，得到目标信号灯在待检测图像中的当前状态。本申请的检测方法能够提高信号灯检测的准确率。

Description

信号灯的检测方法、装置及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种信号灯的检测方法、装置及计算机可读存储介质。
背景技术
在智能交通电警场景中，信号灯的检测技术对于规范车辆行为至关重要，但现有的摄像机为了同时辨别车辆类型、车辆颜色、车牌号码、车内人脸等信息，视频流和抓拍图像需要长的曝光时间，从而导致信号灯的检测准确率不高，容易产生误检。
发明内容
本申请提供一种信号灯的检测方法、装置及计算机可读存储介质，能够提高信号灯检测的准确率。
本申请实施例第一方面提供一种信号灯的检测方法，所述方法包括：获取待检测图像，以及时序上在所述待检测图像之前的历史图像，所述待检测图像、所述历史图像均包括目标信号灯；识别所述待检测图像，得到目标信号灯在所述待检测图像中的第一状态；基于所述历史图像以及所述待检测图像，识别所述目标信号灯从所述历史图像到所述待检测图像的状态变化结果；基于所述目标信号灯对应的信号灯逻辑区域在所述历史图像中呈现的历史状态，以及所述状态变化结果，预测所述目标信号灯在所述待检测图像中的第二状态；基于所述第一状态以及所述第二状态，得到所述目标信号灯在所述待检测图像中的当前状态。
本申请实施例第二方面提供一种信号灯的检测装置，所述信号灯的检测装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。
本申请实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。
有益效果是：本申请首先基于空间、颜色等信息得到第一状态，以及基于时域信息得到第二状态，即第一状态、第二状态是从不同角度得到的状态信息，然后基于第一状态以及第二状态，得到目标信号灯在待检测图像中的当前状态，相比仅依赖于第一状态，能够降低误检，提高检测准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请信号灯的检测方法一实施方式的流程示意图；
图2是一应用场景中对应图1检测方法的框架示意图；
图3是本申请信号灯的检测方法另一实施方式的流程示意图；
图4是图1中步骤S150在一应用场景中的流程示意图；
图5是本申请信号灯的检测装置一实施方式的结构示意图；
图6是本申请信号灯的检测装置另一实施方式的结构示意图；
图7是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请信号灯的检测方法一实施方式的流程示意图，该方法包括：
S110：获取待检测图像，以及时序上在待检测图像之前的历史图像，待检测图像、历史图像均包括目标信号灯。
具体地，历史图像的拍摄时间在前，待检测图像的拍摄时间在后，但两者均包括目标信号灯。
在一应用场景中，历史图像、待检测图像属于同一视频流中的图像数据，此时历史图像可以是待检测图像的前一帧图像，也可以是与待检测图像间隔若干帧的图像，例如，历史图像与待检测图像之间间隔一帧、两帧或者四帧等。其中为了便于说明，以下均以历史图像为待检测图像的前一帧图像进行说明。
其中，目标信号灯从历史图像到待检测图像，其状态最多只变化了一次。
其中，本申请的目标信号灯发出单色光，或者在不同时刻发出不同颜色的光，例如，目标信号灯只能发出红光、绿光或者黄光，或者，目标信号灯可以进行红光、绿光以及黄光三种颜色的转换。
可以理解的是，当目标信号灯只能发出单色光时，其需要与其他信号灯配合完成一个完整的信号灯逻辑(完整的信号灯逻辑为：红灯切绿灯，绿灯切黄灯)。而当目标信号灯可以进行红光、绿光以及黄光的转换时，一个目标信号灯就可以实现一个完整的信号灯逻辑。
其中，待检测图像和历史图像中目标信号灯的数量可以是一个，也可以是两个以上，当目标信号灯的数量为两个以上时，针对不同的目标信号灯，分别执行后续的步骤，可以得到对应目标信号灯在待检测图像中的当前状态。
S120：识别待检测图像，得到目标信号灯在待检测图像中的第一状态。
具体地，对待检测图像进行识别，得到目标信号灯在待检测图像中的第一状态。
其中，由于是直接对待检测图像进行识别而得到第一状态，因此第一状态是利用待检测图像的颜色、空间等信息得到的。
在一应用场景中，结合图2，为了提高识别的效率以及准确率，步骤S120识别待检测图像的步骤，包括：将待检测图像送入预先训练好的状态模型进行识别，得到目标信号灯在待检测图像中的第一状态。其中，关于状态模型的具体结构在下文介绍。
S130：基于历史图像以及待检测图像，识别目标信号灯从历史图像到待检测图像的状态变化结果。
具体地，将历史图像以及待检测图像进行比较，可以得到目标信号灯从历史图像到待检测图像的状态变化结果。
可以理解的是，状态变化结果为目标信号灯从历史图像的拍摄时刻到待检测图像的拍摄时刻的状态变化结果。
其中，由于目标信号灯发出单色光，或者在不同时刻发出不同颜色的光，因此状态变化结果可能是从不亮到亮、颜色发生变化、颜色未发生变化或者从亮到熄灭等。
其中，由于状态变化结果是基于历史图像以及待检测图像得到的，因此状态变化结果是利用时域信息得到的。
在一应用场景中，继续结合图2，为了提高识别的效率以及准确率，步骤S130识别状态变化结果的步骤，包括：将历史图像以及待检测图像送入预先训练好的转换模型进行识别，得到目标信号灯从历史图像到待检测图像的状态变化结果。
具体地，将历史图像以及待检测图像同时送入转换模型，得到目标信号灯的状态变化结果。在一应用场景中，将历史图像以及待检测图像进行通道合并后送入转换模型进行识别。
其中，状态模型和转换模型均为预先训练好的网络模型，其识别率很高，可以准确检测信号灯的位置、状态等信息，能够极大去除车灯、车身颜色、路灯等非信号灯区域干扰，不需要参考红绿颜色信息设置阈值参数、控制相机长短曝光时间、增装滤光片等，能够减少人工调试参数的工作量。
同时，状态模型和转换模型主要包括多个卷积层、激活层、池化层、上采样层以及级联处理层等结构层。其中，卷积层层、激活层、池化层、上采样层以及级联处理层的处理过程与现有技术相同，在此不再赘述。
在一应用场景中，在将图像输入状态模型或者转换模型之前，需要进行颜色的转换，将图像从YUV数据转换为RGB数据。
在另一应用场景中，状态模型并不会直接输出第一状态，其是输出表征第一状态的多个特征数据，此时在状态模型输出特征数据后，还要对输出的特征数据进行后处理操作，例如，先筛选出置信度高的特征数据，然后采用非极大值抑制算法过滤重复或者接近的特征数据，根据最终得到的特征数据，得到准确的第一状态。
同样地，转换模型输出的特征数据也需要经过后处理操作，才能得到准确的状态变化结果。
其中，当待检测图像中目标信号灯的数量为两个以上时，为了提高检测效率，可以在待检测图像中设置感兴趣区域，一个感兴趣区域对应一个完整的信号灯逻辑区域(信号灯逻辑区域为：可以呈现完整的信号灯逻辑的区域)，例如，当目标信号灯只能发出单色光时，一个感兴趣区域包括分别发出红光、绿光以及黄光的目标信号灯，当目标信号灯能够发出红光、绿光以及黄光时，一个感兴趣区域可以只包括一个目标信号灯。同时，待检测图像中不同感兴趣区域之间不会发生交叉，以避免逻辑上的混乱。
其中，在确定感兴趣区域时，可以将感兴趣区域设置成大于对应的信号灯逻辑区域，可以避免因为相机抖动或者摇摆而造成感兴趣区域脱离信号灯逻辑区域，从而可以增强整个方法的稳定性能。
在确定好感兴趣区域后，通过聚类算法对感兴趣区域进行聚类处理，最终将感兴趣区域分为若干类别。在一应用场景中，在经过聚类处理后，距离小于距离阈值的两个感兴趣区域为同一类别，否则为不同类别；在另一应用场景中，在经过聚类处理后，在同一类别中，对于任意一个感兴趣区域而言，均存在与之距离小于距离阈值的感兴趣区域，在不同类别中，任意两个感兴趣区域之间的距离不小于距离阈值。
其中，可以计算两个感兴趣区域相同位置点之间的距离，将该距离确定为两个感兴趣区域之间的距离，例如，可以将两个感兴趣区域左上顶点之间的距离确定为两个感兴趣区域之间的距离。
在确定好感兴趣区域的类别后，对应每一个类别，设置一个检测框，该检测框框选对应类别的所有感兴趣区域。可以理解的是，检测框的个数与感兴趣区域的类别个数相同。在一应用场景中，设定各个检测框的大小相同。
需要说明的是，对应待检测图像中的检测框，历史图像中也存在对应的检测框。其中，此处两个检测框对应指的是，两个检测框包括同一个目标信号灯。其中，当待检测图像和历史图像的拍摄角度相同时，待检测图像和历史图像中检测框的位置、个数完全相同，此时只需要在待检测图像、历史图像中的一个先确定检测框的位置，然后将确定好的检测框应用到另一个即可。
在确定好检测框后，提取待检测图像和历史图像中各个检测框的图像，然后基于提取的图像进行目标识别，例如，将提取出的图像对应送入状态模型、转换模型进行目标识别。
也就是说，此时在一次识别过程中，可以同时进行多个目标信号灯的识别，从而可以提高检测效率。
同时由于一次可以进行多个目标信号灯的识别，因此最后识别的结果包括多个目标信号灯对应的结果，为了便于后续的处理，在识别结束后，还会识别结果分配到对应的感兴趣区域中。也就是说，在利用状态模型和转换模型进行目标识别时，最后还会将状态模型和转换模型输出的识别结果分配到对应的感兴趣区域中，以便后续的处理。
S140：基于目标信号灯对应的信号灯逻辑区域在历史图像中呈现的历史状态，以及状态变化结果，预测目标信号灯在待检测图像中的第二状态。
具体地，目标信号灯对应的信号灯逻辑区域指的是，目标信号灯所处的信号灯逻辑区域，其中，一个信号灯逻辑区域能够呈现红灯切绿灯，绿灯切黄灯的信号灯逻辑。
从上述分析可知，当目标信号灯只能发出单色光时，目标信号灯对应的信号灯逻辑区域除了包括目标信号灯外，还包括其他信号灯，当目标信号灯可以进行红光、绿光以及黄光的转换时，目标信号灯对应的信号灯逻辑区域可以只包括目标信号灯。
根据目标信号灯对应的信号灯逻辑区域在历史图像中呈现的历史状态，以及状态变化结果，可以预测目标信号灯在待检测图像中的第二状态。
例如，当状态变化结果为目标信号灯的颜色发生变化，且目标信号灯在历史图像中的历史状态为红灯时，可以预测目标信号灯在待检测图像中的第二状态为绿灯，或者，当状态变化结果为目标信号灯从不亮到亮，且目标信号灯对应的信号灯逻辑区域在历史图像中呈现的历史状态为存在黄灯时，可以预测目标信号灯在待检测图像中的第二状态为红灯。
S150：基于第一状态以及第二状态，得到目标信号灯在待检测图像中的当前状态。
具体地，第一状态是利用空间、颜色等信息得到的，而第二状态是利用时域信息得到的，两者均是目标信号灯在待检测图像中的当前状态的描述，且两者均存在出错的概率，因此融合第一状态以及第二状态，得到目标信号灯的当前状态，可以提高检测的准确率。
在现有技术中，一般会直接将第一状态确定为目标信号灯在待检测图像中的当前状态，但是由于在某些应用场景中，由于长的曝光时间，导致图像中红光和黄光容易混淆，因此现有技术中的做法误检率高，而本申请结合第一状态以及第二状态得到目标信号灯在待检测图像中的当前状态，且第一状态是利用空间、颜色等信息得到的，第二状态是利用时域信息得到的，两者是从不同角度得到的状态信息，并不会直接依赖于第一状态或者第二状态，能够降低误检，提高检测准确率。
同时本申请的方法不需要加装任何滤光片方案，一般的电警监控相机就可以使用，不会改变图像的整体亮度，也不会对图像的质量产生影响，能够减少硬件和人工调试的成本。
同时本申请的方法也不会受场景的限制，适用于任何应用场景。
可以理解的是，当对待检测图像的下一帧图像进行信号灯检测时，待检测图像将变为历史图像，此次检测出的目标信号灯的状态等信息对于下一帧图像来说，均会变成历史信息。
其中考虑到并不是所有的状态都容易发生误检，结合图3，在其他实施方式中，步骤S130识别状态变化结果之前，还包括：
S121：确定目标信号灯在待检测图像中的第一状态是否为预定状态。
若确定为预定状态，则执行步骤S130识别状态变化结果的步骤；否则进入步骤S122。
S122：基于第一状态，得到目标信号灯在待检测图像中的当前状态。
具体地，预定状态为容易发生误检的状态。若第一状态为预定状态，则后续基于第一状态和第二状态，得到目标信号灯在待检测图像中的当前状态，否则，直接根据第一状态得到目标信号灯的当前状态。
其中，直接根据第一状态得到目标信号灯的当前状态的步骤，包括：将第一状态确定为目标信号灯的当前状态。
在一应用场景中，预定状态为发光状态，也就是说，若步骤S120识别出目标信号灯在待检测图像中为发光状态，则执行步骤S130至步骤S150，否则执行步骤S122。
在另一应用场景中，预定状态为发出黄光，或者发出红光，也就是说，若步骤S120识别出目标信号灯在待检测图像中的状态为发出黄光或者发出红光时，则执行步骤S130至步骤S150，也就是说，此时为了避免黄光和红光混淆，基于第一状态和第二状态得到目标信号灯在待检测图像中的当前状态，否则，当识别出第一状态为发出绿光或者处于熄灭状态时，直接将第一状态作为目标信号灯的当前状态。
在本实施方式中，结合图4，在本实施方式中，步骤S150包括：
S151：基于识别第一状态的置信度，得到与第一状态对应的第一置信度。
具体地，识别第一状态的置信度为，目标信号灯在待检测图像中的状态为识别出的第一状态的置信度，该置信度越高，表明目标信号灯在待检测图像中的状态为第一状态的概率越高。
在得到识别第一状态的置信度后，根据预设策略，将识别第一状态的置信度转换为第一置信度。
其中，当利用状态模型识别得到第一状态时，识别第一状态的置信度为状态模型输出的置信度。
S152：基于识别状态变化结果的置信度，得到与第二状态对应的第二置信度。
具体地，识别状态变化结果的置信度为，目标信号灯从历史图像到待检测图像的变化结果为识别出的状态变化结果的置信度，该置信度越高，表明目标信号灯从历史图像到待检测图像的变化结果为识别出的状态变化结果的概率越高。
在得到识别状态变化结果的置信度后，根据预设策略，将识别状态变化结果的置信度转换为第二置信度。
其中，当利用转换模型识别得到状态变化结果时，识别状态变化结果的置信度为转换模型输出的置信度。
S153：基于第一置信度以及第二置信度，将第一状态、第二状态中的一个，确定为目标信号灯在待检测图像中的当前状态。
在一应用场景中，第一置信度与识别第一状态的置信度呈正相关，第二置信度与识别状态变化结果的置信度呈正相关，此时若第一置信度大于第二置信度，则将第一状态确定为目标信号灯在待检测图像中的当前状态，否则将第二状态确定为目标信号灯在待检测图像中的当前状态。
在另一应用场景中，第一置信度与识别第一状态的置信度呈负相关，第二置信度与识别状态变化结果的置信度呈负相关，此时若第一置信度大于第二置信度，则将第二状态确定为目标信号灯在待检测图像中的当前状态，否则将第一状态确定为目标信号灯在待检测图像中的当前状态。
在本实施方式中，在最后将第一状态确定为当前状态时，还会将识别第一状态的置信度，确定为当前状态的置信度；在最后将第二状态确定为当前状态时，将第二置信度，确定为当前状态的置信度。
例如，在将第一状态确定为目标信号灯的当前状态时，将状态模型输出的置信度作为目标信号灯当前状态的置信度；在将第二状态确定为目标信号灯的当前状态时，直接将第二置信度作为目标信号灯当前状态的置信度。
在一应用场景中，步骤S151确定第一置信度的步骤，包括：将识别第一状态的置信度与第一预设因子的乘积，确定为第一置信度。
具体地，利用如下公式确定第一置信度：
conf1＝confdet*α，其中，conf1为第一置信度，confdet为识别第一状态的置信度，α为第一预设因子。
其中，由于当最后将第一状态确定为当前状态时，还会将识别第一状态的置信度，确定为当前状态的置信度，因此在计算得到第一置信度conf1后，若最后将第一状态确定为当前状态，则此时还会对第一置信度进行置信度还原，将conf1/α的结果(即识别第一状态的置信度confdet)，确定为当前状态的置信度。
在一应用场景中，第一预设因子大于零且小于一，其中，第一预设因子可以根据实际需求设置，在此不做具体限制。
在另一应用场景中，步骤S152确定第二置信度的步骤，包括：在目标信号灯在历史图像中的历史状态为发光状态时，基于识别状态变化结果的置信度以及目标信号灯的历史状态的置信度，得到第二置信度。
具体地，在目标信号灯在历史图像中的历史状态为发光状态时，结合识别状态变化结果的置信度以及目标信号灯的历史状态的置信度，得到第二置信度。
例如，在目标信号灯的历史状态为发光状态，且状态变化结果为目标信号灯的颜色未发生变化时，将识别状态变化结果的置信度、目标信号灯的历史状态的置信度以及第二预设因子的乘积，确定为第二置信度；在目标信号灯的历史状态为发光状态，且状态变化结果为目标信号灯的颜色发生变化时，将识别状态变化结果的置信度与目标信号灯的历史状态的置信度的平均值，确定为第二置信度。
具体地，在目标信号灯的历史状态为发光状态，且状态变化结果为目标信号灯的颜色未发生变化时，利用如下公式确定第二置信度：
conf2＝confpre*confuch*β，其中，conf2为第二置信度，confpre为目标信号灯的历史状态的置信度，confuch为识别状态变化结果的置信度(此时状态变化结果为目标信号灯的颜色未发生变化)，β为第二预设因子。在一应用场景中，第二预设因子大于零且小于一，其中，第二预设因子可以根据实际需求设置，在此不做具体限制。
在目标信号灯的历史状态为发光状态，且状态变化结果为目标信号灯的颜色发生变化时，利用如下公式确定第二置信度：
conf2＝(confpre+confch)/2，其中，conf2为第二置信度，confpre为目标信号灯的历史状态的置信度，confch为识别状态变化结果的置信度(此时状态变化结果为目标信号灯的颜色发生变化)。
在另一应用场景中，步骤S152确定第二置信度的步骤，包括：在目标信号灯在历史图像中的历史状态为熄灭状态时，将识别状态变化结果的置信度，确定为第二置信度。
具体地，当目标信号灯在历史图像中的历史状态为熄灭状态时，直降将识别状态变化结果的置信度确定为第二置信度。此时利用如下公式确定第二置信度：
conf2＝conflgt，其中，conf2为第二置信度，conflgt为识别状态变化结果的置信度(此时目标信号灯在历史图像中的历史状态为熄灭状态)。
其中，当最后将第二状态确定为当前状态时，会将第二置信度确定为当前状态的置信度，即将conf2确定为当前状态的置信度，此时无需进行置信度还原。
在本实施方式中，除了检测目标信号灯的状态外，还会对目标信号灯进行定位，此时，在步骤S120得到目标信号灯在待检测图像中的第一状态的同时，还包括：预测目标信号灯在待检测图像中的第一位置；在步骤S130识别目标信号灯从历史图像到待检测图像的状态变化结果的同时，还包括：预测目标信号灯在待检测图像中的第二位置。可以理解的是，第一位置和第二位置均是对目标信号灯在待检测图像中位置的描述。其中，第一位置和第二位置均用框选目标信号灯的识别框的位置表示。
此时在将第一状态确定为当前状态后，基于第一位置，得到目标信号灯在待检测图像中的当前位置；在将第二状态确定为当前状态后，基于第二位置，得到目标信号灯在待检测图像中的当前位置。
具体地，在将第一状态确定为当前状态时，说明步骤S120识别第一状态的准确率高，则基于第一位置，得到目标信号灯在待检测图像中的当前位置；而在将第二状态确定为当前状态时，说明步骤S130识别状态变化结果的准确率高，则基于第二位置，得到目标信号灯在待检测图像中的当前位置。
在本实施方式中，在步骤S151得到第一置信度之前，还包括：确定是否存在目标信号灯的标准位置；若存在，则基于第一位置与标准位置的偏离程度对识别第一状态的置信度进行第一校正，并将第一校正后的置信度确定为识别第一状态的置信度。
具体地，目标信号灯的标准位置可以是人为预先设定的，也可以是通过计算得到的，其中计算过程可以参见下文。
第一位置与标准位置的偏离程度表明识别第一状态的准确率，也就是说，第一位置与标准位置相距越远，表明目标信号灯在待检测图像中的状态为第一状态的可能性越低。
其中，可以计算第一位置与标准位置的交并比来表征第一位置与标准位置的偏离程度。
在一应用场景中，利用如下公式对识别第一状态的置信度进行校正：
confm＝confn*cos(1-iou)，其中，confn为校正前的识别第一状态的置信度，confm为校正后的识别第一状态的置信度，iou为第一位置与标准位置的交并比。
其中，在进行校正后，将识别第一状态的置信度更新为第一校正后的置信度，然后执行步骤S151。
需要说明的是，后续在将第一状态确定为当前状态时，由于已经将识别第一状态的置信度更新为第一校正后的置信度，因此是将第一校正后的置信度，确定为当前状态的置信度。
在本实施方式中，在步骤S152之后，还包括：确定是否存在目标信号灯的标准位置；若存在，则基于第二位置与标准位置的偏离程度对第二置信度进行第二校正，并将第二校正后的置信度确定为第二置信度。
具体地，第二位置与标准位置的偏离程度表明目标信号灯在待检测图像中的状态为第二状态的概率，具体地，第二位置与标准位置相距越远，表明目标信号灯在待检测图像中的状态为第二状态的可能性越低。
和第一位置与标准位置的偏离程度类似，也可以计算第二位置与标准位置的交并比来表征第二位置与标准位置的偏离程度。
在一应用场景中，利用如下公式对第二置信度进行校正：
confp＝confq*cos(1-iou)，其中，confq为校正前的第二置信度，confp为校正后的第二置信度，iou为第二位置与标准位置的交并比。
其中，在校正后，将第二置信度更新为第二校正后的置信度，然后执行步骤S153。
需要说明的是，后续在将第二状态确定为当前状态时，由于已经将第二置信度更新为第二校正后的置信度，因此是将第二校正后的置信度，确定为当前状态的置信度。
可以理解的是，当不存在目标信号灯的标准位置时，无需对识别第一状态的置信度、第二置信度进行校正，直接执行步骤S151至步骤S153。
同时在其他实施方式中，也可以是在第一位置与标准位置的偏离程度超过设定的阈值时，才对识别第一状态的置信度进行校正，否则不进行校正，或者是在第二位置与标准位置的偏离程度超过设定的阈值时，才对第二置信度进行校正，否则不进行校正。
或者，在其他实施方式中，也可以只对识别第一状态的置信度、第二置信度中的一个进行校正，另一个不校正。
在本实施方式中，基于第一位置，得到目标信号灯在待检测图像中的当前位置的步骤，包括：
在存在目标信号灯的标准位置时，基于第一位置与标准位置，得到目标信号灯在待检测图像中的当前位置；在不存在标准位置时，将第一位置确定为目标信号灯在待检测图像中的当前位置。
基于第二位置，得到目标信号灯在待检测图像中的当前位置的步骤，包括：
在存在目标信号灯的标准位置时，基于第二位置与标准位置，得到目标信号灯在待检测图像中的当前位置；在不存在标准位置时，将第二位置确定为目标信号灯在待检测图像中的当前位置。
具体地，当存在目标信号灯的标准位置时，需要判断第一位置或第二位置的准确性，然后基于第一位置与标准位置，得到目标信号灯在待检测图像中的当前位置，或者基于第二位置与标准位置，得到目标信号灯在待检测图像中的当前位置。而当不存在目标信号灯的标准位置时，直接将第一位置或第二位置确定为目标信号灯在待检测图像中的当前位置。
在一应用场景中，基于第一位置与标准位置，得到目标信号灯在待检测图像中的当前位置的步骤，包括：
若第一位置与标准位置的偏离程度小于第一程度阈值，则将第一位置确定为目标信号灯在待检测图像中的当前位置，否则，将标准位置确定为目标信号灯在待检测图像中的当前位置。
基于第二位置与标准位置，得到目标信号灯在待检测图像中的当前位置的步骤，包括：
若第二位置与标准位置的偏离程度小于第二程度阈值，则将第二位置确定为目标信号灯在待检测图像中的当前位置，否则，将标准位置确定为目标信号灯在待检测图像中的当前位置。
具体地，当第一位置与标准位置的偏离程度小于第一程度阈值时，说明第一位置的准确率较高，可以直接将第一位置确定为目标信号灯在待检测图像中的当前位；否则说明第一位置的准确率较低，第一位置不准确，此时直接将标准位置确定为目标信号灯在待检测图像中的当前位置。
同样地，当第二位置与标准位置的偏离程度小于第二程度阈值时，说明第二位置的准确率较高，可以直接将第二位置确定为目标信号灯在待检测图像中的当前位；否则说明第二位置的准确率较低，第二位置不准确，此时直接将标准位置确定为目标信号灯在待检测图像中的当前位置。
也就是说，当确定第一位置或者第二位置的准确率较低时，直接将第一位置或第二位置剔除，用标准位置作为目标信号灯的当前位置，从而保证目标信号灯的检测精度。
其中，在若第一位置与标准位置的偏离程度小于第一程度阈值，则将第一位置确定为目标信号灯在待检测图像中的当前位置之后，还包括：基于第一位置，更新标准位置。
在若第二位置与标准位置的偏离程度小于第二程度阈值，则将第二位置确定为目标信号灯在待检测图像中的当前位置之后，还包括：基于第二位置，更新标准位置。
具体地，当第一位置准确性较高时，在将第一位置确定为目标信号灯的当前位置之后，还需要更新标准位置；当第二位置准确性较高时，在将第二位置确定为目标信号灯的当前位置之后，还需要更新标准位置。
其中，可以利用如下公式更新标准位置：
Figure BDA0003214408770000151
其中，dbbox表示第一位置的坐标或者第二位置的坐标，qt表示标准位置的计算次数，cbbox表示标准位置的坐标。
其中，在更新标准位置后，qt＝qt+1，即标准位置的计算次数加一。
在本实施方式中，在不存在标准位置时，在得到目标信号灯在待检测图像中的当前状态之后，方法还包括：
基于目标信号灯的历史位置以及目标信号灯在待检测图像中的当前位置，得到目标信号灯的标准位置，以作为下一次检测过程中目标信号灯的标准位置。
具体地，目标信号灯在待检测图像中的当前位置为目标信号灯在待检测图像中的最终位置。
在不存在标准位置时，在得到目标信号灯在待检测图像中的当前位置后，根据已经确定的目标信号灯在图像中的最终位置确定标准位置。
可以理解的是，当对待检测图像的下一帧图像进行信号灯检测时，本次目标信号灯在待检测图像中的当前位置会变成目标信号灯的历史位置。
其中，确定标准位置的方法可以包括：计算所有已经确定的目标信号灯在图像中的最终位置的平均值，或者，也可以包括：将已经确定的目标信号灯在图像中的最终位置进行聚类处理，得到标准位置，其中此处聚类处理可以采用均值漂移聚类技术。
其中，在基于目标信号灯的历史位置以及目标信号灯在待检测图像中的当前位置，得到目标信号灯的标准位置之前，还包括：
确定目标信号灯的历史位置的个数是否达到个数阈值；
若达到，则基于目标信号灯的历史位置以及目标信号灯在待检测图像中的当前位置，得到目标信号灯的标准位置。
具体地，只有目标信号灯的历史位置的个数达到个数阈值时，才会生成标准位置，否则不生成标准位置。
参阅图5，图5是本申请信号灯的检测装置一实施方式的结构示意图，该信号灯的检测装置200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。
其中，信号灯的检测装置200可以是电脑、手机等任一项具有图像处理能力的装置，在此不做限制。
参阅图6，图6是本申请信号灯的检测装置另一实施方式的结构示意图，该信号灯的检测装置300包括图像获取模块310、第一识别模块320、第二识别模块330、状态预测模块340以及当前状态模块350。
图像获取模块310用于获取待检测图像，以及时序上在待检测图像之前的历史图像，待检测图像、历史图像均包括目标信号灯。
第一识别模块320与图像获取模块310连接，用于识别待检测图像，得到目标信号灯在待检测图像中的第一状态。
第二识别模块330与图像获取模块310连接，用于基于历史图像以及待检测图像，识别目标信号灯从历史图像到待检测图像的状态变化结果。
状态预测模块340同时与第二识别模块330、图像获取模块310连接，用于基于目标信号灯对应的信号灯逻辑区域在历史图像中呈现的历史状态，以及状态变化结果，预测目标信号灯在待检测图像中的第二状态；
当前状态模块350同时与第一识别模块320、状态预测模块340连接，用于基于第一状态以及第二状态，得到目标信号灯在待检测图像中的当前状态。
其中，信号灯的检测装置300可以是电脑、手机等任一项具有图像处理能力的装置，在此不做限制。
其中，信号灯的检测装置300中的图像获取模块310、第一识别模块320、第二识别模块330、状态预测模块340以及当前状态模块350相互配合而执行上述任一项实施方式中信号灯的检测方法中的步骤，其中详细的方法步骤可以参见上述实施方式，在此不再赘述。
参阅图7，图7是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410，计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。
其中，计算机可读存储介质400具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序410的装置，或者也可以为存储有该计算机程序410的服务器，该服务器可将存储的计算机程序410发送给其他设备运行，或者也可以自运行该存储的计算机程序410。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (18)

1.一种信号灯的检测方法，其特征在于，所述方法包括：
获取待检测图像，以及时序上在所述待检测图像之前的历史图像，所述待检测图像、所述历史图像均包括目标信号灯；
识别所述待检测图像，得到目标信号灯在所述待检测图像中的第一状态；
基于所述历史图像以及所述待检测图像，识别所述目标信号灯从所述历史图像到所述待检测图像的状态变化结果；
基于所述目标信号灯对应的信号灯逻辑区域在所述历史图像中呈现的历史状态，以及所述状态变化结果，预测所述目标信号灯在所述待检测图像中的第二状态；
基于所述第一状态以及所述第二状态，得到所述目标信号灯在所述待检测图像中的当前状态。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述历史图像以及所述待检测图像，识别所述目标信号灯从所述历史图像到所述待检测图像的状态变化结果之前，还包括：
确定所述目标信号灯在所述待检测图像中的所述第一状态是否为预定状态；
若确定为所述预定状态，则执行所述基于所述历史图像以及所述待检测图像，识别所述目标信号灯从所述历史图像到所述待检测图像的状态变化结果的步骤；
否则，基于所述第一状态，得到所述目标信号灯在所述待检测图像中的当前状态。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一状态以及所述第二状态，得到所述目标信号灯在所述待检测图像中的当前状态的步骤，包括：
基于识别所述第一状态的置信度，得到与所述第一状态对应的第一置信度；
基于识别所述状态变化结果的置信度，得到与所述第二状态对应的第二置信度；
基于所述第一置信度以及所述第二置信度，将所述第一状态、所述第二状态中的一个，确定为所述目标信号灯在所述待检测图像中的当前状态。
4.根据权利要求3所述的方法，其特征在于，所述基于识别所述第一状态的置信度，得到与所述第一状态对应的第一置信度的步骤，包括：
将识别所述第一状态的置信度与第一预设因子的乘积，确定为所述第一置信度。
5.根据权利要求3所述的方法，其特征在于，所述基于识别所述状态变化结果的置信度，得到与所述第二状态对应的第二置信度的步骤，包括：
在所述目标信号灯在所述历史图像中的历史状态为发光状态时，基于识别所述状态变化结果的置信度以及所述目标信号灯的历史状态的置信度，得到所述第二置信度。
6.根据权利要求5所述的方法，其特征在于，所述在所述目标信号灯在所述历史图像中的历史状态为发光状态时，基于识别所述状态变化结果的置信度以及所述目标信号灯的历史状态的置信度，得到所述第二置信度的步骤，包括：
在所述目标信号灯的历史状态为发光状态，且所述状态变化结果为所述目标信号灯的颜色未发生变化时，将识别所述状态变化结果的置信度、所述目标信号灯的历史状态的置信度以及第二预设因子的乘积，确定为所述第二置信度；
在所述目标信号灯的历史状态为发光状态，且所述状态变化结果为所述目标信号灯的颜色发生变化时，将识别所述状态变化结果的置信度与所述目标信号灯的历史状态的置信度的平均值，确定为所述第二置信度。
7.根据权利要求3所述的方法，其特征在于，所述基于识别所述状态变化结果的置信度，得到与所述第二状态对应的第二置信度的步骤，包括：
在所述目标信号灯在所述历史图像中的历史状态为熄灭状态时，将识别所述状态变化结果的置信度，确定为所述第二置信度。
8.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在将所述第一状态确定为所述当前状态时，将识别所述第一状态的置信度，确定为所述当前状态的置信度；
在将所述第二状态确定为所述当前状态时，将所述第二置信度，确定为所述当前状态的置信度。
9.根据权利要求3所述的方法，其特征在于，
在所述得到目标信号灯在所述待检测图像中的第一状态的同时，还包括：预测所述目标信号灯在所述待检测图像中的第一位置；
在所述识别所述目标信号灯从所述历史图像到所述待检测图像的状态变化结果的同时，还包括：预测所述目标信号灯在所述待检测图像中的第二位置；
所述方法还包括：
在将所述第一状态确定为所述当前状态后，基于所述第一位置，得到所述目标信号灯在所述待检测图像中的当前位置；
在将所述第二状态确定为所述当前状态后，基于所述第二位置，得到所述目标信号灯在所述待检测图像中的当前位置。
10.根据权利要求9所述的方法，其特征在于，在所述基于识别所述第一状态的置信度，得到与所述第一状态对应的第一置信度之前，还包括：
确定是否存在所述目标信号灯的标准位置；
若存在，则基于所述第一位置与所述标准位置的偏离程度对识别所述第一状态的置信度进行第一校正，并将第一校正后的置信度确定为识别所述第一状态的置信度；
在所述基于识别所述状态变化结果的置信度，得到与所述第二状态对应的第二置信度之后，还包括：
确定是否存在所述目标信号灯的标准位置；
若存在，则基于所述第二位置与所述标准位置的偏离程度对所述第二置信度进行第二校正，并将第二校正后的置信度确定为所述第二置信度。
11.根据权利要求9所述的方法，其特征在于，所述基于所述第一位置，得到所述目标信号灯在所述待检测图像中的当前位置的步骤，包括：
在存在所述目标信号灯的标准位置时，基于所述第一位置与所述标准位置，得到所述目标信号灯在所述待检测图像中的当前位置；
在不存在所述标准位置时，将所述第一位置确定为所述目标信号灯在所述待检测图像中的当前位置；
所述基于所述第二位置，得到所述目标信号灯在所述待检测图像中的当前位置的步骤，包括：
在存在所述目标信号灯的标准位置时，基于所述第二位置与所述标准位置，得到所述目标信号灯在所述待检测图像中的当前位置；
在不存在所述标准位置时，将所述第二位置确定为所述目标信号灯在所述待检测图像中的当前位置。
12.根据权利要求11所述的方法，其特征在于，所述基于所述第一位置与所述标准位置，得到所述目标信号灯在所述待检测图像中的当前位置的步骤，包括：
若所述第一位置与所述标准位置的偏离程度小于第一程度阈值，则将所述第一位置确定为所述目标信号灯在所述待检测图像中的当前位置，否则，将所述标准位置确定为所述目标信号灯在所述待检测图像中的当前位置；
所述基于所述第二位置与所述标准位置，得到所述目标信号灯在所述待检测图像中的当前位置的步骤，包括：
若所述第二位置与所述标准位置的偏离程度小于第二程度阈值，则将所述第二位置确定为所述目标信号灯在所述待检测图像中的当前位置，否则，将所述标准位置确定为所述目标信号灯在所述待检测图像中的当前位置。
13.根据权利要求12所述的方法，其特征在于，在所述若所述第一位置与所述标准位置的偏离程度小于第一程度阈值，则将所述第一位置确定为所述目标信号灯在所述待检测图像中的当前位置之后，还包括：基于所述第一位置，更新所述标准位置；
在所述若所述第二位置与所述标准位置的偏离程度小于第二程度阈值，则将所述第二位置确定为所述目标信号灯在所述待检测图像中的当前位置之后，还包括：基于所述第二位置，更新所述标准位置。
14.根据权利要求10或11所述的方法，其特征在于，在不存在所述标准位置时，在所述得到所述目标信号灯在所述待检测图像中的当前状态之后，所述方法还包括：
基于所述目标信号灯的历史位置以及所述目标信号灯在所述待检测图像中的当前位置，得到所述目标信号灯的标准位置，以作为下一次检测过程中所述目标信号灯的标准位置。
15.根据权利要求14所述的方法，其特征在于，在所述基于所述目标信号灯的历史位置以及所述目标信号灯在所述待检测图像中的当前位置，得到所述目标信号灯的标准位置之前，还包括：
确定所述目标信号灯的历史位置的个数是否达到个数阈值；
若达到，则执行所述基于所述目标信号灯的历史位置以及所述目标信号灯在所述待检测图像中的当前位置，得到所述目标信号灯的标准位置的步骤。
16.根据权利要求1所述的方法，其特征在于，所述识别所述待检测图像，得到所述目标信号灯在所述待检测图像中的第一状态的步骤，包括：
将所述待检测图像送入预先训练好的状态模型进行识别，得到所述目标信号灯在所述待检测图像中的所述第一状态；
和/或，所述基于所述历史图像以及所述待检测图像，识别所述目标信号灯从所述历史图像到所述待检测图像的状态变化结果的步骤，包括：
将所述历史图像以及所述待检测图像送入预先训练好的转换模型进行识别，得到所述目标信号灯从所述历史图像到所述待检测图像的所述状态变化结果。
17.一种信号灯的检测装置，其特征在于，所述信号灯的检测装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1-16任一项所述方法中的步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-16任一项所述方法中的步骤。
CN202110939496.9A 2021-08-16 2021-08-16 信号灯的检测方法、装置及计算机可读存储介质 Pending CN113723229A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110939496.9A CN113723229A (zh) 2021-08-16 2021-08-16 信号灯的检测方法、装置及计算机可读存储介质
PCT/CN2022/108821 WO2023020251A1 (en) 2021-08-16 2022-07-29 Methods, systems, and computer-readable storage mediums for detecting state of signal light
EP22857563.5A EP4232939A4 (en) 2021-08-16 2022-07-29 METHODS, SYSTEMS AND COMPUTER-READABLE STORAGE MEDIA FOR DETECTING THE STATE OF SIGNAL LIGHTS
US18/452,532 US20230394829A1 (en) 2021-08-16 2023-08-19 Methods, systems, and computer-readable storage mediums for detecting a state of a signal light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939496.9A CN113723229A (zh) 2021-08-16 2021-08-16 信号灯的检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113723229A true CN113723229A (zh) 2021-11-30

Family

ID=78676037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939496.9A Pending CN113723229A (zh) 2021-08-16 2021-08-16 信号灯的检测方法、装置及计算机可读存储介质

Country Status (4)

Country Link
US (1) US20230394829A1 (zh)
EP (1) EP4232939A4 (zh)
CN (1) CN113723229A (zh)
WO (1) WO2023020251A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662735A (zh) * 2022-02-14 2022-06-24 北京佰才邦技术股份有限公司 交通信号灯规律预测方法、***及存储介质
WO2023020251A1 (en) * 2021-08-16 2023-02-23 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and computer-readable storage mediums for detecting state of signal light
CN115984823A (zh) * 2023-02-27 2023-04-18 安徽蔚来智驾科技有限公司 交通信号灯感知方法、车辆控制方法、设备、介质及车辆

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130253754A1 (en) * 2012-03-26 2013-09-26 Google Inc. Robust Method for Detecting Traffic Signals and their Associated States
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及***
CN107527511A (zh) * 2016-06-22 2017-12-29 杭州海康威视数字技术股份有限公司 一种智能车辆行车提醒方法及装置
CN109035831A (zh) * 2018-09-07 2018-12-18 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN110619307A (zh) * 2019-09-18 2019-12-27 广州文远知行科技有限公司 交通灯状态确定方法、装置、设备和存储介质
CN111582030A (zh) * 2020-04-02 2020-08-25 北京百度网讯科技有限公司 红绿灯的识别方法、装置、电子设备和计算机存储介质
CN111815959A (zh) * 2020-06-19 2020-10-23 浙江大华技术股份有限公司 一种车辆违章的检测方法、装置以及计算机可读存储介质
WO2021018144A1 (zh) * 2019-07-31 2021-02-04 浙江商汤科技开发有限公司 指示灯检测方法、装置、设备及计算机可读存储介质
CN112528795A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的灯色识别方法、装置及路侧设备
WO2021114031A1 (zh) * 2019-12-09 2021-06-17 深圳市大疆创新科技有限公司 一种目标检测方法和装置
KR20210089588A (ko) * 2020-01-07 2021-07-16 모셔널 에이디 엘엘씨 신호등 검출을 위한 시스템들 및 방법들

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11056005B2 (en) * 2018-10-24 2021-07-06 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
KR20210016927A (ko) * 2019-08-06 2021-02-17 현대자동차주식회사 차량 내 장치 및 그의 신호등 정보 제공 방법
CN112989891B (zh) * 2019-12-17 2024-03-08 杭州海康威视数字技术股份有限公司 一种信号灯显示状态的检测方法及装置
CN113723229A (zh) * 2021-08-16 2021-11-30 浙江大华技术股份有限公司 信号灯的检测方法、装置及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130253754A1 (en) * 2012-03-26 2013-09-26 Google Inc. Robust Method for Detecting Traffic Signals and their Associated States
CN107527511A (zh) * 2016-06-22 2017-12-29 杭州海康威视数字技术股份有限公司 一种智能车辆行车提醒方法及装置
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及***
CN109035831A (zh) * 2018-09-07 2018-12-18 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
WO2021018144A1 (zh) * 2019-07-31 2021-02-04 浙江商汤科技开发有限公司 指示灯检测方法、装置、设备及计算机可读存储介质
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN110619307A (zh) * 2019-09-18 2019-12-27 广州文远知行科技有限公司 交通灯状态确定方法、装置、设备和存储介质
WO2021114031A1 (zh) * 2019-12-09 2021-06-17 深圳市大疆创新科技有限公司 一种目标检测方法和装置
KR20210089588A (ko) * 2020-01-07 2021-07-16 모셔널 에이디 엘엘씨 신호등 검출을 위한 시스템들 및 방법들
CN111582030A (zh) * 2020-04-02 2020-08-25 北京百度网讯科技有限公司 红绿灯的识别方法、装置、电子设备和计算机存储介质
CN111815959A (zh) * 2020-06-19 2020-10-23 浙江大华技术股份有限公司 一种车辆违章的检测方法、装置以及计算机可读存储介质
CN112528795A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的灯色识别方法、装置及路侧设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李浩;张运胜;: "基于反馈背景模型的城市道路交叉口前景目标检测", 交通运输***工程与信息, no. 06, 15 December 2017 (2017-12-15) *
王思雨;TANVIR AHMAD;: "一种基于YOLO的交通目标实时检测方法", 计算机与数字工程, no. 09, 20 September 2020 (2020-09-20) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020251A1 (en) * 2021-08-16 2023-02-23 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and computer-readable storage mediums for detecting state of signal light
CN114662735A (zh) * 2022-02-14 2022-06-24 北京佰才邦技术股份有限公司 交通信号灯规律预测方法、***及存储介质
CN115984823A (zh) * 2023-02-27 2023-04-18 安徽蔚来智驾科技有限公司 交通信号灯感知方法、车辆控制方法、设备、介质及车辆

Also Published As

Publication number Publication date
WO2023020251A1 (en) 2023-02-23
EP4232939A4 (en) 2024-04-10
EP4232939A1 (en) 2023-08-30
US20230394829A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
CN113723229A (zh) 信号灯的检测方法、装置及计算机可读存储介质
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及***、电子装置及存储介质
CN109145678B (zh) 信号灯检测方法及装置和计算机设备及可读存储介质
KR101822924B1 (ko) 영상기반 화재 감지 시스템, 방법 및 프로그램
US11108970B2 (en) Flicker mitigation via image signal processing
CN110532903B (zh) 一种交通灯图像处理的方法和设备
CN111507210A (zh) 交通信号灯的识别方法、***、计算设备和智能车
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
CN111008608B (zh) 一种基于深度学习的夜间车辆检测方法
KR20190141577A (ko) 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN112232368B (zh) 目标识别模型训练方法、目标识别方法及其相关装置
CN112784724A (zh) 一种车辆变道检测方法、装置、设备及存储介质
CN113706523A (zh) 基于人工智能技术的皮带跑偏及异常运行状态的监测方法
CN112818853A (zh) 一种交通要素识别方法、装置、设备及储存介质
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN110909674A (zh) 一种交通标志识别方法、装置、设备和存储介质
CN113158963B (zh) 一种高空抛物的检测方法及装置
CN111723805A (zh) 一种信号灯的前景区域识别方法及相关装置
CN113936252A (zh) 基于视频监控的电瓶车智能管理***及方法
CN116778673A (zh) 水域安全监控方法、***、终端及存储介质
JP2022120116A (ja) 交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システム
CN114373081A (zh) 图像处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination