CN114694112B - 交通信号灯的识别方法、装置及电子设备 - Google Patents
交通信号灯的识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114694112B CN114694112B CN202210161879.2A CN202210161879A CN114694112B CN 114694112 B CN114694112 B CN 114694112B CN 202210161879 A CN202210161879 A CN 202210161879A CN 114694112 B CN114694112 B CN 114694112B
- Authority
- CN
- China
- Prior art keywords
- information
- traffic signal
- signal lamp
- traffic
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种交通信号灯的识别方法、装置及电子设备，首先获取目标图像中的交通信号灯的属性信息；其中交通信号灯位于目标图像的目标区域中；然后通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息；其中，决策网络的训练数据包括语义地图信息。该方式中通过语义地图信息对决策网络进行训练，提高了决策网络对交通信号灯的图像信息及属性信息的处理能力，从而提高了识别交通信号灯指示的车辆通行信息的准确度。
Description
技术领域
本发明涉及自动驾驶技术领域，具体而言，涉及一种交通信号灯的识别方法、装置及电子设备。
背景技术
相关技术中，针对于不同的自动化驾驶程度的车辆，通常采用不同的交通信号灯识别方式。针对于自动驾驶程度较低的车辆，如自动驾驶级别为L2或L3级的车辆，通常通过神经网络或深度学习的方式识别车载图像中的交通信号灯区域，进一步对交通灯区域进行检测，确定交通信号灯的识别结果。在自动驾驶程度较高的车辆中，如自动驾驶级别为L4级的车辆，通常基于语义地图对车载图像进行语义识别，然后基于预设规则对语义识别结果进行语义决策处理，得到包含有时序信息的交通信号灯的识别结果。相对而言，自动驾驶程度较低的车辆对交通信号灯区域的准确度较低，导致交通信号灯的识别结果准确度较低。
发明内容
有鉴于此，本发明的目的在于提供一种交通信号灯的识别方法、装置及电子设备，以提高交通信号灯的识别结果的准确度。
第一方面，本发明实施例提供了一种交通信号灯的识别方法，该方法包括：获取目标图像中的交通信号灯的属性信息；交通信号灯位于目标图像的目标区域中；通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息；场景信息包括：交通信号灯中每个灯的空间关系和/或相互作用关系；其中，决策网络的训练数据包括语义地图信息。
可选的，在本发明第一方面的第一种实现方式中，上述通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息的步骤，包括：将属性信息和目标区域输入至预先训练完成的决策网络；其中，决策网络包括特征提取模块、图神经网络模块及时序模块；通过特征提取模块对属性信息及目标区域进行特征提取处理，得到特征信息；特征信息中包括交通信号灯中每个灯的空间关系；通过图神经网络模块对特征信息进行特征提取处理，得到交通信号灯的场景特征；场景特征中包括交通信号灯中每个灯的相互作用关系；将场景特征输入至时序模块，输出交通信号灯指示的车辆通行信息。
可选的，在本发明第一方面的第二种实现方式中，上述通过图神经网络模块对特征信息进行特征提取处理，得到交通信号灯的场景特征的步骤，包括：将特征信息输入至图神经网络模块，以通过图神经网络模块执行下述操作：如果特征信息中包括多个交通信号灯的特征信息，基于特征信息指示的多个交通信号灯的空间位置关系，确定位于车辆所在路口的目标交通信号灯；基于目标交通信号灯的特征信息，确定交通信号灯的场景特征。
可选的，在本发明第一方面的第三种实现方式中，上述通过图神经网络模块对特征信息进行特征提取处理，得到交通信号灯的场景特征的步骤，包括：将特征信息输入至图神经网络模块，以通过图神经网络模块执行下述操作：如果目标交通信号灯的特征信息中，有多个灯指示相同的通行信息，通过投票的方式从多个灯中确定目标灯；基于目标灯的特征信息，确定交通信号灯的场景特征。
可选的，在本发明第一方面的第四种实现方式中，上述决策网络通过下述方式训练得到：从预设的样本集合中确定训练数据；训练数据包括包含交通信号灯的样本区域图像、样本区域图像中交通信号灯的特征信息，以及样本区域图像中交通信号灯对应的车辆通行信息；样本区域图像，预先基于语义地图信息从样本图像中检测得到；将样本区域图像及样本区域图像中交通信号灯的特征信息输入至初始模型中，得到初始模型输出的处理结果；基于处理结果以及样本区域图像中交通信号灯对应的车辆通行信息，确定初始模型的损失值；基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为决策网络。
可选的，在本发明第一方面的第五种实现方式中，上述获取目标图像中的交通信号灯的属性信息的步骤，包括：从目标图像中获取目标区域；其中，目标区域中包括交通信号灯；识别目标区域中的交通信号灯的属性信息。
可选的，在本发明第一方面的第六种实现方式中，上述从目标图像中获取目标区域的步骤，包括：将目标图像输入至预先训练完成的障碍物识别模型，输出目标图像中每个障碍物在目标图像中的位置区域和障碍物的类别；将类别为交通信号灯的障碍物在目标图像中的位置区域，确定为目标区域。
可选的，在本发明第一方面的第七种实现方式中，上述从目标图像中获取目标区域的步骤，包括：获取拍摄目标图像的车辆的车辆位置；从语义地图中获取车辆位置指定范围内的交通信号灯的位置；基于交通信号灯在语义地图中的位置，确定交通信号灯在目标图像中的位置区域；将交通信号灯在目标图像的位置区域，确定为目标区域。
第二方面，本发明实施例提供了一种交通信号灯的识别装置，该装置包括：属性信息获取模块，用于获取目标图像中的交通信号灯的属性信息；交通信号灯位于目标图像的目标区域中；通行信息确定模块，用于通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息；场景信息包括：交通信号灯中每个灯的空间关系和/或相互作用关系；其中，决策网络的训练数据包括语义地图信息。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述的交通信号灯的识别方法。
第四方面，本发明实施例提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的交通信号灯的识别方法。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种交通信号灯的识别方法、装置及电子设备，首先获取目标图像中的交通信号灯的属性信息；其中交通信号灯位于目标图像的目标区域中；然后通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息；其中，决策网络的训练数据包括语义地图信息。该方式中通过语义地图信息对决策网络进行训练，提高了决策网络对交通信号灯的图像信息及属性信息的处理能力，从而提高了识别交通信号灯指示的车辆通行信息的准确度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交通信号灯的识别方法的流程图；
图2为本发明实施例提供的另一种交通信号灯的识别方法的流程图；
图3为本发明实施例提供的另一种交通信号灯的识别方法的流程图；
图4为本发明实施例提供的一种决策网络的示意图；
图5为本发明实施例提供的一种交通信号灯的识别装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
交通信号灯的检测问题在自动驾驶、辅助驾驶和行车安全等领域中都是需要重点关注的一个问题。其中，自动化程度较高的L4自动驾驶中主要采用的方式为：基于语义地图的标注在图像上生成一系列的候选框，在针对生成的候选框进行全图检测，再将检测的结果经过很多基于规则的处理等方法得到时序的结果，并将该结果发送给路径规划模块，该方法识别得到的交通信号灯指示的车辆通行信息较为准确。但采用基于规则的方法来实现时序决策模块，规则有一定的局限性且维护成本高。
而自动化程度较低的L2或L3的自动驾驶中无法依赖语义地图，即没办法生成相对精确的候选框来提高精度。L2或L3的自动驾驶中通常用监督学习的方法来训练时序决策模块，采用的训练数据通常包含标注信息，成本高且效率较低。当采用训练好的时序决策模块对交通信号灯进行识别时，不可避免跨图像的障碍物跟踪问题，实现难度较大，且效果不好，导致最终精度会受到一定影响。
基于此，本发明实施例提供的一种交通信号灯的识别方法、装置及电子设备，该技术可以应用于各种场景中交通信号灯的识别过程。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种交通信号灯的识别方法进行详细介绍，如图1所示，该方法包括如下步骤：
步骤S102，获取目标图像中的交通信号灯的属性信息；交通信号灯位于目标图像的目标区域中。
上述目标图像可以为车载相机在车辆行驶过程中拍摄的一系列图像，也可以为车辆上安装的摄像设备拍摄的车辆行驶过程的视频的多个视频帧。由于一张目标图像中通常包括多种车辆周边的障碍物，如行人、其他车辆、路边设施等。为较为准确地获取目标图像中的交通信号灯的属性信息，通常首先需要确定目标图像中包含交通信号灯的目标区域。
当车辆的自动化驾驶程度较高，能够获取到目标图像对应的语义地图时，由于语义地图中会对车辆周围的障碍物进行标注，可以从语义地图上确定属于交通信号灯的区域，进一步确定目标图像中交通信号灯的目标区域。
而当车辆的自动化程度较低时，需要对目标图像进行障碍物检测，并确定各个障碍物的类别，然后可以将类别为交通信号灯的障碍物对应的区域确定为上述目标区域。在对目标图像进行障碍物检测时，可以采用训练好的基于神经网络、深度学习理论建立的障碍物检测模型实现。该障碍物检测模型模型的训练过程中，通常采用标注了障碍物信息的车载相机采集的图像进行训练。
在确定了交通信号灯的目标区域后，需要对目标区域的图像进行识别和检测，从而确定交通信号灯的属性信息。上述属性信息可以包括目标图像中的每个灯的位置，形状，颜色，显示数字，置信度等属性。在具体实现时，可以通过训练好的检测网络对目标区域中的图像进行检测及识别。该检测网络可以基于机器学习或神经网络建立。
步骤S104，通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息；场景信息包括：交通信号灯中每个灯的空间关系和/或相互作用关系；其中，决策网络的训练数据包括语义地图信息。
上述决策网络可以基于神经网络、深度学习和\或机器学习理论建立。由于目标图像通常包括多个，而每个目标图像通常也包括多个目标区域。决策网络需要确定目标图像中，多组交通信号灯之间的空间关系，如在连续的几个目标图像中，属于同一组交通信号灯的目标区域为哪些，并结合交通信号灯之间的相互作用关系，通过这些目标区域中交通信号灯的属性信息变化情况，如红灯亮了之后，黄灯变亮等情形，确定交通信号灯表示的车辆的通行信息，如在交通信号灯对应交通路口，车辆可以左转、需要停下或可以右转等等。
上述场景信息即包括交通信号灯中每个灯的空间关系，各个灯之间的相互作用关系等。为确定场景信息，可以决策网络中需要包括特征提取网络及图神经网络等，从而进一步对目标区域进行识别，在获得场景信息后，还需要结合基于交通信号灯的属性信息变化情况确定车辆通行信息，此时决策网络还需要包括时序模块对这些信息进行处理。
上述决策网络可以通过语义地图信息进行训练。由于语义地图包括多种信息，且准确度较高，可以将语音地图上标注出的包含交通信号灯的目标区域，该目标区域中交通信号灯的属性信息作为训练数据。将训练数据输入至待训练的决策网络中，还可以计算决策网络的输出结果与该训练数据对应的语义地图指示的车辆通行信息之间的损失值，从而基于该损失值调整决策网络的结构参数，在损失值收敛后结束训练，从而得到训练好的决策网络。该过程相当于采用另一套基于规则和模型的解决方案流程生成的数据对决策网络进行训练，从而达到一种自监督学习，以及知识蒸馏的效果，提高了训练得到的决策网络对交通信号灯的识别结果的准确性。
本发明实施例提供了一种交通信号灯的识别方法，首先获取目标图像中的交通信号灯的属性信息；其中交通信号灯位于目标图像的目标区域中；然后通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息；其中，决策网络的训练数据包括语义地图信息。该方式中通过语义地图信息对决策网络进行训练，提高了决策网络对交通信号灯的图像信息及属性信息的处理能力，从而提高了识别交通信号灯指示的车辆通行信息的准确度。
本发明实施例还提供了另一种交通信号灯的识别方法，该方法在图1所示的方法基础上实现。该方法主要描述了获取目标图像中的交通信号灯的属性信息的具体过程，以及确定交通信号灯指示的车辆通行信息的具体过程。如图2所示，该方法包括如下步骤：
步骤S202，从目标图像中获取目标区域；其中，目标区域中包括交通信号灯。
在具体实现时，可以通过基于神经网络或深度学习理论建立的障碍物识别模型获取目标区域。具体而言，可以将目标图像输入至预先训练完成的障碍物识别模型，输出目标图像中每个障碍物在目标图像中的位置区域和障碍物的类别；障碍物的类别可以包括多种，如行人、车辆等；结合本步骤的执行目的，将类别为交通信号灯的障碍物在目标图像中的位置区域，确定为目标区域。
如果可以使用语义地图，可以采用如下方式获取目标区域：首先获取拍摄目标图像的车辆的车辆位置，然后从语义地图中获取车辆位置指定范围内的交通信号灯的位置；再基于交通信号灯在语义地图中的位置，确定交通信号灯在目标图像中的位置区域；进一步将交通信号灯在目标图像的位置区域，确定为目标区域。
上述两种方式均可以获取到包括交通信号灯的目标区域，可以根据需要选择应用场景适用的方式。
步骤S204，识别目标区域中的交通信号灯的属性信息。
上述属性信息包括多种，如颜色、位置、显示数据等多种。可以通过不同的检测方式对不同的属性信息进行检测，如对于颜色属性采用色彩识别的方式进行检测。还可以建立可以对多种属性信息进行一系列检测的检测网络实现对交通信号灯的属性信息的识别，具体可考虑采用神经网络、深度学习等方式。
步骤S206，将属性信息和目标区域输入至预先训练完成的决策网络；其中，决策网络包括特征提取模块、图神经网络模块及时序模块。
其中，上述决策网络可以通过下述方式训练得到：
(1)从预设的样本集合中确定训练数据。其中，样本集合可以从多个车辆行驶至多个位置对应的语义地图信息中获得，训练数据包括包含交通信号灯的样本区域图像、样本区域图像中交通信号灯的特征信息，以及样本区域图像中交通信号灯对应的车辆通行信息；样本区域图像，预先基于语义地图信息从样本图像中检测得到。
(2)将样本区域图像及样本区域图像中交通信号灯的特征信息输入至初始模型中，得到初始模型输出的处理结果。其中，初始模型可以包括用于对属性信息进行提取的特征提取模块，对目标区域进行处理的图神经网络以及确定包括时序信息的处理结果的时序模块。
(3)基于处理结果以及样本区域图像中交通信号灯对应的车辆通行信息，确定初始模型的损失值。具体而言，可以采用预设的损失函数计算处理结果及车辆通行信息的损失值。
(4)基于损失值更新初始模型的模型参数；继续执行步骤(1)，直至损失值收敛，将损失值收敛后的初始模型确定为决策网络。
步骤S208，通过特征提取模块对属性信息及目标区域进行特征提取处理，得到特征信息；特征信息中包括交通信号灯中每个灯的空间关系。其中，特征提取模块可以采用常见的神经网络，如由卷积层和池化层连接组成的神经网络。此外，特征提取网络还可以对通过属性信息的特征信息和通过目标区域得到的特征信息进行融合处理，得到融合后的特征信息。
步骤S210，通过图神经网络模块对特征信息进行特征提取处理，得到交通信号灯的场景特征；场景特征中包括交通信号灯中每个灯的相互作用关系。
其中，由于图神经网络模块主要对图片进行处理，特征信息可以以特征图的形式表示。将特征信息输入至图神经网络模块后，图神经网络模块可以执行下述操作：如果特征信息中包括多个交通信号灯的特征信息，基于特征信息指示的多个交通信号灯的空间位置关系，确定位于车辆所在路口的目标交通信号灯；基于目标交通信号灯的特征信息，确定交通信号灯的场景特征。此外，图神经网络模块还可以执行下述操作：如果目标交通信号灯的特征信息中，有多个灯指示相同的通行信息，通过投票的方式从多个灯中确定目标灯；基于目标灯的特征信息，确定交通信号灯的场景特征。图神经网络模块的功能与其网络结构相关，采用不同的网络结构可以使图神经网络模块以不同的方式对特征信息进行处理。
步骤S212，将场景特征输入至时序模块，输出交通信号灯指示的车辆通行信息。
其中，上述时序模块可以由长短期记忆(Long short-term memory,LSTM)等循环神经网络实现，通过时序模块可以对场景信息进行处理，确定交通信号灯指示当前车辆在对应的交通路口怎样行驶，即上述车辆通行信息。
上述方法采用通过语义地图信息训练的决策网络对交通信号灯的图像信息及属性信息进行处理，提高了识别交通信号灯指示的车辆通行信息的准确度。
本发明实施例还提供了另一种交通信号灯的识别方法。该方法在图1所示的方法的基础上实现，其主要流程为：首先直接对车载图像障碍物检测，检测的结果会得到若干个障碍物的框，框中为障碍物的所在区域；的带类别属于交通灯的框后做更进一步的属性识别，其中包括颜色，形状，数字灯泡灯等属性；将所有的检测结果输入至时序决策模型(相当于上述“决策网络”)中得到最终的输出结果(即上述“车辆通行信息”)。其中，输出结果包括左转,直行,右转,uturn等四个方向的状态,每个状态可能的表达为红灯亮,黄灯亮,绿灯亮,绿灯闪或黄灯闪。
其中，时序决策模型的训练数据主要来源于自动驾驶级别L4的车载数据，即由另一套基于规则和模型的解决方案流程生成的数据，从而达到一种自监督学习，以及知识蒸馏的效果。
参照图3所示的流程图，下面对该方法的各个步骤进行具体说明：
步骤S302:采用深度学习方法对车载相机图像中的障碍物进行检测和识别。
该步骤可以检测到障碍物的位置和类别信息，主要用于确定车载相机图像中的交通信号灯的位置。在执行该步骤前需要训练一个基于深度学习理论建立的障碍物检测模型：首先采用车载相机采集在道路行驶中的数据作为样本，并在相机图像中进行障碍物的标注；然后通过对标注的样本数据训练障碍物检测模型的参数和输出。这里的模型可以是传统的机器学习算法，比如逻辑回归，支持向量机，也可以是深度学习算法，比如深度卷积神经网络。
在确定交通信号灯对应的目标区域时，也可以基于本车位置信息去询问语义地图从而获知提前标注好交通信号灯的3D位置信息，通过坐标变换将3D坐标转换为图像的2D坐标，从而得到兴趣区域来作为步骤S304的输入。
步骤S304:根据步骤S302的检测结果中属性为红绿灯的障碍物框，将该部分提取出来进行进一步的检测和识别得到红绿灯的具体属性。
把步骤S302中的检测结果中类别为交通灯的障碍物的所在区域从原始的车载相机拍摄的图像提取出来作为一个类似于兴趣区域的目标区域,作为为交通灯属性识别器的输入,得到更进一步的细节信息，如，交通信号灯的灯泡的位置，形状，颜色，数字，置信度等属性。
关于交通灯属性识别器的实现，也是一个常见的检测和识别任务，具体训练过程的实现流程类似步骤S302中，只不过输入以及优化的目标稍有出入。模型也是会采用一些常见的检测网络：如faster-rcnn,yolo等
步骤S306:采用深度学习的方法对步骤S304中得到的一组红绿灯的属性进行时序上的判断，得到识别结果。
该部分主要是将步骤S304中得到的红绿灯属性输入至一个端到端的决策网络，得到最终的识别结果。该决策网络主要包括特征提取器(相当于上述“特征提取模块”)、图神经网络(相当于上述“图神经网络模块”)及时序模型(相当于上述“时序模块”)，该网络中各个模块的具体功能如下：
特征提取器模块，主要是对得到的红绿灯属性，以及红绿灯本身所对应的图像进行一个特征提取的操作，常见的做法是结合多层感知机以及卷积神经网络进特征提取。该过程主要对图像提取更高维的信息,具体能提取那些信息取决于特征提取器模块的训练过程。
图神经网络模块，该模块是希望能通过红绿灯之间的空间关系，以及相互作用关系来判断出该红绿灯是否是本车行驶过程中是否需要关注或参考的。为后续的时序模块提取更多的场景特征。图神经网络模块在设计过程中，侧重于学习多个灯之间的交互关系；如当前路口的灯和下一个路口的灯在空间位置上有明显的差异,而通过网络的学习会更侧重采用前排灯的效果；如果多个灯同时有左转的颜色表达,模型可以从中学出类似投票的结果。实际得到的场景特征可以表示为一个张量。
时序模型，该模块是基于图神经网络模块提取到的场景特征进行时序上的学习，并得到包含时序信息的最终输出结果，如红灯亮，黄灯亮，绿灯亮，绿灯闪，黄灯闪等状态。常见的方法有循环神经网络，LSTM，transformer等网络。
上述三个模块为一个决策网络的核心组件；在具体实现过程中，可以采用如图4所示的网络结构，首先将检测到的属性信息(detection results)及目标区域(images)分别通过编码层(encoder)进行编码处理，然后通过特征融合层(contact)进行融合处理，处理后的特征信息通过向量映射层(embedding)进行映射处理，进而通过图神经网络(GCN)学习交通灯之间的空间关系，得到相关的场景特征，然后通过Transformer或LSTM网络对场景特征进行处理，得到处理结果，最后对处理结果进行解码(decoder)处理，将得到的车辆通行信息输出(output)。
该网络的训练方法也是以监督学习为主，只是真值来自于L4车载交通灯模块的输出结果，即相当于用一个基于规则和模型的混合流程来监督一个存模型的网络，这样既节省了标注成本，也提高了数据迭代效率。
上述方法相较于自动驾驶级别为L2或L3的传统交通信号灯识别方式，流程更加简洁，工程实现以及维护上更加轻松，模型数据获取的成本大大降低，且不需要依赖任何除视觉以外的类似语义地图这样的额外辅助模块。
对应于上述方法实施例，本发明实施例提供了一种交通信号灯的识别装置，如图5所示，该装置包括：
属性信息获取模块500，用于获取目标图像中的交通信号灯的属性信息；交通信号灯位于目标图像的目标区域中；
通行信息确定模块502，用于通过预先训练完成的决策网络对属性信息及目标区域进行处理，确定交通信号灯的场景信息，基于场景信息确定交通信号灯指示的车辆通行信息；场景信息包括：交通信号灯中每个灯的空间关系和/或相互作用关系；其中，决策网络的训练数据包括语义地图信息。
进一步地，上述通行信息确定模块还用于：将属性信息和目标区域输入至预先训练完成的决策网络；其中，决策网络包括特征提取模块、图神经网络模块及时序模块；通过特征提取模块对属性信息及目标区域进行特征提取处理，得到特征信息；特征信息中包括交通信号灯中每个灯的空间关系；通过图神经网络模块对特征信息进行特征提取处理，得到交通信号灯的场景特征；场景特征中包括交通信号灯中每个灯的相互作用关系；将场景特征输入至时序模块，输出交通信号灯指示的车辆通行信息。
进一步地，上述通行信息确定模块还用于：将特征信息输入至图神经网络模块，以通过图神经网络模块执行下述操作：如果特征信息中包括多个交通信号灯的特征信息，基于特征信息指示的多个交通信号灯的空间位置关系，确定位于车辆所在路口的目标交通信号灯；基于目标交通信号灯的特征信息，确定交通信号灯的场景特征。
进一步地，上述通行信息确定模块还用于：将特征信息输入至图神经网络模块，以通过图神经网络模块执行下述操作：如果目标交通信号灯的特征信息中，有多个灯指示相同的通行信息，通过投票的方式从多个灯中确定目标灯；基于目标灯的特征信息，确定交通信号灯的场景特征。
进一步地，上述装置还包括决策网络训练模块，用于：从预设的样本集合中确定训练数据；训练数据包括包含交通信号灯的样本区域图像、样本区域图像中交通信号灯的特征信息，以及样本区域图像中交通信号灯对应的车辆通行信息；样本区域图像，预先基于语义地图信息从样本图像中检测得到；将样本区域图像及样本区域图像中交通信号灯的特征信息输入至初始模型中，得到初始模型输出的处理结果；基于处理结果以及样本区域图像中交通信号灯对应的车辆通行信息，确定初始模型的损失值；基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为决策网络。
进一步地，上述属性信息获取模块还用于：从目标图像中获取目标区域；其中，目标区域中包括交通信号灯；识别目标区域中的交通信号灯的属性信息。
进一步地，上述属性信息获取模块还用于：将目标图像输入至预先训练完成的障碍物识别模型，输出目标图像中每个障碍物在目标图像中的位置区域和障碍物的类别；将类别为交通信号灯的障碍物在目标图像中的位置区域，确定为目标区域。
进一步地，上述属性信息获取模块还用于：获取拍摄目标图像的车辆的车辆位置；从语义地图中获取车辆位置指定范围内的交通信号灯的位置；基于交通信号灯在语义地图中的位置，确定交通信号灯在目标图像中的位置区域；将交通信号灯在目标图像的位置区域，确定为目标区域。
本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述交通信号灯的识别方法。
参见图6所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的机器可执行指令，该处理器100执行机器可执行指令以实现上述交通信号灯的识别方法。
进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。
其中，存储器101可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。
本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述交通信号灯的识别方法。
本发明实施例所提供的一种交通信号灯的识别方法、装置以及电子设备，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种交通信号灯的识别方法，其特征在于，所述方法包括：
获取目标图像中的交通信号灯的属性信息；所述交通信号灯位于所述目标图像的目标区域中；
通过预先训练完成的决策网络对所述属性信息及所述目标区域进行处理，确定所述交通信号灯的场景信息，基于所述场景信息确定所述交通信号灯指示的车辆通行信息；所述场景信息包括：所述交通信号灯中每个灯的空间关系和/或相互作用关系；其中，所述决策网络的训练数据包括语义地图信息；
确定所述交通信号灯的场景信息，基于所述场景信息确定所述交通信号灯指示的车辆通行信息的步骤，包括：
将所述属性信息和所述目标区域输入至预先训练完成的决策网络；其中，所述决策网络包括特征提取模块、图神经网络模块及时序模块；
通过所述特征提取模块对所述属性信息及所述目标区域进行特征提取处理，得到特征信息；所述特征信息中包括所述交通信号灯中每个灯的空间关系；
通过所述图神经网络模块对所述特征信息进行特征提取处理，得到所述交通信号灯的场景特征；所述场景特征中包括所述交通信号灯中每个灯的相互作用关系；
将所述场景特征输入至所述时序模块，输出所述交通信号灯指示的车辆通行信息；
通过所述图神经网络模块对所述特征信息进行特征提取处理，得到所述交通信号灯的场景特征的步骤，包括：
将所述特征信息输入至所述图神经网络模块，以通过所述图神经网络模块执行下述操作：
如果所述特征信息中包括多个交通信号灯的特征信息，基于所述特征信息指示的多个所述交通信号灯的空间位置关系，确定位于车辆所在路口的目标交通信号灯；
基于所述目标交通信号灯的特征信息，确定所述交通信号灯的场景特征；
如果所述目标交通信号灯的特征信息中，有多个灯指示相同的通行信息，通过投票的方式从所述多个灯中确定目标灯；
基于所述目标灯的特征信息，确定所述交通信号灯的场景特征。
2.根据权利要求1所述的方法，其特征在于，所述决策网络通过下述方式训练得到：
从预设的样本集合中确定训练数据；所述训练数据包括包含交通信号灯的样本区域图像、所述样本区域图像中所述交通信号灯的特征信息，以及所述样本区域图像中所述交通信号灯对应的车辆通行信息；所述样本区域图像，预先基于语义地图信息从样本图像中检测得到；
将所述样本区域图像及所述样本区域图像中所述交通信号灯的特征信息输入至初始模型中，得到初始模型输出的处理结果；
基于所述处理结果以及所述样本区域图像中所述交通信号灯对应的车辆通行信息，确定所述初始模型的损失值；基于所述损失值更新所述初始模型的模型参数；
继续执行从预设的样本数据中确定训练数据的步骤，直至所述损失值收敛，将损失值收敛后的初始模型确定为决策网络。
3.根据权利要求1所述的方法，其特征在于，获取目标图像中的交通信号灯的属性信息的步骤，包括：
从目标图像中获取目标区域；其中，所述目标区域中包括交通信号灯；
识别所述目标区域中的交通信号灯的属性信息。
4.根据权利要求3所述的方法，其特征在于，从目标图像中获取目标区域的步骤，包括：
将目标图像输入至预先训练完成的障碍物识别模型，输出所述目标图像中每个障碍物在所述目标图像中的位置区域和所述障碍物的类别；
将所述类别为交通信号灯的障碍物在所述目标图像中的位置区域，确定为所述目标区域。
5.根据权利要求3所述的方法，其特征在于，从所述目标图像中获取目标区域的步骤，包括：
获取拍摄所述目标图像的车辆的车辆位置；
从所述语义地图中获取所述车辆位置指定范围内的交通信号灯的位置；
基于所述交通信号灯在所述语义地图中的位置，确定所述交通信号灯在所述目标图像中的位置区域；
将所述交通信号灯在所述目标图像的位置区域，确定为所述目标区域。
6.一种交通信号灯的识别装置，其特征在于，所述装置包括：
属性信息获取模块，用于获取目标图像中的交通信号灯的属性信息；所述交通信号灯位于所述目标图像的目标区域中；
通行信息确定模块，用于通过预先训练完成的决策网络对所述属性信息及所述目标区域进行处理，确定所述交通信号灯的场景信息，基于所述场景信息确定所述交通信号灯指示的车辆通行信息；所述场景信息包括：所述交通信号灯中每个灯的空间关系和/或相互作用关系；其中，所述决策网络的训练数据包括语义地图信息；
所述通行信息确定模块还用于：
将所述属性信息和所述目标区域输入至预先训练完成的决策网络；其中，所述决策网络包括特征提取模块、图神经网络模块及时序模块；
通过所述特征提取模块对所述属性信息及所述目标区域进行特征提取处理，得到特征信息；所述特征信息中包括所述交通信号灯中每个灯的空间关系；
通过所述图神经网络模块对所述特征信息进行特征提取处理，得到所述交通信号灯的场景特征；所述场景特征中包括所述交通信号灯中每个灯的相互作用关系；
将所述场景特征输入至所述时序模块，输出所述交通信号灯指示的车辆通行信息；
所述通行信息确定模块还用于：
将所述特征信息输入至所述图神经网络模块，以通过所述图神经网络模块执行下述操作：
如果所述特征信息中包括多个交通信号灯的特征信息，基于所述特征信息指示的多个所述交通信号灯的空间位置关系，确定位于车辆所在路口的目标交通信号灯；
基于所述目标交通信号灯的特征信息，确定所述交通信号灯的场景特征；
如果所述目标交通信号灯的特征信息中，有多个灯指示相同的通行信息，通过投票的方式从所述多个灯中确定目标灯；
基于所述目标灯的特征信息，确定所述交通信号灯的场景特征。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-5任一项所述的交通信号灯的识别方法。
8.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-5任一项所述的交通信号灯的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210161879.2A CN114694112B (zh) | 2022-02-22 | 2022-02-22 | 交通信号灯的识别方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210161879.2A CN114694112B (zh) | 2022-02-22 | 2022-02-22 | 交通信号灯的识别方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114694112A CN114694112A (zh) | 2022-07-01 |
| CN114694112B true CN114694112B (zh) | 2024-06-21 |
Family
ID=82137786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210161879.2A Active CN114694112B (zh) | 2022-02-22 | 2022-02-22 | 交通信号灯的识别方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114694112B (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015005222A1 (de) * | 2015-04-23 | 2015-12-10 | Daimler Ag | Verfahren zum Ermitteln wenigstens einer für ein Fahrzeug relevanten Ampel |
| CN109508580B (zh) * | 2017-09-15 | 2022-02-25 | 阿波罗智能技术(北京)有限公司 | 交通信号灯识别方法和装置 |
| CN110570672B (zh) * | 2019-09-18 | 2020-12-01 | 浙江大学 | 一种基于图神经网络的区域交通信号灯控制方法 |
| WO2021134348A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 交通灯状态识别方法、装置、计算机设备和存储介质 |
| CN112330961B (zh) * | 2020-11-03 | 2022-11-08 | 厦门理工学院 | 一种基于时序规律的交通指示红黄绿灯的图像识别方法 |
| CN112489464B (zh) * | 2020-11-19 | 2022-06-28 | 天津大学 | 一种具有位置感知的路***通信号灯调控方法 |
-
2022
- 2022-02-22 CN CN202210161879.2A patent/CN114694112B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| Traffic Sign Detection Using a Multi-Scale Recurrent Attention Network;Yan Tian et al;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEM S》;20190101;第20卷(第12期);第4466-4475页 * |
| 基于深度学习的交通信号灯检测与识别方法研究;崔灿;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115;第21-49页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114694112A (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN109508580B (zh) | 交通信号灯识别方法和装置 | |
| US10984659B2 (en) | Vehicle parking availability map systems and methods | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及***、电子装置及存储介质 | |
| CN113936198B (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
| CN106845487A (zh) | 一种端到端的车牌识别方法 | |
| KR101935010B1 (ko) | 영상 기반 차량 번호판 인식 장치 및 방법 | |
| CN109034086B (zh) | 车辆重识别方法、装置及*** | |
| CN110751099A (zh) | 一种基于深度学习的无人机航拍视频轨迹高精度提取方法 | |
| CN111079563A (zh) | 交通信号灯识别方法、装置、电子设备和存储介质 | |
| CN111295666A (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| CN110991215A (zh) | 车道线检测方法、装置、存储介质及电子设备 | |
| CN116107591A (zh) | 基于corner cases的部署模型构建方法 | |
| CN112232368A (zh) | 目标识别模型训练方法、目标识别方法及其相关装置 | |
| CN112052907A (zh) | 基于图像边缘信息的目标检测方法、装置及存储介质 | |
| CN109635701B (zh) | 车道通行属性获取方法、装置和计算机可读存储介质 | |
| CN111339834B (zh) | 车辆行驶方向的识别方法、计算机设备及存储介质 | |
| EP3764335A1 (en) | Vehicle parking availability map systems and methods | |
| CN114694112B (zh) | 交通信号灯的识别方法、装置及电子设备 | |
| CN116721396A (zh) | 车道线检测方法、设备及存储介质 | |
| CN113435232A (zh) | 一种物体的检测方法、装置、设备及存储介质 | |
| CN116259021A (zh) | 一种车道线检测方法、存储介质和电子设备 | |
| CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN117710755B (zh) | 一种基于深度学习的车辆属性识别***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |