CN115116035A - 一种基于神经网络的道路交通灯识别***及方法 - Google Patents
一种基于神经网络的道路交通灯识别***及方法 Download PDFInfo
- Publication number
- CN115116035A CN115116035A CN202210708301.4A CN202210708301A CN115116035A CN 115116035 A CN115116035 A CN 115116035A CN 202210708301 A CN202210708301 A CN 202210708301A CN 115116035 A CN115116035 A CN 115116035A
- Authority
- CN
- China
- Prior art keywords
- traffic light
- road
- target position
- neural network
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了智能辅助驾驶技术领域的一种基于神经网络的道路交通灯识别***及方法,包括:获取车辆前方的道路图像数据;将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。本发明对交通灯倒计时数字的识别提供较为精准的判定,以供智能汽车从容应对路口复杂环境。
Description
技术领域
本发明涉及一种基于神经网络的道路交通灯识别***及方法,属于智能辅助驾驶技术领域。
背景技术
随着城市交通的发展以及科技水平的进步,汽车的智能化已然成为近几年各大车企的重点发展方向。各车企都尽可能采取各种智能化的设备和技术来提高汽车的主动安全性能,增加乘客的舒适性。其中交通灯识别***有着重要应用价值。然而实现一个真正实用的交通灯识别***难度很高,原因如下:一是交通灯识别方法面临的是一个开放的复杂环境,需要考虑多变光照和路口距离造成的大小变化等因素;二是交通灯识别方法由于应用场景必须要做到实时运行才有意义。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种基于神经网络的道路交通灯识别***及方法,对交通灯倒计时数字的识别提供较为精准的判定,以供智能汽车从容应对路口复杂环境。
为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种基于神经网络的道路交通灯识别方法,包括:
获取车辆前方的道路图像数据;
将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;
结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;
根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。
进一步的,所述道路图像数据由安装在车辆上的车载单目摄像头在车辆行驶过程中采集得到。
进一步的,所述红绿灯检测神经网络框架使用yolov5的检测框架,且其网络输出为一层特征图,所述交通灯目标位置信息由所述特征图中解码得到交通灯目标位置信息和类型识别信息。
进一步的,结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块,包括:在道路图像数据中,根据交通灯目标位置信息设置中心点及目标框,获得相应的交通灯图像块,其中,所述交通灯目标位置信息的左上点、右下点坐标分别为(x1,y1)、(x2,y2),所述中心点为 所述目标框的宽高均为T=1.1*(max(W,H)),W=(x2-x1)且H=(y2-y1),将交通灯图像块归一化缩放到分类网络所需要的大小。
进一步的,所述红绿灯识别多头网络模型包含圆形灯体识别任务、箭头灯体识别任务和倒计时时间识别任务,且各个任务分别设置训练集及验证集,作为不同的数据层分别送入网络中进行前传计算,每次前传获得相应任务的loss,将三个任务的loss进行加权求和后再进行反传迭代网络参数,最终获得所述红绿灯识别多头网络模型。
第二方面,本发明提供了一种基于神经网络的道路交通灯识别***,包括:
数据获取模块:用于获取车辆前方的道路图像数据;
红绿灯识别模块:用于将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;
图像块获取模块:用于结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;
信息状态识别模块:用于根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。
第三方面,本发明提供了一种基于神经网络的道路交通灯识别装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比,本发明所达到的有益效果:
本发明旨在通过神经网络技术融合目标检测及目标分类方法,首先通过检测的方法对交通灯进行较为细致的划分,再利用分类的方法来识别具体的灯光同时过滤出一些错误的检测结果,最后利用OCR的识别方式来进行交通灯倒计时数字的识别来做到精准判定,以提升整个***的鲁棒性,以供智能汽车从容应对路口复杂环境,更精准的完成加减速,启停等操作,此外通过红绿灯的判定的路口场景,也可以辅助车辆对相应的ADAS算法进行特殊的场景微调,细化安全等级调优。提供先验场景知识,帮助车辆针对特殊场景进行不同安全等级的调优,进而给出更精准的报警预测。
附图说明
图1是本发明实施例一提供的基于神经网络的道路交通灯识别方法流程图;
图2是本发明实施例一提供的摄像头安装位置示意图;
图3是本发明实施例一提供的场景演示中采集图像示例示意图;
图4是本发明实施例一提供的交通灯主体类型示意图;
图5是本发明实施例一提供的网络输出更改示意图;
图6是本发明实施例一提供的灯体分类示意图;
图7是本发明实施例一提供的识别模块网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例一:
一种基于神经网络的道路交通灯识别方法,请参阅图1,该方法主要分为三个部分:道路图像获取,道路红绿灯检测,红绿灯识别。第一步,我们通过车载摄像头实时获取本车正前方的不同道路图像数据,第二步,将获取的图像送入已经训练好的红绿灯检测神经网络框架中获取道路中红绿灯的位置信息及类别信息,第三步,根据车辆位置信息及分类图像预处理方法获取相应的Patch,第四步,根据类别信息将Patch送入红绿灯识别网络便可以得到相应的红绿灯的状态以及部分倒计时信息。
(1)图像获取
把车载单目摄像头安装在车窗玻璃上,采集车辆行驶过程中本车正前方的车况信息。采集图片的输入尺寸为1920*1080P,摄像头装置位置如图2所示,场景演示中采集图像示例如图3所示。
(2)交通灯检测
请参阅图4,根据路面上常见的各种交通灯主体,首先在检测阶段就进行类别的细化,尽可能同时检测出灯框及灯体,以方便后续进行相对关系的判定,进一步的明确其是否为本车所需关注的信号。交通灯检测使用yolov5的检测框架,采用MobileNetV2做为Backbone,保证轻量化网络参数的同时获得不错的检测性能。
请参阅图5,由于交通灯的距离均较远,成像尺寸较小,我们通过对Yolov5head网络输出进行修改,从三层不同大小的特征图精简为一层较大的特征图,减少了网络的深度同时单层的较大尺寸特征图更聚焦于各种小尺寸的目标,最后从特征图中解码出对应的目标位置及其类别,保证了交通灯的检测维持在较高的召回率。
(3)交通灯识别
由于交通灯检测中已经将交通灯进行了不同类别的区分,需要对不同类别的主体和灯体分别进行分类及识别。
(a)灯体分类
请参阅图6,本方案针对检测的交通灯结果进行如下的类别区分:
1、圆形灯体:主要进行颜色的区分,红、黄、绿;
2、箭头灯体:根据颜色以及不同的箭头方向进行细致化类别划分。
(b)数字识别
由于不同交通灯倒计时数字会有不同的位数问题,造成识别工作并不能简单的直接进行分类,我们使用了CTC的解码方式,将样本的输出对齐,对其中的每一位数字进行单独的分类,最后组合成最终的倒计时时间。
预处理:
由于图像中各灯体的尺寸不一,必须进行归一化处理后才能送入分类网络中前传获得结果。
该方法从交通灯检测部分获得某灯体的位置信息,其中(x1,y1)、(x2,y2)代表其左上点、右下点坐标,中心点的计算方式为检测框宽度W=(x2-x1),检测框高度H=(y2-y1)。然后采用宽高中的最大值外扩1.1倍做为新的目标框的宽高T=1.1*(max(W,H)),根据中心点P及目标框T来获取相应的Patch(交通灯图像块),最后将Patch归一化缩放到分类网络所需要的大小。
多头网络:
由于交通灯的识别过程中,圆形灯体、箭头灯体、倒计时时间识别属于互斥的任务,做为不同的任务分别进行模型的训练会造成大量的计算资源损失,不利于实现***的实时运行。所以我们针对此三类任务使用相同的网络Backbone,利用多头网络输出的方式统一到一个模型中。
为了保证各个任务的的精度,需要分别设置训练集及验证集,做为不同的数据层分别送入网络中进行前传计算,每次前传获得相应任务的loss,将三个任务的loss进行加权求和后再进行反传迭代网络参数,最终获得一个多任务的综合模型。
实施例二:
一种基于神经网络的道路交通灯识别***,可实现实施例一所述的一种基于神经网络的道路交通灯识别方法,包括:
数据获取模块:用于获取车辆前方的道路图像数据;
红绿灯识别模块:用于将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;
图像块获取模块:用于结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;
信息状态识别模块:用于根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。
实施例三:
本发明实施例还提供了一种基于神经网络的道路交通灯识别装置,可实现实施例一所述的一种基于神经网络的道路交通灯识别方法,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行下述方法的步骤:
获取车辆前方的道路图像数据;
将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;
结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;
根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。
实施例四:
本发明实施例还提供了一种计算机可读存储介质,可实现实施例一所述的一种基于神经网络的道路交通灯识别方法,其上存储有计算机程序,该程序被处理器执行时实现下述方法的步骤:
获取车辆前方的道路图像数据;
将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;
结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;
根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于神经网络的道路交通灯识别方法,其特征是,包括:
获取车辆前方的道路图像数据;
将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;
结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;
根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。
2.根据权利要求1所述的基于神经网络的道路交通灯识别方法,其特征是,所述道路图像数据由安装在车辆上的车载单目摄像头在车辆行驶过程中采集得到。
3.根据权利要求1所述的基于神经网络的道路交通灯识别方法,其特征是,所述红绿灯检测神经网络框架使用yolov5的检测框架,且其网络输出为一层特征图,所述交通灯目标位置信息由所述特征图中解码得到交通灯目标位置信息和类型识别信息。
5.根据权利要求1所述的基于神经网络的道路交通灯识别方法,其特征是,所述红绿灯识别多头网络模型包含圆形灯体识别任务、箭头灯体识别任务和倒计时时间识别任务,且各个任务分别设置训练集及验证集,作为不同的数据层分别送入网络中进行前传计算,每次前传获得相应任务的loss,将三个任务的loss进行加权求和后再进行反传迭代网络参数,最终获得所述红绿灯识别多头网络模型。
6.一种基于神经网络的道路交通灯识别***,其特征是,包括:
数据获取模块:用于获取车辆前方的道路图像数据;
红绿灯识别模块:用于将道路图像数据送入已经训练好的红绿灯检测神经网络框架,进行交通灯目标位置检测及类型识别,得到交通灯目标位置信息和类型识别信息;
图像块获取模块:用于结合交通灯目标位置信息和分类图像预处理方法,在道路图像数据中获得相应的交通灯图像块;
信息状态识别模块:用于根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型,得到相应的红绿灯的状态以及倒计时信息。
7.一种基于神经网络的道路交通灯识别装置,其特征是,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~5任一项所述方法的步骤。
8.计算机可读存储介质,其上存储有计算机程序,其特征是,该程序被处理器执行时实现权利要求1~5任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210708301.4A CN115116035A (zh) | 2022-06-22 | 2022-06-22 | 一种基于神经网络的道路交通灯识别***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210708301.4A CN115116035A (zh) | 2022-06-22 | 2022-06-22 | 一种基于神经网络的道路交通灯识别***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115116035A true CN115116035A (zh) | 2022-09-27 |
Family
ID=83329232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210708301.4A Pending CN115116035A (zh) | 2022-06-22 | 2022-06-22 | 一种基于神经网络的道路交通灯识别***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115116035A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117474905A (zh) * | 2023-12-26 | 2024-01-30 | 广东贝洛新材料科技有限公司 | 材料性能检测方法、装置、设备及存储介质 |
CN117496486A (zh) * | 2023-12-27 | 2024-02-02 | 安徽蔚来智驾科技有限公司 | 红绿灯形状识别方法、可读存储介质及智能设备 |
-
2022
- 2022-06-22 CN CN202210708301.4A patent/CN115116035A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117474905A (zh) * | 2023-12-26 | 2024-01-30 | 广东贝洛新材料科技有限公司 | 材料性能检测方法、装置、设备及存储介质 |
CN117496486A (zh) * | 2023-12-27 | 2024-02-02 | 安徽蔚来智驾科技有限公司 | 红绿灯形状识别方法、可读存储介质及智能设备 |
CN117496486B (zh) * | 2023-12-27 | 2024-03-26 | 安徽蔚来智驾科技有限公司 | 红绿灯形状识别方法、可读存储介质及智能设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及*** | |
CN105160309B (zh) | 基于图像形态学分割及区域生长的三车道检测方法 | |
CN115116035A (zh) | 一种基于神经网络的道路交通灯识别***及方法 | |
CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
CN108269407B (zh) | 一种自动管理人流、物流的安防机器人 | |
CN107506760A (zh) | 基于gps定位与视觉图像处理的交通信号检测方法及*** | |
CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
CN109993138A (zh) | 一种车牌检测与识别方法及装置 | |
CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
Riaz et al. | YOLO based recognition method for automatic license plate recognition | |
CN106934374A (zh) | 一种雾霾场景中交通标识牌的识别方法及*** | |
CN112949578B (zh) | 车灯状态识别方法、装置、设备及存储介质 | |
CN103544480A (zh) | 车辆颜色识别方法 | |
CN111695565A (zh) | 基于道路关卡模糊图像的汽车标志精准定位方法 | |
CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
CN111860219B (zh) | 一种高速占道判断方法、装置及电子设备 | |
CN111444916A (zh) | 面向无约束条件下的车牌定位及识别方法、*** | |
CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
CN111814667A (zh) | 一种智能路况识别方法 | |
Sung et al. | Real-time traffic light recognition on mobile devices with geometry-based filtering | |
CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
CN111723695A (zh) | 基于改进的Yolov3驾驶员关键子区域识别和定位方法 | |
CN207115438U (zh) | 用于车载鱼眼相机的图像处理装置 | |
CN112183485B (zh) | 基于深度学习的交通锥桶检测定位方法、***及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |