CN113158810A - 一种基于ENet改进的轻量实时车道线分割方法 - Google Patents

一种基于ENet改进的轻量实时车道线分割方法 Download PDF

Info

Publication number
CN113158810A
CN113158810A CN202110314107.3A CN202110314107A CN113158810A CN 113158810 A CN113158810 A CN 113158810A CN 202110314107 A CN202110314107 A CN 202110314107A CN 113158810 A CN113158810 A CN 113158810A
Authority
CN
China
Prior art keywords
lane line
convolution
enet
channel
line segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110314107.3A
Other languages
English (en)
Inventor
夏亮明
崔滢
田苗
郭东岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110314107.3A priority Critical patent/CN113158810A/zh
Publication of CN113158810A publication Critical patent/CN113158810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于ENet改进的轻量实时车道线分割方法，所述方法包括以下步骤：(1)将ENet卷积分解：将其每一个二维卷积拆分成两个一维卷积；(2)空间分离卷积模块的每个一维卷积核通道拆分为两组，一个256通道数核拆分成两个128通道核，最后再融合为一组；再经过一个3×3的卷积并随机打乱通道，使两组通道学习到的信息充分共享和通信；(3)在编码器和解码器增加两条跳跃连接，设置概率预测分支用于预测车道线存在的概率，根据设定的阈值判断某车道的车道线是否存在；完成车道线分割网络LRTNet的构建；(4)将车道线图片输入到所述车道线分割网络LRTNet，输出车道线分割结果。本发明精度较高，成本低，鲁棒性强。

Description

一种基于ENet改进的轻量实时车道线分割方法
技术领域
本发明涉及车辆自动驾驶领域，尤其涉及车道线实时语义分割方 法。
背景技术
汽车为人们交通出行带来了巨大的便利，但伴随着汽车数量的增 加，发生交通事故的次数也在与日俱增，交通事故对人生安全造成极 大的威胁，是我国人群伤害死亡首因。因此开发高级辅助驾驶***的 是有效降低交通事故发生率的手段，而车道线分割是该***最基础、 最核心的功能之一，且非常具有挑战性。
如何精确的识别、分割车道线是高级辅助驾驶***的核心技术问 题，目前广泛使用的技术主要是在车辆多个部位安装传感器、摄像头 等获取车道路面信息，再结合传统图像处理方法(边缘检测、霍夫变 换、直线拟合等)或者结合激光扫描、三维点云，然而传统的处理方 法对图像质量、场景环境要求较高，对光照变化、目标遮挡、背景干 扰极为敏感，在复杂的城市道路上分割精度低，鲁棒性差，使用场景 受限。而基于激光雷达、扫描仪的方法成本昂贵，对车道线质量要求 高。
随着计算机GPU算力的不断提升，深度学习技术发展迅速，并在 多个应用领域取得突破性成功，其中就包括车道线分割领域，涌现出 众多优秀车道线检测算法，比如Xingang Pan等人提出的SCNN，利 用卷积层空间信息传递解决车道线形状细长、外观线索少带来的精度 低问题；Gansbeke等人提出带权重可微的最小二乘拟合算法，将传统 算法引入了卷积网络，使其可以自动学习车道线的拟合参数。尽管这 些算法在车道线基准数据集上取得客观分割结果，但其分割速度非常 慢，SCNN仅仅7FPS，远远无法满足实时性要求。
发明内容
为了克服车道线分割方法的不足，本发明提供一种基于ENet改进 的车道线实时分割网络，利用多种策略对ENet网络结构进行改进，满 足实时性要求的同时在车道线基准数据集CULane取得较高的精度，且 可部署在行车记录仪上，成本低，鲁棒性强。
本发明解决其技术问题所采用的技术方案是：
一种基于ENet改进的轻量实时车道线分割方法，所述方法包括 以下步骤：
(1)将ENet卷积分解：将其每个二维卷积拆分成两个一维卷积；
(2)将ENet所有卷积通道分离再融合、打乱：空间分离卷积模 块的每个一维卷积核通道拆分为两组，一个256通道数核拆分成两个 128通道核，最后再融合为一组；再经过一个3×3的卷积并随机打乱 通道，使两组通道学习到的信息充分共享和通信；
(3)在编码器和解码器增加两条跳跃连接，设置概率预测分支用 于预测车道线存在的概率，根据设定的阈值判断某车道的车道线是否 存在；
至此，完成车道线分割网络LRTNet的构建；
(4)将车道线图片输入到所述车道线分割网络LRTNet，输出车 道线分割结果。
进一步，所述步骤(2)中，引入不同尺寸的空洞卷积。空洞卷积 与普通卷积具有相同的计算量但拥有更大的感受野，这非常适合于图 像中车道线这类形状细长，外观线索少、空间跨度大的目标。
再进一步，所述方法还包括以下步骤：
(5)将设计的车道线分割网络放在CULane上训练和测试。
本发明中，分割领域不断朝着快速、轻量、实时的方向前进，出 现一些优秀的轻量实时分割网络，比如ENet，在输入分辨率为 1280×720的图像情况下，可以获得50FPS的分割速度，其网络结果 如表1所示。
Figure BDA0002990425940000031
表1
表1中第一列表示网络层数，第二列表示该层结构类型，第三列表 示该层输出特征图的尺寸，第四列为输出通道数。从表中可以看出 ENet总共21层，可分为三大模块，即初始化模块(Initial)(第1层)、 编码模块(2-15层)、解码模块(16-21层)，编码模块包括bottleneck1、bottleneck2两部分；解码模块包括bottleneck4、bottleneck5、fullconv 三部分；其中bottleneck是作者设计的新型瓶颈结构层，该结构中可 以引入普通卷积、空洞卷积、反卷积；fullconv是一个普通转置卷积 层，因其模型精简、拓展性强，被选为本发明参考网络，本发明主要 对其bottleneck结构进行改进。
本发明的有益效果主要表现在：满足实时性要求的同时在车道线 基准数据集CULane取得较高的精度，且可部署在行车记录仪上，成 本低，鲁棒性强。
附图说明
图1是卷积分解示意图；
图2是空间分离卷积结构示意图；
图3是组卷积结构示意图；
图4是SCS-fc模块结构示意图；
图5是LRTNet网络结构；
图6是CULane数据集样例；
图7是不同算法分割结果对比图；
图8是CULane不同场景可视化测试结果图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图8，一种基于ENet改进的轻量实时车道线分割方法， 所述改进方法包括以下步骤：
(1)将ENet卷积分解
一个普通的2维卷积可以拆分成两个1维卷积，如图1所示，一 个尺寸3×3的卷积核可以用尺寸3×1和1×3的两个卷积核替换，两 者具有相同的感受野。假设一个3×3的卷积矩阵为
Figure BDA0002990425940000051
则 理论上可以拆成矩阵为
Figure BDA0002990425940000052
和[1 2 3]两个1维卷积，因为
Figure BDA0002990425940000053
原本9个参数的卷积核被分解后，只有6个参数，据计算，一个3×3 卷积分离后可以减少33％的参数量。因此本发明将ENet网络中卷积 进行拆分，如图2所示。将图2(a)普通残差模块的每个尺寸3×3的 卷积拆成尺寸3×1和1×3两个卷积串联(图2(b)所示)，保持同样 的通道数。空间分离卷积模块的参数相比普通残差模块大幅减少，卷 积层的计算量为kH×kw×Cin×Cout，式中kH，kw分别表示卷积核的 高、宽，kH，kw分别表示输入、输出特征的通道数。对于图2中两种 结构的计算量见表2。
Figure BDA0002990425940000054
表2
表2可以看出，卷积分解之后，参数量从73K减小到49K。
(2)将ENet卷积通道分离再融合、打乱。
稀疏编码理论认为卷积操作时稠密的，全通道卷积是一种通道密 集连接方式，此类卷积网络学习到的参数信息存在部分冗余，将卷积 的通道分组可以缓解此问题。如图3所示。将(1)中设计的空间分离 卷积模块的每个1维卷积核通道拆分为两组，一个256通道数核拆分 成两个128通道核，最后再融合为一组，此方式是一种稀疏连接方式， 有利于提高网络的泛化能力，且能减小模型参数量，对于图3两种结 构计算量见表3。
Figure BDA0002990425940000061
表3
从表2可以看出，将通道分组只有参数量减小约一半。但分组卷 积的缺点是组与组之间没有传递的信息，这可能造成各组之间学习到 的特征差异较大，为此本发明采用通道打乱的思路，设计出一种特殊 通道分离融合结构，简称SCS-fc(Split-Concat-Shuffle-factorization) 模块，其结构如图4所示。
在两组通道合并之后，再经过一个3×3的卷积并随机打乱通道， 使两组通道学习到的信息充分共享、通信，减小两者特征差异；同时 引入不同尺寸的空洞卷积，空洞卷积与普通卷积具有相同的计算量但 拥有更大的感受野，这非常适合于图像中车道线这类形状细长，外观 线索少、空间跨度大的目标。
(3)增加跳跃连接和概率预测分支结构。参照U-net的长连接设 计，本发明设计的LRTNet网络也增加了跳跃连接，如图5所示。在 编码器和解码器增加两条跳跃连接(Skip-connections)，有利于缓解深 层网络梯度消失的问题。
概率预测分支，用于预测车道线存在的概率，根据设定的阈值(实 验中取0.5)判断某车道的车道线是否存在。部分噪点会被判断成车道 线点，但实际车道线并不存在，增加此分支有利于提高分割结果。图 5中解码器上支线结构P网络即为概率预测分支。
(4)将设计的车道线分割网络放在CULane上训练和测试。
图5便是本发明设计的轻量实时车道线分割网络LRTNet网络结构 图。其结构表如表4所示。
Figure BDA0002990425940000071
表4
从表4中可以看出，LRTNet总共23层，其中1-16层为编码器模 块，17-23为解码器模块，编码器相较解码器更大。假设原始输入图 像分辨率为360×640，经过预处理缩放至送进网络，和ENet一样， 首先经过初始化(Initial)(表1中第1层)模块减小图像尺寸；再经过下采样瓶颈模块(表1中第2层)，输出特征图分辨率为160×90，经 过两次下采样模块，保证模型精度的同时大大减小后续模块的网络计 算量；3-5层仍采用ENet的瓶颈结构普通卷积层，用于稳定初始特征 定位；6-7、9-16、18-19、21-22层为LRTNet设计的特殊通道分离融合结构SCS-fc模块(其结构如图4所示)，是基于ENet瓶颈结构的多 处改进，其中9-16层引入了空洞卷积的，膨胀率包含有2、4、8等， 其它SCS-fc层模块是普通卷积；17、20、23为解码器模块反卷积层， 用于恢复图像分辨率同时精细化特征边缘细节，23层使用普通串联结构反卷积恢复原分辨率图像。
LRTNet网络训练和测试过程如下：
a.数据集准备
本发明为验证LRTNet的有效性，将其放在车道线基准数据集 CULane上训练和测试。CULane是Xingang Pan等人在北京录制超过 55个小时的行车记录视频，采集共13万多张，其中8多万张作为训 练集，3万多张作为测试集，1万张验证集，包含多个场景，官方将其分为正常、拥堵、阴影、夜间等9类场景，数据部分样例如图6所示。
b.初始化模型参数：
首先设置网络的超参数，如表5所示。
Figure BDA0002990425940000081
表5
从表5可以看出，采用SGD随机梯度下降算法，动量(Momentum) 设置为0.9，学习率为0.01，训练周期为12epoch，批量大小(Batch Size) 为12。整个模型损失函数为：
Figure BDA0002990425940000082
其中
Figure BDA0002990425940000083
是分割损失，采用的交叉熵损失，
Figure BDA0002990425940000084
是判断 车道线是否存在的损失，采用均方误差损失，α为系数因子，用于平 衡两者，在实验中设置为0.1。
在训练之前，将CULane图片缩放至976×208送入LRTNet网络 训练。
c.实验结果对比与分析
精度对比：LRTNet在CULane上取得73.8的F1-Score值，其与 其它算法的对比结果见表6。
Figure BDA0002990425940000091
表6
表6中包括多个算法在CULane测试集不同场景取得的测试精度 以及总精度，可以看出，LRTNet具有最高的F1-Score值，且在正常、 夜晚、拥堵等多个场景取得最高精度。将其分割可视化结果与部分开 源算法对比如图7所示。从图7中可以看出LRTNet分割结果远胜于 ReNet、MRFNet、ResNet-101、略优于SCNN。
LRTNet在测试集上不同场景的分割结果如图8所示。图中可以看 出，即使在夜间、拥堵、高光、无线的场景，LRTNet仍然能精确分割 车道线。
速度对比：统一将不同算法放在CULane数据集上测试，输入尺 寸均为976×208，其模型速度性能对比见表7所示。
Figure BDA0002990425940000092
Figure BDA0002990425940000101
表7
从表7可以看出，本发明设计的LRTNet帧率接近50，满足实时 性要求，速度是SCNN的7倍，且具有最高的分割精度。
通过以上实验对比和分析，可以证明本发明所设计的轻量实时车道 线检测算法LRTNet网络的有效性。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列 举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例 所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员 根据本发明构思所能想到的等同技术手段。

Claims (3)

1.一种基于ENet改进的轻量实时车道线分割方法，其特征在于，所述方法包括以下步骤：
(1)将ENet卷积分解：将其每一个二维卷积拆分成两个一维卷积；
(2)将ENet所有卷积通道分离再融合、打乱：空间分离卷积模块的每个一维卷积核通道拆分为两组，一个256通道数核拆分成两个128通道核，最后再融合为一组；再经过一个3×3的卷积并随机打乱通道，使两组通道学习到的信息充分共享和通信；
(3)在编码器和解码器增加两条跳跃连接，设置概率预测分支用于预测车道线存在的概率，根据设定的阈值判断某车道的车道线是否存在；
至此，完成车道线分割网络LRTNet的构建；
(4)将车道线图片输入到所述车道线分割网络LRTNet，输出车道线分割结果。
2.如权利要求1所述的一种基于ENet改进的轻量实时车道线分割方法，其特征在于，所述步骤(2)中，引入不同尺寸的空洞卷积。
3.如权利要求1或2所述的一种基于ENet改进的轻量实时车道线分割方法，其特征在于，所述方法还包括以下步骤：
(5)将设计的车道线分割网络放在CULane上训练和测试。
CN202110314107.3A 2021-03-24 2021-03-24 一种基于ENet改进的轻量实时车道线分割方法 Pending CN113158810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110314107.3A CN113158810A (zh) 2021-03-24 2021-03-24 一种基于ENet改进的轻量实时车道线分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110314107.3A CN113158810A (zh) 2021-03-24 2021-03-24 一种基于ENet改进的轻量实时车道线分割方法

Publications (1)

Publication Number Publication Date
CN113158810A true CN113158810A (zh) 2021-07-23

Family

ID=76884616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110314107.3A Pending CN113158810A (zh) 2021-03-24 2021-03-24 一种基于ENet改进的轻量实时车道线分割方法

Country Status (1)

Country Link
CN (1) CN113158810A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780189A (zh) * 2021-09-14 2021-12-10 西南交通大学 一种基于U-Net改进的车道线检测方法
CN113780132A (zh) * 2021-08-31 2021-12-10 武汉理工大学 一种基于卷积神经网络的车道线检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN110008838A (zh) * 2019-03-07 2019-07-12 开易（北京）科技有限公司 基于改进拟合算法的车道线检测方法和***
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN110008838A (zh) * 2019-03-07 2019-07-12 开易（北京）科技有限公司 基于改进拟合算法的车道线检测方法和***
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘彬 等: "基于改进Enet网络的车道线检测算法", 《计算机科学》, 30 April 2020 (2020-04-30), pages 142 - 148 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780132A (zh) * 2021-08-31 2021-12-10 武汉理工大学 一种基于卷积神经网络的车道线检测方法
CN113780132B (zh) * 2021-08-31 2023-11-24 武汉理工大学 一种基于卷积神经网络的车道线检测方法
CN113780189A (zh) * 2021-09-14 2021-12-10 西南交通大学 一种基于U-Net改进的车道线检测方法

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN113158810A (zh) 一种基于ENet改进的轻量实时车道线分割方法
CN113920499A (zh) 一种面向复杂交通场景的激光点云三维目标检测模型及方法
CN114549439A (zh) 一种基于多模态特征融合的rgb-d图像语义分割方法
CN116258817B (zh) 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和***
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN114155210B (zh) 基于注意力机制与标准化密集空洞空间多尺度融合网络的人群计数方法
CN112766056A (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN111523442A (zh) 视频语义分割中的自适应关键帧选择方法
CN115601723A (zh) 基于改进ResNet的夜间热红外图像语义分割增强方法
CN112132013A (zh) 一种车辆关键点检测方法
CN114913493A (zh) 一种基于深度学习的车道线检测方法
CN116503836A (zh) 一种基于深度补全和图像分割的3d目标检测方法
CN115565044A (zh) 一种目标检测方法及***
CN113313031A (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及***
CN116486352A (zh) 基于道路约束的车道线鲁棒检测与提取方法
CN115984644A (zh) 一种基于迁移学习的红外图像障碍物无监督标注方法
CN115497069A (zh) 基于双向分离注意力的车道线检测与分类方法及***
CN115661786A (zh) 一种区域预搜索的轨道障碍物小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination