CN113129354A - 车辆车厢剩余容积的测量方法及测量*** - Google Patents

车辆车厢剩余容积的测量方法及测量*** Download PDF

Info

Publication number
CN113129354A
CN113129354A CN201911423889.3A CN201911423889A CN113129354A CN 113129354 A CN113129354 A CN 113129354A CN 201911423889 A CN201911423889 A CN 201911423889A CN 113129354 A CN113129354 A CN 113129354A
Authority
CN
China
Prior art keywords
image
opening
door
carriage
compartment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911423889.3A
Other languages
English (en)
Inventor
朱曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai G2link Network Technology Co ltd
Original Assignee
Shanghai G2link Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai G2link Network Technology Co ltd filed Critical Shanghai G2link Network Technology Co ltd
Priority to CN201911423889.3A priority Critical patent/CN113129354A/zh
Publication of CN113129354A publication Critical patent/CN113129354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

车辆车厢剩余容积的测量方法及测量***,所述测量方法包括:获取第一图像,为关于车厢门、以及车厢内的情况深度图像;根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积。本发明只需要打开车厢的后车门进行拍照,即可计算得出车厢内的剩余容积,并可以进一步计算出车厢的装载率,快速、准确,且受驾驶员/装载者个人经验的影响较小,适用于诸如月台等处的货车车厢装载率检测等工作。

Description

车辆车厢剩余容积的测量方法及测量***
技术领域
本发明涉及物流技术领域,特别是涉及一种车辆车厢剩余容积的测量方法及测量***。
背景技术
在物流等诸多行业中,为了实现货物的高效运输,需要提高车辆的装载率。在货运中,车辆的装载率可以从体积和重量等方面来衡量,本发明针对的是体积装载率,装载率=实际所载货物体积/车厢最大可载货体积。
现有技术中,车辆在货运中通常是由驾驶员或装载者根据经验来判断车辆的装载率,准确率不高,且受驾驶员或装载者个体能力的影响较大。
因此,亟需一种科学、有效的车辆装载率测量、计算方法。
深度图像即RGB-D,包括普通的RGB三通道彩色图像和与其对应(即配准)的深度图(Depth Map)。
深度图也被称为距离图。在计算机3D图形学中,深度图指的是,包含与视点的场景对象的表面的距离有关的信息的图像或图像通道,也即将场景中各点的距离作为像素值。深度图能够反映场景中物体可见表面的几何形状。
现有技术中存在多种深度图的获取方法,例如激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等等,具体如何采集深度图并非本发明的重点,此处不赘述。
发明内容
本发明解决的技术问题是:如何快速、准确的确定车辆车厢内的剩余容积(即剩余的可用容积)。
为了解决上述技术问题,本发明实施例提供一种车辆车厢剩余容积的测量方法,包括:
获取第一图像,所述第一图像为深度图像,其中,所述第一图像的场景中能够看到车厢门、以及车厢内的情况;
根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;
根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;
根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积。
可选的,预先训练卷积神经网络,用于根据图像,来识别图像中的封闭框。
可选的,所述车厢门的开口包围框的粗略值为卷积神经网络输出的关于车厢门的开口包围框的最小包围框。
可选的,所述通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积包括:
Figure BDA0002346717940000021
其中,V表示车厢内的剩余容积,n表示所述车厢开口所围成的区域内的点坐标,D(n)表示车厢开口所围成的区域内的各个深度像素点的深度,S(n)表示所述车厢开口所围成的区域内的各个深度像素点的面积,*表示乘法。
可选的,所述S(n)为常数,表示所述车厢开口所围成的区域内的各个深度像素点的平均面积。
可选的,还包括:在所述通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积之后,计算车辆车厢的体积装载率。
可选的,所述车辆为厢式货车。
可选的,还包括:在所述获取第一图像之前,将厢式货车车厢门敞开。
为了解决上述技术问题,本发明实施例还提供一种车辆车厢剩余容积的测量***,包括:
处理器,适于加载并执行软件程序的指令;
存储器,适于存储软件程序,所述软件程序包括用于执行以下步骤的指令:
获取第一图像,所述第一图像为深度图像,其中,所述第一图像的场景中能够看到车厢门、以及车厢内的情况;
根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;
根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;
根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积。
可选的,预先训练卷积神经网络,用于根据图像,来识别图像中的封闭框。
可选的,所述通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积包括:
Figure BDA0002346717940000031
其中,V表示车厢内的剩余容积,n表示所述车厢开口所围成的区域内的点坐标,D(n)表示车厢开口所围成的区域内的各个深度像素点的深度,S(n)表示所述车厢开口所围成的区域内的各个深度像素点的面积,*表示乘法。
与现有技术相比,本发明的技术方案具有以下有益效果:
获取第一图像,为关于车厢门、以及车厢内的情况深度图像;根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积,从而只需要打开车厢的后车门进行拍照,即可计算得出车厢内的剩余容积,并可以进一步计算出车厢的装载率,快速、准确,且受驾驶员/装载者个人经验的影响较小,适用于诸如月台等处的货车车厢装载率检测等工作。
附图说明
图1为本发明实施例中车辆车厢剩余容积的测量方法流程图;
图2为本发明实施例中对车厢门以及车厢内的情况拍照示意图。
具体实施方式
根据背景技术部分的分析可知,在物流等诸多行业中,为了实现货物的高效运输,需要提高车辆的装载率。在货运中,车辆的装载率可以从体积和重量等方面来衡量,本发明针对的是体积装载率,装载率=实际所载货物体积/车厢最大可载货体积。
现有技术中,车辆在货运中通常是由驾驶员或装载者根据经验来判断车辆的装载率,准确率不高,且受驾驶员或装载者个体能力的影响较大。
本发明获取第一图像,为关于车厢门、以及车厢内的情况深度图像;根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积,从而只需要打开车厢的后车门进行拍照,即可计算得出车厢内的剩余容积,并可以进一步计算出车厢的装载率,快速、准确,且受驾驶员/装载者个人经验的影响较小,适用于诸如月台等处的货车车厢装载率检测等工作。
为使本领域技术人员更好地理解和实现本发明,以下参照附图,通过具体实施例进行详细说明。
实施例一
如下所述,本发明实施例提供一种车辆车厢剩余容积的测量方法。
本实施例中的车辆车厢剩余容积的测量方法,适用于在物流园区的月台处(或其它货物装卸处),对装卸货的货车的车厢剩余容积、以及装载率进行测量,从而更充分、高效的利用货车车厢的装载空间。
参照图1所示的车辆车厢剩余容积的测量方法流程图,以下通过具体步骤进行详细说明:
S101,预先训练卷积神经网络,用于根据图像,来识别图像中的封闭框。
神经网络算法可以适应规则形貌或者不规则形貌的图像检测,在目标检测方面远优于传统算法。
现有技术中关于目标检测类的深度神经网络的训练已经成熟,此处不再赘述。
S102,获取第一图像,所述第一图像为深度图像。
其中,所述第一图像的场景中能够看到车厢门、以及车厢内的情况。
具体的,如图2所示,在一些实施例中,可以通过由工作人员手持图像采集设备、或者是将图像采集设备固定在预定位置进行拍照。
例如,深度相机位于箱体开口后2米,正对箱体开口,朝向箱体内部,拍照获取箱体内部深度信息。
在一些实施例中,所述车辆具体可以是厢式货车。在所述获取第一图像之前,先将厢式货车车厢门敞开。
当然,本实施例的应用场景不限于厢式货车,也可以应用于对其它箱体的剩余容积进行测量,箱体可以是规则的方块形状,也可以是不规则的全外凸形状。
S103,根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值。
为减少算力消耗,神经网络算法输出的可以是,当获得深度图像是倾斜的时候,需要找出真实箱体开口边界。
S104,根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积。
具体的,采用如下公式来计算车厢剩余容积:
Figure BDA0002346717940000061
其中(即上述公式中),V表示车厢内的剩余容积,n表示所述车厢开口所围成的区域内的点坐标,D(n)表示车厢开口所围成的区域内的各个深度像素点的深度,S(n)表示所述车厢开口所围成的区域内的各个深度像素点的面积,*表示乘法(叉乘,即×)。
也就是说,所述S(n)为常数,表示所述车厢开口所围成的区域内的各个深度像素点的平均面积。
S105,计算车辆车厢的体积装载率。
来计算车厢剩余容积之后,可以进一步根据车厢剩余容积和车厢总容积,来计算车辆车厢的体积装载率。
通过以上对技术方案的描述可以看出:本实施例中,获取第一图像,为关于车厢门、以及车厢内的情况深度图像;根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积,从而只需要打开车厢的后车门进行拍照,即可计算得出车厢内的剩余容积,并可以进一步计算出车厢的装载率,快速、准确,且受驾驶员/装载者个人经验的影响较小,适用于诸如月台等处的货车车厢装载率检测等工作。
实施例二
如下所述,本发明实施例提供一种车辆车厢剩余容积的测量***。
所述车辆车厢剩余容积的测量***包括:
处理器,适于加载并执行软件程序的指令;
存储器,适于存储软件程序,所述软件程序包括用于执行以下步骤的指令:
获取第一图像,所述第一图像为深度图像,其中,所述第一图像的场景中能够看到车厢门、以及车厢内的情况;
根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;
根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;
根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积。
具体的,在一些实施例中,所述通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积包括:
Figure BDA0002346717940000071
其中(即上述公式中),V表示车厢内的剩余容积,n表示所述车厢开口所围成的区域内的点坐标,D(n)表示车厢开口所围成的区域内的各个深度像素点的深度,S(n)表示所述车厢开口所围成的区域内的各个深度像素点的面积,*表示乘法(叉乘,即×)。
通过以上对技术方案的描述可以看出:本实施例中,获取第一图像,为关于车厢门、以及车厢内的情况深度图像;根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积,从而只需要打开车厢的后车门进行拍照,即可计算得出车厢内的剩余容积,并可以进一步计算出车厢的装载率,快速、准确,且受驾驶员/装载者个人经验的影响较小,适用于诸如月台等处的货车车厢装载率检测等工作。
在一些实施例中,预先训练卷积神经网络,用于根据图像,来识别图像中的封闭框。
本领域普通技术人员可以理解,上述实施例的各种方法中,全部或部分步骤是可以通过程序指令相关的硬件来完成的,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种车辆车厢剩余容积的测量方法,其特征在于,包括:
获取第一图像,所述第一图像为深度图像,其中,所述第一图像的场景中能够看到车厢门、以及车厢内的情况;
根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;
根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;
根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积。
2.如权利要求1所述的车辆车厢剩余容积的测量方法,其特征在于,预先训练卷积神经网络,用于根据图像,来识别图像中的封闭框。
3.如权利要求1所述的车辆车厢剩余容积的测量方法,其特征在于,所述车厢门的开口包围框的粗略值为卷积神经网络输出的关于车厢门的开口包围框的最小包围框。
4.如权利要求1所述的车辆车厢剩余容积的测量方法,其特征在于,所述通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积包括:
Figure FDA0002346717930000011
其中,V表示车厢内的剩余容积,n表示所述车厢开口所围成的区域内的点坐标,D(n)表示车厢开口所围成的区域内的各个深度像素点的深度,S(n)表示所述车厢开口所围成的区域内的各个深度像素点的面积。
5.如权利要求4所述的车辆车厢剩余容积的测量方法,其特征在于,所述S(n)为常数,表示所述车厢开口所围成的区域内的各个深度像素点的平均面积。
6.如权利要求1所述的车辆车厢剩余容积的测量方法,其特征在于,还包括:在所述通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积之后,计算车辆车厢的体积装载率。
7.如权利要求1所述的车辆车厢剩余容积的测量方法,其特征在于,所述车辆为厢式货车。
8.如权利要求7所述的车辆车厢剩余容积的测量方法,其特征在于,还包括:在所述获取第一图像之前,将厢式货车车厢门敞开。
9.一种车辆车厢剩余容积的测量***,其特征在于,包括:
处理器,适于加载并执行软件程序的指令;
存储器,适于存储软件程序,所述软件程序包括用于执行以下步骤的指令:
获取第一图像,所述第一图像为深度图像,其中,所述第一图像的场景中能够看到车厢门、以及车厢内的情况;
根据所述第一图像,通过卷积神经网络,来确定第一图像中车厢门的开口包围框的粗略值;
根据所述车厢门的开口包围框的粗略值,通过梯度算法,来获取车厢门的开口包围框的精确值;
根据第一图像、以及车厢门的开口包围框的精确值,通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积。
10.如权利要求9所述的车辆车厢剩余容积的测量***,其特征在于,预先训练卷积神经网络,用于根据图像,来识别图像中的封闭框。
11.如权利要求9所述的车辆车厢剩余容积的测量***,其特征在于,所述通过对车厢门的开口包围框内的各个像素点的深度进行积分,来计算车厢剩余容积包括:
Figure FDA0002346717930000021
其中,V表示车厢内的剩余容积,n表示所述车厢开口所围成的区域内的点坐标,D(n)表示车厢开口所围成的区域内的各个深度像素点的深度,S(n)表示所述车厢开口所围成的区域内的各个深度像素点的面积。
CN201911423889.3A 2019-12-30 2019-12-30 车辆车厢剩余容积的测量方法及测量*** Pending CN113129354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911423889.3A CN113129354A (zh) 2019-12-30 2019-12-30 车辆车厢剩余容积的测量方法及测量***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911423889.3A CN113129354A (zh) 2019-12-30 2019-12-30 车辆车厢剩余容积的测量方法及测量***

Publications (1)

Publication Number Publication Date
CN113129354A true CN113129354A (zh) 2021-07-16

Family

ID=76770001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911423889.3A Pending CN113129354A (zh) 2019-12-30 2019-12-30 车辆车厢剩余容积的测量方法及测量***

Country Status (1)

Country Link
CN (1) CN113129354A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022537A (zh) * 2021-10-29 2022-02-08 浙江东鼎电子股份有限公司 一种用于动态称重区域车辆装载率和偏载率分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、***及存储介质
CN109993785A (zh) * 2019-03-27 2019-07-09 青岛小鸟看看科技有限公司 一种货箱体积测量方法和深度相机模组
CN110057292A (zh) * 2019-05-27 2019-07-26 杭州亚美利嘉科技有限公司 车厢装载率的确定方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、***及存储介质
CN109993785A (zh) * 2019-03-27 2019-07-09 青岛小鸟看看科技有限公司 一种货箱体积测量方法和深度相机模组
CN110057292A (zh) * 2019-05-27 2019-07-26 杭州亚美利嘉科技有限公司 车厢装载率的确定方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022537A (zh) * 2021-10-29 2022-02-08 浙江东鼎电子股份有限公司 一种用于动态称重区域车辆装载率和偏载率分析方法
CN114022537B (zh) * 2021-10-29 2023-05-05 浙江东鼎电子股份有限公司 一种用于动态称重区域车辆装载率和偏载率分析方法

Similar Documents

Publication Publication Date Title
CN110057292B (zh) 车厢装载率的确定方法和装置
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
WO2021197345A1 (zh) 一种基于激光雷达的封闭空间内剩余体积的检测方法和装置
CN109443196B (zh) 一种体积测量方法及***
US9025818B2 (en) Vehicle type identification device
US9361696B2 (en) Method of determining a ground plane on the basis of a depth image
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、***、装置
CN112154454A (zh) 目标对象的检测方法、***、设备及存储介质
CN113173502B (zh) 一种基于激光视觉融合和深度学习的防撞方法、***
CN108230235B (zh) 一种视差图生成***、方法及存储介质
CN112578406B (zh) 一种车辆环境信息感知方法及装置
CN110969064A (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
CN111383257B (zh) 一种车厢装卸率确定方法和装置
CN115311646A (zh) 一种障碍物检测的方法及装置
CN113129354A (zh) 车辆车厢剩余容积的测量方法及测量***
CN112432596B (zh) 空间测量方法、装置、电子设备及计算机存储介质
CN114373005A (zh) 一种货物体积测量方法、装置、电子设备及可读存储介质
JP6959032B2 (ja) 位置推定装置、移動装置
CN111539906B (zh) 装载率测定方法及装置
CN115147791A (zh) 一种车辆变道检测方法、装置、交通工具及存储介质
CN111383325B (zh) 车厢三维图像生成方法及装置
CN111380458A (zh) 车厢载货体积的测量方法及装置
US11836933B2 (en) Method for calculating information relative to a relative speed between an object and a camera
CN110598505B (zh) 障碍物悬空状态判断方法、装置及终端
US20240036193A1 (en) Detecting and Determining Relevant Variables of an Object by Means of Ultrasonic Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination