CN109753840A - 一种基于响应值确定车位线角点的方法 - Google Patents
一种基于响应值确定车位线角点的方法 Download PDFInfo
- Publication number
- CN109753840A CN109753840A CN201710679309.1A CN201710679309A CN109753840A CN 109753840 A CN109753840 A CN 109753840A CN 201710679309 A CN201710679309 A CN 201710679309A CN 109753840 A CN109753840 A CN 109753840A
- Authority
- CN
- China
- Prior art keywords
- pixel
- parking stall
- angle point
- response
- luminance contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于响应值确定车位线角点的方法，包括以下步骤：获取捕获图像，经过预处理得到捕获图像上各个像素点的亮度值；将捕获图像上每个像素点以其像素点所在的坐标点为原点，沿着原点向车位主方向和车位主方向垂直方向依次取车位主方向像素点组和两个相互反向延伸的车位垂直方向像素点组。得到的每个像素点的亮度对比度响应值以其像素点所在坐标点排列形成捕获图像的角点亮度对比度响应图像；由角点亮度对比度响应图像中的各个坐标点的亮度对比度响应值的分布情况判定捕获图像中的可信度最大的车位线角点进而判定可信度最大的亮度对比度响应值点为车位线角点。
Description
技术领域
本发明涉及车载电子技术领域，特别是涉及一种基于响应值确定车位线角点的方法。
背景技术
汽车保有量的增加促进了大型停车场的发展，在迈入二十一世纪以来，我们的大型停车场越来越多，而停车场规模的日益扩大，带来一系列的泊车与取车的问题，已经成为世界范围内每个大中型城市普遍面临的社会问题。
在自主泊车的过程中，如何依据环境感知信息、检测到准确的停车位且在检测过程中减小设备计算量，快速、准确识别车位线角点成为当前亟待解决的问题。
现有的计算车位线角点的方法是，在捕获图像上根据像素亮度差识别出线段，通过线段找出符合条件的水平亮线条和垂直亮线条，求出水平亮线条的两个侧边的中线与垂直亮线条的两个侧边中线的交点，判定为车位线的角点。以此方式这种识别车位线角点，对寻找符合条件的水平亮线条和垂直亮线条步骤的准确度要求高，如果找出的水平亮线条和垂直亮线条中有反光等其他干扰生成的“垂直亮线条”或“水平亮线条”，则会使识别出的车位线角点不准。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于响应值确定车位线角点的方法，解决了车位线角点识别不准确的问题，通过计算捕获图像中每个像素点在车位主方向上和车位垂直方向上的判定因子，来判定该像素点位置为T型车位线角点和L型车位线角点的亮度对比度响应值X，进而获得角点亮度对比度响应图像，通过角点亮度对比度响应图像中各个坐标点的亮度对比度响应值的分布情况判定可信度最大的亮度对比度响应值点为车位线角点。
一种基于响应值确定车位线角点的方法，包括以下步骤：
S01：获取捕获图像，经过预处理得到捕获图像上各个像素点的亮度值；
S02：将捕获图像上每个像素点以其像素点所在的坐标点为原点，沿着原点向车位主方向和车位主方向垂直方向依次取车位主方向像素点组和两个相互反向延伸的车位垂直方向像素点组；
将主方向像素点组内的每一个像素点Plx与位于主方向像素点组两侧且与该像素点处于同一直线上的两个像素点Pd1x和Pd2x取亮度差的平均值标记该像素点Pl的亮度对比度值，求取主方向像素点组中所有像素点Plx的亮度对比度值后求其平均数标记为主方向角点判定因子a；
所述求取像素点Plx的亮度对比度值的公式：Px＝(Plx*2-Pd1x-Pd2x)/2；x＝1,2,3,4,5,6…n；
所述主方向角点判定因子a的计算公式：a＝(P1+P2+P3…Pn)/n；
将每个车位垂直方向像素点组内的每一个像素点Pc与位于车位垂直方向像素点组两侧且与该像素点Pl处于同一直线上的两个像素点Pd1y和Pd2y取亮度差的平均值标记该像素点Ply的亮度对比度值，求取车位垂直方向像素点组中所有像素点Pl的亮度对比度值后求其平均数标记为垂直方向角点判定因子b和垂直方向角点判定因子c；
所述求取像素点Ply的亮度对比度值的公式：Py＝(Ply*2-Pd1y-Pd2y)/2；y＝1,2,3,4,5,6…m；
所述垂直方向角点判定因子b的计算公式：b＝(P1+P2+P3…Pm)/m；
所述垂直方向角点判定因子c的计算公式：b＝(P1+P2+P3…Pm)/m；
根据逻辑公式：X＝MIN(MAX(a，b)，c)得出捕获图像中每个像素点的亮度对比度响应值X；
S03：将步骤S02中得到的每个像素点的亮度对比度响应值X以其像素点所在坐标点排列形成捕获图像的角点亮度对比度响应图像；
S04：由角点亮度对比度响应图像中的各个坐标点的亮度对比度响应值的分布情况判定捕获图像中的可信度最大的车位线角点。
进一步地，步骤S02中获取车位主方向的方法为：获取捕获图像并检测捕获图像中的线段，将检测出来线段按照角度进行分组，对每一组内的线段间的位置关系进行分析，根据一定的规则进行打分，根据分数选取最可信的角度组，并提取最可信的角度组内的线段，计算线段的平均角度，定义为主方向角度θ。
进一步地，步骤S02中获取的主方向像素点组中沿车位主方向延伸的像素点个数为至少6～8个，所述车位垂直方向像素点组中沿车位垂直方向延伸的像素点个数为至少6～8个。
进一步地，步骤S02中获取的主方向像素点组中有至少两列沿车位主方向延伸的像素点。
例如：有两列沿车位主方向延伸的像素点，标记为像素点列n1，n2；像素点列n1中的像素点的亮度值标记为(Pl1,Pl2,Pl3,Pl4….),像素点列n2中的像素点的亮度值标记为(pl1,pl2,pl3,pl4)；取主方向像素点组中此像素点的亮度对比度值时，将像素点列n1，n2中处于相同主方向位置的像素点提取出来取平均值利用公式(Pl1+pl1)/2作为的步骤S02中作为计算亮度对比度值时主方向像素点组中的Pl1和pl1所对应的直线上的虚拟像素点亮度值。
进一步地，逻辑公式：X＝MIN(MAX(a，b)，c)可以检测出包括T型车位线和L型车位线的角点，若在检测过程中，在相邻的像素点处出现了多于一个高于阈值的亮度对比度响应值时，将高于阈值的亮度对比度响应值以及其坐标点记录，并取加权平均值得到最后的亮度对比度的响应值。
如上所述，本发明的具有以下有益效果：
第一，通过计算捕获图像中每个像素点在车位主方向上和车位垂直方向上的判定因子，来判定该像素点位置为T型车位线角点和L型车位线角点的亮度对比度响应值X，进而获得角点亮度对比度响应图像，通过角点亮度对比度响应图像中各个坐标点的亮度对比度响应值的分布情况判定可信度最大的亮度对比度响应值点为车位线角点。
第二，在计算判定因子的亮度对比度值时，在车位主方向像素点组或车位垂直方向像素点组内同一方向上取多列像素点，不同列的像素点中沿该方向同一位置上的像素点的亮度值取平均数之后再与它所在的像素点组之外两侧的像素点取差值的平均值，这样得出的亮度对比度值可信度高，得出的判定因子的可信度也较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的流程框图。
图2显示为本发明的车位主方向像素点组和两个相互反向延伸的车位垂直方向像素点组的示意图。
图3显示为车位主方向像素点组求取Plx亮度对比度值的像素点示意图。
图4显示为车位垂直方向像素点组求取Ply亮度对比度值的像素点示意图。
图5显示为车位垂直方向像素点组中有两列像素点列时求取Ply亮度对比度值的像素点示意图。
图6显示为本发明的捕获图像。
图7显示为左侧为本发明捕获图像右侧为本发明的角点亮度对比度响应图像。
在图中：1-原点；2-车位主方向；3-车位主方向垂直方向；21-主方向像素点组；31-车位垂直方向像素点组；4-像素点。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图7，一种基于响应值确定车位线角点的方法，包括以下步骤：
S01：获取捕获图像，经过预处理得到捕获图像上各个像素点的亮度值；
S02：将捕获图像上每个像素点以其像素点所在的坐标点为原点，沿着原点向车位主方向和车位主方向垂直方向依次取车位主方向像素点组和两个相互反向延伸的车位垂直方向像素点组；
将主方向像素点组内的每一个像素点Plx与位于主方向像素点组两侧且与该像素点处于同一直线上的两个像素点Pd1x和Pd2x取亮度差的平均值标记该像素点Pl的亮度对比度值，求取主方向像素点组中所有像素点Plx的亮度对比度值后求其平均数标记为主方向角点判定因子a；
所述求取像素点Plx的亮度对比度值的公式：Px＝(Plx*2-Pd1x-Pd2x)/2；x＝1,2,3,4,5,6…n；
所述主方向角点判定因子a的计算公式：a＝(P1+P2+P3…Pn)/n；
将每个车位垂直方向像素点组内的每一个像素点Ply与位于车位垂直方向像素点组两侧且与该像素点Pl处于同一直线上的两个像素点Pd1y和Pd2y取亮度差的平均值标记该像素点Ply的亮度对比度值，求取车位垂直方向像素点组中所有像素点Ply的亮度对比度值后求其平均数标记为垂直方向角点判定因子b和垂直方向角点判定因子c；
所述求取像素点Ply的亮度对比度值的公式：Py＝(Ply*2-Pd1y-Pd2y)/2；y＝1,2,3,4,5,6…m；
所述垂直方向角点判定因子b的计算公式：b＝(P1+P2+P3…Pm)/m；
所述垂直方向角点判定因子c的计算公式：b＝(P1+P2+P3…Pm)/m；
根据逻辑公式：X＝MIN(MAX(a，b)，c)得出捕获图像中每个像素点Pl的亮度对比度响应值；
S03：将步骤S02中得到的每个像素点的亮度对比度响应值以其像素点所在坐标点排列形成捕获图像的角点亮度对比度响应图像；由角点亮度对比度响应图像中的各个坐标点的亮度对比度响应值的分布情况判定捕获图像中的可信度最大的车位线角点。
作为优选实施例，步骤S02中获取车位主方向的方法为：获取捕获图像并检测捕获图像中的线段，将检测出来线段按照角度进行分组，对每一组内的线段间的位置关系进行分析，根据一定的规则进行打分，根据分数选取最可信的角度组，并提取最可信的角度组内的线段，计算线段的平均角度，定义为主方向角度θ。
作为优选实施例，步骤S02中获取的主方向像素点组中沿车位主方向延伸的像素点个数为至少6～8个，所述车位垂直方向像素点组中沿车位垂直方向延伸的像素点个数为至少6～8个。
作为优选实施例，步骤S02中获取的主方向像素点组中有至少两列沿车位主方向延伸的像素点。
例如：有两列沿车位主方向延伸的像素点，标记为像素点列n1，n2；像素点列n1中的像素点的亮度值标记为(Pl1,Pl2,Pl3,Pl4….),像素点列n2中的像素点的亮度值标记为(pl1,pl2,pl3,pl4)；取主方向像素点组中此像素点的亮度对比度值时，将像素点列n1，n2中处于相同主方向位置的像素点提取出来取平均值利用公式(Pl1+pl1)/2作为的步骤S02中作为计算亮度对比度值时主方向像素点组中的Pl1和pl1所对应的直线上的虚拟像素点亮度值。
作为优选实施例，逻辑公式：X＝MIN(MAX(a，b)，c)可以检测出包括T型车位线和L型车位线的角点，若在检测过程中，在相邻的像素点处出现了多于一个高于阈值的亮度对比度响应值时，将高于阈值的亮度对比度响应值以及其坐标点记录，并取加权平均值得到最后的亮度对比度的响应值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种基于响应值确定车位线角点的方法，包括以下步骤：
S01：获取捕获图像，经过预处理得到捕获图像上各个像素点的亮度值；
S02：将捕获图像上每个像素点以其像素点所在的坐标点为原点，沿着原点向车位主方向和车位主方向垂直方向依次取车位主方向像素点组和两个相互反向延伸的车位垂直方向像素点组；
将主方向像素点组内的每一个像素点Plx与位于主方向像素点组两侧且与该像素点处于同一直线上的两个像素点Pd1x和Pd2x取亮度差的平均值标记该像素点Pl的亮度对比度值，求取主方向像素点组中所有像素点Plx的亮度对比度值后求其平均数标记为主方向角点判定因子a；
所述求取像素点Plx的亮度对比度值的公式：Px＝(Plx*2-Pd1x-Pd2x)/2；x＝1,2,3,4,5,6…n；
所述主方向角点判定因子a的计算公式：a＝(P1+P2+P3…Pn)/n；
将每个车位垂直方向像素点组内的每一个像素点Ply与位于车位垂直方向像素点组两侧且与该像素点Ply处于同一直线上的两个像素点Pd1y和Pd2y取亮度差的平均值标记该像素点Ply的亮度对比度值，求取车位垂直方向像素点组中所有像素点Ply的亮度对比度值后求其平均数标记为垂直方向角点判定因子b和垂直方向角点判定因子c；
所述求取像素点Ply的亮度对比度值的公式：Py＝(Ply*2-Pd1y-Pd2y)/2；y＝1,2,3,4,5,6…m；
所述垂直方向角点判定因子b的计算公式：b＝(P1+P2+P3…Pm)/m；
所述垂直方向角点判定因子c的计算公式：b＝(P1+P2+P3…Pm)/m；
根据逻辑公式：X＝MIN(MAX(a，b)，c)得出捕获图像中每个像素点Pl的亮度对比度响应值；
S03：将步骤S02中得到的每个像素点的亮度对比度响应值以其像素点所在坐标点排列形成捕获图像的角点亮度对比度响应图像；由角点亮度对比度响应图像中的各个坐标点的亮度对比度响应值的分布情况判定捕获图像中的可信度最大的车位线角点。
2.根据权利要求1所述的基于响应值确定车位线角点的方法，其特征在于，步骤S02中获取车位主方向的方法为：获取捕获图像并检测捕获图像中的线段，将检测出来线段按照角度进行分组，对每一组内的线段间的位置关系进行分析，根据一定的规则进行打分，根据分数选取最可信的角度组，并提取最可信的角度组内的线段，计算线段的平均角度，定义为主方向角度θ。
3.根据权利要求2所述的基于响应值确定车位线角点的方法，其特征在于，步骤S02中获取的主方向像素点组中沿车位主方向延伸的像素点个数为至少6～8个，所述车位垂直方向像素点组中沿车位垂直方向延伸的像素点个数为至少6～8个。
4.根据权利要求3所述的基于响应值确定车位线角点的方法，其特征在于，步骤S02中获取的主方向像素点组中有至少两列沿车位主方向延伸的像素点。
5.根据权利要求4所述的基于响应值确定车位线角点的方法，其特征在于，所述逻辑公式：X＝MIN(MAX(a，b)，c)可以检测出包括T型车位线和L型车位线的角点，若在检测过程中，在相邻的像素点处出现了多于一个高于阈值的亮度对比度响应值时，将高于阈值的亮度对比度响应值以及其坐标点记录，并取加权平均值得到最后的亮度对比度的响应值。
6.一种基于响应值确定车位线角点的***，其特征在于，包括：
捕获图像获取模块，用于获取捕获图像；
像素点组生成模块，用于生成车位主方向像素点组和车位垂直方向像素点组；
主方向角点判定因子生成模块，用于生成主方向角点判定因子a；
垂直方向角点判定因子生成模块，用于生成垂直方向角点判定因子b和垂直方向角点判定因子c；
角点亮度对比度响应图像生成模块，用于通过逻辑公式：X＝MIN(MAX(a，b)，c)生成捕获图像中每个像素点的亮度对比度响应值，进而获得角点亮度对比度响应图像。
7.根据权利要求6所述的于响应值确定车位线角点的***，其特征在于，还包括车位主方向判定模块，所述车位主方向判定模块用于自捕获图像并检测捕获图像中的线段，将检测出来线段按照角度进行分组，对每一组内的线段间的位置关系进行分析，根据一定的规则进行打分，根据分数选取最可信的角度组，并提取最可信的角度组内的线段，计算线段的平均角度，定义为主方向角度θ。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至5任一权利要求所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710679309.1A CN109753840B (zh) | 2017-11-06 | 2017-11-06 | 一种基于响应值确定车位线角点的方法、***和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710679309.1A CN109753840B (zh) | 2017-11-06 | 2017-11-06 | 一种基于响应值确定车位线角点的方法、***和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109753840A true CN109753840A (zh) | 2019-05-14 |
| CN109753840B CN109753840B (zh) | 2023-09-01 |
Family
ID=66397498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710679309.1A Active CN109753840B (zh) | 2017-11-06 | 2017-11-06 | 一种基于响应值确定车位线角点的方法、***和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753840B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767425A (zh) * | 2020-12-30 | 2021-05-07 | 智车优行科技（北京）有限公司 | 一种基于视觉的车位检测方法及装置 |
| CN115206130A (zh) * | 2022-07-12 | 2022-10-18 | 合众新能源汽车有限公司 | 一种车位检测方法、***、终端及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车***的泊车位检测装置及方法 |
| WO2014063373A1 (zh) * | 2012-10-23 | 2014-05-01 | 青岛海信信芯科技有限公司 | 深度图提取、判断视频场景切换及深度图边缘优化方法 |
| CN104933409A (zh) * | 2015-06-12 | 2015-09-23 | 北京理工大学 | 一种基于全景图像点线特征的车位识别方法 |
-
2017
- 2017-11-06 CN CN201710679309.1A patent/CN109753840B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014063373A1 (zh) * | 2012-10-23 | 2014-05-01 | 青岛海信信芯科技有限公司 | 深度图提取、判断视频场景切换及深度图边缘优化方法 |
| CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车***的泊车位检测装置及方法 |
| CN104933409A (zh) * | 2015-06-12 | 2015-09-23 | 北京理工大学 | 一种基于全景图像点线特征的车位识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘阳等: "黑白棋盘格角点检测算法", 《东北大学学报(自然科学版)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767425A (zh) * | 2020-12-30 | 2021-05-07 | 智车优行科技（北京）有限公司 | 一种基于视觉的车位检测方法及装置 |
| CN115206130A (zh) * | 2022-07-12 | 2022-10-18 | 合众新能源汽车有限公司 | 一种车位检测方法、***、终端及存储介质 |
| CN115206130B (zh) * | 2022-07-12 | 2023-07-18 | 合众新能源汽车股份有限公司 | 一种车位检测方法、***、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109753840B (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104112269B (zh) | 一种基于机器视觉的太阳能电池激光刻线参数检测方法及*** | |
| CN105654067A (zh) | 一种车辆检测方法及装置 | |
| WO2021253245A1 (zh) | 识别车辆变道趋势的方法和装置 | |
| CN110232379A (zh) | 一种车辆姿态检测方法及*** | |
| CN113326735B (zh) | 一种基于YOLOv5的多模态小目标检测方法 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| CN115063579B (zh) | 基于二维图像和三维点云投影的列车定位销松动检测方法 | |
| CN109086803A (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测***及方法 | |
| CN103778411A (zh) | 一种基于栅格图像划分的圆检测方法及装置 | |
| CN110349186A (zh) | 基于深度匹配的大位移运动光流计算方法 | |
| CN104463240A (zh) | 一种控制列表界面的方法及装置 | |
| CN114581744A (zh) | 一种图像目标检测方法、***、设备及存储介质 | |
| CN109753840A (zh) | 一种基于响应值确定车位线角点的方法 | |
| CN109086781A (zh) | 一种基于深度学习的机柜灯状态识别方法 | |
| CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
| CN113221659B (zh) | 一种基于不确定感知网络的双光车辆检测方法及装置 | |
| CN109389013A (zh) | 基于车位主方向及模板响应点的车位组合算法和介质 | |
| CN114663344A (zh) | 一种基于图像融合的列车轮对踏面缺陷识别方法及装置 | |
| CN109389644A (zh) | 基于方向梯度增强的车位线检测方法 | |
| CN109635649A (zh) | 一种无人机侦察目标的高速检测方法及*** | |
| CN109523530A (zh) | 一种微带片圆形焊盘检测方法和*** | |
| CN113129375B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN114283199A (zh) | 一种面向动态场景的点线融合语义slam方法 | |
| CN112630736B (zh) | 路侧雷达的参数确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |