CN109785354A - 一种基于背景光照去除和联通区域的车位检测方法 - Google Patents
一种基于背景光照去除和联通区域的车位检测方法 Download PDFInfo
- Publication number
- CN109785354A CN109785354A CN201811563950.XA CN201811563950A CN109785354A CN 109785354 A CN109785354 A CN 109785354A CN 201811563950 A CN201811563950 A CN 201811563950A CN 109785354 A CN109785354 A CN 109785354A
- Authority
- CN
- China
- Prior art keywords
- parking stall
- image
- background illumination
- carries out
- parking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005286 illumination Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000003628 erosive effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 210000000746 body region Anatomy 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于背景光照去除和联通区域的车位检测方法，通过使用鱼眼相机获取当前帧全景鸟瞰图，利用背景光照去除和联通区域提取的方法，对所获取的全景鸟瞰图进行图像处理和车位识别，若找到空车位则更新车位的定位坐标，若根据车位的定位坐标开始泊车，则结束车位检测，若未找到空车位或未根据车位的定位坐标进行泊车，则对下一帧的全景鸟瞰图进行处理与识别，本发明将全景环视***获取的图像作为车位识别定位***的图像输入，并利用背景光照去除和联通区域提取的方法有效的解决基于视觉的车位检测***中图像处理效果差，无法从图像中获取完整的车位等问题。
Description
技术领域
本发明属于智能驾驶自动泊车技术领域，尤其涉及一种基于背景光照去除和联通区域的车位检测方法。
背景技术
伴随着我国的汽车保有量持续快速增长，交通拥堵成为常态，对于驾驶员而言，泊车速度慢以及常常会发生剐蹭事故，不仅会造成局部交通堵塞，还会给驾驶人员带来一定的精神压力，为了应对该问题，自动泊车***应运而生，自动泊车分为基于超声波的自动泊车和基于图像的自动泊车两种，基于超声波的自动泊车是根据超声波返回的距离信息对车位进行判别，在车位两侧没有参照物的情况下便会失效,且对车位两侧车辆的停放位置角度都有严格要求，而基于视觉的自动泊车可以较好的解决这个问题。
目前，越来越多的车辆搭载了360度全景环视***，以帮助驾驶员消除视野盲区，该***通过图像处理获得车辆四周的全景鸟瞰图，使得驾驶员可以在车内无死角地观察车辆周围的环境信息。
但是基于视觉的车位检测***容易受到光照不均匀、地面反光、阴影、以及其他无关标志线的影响，从而无法对车位做出准确判断；且现有技术中采用全局二值化方法对光照不均匀以及存在阴影等复杂信息的图像处理效果很差，无法将完整的车位从图像中提取出来；尤其是在当背景信息复杂时，图像处理过程中会生成大量干扰像素点，从而产生大量的干扰直线，车位识别难度较大。
发明内容
本发明根据现有技术中存在的问题，提出了一种基于背景光照去除和联通区域的车位检测方法，能够有效的解决基于视觉的车位检测***中图像处理效果差，无法从图像中获取完整的车位等问题。
本发明所采用的一种基于背景光照去除和联通区域的车位检测方法，包括以下步骤：
步骤1，获取当前帧全景鸟瞰图；
步骤2，利用背景光照去除和联通区域提取的方法，对所获取的全景鸟瞰图进行图像处理和车位识别，若找到空车位则更新车位的定位坐标，若未找到空车位，则转步骤1；
步骤3，若根据车位的定位坐标开始泊车，则结束车位检测；若未根据车位的定位坐标进行泊车，则转步骤1；
进一步，所述获取全景鸟瞰图的方法为：
S1.1，对鱼眼相机进行标定得到相机内外参数；
S1.2，采集鱼眼相机获取的原始画面；
S1.3，利用相机内外参数对鱼眼相机进行畸变校正；
S1.4，对校正后的图像进行逆透视变换，得到摄像头的车顶正上方视角的鸟瞰图；
S1.5，对摄像头的鸟瞰图画面进行拼接得到360度全景鸟瞰图。
进一步，所述步骤2中图像处理的方法为：
S2.1.1，对获取的全景鸟瞰图进行图像预处理操作，进行去噪；
S2.1.2，利用形态学处理方法中的开运算获取背景光照图像；
S2.1.3，将得到的背景光照图像从步骤S2.1.1所获取的图像中去除；
S2.1.4，利用最大类间方差法获取上一步所获图像的二值化阈值T；
S2.1.5，使用阈值T对步骤2.1.3中得到的图像进行全局二值化，得到含有完整车位的二值化图像；
S2.1.6，对所获得的二值化图像进行空洞填充操作；
S2.1.7，对空洞填充后的区域进行连通区域提取。
进一步，所述车位识别的方法为：
S2.2.1，对获取的连通区域进行判别筛选；
S2.2.2，利用形态学处理方法中的开运算去除细小区域；
S2.2.3，利用canny算子进行边缘检测，获取预选车位的边缘；
S2.2.4，使用Hough变换方法进行直线检测；
S2.2.5，对所获取的预选车位的四条边求交点，并对获取的四个交点做相对位置判断，从而判断其是否近似矩形。
S2.2.6，对矩形进行面积和长宽比的判断，最终对该区域是否是真的车位做出决断；
进一步，所述步骤S2.2.2去除细小区域的方法为：
对符合要求的连通区域使用边长略大于车位线线宽的正方形结构元素进行腐蚀运算；同时，使用相同的结构元素对腐蚀运算后的连通区域进行膨胀操作，从而恢复连通区域的主体区域大小。
进一步，所述步骤S2.1.1中的预处理是对获取的全景鸟瞰图进行灰度化以及滤波去噪处理。
进一步，所述滤波去噪采用高斯滤波方法。
本发明的有益效果：
本发明所提出的一种基于背景光照去除和联通区域的车位检测方法，本专利利用四个鱼眼相机对车辆周围的环境图像进行实时采集，通过图像处理获得车辆四周的全景鸟瞰图，并将采集获得的图像作为车位检测***的输入，使得车位检测***可以对车辆四周的环境信息进行360度无死角的实时处理与检测，从而更快、更全地发现车位。
本发明还采用背景光照去除对全景鸟瞰图进行图像处理，能够有效避免受光照不均匀、地面反光、阴影、以及其他无关标志线的影响；对光照不均匀以及包含阴影等复杂信息的图像处理效果突出，能够将完整的车位从图像中提取出来。
本发明采用提取联通区域的方法，能够在背景信息复杂的情况下，对满足停车位面积要求的联通区域进行提取，将这些区域作为预选车位并做形状等的进一步判断，从而最大程度地降低无关区域的干扰，简化车位的识别并提高检测的准确性。
附图说明
图1为本发明的整体方案流程图；
图2为全景鸟瞰图的生成过程流程图；
图3为图像处理与车位识别流程图；
图4为去除背景光照后的二值化图像；
图5为本发明的最终识别定位图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1所示，本发明提出了一种基于背景光照去除和联通区域的车位检测方法，具体过程如下：
步骤1，使用四个鱼眼摄像头对车辆周围的图像进行采集，并通过图像处理得到车辆周围的全景鸟瞰图；如图2所示，用鱼眼摄像头获取全景鸟瞰图的过程如下：
S1.1，首先用张正友标定法对采用的鱼眼相机进行标定得到相机内外参数；
S1.2，将4个具有180度广角的鱼眼摄像头分别固定在车辆的左右后视镜的下方以及车头的车标和后备箱的车标下方。摄像头安装好之后，经由高清图像采集卡对摄像头的的原始画面进行获取；
S1.3，利用步骤1.1得到的相机内外参数对鱼眼相机所获取的画面进行畸变校正；
S1.4，对校正后的图像进行逆透视变换，得到四个摄像头的车顶正上方视角的鸟瞰图；
S1.5，对四个摄像头的鸟瞰图画面进行拼接得到360度全景鸟瞰图。
步骤2，利用背景光照去除和联通区域方法，对所获取的全景鸟瞰图进行图像处理和车位识别，若找到空车位则更新车位的定位坐标，若未找到空车位，输入下一帧全景鸟瞰图，转步骤1；
如图2所示，图像处理的方法为：
S2.1.1，将所获得的车辆周围的全景鸟瞰图输入图像处理识别***，对输入的RGB图像先进行灰度化处理，将RGB图像转换为灰度图，这里采用的是效果较好的加权平均值法进行灰度化处理。公式如(1)所示：
R1＝G1＝B1＝0.3R+0.59G+0.11B (1)
其中，R、G、B分别为图像的红、绿、蓝三个通道的值，取值范围0～255，灰度化则是通过公式计算，使得三个值相等，新得到的三个值分别用R1、R2、R3表示，这里采用加权平均值法进行计算。由于处理得到的灰度图中存在噪声，会干扰车位的识别，为了弱化噪声的干扰，对图像中感兴趣区域进行突出强化，提高识别的准确性，也就是最大化地保留图像的细节，同时尽可能地抑制图像噪声，需要进行滤波操作，本发明选择了高斯滤波方法。
S2.1.2，利用形态学处理方法中的开运算获取输入图像的背景光照图像。
S2.1.3，将得到的背景光照图像从原始全景鸟瞰图中去除掉。
S2.1.4，利用最大类间方差法(OSTU)获取上一步所获图像的二值化阈值T。
S2.1.5，在去除背景光照后的图像基础上，使用阈值T进行全局二值化，最终得到含有完整车位的二值化图像，如图4所示。
S2.1.6，对所获得的二值化图像进行空洞填充操作，使得将图中封闭空洞全部填充成白色。
S2.1.7，对空洞填充后的区域进行连通区域提取，对每一块联通区域进行编号，并统计每一块连通区域对应的像素点数量。
此时，若存在面积合适的区域则进一步进行车位识别，否则判断无车位。
车位识别的方法为：
S2.2.1，对获取的连通区域进行判别筛选；根据使用的360度全景环视***的像素来确定一个车位大概占有的像素点数量，记作N，将包含像素点数量接近或者大于N的区域单独提取出来作为预选车位，包含像素点数目远小于N的区域直接剔除，从而排除无关区域的干扰，即挑选出面积合适的连通区域，若没有大小合适的区域则直接判定无车位，若有符合面积大小要求的区域，则该区域提取出来进行进一步的处理和识别。
S2.2.2，对提取的面积合适的联通区域进行形态学处理，首先使用特定的结构元素进行腐蚀运算，从而实现对联通区域中的细小无关区域的腐蚀，接着使用相同的结构元素对上一步得到的区域进行膨胀操作，从而恢复连通区域的主体区域大小。
S2.2.3，利用canny算子进行边缘检测，获取预选车位的边缘。
S2.2.4，使用Hough变换进行直线检测，这里通过限定直线检测的角度范围降低计算量，同时进一步减少无关直线的干扰，最终获得预选车位的四条边。
S2.2.5，通过计算，获得四条边所围成四边形的四个顶点，即四个交点坐标；对获取的四个交点做相对位置的判断，从而判断其是否近似矩形。
S2.2.6，包括是否近似矩形、面积是否合适、矩形的长宽比是否符合车位的特征，从而最终断定是否为车位。
综上所述，若判断条件全部都满足，则判定其为车位，并将车位的坐标进行存储，若有任何一个条件不满足，则判定为不是车位，本专利的识别方法获得的定位结果如图5所示
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (8)
1.一种基于背景光照去除和联通区域的车位检测方法，其特征在于，包括以下步骤：
步骤1，获取当前帧全景鸟瞰图；
步骤2，利用背景光照去除和联通区域方法，对所获取的全景鸟瞰图进行图像处理和车位识别，若找到空车位则更新车位的定位坐标，若未找到空车位，则转步骤1；
步骤3，若根据车位的定位坐标开始泊车，则结束；若根据车位的定位坐标未泊车，则转步骤1。
2.根据权利要求1所述的一种基于背景光照去除和联通区域的车位检测方法，其特征在于，所述获取全景鸟瞰图的方法为：
S1.1，对鱼眼相机进行标定得到相机内外参数；
S1.2，采集鱼眼相机获取的原始画面；
S1.3，利用相机内外参数对鱼眼相机进行畸变校正；
S1.4，对校正后的图像进行逆透视变换，得到摄像头的车顶正上方角度的鸟瞰图；
S1.5，对摄像头的鸟瞰图画面进行拼接得到360度全景鸟瞰图。
3.根据权利要求1所述的一种基于背景光照去除和联通区域的车位检测方法，其特征在于，所述步骤2中图像处理的方法为：
S2.1.1，对获取的全景鸟瞰图进行图像预处理操作，进行去噪；
S2.1.2，利用形态学处理方法中的开运算获取背景光照图像；
S2.1.3，将得到的背景光照图像从步骤S2.1.1所获取的图像中去除掉；
S2.1.4，利用最大类间方差法获取上一步所获图像的二值化阈值T；
S2.1.5，使用阈值T对步骤2.1.3中得到的图像进行全局二值化，得到含有完整车位的二值化图像；
S2.1.6，对所获得的二值化图像进行空洞填充操作；
S2.1.7，对空洞填充后的区域进行连通区域提取。
4.根据权利要求3所述的一种基于背景光照去除和联通区域的车位检测方法，其特征在于，所述步骤S2.1.1中的预处理是对获取的全景鸟瞰图进行灰度化以及滤波去噪处理。
5.根据权利要求4所述的一种基于背景光照去除和联通区域的车位检测方法，其特征在于，所述滤波去噪采用高斯滤波方法。
6.根据权利要求1所述的一种基于背景光照去除和联通区域的车位检测方法，其特征在于，所述车位识别的方法为：
S2.2.1，对获取的连通区域进行判别筛选；
S2.2.2，利用形态学处理方法中的开运算去除细小区域；
S2.2.3，利用canny算子进行边缘检测，获取预选车位的边缘；
S2.2.4，使用Hough变换方法进行直线检测；
S2.2.5，对所获取的预选车位的四条边求交点，并对获取的四个交点做相对位置判断，从而判断其是否近似矩形。
S2.2.6，对矩形进行面积和长宽比的判断，最终对该区域是否是真的车位做出决断。
7.根据权利要求6所述的一种基于背景光照去除和联通区域的车位检测方法，其特征在于，所述步骤S2.2.2去除细小区域的方法为：
对符合要求的连通区域使用边长略大于车位线线宽的正方形结构元素进行腐蚀运算；同时，使用相同的结构元素对腐蚀运算后的连通区域进行膨胀运算，从而恢复连通区域的主体区域大小。
8.根据权利要求7所述的一种基于背景光照去除和联通区域的车位检测方法，其特征在于，所述形结构元素为边长略大于车位线线宽的正方形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563950.XA CN109785354A (zh) | 2018-12-20 | 2018-12-20 | 一种基于背景光照去除和联通区域的车位检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563950.XA CN109785354A (zh) | 2018-12-20 | 2018-12-20 | 一种基于背景光照去除和联通区域的车位检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109785354A true CN109785354A (zh) | 2019-05-21 |
Family
ID=66497505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811563950.XA Pending CN109785354A (zh) | 2018-12-20 | 2018-12-20 | 一种基于背景光照去除和联通区域的车位检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109785354A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414355A (zh) * | 2019-06-27 | 2019-11-05 | 沈阳工业大学 | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 |
| CN110544386A (zh) * | 2019-09-18 | 2019-12-06 | 奇瑞汽车股份有限公司 | 车位识别方法、装置及存储介质 |
| CN110852313A (zh) * | 2020-01-15 | 2020-02-28 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
| CN111611930A (zh) * | 2020-05-22 | 2020-09-01 | 华域汽车***股份有限公司 | 一种基于光照一致的车位线检测方法 |
| CN113421191A (zh) * | 2021-06-28 | 2021-09-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113592755A (zh) * | 2021-07-28 | 2021-11-02 | 北京大学 | 基于全景摄像的图像反射消除方法 |
| CN113689413A (zh) * | 2021-08-30 | 2021-11-23 | 深圳市睿达科技有限公司 | 一种对齐校正方法、装置及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059909A (zh) * | 2006-04-21 | 2007-10-24 | 浙江工业大学 | 基于全方位计算机视觉的电子泊车诱导*** |
| CN108320575A (zh) * | 2018-03-16 | 2018-07-24 | 上海芭比信息技术服务有限公司 | 一种车位引导及反向寻车***及其停车位检测装置、方法 |
-
2018
- 2018-12-20 CN CN201811563950.XA patent/CN109785354A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059909A (zh) * | 2006-04-21 | 2007-10-24 | 浙江工业大学 | 基于全方位计算机视觉的电子泊车诱导*** |
| CN108320575A (zh) * | 2018-03-16 | 2018-07-24 | 上海芭比信息技术服务有限公司 | 一种车位引导及反向寻车***及其停车位检测装置、方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414355A (zh) * | 2019-06-27 | 2019-11-05 | 沈阳工业大学 | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 |
| CN110544386A (zh) * | 2019-09-18 | 2019-12-06 | 奇瑞汽车股份有限公司 | 车位识别方法、装置及存储介质 |
| CN110852313A (zh) * | 2020-01-15 | 2020-02-28 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
| CN110852313B (zh) * | 2020-01-15 | 2020-04-17 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
| CN111611930A (zh) * | 2020-05-22 | 2020-09-01 | 华域汽车***股份有限公司 | 一种基于光照一致的车位线检测方法 |
| CN111611930B (zh) * | 2020-05-22 | 2023-10-31 | 华域汽车***股份有限公司 | 一种基于光照一致的车位线检测方法 |
| CN113421191A (zh) * | 2021-06-28 | 2021-09-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113592755A (zh) * | 2021-07-28 | 2021-11-02 | 北京大学 | 基于全景摄像的图像反射消除方法 |
| CN113592755B (zh) * | 2021-07-28 | 2022-01-11 | 北京大学 | 基于全景摄像的图像反射消除方法 |
| CN113689413A (zh) * | 2021-08-30 | 2021-11-23 | 深圳市睿达科技有限公司 | 一种对齐校正方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109785354A (zh) | 一种基于背景光照去除和联通区域的车位检测方法 | |
| CN107330376B (zh) | 一种车道线识别方法及*** | |
| CN107738612B (zh) | 基于全景视觉辅助***的自动泊车停车位检测与识别*** | |
| CN109435942B (zh) | 一种基于信息融合的车位线车位识别方法及装置 | |
| CN111178236B (zh) | 一种基于深度学习的车位检测方法 | |
| CN107463918B (zh) | 基于激光点云与影像数据融合的车道线提取方法 | |
| CN106128115B (zh) | 一种基于双摄像机检测道路交通信息的融合方法 | |
| CN110414355A (zh) | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 | |
| CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
| CN108038416B (zh) | 车道线检测方法及*** | |
| JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
| CN104036262B (zh) | 一种lpr车牌筛选识别的方法和*** | |
| EP3183721A1 (de) | Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr | |
| CN110781883A (zh) | 一种基于360度环视摄像头的车位尺寸识别***及方法 | |
| CN103902985B (zh) | 一种基于roi的强鲁棒性实时车道侦测算法 | |
| TW201716266A (zh) | 影像修補系統及其方法 | |
| CN109635737A (zh) | 基于道路标记线视觉识别辅助车辆导航定位方法 | |
| CN107798688A (zh) | 运动目标识别方法、预警方法以及汽车防追尾预警装置 | |
| CN107346547A (zh) | 基于单目平台的实时前景提取方法及装置 | |
| WO2019085929A1 (zh) | 图像处理方法及其装置、安全驾驶方法 | |
| CN106803073B (zh) | 基于立体视觉目标的辅助驾驶***及方法 | |
| CN109484303A (zh) | 一种辅助泊车装置、***及辅助泊车方法 | |
| CN112598674B (zh) | 用于车辆的图像处理方法、装置及车辆 | |
| CN115984806A (zh) | 道路标线破损动态检测*** | |
| CN103680148B (zh) | 一种出租车识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |