CN103400150B - 一种基于移动平台进行道路边缘识别的方法及装置 - Google Patents

一种基于移动平台进行道路边缘识别的方法及装置 Download PDF

Info

Publication number
CN103400150B
CN103400150B CN201310351847.XA CN201310351847A CN103400150B CN 103400150 B CN103400150 B CN 103400150B CN 201310351847 A CN201310351847 A CN 201310351847A CN 103400150 B CN103400150 B CN 103400150B
Authority
CN
China
Prior art keywords
image
road edge
space image
carried out
mobile platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310351847.XA
Other languages
English (en)
Other versions
CN103400150A (zh
Inventor
杨国青
李红
逄伟
刘健全
高辉
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201310351847.XA priority Critical patent/CN103400150B/zh
Publication of CN103400150A publication Critical patent/CN103400150A/zh
Application granted granted Critical
Publication of CN103400150B publication Critical patent/CN103400150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于移动平台进行道路边缘识别的方法及装置,包括使用摄像模块来采集获得路面的实时图像信息,使用移动平台对摄像模块获得的实时图像信息进行处理,将YUV空间图像转换成RGB空间图像;对获得的RGB空间图像转换成HSV空间图像,并对其进行图像二值化处理;同时将获得的RGB空间图像转换为灰度图像,对其进行边缘和直线检测;最后依据上述步骤中获得的道路边缘所在区域,对检测到的直线进行进一步筛选,选取在道路边缘区域中的最长直线来作为道路边缘。该发明解决了现有的道路边缘识别***算法需占用较大内存,实时性较差,易受外界干扰,且大部分只适用于检测边缘清晰、较为理想的速公路的问题。

Description

一种基于移动平台进行道路边缘识别的方法及装置
技术领域
本发明涉及一种道路边缘识别的方法及装置,尤其是一种基于移动平台进行道路边缘识别的方法及装置。
背景技术
目前电子设备中常用的图像色彩模式有如下几类。
RGB颜色空间:通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,该标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色***之一。RGB颜色模型的主要目的是在电子***中检测、表示和显示图像,比如电视和电脑,同时在传统摄影中也有应用。
YUV颜色空间:YUV与RGB一样,用于表示颜色,两者可以相互转化。YUV是被欧洲电视***所采用的一种颜色编码方法(属于PAL)。YUV主要用于优化彩***信号的传输,使其向后兼容老式黑白电视。与RGB视频信号传输相比,它最大的优点在于只需占用极少的带宽。其中中“Y”表示明亮度,也就是灰阶值,作为基带信号。而“U”和“V”表示的则是色度,作用是描述影像色彩及饱和度,用于指定像素的颜色。HSV颜色空间:HSV模型的三维表示是从RGB立方体演化而来,其中:色调(H),饱和度(S),亮度(V)。设想从RGB沿立方体对角线的白色顶点向黑色顶点观察,可以看到立方体的六边形外形。六边形边界表示色调(H),水平轴表示饱和度(S),亮度(V)沿垂直轴测量。H参数表示色彩信息,即所处的光谱颜色的位置。该参数用一角度量来表示,红、绿、蓝分别相隔120度。互补色分别相差180度。饱和度S为一比例值,范围从0到1,它表示成所选颜色的纯度和该颜色最大的纯度之间的比率。S=0时,只有灰度。V表示色彩的明亮程度,范围从0到1。由于HSV是一种比较直观的颜色模型,所以在许多图像编辑工具中应用比较广泛。
道路边缘识别装置是通过对路面图像的实时处理,来警告车辆驾驶员在车辆驾驶路径中道路边缘的存在,或者提供用于在自主驾驶时路线计划的可行驾驶区域限制的装置。目前常用的道路边缘检测算法及其不足如下。
(1)Hough变换检测直线方法。
Hough变换利用图像空间和Hough参数空间的点-线对偶性,把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计,然后在Hough参数空间寻找累加器峰值的方法检测直线。
不足:占用较大内存,实时性较差,易受外界干扰,特别对于道路边缘检测时,阴影、障碍物等对Hough检测道路影响较大。
(2)基于彩色空间HSV的图像分割法。
通过将RGB色彩空间的图像转换为HSV空间的图像,可以通过对感兴趣的色彩信息(如S)进行进一步处理,方法主要有直方图阈值法、聚类法、区域增长法和边缘检测法等。
不足:色彩空间转换后需要选取合适的图像处理方法来检测道路边缘,效果好的方法往往带来实时性的降低。阈值选取较难把握。
(3)道路模版匹配方法。
用数学模型的模板对车道进行匹配。
不足:较复杂模版库能带来较精确的匹配程度,但是内存与实时性下降较为明显。较简单的模版库匹配速度快,但精确度不高。阴影和干扰对匹配效果影响较大。
(4)基于特征参数的跟踪方法。
基于特征参数的跟踪方法是一种参数估计的方法,其主要是用在建立车道标识线模型的基础上进行的,最具代表性的是各种滤波方法,如卡尔曼滤波。以及在其基础上发展起来粒子滤波方法等。
不足:由于是用先验概率预测后期结果,所以一旦预测出现误差,后期误差会逐渐增大,所以初次检验需要有较高准确率。该方法计算量很大,需要强大的硬件平台。
发明内容
为解决上述问题,本发明提供了一种基于移动平台进行道路边缘识别的方法及装置,以解决现有方法对于阴影严重的路面处理效果差、所需内存大而无法应用于移动平台***(如Android***)或应用在移动平台后实时性较差的缺点。
为实现上述目的,本发明的技术方案为:
一种基于移动平台进行道路边缘识别的方法,包括如下步骤:
S1:使用摄像模块来采集获得路面的实时图像信息,所述实时图像信息为YUV空间图像;
S2:使用移动平台对摄像模块获得的实时图像信息进行处理,将YUV空间图像转换成RGB空间图像;
S3:将步骤S2中获得的RGB空间图像转换成HSV空间图像,对其进行图像二值化处理,具体包括如下步骤:
S31:将步骤S2中获得的RGB空间图像转换成HSV空间图像;
S32:根据所述HSV空间图像的S域选择阈值;
S33:通过阈值对HSV空间图像进行二值化处理;
S34:对步骤S33获得的二值化图像依次进行膨胀、腐蚀处理,获取道路边缘所在区域;
S4:将步骤S2中获得的RGB空间图像转换为灰度图像,对其进行边缘和直线检测,具体包括如下步骤:
S41:将步骤S2中获得的RGB空间图像转换为灰度图像;
S42:对灰度图像通过边缘提取算子进行边缘检测;
S43:对步骤S42检测后得到的图像进行直线检测;
S44:对步骤S43中检测到的直线进行筛选和优化;
S5:依据步骤S34中获得的道路边缘所在区域,对步骤S44中检测到的直线进行进一步筛选,选取在道路边缘区域中的最长直线作为道路边缘。
进一步的,所述步骤S32中阈值的选择区域为图像偏下方的一个或由多个图形组成的近似梯形的几何区域。所述阈值的计算方法是:分别计算每个几何区域中的S域平均值,选取这些平均值的中位数,所述中位数即为阈值。
进一步的,所述步骤S33包括:将S域在(a-b,a+b)范围内的范围的点设为白色,其余设为黑色点,其中a为所述阈值,b为所选取的几个几何区域中求得的S域平均值的最大值与最小值的差值,所述白色点组成区域即为初步检测出的道路所在区域,黑色点组成区域为初步检测出的道路边缘所在区域。
进一步的,所述步骤S42中边缘检测使用Canny算子、Sobel算子。
进一步的,所述步骤S43的直线检测采用Hough变换检测直线方法。
进一步的,所述步骤S44具体包括:通过对斜率和位移的分析将碎线段进行连接或删除,通过分析前几帧图像检测出的道路边缘来在图像序列中的连续性来进行直线筛选。
一种基于移动平台进行道路边缘识别的装置,包括:
用于采集获得路面的实时图像信息的摄像模块,所述摄像模块获得的实时图像信息为YUV空间图像;
用于将摄像模块获得的实时图像信息进行处理的移动平台,所述移动平台将YUV空间图像转换成RGB空间图像;
所述移动平台将RGB空间图像转换成HSV空间图像,移动平台根据所述HSV空间图像的S域选择阈值,通过所述阈值对HSV空间图像进行二值化处理,对获得的所述二值化图像依次进行膨胀、腐蚀处理,获取道路边缘所在区域;
所述移动平台同时将获得的RGB空间图像转换为灰度图像,移动平台对所述灰度图像通过边缘提取算子进行边缘检测,对所述检测后得到的图像进行直线检测,对所述检测到的直线进行筛选和优化;
所述移动平台依据获得的所述道路边缘区域对所述检测到的直线进行进一步筛选,选取在道路边缘区域中的最长直线作为道路边缘。
进一步的,所述摄像模块通过OTG线与所述移动平台连接进行数据交换。
进一步的,所述装置还包括信息处理终端,所述信息处理终端用于接收存储移动平台的数据,所述移动平台将最终处理的结果通过网络与信息处理终端进行交互。
根据以上方案,本发明获得了如下有益效果:(1)基于道路边缘特征:以直线为主,完全可达到实际应用的程度;(2)基于道路阴影特征:在S域中与道路的非阴影区域非常接近,可以依此去除阴影的影响,同时计算量较小,降低对内存的要求;(3)基于实时图像:由于道路在前后图像中是有延续性的,可依此考虑图像连续性,防止前后检测结果出现较大误差;(4)感兴趣区域:图像分割、阈值选取、实时图像检测等都会限定在某些感兴趣区域内,可减小运算量;(5)降低算法复杂度:通过以上策略,算法复杂度非常低,因此可良好的应用于移动平台;(6)适用于复杂环境:即可检测道路标线,亦可检测道路边缘,所以阴影较多的校园环境和高速公路均可使用。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的基于移动平台进行道路边缘识别的装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明的方法步骤如下:
S1:使用摄像模块来采集获得路面的实时图像信息,所述实时图像信息为YUV空间图像,具体如下:
直接通过摄像模块获得YUV空间图像的数据,将其从YUV空间转换为RGB空间图像,设其为img_src。
S2:使用移动平台对摄像模块获得的实时图像信息进行处理,将YUV空间图像转换成RGB空间图像,具体如下:
将img_src图像从RGB空间转换为HSV空间图像,设为img_hsv。
S3:将步骤S2中获得的RGB空间图像转换成HSV空间图像,对其进行图像二值化处理,具体如下:
图像空间转换:将img_src图像从RGB空间转换为HSV空间图像,设为img_hsv。
选取二值化阈值:依据img_hsv图像的S域选择最佳阈值,阈值选择的区域为图像偏下方的一个或由多个图形组成的近似梯形的区域。最佳阈值计算方法是通过分别计算每个几何区域中的S域平均值,选取这些平均值的中位数,所述中位数即为阈值,设获得的最佳阈值为a。
通过阈值a进行图像二值化:将S域在(a-b,a+b)范围内的点设为白色点,其余设为黑色点,其中:a为所述阈值,b为所选取的邻域值,所述邻域值b为所选取的几个几何区域中求得的S域平均值的最大值与最小值的差值,所述白色点组成区域即为初步检测出的道路所在区域,黑色点组成区域为初步检测出的道路边缘所在区域。
对所得到的二值化图依次进行膨胀、腐蚀处理。所述膨胀步骤是将与物体接触的所有背景点合并到该物体中,使边界向外部扩张的过程。可以用来填补物体中的空洞。在该实施例中,膨胀的算法包括:用3x3的结构元素,扫描图像的每一个像素用结构元素与其覆盖的二值图像做“与”操作,如果都为0,则图像的该像素为0,否则为1,该步骤可使二值图像扩大一圈。 腐蚀是一种消除边界点,使边界向内部收缩的过程。可以用来消除小且无意义的物体。在该实施例中,腐蚀的算法包括:用3x3的结构元素,扫描图像的每一个像素用结构元素与其覆盖的二值图像做“与”操作,如果都为1,则图像的该像素为1,否则为0。该步骤能使二值图像减小一圈。上述先膨胀后腐蚀的过程称为闭运算,所述闭运算可用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。通过以上膨胀、腐蚀处理步骤,可以有效去除掉道路中的干扰点,并使道路边缘更加平滑。
S4:将步骤S2中获得的RGB空间图像转换为灰度图像,对其进行边缘和直线检测,具体如下:
将img_src转换为灰度图,设为img_gray。
边缘检测:对img_gray进行边缘检测,边缘检测可使用Canny算子、Sobel算子等其他边缘检测算子。
对边缘检测后所得图形进行直线检测。本发明使用Hough变换方法检测直线,并对检测到的直线进行筛选和优化,筛选和优化原则可以考虑斜率和位移等将碎线段进行连接或删除,也可考虑道路边缘在图像序列的连续性,依靠之前几帧图像检测出的道路边缘进行直线筛选。
依据步骤S3中获得的道路边缘所在区域,对步骤S4中检测到的直线进行进一步筛选,选取在道路边缘区域中的最长直线作为道路边缘。
如图2所示,一种基于移动平台进行道路边缘识别的装置,包括:
用于采集获得路面的实时图像信息的摄像模块,所述摄像模块获得的实时图像信息为YUV空间图像;
用于将摄像模块获得的实时图像信息进行处理的移动平台,所述移动平台将YUV空间图像转换成RGB空间图像;
所述移动平台将RGB空间图像转换成HSV空间图像,移动平台根据所述HSV空间图像的S域选择阈值,通过所述阈值对HSV空间图像进行二值化处理,对获得的所述二值化图像依次进行膨胀、腐蚀处理,获取道路边缘所在区域;
所述移动平台同时将获得的RGB空间图像转换为灰度图像,移动平台对所述灰度图像通过边缘提取算子进行边缘检测,对所述检测后得到的图像进行直线检测,对所述检测到的直线进行筛选和优化;
所述移动平台依据获得的所述道路边缘区域对所述检测到的直线进行进一步筛选,选取在道路边缘区域中的最长直线作为道路边缘。
进一步的,所述摄像模块通过OTG线与所述移动平台连接进行数据交换。
进一步的,所述装置还包括信息处理终端,所述信息处理终端用于接收存储移动平台的数据,所述移动平台将最终处理的结果通过网络与信息处理终端进行交互。

Claims (3)

1.一种基于移动平台进行道路边缘识别的方法,其特征在于,包括如下步骤:
S1:使用摄像模块来采集获得路面的实时图像信息,所述实时图像信息为YUV空间图像;
S2:使用移动平台对摄像模块获得的实时图像信息进行处理,将YUV空间图像转换成RGB空间图像;
S3:将步骤S2中获得的RGB空间图像转换成HSV空间图像,对其进行图像二值化处理,具体包括如下步骤:
S31:将步骤S2中获得的RGB空间图像转换成HSV空间图像;
S32:根据所述HSV空间图像的S域选择阈值,阈值的选择区域为图像偏下方的一个或由多个图形组成的近似梯形的几何区域;
S33:通过阈值对HSV空间图像进行二值化处理,将S域在(a-b,a+b)范围内的范围的点设为白色,其余设为黑色,其中a为所述阈值,b为所选取的几个几何区域中求得的S域平均值的最大值与最小值的差值,所述白色点组成区域即为初步检测出的道路所在区域,黑色点组成区域为初步检测出的道路边缘所在区域;
S34:对步骤S33获得的二值化图像依次进行膨胀、腐蚀处理,获取道路边缘所在区域;
S4:将步骤S2中获得的RGB空间图像转换为灰度图像,对其进行边缘和直线检测,具体包括如下步骤:
S41:将步骤S2中获得的RGB空间图像转换为灰度图像;
S42:对灰度图像通过边缘提取算子进行边缘检测,所述边缘提取算子包括Canny算子、Sobel算子;
S43:对步骤S42检测后得到的图像采用Hough变换检测直线方法进行直线检测;
S44:对步骤S43中检测到的直线进行筛选和优化;
S5:依据步骤S34中获得的道路边缘所在区域,对步骤S44中检测到的直线进行进一步筛选,选取在道路边缘区域中的最长直线作为道路边缘。
2.根据权利要求1所述的基于移动平台进行道路边缘识别的方法,其特征在于,所述步骤S32中的阈值的选取方法包括:分别计算每个几何区域中的S域平均值,选取这些平均值的中位数,所述中位数即为阈值。
3.根据权利要求2所述的基于移动平台进行道路边缘识别的方法,其特征在于,所述步骤S44具体包括:通过对斜率和位移的分析将碎线段进行连接或删除,通过分析前几帧图像检测出的道路边缘来在图像序列中的连续性来进行直线筛选。
CN201310351847.XA 2013-08-14 2013-08-14 一种基于移动平台进行道路边缘识别的方法及装置 Active CN103400150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310351847.XA CN103400150B (zh) 2013-08-14 2013-08-14 一种基于移动平台进行道路边缘识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310351847.XA CN103400150B (zh) 2013-08-14 2013-08-14 一种基于移动平台进行道路边缘识别的方法及装置

Publications (2)

Publication Number Publication Date
CN103400150A CN103400150A (zh) 2013-11-20
CN103400150B true CN103400150B (zh) 2017-07-07

Family

ID=49563768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310351847.XA Active CN103400150B (zh) 2013-08-14 2013-08-14 一种基于移动平台进行道路边缘识别的方法及装置

Country Status (1)

Country Link
CN (1) CN103400150B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714538B (zh) * 2013-12-20 2016-12-28 中联重科股份有限公司 道路边缘检测方法、装置及车辆
CN104680519B (zh) * 2015-02-06 2017-06-23 四川长虹电器股份有限公司 基于轮廓和颜色的七巧板识别方法
CN105046260B (zh) * 2015-07-31 2019-01-04 小米科技有限责任公司 图像预处理方法及装置
CN105549603B (zh) * 2015-12-07 2018-08-28 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
CN105488492B (zh) * 2015-12-25 2019-09-13 北京大学深圳研究生院 一种彩色图像预处理方法、道路识别方法及相关装置
CN105809149A (zh) * 2016-03-31 2016-07-27 电子科技大学 基于最大长度直线的车道线检测方法
CN105956511B (zh) * 2016-04-18 2019-04-02 江苏大学 一种基于Hough变换的车道直线检测与合并的方法
CN106153634A (zh) * 2016-09-22 2016-11-23 武汉科技大学 一种用于自动测试耐火砖抗热震性的图像采集与处理***
CN106444765B (zh) * 2016-10-21 2019-07-09 广东工业大学 一种基于视觉的agv导航方法
CN107358224B (zh) * 2017-08-18 2021-01-05 北京工业大学 一种白内障手术中虹膜外轮廓检测的方法
CN109592342B (zh) * 2018-11-15 2021-05-18 华南智能机器人创新研究院 一种视觉圆柱形物料输料方法
CN109934128A (zh) * 2019-02-27 2019-06-25 长安大学 一种用于道路病害检测的航拍图像路面识别方法
CN110795994B (zh) * 2019-09-16 2022-05-10 腾讯科技(深圳)有限公司 路口图像选择方法及装置
CN111163575B (zh) * 2020-01-02 2021-08-20 杭州涂鸦信息技术有限公司 一种五路彩灯支持远程控制的方法及***
CN111043485B (zh) * 2020-01-08 2024-03-19 南京航空航天大学 一种两轴全自动跟踪云台及其跟踪方法
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
TWI729898B (zh) * 2020-08-04 2021-06-01 國立勤益科技大學 車道影像分析方法
CN112183554B (zh) * 2020-09-01 2024-06-07 国交空间信息技术(北京)有限公司 一种自动化道路边界轮廓提取方法
CN112529922A (zh) * 2020-11-18 2021-03-19 南京农业大学 一种开放环境下多色叶片rgb图像背景精确分离的方法
CN112613523B (zh) * 2020-12-15 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种转炉出钢口钢流识别方法、***、介质及电子终端
CN113392704B (zh) * 2021-05-12 2022-06-10 重庆大学 一种山地道路边线位置检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数学形态学与Hough变换的道路边缘提取;张凤珍等;《太原科技大学学报》;20100615;第31卷(第3期);193-196 *

Also Published As

Publication number Publication date
CN103400150A (zh) 2013-11-20

Similar Documents

Publication Publication Date Title
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
US10592754B2 (en) Shadow removing method for color image and application
US7664315B2 (en) Integrated image processor
Lai et al. Single-image dehazing via optimal transmission map under scene priors
Jiang et al. Image dehazing using adaptive bi-channel priors on superpixels
CN111539273A (zh) 一种交通视频背景建模方法及***
CN104766071B (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN105069801A (zh) 基于图像质量诊断的视频图像预处理方法
CN109034017A (zh) 头部姿态估计方法及机器可读存储介质
CN112017445B (zh) 一种行人违规行为预测和运动轨迹跟踪***和方法
CN111539980B (zh) 一种基于可见光的多目标追踪方法
CN109886195B (zh) 基于深度相机近红外单色灰度图的皮肤识别方法
Huerta et al. Exploiting multiple cues in motion segmentation based on background subtraction
Ma et al. An all-weather lane detection system based on simulation interaction platform
CN110751635A (zh) 一种基于帧间差分和hsv颜色空间的口腔检测方法
Kuo et al. Depth estimation from a monocular view of the outdoors
CN114339185A (zh) 用于车辆相机图像的图像彩色化
CN115100240A (zh) 视频中的物体追踪方法及装置、电子设备、存储介质
Xiang et al. Exemplar-based depth inpainting with arbitrary-shape patches and cross-modal matching
CN111723805B (zh) 一种信号灯的前景区域识别方法及相关装置
CN106803073B (zh) 基于立体视觉目标的辅助驾驶***及方法
CN107066929B (zh) 一种融合多种特征的高速公路隧道停车事件分级识别方法
CN110188640B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN105574844A (zh) 辐射响应函数估计方法和装置
CN116263942A (zh) 一种调整图像对比度的方法、存储介质及计算机程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant