CN103426200B - 基于无人机航拍序列图像的树木三维重建方法 - Google Patents
基于无人机航拍序列图像的树木三维重建方法 Download PDFInfo
- Publication number
- CN103426200B CN103426200B CN201310375676.4A CN201310375676A CN103426200B CN 103426200 B CN103426200 B CN 103426200B CN 201310375676 A CN201310375676 A CN 201310375676A CN 103426200 B CN103426200 B CN 103426200B
- Authority
- CN
- China
- Prior art keywords
- sigma
- image
- tree
- crown
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 238000005192 partition Methods 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无人机航拍序列图像的树木三维重建方法,首先通过分水岭分割方法提取树冠的特征区域,然后通过计算RGB颜色空间中的区域相关系数来匹配特征区域并提取匹配特征点对,再结合航拍摄像机的成像模型,通过双目立体视觉原理计算深度信息,最后通过L***规则构建树木的三维模型。与现有技术相比,本发明考虑了树冠的纹理、颜色以及轮廓信息,充分提取出能反映树冠复杂结构的特征点集合。并且,考虑到无人机航拍过程中,摄像机存在的抖动、平移等,针对航拍摄像机复杂的成像模型来计算特征点集合的深度信息,并采取了合理的树木建模方法,构建出树木的合理的近似三维模型。
Description
技术领域
本专利涉及图像三维重建技术,特别是涉及基于无人机航拍序列图像的三维重建方法。
背景技术
无人机航拍是近年来空间数据获取的重要数据.来源。无人机航拍可以对同一个目标、场景进行多次成像,形成多视角、多位置成像。通过机载高分辨率光学摄像机,无人机航行一次能够获得大量图像序列,这些图像具有高分辨率、高重叠率,并且可以进行量测。应用序列图像三维重建的相关理论和技术,对无人机序列成像的处理,可以获得对地目标的三维模型。
图像三维重建方法的原理是通过摄像机从不同角度获取同一目标的两幅图像,然后利用立体视觉原理,由计算机重建目标的三维形状,恢复出其空间模型。而在航拍图像的三维重建中,由于无人机航拍的抖动、旋转、移动等都会引起航拍相机的震荡,从而使得航拍摄像机的成像模型更加复杂。其中,利用现有图像三维重建方法对树类物体的三维重建,多数只针对树木的骨干结构信息进行建模的,而很少考虑树冠轮廓和内部的纹理细节信息等,往往会导致重建出的树类物体的三维影像失真。此为本发明亟待解决的技术问题。
发明内容
基于现有技术中存在的问题,本发明提出了一种基于无人机航拍序列图像的树木三维重建方法,该完整的三维重建算法,首先通过分水岭分割方法提取树冠的特征区域,然后通过计算RGB颜色空间中的区域相关系数来匹配特征区域并提取匹配特征点对,再结合航拍摄像机的成像模型,通过双目立体视觉原理计算深度信息,最后通过L***规则构建树木的三维模型。
本发明提出了一种基于无人机航拍序列图像的树木三维重建方法,该方法包括以下步骤:
步骤一、对无人机航拍获得的两张相邻的树木序列图像,从中分别截取大小相同同一树冠图像一、树冠图像二,用grabcut算法去除背景,仅保留树冠区域;
步骤二、对去除背景的树冠图像一,使用分水岭分割算法做分割,得到明暗区域划分,计算每个分割区域的形心作为在树冠图像一上提取的特征点;
步骤三、计算树冠图像一各特征点在RGB颜色空间下的特征区域与树冠图像二的特征区域的相关系数
cij=Rcij+Gcij+Bcij
其中,Rcij,Gcij,Bcij表示以R、G、B三个分量分别计算区域相关系数;
其中,和分别为是树冠图像一、树冠图像二中第i和第j个特征点;wn、wm分别为滑动窗口的半长和半宽,n为窗口中的像素点个数,R1(ui,vi)、G1(ui,vi)、B1(ui,vi)和R2(ui,vi)、G2(ui,vi)、B2(ui,vi)分别为树冠图像一、树冠图像二上点(ui,vi)的R、G、B三个分量的值,σi、σj分别为两幅图像中第i和第j个特征点的图像滑动窗口内的标准差,其中,图像的各分量均值计算如下式:
R分量均值为:
G分量均值为:
B分量均值为:
图像的各分量的图像滑动窗口内的标准差计算如下式:
R分量的图像滑动窗口内的标准差:
G分量的图像滑动窗口内的标准差:
B分量的图像滑动窗口内的标准差:
在树冠图像二中找到树冠图像一特征区域的匹配区域,以匹配区域对的形心作为匹配特征点,通过最相关和次相关比例法去除误匹配点,具体步骤如下:
以树冠图像一的分水岭分割的每个区域的外接矩形作为该区域匹配时的窗口大小;
以同样大小的窗口在树冠图像二上扫描,按上述计算方法计算两幅图像上窗口区域内的RGB区域相关系数,记录得到的最大相关系数和次大相关系数;
计算最大相关系数和次大相关系数的比例k,设定一个k的阈值K,如果k>K,则把该匹配认为是误匹配舍弃,否则,认为该匹配正确并接受;
通过上步得到的两幅树冠图像上的匹配区域对,计算他们的形心作为匹配得到的匹配特征点对。
步骤四、通过计算机立体视觉原理,对图像的特征点集合的一系列计算获得图像特征点的三维信息,包括直接获得图像的特征点的二维参数和计算得到的深度参数,深度参数的计算包括三步,即确定航拍摄像机的成像模型,即摄像机的内外参数;通过摄像机成像模型,确定从二维点到三维点的映射关系;通过映射关系获取图像的三维点集合;
步骤五、从三维点集合获取树木的骨架信息,包括以下处理:
1、找到Z坐标最高点,并且找到最高点和最低点的dz,dz作为树高,把最高点所在的垂直轴作为树的中心主干,其深度为1,加入树干集合TrunkList,并把最高点加入树干点集IncludePoints;
2、扫描不在IncludePoints集合中的特征点,找到当前点集中离树干集合距离最小的点pi以及相应的树干ti,限制ti的深度不超过6,并且,分支数不超过3;
3、从该树干ti向点pi引出一个新的树干tnew与ti的夹角为30°,tnew的深度为ti的深度加1(限制树的最大深度不超过4),加入TrunkList时***ti后面,并把点pi加入已有树干包含的点集合IncludePoints;
4、回到2,直到所有三维散点都在IncludePoints集合中为止;
将上述获得的骨架信息,利用L***规则,首先根据得到的骨架信息生成L***语言的编码串,并读入编码串构建树木的骨架结构,并在枝干上加上叶子形成完整的三维树木模型。
与现有技术相比,本发明考虑到树冠的纹理、颜色以及轮廓信息,充分提取出能反映树冠复杂结构的特征点集合。并且,考虑到无人机航拍过程中,摄像机存在的抖动、平移等,针对航拍摄像机复杂的成像模型来计算特征点集合的深度信息。并采取了合理的树木建模方法,构建出树木的近似三维模型。因此,使用本方法,可以从航拍序列图像中,获得树木的三维信息并构建合理的树木三维模型。
附图说明
图1为本发明的基于无人机航拍序列图像的树木三维重建方法的整体流程图;
图2为特征点提取和匹配的流程图;
图3为基于RGB颜色空间下的特征区域匹配方法原理图;
图4为三维L***的坐标系;
图5为由三维散点集合构建树木三维模型示意图;
图6为从相邻两张无人机航拍图像中截取出的同一个树冠的图像;
图7为对树冠图像应用grabcut方法去除背景的图像;
图8为按基于区域相关系数的区域匹配方法匹配后得到的两幅图像的特征点对集合图;
图9为最相关和次相关比例取不同阈值时获得的特征点对集合以及相应的三维树木骨架结构图,其中,图(a)为K的阈值为0.93时获得的特征点集构建的树木模型,图(b)为K的阈值为0.92时获得的特征点集构建的树木模型,图(c)为K的阈值为0.91时获得的特征点集构建的树木模型,图(d)为K的阈值为0.85时获得的特征点集构建的树木模型;
图10为对经重建的三维骨架结构的枝干上加上树叶的三维树木模型,并与原树冠图像对应的图像示意图,其中,图(a)为树木模型的侧面视图,图(b)为树木模型的俯视图,图(c)为树木的原图像。
具体实施方式
下面结合附图及实施例,进一步详细说明本发明的具体实现方式。
根据本发明的技术方案,在图像获取上,本实施例采用无人机在某山区航拍获得图像,根据树冠大小选择合适的树冠图像大小能包含树冠的全部区域,保证不丢失树冠信息,所以开发者选择128×128的树冠图像,如图6所示。为了尽量消除非树冠区域对重建过程的影响又能不丢失树冠的信息,采用grabcut算法去除树冠图像的背景,如图7所示。
下面对特征点提取和匹配、深度计算以及三维建模三个过程的实施方式进行详细描述:
一、特征点提取和匹配
特征点提取和匹配是三维重建过程中非常重要的一个过程,因为所提取的特征点的优劣和对特征点匹配的准确性直接影响了最终重建出来的三维模型的好坏。
根据图2所示的流程图,本发明的实施分为以下几个步骤:
1、对树冠图像1采用基于梯度的分水岭分割,首先,对树冠图像使用sobel算子进行纵方向的梯度运算;然后,做开闭运算对梯度图像进行平滑处理;最后对平滑后的图像使用分水岭分割方法分割获得图像的特征区域。
2、记录分水岭分割的特征区域信息,以特征区域的外接矩形大小作为滑动窗口大小,在树冠图像2中扫描,计算两幅图像窗口区域的区域相关系数大小,以区域相关系数最大的区域对为最佳匹配区域对,匹配方法如图3所示。
3、提取匹配特征区域对的形心作为两幅树冠图像的匹配特征点,从而获得二维特征点对集合;
4、采用最相关和次相关比例法去除误匹配点,试验不同比例阈值情况下删除的误匹配点的情况,通过对结果的比较选择最合适的阈值来删除误匹配点,如图10所示的示例。
区域相关系数计算如下:
cij=Rcij+Gcij+Bcij
其中,Rcij,Gcij,Bcij表示以R、G、B三个分量分别计算区域相关系数,以R分量为例,计算如下式:
其中,和是两幅图像中第i和第j个特征点;wn、wm分别表示滑动窗口的半长和半宽,n为窗口中的像素点个数,R1(ui,vi)、G1(ui,vi)、B1(ui,vi)和R2(ui,vi)、G2(ui,vi)、B2(ui,vi)分别为图像1、2上点(ui,vi)的R、G、B三个分量的值。以R分量为例,图像的分量均值计算如下式:
图像滑动窗口内的标准差:
二、深度计算
例如,采用小孔相机模型,设在该投影模型下三维空间点X=(X,Y,Z)T在图像平面上的像点为xT=(x,y)T,则有
其中,和分别表示点x和X的齐次坐标,λ为方程两边齐次向量之间的比例因子,也称为射影深度;K为相机的内参数矩阵,而R和t为外参数,分别为摄像机在世界坐标系下的旋转矩阵和平移向量。
根据摄像机的成像模型,利用双目立体视觉原理来计算特征点的三维坐标,也就是模拟人双眼视觉功能。对两幅图像分别存在一个映射关系,联立两个映射关系得到关于世界坐标(Xw,Yw,Zw)的方程组如下:
其中,摄像机的内参数矩阵忽略摄像机存在的微小旋转,所以有对于摄像机的平移向量,取第一张图像拍摄时的位置为参考位置,所以T1=(000)T,T2=(TxTy0)T。所以,展开上式并整理得世界坐标系坐标值公式如下:
三、三维建模
首先是从三维散点集合获取树木的骨架枝干信息的方法。设定一个树干的集合TrunkList和这些树干包含的三维散点集合IncludePoints集合。获取骨架信息的方法如下:
1、找到Z坐标最高点,并且找到最高点和最低点的dz,dz作为树高,把最高点所在的垂直轴作为树的中心主干,其深度为1,加入树干集合TrunkList,并把最高点加入树干点集IncludePoints;
2、扫描不在IncludePoints集合中的特征点,找到当前点集中离树干集合距离最小的点pi以及相应的树干ti(限制ti的深度不超过6,并且,分支数不超过3);
3、从该树干ti向点pi引出一个新的树干tnew与ti的夹角为30°,tnew的深度为ti的深度加1(限制树的最大深度不超过4),加入TrunkList时***ti后面,并把点pi加入已有树干包含的点集合IncludePoints;
4、回到2,直到所有三维散点都在IncludePoints集合中为止。
获得树木的骨架枝干信息后,利用L***的规则,采用OpenGL三维图形技术构建出树木的三维模型。
Claims (1)
1.一种基于无人机航拍序列图像的树木三维重建方法,其特征在于,该方法包括以下步骤:
步骤一、对无人机航拍获得的两张相邻的树木序列图像,从中分别截取大小相同同一树冠图像一、树冠图像二,用grabcut算法去除背景,仅保留树冠区域;
步骤二、对去除背景的树冠图像一,使用分水岭分割算法做分割,得到明暗区域划分,计算每个分割区域的形心作为在树冠图像一上提取的特征点;
步骤三、计算树冠图像一各特征点在RGB颜色空间下的特征区域与树冠图像二的特征区域的相关系数
cij=Rcij+Gcij+Bcij
其中,Rcij,Gcij,Bcij表示以R、G、B三个分量分别计算区域相关系数;
其中,和分别为是树冠图像一、树冠图像二中第i和第j个特征点;wn、wm分别为滑动窗口的半长和半宽,n为窗口中的像素点个数,R1(ui,vi)、G1(ui,vi)、B1(ui,vi)和R2(ui,vi)、G2(ui,vi)、B2(ui,vi)分别为树冠图像一、树冠图像二上点(ui,vi)的R、G、B三个分量的值,σi、σj分别为两幅图像中第i和第j个特征点的图像滑动窗口内的标准差,其中,图像的各分量均值计算如下式:
R分量均值为:
G分量均值为:
B分量均值为:
图像的各分量的图像滑动窗口内的标准差计算如下式:
R分量的图像滑动窗口内的标准差:
G分量的图像滑动窗口内的标准差:
B分量的图像滑动窗口内的标准差:
在树冠图像二中找到树冠图像一特征区域的匹配区域,以匹配区域对的形心作为匹配特征点,通过最相关和次相关比例法去除误匹配点,具体步骤如下:
以树冠图像一的分水岭分割的每个区域的外接矩形作为该区域匹配时的窗口大小;
以同样大小的窗口在树冠图像二上扫描,按上述R、G、B分量计算方法计算两幅图像上窗口区域内的RGB区域相关系数,记录得到的最大相关系数和次大相关系数;
计算最大相关系数和次大相关系数的比例k,设定一个k的阈值K,如果k>K,则把该匹配认为是误匹配舍弃,否则,认为该匹配正确并接受;
通过得到的两幅树冠图像上的匹配区域对,计算他们的形心作为匹配得到的匹配特征点对;
步骤四、通过计算机立体视觉原理,对图像的特征点集合的一系列计算获得图像特征点的三维信息,包括直接获得图像的特征点的二维参数和计算得到的深度参数,深度参数的计算包括三步,即确定航拍摄像机的成像模型,即摄像机的内外参数;通过摄像机成像模型,确定从二维点到三维点的映射关系;通过映射关系获取图像的三维点集合;
步骤五、从三维点集合获取树木的骨架信息,包括以下处理:
(1)找到Z坐标最高点,并且找到最高点和最低点的dz,dz作为树高,把最高点所在的垂直轴作为树的中心主干,其深度为1,加入树干集合TrunkList,并把最高点加入树干点集IncludePoints;
(2)扫描不在IncludePoints集合中的特征点,找到当前点集中离树干集合距离最小的点pi以及相应的树干ti,限制ti的深度不超过6,并且,分支数不超过3;
(3)从该树干ti向点pi引出一个新的树干tnew与ti的夹角为30°,tnew的深度为ti的深度加1,加入TrunkList时***ti后面,并把点pi加入已有树干包含的点集合IncludePoints;
(4)回到(2),直到所有三维散点都在IncludePoints集合中为止;
将上述获得的骨架信息,利用L***规则,首先根据得到的骨架信息生成L***语言的编码串,并读入编码串构建树木的骨架结构,并在枝干上加上叶子形成完整的三维树木模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310375676.4A CN103426200B (zh) | 2013-08-26 | 2013-08-26 | 基于无人机航拍序列图像的树木三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310375676.4A CN103426200B (zh) | 2013-08-26 | 2013-08-26 | 基于无人机航拍序列图像的树木三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103426200A CN103426200A (zh) | 2013-12-04 |
CN103426200B true CN103426200B (zh) | 2017-05-03 |
Family
ID=49650888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310375676.4A Expired - Fee Related CN103426200B (zh) | 2013-08-26 | 2013-08-26 | 基于无人机航拍序列图像的树木三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103426200B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914869B (zh) * | 2014-02-26 | 2017-02-22 | 浙江工业大学 | 支持骨架个性化编辑的轻量化三维树木模型构建方法 |
CN105225241B (zh) * | 2015-09-25 | 2017-09-15 | 广州极飞科技有限公司 | 无人机深度图像的获取方法及无人机 |
CN105338316B (zh) * | 2015-10-30 | 2018-03-13 | 国家电网公司 | 无人机遥控器与图像传输模块的集成装置 |
CN106780618B (zh) * | 2016-11-24 | 2020-11-03 | 周超艳 | 基于异构深度摄像机的三维信息获取方法及其装置 |
CN106875407B (zh) * | 2017-02-09 | 2020-06-12 | 福州大学 | 一种结合形态学和标记控制的无人机影像林冠分割方法 |
SE543568C2 (en) * | 2017-02-27 | 2021-03-30 | Katam Tech Ab | Improved forest surveying apparatus and method using video sequences to generate 3D models and for height determination |
SE541287C2 (en) | 2017-02-27 | 2019-06-11 | Katam Tech Ab | Forest surveying apparatus and method using video sequences to generate 3D models |
CN108742519A (zh) * | 2018-04-02 | 2018-11-06 | 上海中医药大学附属岳阳中西医结合医院 | 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断*** |
CN109684914A (zh) * | 2018-11-09 | 2019-04-26 | 武汉伊莱维特电力科技有限公司 | 基于无人机影像智能识别方法 |
CN110634139B (zh) * | 2019-09-27 | 2022-02-22 | 首都医科大学附属北京世纪坛医院 | 一种图像比对的方法及其*** |
CN110779876B (zh) * | 2019-11-07 | 2022-12-02 | 长光禹辰信息技术与装备(青岛)有限公司 | 一种疫木识别方法、装置、设备及计算机可读存储介质 |
CN114202614B (zh) * | 2021-12-03 | 2022-09-27 | 浙江省土地信息中心有限公司 | 一种不动产三维建模方法、***、存储介质及智能终端 |
CN114170383A (zh) * | 2021-12-08 | 2022-03-11 | 中国林业科学研究院资源信息研究所 | 一种分解模型库森林三维场景模拟方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3002972B2 (ja) * | 1998-04-14 | 2000-01-24 | 株式会社島精機製作所 | 3次元画像処理装置 |
CN101887596A (zh) * | 2010-06-01 | 2010-11-17 | 中国科学院自动化研究所 | 树木点云数据基于分割和自动生长的三维模型重建方法 |
CN103106684A (zh) * | 2013-01-15 | 2013-05-15 | 北京农业信息技术研究中心 | 一种带叶状态树木形态结构三维重建的方法和*** |
-
2013
- 2013-08-26 CN CN201310375676.4A patent/CN103426200B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3002972B2 (ja) * | 1998-04-14 | 2000-01-24 | 株式会社島精機製作所 | 3次元画像処理装置 |
CN101887596A (zh) * | 2010-06-01 | 2010-11-17 | 中国科学院自动化研究所 | 树木点云数据基于分割和自动生长的三维模型重建方法 |
CN103106684A (zh) * | 2013-01-15 | 2013-05-15 | 北京农业信息技术研究中心 | 一种带叶状态树木形态结构三维重建的方法和*** |
Non-Patent Citations (2)
Title |
---|
Color-based watershed segmentation of low-altitude aerial images;Huguet,A.B.等;《Proceedings 17th Brazilian Symposium Computer Graphics and Image Processing》;20041020;138-145 * |
基于图像的树类物体的三维重建;刘彦宏等;《计算机学报》;20020912;第25卷(第9期);930-935 * |
Also Published As
Publication number | Publication date |
---|---|
CN103426200A (zh) | 2013-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103426200B (zh) | 基于无人机航拍序列图像的树木三维重建方法 | |
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN112270249B (zh) | 一种融合rgb-d视觉特征的目标位姿估计方法 | |
CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
US10353271B2 (en) | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF | |
CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
Barrow et al. | Parametric correspondence and chamfer matching: Two new techniques for image matching | |
CN110084304B (zh) | 一种基于合成数据集的目标检测方法 | |
US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
Hoppe et al. | Online Feedback for Structure-from-Motion Image Acquisition. | |
CN107204010A (zh) | 一种单目图像深度估计方法与*** | |
CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
CN106165387A (zh) | 光场处理方法 | |
CN110243390B (zh) | 位姿的确定方法、装置及里程计 | |
CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
CN116664782B (zh) | 一种基于融合体素的神经辐射场三维重建方法 | |
CN107978017A (zh) | 基于框线提取的室内结构快速建模方法 | |
CN114049434A (zh) | 一种基于全卷积神经网络的3d建模方法及*** | |
CN114863037A (zh) | 基于单手机的人体三维建模数据采集与重建方法及*** | |
CN114972646B (zh) | 一种实景三维模型独立地物的提取与修饰方法及*** | |
CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
CN107330930B (zh) | 三维图像深度信息提取方法 | |
KR20220014678A (ko) | 영상의 깊이를 추정하는 방법 및 장치 | |
CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170503 Termination date: 20200826 |
|
CF01 | Termination of patent right due to non-payment of annual fee |