CN101916452B - 一种基于飞行控制信息的无人机遥感影像自动拼接方法 - Google Patents
一种基于飞行控制信息的无人机遥感影像自动拼接方法 Download PDFInfo
- Publication number
- CN101916452B CN101916452B CN2010102364038A CN201010236403A CN101916452B CN 101916452 B CN101916452 B CN 101916452B CN 2010102364038 A CN2010102364038 A CN 2010102364038A CN 201010236403 A CN201010236403 A CN 201010236403A CN 101916452 B CN101916452 B CN 101916452B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- aerial vehicle
- unmanned aerial
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于飞行控制信息的无人机遥感影像自动拼接方法,特别是实现了根据飞行控制***获取的姿态参数进行无人机遥感影像的自动校正与拼接。该方法通过无人机飞行控制***获取的姿态参数,进行影像的航偏角校正和确定影像的邻接关系;对校正后的影像进行特征点提取,并对邻接影像进行特征点匹配,提取同名点;根据影像解算模型计算输出影像的范围,并与根据姿态参数确定的范围进行比较,若在容差范围内,则认为相邻影像之间的同名点数量和质量满足“拼接”要求,认为其“连通”;依次计算所有影像之间的连通关系,并求取影像之间的最大连通分量;根据连通分量进行模型解算,确定变换参数,输出研究区的拼接影像。
Description
技术领域
本发明涉及无人机遥感影像自动化处理,具体包括根据无人机飞行控制***获取的飞行控制信息,进行无人机遥感影像的航偏角自动校正和拼接。本发明可适用于无人机遥感影像的实时快速拼接。
背景技术
无人机技术最初用于军事领域。在第二次世界大战之后,无人机技术得到了快速发展,主要用于危险和环境恶劣地区的军事侦察、实时监测等。从20世纪80年代开始,无人机得到日益广泛的应用,并开始应用到航空摄影测量领域。无人机作为卫星遥感重要的补充手段,具有在云下低空飞行能力,弥补了卫星光学遥感和普通航空摄影测量易受云层遮挡影响的缺陷;具有灵活机动的特点,无需机场起降,具有车载起飞、伞降和水面降落等多种方式;由于无人驾驶,回避了飞行员人身安全的风险,适用于救灾应急等;并且成本相对低廉,相对其他方式具有不可替代的优势。
当前国内外无人机遥感技术的研究主要集中在无人机遥感***的设计,具体包括无人机***设计、地面的飞行控制***、姿态控制***等。随着全球定位***(GPS)和惯性测量单元(IMU)的发展,获取无人机上传感器的位置和姿态参数相对容易,从而促进了无人机在摄影测量领域的应用。国内外的重要参考文献如:李兵,岳京宪,李和军,“无人机摄影测量技术的探索与应用研究”,北京测绘,2008;刘庆元,徐柳华,沈彩莲,王小平,“基于无人飞行器遥感影像的数字摄影测量关键技术研究”,测绘科学,2010;姬渊,秦志远,王秉杰,刘晓辉,小型无人机遥感平台在摄影测量中的应用研究,测绘技术装备,2008;HenriEisenbeiss,Applications of photogrammetric processing using an autonomous model helicopter,ISPRS Commission I Symposium″From sensors to imagery″,2006;RB Haarbrink,E Koers,Helicopter UAV for photogrammetry and rapid response,2006;H Püschel,M Sauerbier,HEisenbeiss,A 3D Model of Castle Landenberg(CH)from combined photogrammetric processing ofterrestrial and UAV-based images,The International Archives of the Photogrammetry,RemoteSensing and Spatial Information Sciences,2008。
针对无人机遥感技术另一个方面的研究主要集中在应用方面,如在无人机上搭载高空间分辨率、高光谱分辨率的摄影相机,获取地表的高分辨率影像,并将其应用在精细农业、遗产保护、道路检测等领域,服务于经济和社会建设,其重要的文献包括L.F.Johnson,S.Herwitz,S Dunagana,B.Lobitz,D.Sullivan,R.Slye,“Collection of Ultra High Spatial and SpectralResolution Image Data over California Vineyards with a Small UAV”,Proceedings,Int’lSymposium on Remote Sensing of Environment,2003;Albert Rango,Andrea Laliberte,Jeffrey E.Herrick,Craig Winters,Kris Havstad,Development of an Operational UAV/Remote SensingCapability for Rangeland Management,23rd International UAV Systems Conference,2008等
无人机在云下低空飞行,获取影像的分辨率较高,但是覆盖范围较小,需要将多景无人机遥感影像进行拼接,才能形成覆盖整个研究区的影像。因此,研究无人机遥感影像自动拼接技术具有十分重要的意义。当前针对无人机自动拼接的研究和文献较少。虽然在计算机视觉领域发表了一些重要文献,如MATTHEW BROWN,DAVID G.LOWE,“AutomaticPanoramic Image Stitching using Invariant Features”,International Journal of Computer Vision74(1),59-73,2007;Zomet A,Levin A,Peleg S,Weiss Y,Seamless image stitching by minimizingfalse edges,IEEE Trans Image Process.200615(4):969-77。但是,这些研究不是针对无人机遥感应用,而是针对普通的摄影,没有充分利用无人机遥感影像的飞行控制信息,并且没有考虑航偏等因素引起的变形,不适合于无人机遥感影像的拼接。本发明提供一种根据无人机飞行控制信息的遥感影像自动拼接方法。
发明内容
本发明的目的是提供一种根据飞行控制信息进行无人机遥感影像的自动拼接方法,特别是根据无人机飞行控制***获取的飞行控制信息,进行无人机遥感影像的航偏角自动校正和拼接。
本发明的思路为:通过无人机飞行控制***获取的位置和姿态参数,确定影像的邻接关系并进行影像的航偏角校正;对校正后的影像进行特征点提取,并对邻接影像进行特征点匹配,提取同名点;根据同名点解算影像之间的几何变换模型和空间范围,并与根据姿态参数确定的范围进行比较,若在容差范围内,则认为相邻影像具有重叠区域,即“连通”;搜索所有影像之间的连通关系,并求取影像之间的最大连通分量;对最大连通分量进行几何模型解算,确定几何变换参数,并输出整个研究区的全景影像。
本发明的技术方案提供了一种基于飞行控制信息的无人机遥感影像的自动拼接方法,其特征在于以下的实施步骤:
1)根据无人机飞行控制***获取的航偏角(YAW),纠正航偏角引起的几何变形;
2)根据影像获取时刻GPS记录的无人机的经纬度坐标,确定影像之间的邻接关系;
3)对航偏校正后的影像进行特征点自动提取,并根据步骤2)确定的邻接关系对相邻影像进行特征点匹配,获取同名点;
4)对匹配得到的同名点进行粗差剔除,确定影像之间的几何变换模型和空间范围;
5)根据飞行姿态的位置信息、影像大小,确定影像拼接后的大致范围。并与步骤4)计算所得的空间范围进行比较;若计算所得空间范围满足误差要求,则认为影像之间具有重叠区域,即“连通”;
6)重复步骤4)和5),搜索所有影像与其相邻影像之间的“连通”关系;
7)根据步骤6)确定的连通关系,求取最大连通分量,确定影像拼接的顺序;
8)计算待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵,进行影像重采样,输出全景影像。
上述实施步骤的特征在于:
根据无人机的飞行控制信息,进行航偏角校正和确定影像之间的邻接关系,并结合影像的大小,确定影像输出的大致范围,用以验证特征点提取与匹配的精度;特征点的提取与匹配采用全自动的SIFT特征匹配,并采用多项式模型进行参数解算,确定待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵,实现影像拼接的自动化;通过影像之间的特征点匹配,确定邻接影像之间是否“连通”,求取最大连通分量,优化影像拼接顺序,减小变形和提高精度。
本发明与现有技术相比具有如下特点:充分利用无人机飞行控制***获取的飞行控制信息,进行无人机影像的自动拼接。本发明所涉及的无人机数据处理适用于各种类型的无人机数据自动化处理等。
附图说明
图1基于飞行控制信息的无人机遥感影像自动拼接方法的流程图
图2无人机遥感影像航偏校正示意图
其中,图2(B)和图2(C)是相邻两景无人机遥感影像,图2(A)和图2(D)是经过航偏校正的结果影像,分别对应图2(B)和图2(C);
图3无人机遥感影像邻接关系图
其中,图3(A)表示影像IMG 3768与周围四个方向影像的邻接关系,图3(B)示意了影像方向确定的方法;
图4邻接影像特征点提取与匹配图
其中,图4(A)和图4(B)表示两景相邻影像,图4(C)表示图4(A)和图4(B)经过特征点提取和特征点匹配的结果影像,黑框中的点表示影像间的同名点;
图5无人机遥感影像遍历顺序示意图
其中,图5(A)表示以DSC01764为起始影像确定的最大连通分量,图5(B)表示影像所在范围,图5(C)表示影像拼接后的结果;图5(D)是以影像DSC01764为起点,依据影像遍历顺序建立的广度优先树;
图6影像输出范围示意图
其中,图6(A)是原始影像,图6(B)是图6(A)经过航偏校正后的结果影像,图6(C)为根据同名点计算得到的影像输出范围,图6(D)为将原始影像重采样后得到输出影像;
图7天津无人机遥感影像拼接结果图
图8新疆和田地区无人机遥感影像拼接结果示意图
具体实施方式
图1是一种基于飞行控制信息的无人机遥感影像自动拼接方法的流程图。本发明充分利用无人机飞行控制***获取的飞行控制信息,进行影像航偏角校正、邻接关系确定,并在此基础上进行特征点提取和匹配,这使得计算量从o(n2)降低到o(n),并提高了匹配的精度,最后进行模型计算,确定坐标变换矩阵,输出全景影像。结合图1,具体实施方式描述如下:
首先,根据无人机航偏角对几何变形进行校正。图2是无人机遥感影像航偏校正的示意图,图2(B)和图2(C)具有较大的重叠区域,但是由于相邻航带间无人机的飞行方向相反,加上航偏角的影响,存在较大的旋转变形误差。若直接进行匹配,将会导致较高的误匹配率,不利于后续几何模型参数的解算及其影像拼接。本专利根据航偏角对待拼接的影像进行校正。其原理为将影像围绕像主点旋转航偏角(YAW),矩阵旋转可以表示为:
其中,Icor和Iorg分别指原始影像和校正后影像,θ为航偏角。图2(B)和图2(C)的校正结果分别对应图2(A)和图2(D)所示,从中可以看出航偏角校正消除了航偏角造成的影像旋转误差,校正后影像主要存在获取点移动造成平移误差和航高变化造成比例尺误差,通过后续的特征点提取与匹配,并采用解算模型进行消除。
其次,确定影像之间的邻接关系。其主要原理是通过搭载在无人机上的GPS获取影像拍摄时刻无人机的空间位置(x,y,z),其中x是经度、y是纬度、z是高程。由于无人机获取数据的范围通常较小,可忽略地球表面为球面的影响,近似认为是平面。采用出租车距离搜索每景影像东、南、西、北四个方向最邻近的影像,即:
Dis(i,j)=abs(xi-xj)+abs(yi-yj)
其中,Dis(i,j)表示第i影像,与第j景影像之间距离,abs表示求绝对值,xi、yi和xj、yj表示各个点的坐标。方向判断采用如下公式:
其中,ki,kj是i,j两点的斜率,abs表示求绝对值。可以根据以下公式确定影像之间的相对关系:
其中,当Dir(i,j)在时候,认为第i景影像在第j景影像的东侧,依次确定其他方向的影像。影像邻接关系确定结果如图3(A)所示,IMG_3768四个方向均有影像,虚线箭头指示了该影像周围影像的位置,图3(B)示意了影像方向确定的方法。确定邻接影像后,只需与其邻接的影像进行特征点匹配,从而使运算量从o(n2)降低到o(n),并提高运算的准确程度。
第三,对影像进行特征点提取及相邻影像间进行特征点匹配。图4(A)和图4(B)是两景相邻影像。影像特征点提取与匹配采用SIFT点特征提取算法,主要由以下三步组成:点特征提取、特征描述子计算、特征匹配。首先对原始影像采用不同标准差(σ)进行高斯平滑,然后对平滑后的影像求差,得到高斯差分影像。在差分影像上取灰度值极大或极小的点作为特征点;然后以特征点为中心,取给定高、宽的影像区域,计算该区域内每个像素的梯度方向和梯度强度;最后计算待配准影像和参考影像上不同特征点的特征向量的欧式距离,将距离最小的特征点作为初始匹配点,并根据最邻近和次邻近的欧式距离之比剔除误匹配点。图4(C)是进行特征点提取与特征匹配的结果,框内的点表示影像之间的同名点。
第四,根据邻接影像提取的特征点,进行模型解算,并与飞行控制信息确定的影像范围进行比较,确定影像之间的连通关系;重复以上过程,确定所有影像之间的连通关系;选择一景与周围方向连通数最大的影像,加入队列,作为拼接的起始影像;从队头取一景影像,将其邻接影像加入队尾,并将队头的影像删除,注意入过队列的不需要重复入队;重复上述过程,直到队列为空;上述各影像出队的顺序,就可以构成了最大连通分量。结果如图5所示,其中,图5(A)表示以DSC01764为起始影像确定的最大连通分量,图5(B)表示影像所在范围,图5(C)表示影像拼接后的结果;图5(D)是以影像DSC01764为起点,依据影像遍历顺序建立的广度优先树;
第五,影像重采样,其过程是将原始影像按照上述航偏校正和相邻影像同名点匹配,并通过同名点进行模型解算,确定待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵。其中,模型解算采用多项式模型,多项式次数由用户设置,一般一次多项式就可以消除平移和旋转的误差;根据模型解算的参数,对原始影像进行重采样,生成输出影像。图6(A)所示的原始影像进行航偏校正,得到图6(B)所示,图6(C)为根据同名点计算得到的影像输出范围,图6(D)为将原始影像重采样后得到输出影像。
图7是12景天津地区无人机遥感影像的全自动拼接图。该地区主要为城区和农田,地面特征点丰富,拼接效果较好,影像之间接缝较好。说明本发明能够适应对城市、农村等景观复杂地区进行较好的拼接,满足要求。图8是新疆和田地区的无人机遥感拼接影像,和田地区景观类型主要为荒漠,地表特征点较少,影像色差较大,拼接较为困难。本发明也能进行较好的拼接,说明了算法具有较好的适用性。
Claims (2)
1.一种基于飞行控制信息的无人机遥感影像自动拼接方法,其特征在于包括以下几个步骤:
步骤1:根据无人机飞行控制***获取的航偏角(YAW),纠正航偏角引起的几何变形;
步骤2:根据影像获取时刻GPS记录的无人机的经纬度坐标,确定影像之间的相对位置关系;
步骤3:对航偏校正后的影像进行特征点自动提取,并根据步骤2确定的邻接关系对相邻影像进行特征点匹配,获取同名点;
步骤4:对匹配得到的同名点进行粗差剔除,确定影像之间的几何变换模型和空间范围;
步骤5:根据飞行姿态的位置信息、影像大小,确定影像拼接后的大致范围,并与步骤4计算所得的空间范围进行比较;若计算所得空间范围满足误差要求,则认为影像之间具有重叠区域,即“连通”;
步骤6:重复步骤4和步骤5,搜索所有影像与其相邻影像之间的“连通”关系;
步骤7:根据步骤6确定的连通关系,求取最大连通分量,确定影像拼接的顺序;
步骤8:计算待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵,进行影像重采样,输出全景影像。
2.根据权利要求1所述的无人机遥感影像自动拼接方法,其特征在于步骤3中所述特征点的提取与匹配采用全自动的SIFT特征匹配,步骤4中确定影像之间几何变换模型采用多项式模型进行参数解算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102364038A CN101916452B (zh) | 2010-07-26 | 2010-07-26 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102364038A CN101916452B (zh) | 2010-07-26 | 2010-07-26 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101916452A CN101916452A (zh) | 2010-12-15 |
CN101916452B true CN101916452B (zh) | 2012-04-25 |
Family
ID=43323956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102364038A Expired - Fee Related CN101916452B (zh) | 2010-07-26 | 2010-07-26 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101916452B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109801217A (zh) * | 2018-12-29 | 2019-05-24 | 东南大学 | 一种基于gps地面控制点的全自动正射影像拼接方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102607532B (zh) * | 2011-01-25 | 2014-04-30 | 吴立新 | 一种利用飞控数据的低空影像快速匹配方法 |
CN102201115B (zh) * | 2011-04-07 | 2013-12-11 | 湖南天幕智能科技有限公司 | 无人机航拍视频实时全景图拼接方法 |
CN102982515A (zh) * | 2012-10-23 | 2013-03-20 | 中国电子科技集团公司第二十七研究所 | 一种无人机图像实时拼接的方法 |
US9787895B2 (en) * | 2014-02-17 | 2017-10-10 | Sony Corporation | Information processing device, information processing method, and program for generating circumferential captured images |
WO2015199772A2 (en) * | 2014-03-28 | 2015-12-30 | Konica Minolta Laboratory U.S.A., Inc. | Method and system of stitching aerial data using information from previous aerial images |
CN104062980A (zh) * | 2014-06-10 | 2014-09-24 | 北京空间机电研究所 | 一种无人机机载全景监测*** |
CN104156968B (zh) * | 2014-08-19 | 2015-06-10 | 山东临沂烟草有限公司 | 大面积地形复杂区域无人机序列影像快速无缝拼接方法 |
CN106683043B (zh) * | 2015-11-10 | 2020-03-06 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测***的并行图像拼接方法、装置 |
CN106886988B (zh) * | 2015-12-11 | 2020-07-24 | 中国科学院深圳先进技术研究院 | 一种基于无人机遥感的线性目标检测方法及*** |
CN105957005B (zh) * | 2016-04-27 | 2019-03-29 | 湖南桥康智能科技有限公司 | 基于特征点和结构线的桥梁影像拼接方法 |
WO2017185309A1 (en) | 2016-04-28 | 2017-11-02 | SZ DJI Technology Co., Ltd. | System and method for obtaining spherical panorama image |
CN106990128B (zh) * | 2017-04-05 | 2019-08-30 | 北京矿冶科技集团有限公司 | 区域尾矿库环境风险评估中斑块影像和污染特征耦合方法 |
CN106951567B (zh) * | 2017-04-07 | 2020-07-17 | 安徽建筑大学 | 一种基于遥感技术的徽州传统聚落的水系空间分析方法 |
CN108513642B (zh) * | 2017-07-31 | 2021-08-27 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、无人机、地面控制台及其图像处理*** |
CN107371040B (zh) * | 2017-08-28 | 2020-05-15 | 荆门程远电子科技有限公司 | 一种无人机影像高效处理*** |
CN109427064B (zh) * | 2017-08-31 | 2021-10-12 | 广东泰一高新技术发展有限公司 | 航测高层自动分区方法 |
CN108109171A (zh) * | 2017-12-29 | 2018-06-01 | 百度在线网络技术(北京)有限公司 | 无人机航片旋偏角的检测方法、装置、设备和存储介质 |
CN108664446A (zh) * | 2018-05-10 | 2018-10-16 | 四川省冶地工程勘察设计有限公司 | 一种适用于遥感卫片数学精度检验的自动化解算*** |
CN110033411B (zh) * | 2019-04-12 | 2021-01-12 | 哈尔滨工业大学 | 基于无人机的公路施工现场全景图像高效拼接方法 |
CN111062875B (zh) * | 2019-12-19 | 2021-11-12 | 广州启量信息科技有限公司 | 一种用于空中全景漫游数据的坐标转换方法及装置 |
CN117788281B (zh) * | 2024-01-08 | 2024-05-28 | 安徽大学 | 低pos精度的机载线阵高光谱影像区域影像拼接方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
CN101442619B (zh) * | 2008-12-25 | 2010-08-18 | 武汉大学 | 无控制点图像拼接方法 |
-
2010
- 2010-07-26 CN CN2010102364038A patent/CN101916452B/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109801217A (zh) * | 2018-12-29 | 2019-05-24 | 东南大学 | 一种基于gps地面控制点的全自动正射影像拼接方法 |
CN109801217B (zh) * | 2018-12-29 | 2023-08-01 | 东南大学 | 一种基于gps地面控制点的全自动正射影像拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101916452A (zh) | 2010-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101916452B (zh) | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 | |
Eisenbeiss et al. | Investigation of UAV systems and flight modes for photogrammetric applications | |
US10089766B2 (en) | Method and system of stitching aerial data using information from previous aerial images | |
US9266611B2 (en) | Flight path development for remote sensing vehicles in a moving reference frame | |
Nex et al. | UAV for 3D mapping applications: a review | |
Yol et al. | Vision-based absolute localization for unmanned aerial vehicles | |
Meyer et al. | The MADMAX data set for visual‐inertial rover navigation on Mars | |
Wan et al. | Illumination-invariant image matching for autonomous UAV localisation based on optical sensing | |
Verhoeven et al. | Undistorting the past: New techniques for orthorectification of archaeological aerial frame imagery | |
JP2008186145A (ja) | 空撮画像処理装置および空撮画像処理方法 | |
Madawalagama et al. | Low cost aerial mapping with consumer-grade drones | |
Haala et al. | Dense multiple stereo matching of highly overlapping UAV imagery | |
Reinoso et al. | Cartography for civil engineering projects: photogrammetry supported by unmanned aerial vehicles | |
CN106885571A (zh) | 一种结合imu和导航影像的月面巡视器快速定位方法 | |
KR20190049086A (ko) | 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법 | |
CN103487032A (zh) | 低轨空间相机自由指向像移矢量计算方法 | |
CN109341685B (zh) | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 | |
Oh et al. | Automatic georeferencing of aerial images using stereo high-resolution satellite images | |
Bolkas et al. | A case study on the accuracy assessment of a small UAS photogrammetric survey using terrestrial laser scanning | |
Chaudhry et al. | A comparative study of modern UAV platform for topographic mapping | |
Samadzadegan et al. | Vision-based pose estimation for autonomous outdoor navigation of aerial vehicles | |
Lee et al. | Autonomous Airborne Video‐Aided Navigation | |
Dong et al. | Fast stereo aerial image construction and measurement for emergency rescue | |
Yoon et al. | Tin-Based Robust Mosaicking of Uav Images with Consecutive Image Connection | |
Kang et al. | Repositioning Technique Based on 3D Model Using a Building Shape Registration Algorithm. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120425 Termination date: 20150726 |
|
EXPY | Termination of patent right or utility model |