CN1740739A - 基于线结构激光被动扫描的快速彩色三维贴图方法 - Google Patents
基于线结构激光被动扫描的快速彩色三维贴图方法 Download PDFInfo
- Publication number
- CN1740739A CN1740739A CN 200510015151 CN200510015151A CN1740739A CN 1740739 A CN1740739 A CN 1740739A CN 200510015151 CN200510015151 CN 200510015151 CN 200510015151 A CN200510015151 A CN 200510015151A CN 1740739 A CN1740739 A CN 1740739A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- camera
- axle
- pixel
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明基于线结构激光被动扫描的快速彩色三维贴图方法,涉及本发明涉及计算机视觉技术具体讲,本发明涉及基于线结构激光被动扫描的快速彩色三维贴图方法。为快速、准确、完整地将彩色信息贴合到激光扫描测量得到的三维点云数据上,本发明采用的技术方案是,建立测量模型(见右上式),得到物体的三维轮廓点数据,移动台带动被测物体相对于传感器做平移扫描运动和旋转扫描运动,拍摄彩色图像,将三维轮廓点数据(x,y,z)测量模型,得到像素坐标(ui,vi)在彩色图像中寻找数据点对应的(Ri,Gi,Bi)值,与空间坐标贴合在一起可获得对应的坐标彩色信息(xi,yi,zi)-(Ri,Gi,Bi)。本发明主要用于动漫制作、模具设计加工,以及考古学等行业中,要求获得经过颜色渲染的彩色三维数据的场合。
Description
技术领域
本发明涉及计算机视觉技术,激光测量技术,彩色三维数字化技术,具体讲,本发明涉及基于线结构激光被动扫描的快速彩色三维贴图方法。
背景技术
彩色三维测量技术已经成为三维测量领域研究中的热门,现有的三维测量技术大多只能获取被测表面的坐标信息(x,y,z),随着生产工艺发展和技术的革新,在动漫制作、模具设计加工,以及考古学等行业中,要求获得经过颜色渲染的彩色三维数据的场合。在传统的光学三维测量方法的研究基础上,进一步发展出了一些可以获取彩色三维信息的测量***,大多数思路是利用彩色CCD作为光信息采集传感器,拍摄被测表面的彩色图像,提取彩色信息(R,G,B)并与三维数据进行贴合,得到彩色三维数据。
线结构激光扫描测量技术是一种具有较高精度和较快测量速度的光学三维测量技术,在模具设计加工,考古业等对测量精度要求比较高的三维测量中应用较多。这一测量技术根据扫描方式的不同又具体包括主动扫描测量技术:即在扫描测量中CCD摄像机相对被测表面维持不动,而线结构光相对被测表面进行扫描。在三维测量结束后,CCD拍摄同一视场的彩色图像,按照光条的像素坐标提取对应彩色信息,并与反求出三维信息整合成彩色三维信息。但是,主动扫描测量技术存在参数标定困难,数据排列不整齐等缺陷,应用中常常受到限制。
另一种类扫描方式是被动扫描测量,可以较好地克服上述两种缺陷,在这一方式下,传感器和线结构光源的位置相对不动,在测量时传感器整体与被测表面进行相对的扫描运动,提取的彩色信息难以直接映射到光条对应的测量数据点,如果按照和扫描三维测量同样的扫描步进并逐个光条采集彩色信息,需要较长的采集时间。因此针对被动扫描测量,以及其他的扫描过程中摄像机相对于被测表面产生移动这一类的三维测量***,必须提出一种快速,准确的彩色信息贴图方法。
发明内容
为克服现有技术的不足,本发明的目的在于提供一种针对可以实现旋转和平移被动扫描的线结构光激光扫描测量,建立快速三维彩色信息贴图方法,可以快速、准确、完整地将彩色信息贴合到激光扫描测量得到的三维点云数据上。
本发明采用的技术方案是:基于线结构激光被动扫描的快速彩色三维贴图方法,依次包括下列步骤:
(1)建立空间测量坐标系ow-xwywzw,使ow-xwywzw面在光平面内,为右手坐标系;在CCD像面上建立像面坐标系,其中OX轴沿像素横向方向,OY轴沿像素纵向方向,0为镜头主点在CCD像面的成像点,为像面中心;摄像机坐标系的OXc轴和OZc轴线分别与OX轴OY轴平行,OZc轴指向为摄像机光轴,即从像面中心到镜头光心的连线;使线结构光传感器投射到物体表面产生一条光条,通过提取光条上一点的计算机像素坐标(u,v)进行计算得到定义在光平面内的空间测量坐标系下光条的世界坐标(xw,yw,zw);建立***的测量模型:
式中,(Xd,Yd)为前述光条上一点在CCD像面坐标系理想坐标,(Xu,Yu)是考虑镜头径向畸变后计算得出的实际坐标,(u,v)为该点的计算机像素坐标,dx,dy,分别是CCD的横向和纵向像元间距,f是镜头焦距,sx是水平方向采集卡采集的像元间距比例因子,k是镜头畸变系数,(u0,v0)是像面中心像素坐标,光平面参数r1,r2,r3,r4,r5,r6,r7,r8,r9,tx,ty,tz为可通过光平面标定确定的从摄像机坐标系到空间测量坐标系的转换矩阵元素,利用***对物体进行旋转扫描测量,得到物体的三维轮廓点数据;
(2)将被测物体维持在转台上固定不动,关闭激光器,将移动台平移到最优拍摄位置zk,移动台带动被测物体相对于传感器做平移扫描运动和旋转扫描运动,使摄像机光轴尽量逼近转轴,物体可以成像在摄像机的像面中心区域,从而使摄像机视场覆盖物体表面的面积达到最大:
α=arctan|r1/r7|
xt1=|tx/sinα-|xA|
zo=xt1·tanα
其中r1,r7分别是光平面参数中的oxw轴的方向矢量,zk=zo+zA,而xA,zA分别是转台停留在平移台起点时,转轴上一点在世界坐标系下的xw轴和zw轴坐标绝对值,α为摄像机光轴在测量坐标系ow-xwzw平面的方向角,xt1为摄像机光轴和光平面的交点到转台中心平移线的距离。利用转台旋转台带动被测物体旋转到角度位置:
θi=(α-30)+60·i i分别为0,1,2,3,4,5,
对应每一个θi位置,拍摄彩色图像;(3)将三维轮廓点数据(x,y,z)代入步骤(1)建立的测量模型,计算得到(Xu,Yu),令Yu=r·Xu,r比例系数。同样得出YA=r·XA,再次带入测量模型,得到三次方程:
利用卡尔丹公式解该方程得到唯一实根Xd,得到Xd,Yd的值,再代入测量模型计算可以得到:
本发明可取得如下效果:由于本发明测量模型的建立,因而给出了快速三维彩色信息贴图方法,可以快速、准确、完整地将彩色信息贴合到激光扫描测量得到的三维点云数据上。
附图说明
图1线机构激光扫描测量示意图
图2最优拍摄角度选取
图3旋转扫描数据
图4彩色三维扫描测量示意图
具体实施方式
下面结合附图和实施例进一步说明本发明。
图1所示为扫描测量***模型,建立空间测量坐标系ow-xwywzw使ow-xwyw面在光平面内,为右手坐标系。在CCD像面上建立像面坐标系,其中OX轴沿像素横向方向,OY轴沿像素纵向方向,0为镜头主点在CCD像面的成像点,为像面中心。摄像机坐标系的OXc轴和OZc轴线分别与OX轴OY轴平行,OZc轴指向为摄像机光轴,即从像面中心到镜头光心的连线。线结构光传感器投射到物体表面产生一条光条。式(1)是***的测量模型,通过提取光条上一点的计算机像素坐标(u,v)进行计算得到定义在光平面内的空间测量坐标系下光条的世界坐标(xw,yw,zw)。(Xd,Yd)该点在CCD像面坐标系理想坐标,而(Xu,Yu)是考虑镜头径向畸变后计算得出的实际坐标,(u,v)为该点的计算机像素坐标。其他参数中,dx,dy,分别是CCD的横向纵向像元间距,f是镜头焦距,sx是水平方向采集卡采集的像元间距比例因子,k是镜头畸变系数,(u0,v0)是像面中心像素坐标。而光平面参数r1,r2,r3,r4,r5,r6,r7,r8,r9,tx,ty,tz为从摄像机坐标系到***测量坐标系的转换矩阵元素,通过光平面标定确定。移动台带动被测物体相对于传感器做平移扫描运动和旋转扫描运动:
利用***对物体进行旋转扫描测量,得到物体的三维轮廓点数据。将被测物体维持在转台上固定不动,关闭激光器,将移动台平移到最优拍摄位置zk,如图2所表示,确保摄像机光轴尽量逼近转轴,物体可以成像在摄像机的像面中心区域,从而使摄像机视场覆盖物体表面的面积达到最大:
α=arctan|r1/r7|
xt1=|tx/sinα-|xA||
zo=xt1·tanα
其中r1,r7分别是光平面参数中的oxw轴的方向矢量,zk=zo+zA,而xA,zA分别是转台停留在平移台起点时,转轴上一点在世界坐标系下的xw轴和zw轴坐标绝对值,α为摄像机光轴在测量坐标系ow-xwzw平面的方向角。
如图3所示,由于旋转扫描测量得到的是呈均匀轴对成分布的光条数据,每条光条数据对应一个角度位置,以60度为间隔将这些数据分布均匀分成6组。然后利用转台旋转台带动被测物体旋转到角度位置:
θi=(α-30)+60·i i=0,1…5
确保第i组数据正对摄像机拍摄视场内,拍摄彩色图像。将三维数据(x,y,z)代入模型(1)。计算得到(Xu,Yu)。令Yu=r·Xu,同样得出Yd=r·Xd,再次带入(1)式,得到三次方程;
利用卡尔丹公式解该方程得到唯一实根Xd,得到Xd,Yd的值,再代入模型计算可以得到:
根据像素坐标(ui,vi)在彩色图像中寻找数据点对应的(Ri,Gi,Bi)值,与空间坐标贴合在一起可获得对应的坐标彩色信息(xi,yi,zi)-(Ri,Gi,Bi)。最后将6组数据重新整合,就可以获得完整的被测物体彩色三维信息。由于摄像机拍摄回转物体的张角大于120°,所以以60°为拍摄间隔可以完整地获取彩色信息,避免了数据点的颜色信息的丢失。
本方法主要针对被动式激光扫描测量***中反求彩色信息的操作,对于基于Tsai摄像机模型所建立的三维测量***模型,本方法皆具有通用性。本方法同样适用于基于立体视觉方法,相位法等光学三维扫描测量中,摄像机相对于被测表面移动的扫描方式的三维测量***对于被测点彩色信息的提取。
Claims (1)
1.一种基于线结构激光被动扫描的快速彩色三维贴图方法,其特征是,依次包括下列步骤:
(1)建立空间测量坐标系ow-xwywzw,使ow-xwywzw面在光平面内,为右手坐标系;在CCD像面上建立像面坐标系,其中OX轴沿像素横向方向,OY轴沿像素纵向方向,0为镜头主点在CCD像面的成像点,为像面中心;摄像机坐标系的OXc轴和OZc轴线分别与OX轴OY轴平行,OZc轴指向为摄像机光轴,即从像面中心到镜头光心的连线;使线结构光传感器投射到物体表面产生一条光条,通过提取光条上一点的计算机像素坐标(u,v)进行计算得到定义在光平面内的空间测量坐标系下光条的世界坐标(xw,yw,zw);建立***的测量模型:
式中,(Xd,Yd)为前述光条上一点在CCD像面坐标系理想坐标,(Xu,Yu)是考虑镜头径向畸变后计算得出的实际坐标,(u,v)为该点的计算机像素坐标,dx,dy,分别是CCD的横向和纵向像元间距,f是镜头焦距,sx是水平方向采集卡采集的像元间距比例因子,k是镜头畸变系数,(u0,v0)是像面中心像素坐标,光平面参数r1,r2,r3,r4,r5,r6,r7,r8,r9,tx,ty,tz为可通过光平面标定确定的从摄像机坐标系到空间测量坐标系的转换矩阵元素,利用***对物体进行旋转扫描测量,得到物体的三维轮廓点数据;
(2)将被测物体维持在转台上固定不动,关闭激光器,将移动台平移到最优拍摄位置zk,移动台带动被测物体相对于传感器做平移扫描运动和旋转扫描运动,使摄像机光轴尽量逼近转轴,物体可以成像在摄像机的像面中心区域,从而使摄像机视场覆盖物体表面的面积达到最大:
α=arctan|r1/r7|
xt1=|tx/sinα-|xA||
z0=xt1·tanα
其中r1,r7分别是光平面参数中的oxw轴的方向矢量,zk=zo+zA,而xA,zA分别是转台停留在平移台起点时,转轴上一点在世界坐标系下的xw轴和zw轴坐标绝对值,α为摄像机光轴在测量坐标系ow-xwzw平面的方向角,xt1为摄像机光轴和光平面的交点到转台中心平移线的距离。利用转台旋转台带动被测物体旋转到角度位置:
θi=(α-30)+60·i i分别为0,1,2,3,4,5,对应每一个θi位置,拍摄彩色图像;
(3)将三维轮廓点数据(x,y,z)代入步骤(1)建立的测量模型,计算得到(Xu,Yu),令Yu=r·Xu,r为比例系数。同样得出Yd=r·Xd,再次带入测量模型,得到三次方程:
利用卡尔丹公式解该方程得到唯一实根Xd,得到Xd,Yd的值,再代入测量模型计算可以得到:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100151515A CN1320333C (zh) | 2005-09-21 | 2005-09-21 | 基于线结构激光被动扫描的快速彩色三维贴图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100151515A CN1320333C (zh) | 2005-09-21 | 2005-09-21 | 基于线结构激光被动扫描的快速彩色三维贴图方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1740739A true CN1740739A (zh) | 2006-03-01 |
CN1320333C CN1320333C (zh) | 2007-06-06 |
Family
ID=36093199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100151515A Expired - Fee Related CN1320333C (zh) | 2005-09-21 | 2005-09-21 | 基于线结构激光被动扫描的快速彩色三维贴图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1320333C (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100383823C (zh) * | 2006-06-08 | 2008-04-23 | 东南大学 | 三维扫描的点云孔洞填补方法 |
CN100458358C (zh) * | 2007-07-10 | 2009-02-04 | 浙江大学 | 一种基于轴向立体视觉的逆向测量方法与装置 |
CN101266694B (zh) * | 2008-04-28 | 2010-06-09 | 武汉大学 | 一种单站地面激光扫描点云的构网方法 |
CN101676681B (zh) * | 2008-09-19 | 2011-05-11 | 中国第一汽车集团公司 | 大型模具泡沫实型的光学照相检测方法 |
CN101813522B (zh) * | 2009-07-13 | 2011-11-23 | 哈尔滨理工大学 | 基于表面几何特性的结构光重建颜色校正方法 |
CN102798352A (zh) * | 2012-07-10 | 2012-11-28 | 中联重科股份有限公司 | 一种结构件性能测试*** |
CN101396767B (zh) * | 2007-09-26 | 2013-05-15 | 株式会社其恩斯 | 激光加工设备、加工数据产生方法 |
CN103400339A (zh) * | 2013-07-11 | 2013-11-20 | 上海星焰印务有限公司 | 3d地贴的制作方法 |
CN103712604A (zh) * | 2013-12-20 | 2014-04-09 | 清华大学深圳研究生院 | 一种光学多目标三维空间定位方法及*** |
CN106575448A (zh) * | 2014-10-10 | 2017-04-19 | 艾维解决方案有限公司 | 激光扫描数据的图像渲染 |
CN106937105A (zh) * | 2015-12-29 | 2017-07-07 | 宁波舜宇光电信息有限公司 | 基于结构光的三维扫描装置及目标物体的3d图像建立方法 |
CN107358641A (zh) * | 2017-07-06 | 2017-11-17 | 林嘉恒 | 质数螺旋扫描方法及*** |
CN107560547A (zh) * | 2017-10-11 | 2018-01-09 | 杭州非白三维科技有限公司 | 一种扫描***及扫描方法 |
CN107909029A (zh) * | 2017-11-14 | 2018-04-13 | 福州瑞芯微电子股份有限公司 | 一种真实场景虚拟化采集方法和电路 |
CN109900204A (zh) * | 2019-01-22 | 2019-06-18 | 河北科技大学 | 基于线结构光扫描的大型锻件尺寸视觉测量装置及方法 |
CN110030940A (zh) * | 2018-01-11 | 2019-07-19 | 广州微易轨道交通科技有限公司 | 一种基于旋转编码技术的物体表面高精度三维测量方法及其装置 |
CN116147539A (zh) * | 2023-03-31 | 2023-05-23 | 山东曦伴机电技术服务有限公司 | 一种新型气瓶直线度的测量方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19626889A1 (de) * | 1996-07-04 | 1998-01-08 | Bernhard Dr Breuckmann | Verfahren und Vorrichtung zur Erfassung von Geometriedaten aus unterschiedlichen Beobachtungspositionen |
DE19956646C1 (de) * | 1999-11-25 | 2001-10-18 | Dieter Dirksen | Vorrichtung und Verfahren zur Erfassung der Raumkoordinaten von farblich differenzierten Oberflächenmerkmalen |
DE10300814A1 (de) * | 2002-01-16 | 2003-07-24 | Busch Dieter & Co Prueftech | Verfahren und Vorrichtung zur Präzisionsbestimmung der Lage eines Lichtpunktes |
CN1260544C (zh) * | 2004-07-14 | 2006-06-21 | 天津大学 | 双目线结构光传感器一致性精确标定方法及其实施装置 |
-
2005
- 2005-09-21 CN CNB2005100151515A patent/CN1320333C/zh not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100383823C (zh) * | 2006-06-08 | 2008-04-23 | 东南大学 | 三维扫描的点云孔洞填补方法 |
CN100458358C (zh) * | 2007-07-10 | 2009-02-04 | 浙江大学 | 一种基于轴向立体视觉的逆向测量方法与装置 |
CN101396767B (zh) * | 2007-09-26 | 2013-05-15 | 株式会社其恩斯 | 激光加工设备、加工数据产生方法 |
CN101266694B (zh) * | 2008-04-28 | 2010-06-09 | 武汉大学 | 一种单站地面激光扫描点云的构网方法 |
CN101676681B (zh) * | 2008-09-19 | 2011-05-11 | 中国第一汽车集团公司 | 大型模具泡沫实型的光学照相检测方法 |
CN101813522B (zh) * | 2009-07-13 | 2011-11-23 | 哈尔滨理工大学 | 基于表面几何特性的结构光重建颜色校正方法 |
CN102798352A (zh) * | 2012-07-10 | 2012-11-28 | 中联重科股份有限公司 | 一种结构件性能测试*** |
CN102798352B (zh) * | 2012-07-10 | 2015-12-16 | 中联重科股份有限公司 | 一种结构件性能测试*** |
CN103400339A (zh) * | 2013-07-11 | 2013-11-20 | 上海星焰印务有限公司 | 3d地贴的制作方法 |
CN103400339B (zh) * | 2013-07-11 | 2016-09-21 | 上海星焰印务有限公司 | 3d地贴的制作方法 |
CN103712604B (zh) * | 2013-12-20 | 2016-04-06 | 清华大学深圳研究生院 | 一种光学多目标三维空间定位方法及*** |
CN103712604A (zh) * | 2013-12-20 | 2014-04-09 | 清华大学深圳研究生院 | 一种光学多目标三维空间定位方法及*** |
CN106575448A (zh) * | 2014-10-10 | 2017-04-19 | 艾维解决方案有限公司 | 激光扫描数据的图像渲染 |
CN106575448B (zh) * | 2014-10-10 | 2021-10-08 | 艾维解决方案有限公司 | 激光扫描数据的图像渲染 |
CN106937105A (zh) * | 2015-12-29 | 2017-07-07 | 宁波舜宇光电信息有限公司 | 基于结构光的三维扫描装置及目标物体的3d图像建立方法 |
CN107358641A (zh) * | 2017-07-06 | 2017-11-17 | 林嘉恒 | 质数螺旋扫描方法及*** |
CN107560547A (zh) * | 2017-10-11 | 2018-01-09 | 杭州非白三维科技有限公司 | 一种扫描***及扫描方法 |
CN107909029A (zh) * | 2017-11-14 | 2018-04-13 | 福州瑞芯微电子股份有限公司 | 一种真实场景虚拟化采集方法和电路 |
CN110030940A (zh) * | 2018-01-11 | 2019-07-19 | 广州微易轨道交通科技有限公司 | 一种基于旋转编码技术的物体表面高精度三维测量方法及其装置 |
CN109900204A (zh) * | 2019-01-22 | 2019-06-18 | 河北科技大学 | 基于线结构光扫描的大型锻件尺寸视觉测量装置及方法 |
CN116147539A (zh) * | 2023-03-31 | 2023-05-23 | 山东曦伴机电技术服务有限公司 | 一种新型气瓶直线度的测量方法及装置 |
CN116147539B (zh) * | 2023-03-31 | 2023-10-17 | 山东曦伴机电技术服务有限公司 | 一种新型气瓶直线度的测量方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN1320333C (zh) | 2007-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1320333C (zh) | 基于线结构激光被动扫描的快速彩色三维贴图方法 | |
CN108981604B (zh) | 一种基于线激光的精密零件三维全貌测量方法 | |
CN108921901B (zh) | 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法 | |
WO2018103694A1 (zh) | 一种机器人三维扫描装置及方法 | |
Ebrahim | 3D laser scanners’ techniques overview | |
Fröhlich et al. | Terrestrial laser scanning–new perspectives in 3D surveying | |
CN105806242B (zh) | 采用激光旋转扫描的面型测量装置 | |
CN1262814C (zh) | 激光三维彩色扫描数字化方法及数字化仪 | |
CN108253939A (zh) | 可变视轴单目立体视觉测量方法 | |
CN103776390A (zh) | 三维自然纹理数据扫描机及多视场数据拼接方法 | |
CN109458958A (zh) | 一种四轴视觉测量装置中的转台中心位置的标定方法 | |
CN105627948A (zh) | 一种大型复杂曲面测量***及其应用 | |
CN109596073A (zh) | 一种基于视觉测量的回转台中心轴线的原点位置标定方法 | |
CN1888814A (zh) | 三维主动视觉传感器的多视点姿态估计和自标定方法 | |
CN111366070B (zh) | 一种复合式线激光测量***多轴空间坐标系标定方法 | |
CN102506711B (zh) | 线激光视觉三维旋转扫描方法 | |
CN107339935B (zh) | 用于全视角扫描测量***的靶标空间交会测量方法 | |
Yang et al. | Modeling and calibration of the galvanometric laser scanning three-dimensional measurement system | |
CN103162623A (zh) | 一种双摄像机垂直安装的立体测量***及标定方法 | |
CN110849268A (zh) | 一种快速的相位-高度映射标定方法 | |
CN113465543A (zh) | 一种基于多目视觉和振镜激光扫描的三维测量***及方法 | |
CN112257537B (zh) | 一种智能多点三维信息采集设备 | |
CN112082511A (zh) | 一种基于转台的大物体快速标定测量方法 | |
CN205352322U (zh) | 一种大型复杂曲面测量*** | |
Zheng et al. | Calibration of linear structured light system by planar checkerboard |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |