CN1455222A - 一种摄像机标定方法及其实施装置 - Google Patents
一种摄像机标定方法及其实施装置 Download PDFInfo
- Publication number
- CN1455222A CN1455222A CN 03109649 CN03109649A CN1455222A CN 1455222 A CN1455222 A CN 1455222A CN 03109649 CN03109649 CN 03109649 CN 03109649 A CN03109649 A CN 03109649A CN 1455222 A CN1455222 A CN 1455222A
- Authority
- CN
- China
- Prior art keywords
- circle
- circular hole
- center
- target disc
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种摄像机标定方法及其实施装置,它涉及计算机视觉检测领域。为解决标定范围和坐标原点问题,及环境背景光不理想,摄像机视场太小,或靶标移动方向和摄像机光轴夹角较大时,在靶标边缘设定的空间坐标原点会成像不清晰或移出视场范围问题,本发明采用的技术方案是:采用标记圆孔半径为其余圆孔半径的120%至150%的圆形靶标,通过图像的噪声滤除,阈值分割,轮廓跟踪,椭圆识别,椭圆拟合及中心提取方法,根据标记圆孔圆心及离标记圆孔最近的圆孔的圆心的空间位置、标记圆孔与其余圆孔的圆心距及沿空间某一方向移动圆形靶标的移动距离,采用特征点空间定位方法确定摄像机的位置。本发明适用于为了获取空间点到计算机图像象素点的对应关系,对摄像机进行标定的场合。
Description
技术领域
本发明涉及计算机视觉检测领域,尤其涉及为了获取空间点到计算机图像象素点的对应关系,对摄像机进行标定的场合。
背景技术
在计算机视觉检测过程中,为了获取空间点到计算机图像象素点的对应关系,摄像机标定是必不可少的。摄像机标定就是获得摄像机内部的几何和光学特性,即内部参数,及摄像机坐标系相对于空间坐标系的位置关系,即外部参数。
目前Tsai的RAC标定法最为常用,这种方法先由径向准直约束求解摄像机模型的大部分参数,然后采用迭代法求出其他参数。标定中非常关键的一步就是靶标上特征点数据的处理,即确定靶标上的特征点的空间坐标和图像坐标。摄像机的标定靶标的形式多种多样,其中圆形靶标是最常用的。因为圆形对图像的阈值不敏感,且特征点坐标容易确定,所以可以比较容易的得到亚像素级的标定精度。传统的圆形靶标是在平面板上均匀排列大小一致的圆孔,圆孔之间的中心距精确已知,圆孔的中心可以作为特征点。因为没有比较特殊的圆孔,很难自动确定空间坐标系坐标原点。在标定时,一般要人工在图像上选取出标定范围和坐标原点。有一种可以实现自动标定的方法是以靶标的某一边缘上的圆孔中心作为原点建立坐标系,但是,当环境背景光不理想,摄像机视场太小,或靶标移动方向和摄像机光轴夹角较大时,在靶标边缘设定的空间坐标原点会成像不清晰或移出视场范围。所以,这种方法还不能完全自动获取物空间坐标原点,不能实现真正的自动化标定。
发明内容
为克服现有技术的不足,提供一种提高CCD摄像机标定的速度和自动化程度,使应用更加稳定可靠的方法及其事实装置,本发明采用的技术方案为:
一种摄像机标定方法,包括下列步骤:
采用标记圆孔半径为其余圆孔半径的120%至150%的圆形靶标,标记圆孔位于圆形靶标中央;
沿空间某一方向移动圆形靶标;
通过图像的噪声滤除,阈值分割,轮廓跟踪,椭圆识别,椭圆拟合及中心提取方法在摄像机视场中寻找移动前和移动后的圆形靶标及圆形靶标上足够多的包括标记圆孔的多个圆孔,并找到离标记圆孔最近的圆孔,确定标记圆孔及离标记圆孔最近的圆孔的圆心的空间位置;
根据标记圆孔圆心及离标记圆孔最近的圆孔的圆心的空间位置、标记圆孔与其余圆孔的圆心距及所述沿空间某一方向移动圆形靶标的移动距离,采用特征点空间定位方法确定摄像机的位置。
适用于上述方法的圆形靶标,其结构为不透光平板玻璃上光刻出一系列透光圆孔阵列M×N,行列严格垂直,圆孔的中心距相等且已知,并且,靶标中央的圆孔即标记圆孔的半径为其余圆孔半径的120%至150%。
由于本发明采用了中央的圆孔(称为标记圆)的半径大于其余圆孔半径的靶标结构,以及图像的噪声滤除,阈值分割,轮廓跟踪,椭圆识别,椭圆拟合及中心提取和特征点空间定位步骤,在CCD标定过程中自动建立空间坐标系,并自动获取和处理靶标上特征点的数据,因而提高CCD摄像机标定的速度和自动化程度,使应用更加稳定可靠。
附图说明
图1为本发明圆形靶标结构示意图。
图2为本发明空间3D坐标自动建立原理图。
具体实施方式
下面结合附图和实施例进一步说明本发明。
图1是本发明圆形靶标,该圆形靶标是在不透光平板玻璃上光刻出一系列透光圆孔阵列M×N,行列严格垂直,圆孔的中心距相等且已知(Δx,Δy)。与传统靶标不同之处在于圆形靶标中央的标记圆孔的半径要大于其余圆孔。在标定过程中,以圆形靶标的第一个位置的标记圆孔中心为原点Ow,横向圆心所在的直线为Xw轴,纵向圆心所在的直线为Yw轴,以圆形靶标移动方向为Zw轴,建立空间坐标系,坐标系符合右手定则,如图2所示。由于标记圆孔位于靶标中央,所以只要摄像机视场中出现足够多的圆孔,通过图像处理和椭圆识别,必然可以找到标记圆孔以及离它最近的圆孔。本发明的圆形靶标克服了传统靶标的缺陷,能够更加灵活自动和准确地完成摄像机的标定。
为了实现摄像机自动标定,根据本发明的圆形靶标特点设计、使用了一整套的图像处理算法:图像的噪声滤除,阈值分割,轮廓跟踪,椭圆识别,椭圆拟合及中心提取和特征点空间定位等。
由于圆形靶标图像的直方图有比较明显的双峰值,分别代表了靶标中透光圆孔和黑色不透光底板,并且双峰值的差距比较大,所以可以直接采用双峰法对图像进行阈值分割;然后采用轮廓跟踪法,获取目标的边缘点;因为经过透镜的透视变换,圆变成了椭圆,所以,我们采用椭圆的相似性识别算法来剔除非椭圆的边缘点,同时确定标记圆孔的轮廓点;对剩下的轮廓点进行椭圆拟合,提取出椭圆的中心坐标,它们就是特征点的图像坐标;最后确定标记圆孔圆心坐标和其余圆心坐标的位置关系,根据已知的圆形靶标圆心距以及标定过程中圆形靶标移动的距离,建立空间坐标系,可以很容易确定图像上的特征点所对应的空间坐标。下面着重说明其中的关键算法:椭圆相似性识别算法。
虽然经过透视变换,标定图像上的椭圆之间仍有很好的相似性。椐此,我们设计了两步法来识别椭圆目标。第一步是轮廓初步识别和标记椭圆搜索,以剔除杂点和非椭圆点,第二步是利用相似性精确识别椭圆:
1)轮廓初步识别和标记椭圆搜索:某条有N个边缘点的封闭轮廓{(xi,yj)|1≤i≤N},它所包围的区域面积为:
从边缘点中搜寻最左端点p0、最右端点p1、最上端点p2、最下端点p3,任两点的距离为Di,j,则它们两两之间最大距离的一半即为该轮廓的外接圆半径:
r=max(Di,j)(i,j=0,1,2,3) (2)在镜头畸变不大时,圆形度指标C=S/(π·r2)的值不会很小。因为靶标图像中椭圆的外接圆半径大小和边缘点个数相近(除去标记圆)。所以,可以采用类似图像直方图统计的方法,选出标定圆。统计所有轮廓的外接圆半径r和边缘个数N,分别以5和20为间隔作为直方图的划分,统计出落入每个区间内轮廓的个数;分别找到两者的最大值,即外接圆半径直方图峰值PrMax和和边缘点个数直方图峰值PnMax。取两者的小一级作为阈值:
依此阈值,删除满足以下条件的轮廓点:边缘点个数N<Tn;外接圆半径r<Tr;圆形度指标C<0.5。在剩余轮廓点中搜索外接圆半径r最大的即为标记圆。
2)基于相似性的椭圆精确识别;
经过第一步的操作,已经除去了大部分的非椭圆的轮廓点,为了更精准的确定有用椭圆的轮廓点,还要利用椭圆的相似性,即普通椭圆和标记椭圆之间的相似性,进一步搜索。根据Hu矩不变性,即相同的形状作平移、旋转后Hu矩值保持不变,定义三个形状相似性系数:其中,A,B为两个椭圆轮廓的点集合; hk为k阶Hu矩。当两条轮廓完全相同时,I1=I2=I3=0;而两条轮廓的相似性越差,三个相似性系数的值就越大。大量实验结果表明,靶标图像中椭圆的相似性系数远小于0.001,可以删除I1>0.001的轮廓点。至此完成了相似性椭圆识别的整个过程。
实验中,待标定的摄像机为Mintron的MTV-368P,其参数为:像元个数500(H)×582(V),有效像敏面的尺寸为4.9mm×3.7mm,最小照度为0.1lux;光学镜头的标称焦距f=16mm,相对孔径1/F=1.4。选用圆形靶标的规格为:11×9圆形阵列,圆孔中心间距Δx=Δy=15mm,标记圆孔的半径分别为其余圆孔半径的120%,135%至150%共三种。把它们分别放在电控自动移动工作台上,每隔Δz=10mm采集一幅靶标图像,共采集5个位置的图像,经过图像处理得到相应特征点的坐标数据,选取其中的3个位置的图像,采用Tsai’s的RAC标定方法进行标定,得到了CCD摄像机的内部参数和外部参数。用另外2个位置的图像做标定误差分析,经过分析可知标定误差小于0.4个象素。
Claims (2)
1.一种摄像机标定方法,其特征是,包括下列步骤:
采用标记圆孔半径为其余圆孔半径的120%至150%的圆形靶标,标记圆孔位于圆形靶标中央;
沿空间某一方向移动圆形靶标;
通过图像的噪声滤除,阈值分割,轮廓跟踪,椭圆识别,椭圆拟合及中心提取方法在摄象机视场中寻找移动前和移动后的圆形靶标及圆形靶标上足够多的包括标记圆孔的多个圆孔,并找到离标记圆孔最近的圆孔,确定标记圆孔及离标记圆孔最近的圆孔的圆心的空间位置;
根据标记圆孔圆心及离标记圆孔最近的圆孔的圆心的空间位置、标记圆孔与其余圆孔的圆心距及所述沿空间某一方向移动圆形靶标的移动距离,采用特征点空间定位方法确定摄象机的位置。
2.一种用于摄像机标定的圆形靶标,其结构为不透光平板玻璃上光刻出一系列透光圆孔阵列M×N,行列严格垂直,圆孔的中心距相等且已知,其特征是,靶标中央的圆孔即标记圆孔的半径为其余圆孔半径的120%至150%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB031096492A CN1188660C (zh) | 2003-04-11 | 2003-04-11 | 一种摄像机标定方法及其实施装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB031096492A CN1188660C (zh) | 2003-04-11 | 2003-04-11 | 一种摄像机标定方法及其实施装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1455222A true CN1455222A (zh) | 2003-11-12 |
CN1188660C CN1188660C (zh) | 2005-02-09 |
Family
ID=29259911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB031096492A Expired - Fee Related CN1188660C (zh) | 2003-04-11 | 2003-04-11 | 一种摄像机标定方法及其实施装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1188660C (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1294533C (zh) * | 2005-05-19 | 2007-01-10 | 上海交通大学 | 摄像机或照相机几何畸变的标定方法 |
CN100351853C (zh) * | 2005-04-06 | 2007-11-28 | 北京航空航天大学 | 高噪声图像特征点自动提取方法 |
CN100384220C (zh) * | 2006-01-17 | 2008-04-23 | 东南大学 | 摄像机标定数据的采集方法及其标定板 |
CN100385198C (zh) * | 2006-06-22 | 2008-04-30 | 上海交通大学 | 平面显示屏生成标定板的方法 |
CN100428805C (zh) * | 2005-12-15 | 2008-10-22 | 上海交通大学 | 仅用一幅平面标定物图像的摄像机标定方法 |
CN100453966C (zh) * | 2005-01-10 | 2009-01-21 | 北京航空航天大学 | 一种摄像机空间三维位置姿态测量方法 |
CN101329764B (zh) * | 2008-07-31 | 2010-04-21 | 上海交通大学 | 采用两个任意共面圆进行摄像机标定的方法 |
CN101206116B (zh) * | 2007-12-07 | 2010-08-18 | 北京机械工业学院 | 目标点全局自动定位方法 |
CN101825448A (zh) * | 2010-03-30 | 2010-09-08 | 中国计量学院 | 一种确定红外热像仪镜头平面与被测平面之间夹角的方法 |
CN101520897B (zh) * | 2009-02-27 | 2011-01-19 | 北京机械工业学院 | 摄像机标定方法 |
CN101699223B (zh) * | 2009-10-27 | 2011-06-15 | 北京控制工程研究所 | 一种月球车双目视觉导航***标定装置 |
CN101650828B (zh) * | 2009-09-07 | 2012-03-07 | 东南大学 | 摄像机标定中减少圆形目标定位随机误差的方法 |
CN102110290B (zh) * | 2009-12-28 | 2013-01-16 | 云南大学 | 一种利用正三棱柱靶标求解摄像机内参数方法 |
CN103530630A (zh) * | 2013-09-29 | 2014-01-22 | 西安交通大学 | 基于区域移动的批量群圆矢量亚像素快速识别方法 |
CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
CN104463833A (zh) * | 2013-09-22 | 2015-03-25 | 大族激光科技产业集团股份有限公司 | 一种标定一维面阵相机组相机参数的方法和*** |
CN104567728A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 激光视觉轮廓测量***及测量方法、立体靶标 |
CN104794704A (zh) * | 2015-03-27 | 2015-07-22 | 华为技术有限公司 | 一种标定模板、模板检测方法、装置及终端 |
CN105606627A (zh) * | 2016-03-16 | 2016-05-25 | 武汉大学 | 核电站安全壳远程外观检查测量方法及*** |
CN106092057A (zh) * | 2016-07-28 | 2016-11-09 | 南昌航空大学 | 一种基于四目立体视觉的直升机旋翼桨叶动态轨迹测量方法 |
CN106530349A (zh) * | 2016-10-25 | 2017-03-22 | 成都工业学院 | 一种基于椭圆中心的动态定位方法及装置 |
CN107516329A (zh) * | 2016-06-15 | 2017-12-26 | 北京科技大学 | 一种减速机油孔定位方法 |
CN110100149A (zh) * | 2016-12-27 | 2019-08-06 | 索尼公司 | 勘测标记、图像处理装置、图像处理方法和程序 |
CN110823130A (zh) * | 2019-10-22 | 2020-02-21 | 北京工业大学 | 一种结构光3d视觉快速自动标定装置及方法 |
CN112986290A (zh) * | 2021-02-23 | 2021-06-18 | 长江存储科技有限责任公司 | 一种透射电镜的检验方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100462668C (zh) * | 2005-09-07 | 2009-02-18 | 北京航空航天大学 | 一种用于视觉***标定的柔性平面靶标 |
-
2003
- 2003-04-11 CN CNB031096492A patent/CN1188660C/zh not_active Expired - Fee Related
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100453966C (zh) * | 2005-01-10 | 2009-01-21 | 北京航空航天大学 | 一种摄像机空间三维位置姿态测量方法 |
CN100351853C (zh) * | 2005-04-06 | 2007-11-28 | 北京航空航天大学 | 高噪声图像特征点自动提取方法 |
CN1294533C (zh) * | 2005-05-19 | 2007-01-10 | 上海交通大学 | 摄像机或照相机几何畸变的标定方法 |
CN100428805C (zh) * | 2005-12-15 | 2008-10-22 | 上海交通大学 | 仅用一幅平面标定物图像的摄像机标定方法 |
CN100384220C (zh) * | 2006-01-17 | 2008-04-23 | 东南大学 | 摄像机标定数据的采集方法及其标定板 |
CN100385198C (zh) * | 2006-06-22 | 2008-04-30 | 上海交通大学 | 平面显示屏生成标定板的方法 |
CN101206116B (zh) * | 2007-12-07 | 2010-08-18 | 北京机械工业学院 | 目标点全局自动定位方法 |
CN101329764B (zh) * | 2008-07-31 | 2010-04-21 | 上海交通大学 | 采用两个任意共面圆进行摄像机标定的方法 |
CN101520897B (zh) * | 2009-02-27 | 2011-01-19 | 北京机械工业学院 | 摄像机标定方法 |
CN101650828B (zh) * | 2009-09-07 | 2012-03-07 | 东南大学 | 摄像机标定中减少圆形目标定位随机误差的方法 |
CN101699223B (zh) * | 2009-10-27 | 2011-06-15 | 北京控制工程研究所 | 一种月球车双目视觉导航***标定装置 |
CN102110290B (zh) * | 2009-12-28 | 2013-01-16 | 云南大学 | 一种利用正三棱柱靶标求解摄像机内参数方法 |
CN101825448A (zh) * | 2010-03-30 | 2010-09-08 | 中国计量学院 | 一种确定红外热像仪镜头平面与被测平面之间夹角的方法 |
CN104463833A (zh) * | 2013-09-22 | 2015-03-25 | 大族激光科技产业集团股份有限公司 | 一种标定一维面阵相机组相机参数的方法和*** |
CN104463833B (zh) * | 2013-09-22 | 2017-11-03 | 大族激光科技产业集团股份有限公司 | 一种标定一维面阵相机组相机参数的方法和*** |
CN103530630B (zh) * | 2013-09-29 | 2016-08-17 | 西安交通大学 | 基于区域移动的批量群圆矢量亚像素快速识别方法 |
CN103530630A (zh) * | 2013-09-29 | 2014-01-22 | 西安交通大学 | 基于区域移动的批量群圆矢量亚像素快速识别方法 |
CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
CN103759716B (zh) * | 2014-01-14 | 2016-08-17 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
CN104567728A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 激光视觉轮廓测量***及测量方法、立体靶标 |
CN104794704A (zh) * | 2015-03-27 | 2015-07-22 | 华为技术有限公司 | 一种标定模板、模板检测方法、装置及终端 |
CN104794704B (zh) * | 2015-03-27 | 2017-11-17 | 华为技术有限公司 | 一种标定模板、模板检测方法、装置及终端 |
CN105606627A (zh) * | 2016-03-16 | 2016-05-25 | 武汉大学 | 核电站安全壳远程外观检查测量方法及*** |
CN105606627B (zh) * | 2016-03-16 | 2018-08-21 | 武汉大学 | 核电站安全壳远程外观检查测量方法及*** |
CN107516329B (zh) * | 2016-06-15 | 2024-02-27 | 北京科技大学 | 一种减速机油孔定位方法 |
CN107516329A (zh) * | 2016-06-15 | 2017-12-26 | 北京科技大学 | 一种减速机油孔定位方法 |
CN106092057B (zh) * | 2016-07-28 | 2018-05-29 | 南昌航空大学 | 一种基于四目立体视觉的直升机旋翼桨叶动态轨迹测量方法 |
CN106092057A (zh) * | 2016-07-28 | 2016-11-09 | 南昌航空大学 | 一种基于四目立体视觉的直升机旋翼桨叶动态轨迹测量方法 |
CN106530349A (zh) * | 2016-10-25 | 2017-03-22 | 成都工业学院 | 一种基于椭圆中心的动态定位方法及装置 |
CN110100149A (zh) * | 2016-12-27 | 2019-08-06 | 索尼公司 | 勘测标记、图像处理装置、图像处理方法和程序 |
CN110100149B (zh) * | 2016-12-27 | 2021-08-24 | 索尼公司 | 勘测标记、图像处理装置、图像处理方法和程序 |
CN110823130A (zh) * | 2019-10-22 | 2020-02-21 | 北京工业大学 | 一种结构光3d视觉快速自动标定装置及方法 |
CN110823130B (zh) * | 2019-10-22 | 2021-09-14 | 北京工业大学 | 一种结构光3d视觉快速自动标定装置及方法 |
CN112986290A (zh) * | 2021-02-23 | 2021-06-18 | 长江存储科技有限责任公司 | 一种透射电镜的检验方法 |
CN112986290B (zh) * | 2021-02-23 | 2024-03-01 | 长江存储科技有限责任公司 | 一种透射电镜的检验方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1188660C (zh) | 2005-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1188660C (zh) | 一种摄像机标定方法及其实施装置 | |
CN111243032B (zh) | 一种棋盘格角点全自动检测方法 | |
CN109003258B (zh) | 一种高精度亚像素圆形零件测量方法 | |
CN100384220C (zh) | 摄像机标定数据的采集方法及其标定板 | |
CN113971779B (zh) | 一种基于深度学习的水尺自动读数方法 | |
CN114494045B (zh) | 一种基于机器视觉的大型直齿轮几何参数测量***及方法 | |
CN111310662B (zh) | 一种基于集成深度网络的火焰检测识别方法及*** | |
CN107895375B (zh) | 基于视觉多特征的复杂道路线提取方法 | |
CN111353961B (zh) | 一种文档曲面校正方法及装置 | |
CN115100191B (zh) | 基于工业检测的金属铸件缺陷识别方法 | |
CN111251336A (zh) | 一种基于视觉定位的双臂协同智能装配*** | |
US10726277B2 (en) | Lane line detection method | |
CN108311859B (zh) | 一种基于视觉检测技术的绝缘子自动装配方法 | |
CN111695373B (zh) | 斑马线的定位方法、***、介质及设备 | |
CN108596925A (zh) | 基于视觉的太阳花模组表面螺钉孔位置图像处理方法 | |
CN114331869B (zh) | 一种坝面裂缝语义分割方法 | |
CN106651959A (zh) | 一种光场相机微透镜阵列几何参数的标定方法 | |
CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
CN109359604A (zh) | 面向巡检机器人的阴影干扰下仪表识别方法 | |
CN103544699B (zh) | 一种基于单图片三圆模版的摄像头标定方法 | |
CN113706468A (zh) | 基于bp神经网络的玻璃缺陷检测方法 | |
CN106815810B (zh) | 一种确定拟合边界的方法及装置 | |
CN112634259A (zh) | 一种键盘键帽自动建模定位方法 | |
CN111105418B (zh) | 一种针对图像中矩形目标的高精度图像分割方法 | |
CN114419042B (zh) | 基于激光投影辅助线的板材轮廓视觉提取方法、***和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |