CN104002020A - 基于焊接熔池的数字相机自动对焦***及其自动聚焦方法 - Google Patents
基于焊接熔池的数字相机自动对焦***及其自动聚焦方法 Download PDFInfo
- Publication number
- CN104002020A CN104002020A CN201410183889.1A CN201410183889A CN104002020A CN 104002020 A CN104002020 A CN 104002020A CN 201410183889 A CN201410183889 A CN 201410183889A CN 104002020 A CN104002020 A CN 104002020A
- Authority
- CN
- China
- Prior art keywords
- image
- welding
- camera
- evaluation function
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
- B23K9/1272—Geometry oriented, e.g. beam optical trading
- B23K9/1274—Using non-contact, optical means, e.g. laser means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
一种基于焊接熔池的数字相机自动对焦***及其自动聚焦方法,涉及一种自动对焦***及其自动聚焦方法,***包括滤光模块、摄像头、嵌入式处理器,滤光模块包括隔热玻璃、滤光片,隔热玻璃、滤光片依次设置在焊接工件与摄像头之间,摄像头与嵌入式处理器连接,嵌入式处理器与焊接设备的控制***连接;方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使评价函数曲线点处于峰值位置,达到图像清晰效果。本发明能够在焊接过程中,不用借助外面光源就能够准确快速完成自动焊接视频对焦,其性能比较可靠,可适用于各种焊接。
Description
技术领域
本发明涉及一种自动对焦***及其自动聚焦方法,特别是一种基于焊接熔池的数字相机自动对焦***及其自动聚焦方法。
背景技术
生产加工企业大量需要使用焊接技术。目前,许多焊接过程中由于工件本身构造不同,使得焊接定位不精确影响焊接质量。焊接跟踪约束条件较大,自动化跟踪焊接相对水平不高。由于焊接过程中出现弧光辐射、高温气体、灰尘飞溅;表面结构、工件热变形等因素造成焊矩偏离焊缝。工作环境恶劣,要求弧焊机器人能够实时检测焊缝的偏差,并调整焊接路线和焊接参数。
而目前市场上普遍的自动焊接机自动跟踪***一般采用双向接触式焊缝跟踪传感器技术、光电传感器技术、非接触式超声跟踪技术等,这几种技术都存在相对的优缺点,如双向接触式跟踪技术能够直接探测到焊缝的位置,方法简单,但当出头运行到焊点时,会发生堵塞;光电传感器技术在焊缝高低不平时,直接影响焊接质量。
发明内容
本发明要解决的技术问题是:提供一种基于焊接熔池的数字相机自动对焦***及其自动聚焦方法,使其能够在焊接过程中能够快速对焦,获取清晰的焊接熔池图像信息。
解决上述技术问题的技术方案是:一种基于焊接熔池的数字相机自动对焦***,包括滤光模块、摄像头、嵌入式处理器,所述的滤光模块包括隔热玻璃、滤光片,该隔热玻璃、滤光片依次设置在焊接工件与摄像头之间,摄像头与嵌入式处理器连接,嵌入式处理器还与焊接设备的控制***连接。
本发明的进一步技术方案是:所述的隔热玻璃设置在焊接工件与滤光片之间,用于隔离焊接熔池时产生的热量;
所述的滤光片接收到焊接工件产生的弧光,滤除掉部分光线,只让波长与该滤光片峰值波长相同的光线进入摄像头;
所述的摄像头作为视觉感光传感器,采集经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器,同时还根据嵌入式处理器输出的调整焦距信号进行自动调焦;
所述的嵌入式处理器接收摄像头传输来的图像视频数据信号并将该信号进行处理,根据处理结果或输出调整焦距信号至摄像头,或输出清晰焊接熔池图像信号至焊接设备的控制***。
所述滤光片的峰值波长为6328Å。
所述摄像头的采集速度为50~70帧/秒。
本发明的另一种技术方案是:一种基于焊接熔池的数字相机自动对焦***的自动聚焦方法,该方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对图像清晰度评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使图像清晰度评价函数曲线点处于曲线的峰值位置,达到图像清晰效果;当焊接熔池场景变化和图像信息出现模糊使图像清晰度评价函数曲线点不处于曲线的峰值时,***调整摄像头镜头反向运动,自动搜索调整聚焦使图像稳定在最清晰处。
本发明的进一步技术方案是:该方法包括以下步骤:
A.图像预处理:
嵌入式处理器接收到摄像头传输来的图像视频数据信号后,采用中值滤波法把选择小区域的像素点的灰度值从小到大排列去其中间的灰度作为噪声点的灰度值;
B.对相邻的两个图像帧进行判断:
采用图像清晰度评价函数,对相邻的两个图像帧进行判断,得出相邻两个图像帧的评价函数值;
C. 连续对多个图像帧进行判断:
采用图像清晰度评价函数,连续对多个图像帧进行判断,得出多个图像帧的评价函数值;
D. 判断镜头运动方向:
根据评价函数值进行分析,判断摄像头镜头的运动方向;
E. 镜头调焦:
驱动摄像头镜头转动调整焦距倍数;
F. 再次判断聚焦峰值处:
再次使用图像清晰度评价函数判断聚焦峰值处,调整摄像头镜头的移动步进值;
G.判断函数曲线点是否在函数曲线的峰值处:
对比图像清晰度评价函数曲线点是否在清晰度评价函数曲线的峰值处,若图像不处于清晰度评价函数曲线的峰值,重复步骤B;若摄像头镜头已经超越走过清晰度评价函数曲线的峰值,则驱动电动镜头反向运动,重复步骤C;若3次来回跨过该清晰度评价函数曲线的峰值,则获取到清晰焊接熔池图像,嵌入式处理器将该清晰焊接熔池图像信号传输至焊接设备的控制***,调焦结束。
所述的图像清晰度评价函数采用灰度差分梯度函数,该灰度差分梯度函数为:
,
其中:Q为灰度差分梯度评价函数值,为a,b像素点的灰度值,m,n为图像的长、宽的最大像素值。
由于采用上述结构,本发明之基于焊接熔池的数字相机自动对焦***及其自动聚焦方法与现有技术相比,具有以下有益效果:
1.可快速对焦,获取清晰的焊接熔池图像信息:
由于本发明的***包括隔热玻璃、滤光片、摄像头、嵌入式处理器,其中, 摄像头采集到经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器;嵌入式处理器对摄像头传输来的图像视频数据信号进行数字中值滤波处理,根据图像清晰度评价函数实时输出调整摄像头焦距信号至摄像头,摄像头根据该调焦信号进行快速自动调焦;嵌入式处理器还将调焦后摄像头输入的图像视频数据信号进行中值滤波处理,从而可获取清晰焊接熔池图像。因此,本发明能够在熔池焊接过程中,不用借助外面光源就能够准确快速完成自动焊接视频对焦,准确捕捉清晰视频数据,为后面的视频数据处理提供清晰图像信息数据。
2.性能可靠:
由于本发明采用摄像头作为视觉传感器,其性能可靠、清晰度高;还在焊接工件与滤光片之间设置有隔热玻璃,以隔离焊接时产生的热量;采用嵌入式处理器技术,快速完成视频采集中值滤波图像清晰度评价判定、以获得清晰的图像,完成对焦任务。因此,本***的性能比较可靠。
3.方法简便:
由于本发明的方法是通过能够快速适应现场变化的图像清晰评价函数自动调整电动镜头变倍倍率选择合适的倍率,因此,本发明能够自动根据现场焊接熔池现场图像变化自动跟踪聚焦,以提供清晰图像,其方法比较简便。
4.适用范围广:
本发明适用于各种焊接,其适用范围较广。
下面,结合附图和实施例对本发明之基于焊接熔池的数字相机自动对焦***及其自动聚焦方法的技术特征作进一步的说明。
附图说明
图1:实施例一所述本发明之基于焊接熔池的数字相机自动对焦***的结构示意图,
图2:实施例一所述本发明之基于焊接熔池的数字相机自动对焦***的原理框图,
图3:实施例二所述本发明之基于焊接熔池的数字相机自动对焦***的自动聚焦方法的流程框图,
图4:图像清晰度评价函数的曲线图,
图4中的纵坐标y为图像清晰度,横坐标x为步进电机调整的焦距。
图中,各标号如下:
1-滤光模块, 101-隔热玻璃,102-滤光片,2-摄像头,
3-嵌入式处理器,4-焊接设备,
5-焊接工件。
具体实施方式
实施例一:
图1至图2中公开的是一种基于焊接熔池的数字相机自动对焦***,包括滤光模块1、摄像头2、嵌入式处理器3,所述的滤光模块1包括隔热玻璃101、滤光片102,该隔热玻璃101、滤光片102依次设置在焊接工件5与摄像头2之间,摄像头2与嵌入式处理器3连接,嵌入式处理器3还与焊接设备4的控制***连接。
所述的隔热玻璃101设置在焊接工件5与滤光片102之间,用于隔离焊接熔池时产生的热量;隔热玻璃101主要负责隔离红外辐射,排除红外热辐射的干扰。
所述的滤光片102峰值波长为6328Å,滤光片的峰值透光率为63%;所述的滤光片102接收到焊接工件产生的弧光,滤除掉部分光线,只让波长与该滤光片峰值波长相同的光线进入摄像头;
所述的摄像头2的采集速度为50~70帧/秒,所述的摄像头2作为视觉感光传感器,采集经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器,同时还根据嵌入式处理器输出的调整焦距信号进行自动调焦;
所述的嵌入式处理器3接收摄像头传输来的图像视频数据信号并将该信号进行处理,根据处理结果或输出调整焦距信号至摄像头2,或输出清晰焊接熔池图像信号至焊接设备4的控制***。
实施例二:
一种基于焊接熔池的数字相机自动对焦***的自动聚焦方法,该方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对图像清晰度评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使图像清晰度评价函数曲线点处于曲线的峰值位置,达到图像清晰效果;当焊接熔池场景变化和图像信息出现模糊使图像清晰度评价函数曲线点不处于曲线的峰值时,***调整摄像头镜头反向运动,自动搜索调整聚焦使图像稳定在最清晰处。
上述基于焊接熔池的数字相机自动对焦***的自动聚焦方法包括以下步骤(流程框图参见图3):
A.图像预处理:
嵌入式处理器接收到摄像头传输来的图像视频数据信号后,采用中值滤波法把选择小区域的像素点的灰度值从小到大排列去其中间的灰度作为噪声点的灰度值;本步骤选取3*3个像素点作为噪声点的区域,采用中值滤波法在较好地保护边缘信息的同时能够快速处理孤立的点和线的噪声。
B.对相邻的两个图像帧进行判断:
采用图像清晰度评价函数(曲线图参见图4),对相邻的两个图像帧进行判断,得出相邻两个图像帧的评价函数值;
C. 连续对多个图像帧进行判断:
采用图像清晰度评价函数,连续对多个图像帧进行判断,得出多个图像帧的评价函数值;
D. 判断镜头运动方向:
根据评价函数值进行分析,判断摄像头镜头的运动方向;
E. 镜头调焦:
驱动摄像头镜头转动调整焦距倍数;
F. 再次判断聚焦峰值处:
再次使用图像清晰度评价函数判断聚焦峰值处,调整摄像头镜头的移动步进值;
G.判断函数曲线点是否在函数曲线的峰值处:
对比图像清晰度评价函数曲线点是否在清晰度评价函数曲线的峰值处,若图像不处于清晰度评价函数曲线的峰值,重复步骤B;若摄像头镜头已经超越走过清晰度评价函数曲线的峰值,则驱动电动镜头反向运动,重复步骤C;若3次来回跨过该清晰度评价函数曲线的峰值,则获取到清晰焊接熔池图像,嵌入式处理器将该清晰焊接熔池位置图像信号传输至焊接设备的控制***,调焦结束。
所述的图像清晰度评价函数采用灰度差分梯度函数,灰度差分法作为图像清晰度评价函数具有能够见底图像噪声的目的和计算量小,能够便于硬件快速实现使图像能够快速聚焦,该灰度差分梯度函数为:,
其中:Q为灰度差分梯度评价函数值,为a,b像素点的灰度值。m,n为图像规模的最大行的m行、n列。
附表一:图像像素位置
Claims (7)
1.一种基于焊接熔池的数字相机自动对焦***,其特征在于:包括滤光模块(1)、摄像头(2)、嵌入式处理器(3),所述的滤光模块(1)包括隔热玻璃(101)、滤光片(102),该隔热玻璃(101)、滤光片(102)依次设置在焊接工件(5)与摄像头(2)之间,摄像头(2)与嵌入式处理器(3)连接,嵌入式处理器(3)还与焊接设备(4)的控制***连接。
2.根据权利要求1所述的基于焊接熔池的数字相机自动对焦***,其特征在于:所述的隔热玻璃(101)设置在焊接工件(5)与滤光片(102)之间,用于隔离焊接熔池时产生的热量;
所述的滤光片(102)接收到焊接工件产生的弧光,滤除掉部分光线,只让波长与该滤光片峰值波长相同的光线进入摄像头;
所述的摄像头(2)作为视觉感光传感器,采集经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器,同时还根据嵌入式处理器输出的调整焦距信号进行自动调焦;
所述的嵌入式处理器(3)接收摄像头传输来的图像视频数据信号并将该信号进行处理,根据处理结果或输出调整焦距信号至摄像头(2),或输出清晰焊接熔池图像信号至焊接设备(4)的控制***。
3.根据权利要求1所述的基于焊接熔池的数字相机自动对焦***,其特征在于:所述滤光片(102)的峰值波长为6328Å。
4.根据权利要求1所述的基于焊接熔池的数字相机自动对焦***,其特征在于:所述摄像头(2)的采集速度为50~70帧/秒。
5.一种基于焊接熔池的数字相机自动对焦***的自动聚焦方法,其特征在于:该方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对图像清晰度评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使图像清晰度评价函数曲线点处于曲线的峰值位置,达到图像清晰效果;当焊接熔池场景变化和图像信息出现模糊使图像清晰度评价函数曲线点不处于曲线的峰值时,***调整摄像头镜头反向运动,自动搜索调整聚焦使图像稳定在最清晰处。
6.根据权利要求5所述的基于焊接熔池的数字相机自动对焦***的自动聚焦方法,其特征在于:该方法包括以下步骤:
A.图像预处理:
嵌入式处理器接收到摄像头传输来的图像视频数据信号后,采用中值滤波法把选择小区域的像素点的灰度值从小到大排列去其中间的灰度作为噪声点的灰度值;
B.对相邻的两个图像帧进行判断:
采用图像清晰度评价函数,对相邻的两个图像帧进行判断,得出相邻两个图像帧的评价函数值;
C. 连续对多个图像帧进行判断:
采用图像清晰度评价函数,连续对多个图像帧进行判断,得出多个图像帧的评价函数值;
D. 判断镜头运动方向:
根据评价函数值进行分析,判断摄像头镜头的运动方向;
E. 镜头调焦:
驱动摄像头镜头转动调整焦距倍数;
F. 再次判断聚焦峰值处:
再次使用图像清晰度评价函数判断聚焦峰值处,调整摄像头镜头的移动步进值;
G.判断函数曲线点是否在函数曲线的峰值处:
对比图像清晰度评价函数曲线点是否在清晰度评价函数曲线的峰值处,若图像不处于清晰度评价函数曲线的峰值,重复步骤B;若摄像头镜头已经超越走过清晰度评价函数曲线的峰值,则驱动电动镜头反向运动,重复步骤C;若3次来回跨过该清晰度评价函数曲线的峰值,则获取到清晰焊接熔池图像,嵌入式处理器将该清晰焊接熔池图像信号传输至焊接设备的控制***,调焦结束。
7.根据权利要求6所述的基于焊接熔池的数字相机自动对焦***的自动聚焦方法,其特征在于:所述的图像清晰度评价函数采用灰度差分梯度函数,该灰度差分梯度函数为:
,
其中:Q为灰度差分梯度评价函数值,为a,b像素点的灰度值,m,n为图像的长、宽的最大像素值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410183889.1A CN104002020B (zh) | 2014-05-04 | 2014-05-04 | 基于焊接熔池的数字相机自动对焦***及其自动聚焦方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410183889.1A CN104002020B (zh) | 2014-05-04 | 2014-05-04 | 基于焊接熔池的数字相机自动对焦***及其自动聚焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104002020A true CN104002020A (zh) | 2014-08-27 |
CN104002020B CN104002020B (zh) | 2017-01-04 |
Family
ID=51363084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410183889.1A Expired - Fee Related CN104002020B (zh) | 2014-05-04 | 2014-05-04 | 基于焊接熔池的数字相机自动对焦***及其自动聚焦方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104002020B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104588837A (zh) * | 2015-01-20 | 2015-05-06 | 柳州铁道职业技术学院 | 弧焊机器人智能耦合*** |
CN110646933A (zh) * | 2019-09-17 | 2020-01-03 | 苏州睿仟科技有限公司 | 基于多深度平面显微镜的自动聚焦***和方法 |
CN114523236A (zh) * | 2022-02-28 | 2022-05-24 | 柳州铁道职业技术学院 | 一种基于机器视觉的智能化自动检测平台 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63256063A (ja) * | 1987-04-14 | 1988-10-24 | Nkk Corp | 自動合焦装置 |
CN100460166C (zh) * | 2007-03-08 | 2009-02-11 | 上海交通大学 | 焊接机器人多功能双目视觉传感器及其标定方法 |
CN201467363U (zh) * | 2009-06-27 | 2010-05-12 | 山西平阳重工机械有限责任公司 | 焊接监控装置 |
CN203918185U (zh) * | 2014-05-04 | 2014-11-05 | 柳州铁道职业技术学院 | 基于焊接熔池的数字相机自动对焦*** |
-
2014
- 2014-05-04 CN CN201410183889.1A patent/CN104002020B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63256063A (ja) * | 1987-04-14 | 1988-10-24 | Nkk Corp | 自動合焦装置 |
CN100460166C (zh) * | 2007-03-08 | 2009-02-11 | 上海交通大学 | 焊接机器人多功能双目视觉传感器及其标定方法 |
CN201467363U (zh) * | 2009-06-27 | 2010-05-12 | 山西平阳重工机械有限责任公司 | 焊接监控装置 |
CN203918185U (zh) * | 2014-05-04 | 2014-11-05 | 柳州铁道职业技术学院 | 基于焊接熔池的数字相机自动对焦*** |
Non-Patent Citations (1)
Title |
---|
冯华君,毛邦福,李奇,徐之海: "一种用于数字成像的自动对焦***", 《光电工程》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104588837A (zh) * | 2015-01-20 | 2015-05-06 | 柳州铁道职业技术学院 | 弧焊机器人智能耦合*** |
CN110646933A (zh) * | 2019-09-17 | 2020-01-03 | 苏州睿仟科技有限公司 | 基于多深度平面显微镜的自动聚焦***和方法 |
CN114523236A (zh) * | 2022-02-28 | 2022-05-24 | 柳州铁道职业技术学院 | 一种基于机器视觉的智能化自动检测平台 |
Also Published As
Publication number | Publication date |
---|---|
CN104002020B (zh) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107529011B (zh) | 一种电动变焦镜头控制方法 | |
CN105578029B (zh) | 一种多尺度变步长的自动对焦搜索算法 | |
US20180143419A1 (en) | Variable focal length lens system with multi-level extended depth of field image processing | |
US20080314878A1 (en) | Apparatus and method for controlling a machining system | |
CN105430279B (zh) | 摄像头快速自动聚焦方法及装置 | |
CN105527778A (zh) | 电动可调焦液体镜头的自动对焦方法 | |
CN108156371B (zh) | 一种红外自动对焦快速搜索方法 | |
CN107258077A (zh) | 用于连续自动聚焦(caf)的***和方法 | |
CN106303242A (zh) | 多光谱显微成像的快速主动对焦***及方法 | |
CN103929588A (zh) | 摄像机变倍快速自动聚焦方法及*** | |
CN101718912B (zh) | 放大倍率可变的工业x射线底片数字化细节观察仪 | |
CN105430277B (zh) | 自动聚焦控制方法和装置 | |
US8855479B2 (en) | Imaging apparatus and method for controlling same | |
CN105391945A (zh) | 摄像头自动聚焦控制方法及装置 | |
CN106341598A (zh) | 光学镜头自动聚焦***及方法 | |
CN105592258B (zh) | 自动聚焦方法及装置 | |
CN104002020A (zh) | 基于焊接熔池的数字相机自动对焦***及其自动聚焦方法 | |
Reisgen et al. | Machine vision system for online weld pool observation of gas metal arc welding processes | |
CN202268957U (zh) | 数字摄像机电动镜头自动聚焦控制*** | |
US20210197282A1 (en) | Method and apparatus for estimating height of 3d printing object formed during 3d printing process, and 3d printing system having the same | |
CN103973982A (zh) | 一种自动聚焦激光夜视设备及聚焦方法 | |
CN203918185U (zh) | 基于焊接熔池的数字相机自动对焦*** | |
CN102041345B (zh) | 用于转炉出钢监控的红外热像仪对焦方法 | |
CN104717419A (zh) | 自动对焦影像捕获设备与影像撷取方法 | |
TWI588585B (zh) | 影像擷取裝置及對焦方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170104 |