CN104301619A - 一种快速的相机曝光时间自动调整方法及装置 - Google Patents

一种快速的相机曝光时间自动调整方法及装置 Download PDF

Info

Publication number
CN104301619A
CN104301619A CN201410062016.5A CN201410062016A CN104301619A CN 104301619 A CN104301619 A CN 104301619A CN 201410062016 A CN201410062016 A CN 201410062016A CN 104301619 A CN104301619 A CN 104301619A
Authority
CN
China
Prior art keywords
exposure
time
gear
camera
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410062016.5A
Other languages
English (en)
Other versions
CN104301619B (zh
Inventor
张帆
肖佑平
刘洋
王春江
李萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cama Luoyang Measurement and Control Equipments Co Ltd
Original Assignee
Cama Luoyang Measurement and Control Equipments Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cama Luoyang Measurement and Control Equipments Co Ltd filed Critical Cama Luoyang Measurement and Control Equipments Co Ltd
Priority to CN201410062016.5A priority Critical patent/CN104301619B/zh
Publication of CN104301619A publication Critical patent/CN104301619A/zh
Application granted granted Critical
Publication of CN104301619B publication Critical patent/CN104301619B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明涉及一种快速的相机曝光时间自动调整方法及装置,将相机曝光时间进行分档,曝光时间从短到长对应不同的档位;给相机初始化曝光时间,并进行拍摄,得到一幅图像,并计算得到该图像的平均灰度值;将平均灰度值用八位二进制表示,并取高五位数字与预设的曝光强度-调整步长表中曝光强度值进行比对,得到该曝光强度对应的调整步长数值;依据调整步长数值对当前档位进行调整,得到新的档位,则该新的档位对应的曝光时间为下次拍摄相机曝光时间,实现相机曝光时间的自动调整;本发明仅依托高性能FPGA,高速采集图像数据,利用图像平均灰度对相机曝光强度进行评估,算法简单、有效,实时性强,便于硬件移植。

Description

一种快速的相机曝光时间自动调整方法及装置
技术领域
本发明属于相机自动曝光技术领域,涉及一种快速的航拍相机曝光时间自动调整方法。
背景技术
在传统的数码相机拍照过程中,普遍采用光度计做为测光单元进行机械光圈与机械快门的调整控制,但由于空中与地面亮度差别比较大,经常出现过亮或过暗现象,造成大量感兴趣细节的丢失;另外,某些图像侦查装置下落速度快、机械冲击量级高,这就要求相机自动曝光控制算法简单、快速、准确有效,应占用较少的***资源,具备较强的硬件移植性,显然,机械快门与光圈难以满足快速曝光、抗振、抗冲击等方面的要求,所得到的航拍相片效果不好。
近年来出现了利用CCD传感器输出灰度图像,采用图像的灰度直方图法等方法(如申请号为201210259794.4的中国专利申请“相机无传感器连续自动曝光时间调节控制装置”)来实现相机的自动曝光。这种方法的算法较复杂,硬件计算量大,对***硬件资源需求高,有时会受曝光分档级数过多制约而不能实现快速曝光。
发明内容
本发明的目的是提供一种快速的相机曝光时间自动调整方法,以解决现有机械快门和光圈难以满足自动、快速曝光、像质要求高的问题。
为实现上述目的,本发明的快速的相机曝光时间自动调整方法的步骤如下:
一种快速的相机曝光时间自动调整方法,该方法的步骤如下:
(1)以设定档位拍摄得到图像,并计算得到该图像的平均灰度值;所述设定档位是将相机曝光时间进行分档得到的,曝光时间从短到长对应不同的档位;
(2)以平均灰度评价曝光时间,若曝光不正常,则根据“平均灰度值——曝光强度——档位”之间的对应关系,对当前档位进行调整,得到新的档位,该新的档位对应的曝光时间为下次拍摄相机曝光时间。
所述曝光时间从短到长对应档位从小到大;将平均灰度值用八位二进制或十六进制表示,并取高五位数字,将该数字与预设的曝光强度-调整步长表中曝光强度值进行比对,找到对应的曝光强度,并得到该曝光强度对应的调整步长值;该调整步长值为下次拍摄档位与当前档位之差。
每个档位对应相机镜头接收的光通量变化为1/4~1/2。
若通过调整步长计算得到的新的档位超出档位范围,则以最大或最小曝光时间为下次拍摄相机曝光时间。
一种快速的相机曝光时间自动调整装置,包括模块如下:
(1)以设定档位拍摄得到图像,并计算得到该图像的平均灰度值;所述设定档位是将相机曝光时间进行分档得到的,曝光时间从短到长对应不同的档位;
(2)以平均灰度评价曝光时间,若曝光不正常,则根据“平均灰度值——曝光强度——档位”之间的对应关系,对当前档位进行调整,得到新的档位,该新的档位对应的曝光时间为下次拍摄相机曝光时间。
所述曝光时间从短到长对应档位从小到大;将平均灰度值用八位二进制或十六进制表示,并取高五位数字,将该数字与预设的曝光强度-调整步长表中曝光强度值进行比对,找到对应的曝光强度,并得到该曝光强度对应的调整步长值;该调整步长值为下次拍摄档位与当前档位之差。
每个档位对应相机镜头接收的光通量变化为1/4~1/2。
若通过调整步长计算得到的新的档位超出档位范围,则以最大或最小曝光时间为下次拍摄相机曝光时间。本发明的快速的相机曝光时间自动调整方法有益效果如下:
1、摆脱了传统的相机自动曝光控制方法硬件结构和资源的限制,充分利用CCD传感器的特点,用FPGA来实现相机测光功能,采用图像平均灰度评价相机曝光强度,从而获得更为精确的曝光时间,获得了较好的自动曝光效果,拍摄得到像质高的图像。
2、自动曝光算法运算速度高,处理数据量大,实时性强,实现相机的快速、自动曝光,便于硬件移植。
3、在实时性、可移植性、通用性、集成度、环境适应性等各方面均表现优异,可以大大改善传统的数据采集成像***自动曝光方面的性能指标,能广泛应用移植于光电侦察设备当中,有效的提升了光电平台的智能化、自动化程度。
附图说明
图1是实施例的一个灰度直方图;
图2是相机曝光时间自动调整方法实施例的流程图;
图3是实施例的拍摄的第一幅图像;
图4是实施例的曝光时间调整后的拍摄图像。
具体实施方式
某些图像侦察装置由于大冲击、高速应用的特殊性,不能选择传统上的机械快门和光圈来调整相机正常曝光。为使***适应外界一定的光强变化,所应用成像***采用固定光圈与自动的连续可调电子快门实现自适应曝光控制。整个控制逻辑在单片FPGA上设计实现。
先将相机曝光时间进行分档,曝光时间从短到长对应不同的档位;给相机初始化一个固定的曝光时间Tms,该曝光时间对应一个档位,档位与曝光时间的对应关系是预先设置好的,并进行第一次拍摄,统计图像的平均灰度。
如图1,图像灰度直方图的横坐标代表与最佳曝光量范围相应的灰度范围,纵坐标代表具有该灰度的像元数。
根据大量拍照试验,得出如下相机曝光判据:
1)曝光正常判据:
a.70%以上的像元灰度分布在Dmin~Dmax灰度范围。
因此,当图像平均灰度在96~112之间,判定图像正常曝光。
2)曝光过度判据:
a.在Dmin~Dmax灰度范围内的像元数低于总像元数的70%。
b.在靠近Dmin区域没有或有很少的像元分布。
因此,当统计图像平均灰度高于112,判定图像过曝光;
3)曝光不足判据:
a.在Dmin~Dmax灰度范围内的像元数低于总像元数的70%。
b.在靠近Dmax区域没有或有很少的像元分布。
因此,当统计图像平均灰度低于96,判定图像欠曝光。
按照国际惯例,对相机曝光量的控制一般采用分档控制。为了简单、快速、准确的反映图像的实时曝光情况,提高相机曝光的控制精度,由FPGA实时统计当前图像的平均灰度,以图像平均灰度来评价当前图像的曝光强度。如表1曝光强度与曝光调整步长对应表。
表1曝光强度与调整步长对应表
曝光强度 0x01 0x02 0x03 0x04 0x05 0x06 0x07 0x08 0x09 0x0A 0x0B 0x0C
调整步长 11 10 9 8 7 6 5 4 3 2 1 0
曝光强度 0x0D 0x0E 0x0F 0x10 0x11 0x12 0x13 0x14 0x16 0x18 0x1B 0x1E
调整步长 0 -1 -2 -3 -4 -5 -6 -7 -8 -9 -10 -11
依据相机曝光判据,每调整一次曝光时间所确定的调整步长依据:使图像的平均灰度处于96~112间为准则,达到快速准确调整的目的。调整步长从11依次递减到-11所对应的曝光强度是十六进制中的01到14、16、18、1B、1E,当然这种曝光强度与调整步长之间的对应关系可根据实际需要进行扩展或调整。查表时需将平均灰度值用八位二进制表示,并取该八位二进制值的高五位数字,将该数字与预设的曝光强度-调整步长表中曝光强度值进行比对,找到对应的曝光强度,并得到该曝光强度对应的调整步长数值,表1中曝光强度用十六进制表示,则二进制表示的平均灰度值的高五位数字需先转换为十六进制,再与曝光强度-分档调整步长表中的曝光强度值进行比对,若是得到的高五位转换为十六进制后的数值无法在表1中找到相同的,则采用就近原则,比如是17,到16和18的距离相同,则采用就低原则。曝光强度最多可分为32中,该表1中曝光强度分为24种是为了与表2中给出的档位设置相对应。
相机曝光时间分为24个档位,如表2所示,档位与曝光时间是一一对应的关系,曝光时间从短到长对应档位值从小到大。每个档位使CCD接收的光通量变化约1/4~1/2。当光学镜头和传感器相关指标选定时,曝光时间调整范围以***正常应用调整范围为准。每一档位的曝光时间,均是经过大量的前期拍摄试验所得。
依据表1查到的调整步长数值对当前档位进行调整,得到新的档位,则该新的档位对应的曝光时间为下次拍摄相机曝光时间;如当前档位为5,调整步长值为-2,则得到新的档位为3,查表2得档位3对应的曝光时间为0.20,则下次拍摄相机的曝光时间为0.20,重复拍摄图像平均灰度值计算、查表1得到调整步长、查表2得到曝光时间步骤即可实现曝光时间自动调整。
表2曝光时间分档列表
分档 1 2 3 4 5 6 7 8 9 10 11 12
曝光时间/mS 0.10 0.14 0.20 0.29 0.36 0.44 0.50 0.57 0.66 0.76 0.87 1.00
分档 13 14 15 16 17 18 19 20 21 22 23 24
曝光时间/mS 1.14 1.31 1.49 1.72 1.97 2.26 2.59 2.97 3.40 3.89 4.46 5.1
得到新的档位如果超出预设的档位范围,则以最接近新的档位的档位所对应的曝光时间为下次拍摄相机曝光时间。即调整步长如果向上超出曝光时间分档范围,则曝光档位以最高档位为当前曝光档位。调整步长如果向下超出曝光时间分档范围,则曝光档位以最低档位为当前曝光档位。
对某相机***,初始化曝光时间1ms,拍摄得第一幅图像如图3所示,得到的平均灰度值180,取其二进制的高5位为16H,查表1得到需要的调整步长为-8,初始曝光档位(12)+调整步长(-8)=下次曝光档位(4),查表2得到曝光时间为0.29ms,对相机进行曝光得到图像如图4所示,统计其平均灰度为98,符合正常曝光范畴。本相机曝光时间自动调整方法仅依托高性能FPGA,高速采集图像数据,利用图像平均灰度对相机曝光强度进行评估,算法简单、有效,实时性强,便于硬件移植。
以上给出的是一种具体实施方式,对于用平均灰度来评价曝光时间,采用了一种既容易实现,又节约资源的处理方式(二进制或十六进制表示的方法,制作对应表格),作为其他实施方式,也可以采用其它的评价和表示方法。在本发明基础上的各种变型、替换也都在本发明的保护范围之内。

Claims (8)

1.一种快速的相机曝光时间自动调整方法,其特征在于,该方法的步骤如下:
(1)以设定档位拍摄得到图像,并计算得到该图像的平均灰度值;所述设定档位是将相机曝光时间进行分档得到的,曝光时间从短到长对应不同的档位;
(2)以平均灰度评价曝光时间,若曝光不正常,则根据“平均灰度值——曝光强度——档位”之间的对应关系,对当前档位进行调整,得到新的档位,该新的档位对应的曝光时间为下次拍摄相机曝光时间。
2.根据权利要求1所述的一种快速的相机曝光时间自动调整方法,其特征在于:所述曝光时间从短到长对应档位从小到大;将平均灰度值用八位二进制或十六进制表示,并取高五位数字,将该数字与预设的曝光强度-调整步长表中曝光强度值进行比对,找到对应的曝光强度,并得到该曝光强度对应的调整步长值;该调整步长值为下次拍摄档位与当前档位之差。
3.根据权利要求2所述的一种快速的相机曝光时间自动调整方法,其特征在于:每个档位对应相机镜头接收的光通量变化为1/4~1/2。
4.根据权利要求2或3中任一项所述的一种快速的相机曝光时间自动调整方法,其特征在于:若通过调整步长计算得到的新的档位超出档位范围,则以最大或最小曝光时间为下次拍摄相机曝光时间。
5.一种快速的相机曝光时间自动调整装置,其特征在于,包括模块如下:
(1)以设定档位拍摄得到图像,并计算得到该图像的平均灰度值;所述设定档位是将相机曝光时间进行分档得到的,曝光时间从短到长对应不同的档位;
(2)以平均灰度评价曝光时间,若曝光不正常,则根据“平均灰度值——曝光强度——档位”之间的对应关系,对当前档位进行调整,得到新的档位,该新的档位对应的曝光时间为下次拍摄相机曝光时间。
6.根据权利要求5所述的一种快速的相机曝光时间自动调整装置,其特征在于:所述曝光时间从短到长对应档位从小到大;将平均灰度值用八位二进制或十六进制表示,并取高五位数字,将该数字与预设的曝光强度-调整步长表中曝光强度值进行比对,找到对应的曝光强度,并得到该曝光强度对应的调整步长值;该调整步长值为下次拍摄档位与当前档位之差。
7.根据权利要求6所述的一种快速的相机曝光时间自动调整装置,其特征在于:每个档位对应相机镜头接收的光通量变化为1/4~1/2。
8.根据权利要求6或7中任一项所述的一种快速的相机曝光时间自动调整装置,其特征在于:若通过调整步长计算得到的新的档位超出档位范围,则以最大或最小曝光时间为下次拍摄相机曝光时间。
CN201410062016.5A 2014-02-24 2014-02-24 一种快速的相机曝光时间自动调整方法及装置 Expired - Fee Related CN104301619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410062016.5A CN104301619B (zh) 2014-02-24 2014-02-24 一种快速的相机曝光时间自动调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410062016.5A CN104301619B (zh) 2014-02-24 2014-02-24 一种快速的相机曝光时间自动调整方法及装置

Publications (2)

Publication Number Publication Date
CN104301619A true CN104301619A (zh) 2015-01-21
CN104301619B CN104301619B (zh) 2018-01-26

Family

ID=52321163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410062016.5A Expired - Fee Related CN104301619B (zh) 2014-02-24 2014-02-24 一种快速的相机曝光时间自动调整方法及装置

Country Status (1)

Country Link
CN (1) CN104301619B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111770A (zh) * 2016-11-24 2018-06-01 努比亚技术有限公司 一种实现图像拍摄的方法及终端
CN108933901A (zh) * 2018-09-20 2018-12-04 陕西土豆数据科技有限公司 一种基于倾斜摄影相机的曝光算法
CN113411512A (zh) * 2021-08-04 2021-09-17 红云红河烟草(集团)有限责任公司 用于卷烟领域的工业相机自动曝光控制方法
CN114697529A (zh) * 2020-12-30 2022-07-01 富联裕展科技(深圳)有限公司 视觉信息自适应调整方法、装置、焊接设备及存储介质
CN114885104A (zh) * 2022-05-06 2022-08-09 北京银河方圆科技有限公司 摄像机自适应调节的方法、可读存储介质和导航***
CN115426459A (zh) * 2022-08-30 2022-12-02 广州星博科仪有限公司 一种多光谱相机及其预曝光的优化方法
CN116389901A (zh) * 2023-03-23 2023-07-04 中国科学院空间应用工程与技术中心 一种航天相机在轨智能曝光及对焦方法、***和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396530B1 (en) * 2000-06-12 2002-05-28 Eastman Kodak Company Method for improving exposure resolution using multiple exposures
CN2639926Y (zh) * 2003-07-31 2004-09-08 上海海鸥数码影像股份有限公司 数字照相机自动曝光电路
JP2005236375A (ja) * 2004-02-17 2005-09-02 Seiko Epson Corp ディジタルカメラ並びにその制御方法及び制御プログラム
CN1719328A (zh) * 2005-07-01 2006-01-11 北京中星微电子有限公司 一种用于自动曝光调节的方法及控制***
CN101232583A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 一种摄像机光圈自适应调节装置及方法
CN101262567A (zh) * 2008-04-07 2008-09-10 北京中星微电子有限公司 自动曝光方法与装置
CN102223486A (zh) * 2011-04-13 2011-10-19 北京瑞澜联合通信技术有限公司 低照度摄像机成像控制方法、装置及摄像***
CN102291538A (zh) * 2011-08-17 2011-12-21 浙江博视电子科技股份有限公司 摄像机的自动曝光方法及控制装置
CN102801920A (zh) * 2012-07-25 2012-11-28 中国科学院长春光学精密机械与物理研究所 相机无传感器连续自动曝光时间调节控制装置
CN103188446A (zh) * 2012-11-30 2013-07-03 深圳市捷高电子科技有限公司 摄像机的曝光方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396530B1 (en) * 2000-06-12 2002-05-28 Eastman Kodak Company Method for improving exposure resolution using multiple exposures
CN2639926Y (zh) * 2003-07-31 2004-09-08 上海海鸥数码影像股份有限公司 数字照相机自动曝光电路
JP2005236375A (ja) * 2004-02-17 2005-09-02 Seiko Epson Corp ディジタルカメラ並びにその制御方法及び制御プログラム
CN1719328A (zh) * 2005-07-01 2006-01-11 北京中星微电子有限公司 一种用于自动曝光调节的方法及控制***
CN101232583A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 一种摄像机光圈自适应调节装置及方法
CN101262567A (zh) * 2008-04-07 2008-09-10 北京中星微电子有限公司 自动曝光方法与装置
CN102223486A (zh) * 2011-04-13 2011-10-19 北京瑞澜联合通信技术有限公司 低照度摄像机成像控制方法、装置及摄像***
CN102291538A (zh) * 2011-08-17 2011-12-21 浙江博视电子科技股份有限公司 摄像机的自动曝光方法及控制装置
CN102801920A (zh) * 2012-07-25 2012-11-28 中国科学院长春光学精密机械与物理研究所 相机无传感器连续自动曝光时间调节控制装置
CN103188446A (zh) * 2012-11-30 2013-07-03 深圳市捷高电子科技有限公司 摄像机的曝光方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111770A (zh) * 2016-11-24 2018-06-01 努比亚技术有限公司 一种实现图像拍摄的方法及终端
CN108933901A (zh) * 2018-09-20 2018-12-04 陕西土豆数据科技有限公司 一种基于倾斜摄影相机的曝光算法
CN108933901B (zh) * 2018-09-20 2020-11-20 陕西土豆数据科技有限公司 一种基于倾斜摄影相机的曝光算法
CN114697529B (zh) * 2020-12-30 2024-05-28 富联裕展科技(深圳)有限公司 视觉信息自适应调整方法、装置、焊接设备及存储介质
CN114697529A (zh) * 2020-12-30 2022-07-01 富联裕展科技(深圳)有限公司 视觉信息自适应调整方法、装置、焊接设备及存储介质
CN113411512A (zh) * 2021-08-04 2021-09-17 红云红河烟草(集团)有限责任公司 用于卷烟领域的工业相机自动曝光控制方法
CN113411512B (zh) * 2021-08-04 2022-06-24 红云红河烟草(集团)有限责任公司 用于卷烟领域的工业相机自动曝光控制方法
CN114885104A (zh) * 2022-05-06 2022-08-09 北京银河方圆科技有限公司 摄像机自适应调节的方法、可读存储介质和导航***
CN114885104B (zh) * 2022-05-06 2024-04-26 北京银河方圆科技有限公司 摄像机自适应调节的方法、可读存储介质和导航***
CN115426459B (zh) * 2022-08-30 2024-05-21 广州星博科仪有限公司 一种多光谱相机及其预曝光的优化方法
CN115426459A (zh) * 2022-08-30 2022-12-02 广州星博科仪有限公司 一种多光谱相机及其预曝光的优化方法
CN116389901A (zh) * 2023-03-23 2023-07-04 中国科学院空间应用工程与技术中心 一种航天相机在轨智能曝光及对焦方法、***和电子设备
CN116389901B (zh) * 2023-03-23 2023-11-21 中国科学院空间应用工程与技术中心 一种航天相机在轨智能曝光及对焦方法、***和电子设备

Also Published As

Publication number Publication date
CN104301619B (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
CN104301619A (zh) 一种快速的相机曝光时间自动调整方法及装置
JP6953311B2 (ja) 画素データに対して演算を実行するためのシステムおよび方法
TWI682664B (zh) 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法
CN102694981B (zh) 基于自适应阈值分割的直方图均衡化的自动曝光方法
CN105635565A (zh) 一种拍摄方法及设备
US9532041B2 (en) Method and system for automatic focus with self-calibration
CN108337446B (zh) 基于双摄像头的高动态范围图像获取方法、装置及设备
CN103826066A (zh) 一种自动曝光调整方法及***
CN102404495A (zh) 数字相机的拍摄参数的调整方法
US8212891B2 (en) Apparatus, methods and computer readable storage mediums
JP2015211469A (ja) 露出設定を決定するための方法及び装置
CN102523386A (zh) 基于直方图均衡化的自动曝光方法
CN114430462B (zh) 无人机自主拍照参数调整方法、装置、设备及存储介质
US20070097254A1 (en) Devices and methods for calculating pixel values representative of a scene
CN103458194B (zh) 分析数码影像曝光程度的方法、装置和一种数字成像***
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US20130010161A1 (en) Method for capturing image
GB2569593A (en) Exposure ratio control
CN114785966B (zh) 曝光控制方法、拍摄处理方法、装置和介质
CN104754238A (zh) 一种成像控制方法及装置、成像控制***
CN108551555B (zh) 一种使用cmos探测器的工业相机的自动曝光方法
JP2012244632A (ja) ディジタルカメラ画像の輝度を調整する方法
Peltoketo SNR and Visual Noise of Mobile Phone Cameras
JP6883855B2 (ja) 撮像装置及び撮像装置の制御方法
CN112330689A (zh) 一种基于人工智能的光伏相机曝光参数的调节方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180126