CN103327245B - 一种红外成像***的自动对焦方法 - Google Patents

一种红外成像***的自动对焦方法 Download PDF

Info

Publication number
CN103327245B
CN103327245B CN201310223410.8A CN201310223410A CN103327245B CN 103327245 B CN103327245 B CN 103327245B CN 201310223410 A CN201310223410 A CN 201310223410A CN 103327245 B CN103327245 B CN 103327245B
Authority
CN
China
Prior art keywords
focusing
infrared
gray value
imaging system
picture data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310223410.8A
Other languages
English (en)
Other versions
CN103327245A (zh
Inventor
刘子骥
马宣
章翔
易乐
郑兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201310223410.8A priority Critical patent/CN103327245B/zh
Publication of CN103327245A publication Critical patent/CN103327245A/zh
Application granted granted Critical
Publication of CN103327245B publication Critical patent/CN103327245B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种红外成像***的自动对焦方法,包括:判断是否需要进行对焦操作,当需要进行对焦操作时,计算图像拉伸系数并选择对焦窗口;然后获得红外图像数据并用计算出的拉伸系数对红外图像数据进行灰度拉伸,并将对焦窗口内的灰度拉伸后的数据保存至对焦窗口矩阵中;用该对焦窗口矩阵计算评价函数数值;根据评价函数数值判断当前对焦位置是否是最佳对焦位置;若是,则结束对焦过程;否则,调节镜头,并重新执行前述步骤。本发明的实施例中的红外成像***的自动对焦方法考虑了红外成像***成像和自动对焦的特点,克服了红外图像低信噪比的问题,对焦过程稳定,工作效率高。

Description

一种红外成像***的自动对焦方法
技术领域
本发明涉及红外成像***领域,尤其是涉及一种红外成像***的自动对焦方法。
背景技术
自进入数字信息时代以来,对焦方式由传统的主动式对焦发展到用于数字成像的被动式对焦方式。在被动对焦过程中,通过分析、比较镜头在不同对焦位置获取图片数据的信息,从而确定最佳对焦位置。虽然对于一般的数字图像对焦已有较为成熟的研究,但对于红外图像而言对焦并没有比较详细的讨论。
区别于一般的数字图像对焦,红外成像在成像时图像具有低信噪比的特点,因此在考虑具有自动对焦功能的红外成像***的方法实现时需要考虑以下问题:首先,红外图像在成像时需要进行图像灰度的拉伸以便适用于人眼观看,因此在设计红外图像自动对焦方法时要考虑红外图像本身成像方法对对焦方法的影响;其次,红外图像信噪比低,成像时存在噪声干扰的问题,噪声的存在会影响对焦过程的稳定性;最后,需要考虑方法的效率,满足实时显示的要求。
发明内容
本发明的目的之一是提供一种对焦过程稳定、工作效率高的红外成像***的自动对焦方法。
本发明实施例公开的技术方案包括:
提供了一种红外成像***的自动对焦方法,其特征在于,包括:判断是否需要进行对焦操作,当需要进行对焦操作时,执行下列步骤:
步骤A:计算图像拉伸系数;
步骤B:选择对焦窗口,并建立对焦窗口矩阵;
步骤C:用所述红外成像***进行成像,获得红外图像数据,并对所述红外图像数据进行非均匀校正;
步骤D:对进行非均匀校正后的所述红外图像数据进行去噪声处理;
步骤E:使用计算出的所述图像拉伸系数对去噪声处理后的所述红外图像数据进行灰度拉伸,并将位于所述对焦窗口内的进行了灰度拉伸后的所述红外图像数据保存至所述对焦窗口矩阵中;
步骤F:显示进行了灰度拉伸后的所述红外图像数据;
步骤G:将所述对焦窗口矩阵代入对焦评价函数中,计算评价函数数值;
步骤H:根据所述评价函数数值判断当前对焦位置是否是最佳对焦位置;当当前位置是最佳对焦位置时,结束对焦过程;当当前对焦位置不是最佳对焦位置时,调节镜头,然后重新执行步骤C至步骤H。
进一步地,所述判断是否需要进行对焦操作包括:当所述红外成像***启动成像过程时、当成像过程中所述红外成像***接收到用户要求进行对焦操作的指令时或者当所述红外成像***经过预定的时间间隔后,需要进行对焦操作。
进一步地,所述步骤A包括:
获取一帧红外图像;
对所述一帧红外图像的每个像素点灰度值按照从小到大进行排序,并获得前J个灰度值中数值最大的灰度值和最后K个灰度值中数值最小的灰度值;或者,对所述一帧红外图像的每个像素点灰度值按照从大到小进行排序,并获得前K个灰度值中数值最小的灰度值和最后J个灰度值中数值最大的灰度值;其中J和K是自然数;
根据所述J个灰度值中数值最大的灰度值、所述K个灰度值中数值最小的灰度值、预期拉伸到的最大目标灰度值和预期拉伸到的最小目标灰度值计算所述图像拉伸系数。
进一步地,所述步骤B包括:选择位于取景窗口的中心、宽度和高度分别为取景区域的长度和宽度的5%的区域为所述对焦窗口。
进一步地,所述步骤C包括:获取非均匀校正参数;用所述非均匀校正参数对所述红外图像数据进行非均匀校正。
进一步地,所述步骤D包括:对所述红外图像数据进行中值滤波。
进一步地,当判断不需要进行对焦操作时,用所述红外成像***执行正常红外成像过程。
本发明的实施例中的红外成像***的自动对焦方法考虑了红外成像***成像和自动对焦的特点,克服了红外图像低信噪比的问题,对焦过程稳定,工作效率高。
附图说明
图1是本发明一个实施例的红外成像***的自动对焦方法的流程示意图。
具体实施方式
下面将参考附图详细说明本发明的实施例。
图1显示了本发明一个实施例的红外成像***的自动对焦方法的流程示意图,下面结合图1对本发明实施例的红外成像***的自动对焦方法的各个步骤做详细的说明。
如图1所示,本发明的实施例中,在步骤10,首先判断是否需要进行对焦操作。当判断结果是当前不需要进行对焦操作时,则转到步骤32,即用红外成像***进行正常的红外成像过程;当判断结果是当前需要进行对焦操作时,则执行下文中详述的自动对焦过程的各个步骤。
本发明的实施例中,判断当前是否需要进行对焦操作的判断条件可以根据实际情况的需要而灵活设置,本发明中不做特定的限制。例如,一个实施例中,判定条件可以为:当红外成像***启动成像过程时需要进行对焦操作;或者当成像过程中红外成像***接收到用户要求进行对焦操作的指令时需要进行对焦操作;或者当红外成像***经过预定的时间间隔后,即需要进行对焦操作。
当然,容易理解,本领域技术人员也可以设定在其它需要的条件下进行对焦操作。
当步骤10中判断需要进行对焦操作时,开始执行步骤12。在步骤12中,计算当前的图像拉伸系数。本发明的实施例中,计算了图像拉伸系数之后,该图像拉伸系数即被“锁定”,即在当前进行的自动对焦的过程中,将一直使用该图像拉伸系数,直到当前自动对焦过程完成为止。
本发明的实施例中可以使用任何适合的计算方法计算图像拉伸系数。例如,一个实施例中,计算图像拉伸系数可以包括:
首先,获取一帧红外图像。
然后,对这一帧红外图像的每个像素点灰度值,按照从小到大进行排序,并获得前J个灰度值中数值最大的灰度值(即从小到大的排列中正数第J个灰度值)(记为Min)以及最后K个灰度值中数值最小的灰度值(即从小到大的排列中倒数第K个灰度值)(记为Max)。
这里,也可以按照从大到小的方式进行排序来获得Min和Max,此时,获得前K个最大灰度值中数值最小的灰度值(即从大到小的排列中正数第K个灰度值)(即Max)和最后J个最小灰度值中数值最大的灰度值(即从大到小的排列中倒数第J个灰度值)(即Min)。这里,J和K是自然数。
这里,J和K是为了避免图像噪声在图像拉伸过程中造成影响而取的参数,它们的取值是经验值,例如可以是30左右的值。
然后,根据J个灰度值中数值最大的灰度值Min、K个灰度值中数值最小的灰度值Max、预期拉伸到的最小目标灰度值(记为ImgMin)和预期拉伸到的最大目标灰度值(记为ImgMax)计算图像拉伸系数。例如,一个实施例中,图像拉伸系数S、OS可以按照下式计算:
S=ImgMax/(Max-Min);
OS=ImgMin-S×Min。
在步骤14中,选择适当的对焦窗口,并建立对焦窗口矩阵。对焦窗口可以根据实际情况灵活选择。例如,本发明的一个实施例中,可以选择位于取景窗口的中心、宽度和高度分别为取景区域的长度和宽度的5%的区域作为对焦窗口。当然,也可以根据需要选择其它适合的区域作为对焦窗口。
这里,对焦窗口矩阵用于存储选择的对焦窗口的区域内的像素的灰度值。
本发明的实施例中,步骤12和步骤14之间的顺序没有限制。
在步骤16中,用红外成像***进行成像,获得红外图像数据。这里,用红外成像***进行成像获得红外图像数据的具体过程可以是常用的红外成像的过程,在此不再详述。获得红外图像数据后,进一步地对获得的红外图像数据进行非均匀校正。
对红外图像数据进行非均匀校正是指用非均匀校正参数校正红外图像数据的非均匀性。因此,对红外图像数据进行非均匀校正包括步骤:获取非均匀校正参数;用获得的非均匀校正参数对红外图像数据进行非均匀校正。
通常,非均匀校正参数用于校正红外成像***的非均匀性,可以预先计算出并存储,当进行红外成像是可以直接调用。非均匀校正参数可以根据红外成像***在单一低温和单一高温环境下成像获得的红外图像进行计算。
例如,一个实施例中,非均匀校正参数G(i,j)和O(i,j)可以按照下列方法计算:
其中分别为红外成像***在单一低温和单一高温环境下成像获得的红外图像数据,M、N分别是红外成像***中红外焦平面探测器阵列的行数与列数,均为大于0的自然数。(i,j)是像素的坐标。
设非均匀校正前的图像为I,非均匀校正后的图像为Inew,并且I(i,j)、Inew(i,j)分别为像素(i, j)的值,则对于每个像素点(i,j)的非均匀校正可以按照下式进行:
Inew(i,j)=G(i,j)×I(i,j)+OG(i,j)。
此外,在步骤18中,还可以对进行了非均匀校正的红外图像数据进行去噪处理。步骤18中,去噪处理的方法可以是任何适合的红外图像去噪方法。例如,一个实施例中,去噪处理的方法可以使用中值滤波的方法,即采集多帧红外图像数据,对于每个像素点,用多帧红外图像数据中该像素点处的灰度值的中值作为该像素点的灰度值。
然后,在步骤20中,用前述“锁定”的图像拉伸系数、也就是步骤12中计算出的图像拉伸系数对进行去噪处理后的红外图像数据进行灰度拉伸。
本发明的一个实施例中,例如,用图像拉伸系数S、OS对去噪处理后的红外图像数据进行灰度拉伸可以按照下式进行:
I拉伸(i, j) =I(i, j)×S + OS
其中I拉伸(i, j)是灰度拉伸后的红外图像数据,(i,j)是红外图像数据中像素点的坐标。
灰度拉伸之后,将灰度拉伸后的红外图像数据中位于对焦窗口内的红外图像数据保存到对焦窗口矩阵中,也就是说,用位于对焦窗口内的红外图像数据的像素点的灰度拉伸之后的灰度值填充该对焦窗口矩阵。
本发明的实施例中,还可以包括显示步骤,将进行灰度拉伸之后的红外图像数据进行显示。该显示步骤在步骤22中执行。
在步骤20中填充了对焦窗口矩阵之后,步骤24中,可以使用该对焦窗口矩阵对对焦结果进行评价。例如,可以将对焦窗口矩阵代入适合的对焦评价函数中,计算评价函数数值,该评价函数数值即为对当前对焦效果的度量。
步骤24中,对焦评价函数可以是任何适合的对焦评价函数。例如,Sobel算子、四邻域拉普拉斯、八邻域拉普拉斯、高斯型拉普拉斯(LoG)等。
例如,一个实施例中,对焦评价函数可以按照下列方法计算:
对应镜头位置P,将此成像位置下对焦窗口内所有像素点数据代入上述公式计算结果,此处所说的对焦窗口就是在步骤14中确定的,其中,mL、mR为对焦窗口X轴方向左端、右端坐标值;nT、nB为对焦窗口Y轴方向顶端、底端坐标值;I(i,j)是对焦窗口内像素点(i,j)处的数据。
计算出了评价函数数值之后,在步骤28中,对该评价函数数值进行判断,若当前位置是最佳对焦位置时,则控制红外成像***的伺服电机移至最佳对焦位置,结束自动对焦过程,对焦完成,进行正常的红外成像(即步骤32);若当前位置不是最佳对焦位置时,则调节镜头,然后重新执行步骤16、步骤18、步骤20、步骤22、步骤26和步骤28,这样反复进行,直到在步骤28中判定结果是当前位置是最佳对焦位置为止。
当评价函数数值最大时意味着当前的对焦位置是最佳对焦位置。这里寻找评价函数最大值的方法可以是任何适合的判断方法,常见的方法包括:遍历搜索法、Fibonacci法、黄金分割法、函数逼近法及爬山法等。
例如,一个实施例中,可以按照以下方法寻找评价函数最大值的位置:
开始前先预设结束步长n0,然后镜头从开始位置以初始步长n(n>n0)移动,每移动一步将对焦窗口内数据代入对焦评价函数,计算并记录结果,并将此结果与上一次记录的结果进行比较:如果结果大于上次结果则按照原方向继续以步长n移动镜头;如果结果小于上次记录结果,则说明上一步为此趟移动对焦函数的最大值,这时减少步长并按照相反方向移动镜头。重复上述步骤直到移动步长减少至预设步长n0并进行最后一次移动,此趟得到对焦函数值最大的位置就是最佳对焦位置
这样,经过前述的各个步骤,即可实现红外成像***的自动对焦功能。
本发明的实施例中,在步骤10中,当判断结果是当前不需要进行对焦操作时,则转到步骤32,即用红外成像***进行正常的红外成像过程。这里,用红外成像***进行正常的红外成像过程可以是本领域内通常的红外成像过程,例如包括获取红外图像、对红外图像进行非均匀校正、计算或者更新拉伸系数、对红外图像进行灰度拉伸、显示红外图像等等步骤,在此不再详述。
本发明的实施例中的红外成像***的自动对焦方法考虑了红外成像***成像和自动对焦的特点,克服了红外图像低信噪比的问题,对焦过程稳定,工作效率高。
以上通过具体的实施例对本发明进行了说明,但本发明并不限于这些具体的实施例。本领域技术人员应该明白,还可以对本发明做各种修改、等同替换、变化等等,这些变换只要未背离本发明的精神,都应在本发明的保护范围之内。此外,以上多处所述的“一个实施例”表示不同的实施例,当然也可以将其全部或部分结合在一个实施例中。

Claims (7)

1.一种红外成像***的自动对焦方法,其特征在于,包括:
判断是否需要进行对焦操作,当需要进行对焦操作时,执行下列步骤:
步骤A:计算图像拉伸系数;
步骤B:选择对焦窗口,并建立对焦窗口矩阵;
步骤C:用所述红外成像***进行成像,获得红外图像数据,并对所述红外图像数据进行非均匀校正;
步骤D:对进行非均匀校正后的所述红外图像数据进行去噪声处理;
步骤E:使用计算出的所述图像拉伸系数对去噪声处理后的所述红外图像数据进行灰度拉伸,并将位于所述对焦窗口内的进行了灰度拉伸后的所述红外图像数据保存至所述对焦窗口矩阵中;
步骤F:显示进行了灰度拉伸后的所述红外图像数据;
步骤G:将所述对焦窗口矩阵代入对焦评价函数中,计算评价函数数值;
步骤H:根据所述评价函数数值判断当前对焦位置是否是最佳对焦位置;当当前位置是最佳对焦位置时,结束对焦过程;当当前对焦位置不是最佳对焦位置时,调节镜头,然后重新执行步骤C至步骤H。
2.如权利要求1的方法,其特征在于:所述判断是否需要进行对焦操作包括:当所述红外成像***启动成像过程时、当成像过程中所述红外成像***接收到用户要求进行对焦操作的指令时或者当所述红外成像***经过预定的时间间隔后,需要进行对焦操作。
3.如权利要求1的方法,其特征在于,所述步骤A包括:
获取一帧红外图像;
对所述一帧红外图像的每个像素点灰度值按照从小到大进行排序,并获得前J个灰度值中数值最大的灰度值和最后K个灰度值中数值最小的灰度值;或者,对所述一帧红外图像的每个像素点灰度值按照从大到小进行排序,并获得前K个灰度值中数值最小的灰度值和最后J个灰度值中数值最大的灰度值;其中J和K是自然数;
根据所述J个灰度值中数值最大的灰度值、所述K个灰度值中数值最小的灰度值、预期拉伸到的最大目标灰度值和预期拉伸到的最小目标灰度值计算所述图像拉伸系数。
4.如权利要求1至3中任意一项的方法,其特征在于,所述步骤B包括:选择位于取景区域的中心、宽度和高度分别为取景区域的长度和宽度的5%的区域为所述对焦窗口。
5.如权利要求1至3中任意一项的方法,其特征在于,所述步骤C包括:
获取非均匀校正参数;
用所述非均匀校正参数对所述红外图像数据进行非均匀校正。
6.如权利要求1的方法,其特征在于,所述步骤D包括:对所述红外图像数据进行中值滤波。
7.如权利要求1的方法,其特征在于:当判断不需要进行对焦操作时,用所述红外成像***执行正常红外成像过程。
CN201310223410.8A 2013-06-07 2013-06-07 一种红外成像***的自动对焦方法 Expired - Fee Related CN103327245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310223410.8A CN103327245B (zh) 2013-06-07 2013-06-07 一种红外成像***的自动对焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310223410.8A CN103327245B (zh) 2013-06-07 2013-06-07 一种红外成像***的自动对焦方法

Publications (2)

Publication Number Publication Date
CN103327245A CN103327245A (zh) 2013-09-25
CN103327245B true CN103327245B (zh) 2016-08-10

Family

ID=49195751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310223410.8A Expired - Fee Related CN103327245B (zh) 2013-06-07 2013-06-07 一种红外成像***的自动对焦方法

Country Status (1)

Country Link
CN (1) CN103327245B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3055986B1 (en) * 2014-03-21 2018-08-22 Huawei Technologies Co., Ltd. Imaging device and method for automatic focus in an imaging device as well as a corresponding computer program
CN105141849B (zh) * 2015-09-21 2019-03-01 济南中维世纪科技有限公司 一种提高夜视聚焦统计信息准确度的方法及***
CN105845534B (zh) * 2016-03-23 2018-01-02 浙江东方光学眼镜有限公司 电子显微镜的自动聚焦方法
CN107911599B (zh) * 2017-10-30 2020-08-21 北京航天福道高技术股份有限公司 一种红外图像全局自动对焦方法及装置
CN108156371B (zh) * 2017-12-08 2020-06-05 北京航天计量测试技术研究所 一种红外自动对焦快速搜索方法
CN108765346B (zh) * 2018-05-30 2021-01-08 北京图森智途科技有限公司 一种辅助对焦方法、装置和可读介质
CN109409321B (zh) * 2018-11-08 2021-02-05 北京奇艺世纪科技有限公司 一种镜头运动方式的确定方法及装置
CN110035277A (zh) * 2018-12-20 2019-07-19 云南师范大学 一种红外成像自动聚焦算法的测试***及测试方法
CN109862270A (zh) * 2019-02-25 2019-06-07 苏州长风航空电子有限公司 基于fpga红外视频流的实时自动调焦方法
CN111432125B (zh) * 2020-03-31 2022-04-05 合肥英睿***技术有限公司 一种对焦方法、装置及电子设备和存储介质
CN113691732B (zh) * 2021-09-07 2022-11-22 联想(北京)有限公司 相机自动对焦方法、装置、电子设备及存储介质
CN113822825B (zh) * 2021-11-25 2022-02-11 电子科技大学成都学院 基于3d-r2n2的光学建筑目标三维重建方法
CN117714866A (zh) * 2024-02-06 2024-03-15 国网上海市电力公司 一种可自适应调焦的电缆通道三光成像方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067675A (zh) * 2007-06-01 2007-11-07 南京国业科技有限公司 红外焦平面成像***的自动聚焦方法
CN101825516A (zh) * 2010-05-04 2010-09-08 电子科技大学 一种红外焦平面阵列器件的测试装置及其测试方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067675A (zh) * 2007-06-01 2007-11-07 南京国业科技有限公司 红外焦平面成像***的自动聚焦方法
CN101825516A (zh) * 2010-05-04 2010-09-08 电子科技大学 一种红外焦平面阵列器件的测试装置及其测试方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
红外热像仪自动调焦和图像采集技术的研究;姚珺;《中国优秀硕士学位论文全文数据库》;20120715(第07期);正文第5-11页,第19-26页,第37-39页 *
非制冷红外焦平面探测器测试及验证成像技术研究;刘子骥;《中国博士学位论文全文数据库》;20130515(第05期);正文第135-149页 *

Also Published As

Publication number Publication date
CN103327245A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
CN103327245B (zh) 一种红外成像***的自动对焦方法
KR101612727B1 (ko) 리포커싱을 실행하는 방법 및 전자 기기
EP3542347B1 (en) Fast fourier color constancy
CN104102068B (zh) 自动对焦方法及自动对焦装置
CN104363377B (zh) 对焦框的显示方法、装置及终端
CN101221341A (zh) 景深构图设定方法
CN101527860A (zh) 白平衡控制设备及其控制方法和摄像设备
CN108416754A (zh) 一种自动去除鬼影的多曝光图像融合方法
CN104519328A (zh) 图像处理设备、图像捕捉装置和图像处理方法
CN106982312A (zh) 多光圈相机***及其操作方法
JP6537083B2 (ja) 自動合焦のための方法および撮像装置
CN107687819A (zh) 一种快速高精度的光条中心亚像素提取方法
CN113518210A (zh) 图像自动白平衡的方法及装置
CN103440662A (zh) Kinect深度图像获取方法与装置
US10157439B2 (en) Systems and methods for selecting an image transform
CN112686802A (zh) 图像拼接方法、装置、设备和存储介质
CN110248101A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN104184935A (zh) 影像拍摄设备及方法
US11895403B2 (en) Imaging support device that performs registration control for setting a detected subject image position, imaging support system, imaging system, imaging support method, and program
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN100492088C (zh) 一种自动对焦方法
CN103544696B (zh) 一种用于fpga实现的缝合线实时查找方法
CN106415348A (zh) 摄像装置及对焦控制方法
CN106204554A (zh) 基于多聚焦图像的景深信息获取方法、***及拍摄终端
CN115689960A (zh) 一种夜间场景下照度自适应的红外与可见光图像融合方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810