CN107316279B - 基于色调映射和正则化模型的弱光图像增强方法 - Google Patents
基于色调映射和正则化模型的弱光图像增强方法 Download PDFInfo
- Publication number
- CN107316279B CN107316279B CN201710367168.XA CN201710367168A CN107316279B CN 107316279 B CN107316279 B CN 107316279B CN 201710367168 A CN201710367168 A CN 201710367168A CN 107316279 B CN107316279 B CN 107316279B
- Authority
- CN
- China
- Prior art keywords
- image
- channel image
- low
- enhanced
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013507 mapping Methods 0.000 title claims abstract description 36
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000009499 grossing Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 12
- 230000002708 enhancing effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于色调映射和正则化模型的弱光图像增强方法,其中设计了自适应映射参数对色调映射函数加以改进,对亮度较大的区域提高增强程度,对亮度较小的区域降低增强程度,使其对V通道图像进行自适应亮度增强;并构建L1正则化模型对反转后的暗通道图像进行平滑,在去噪的同时获得更好的平滑效果,进而得到信息更丰富的细节层,同时考虑到图像灰度变化的频率和强度,将暗通道图像的信息熵和梯度特征融合对暗通道图像进行自适应对比度增强,可以恢复更多的细节信息。最后,基于两种方法的互补性,将亮度增强后的V通道图像和对比度增强的暗通道图像加权融合。
Description
技术领域
本发明涉及一种计算机图像处理方法,尤其涉及一种弱光图像增强方法。
背景技术
阴天或夜晚拍摄图像时,由于周围光照条件欠佳,普通摄像机不能充分曝光,拍摄到的图像存在大量的暗区,亮度和对比度较低且大量细节丢失,难以得到感兴趣的信息,给视频监控、室外目标识别与追踪等带来很大困难。因此,弱光图像增强问题在计算机视觉应用领域和数字图像处理领域亟待解决。
现有的弱光图像增强方法主要有直方图均衡化[1],Retinex方法[2],色调映射方法[3],OBLCAE方法[4]以及基于去雾模型的方法[5]。色调映射方法利用映射函数对图像像素进行变换,将其转化为接近于正常光照下的灰度值,该算法简单,但是映射函数参数固定,不能根据图像亮度自适应调整,且噪声较大。Zhou[4]等提出的OBLCAE方法通过映射函数对图像进行亮度增强和对比度提高,该算法能较好地保持图像的色彩,但其对整体亮度增强程度有限,且对比度较低,仍会丢失较多的细节。Dong[5]等提出基于去雾的方法进行弱光图像增强,增强效果较好,但是易产生块效应且含有较多噪点。
[参考文献]
[1]Chen S D,Ramli A R.Preserving brightness in histogram equalizationbased contrast enhancement techniques[J].Digital Signal Process,2004,14(5):413–428。
[2]Rahman Z,Jobson D J,Woodell G A.Multi-scale retinex for colorimage enhancement[C].International Conference on Image Processing(ICIP).Lausanne,Switzerland,1996:1003-1006。
[3]Drago f,Myszkowski K,Annen T,et al.Adaptive logarithmic mappingfor displaying high contrast scenes[J].Computer Graphics Forum,2003,22(3):419-426.[4]Zhou Zhigang,Sang Nong.Global brightness and local contrastadaptive enhancement for low illumination color image[J].Optik,2014,125(6):1795-1799。
[5]Dong Xuan,Wang Guan,Pang Yi,et al.Fast efficient algorithm forenhancement of low lighting video[J].Journal of Information and ComputationScience,2011,10(7):1-6。
[6]Gonzalez R C,Woods R E.Digital Image Processing(2/E)[M].USA:Prentice Hall,2001。
[7]Shen Peiyi,Zhang Liang,Song Juan,et al.Parallel implementation oflow light level image enhancement using CUDA[C].International Conference onInformation and Automation,Lijiang,China,2015:673-677。
发明内容
针对上述问题,本发明提出一种基于色调映射和正则化模型的弱光图像增强方法。首先设计自适应映射参数改进色调映射函数,使V通道图像能够根据不同区域的亮度进行自适应增强,然后建立L1正则化模型对反转后的暗通道图像进行平滑,在去除噪声的同时获得更丰富的细节层,同时将暗通道图像信息熵和梯度特征相融合进行局部对比度增强,最后将亮度增强后的V通道图像和对比度增强后的暗通道图像进行加权融合。该方案不仅能够有效提高图像的亮度、对比度,显著改善视觉效果,同时保留更多的图像细节信息,并大大降低图像噪声。
为了解决上述技术问题,本发明提出的一种基于色调映射和正则化模型的弱光图像增强方法,步骤如下:
步骤1、获得弱光图像I(x)亮度增强后的V通道图像
首先,输入弱光图像I(x),将弱光图像I(x)从RGB空间转换到HSV空间,根据V通道图像IV(x)的亮度,自适应映射参数函数b(x)为:
式(1)中:x为图像中的任一像素点,IV(x)是V通道图像,是V通道图像的平均亮度;
然后,对V通道图像IV(x)色调映射进行亮度增强,映射函数为:
式(2)中:是V通道图像IV(x)像素的最大值,是亮度增强后的V通道图像;
步骤2、获得弱光图像I(x)对比度增强后的反转暗通道图像步骤如下:
2-1)构建L1正则化模型,对反转后的暗通道图像进行平滑去噪,目标函数为:
其中,
式(3)和式(4)中:为平滑去噪后的反转暗通道图像,是弱光图像的反转图像,v是正则化参数,Di是滤波算子,该滤波算子Di包含8个Krisch算子和1个Laplace算子,Wi是权重函数,σ是固定参数;
2-2)对上述目标函数进行求解,得到最优解如下:
式(6)和式(7)中:sign是符号函数,μi是辅助变量,ρ为惩罚参数,F是二维傅里叶变换,F-1是二维傅里叶变换的逆变换,是F的共轭;
2-3)将反转后的暗通道图像与平滑去噪后的图像相减,得到细节层图像
2-4)将反映图像强度变化的梯度信息和变化频率的信息熵mh(x)=-∑p(k)log(p(k)融合,p(k)是图像像素值等于k时的概率,从而得到调节参数m(x):
m(x)=τmt(x)+(1-τ)mh(x) (9)
式(9)中:τ是权重系数;
2-5)根据调节参数m(x)和细节层图像对图像进行对比度增强:
式(10)中:是对比度增强的反转暗通道图像,λ是常数;
步骤3、将步骤2获得的图像进行反转获得图像对图像及步骤1获得的亮度增强的V通道图像进行加权融合,作为增强后的V通道图像
式(11)中:α和β是常数,α+β=1;
并将增强后的V通道图像由HSV空间映射到RGB空间,得到最终的增强图像。
与现有技术相比,本发明的有益效果是:
本发明设计自适应映射参数对色调映射函数进行改进,使图像能够自适应增强亮度,并建立L1正则化模型对反转后的暗通道图像去除噪声得到信息丰富的细节层,同时融合图像的信息熵和梯度对图像进行局部对比度增强,恢复更多的细节信息。
附图说明
图1(a)为一幅白天弱光原始图像“House”;
图1(b)为针对图1(a)所示图像采用文献[4]提出的OBLCAE方法处理后的效果图;
图1(c)为针对图1(a)所示图像采用文献[5]提出的去雾方法处理后的的效果图;
图1(d)为针对图1(a)所示图像采用本发明方法处理后的效果图;
图2(a)为一幅夜晚弱光原始图像“Street”;
图2(b)为针对图2(a)所示图像采用文献[4]提出的OBLCAE方法处理后的效果图;
图2(c)为针对图2(a)所示图像采用文献[5]提出的去雾方法处理后的效果图;
图2(d)为针对图2(a)所示图像采用本发明方法处理后的效果图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述,所描述的具体实施例仅对本发明进行解释说明,并不用以限制本发明。
现有的基于色调映射的图像增强方法[3]的基本原理是:利用映射函数对原图像的灰度值进行拉伸,使其转化为接近正常光照下的图像,映射函数表达式为:
其中,L(x)为图像像素x在Y空间的照度,Lmax为所有像素中最大的照度值,b为常数,Len(x)为映射后的图像。
根据文献[6],常用的对比度增强方法如下:
其中,I'(x)为对比度增强后的图像,I(x)为原图像,为均值滤波后的图像,η为常数。
由于现有的色调映射函数其参数为常数,需要根据大量实验选择合适的值,并且对图像不同亮度区域进行均一增强,增强效果不佳[3];另一方面,常用的对比度增强方法采用固定参数,没有考虑图像的相关特征,因此,导致一些区域对比度增强效果较差,恢复的细节信息较少[6,7]。
本发明提出的基于色调映射和正则化模型的弱光图像增强方法的设计思路是:设计自适应映射参数对色调映射函数加以改进,对亮度较大的区域提高增强程度,对亮度较小的区域降低增强程度,使其对V通道图像进行自适应亮度增强;并构建L1正则化模型对反转后的暗通道图像进行平滑,在去噪的同时获得更好的平滑效果,进而得到信息更丰富的细节层,同时考虑到图像灰度变化的频率和强度,将暗通道图像的信息熵和梯度特征融合对暗通道图像进行自适应对比度增强,使其含有更多的细节信息。最后,基于两种方法的互补性,将亮度增强后的V通道图像和对比度增强的暗通道图像加权融合。下面以图1(a)为原始(弱光)图像进行增强,其具体步骤如下:
步骤1、获得弱光图像I(x)亮度增强后的V通道图像
首先,输入如图1(a)所示的弱光图像I(x),将弱光图像I(x)从RGB空间转换到HSV空间,根据V通道图像IV(x)的亮度,自适应映射参数函数b(x)为:
式(1)中:x为图像中的任一像素点,IV(x)是V通道图像,是V通道图像的平均亮度;
然后,对V通道图像IV(x)色调映射进行亮度增强,映射函数为:
式(2)中:是V通道图像IV(x)像素的最大值,是亮度增强后的V通道图像;
步骤2、获得弱光图像I(x)对比度增强后的反转暗通道图像步骤如下:
2-1)利用式(5)得到弱光图像I(x)反转后的暗通道图像(参见文献[5]),构建如式(3)所示的L1正则化模型,对图像进行平滑去噪,目标函数为:
其中,
式(3)和式(4)中:为平滑去噪后的反转暗通道图像,是弱光图像的反转图像,v是正则化参数,Di是滤波算子,该滤波算子Di包含8个Krisch算子和1个Laplace算子,Wi是权重函数,σ是固定参数,本实施例中其σ取值为0.2。
2-2)对上述目标函数进行求解,得到最优解如下:
式(6)和式(7)中:sign是符号函数,μi是辅助变量,ρ为惩罚参数,F是二维傅里叶变换,F-1是二维傅里叶变换的逆变换,是F的共轭;
2-3)将反转后的暗通道图像与平滑去噪后的图像相减,得到细节层图像
2-4)将反映图像强度变化的梯度信息和变化频率的信息熵mh(x)=-∑p(k)log(p(k)融合,p(k)是图像像素值等于k时的概率,从而得到调节参数m(x):
m(x)=τmt(x)+(1-τ)mh(x) (9)
式(9)中:τ是权重系数,τ取值为0~1,本实施例中的取值为0.5。
2-5)根据调节参数m(x)和细节层图像对图像Ii d n r v k(x)进行对比度增强:
式(10)中:是对比度增强的反转暗通道图像,λ是常数,λ的取值不宜过大,通常取值为1~50,本实施例的λ取值为5。
步骤3、将步骤2获得的图像进行反转获得图像对图像及步骤1获得的亮度增强的V通道图像进行加权融合,作为增强后的V通道图像
式(11)中:α和β是常数,α+β=1,本实施例中α=0.5。
并将增强后的V通道图像由HSV空间映射到RGB空间,得到最终的增强图像,如图1(d)所示。
同理,对图2(a)所述的原始弱光图像进行增强后的图像如图2(d)所示,其增强处理过程同上。
为了验证本发明提出的弱光图像增强方法的有效性,对弱光图像进行增强实验,并与相关算法进行对比。图1(a)是一幅白天原始弱光图像“House”,图2(a)是一幅夜晚原始弱光图像“Street”,图1(b)、图1(c)、图1(d)和图2(b)、图2(c)、图2(d)分别为采用文献[4]提出的OBLCAE方法、文献[5]提出的去雾方法和本发明方法对图像House和图像Street的增强效果。可以看出,本发明方法相比文献[4]和文献[5]提出的方法可有效提高图像亮度和对比度,去除块效应和晕轮伪影,并可恢复出更多的图像细节信息,抑制弱光图像的噪声,具有更好的视觉效果可视性。
为客观评价本发明方法,计算增强后图像的平均亮度和信息熵。如表1所示。由表1平均亮度数据显示,本发明方法可有效提高弱光图像的亮度;由信息熵结果可看出,本发明方法含有更多的信息量,可有效恢复更多的细节信息。
表1客观指标比较结果
实验结果表明,本发明提出的方法可针对传统色调映射方法进行弱光图像增强所具有的缺陷,对图像进行自适应亮度提高和局部对比度增强,恢复更多的图像细节,抑制弱光图像的噪声,具有更好的视觉性。
尽管上面结合附图对本发明进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨的情况下,还可以做出很多变形,这些均属于本发明的保护之内。
Claims (1)
1.一种基于色调映射和正则化模型的弱光图像增强方法,其特征在于,步骤如下:
步骤1、获得弱光图像I(x)亮度增强后的V通道图像
首先,输入弱光图像I(x),将弱光图像I(x)从RGB空间转换到HSV空间,根据V通道图像IV(x)的亮度,自适应映射参数函数b(x)为:
式(1)中:x为图像中的任一像素点,IV(x)是V通道图像,是V通道图像的平均亮度;
然后,对V通道图像IV(x)色调映射进行亮度增强,映射函数为:
式(2)中:是V通道图像IV(x)像素的最大值,是亮度增强后的V通道图像;
步骤2、获得弱光图像I(x)对比度增强后的反转暗通道图像步骤如下:
2-1)构建L1正则化模型,对反转后的暗通道图像进行平滑去噪,目标函数为:
其中,
式(3)和式(4)中:为平滑去噪后的反转暗通道图像,是弱光图像的反转图像,v是正则化参数,Di是滤波算子,该滤波算子Di包含8个Krisch算子和1个Laplace算子,Wi是权重函数,σ是固定参数;
2-2)对上述目标函数进行求解,得到最优解如下:
式(6)和式(7)中:sign是符号函数,μi是辅助变量,ρ为惩罚参数,F是二维傅里叶变换,F-1是二维傅里叶变换的逆变换,是F的共轭;
2-3)将反转后的暗通道图像与平滑去噪后的图像相减,得到细节层图像
2-4)将反映图像强度变化的梯度信息和变化频率的信息熵mh(x)=-∑p(k)log(p(k))融合,p(k)是图像像素值等于k时的概率,从而得到调节参数m(x):
m(x)=τmt(x)+(1-τ)mh(x) (9)
式(9)中:τ是权重系数;
2-5)根据调节参数m(x)和细节层图像对图像进行对比度增强:
式(10)中:是对比度增强的反转暗通道图像,λ是常数;
步骤3、将步骤2获得的图像进行反转获得图像对图像及步骤1获得的亮度增强的V通道图像进行加权融合,作为增强后的V通道图像
式(11)中:α和β是常数,α+β=1;
并将增强后的V通道图像由HSV空间映射到RGB空间,得到最终的增强图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710367168.XA CN107316279B (zh) | 2017-05-23 | 2017-05-23 | 基于色调映射和正则化模型的弱光图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710367168.XA CN107316279B (zh) | 2017-05-23 | 2017-05-23 | 基于色调映射和正则化模型的弱光图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107316279A CN107316279A (zh) | 2017-11-03 |
CN107316279B true CN107316279B (zh) | 2019-11-22 |
Family
ID=60183894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710367168.XA Expired - Fee Related CN107316279B (zh) | 2017-05-23 | 2017-05-23 | 基于色调映射和正则化模型的弱光图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107316279B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335275B (zh) * | 2018-02-13 | 2019-12-13 | 腾讯科技(深圳)有限公司 | 图像增强方法、装置、计算设备及存储介质 |
CN109191390A (zh) * | 2018-08-03 | 2019-01-11 | 湘潭大学 | 一种基于不同颜色空间多算法融合的图像增强算法 |
CN111046887A (zh) * | 2018-10-15 | 2020-04-21 | 华北电力大学(保定) | 一种带噪图像特征提取的方法 |
CN110796612B (zh) * | 2019-10-09 | 2022-03-25 | 陈根生 | 一种图像增强方法及*** |
CN111127377B (zh) * | 2019-12-20 | 2023-04-25 | 湖北工业大学 | 一种基于多图像融合Retinex的弱光增强方法 |
CN111210395B (zh) * | 2020-01-09 | 2023-11-10 | 大连海事大学 | 基于灰度值映射的Retinex水下图像增强方法 |
CN113362354B (zh) * | 2021-05-07 | 2024-04-30 | 安徽国际商务职业学院 | 色调映射图像的质量评价方法、***、终端及存储介质 |
CN113657497B (zh) * | 2021-08-17 | 2024-03-08 | 上海亨临光电科技有限公司 | 一种低信噪比图像增强处理与人体图像分割融合实现方法 |
CN113822826B (zh) * | 2021-11-25 | 2022-02-11 | 江苏游隼微电子有限公司 | 一种低照度图像亮度增强方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447825A (zh) * | 2015-10-08 | 2016-03-30 | 湖北大学 | 图像去雾方法及其*** |
CN106204504A (zh) * | 2016-09-10 | 2016-12-07 | 天津大学 | 基于暗通道先验和色调映射的低照度图像增强方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7023580B2 (en) * | 2001-04-20 | 2006-04-04 | Agilent Technologies, Inc. | System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines |
-
2017
- 2017-05-23 CN CN201710367168.XA patent/CN107316279B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447825A (zh) * | 2015-10-08 | 2016-03-30 | 湖北大学 | 图像去雾方法及其*** |
CN106204504A (zh) * | 2016-09-10 | 2016-12-07 | 天津大学 | 基于暗通道先验和色调映射的低照度图像增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107316279A (zh) | 2017-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316279B (zh) | 基于色调映射和正则化模型的弱光图像增强方法 | |
CN108734670B (zh) | 单幅夜间弱照度雾霾图像的复原方法 | |
Zhu et al. | Single image dehazing using color attenuation prior. | |
Tao et al. | Low-light image enhancement using CNN and bright channel prior | |
CN108765336B (zh) | 基于暗亮原色先验与自适应参数优化的图像去雾方法 | |
Wang et al. | A fast single-image dehazing method based on a physical model and gray projection | |
CN105046658B (zh) | 一种低照度图像处理方法和装置 | |
CN110570360B (zh) | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 | |
CN110807742B (zh) | 一种基于一体式网络的微光图像增强方法 | |
Park et al. | Single image haze removal with WLS-based edge-preserving smoothing filter | |
Cheng et al. | A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions | |
Shi et al. | Fast single-image dehazing method based on luminance dark prior | |
Xue et al. | Video image dehazing algorithm based on multi-scale retinex with color restoration | |
Wen et al. | Autonomous robot navigation using Retinex algorithm for multiscale image adaptability in low-light environment | |
CN109859138B (zh) | 一种基于人眼视觉特性的红外图像增强方法 | |
Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
CN108898561B (zh) | 一种含天空区域雾天图像的去雾方法、服务器及*** | |
Marques et al. | Enhancement of low-lighting underwater images using dark channel prior and fast guided filters | |
Hu et al. | Maritime video defogging based on spatial-temporal information fusion and an improved dark channel prior | |
Gao et al. | Single image dehazing based on single pixel energy minimization | |
CN112686825A (zh) | 一种基于fpga的地面浓雾场景灰度图像去雾方法 | |
Li et al. | A low-illuminance image enhancement method in YUV color space | |
Wang et al. | Enhancement of low-light image based on wavelet u-net | |
Liu et al. | Adaptive depth map-based retinex for image defogging | |
Zhang et al. | Efficient single image dehazing via scene-adaptive segmentation and improved dark channel model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191122 Termination date: 20210523 |