CN106296583B - 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 - Google Patents
基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 Download PDFInfo
- Publication number
- CN106296583B CN106296583B CN201610620280.5A CN201610620280A CN106296583B CN 106296583 B CN106296583 B CN 106296583B CN 201610620280 A CN201610620280 A CN 201610620280A CN 106296583 B CN106296583 B CN 106296583B
- Authority
- CN
- China
- Prior art keywords
- image
- image block
- pairs
- resolution
- block group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000010354 integration Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于图像块组稀疏编码与成对映射的高光谱含噪图像超分辨率重构方法。该方法分为模型训练和图像重构两个部分。在模型训练阶段，首先利用清晰图像块构造训练集，并将训练集图像块分组构成图像块组；随后利用高斯混合模型训练字典及成对映射关系。在图像重构阶段，首先将图像块分组；然后判断其所属的高斯类，选择相应的字典；最后利用成对映射方法调整其稀疏编码系数，从而求得无噪的高空间分辨率高光谱图像。
Description
技术领域
本发明属于高光谱图像处理领域，具体涉及一种基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法。
背景技术
高光谱图像(Hyper-Spectral Images，HSIs)在二维图像的基础上添加光谱维，进而形成三维的图像数据立方体。在获得地表图像信息的同时，也获得其光谱信息，第一次真正做到了光谱与图像的结合。高光谱图像在军事监测、遥感以及医学诊断等多个领域都有着重要的应用。然而高光谱成像仪在提高图像光谱分辨率的同时，损失了空间信息，导致其空间分辨率的降低。此外，在高光谱图像中，由于大气干扰、硬件设备等因素的影响，部分波段图像可能含有不同程度的噪声，图像信噪比较低，在实际应用中不能使用。为了在提高高光谱图像的空间分辨率的同时，有效地去除图像中所含的噪声，本发明研究含噪高光谱图像的超分辨率重构问题。
图像的去噪与超分辨率重构是两个独立而又相互联系的过程。在传统方法中，含噪图像的超分辨率重构常常采用先利用去噪算法去除噪声再利用超分辨率算法进行重构的方式。然而，此类方法在去噪的过程中会造成图像高频细节信息的损失，这一损失会严重影响其后超分辨率重构的效果。为克服这一问题，近年来，针对含噪的自然图像的超分辨率重构算法被提出。一种有效的做法是，首先对含噪的低分辨率图像进行去噪操作得到无噪的低分辨率图像，其次分别对含噪和无噪的低分辨率图像进行超分辨率重构，得到相应的含噪和无噪高分辨率图像，前者含有噪声但保留了图像的细节信息，后者以损失了图像的高频细节信息为代价去除了噪声。最后，将这两幅图像进行融合从而得到既保留了图像的细节信息又有效去除了噪声的无噪高分辨率图像。
无论是图像的去噪过程，还是超分辨率重构过程，图像的自相似冗余都是可以被充分利用的先验知识。基于自相似冗余的图像去噪算法旨在寻求一系列相似的含噪图像块来平滑噪声，例如非局部均值(Non-Local Means,NLM)算法就是利用相似图像块的加权平均来移除噪声。在超分辨率重构算法中，有一些研究成果也利用了相似的非局部无噪图像块以提供更多的细节信息。
对于高光谱图像，其自身的冗余特性更加明显。由于高光谱成像仪对同一地物在不同波段下成像，从而得到具有多个波段的立方体数据。这一特点使得高光谱图像不仅含有波段内图像的冗余，又增加了波段间图像的冗余，为实现高光谱图像的联合去噪和超分辨率重构提供了更多可以利用的自相似信息。
本发明针对含噪的高光谱图像进行超分辨率重构，充分利用高光谱图像特有的波段内和波段间的自相似冗余，利用高斯混合模型训练字典，并利用成对映射关系学习调整稀疏编码系数，在去噪同时对高光谱图像进行超分辨率重构，提出一种基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法。
发明内容
要解决的技术问题
为了避免现有现有的高光谱图像超分辨率重构方法不能有效处理含有噪声的低空间分辨率图像的问题，本发明提出一种基于稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法。
技术方案
为了解决以上问题，本发明提供了一种基于图像块组稀疏编码与成对映射的高光谱含噪图像超分辨率重构方法。该方法分为模型训练和图像重构两个部分。在模型训练阶段，首先利用清晰图像块构造训练集，并将训练集图像块分组构成图像块组；随后利用高斯混合模型训练字典及成对映射关系。在图像重构阶段，首先将图像块分组；然后判断其所属的高斯类，选择相应的字典；最后利用成对映射方法调整其稀疏编码 系数，从而求得无噪的高空间分辨率高光谱图像。
一种基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法，其特征在于步骤如下：
步骤1：构造图像块组
步骤1a：输入无噪高分辨率HR训练图像块集合X＝{xi}，对集合X中的图像块进行下采样操作，得到相应的无噪低分辨率LR训练图像块集合Y＝{yi}，从而得到成对的图像块集合{xi,yi}；
步骤1b：按照欧式距离将这些成对的图像块分为N组，每组含有M对相似的图像块
步骤1c：将每一组相似的图像块对拉直为列向量xn,m∈RP,yn,m∈Rp，其中P与p分别为高/低分辨率图像块所含像素的个数，计算其相应的均值向量μx,μy；
计算
记 即为成对的高/低分辨率图像块组；
步骤2：高斯混合模型学习
步骤2a：随机初始化K对高斯模型{Nx(μxk,Σxk),Ny(μyk,Σyk)},k＝1,…,K，其中μ,Σ分别为模型的均值和方差；
步骤2b：利用期望最大化EM算法求解公式(2)所示的优化问题，得到参数μxk,Σxk,μyk,Σyk；
其中πxk,πyk为权值因子；
步骤3：构造高/低分辨率字典对
对于每一对高斯模型{Nx(μxk,Σxk),Ny(μyk,Σyk)}中的参数{Σxk,Σyk}，利用奇异值分解SVD算法将其分解为：其中Λxk,Λyk为由Σxk,Σyk的特征值组成的对角阵，即为K对所求的高/低分辨率字典对；
步骤4：映射关系学习
步骤4a：由公式(3)判断每一组高/低分辨率图像块对所对应的高斯模型k，其中c为常数；
步骤4b：由公式(4)求解图像块的稀疏表示系数，m＝1,…,M，sgn(·)为符号函数；
步骤4c：由公式(5)学习高低图像块稀疏表示系数映射关系；
其中，若存在不同组的图像块对属于同一高斯模型k，则为其均值；
步骤5：输出K对高/低分辨率字典以及成对映射关系
步骤6：图像重构
步骤6a：输入低空间分辨率含噪高光谱图像Z，K对高/低分辨率字典以及成对映射关系初始化Z(0)＝Z，t＝1，HR高光谱图像G的初始化估计值设为Z的s倍双三次插值图像；
步骤6b：迭代规则化δ为规则化常数；
步骤6c：估计噪声标准差η为常数；
步骤6d：在高光谱图像Z(t)的各个波段图像中，搜索相似的图像块，构造图像块 组并计算每一组的均值μz；
步骤6e：针对每一组图像块执行以下操作：
由公式(6)选择后验概率最大的高斯模型k，c为常数；
由公式(7)计算含噪图像块组在相应字典下的稀疏编码
由公式(8)求解含噪低分辨率图像块组相应的无噪高分辨率图像块组
步骤6f：整合无噪高分辨率图像块组得到无噪高分辨率高光谱图像
步骤6g：t＝t+1，返回步骤6b继续执行，直到达到最大迭代次数Tmax，输出高空间分辨率高光谱图像
δ∈[0.05,0.1]。
η∈(0.5,1.5)。
c∈(0,0.4)。
Tmax取为4至6次。
有益效果
本发明充分利用了高光谱图像自身波段内和波段间的冗余特性，在去除噪声的同时进行超分辨率重构。发明算法在各波段图像间搜索相似的图像块构成图像块组，利用高斯混合模型获得成对的高/低分辨率字典对图像块组进行稀疏编码，并利用成对映射调整其编码系数，有效提高了重构图像的视觉质量，能够在抑制噪声的同时，在空域更加有效地重构图像的边缘、纹理等结构特征。对高光谱图像的多个波段同时进行重构，能够快速地重构出具有较高清晰度和识别度的高光谱图像。
附图说明
图1本发明的流程图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
1.高斯混合模型及成对映射关系学习
输入：无噪高分辨率训练图像块集合X＝{xi}
(1)构造图像块组
步骤1：对高分辨率训练图像块集合X中的图像块进行下采样操作，得到相应的无噪低分辨率训练图像块集合Y＝{yi}，从而得到成对的图像块集合{xi,yi}；
步骤2：按照欧式距离将这些成对的图像块分为N组，每组含有M对(一般取M＝10)相似的图像块
步骤3：对于每一组相似的图像块对执行如下操作：
a)将图像块对拉直为列向量xn,m∈RP,yn,m∈Rp(P与p分别为高低分辨率图像块所含像素的个数，一般取p＝7)，并按照公式(1)计算其相应的均值向量μx,μy；
b)计算
记 即为成对的高/低分辨率图像块组。
(2)高斯混合模型学习
步骤1：随机初始化K对(一般将K取为32)高斯模型{Nx(μxk,Σxk),Ny(μyk,Σyk)}，k＝1,…,K，其中μ,Σ分别为模型的均值和方差；
步骤2：利用EM算法求解公式(2)所示的优化问题，得到参数μxk,Σxk,μyk,Σyk；
其中πxk,πyk为随机初始化的权值因子。
(3)构造高/低分辨率字典对
对于每一对高斯模型{Nx(μxk,Σxk),Ny(μyk,Σyk)}中的参数{Σxk,Σyk}，利用奇异值分解(Singular Value Decomposition,SVD)算法将其分解为： 其中Λxk,Λyk为由Σxk,Σyk的特征值组成的对角阵，即为K对所求的高/低分辨率字典对。
(4)映射关系学习
对每一组高/低分辨率图像块对执行以下操作：
步骤1：由公式(3)判断该组图像块对所对应的高斯模型k，c为常数(一般情况下，c∈(0,0.4))；
步骤2：由公式(4)求解图像块的稀疏表示系数，m＝1,…,M，sgn(·)为符号函数；
步骤3：由公式(5)学习高低图像块稀疏表示系数映射关系；
其中，若存在不同组的图像块对属于同一高斯模型k，则为其均值。
输出：K对高/低分辨率字典以及成对映射关系
2.图像重构
输入：低空间分辨率含噪高光谱图像Z，K对高/低分辨率字典以及成对映 射关系放大倍数s
步骤1：初始化Z(0)＝Z，t＝1，HR高光谱图像G的初始化估计值设为Z的s倍双三次插值图像；
步骤2：迭代规则化δ为规则化常数(取δ∈[0.05,0.1])；
步骤3：估计噪声标准差η常数，常取η∈(0.5,1.5)；
步骤4：在高光谱图像Z(t)的各个波段图像中，搜索相似的图像块，构造图像块组并计算每一组的均值μz；
步骤5：针对每一组图像块执行以下操作：
a)由公式(6)选择后验概率最大的高斯模型k，c为常数(一般有c∈(0,0.4))；
b)按照公式(7)计算含噪图像块组在相应字典下的稀疏编码
c)由公式(8)求解含噪低分辨率图像块组相应的无噪高分辨率图像块组
步骤6：整合无噪高分辨率图像块组得到无噪高分辨率高光谱图像
步骤7：t＝t+1，返回步骤2继续执行，直到达到最大迭代次数Tmax(Tmax一般取为4至6次)。
输出：高空间分辨率高光谱图像
Claims (5)
1.一种基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法，其特征在于步骤如下：
步骤1：构造图像块组
步骤1a：输入无噪高分辨率HR训练图像块集合X＝{xi}，对集合X中的图像块进行下采样操作，得到相应的无噪低分辨率LR训练图像块集合Y＝{yi}，从而得到成对的图像块集合{xi,yi}；
步骤1b：按照欧式距离将这些成对的图像块分为N组，每组含有M对相似的图像块
步骤1c：将每一组相似的图像块对拉直为列向量xn,m∈RP,yn,m∈Rp，其中P与p分别为高/低分辨率图像块所含像素的个数，计算其相应的均值向量μx,μy；
计算
记 即为成对的高/低分辨率图像块组；
步骤2：高斯混合模型学习
步骤2a：随机初始化K对高斯模型{Nx(μxk,Σxk),Ny(μyk,Σyk)},k＝1,…,K，其中μ,Σ分别为模型的均值和方差；
步骤2b：利用期望最大化EM算法求解公式(2)所示的优化问题，得到参数μxk,Σxk,μyk,Σyk；
其中πxk,πyk为权值因子；
步骤3：构造高/低分辨率字典对
对于每一对高斯模型{Nx(μxk,Σxk),Ny(μyk,Σyk)}中的参数{Σxk,Σyk}，利用奇异值分解SVD算法将其分解为：其中Λxk,Λyk为由Σxk,Σyk的特征值组成的对角阵，即为K对所求的高/低分辨率字典对；
步骤4：映射关系学习
步骤4a：由公式(3)判断每一组高/低分辨率图像块对所对应的高斯模型k，其中c为常数；
步骤4b：由公式(4)求解图像块的稀疏表示系数，m＝1,…,M，sgn(·)为符号函数；
步骤4c：由公式(5)学习高低图像块稀疏表示系数映射关系；
其中，若存在不同组的图像块对属于同一高斯模型k，则为其均值；
步骤5：输出K对高/低分辨率字典以及成对映射关系
步骤6：图像重构
步骤6a：输入低空间分辨率含噪高光谱图像Z，K对高/低分辨率字典以及成对映射关系初始化Z(0)＝Z，t＝1，HR高光谱图像G的初始化估计值设为Z的s倍双三次插值图像；
步骤6b：迭代规则化δ为规则化常数；
步骤6c：估计噪声标准差η为常数；
步骤6d：在高光谱图像Z(t)的各个波段图像中，搜索相似的图像块，构造图像块组并计算每一组的均值μz；
步骤6e：针对每一组图像块执行以下操作：
由公式(6)选择后验概率最大的高斯模型k，c为常数；
由公式(7)计算含噪图像块组在相应字典下的稀疏编码
由公式(8)求解含噪低分辨率图像块组相应的无噪高分辨率图像块组
步骤6f：整合无噪高分辨率图像块组得到无噪高分辨率高光谱图像
步骤6g：t＝t+1，返回步骤6b继续执行，直到达到最大迭代次数Tmax，输出高空间分辨率高光谱图像
2.根据权利要求1所述的一种基于图像块组稀疏编码与成对映射的高光谱含噪图像超分辨率重构方法，其特征在于δ∈[0.05,0.1]。
3.根据权利要求1所述的一种基于图像块组稀疏编码与成对映射的高光谱含噪图像超分辨率重构方法，其特征在于η∈(0.5,1.5)。
4.根据权利要求1所述的一种基于图像块组稀疏编码与成对映射的高光谱含噪图像超分辨率重构方法，其特征在于c∈(0,0.4)。
5.根据权利要求1所述的一种基于图像块组稀疏编码与成对映射的高光谱含噪图像超分辨率重构方法，其特征在于Tmax取为4至6次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610620280.5A CN106296583B (zh) | 2016-08-01 | 2016-08-01 | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610620280.5A CN106296583B (zh) | 2016-08-01 | 2016-08-01 | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106296583A CN106296583A (zh) | 2017-01-04 |
| CN106296583B true CN106296583B (zh) | 2019-06-04 |
Family
ID=57663875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610620280.5A Expired - Fee Related CN106296583B (zh) | 2016-08-01 | 2016-08-01 | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106296583B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108335264B (zh) * | 2018-01-30 | 2021-08-03 | 武汉大学 | 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 |
| CN109214997A (zh) * | 2018-08-30 | 2019-01-15 | 中国科学院遥感与数字地球研究所 | 一种基于增量字典学习的遥感图像去噪方法 |
| CN109741254B (zh) * | 2018-12-12 | 2022-09-27 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、***、设备及存储介质 |
| CN110288525B (zh) * | 2019-05-21 | 2022-12-02 | 西北大学 | 一种多字典超分辨率图像重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298768A (zh) * | 2010-06-24 | 2011-12-28 | 江南大学 | 基于稀疏样本的高分辨率图像重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
| CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
-
2016
- 2016-08-01 CN CN201610620280.5A patent/CN106296583B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298768A (zh) * | 2010-06-24 | 2011-12-28 | 江南大学 | 基于稀疏样本的高分辨率图像重建方法 |
| CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于空间-光谱字典的不完备高光谱图像重构;练秋生 等;《仪器仪表学报》;20130131;第34卷(第1期);第112-118页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106296583A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| Guo et al. | An efficient SVD-based method for image denoising | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| Zhussip et al. | Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior | |
| CN103473740B (zh) | 基于稀疏表示和低秩双重约束的非局部去噪方法 | |
| CN106296583B (zh) | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 | |
| CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建*** | |
| CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
| CN112488924A (zh) | 一种图像超分辨率模型训练方法、重建方法及装置 | |
| CN107993194A (zh) | 一种基于平稳小波变换的超分辨率重建方法 | |
| CN110060286B (zh) | 一种单目深度估计方法 | |
| CN103854262A (zh) | 基于结构聚类与稀疏字典学习的医学图像降噪方法 | |
| CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
| CN106600533B (zh) | 单图像超分辨率重建方法 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN110830043A (zh) | 一种基于混合加权全变分和非局部低秩的图像压缩感知重构方法 | |
| CN107301631B (zh) | 一种基于非凸加权稀疏约束的sar图像降斑方法 | |
| CN105184742B (zh) | 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法 | |
| Cao et al. | CS-MRI reconstruction based on analysis dictionary learning and manifold structure regularization | |
| CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
| Bao et al. | New image denoising algorithm using monogenic wavelet transform and improved deep convolutional neural network | |
| CN104732504A (zh) | 基于压缩感知和wbct变换的图像融合方法 | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| CN107146206B (zh) | 基于四维块匹配滤波的高光谱遥感图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190604 |