CN116563174B - 一种图像的重建方法、装置和计算机存储介质 - Google Patents
一种图像的重建方法、装置和计算机存储介质 Download PDFInfo
- Publication number
- CN116563174B CN116563174B CN202310846523.7A CN202310846523A CN116563174B CN 116563174 B CN116563174 B CN 116563174B CN 202310846523 A CN202310846523 A CN 202310846523A CN 116563174 B CN116563174 B CN 116563174B
- Authority
- CN
- China
- Prior art keywords
- image
- denoising
- information
- space information
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000001228 spectrum Methods 0.000 claims abstract description 28
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000010606 normalization Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及计算机技术领域,特别涉及一种图像的重建方法、装置和计算机存储介质;重建方法包括:获取压缩图像;基于压缩图像进行图像分解,得到三维空间信息以及图像光谱信息;基于图像先验处理模型以及图像去噪模型对三维空间信息进行去噪处理,得到目标空间信息;图像先验处理模型是基于三维空间信息进行先验学习的模型;图像去噪模型是基于样本图像以及样本图像对应的样本噪声图像进行训练得到的;基于目标空间信息以及图像光谱信息进行图像重建,得到压缩图像对应的目标图像;通过采用图像先验处理模型以及图像去噪模型以互补的方式对压缩图像对应的三维空间信息进行去噪,提高在图像重建过程中的去噪精度,提高目标图像的图像重建精度。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种图像的重建方法、装置和计算机存储介质。
背景技术
高光谱图像是指包括多个光谱波段的三维数据,由于其具备丰富的光谱信息,已被广泛应用于遥感、医学成像、军事等领域;现有技术中,通常基于压缩感知理论的快照压缩成像技术,将高光谱图像进行压缩存储以及重建,但对于图像的重建结果往往与原图存在较大差异,从而导致重建图像的图像精度不高。
发明内容
针对现有技术的上述问题,本申请的目的在于通过采用图像先验处理模型以及图像去噪模型以互补的方式对压缩图像对应的三维空间信息进行去噪,提高在图像重建过程中的去噪精度,进而提高目标图像的图像重建精度。
为了解决上述问题,本申请提供了一种图像的重建方法,包括:
获取压缩图像;
基于所述压缩图像进行图像分解,得到所述压缩图像对应的三维空间信息以及图像光谱信息;
基于图像先验处理模型以及图像去噪模型对所述三维空间信息进行去噪处理,得到目标空间信息;所述图像先验处理模型是基于所述三维空间信息进行先验学习的模型;所述图像去噪模型是基于样本图像以及所述样本图像对应的样本噪声图像进行训练得到的;
基于所述目标空间信息以及所述图像光谱信息进行图像重建,得到所述压缩图像对应的目标图像。
在本申请实施例中,所述基于图像先验处理模型以及图像去噪模型对所述三维空间信息进行去噪处理,得到目标空间信息包括:
将所述三维空间信息确定为当前空间信息;
基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息;
在所述当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将所述当前去噪空间信息确定为所述当前空间信息;
重复执行:所述基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息,至所述在所述当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将所述当前去噪空间信息确定为当前空间信息,直至所述当前去噪空间信息与所述上一去噪空间信息满足预设误差条件;
将所述当前去噪空间信息确定为所述目标空间信息。
在本申请实施例中,所述基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息包括:
将所述当前空间信息输入所述图像先验处理模型进行去噪处理,得到第一空间信息;
将所述第一空间信息输入所述图像去噪模型进行去噪处理,得到第二空间信息;
更新当前循环次数;
在所述当前循环次数小于预设循环次数的情况下,将所述第二空间信息确定为所述当前空间信息;
重复执行:所述将所述当前空间信息输入所述图像先验处理模型进行去噪处理,得到第一空间信息,至所述在所述当前循环次数小于预设循环次数的情况下,将所述第二空间信息确定为当前空间信息,直至所述当前循环次数大于或等于所述预设循环次数;
将所述第二空间信息确定为所述当前去噪空间信息。
在本申请实施例中,所述基于所述压缩图像进行图像分解,得到所述压缩图像对应的三维空间信息以及图像光谱信息包括:
将所述压缩图像对应的矩阵信息进行低秩分解,得到所述三维空间信息以及所述图像光谱信息;所述三维空间信息包括多层二维平面信息。
在本申请实施例中,所述图像去噪模型包括第一缩放层、去噪层以及第二缩放层;所述将所述第一空间信息输入所述图像去噪模型进行去噪处理,得到第二空间信息包括:
基于所述第一缩放层,对所述多层二维平面信息对应的矩阵信息进行归一化处理,得到多层二维平面信息各自对应的归一平面信息;
基于所述去噪层,分别对所述多层二维平面信息各自对应的归一平面信息进行去噪处理,得到多层二维去噪信息;
基于所述第二缩放层,对所述多层二维去噪信息对应的矩阵信息进行反归一化处理,得到所述第二空间信息。
在本申请实施例中,所述去噪层包括卷积层以及残差层,所述基于所述去噪层,分别对所述多层二维平面信息各自对应的归一平面信息进行去噪处理,得到多层二维去噪信息包括:
基于所述卷积层,对所述归一平面信息对应的矩阵信息进行卷积处理,得到卷积矩阵;
基于所述残差层、所述归一平面信息对应的矩阵信息以及所述卷积矩阵进行残差连接,得到所述归一平面信息对应的二维去噪信息。
在本申请实施例中,所述图像先验处理模型包括跨步卷积层、转置卷积层以及输出层,所述输出层包括带参激活函数,所述将所述当前空间信息输入所述图像先验处理模型进行去噪处理,得到第一空间信息包括:
基于所述跨步卷积层,对所述当前空间信息对应的矩阵信息进行卷积处理,得到第一采样矩阵;
基于所述转置卷积层,对所述采样矩阵进行卷积处理,得到第二采样矩阵;
基于所述输出层的带参激活函数,对所述第二采样矩阵进行先验学习,得到所述第一空间信息。
另一方面,本申请还提供一种图像的重建装置,该装置包括:
获取模块,用于获取压缩图像;
分解模块,用于基于所述压缩图像进行图像分解,得到所述压缩图像对应的三维空间信息以及图像光谱信息;
去噪模块,用于基于图像先验处理模型以及图像去噪模型对所述三维空间信息进行去噪处理,得到目标空间信息;所述图像先验处理模型是基于所述三维空间信息进行先验学习的模型;所述图像去噪模型是基于样本图像以及所述样本图像对应的样本噪声图像进行训练得到的;
重建模块,用于基于所述目标空间信息以及所述图像光谱信息进行图像重建,得到所述压缩图像对应的目标图像。
另一方面,本申请还提供一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述图像的重建方法。
另一方面,本申请还提供一种计算机存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述图像的重建方法。
由于上述技术方案,本申请所述的一种图像的重建方法具有以下有益效果:
通过采用图像先验处理模型以基于三维空间信息对应的自身空间信息进行先验学习,并进行去噪;采用图像去噪模型基于样本图像的训练先验信息对三维空间信息进行去噪;实现基于三维空间信息自身空间信息对应先验知识以及样本图像学习的先验知识进行去噪,实现去噪先验互补,从而提高对三维空间信息的去噪精度,进而提高重建的目标图像的图像重建精度。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图 1 是本申请实施例提供的一种图像的重建方法流程示意图;
图 2 是本申请实施例提供的一种图像的重建方法中目标空间信息确定流程示意图;
图 3 是本申请实施例提供的一种图像的重建方法中当前去噪空间信息确定流程示意图;
图 4 是本申请实施例提供的一种图像的重建方法中第二空间信息确定流程示意图;
图 5 是本申请实施例提供的一种图像的重建方法中二维去噪信息确定流程示意图;
图 6 是本申请实施例提供的一种图像的重建方法中第一空间信息确定流程示意图;
图 7 是本申请实施例提供的一种图像的重建装置结构示意图;
图 8 是本申请实施例提供的一种图像的重建方法的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且,术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
结合图1,介绍本申请实施例提供的一种图像的重建方法,该方法包括:
S1001、获取压缩图像;压缩图像是指便于传输以及存储的图像信息;具体的,压缩图像可以为高光谱图像对应的二维压缩图像。
S1002、基于压缩图像进行图像分解,得到压缩图像对应的三维空间信息以及图像光谱信息;图像分解是指将压缩图像的多个维度信息进行分解的过程;具体的,将压缩图像中的信息分解成三维空间信息以及图像光谱信息;三维空间信息是指压缩图像中的空间信息,具体包括长宽以及深度三个维度的信息,可以采用(x,y,z)表示三维空间中任意一点对应的空间信息;图像光谱信息是指压缩图像中每个像素的颜色分布在不同波长范围内的强度或反射率的分布,具体的,图像光谱信息为高光谱信息。
在本申请实施例中,S1002包括:
S10021、基于图像掩膜对二维压缩图像进行解压成像,得到初始高光谱图像;图像掩膜是一种图像滤镜的模板;初始高光谱图像是指对二维压缩图像进行初步解压后得到的图像。
S10022、对初始高光谱图像进行图像分解,得到三维空间信息以及图像光谱信息。
在本申请实施例中,通过采用图像掩膜对二维压缩图像进行解压成像后,再进行图像分解,提高了图像信息的丰富度,进而提高重建过程中的图像精度。
在本申请具体实施例中,三维空间信息可以表征压缩图像的空间表示系数Z,图像光谱信息可以表征压缩图像的光谱基E。
S1003、基于图像先验处理模型以及图像去噪模型对三维空间信息进行去噪处理,得到目标空间信息;图像先验处理模型是基于三维空间信息进行先验学习的模型;图像去噪模型是基于样本图像以及样本图像对应的样本噪声图像进行训练得到的;可以理解的是,图像先验处理模型是基于三维空间信息自身所包含的空间先验进行去噪学习的模型,图像去噪模型是基于样本图像学习的空间先验进行去噪的模型;也就是说,图像先验处理模型是基于三维空间信息自身所包含的空间先验,即图像内部空间先验对三维空间信息进行去噪,图像去噪模型是基于样本图像学习的空间先验,即外部空间先验对三维空间信息进行去噪,从而实现去噪先验的互补。
在本申请具体实施例中,图像先验处理模型可以是指无监督深度图像先验模型(Deep Image Prior,DIP),图像去噪模型可以是指训练深度去噪先验模型(DeepDenoising Prior,DDP)。
S1004、基于目标空间信息以及图像光谱信息进行图像重建,得到压缩图像对应的目标图像;图像重建过程可以视作信息融合过程,也可以视作图像分解的逆过程;目标图像对应的信息精度大于压缩图像对应的信息精度。
在本申请具体实施例中,将目标图像确定为初始高光谱图像,重复执行:S1002-S1004,以进一步对目标图像进行优化。
在本申请实施例中,通过采用图像先验处理模型以基于三维空间信息对应的自身空间信息进行先验学习,并进行去噪;采用图像去噪模型基于样本图像的训练先验信息对三维空间信息进行去噪;实现基于三维空间信息自身空间信息对应先验知识以及样本图像学习的先验知识进行去噪,实现去噪先验互补,从而提高对三维空间信息的去噪精度,进而提高重建的目标图像的图像重建精度。
在本申请具体实施例中,对于图像重建的过程可以看作下述公式(1)的求解过程:
(1)
其中,是指求解函数取得最小值的情况下x的取值,Y是指捕获的压缩测量图,x是指初始高光谱图像,/>是指基于初始高光谱图像确定的压缩图,/>是指保真项,即压缩测量图与压缩图之间的F范数,/>是指正则参数,/>是指正则先验。
在本申请具体实施例中,对于压缩图像的分解过程可以看作下述公式(2)的分解过程:
(2)
其中,x指初始高光谱图像,是指张量的第三维度乘法,/>是指三维空间信息,E是指图像光谱信息。
在本申请具体实施例中,基于重建过程中图像光谱信息不需要进行变换,因此,上述求解过程可以转变为对Z的求解过程,引入图像先验处理模型学习的先验以及图像去噪模型的正则先验,结合半二次***算法(Pseudo Quadratic)即形成下述求解公式(3):
(3)
其中,是指求解函数取得最小值的情况下/>的取值,/>是指图像先验处理模型中的网络参数,/>是指图像去噪模型中引入的增广变量,/>为罚函数对应的参数,/>是指图像先验处理模型,/>为图像先验处理模型学习过程中的随机噪声,其维度与三维空间信息一致。
在本申请具体实施例中,图像先验处理模型即对的求解过程,图像去噪模型即对的求解过程。
参考图2,在本申请实施例中,S1003包括:
S2001、将三维空间信息确定为当前空间信息。
S2002、基于图像先验处理模型以及图像去噪模型对当前空间信息进行去噪处理,得到当前去噪空间信息。
S2003、在当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将当前去噪空间信息确定为当前空间信息;在每次重复执行S2002-S2003的过程中,均存在当前循环对应的当前去噪空间信息,上一去噪空间信息即为上一循环中的当前去噪空间信息;当前去噪空间信息与上一去噪空间信息不满足预设误差条件表征当前去噪空间信息与上一去噪空间信息之间依旧存在较大差异,依然可以继续对当前去噪空间信息继续去噪,因此将当前去噪空间信息确定为当前空间信息,以对当前去噪空间信息进一步去噪,以提高对三维空间信息的去噪精度。
重复执行步骤:S2002-S2003,直至当前去噪空间信息与上一去噪空间信息满足预设误差条件,则执行S2004;当前去噪空间信息与上一去噪空间信息满足预设误差条件表征当前去噪空间信息与上一去噪空间信息之间差异较小,无法继续通过循环进行去噪,因此可以进行跳转。
在本申请具体实施例中,预设误差条件可以是下述误差公式(4):
(4)
其中,是指当前去噪空间信息,/>是指上一去噪空间信息,/>是指当前去噪空间信息与上一去噪空间信息差值对应的F范数;/>是指上一去噪空间信息对应的F范数;/>是指预先设定的上限值。
在本申请另一实施例中,预设误差条件还可以是当前去噪空间信息和上一去噪空间信息的欧式距离小于预设距离值,也可以是当前去噪空间信息和上一去噪空间信息的余弦相似度小于预设余弦值。
在本申请另一实施例中,将执行步骤S2002-S2003视作一次外部循环,获取外部循环对应的外循环次数,在外循环次数大于预设外循环次数的情况下,发出警示信息;外循环次数大于预设外循环次数的情况下,表征循环次数过多,可能存在过拟合的情况,因此需要发出警示信息以避免过拟合的情况发生,进而提高对三维空间信息的去噪精度,提高重建的目标图像的图像重建精度。
S2004、将当前去噪空间信息确定为目标空间信息。
在本申请实施例中,通过采用预设误差条件,评估当前去噪空间信息以及上一去噪空间信息之间的相似度,从而在当前去噪空间信息以及上一去噪空间信息的相似度较大的情况下,结束循环,以避免无效循环,从而提高目标空间信息的确认速率,进而提高图像重建的重建速率;在每次外循环的过程中,均采用图像去噪模型基于样本图像的训练先验信息对三维空间信息进行去噪;实现基于三维空间信息自身空间信息对应先验知识以及样本图像学习的先验知识进行去噪,实现去噪先验互补,从而提高对三维空间信息的去噪精度,进而提高重建的目标图像的图像重建精度。
参考图3,在本申请实施例中,S2002包括:
S3001、将当前空间信息输入图像先验处理模型进行去噪处理,得到第一空间信息。
S3002、将第一空间信息输入图像去噪模型进行去噪处理,得到第二空间信息。
S3003、更新当前循环次数;将执行步骤S3001-S3004视作一次内部循环,当前循环次数是指内部循环的循环次数。
S3004、在当前循环次数小于预设循环次数的情况下,将第二空间信息确定为当前空间信息;预设循环次数是基于经验以及调试预先设定的值。
重复执行步骤:S3001-S3004,直至当前循环次数大于或等于预设循环次数,则执行S3005。
S3005、将第二空间信息确定为当前去噪空间信息。
在本申请实施例中,通过重复多次的循环,以获取当前去噪空间信息,进而以使当前去噪空间信息更为精确,从而提高了对三维空间信息的去噪精度,提高重建的目标图像的图像重建精度。
在本申请实施例中,S1002包括:
将压缩图像对应的矩阵信息进行低秩分解,得到三维空间信息以及图像光谱信息;三维空间信息包括多层二维平面信息;低秩分解是指将矩阵分解成两个低秩矩阵的过程,也就是说将压缩图像对应的矩阵信息分解成三维空间信息对应的矩阵信息以及图像光谱信息对应的矩阵信息;其中三维空间信息对应的矩阵信息为三维矩阵,也称立方体矩阵;多层二维平面信息对应的矩阵信息则是以三维矩阵中某一维度为参考,得到的多个二维矩阵。
在本申请实施例中,通过将压缩图像对应的矩阵信息进行低秩分解,将图像信息进行拆分分析,以降低冗余信息对重建过程的干扰,进而提高重建的目标图像的图像重建精度。
参考图4,在本申请实施例中,图像去噪模型包括第一缩放层、去噪层以及第二缩放层;第一缩放层用于对数据进行归一化处理,所述去噪层用于对数据进行去噪处理,第二缩放层用于对数据进行反归一化处理;S3002包括:
S5001、基于第一缩放层,对多层二维平面信息对应的矩阵信息进行归一化处理,得到多层二维平面信息各自对应的归一平面信息;归一平面信息对应的矩阵信息中的每一个元素均处于(0,1)之间。
S5002、基于去噪层,分别对多层二维平面信息各自对应的归一平面信息进行去噪处理,得到多层二维去噪信息;去噪处理是基于样本图像学习的先验知识去噪的过程。
S5003、基于第二缩放层,对多层二维去噪信息对应的矩阵信息进行反归一化处理,得到第二空间信息;第二空间信息对应的数据维度与二维平面信息对应的数据维度一致。
在本申请实施例中,通过采用归一化处理以及反归一化处理,降低数据处理过程中的数据复杂度,进而提高数据处理速度,提高图像重建的速度。
在本申请具体实施例中,图像去噪模型可以采用深度残差U型网络(DeepResidual U-Net,DRUNet),因此,对于u的求解可以视作下述公式(5):
(5)
其中,是指以n所在的维度为参考,得到的(x,y)的二维平面信息中的第n个,是指图像去噪模型,/>是指以n所在的维度为参考,得到的(x,y)的二维平面信息中的第n个对应的二维平面信息,/>指以n所在的维度为参考,得到的(x,y)的二维平面信息中的第n个对应的增广变量,/>是指以n所在的维度为参考,得到的(x,y)的二维平面信息中的第n个对应噪声水平。
在本申请具体实施例中,归一化过程可以采用下述公式(6)—(7):
(6)
(7)
其中,是指归一化处理过程中的倍率,/>是指归一化处理过程中的参数,/>是指归一化后的以n所在的维度为参考,得到的(x,y)的二维平面信息中的第n个对应的二维平面信息,/>是指归一化之后的以n所在的维度为参考,得到的(x,y)的二维平面信息中的第n个对应噪声水平。
在本申请具体实施例中,以及/>的计算公式可以参考公式(8)—(9):
(8)
(9)
其中,是指/>中的最大值,min/>是指/>中的最小值。
参考图5,在本申请实施例中,去噪层包括卷积层以及残差层,卷积层用于对图像信息进行特征提取,残差层用于对输出数据以及输入数据进行残差连接;S5002包括:
S6001、基于卷积层,对归一平面信息对应的矩阵信息进行卷积处理,得到卷积矩阵;卷积矩阵表征归一平面信息对应的图像特征。
S6002、基于残差层、归一平面信息对应的矩阵信息以及卷积矩阵进行残差连接,得到归一平面信息对应的二维去噪信息。
在本申请实施例中,通过将归一平面信息对应的矩阵信息以及卷积矩阵进行残差连接,从而降低数据的失真,进而提高对三维空间信息的去噪精度,提高重建的目标图像的图像重建精度。
参考图6,在本申请实施例中,图像先验处理模型包括跨步卷积层、转置卷积层以及输出层,输出层包括带参激活函数,跨步卷积层用于对图像信息进行特征提取,转置卷积用于对提取的图像特征进行反卷积运算,带参激活函数用于基于三维空间信息自身空间信息对应先验知识进行参数调节;S3001包括:
S7001、基于跨步卷积层,对当前空间信息对应的矩阵信息进行卷积处理,得到第一采样矩阵;第一采样矩阵表征当前空间信息对应的特征矩阵;跨步卷积层可以包括3×3的跨步卷积,采用重复卷积模块,更准确地捕捉局部窗口内的信息,进而更有效地进行特征提取。
S7002、基于转置卷积层,对第一采样矩阵进行卷积处理,得到第二采样矩阵;第二采样矩阵的矩阵大小与当前空间信息对应的矩阵信息的矩阵大小一致;转置卷积层可以包括3×3的转置卷积,采用重复卷积模块,更准确地捕捉局部窗口内的信息,进而更有效地进行特征提取。
S7003、基于输出层的带参激活函数,对第二采样矩阵进行先验学习,得到第一空间信息;具体的,基于第二采样矩阵调节带参激活函数中的函数参数。
在本申请实施例中,通过采用带参激活函数,更为灵活的实现对图像先验处理模型的输出进行调节,从而提高图像先验处理模型的鲁棒性以及泛化能力,提高图像先验处理模型的去噪精度,减少过拟合的风险,进而提高重建的目标图像的图像重建精度。
参考图7,本申请实施例还提供一种图像的重建装置,该装置包括:
获取模块101,用于获取压缩图像;
分解模块102,用于基于压缩图像进行图像分解,得到压缩图像对应的三维空间信息以及图像光谱信息;
去噪模块103,用于基于图像先验处理模型以及图像去噪模型对三维空间信息进行去噪处理,得到目标空间信息;图像先验处理模型是基于三维空间信息进行先验学习的模型;图像去噪模型是基于样本图像以及样本图像对应的样本噪声图像进行训练得到的;
重建模块104,用于基于目标空间信息以及图像光谱信息进行图像重建,得到压缩图像对应的目标图像。
去噪模块包括:
第一信息确定单元,用于将三维空间信息确定为当前空间信息;
去噪单元,用于基于图像先验处理模型以及图像去噪模型对当前空间信息进行去噪处理,得到当前去噪空间信息;
第二信息确定单元,用于在当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将当前去噪空间信息确定为当前空间信息;
第一循环单元,用于重复执行:基于图像先验处理模型以及图像去噪模型对当前空间信息进行去噪处理,得到当前去噪空间信息,至在当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将当前去噪空间信息确定为当前空间信息,直至当前去噪空间信息与上一去噪空间信息满足预设误差条件;
第三信息确定单元,用于将当前去噪空间信息确定为目标空间信息。
去噪单元包括:
第一去噪处理单元,用于将当前空间信息输入图像先验处理模型进行去噪处理,得到第一空间信息;
第二去噪处理单元,用于将第一空间信息输入图像去噪模型进行去噪处理,得到第二空间信息;
更新单元,用于更新当前循环次数;
第四信息确定单元,用于在当前循环次数小于预设循环次数的情况下,将第二空间信息确定为当前空间信息;
第二循环单元,用于重复执行:将当前空间信息输入图像先验处理模型进行去噪处理,得到第一空间信息,至在当前循环次数小于预设循环次数的情况下,将第二空间信息确定为当前空间信息,直至当前循环次数大于或等于预设循环次数;
第五信息确定单元,用于将第二空间信息确定为当前去噪空间信息。
分解模块包括:
低秩分解单元,用于将压缩图像对应的矩阵信息进行低秩分解,得到三维空间信息以及图像光谱信息;三维空间信息包括多层二维平面信息。
图像去噪模型包括第一缩放层、去噪层以及第二缩放层;第二去噪处理单元包括:
归一单元,用于基于第一缩放层,对多层二维平面信息对应的矩阵信息进行归一化处理,得到多层二维平面信息各自对应的归一平面信息;
归一去噪单元,用于基于去噪层,分别对多层二维平面信息各自对应的归一平面信息进行去噪处理,得到多层二维去噪信息;
反归一单元,用于基于第二缩放层,对多层二维去噪信息对应的矩阵信息进行反归一化处理,得到第二空间信息。
去噪层包括卷积层以及残差层,归一去噪单元包括:
卷积单元,用于基于卷积层,对归一平面信息对应的矩阵信息进行卷积处理,得到卷积矩阵;
残差单元,用于基于残差层、归一平面信息对应的矩阵信息以及卷积矩阵进行残差连接,得到归一平面信息对应的二维去噪信息。
图像先验处理模型包括跨步卷积层、转置卷积层以及输出层,第一去噪处理单元包括:
第一采样单元,用于基于跨步卷积层,对当前空间信息对应的矩阵信息进行卷积处理,得到第一采样矩阵;
第二采样单元,用于基于转置卷积层,对第一采样矩阵进行卷积处理,得到第二采样矩阵;
输出单元,用于基于输出层的带参激活函数,对第二采样矩阵进行先验学习,得到第一空间信息。
本申请实施例还提供一种电子设备,该电子设备包括处理器和存储器,储器中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现如上述的图像的重建方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个硬盘存储器件、闪存器件或其他易失性固态存储器件。相应的,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置等电子设备中执行。图8是本申请实施例提供的电子设备。如图8所示,该电子设备900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器910(中央处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930,一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中,存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块,每个模块可以包括对电子设备中的一系列指令操作。更进一步地,中央处理器910可以设置为与存储介质920通信,在电子设备900上执行存储介质920中的一系列指令操作。电子设备900还可以包括一个或一个以上电源960,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口940,和/或,一个或一个以上操作***921,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中,输入输出接口940包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口940可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图8所示的结构仅为示意,其并不对上述电子设备的结构造成限定。例如,电子设备900还可包括比图8中所示更多或者更少的组件,或者具有与图8所示不同的配置。
本申请的实施例还提供一种存储介质,该存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现如上述的图像的重建方法。
上述说明已经充分揭露了本申请的具体实施方式。需要指出的是,熟悉该领域的技术人员对本申请的具体实施方式所做的任何改动均不脱离本申请的权利要求书的范围。相应地,本申请的权利要求的范围也并不仅仅局限于前述具体实施方式。
Claims (9)
1.一种图像的重建方法,其特征在于,包括:
获取压缩图像;
基于所述压缩图像进行图像分解,得到所述压缩图像对应的三维空间信息以及图像光谱信息;
基于图像先验处理模型以及图像去噪模型对所述三维空间信息进行去噪处理,得到目标空间信息;所述图像先验处理模型是基于所述三维空间信息进行先验学习的模型;所述图像去噪模型是基于样本图像以及所述样本图像对应的样本噪声图像进行训练得到的;
基于所述目标空间信息以及所述图像光谱信息进行图像重建,得到所述压缩图像对应的目标图像;所述图像重建过程表征信息融合过程或所述图像分解的逆过程;
所述基于图像先验处理模型以及图像去噪模型对所述三维空间信息进行去噪处理,得到目标空间信息包括:
将所述三维空间信息确定为当前空间信息;
基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息;
在所述当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将所述当前去噪空间信息确定为所述当前空间信息;
重复执行:所述基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息,至所述在所述当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将所述当前去噪空间信息确定为当前空间信息,直至所述当前去噪空间信息与所述上一去噪空间信息满足预设误差条件;
将所述当前去噪空间信息确定为所述目标空间信息。
2.根据权利要求1所述的一种图像的重建方法,其特征在于,所述基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息包括:
将所述当前空间信息输入所述图像先验处理模型进行去噪处理,得到第一空间信息;
将所述第一空间信息输入所述图像去噪模型进行去噪处理,得到第二空间信息;
更新当前循环次数;
在所述当前循环次数小于预设循环次数的情况下,将所述第二空间信息确定为所述当前空间信息;
重复执行:所述将所述当前空间信息输入所述图像先验处理模型进行去噪处理,得到第一空间信息,至所述在所述当前循环次数小于预设循环次数的情况下,将所述第二空间信息确定为当前空间信息,直至所述当前循环次数大于或等于所述预设循环次数;
将所述第二空间信息确定为所述当前去噪空间信息。
3.根据权利要求2所述的一种图像的重建方法,其特征在于,所述基于所述压缩图像进行图像分解,得到所述压缩图像对应的三维空间信息以及图像光谱信息包括:
将所述压缩图像对应的矩阵信息进行低秩分解,得到所述三维空间信息以及所述图像光谱信息;所述三维空间信息包括多层二维平面信息。
4.根据权利要求3所述的一种图像的重建方法,其特征在于,所述图像去噪模型包括第一缩放层、去噪层以及第二缩放层;所述将所述第一空间信息输入所述图像去噪模型进行去噪处理,得到第二空间信息包括:
基于所述第一缩放层,对所述多层二维平面信息对应的矩阵信息进行归一化处理,得到多层二维平面信息各自对应的归一平面信息;
基于所述去噪层,分别对所述多层二维平面信息各自对应的归一平面信息进行去噪处理,得到多层二维去噪信息;
基于所述第二缩放层,对所述多层二维去噪信息对应的矩阵信息进行反归一化处理,得到所述第二空间信息。
5.根据权利要求4所述的一种图像的重建方法,其特征在于,所述去噪层包括卷积层以及残差层,所述基于所述去噪层,分别对所述多层二维平面信息各自对应的归一平面信息进行去噪处理,得到多层二维去噪信息包括:
基于所述卷积层,对所述归一平面信息对应的矩阵信息进行卷积处理,得到卷积矩阵;
基于所述残差层、所述归一平面信息对应的矩阵信息以及所述卷积矩阵进行残差连接,得到所述归一平面信息对应的二维去噪信息。
6.根据权利要求2所述的一种图像的重建方法,其特征在于,所述图像先验处理模型包括跨步卷积层、转置卷积层以及输出层,所述输出层包括带参激活函数,所述将所述当前空间信息输入所述图像先验处理模型进行去噪处理,得到第一空间信息包括:
基于所述跨步卷积层,对所述当前空间信息对应的矩阵信息进行卷积处理,得到第一采样矩阵;
基于所述转置卷积层,对所述第一采样矩阵进行卷积处理,得到第二采样矩阵;
基于所述输出层的带参激活函数,对所述第二采样矩阵进行先验学习,得到所述第一空间信息。
7.一种图像的重建装置,其特征在于,包括:
获取模块,用于获取压缩图像;
分解模块,用于基于所述压缩图像进行图像分解,得到所述压缩图像对应的三维空间信息以及图像光谱信息;
去噪模块,用于基于图像先验处理模型以及图像去噪模型对所述三维空间信息进行去噪处理,得到目标空间信息;所述图像先验处理模型是基于所述三维空间信息进行先验学习的模型;所述图像去噪模型是基于样本图像以及所述样本图像对应的样本噪声图像进行训练得到的;
重建模块,用于基于所述目标空间信息以及所述图像光谱信息进行图像重建,得到所述压缩图像对应的目标图像;所述图像重建过程表征信息融合过程或所述图像分解的逆过程;
所述基于图像先验处理模型以及图像去噪模型对所述三维空间信息进行去噪处理,得到目标空间信息包括:
将所述三维空间信息确定为当前空间信息;
基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息;
在所述当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将所述当前去噪空间信息确定为所述当前空间信息;
重复执行:所述基于所述图像先验处理模型以及所述图像去噪模型对所述当前空间信息进行去噪处理,得到当前去噪空间信息,至所述在所述当前去噪空间信息与上一去噪空间信息不满足预设误差条件的情况下,将所述当前去噪空间信息确定为当前空间信息,直至所述当前去噪空间信息与所述上一去噪空间信息满足预设误差条件;
将所述当前去噪空间信息确定为所述目标空间信息。
8.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1-6任一项所述的图像的重建方法。
9.一种电子设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-6任一项所述的图像的重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310846523.7A CN116563174B (zh) | 2023-07-11 | 2023-07-11 | 一种图像的重建方法、装置和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310846523.7A CN116563174B (zh) | 2023-07-11 | 2023-07-11 | 一种图像的重建方法、装置和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116563174A CN116563174A (zh) | 2023-08-08 |
CN116563174B true CN116563174B (zh) | 2023-09-29 |
Family
ID=87498626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310846523.7A Active CN116563174B (zh) | 2023-07-11 | 2023-07-11 | 一种图像的重建方法、装置和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116563174B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110501072A (zh) * | 2019-08-26 | 2019-11-26 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像***的重构方法 |
CN113508417A (zh) * | 2020-06-08 | 2021-10-15 | 广州超视计生物科技有限公司 | 一种图像处理***和方法 |
CN114612297A (zh) * | 2022-01-24 | 2022-06-10 | 北京工业大学 | 高光谱图像超分辨率重建方法及装置 |
CN114677300A (zh) * | 2022-03-25 | 2022-06-28 | 西安交通大学 | 一种基于双阶段学习框架的高光谱图像深度降噪的方法及*** |
CN114842308A (zh) * | 2022-03-16 | 2022-08-02 | 电子科技大学 | 一种基于全特征融合建立目标预判优化模型的方法 |
CN115908180A (zh) * | 2022-11-18 | 2023-04-04 | 大连海事大学 | 一种耦合深度先验和低秩张量分解的高光谱遥感影像去噪方法 |
CN115950837A (zh) * | 2023-03-10 | 2023-04-11 | 湖南师范大学 | 基于即插即用先验的快照式光谱成像方法、***及介质 |
WO2023114923A1 (en) * | 2021-12-17 | 2023-06-22 | The Regents Of The University Of California | Fusion of deep-learning based image reconstruction with noisy image measurements |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100738075B1 (ko) * | 2005-09-09 | 2007-07-12 | 삼성전자주식회사 | 영상 부호화/복호화 장치 및 방법 |
US10861143B2 (en) * | 2017-09-27 | 2020-12-08 | Korea Advanced Institute Of Science And Technology | Method and apparatus for reconstructing hyperspectral image using artificial intelligence |
US11125844B2 (en) * | 2018-07-06 | 2021-09-21 | The Board Of Trustees Of The Leland Stanford Junior University | Deep learning based methods to accelerate multi-spectral imaging |
US11035919B2 (en) * | 2019-03-01 | 2021-06-15 | Siemens Healthcare Gmbh | Image reconstruction using a colored noise model with magnetic resonance compressed sensing |
CN112001856A (zh) * | 2020-07-29 | 2020-11-27 | 东软医疗***股份有限公司 | 去噪模型的训练方法及去除图像噪声方法、相关装置 |
CN114840831A (zh) * | 2021-02-01 | 2022-08-02 | 腾讯科技(深圳)有限公司 | 人脸图像的合法性验证方法、装置、电子设备和存储介质 |
-
2023
- 2023-07-11 CN CN202310846523.7A patent/CN116563174B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110501072A (zh) * | 2019-08-26 | 2019-11-26 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像***的重构方法 |
CN113508417A (zh) * | 2020-06-08 | 2021-10-15 | 广州超视计生物科技有限公司 | 一种图像处理***和方法 |
WO2023114923A1 (en) * | 2021-12-17 | 2023-06-22 | The Regents Of The University Of California | Fusion of deep-learning based image reconstruction with noisy image measurements |
CN114612297A (zh) * | 2022-01-24 | 2022-06-10 | 北京工业大学 | 高光谱图像超分辨率重建方法及装置 |
CN114842308A (zh) * | 2022-03-16 | 2022-08-02 | 电子科技大学 | 一种基于全特征融合建立目标预判优化模型的方法 |
CN114677300A (zh) * | 2022-03-25 | 2022-06-28 | 西安交通大学 | 一种基于双阶段学习框架的高光谱图像深度降噪的方法及*** |
CN115908180A (zh) * | 2022-11-18 | 2023-04-04 | 大连海事大学 | 一种耦合深度先验和低秩张量分解的高光谱遥感影像去噪方法 |
CN115950837A (zh) * | 2023-03-10 | 2023-04-11 | 湖南师范大学 | 基于即插即用先验的快照式光谱成像方法、***及介质 |
Non-Patent Citations (5)
Title |
---|
Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging;Ziyi Meng;2021 IEEE/CVF International Conference on Computer Vision (ICCV);全文 * |
基于卷积神经网络的红外图像去噪方法研究;朱宜生;孙成;;环境技术(第06期);全文 * |
基于非局部相似联合低秩表示的高光谱图像去噪;张显;叶军;;计算机科学(第01期);全文 * |
空间光谱联合稀疏表示的高光谱图像超分辨率方法;许蒙恩;谢宝陵;徐国明;;激光与光电子学进展(07);全文 * |
计算成像***中的模糊图像重建研究;张志刚;李涛;张玉霞;刘艳辉;;激光杂志(07);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116563174A (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Deep gaussian scale mixture prior for spectral compressive imaging | |
Zhuang et al. | Fast hyperspectral image denoising and inpainting based on low-rank and sparse representations | |
Xiong et al. | MAC-Net: Model-aided nonlocal neural network for hyperspectral image denoising | |
Chen et al. | Hyperspectral image compressive sensing reconstruction using subspace-based nonlocal tensor ring decomposition | |
Zhussip et al. | Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior | |
US9349072B2 (en) | Local feature based image compression | |
US8948540B2 (en) | Optimized orthonormal system and method for reducing dimensionality of hyperspectral images | |
Chen et al. | Sparse hyperspectral unmixing based on constrained lp-l 2 optimization | |
US9607362B2 (en) | Compressive imaging using approximate message passing with denoising | |
CN111579506B (zh) | 基于深度学习的多摄像头高光谱成像方法、***及介质 | |
Garcia et al. | Multi-resolution compressive spectral imaging reconstruction from single pixel measurements | |
CN115950837B (zh) | 基于即插即用先验的快照式光谱成像方法、***及介质 | |
Zhao et al. | Hyperspectral image denoising using spectral-spatial transform-based sparse and low-rank representations | |
CN114419392A (zh) | 高光谱快照图像恢复方法、装置、设备及介质 | |
Gelvez et al. | Nonlocal low-rank abundance prior for compressive spectral image fusion | |
CN116579966B (zh) | 一种图像重建方法、装置、电子设备及存储介质 | |
Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
Wei et al. | Effects of lossy compression on remote sensing image classification based on convolutional sparse coding | |
CN117333409A (zh) | 基于图像的大数据分析方法 | |
Freitas et al. | Image quality assessment using BSIF, CLBP, LCP, and LPQ operators | |
George | Reconstruction of cloud-contaminated satellite remote sensing images using kernel PCA-based image modelling | |
CN116563174B (zh) | 一种图像的重建方法、装置和计算机存储介质 | |
Aetesam et al. | Proximal approach to denoising hyperspectral images under mixed‐noise model | |
Hidane et al. | Image zoom completion | |
Suryanarayana et al. | Deep Learned Singular Residual Network for Super Resolution Reconstruction. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |