CN109685717A - 图像超分辨率重建方法、装置及电子设备 - Google Patents
图像超分辨率重建方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109685717A CN109685717A CN201811539090.6A CN201811539090A CN109685717A CN 109685717 A CN109685717 A CN 109685717A CN 201811539090 A CN201811539090 A CN 201811539090A CN 109685717 A CN109685717 A CN 109685717A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- low
- reconstructed
- multiple dimensioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像超分辨率重建方法、装置及电子设备，涉及图像处理技术领域，包括：获取待重建的低分辨率图像；通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。本发明能够提升图像重建的效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像超分辨率重建方法、装置及电子设备。
背景技术
图像分辨率是图像展现细节丰富程度的一个重要衡量指标。高分辨率的图像呈现出更丰富的细节信息，具有更强的信息表达能力。然而在实际应用中，由于成像设备硬件条件的限制和成像环境等因素的影响，人们很难直接获得高分辨率的图像，需要对获得的图像进行重建，提高其分辨率。
目前通常应用单一尺度卷积网络对获得的低分辨率图像进行重建，但图像包含不同类型的特征，这些不同类型的特征尺度不尽相同。例如，平滑区域和强边缘区域对应的尺度较大，而纹理区域的特征对应的尺度稍小。单一尺度卷积无法同时适用于不同类型特征的尺度，通过这样的方式对图像进行重建，效果不佳。
发明内容
有鉴于此，本发明的目的在于提供一种图像超分辨率重建方法、装置及电子设备，以提升图像重建的效果。
第一方面，本发明实施例提供了一种图像超分辨率重建方法，包括：获取待重建的低分辨率图像；通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述多尺度卷积融合神经网络包括多个相连的多尺度卷积融合块；其中，每个多尺度卷积融合块中包含依次相连的多尺度卷积层和多尺度融合层；多尺度卷积层中包含多组不同尺度的卷积核；多尺度融合层包含1组尺度为1*1的卷积核。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像的步骤，包括：将低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个预设角度对应的待重建目标图像；其中，每个待重建目标图像的像素值均与低分辨率图像的像素值一致；将多个待重建目标图像逐一输入预先建立的图像重建模型，经图像重建模型的正向传播后，分别得到每个待重建目标图像对应的目标输出图像；将多个目标输出图像的位置按照第二方向分别进行旋转变换，直至多个目标输出图像的位置均与低分辨率图像的位置一致时，对多个目标输出图像进行平均化处理，得到低分辨率图像对应的高分辨率图像；其中，第二方向与第一方向相反。
结合第一方面，本发明实施例提供了第一方面第三种可能的实施方式，其中，在获取待重建的低分辨率图像之前，上述方法还包括：获取训练样本集；训练样本集包括多个训练样本对；每个训练样本对中包含1个输入样本图和1个输出样本图；将训练样本集输入至多尺度卷积融合神经网络，通过随机梯度下降法对训练样本集进行训练，直至多尺度卷积融合神经网络的损失函数收敛至预设阈值时，结束训练，得到图像重建模型。
结合第一方面的第三种可能的实施方式，其中，训练样本对的构建过程，包括：从预设的训练图库中采集出多张高分辨率样本图，并将高分辨率样本图确定为输出样本图；利用高斯核分别对每张输出样本图进行模糊处理，得到每张输出样本图对应的低分辨率样本图；依次对每张低分辨率样本图先后进行下采样以及双三次插值处理，得到多张输入样本图；将大小一致的输入样本图和输出样本图组合形成训练样本对。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，多尺度卷积融合神经网络的损失函数为均方误差函数。
第二方面，本发明实施例提供了一种图像超分辨率重建装置，包括：待重建图像获取模块，用于获取待重建的低分辨率图像；重建模块，用于通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，重建模块包括：待重建目标图像确定单元，用于将低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个预设角度对应的待重建目标图像；其中，每个待重建目标图像的像素值均与低分辨率图像的像素值一致；目标输出图像确定单元，用于将多个待重建目标图像逐一输入预先建立的图像重建模型，经图像重建模型的正向传播后，分别得到每个待重建目标图像对应的目标输出图像；高分辨率图像确定单元，用于将多个目标输出图像的位置按照第二方向分别进行旋转变换，直至多个目标输出图像的位置均与低分辨率图像的位置一致时，对多个目标输出图像进行平均化处理，得到低分辨率图像对应的高分辨率图像；其中，第二方向与第一方向相反。
第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面至第一方面第五种可能的实施方式任一项所述的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面至第一方面的第五种可能的实施方式任一项所述的方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种图像超分辨率重建方法、装置及电子设备，首先获取待重建的低分辨率图像；然后通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。本发明实施例提供的上述方式通过基于多尺度卷积融合神经网络建立的图像重建模型对低分辨率图像进行重建得到高分辨率图像，相较于现有技术中仅通过单一卷积神经网络重建图像的方法，能够匹配于图像不同特征的尺度并融合多尺度特征，增强了图像特征表示能力，从而有效地提升了图像重建的效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像超分辨率重建方法的流程图；
图2为本发明实施例提供的一种多尺度卷积融合神经网络的结构示意图；
图3为本发明实施例提供的另一种图像超分辨率重建方法的流程图；
图4为本发明实施例提供的一种图像超分辨率重建装置的结构框图；
图5为本发明实施例提供的另一种图像超分辨率重建装置的结构框图；
图6为本发明实施例提供的一种电子设备的结构示意图。
图标：
21-第一多尺度卷积融合块；22-第二多尺度卷积融合块；23-第三多尺度卷积融合块；24-第四多尺度卷积融合块；22a-第二多尺度卷积层；22b-第二多尺度融合层；a1-第一组卷积核；a2-第二组卷积核；a3-第三组卷积核；b1-第四组卷积核。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像分辨率是图像展现细节丰富程度的一个重要衡量指标。图像分辨率是指图像中包含的信息量，即每英寸图像内存储了多少个像素点，它的单位为PPI(Pixels PerInch)。高分辨率的图像呈现出更丰富的细节信息，具有更强的信息表达能力。然而在实际应用中，由于成像设备硬件条件的限制和成像环境等因素的影响，人们很难直接获得高分辨率的图像，需要对获得的图像进行重建，提高其分辨率。
目前通常应用单一尺度卷积网络对获得的低分辨率图像进行重建，但图像包含不同类型的特征，这些不同类型的特征尺度不尽相同。例如，平滑区域和强边缘区域对应的尺度较大，而纹理区域的特征对应的尺度稍小。单一尺度卷积无法同时适用于不同类型特征的尺度，通过这样的方式对图像进行重建，效果不佳。
基于此，本发明实施例提供的一种图像超分辨率重建方法、装置及电子设备，可以提升图像重建的效果。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像超分辨率重建方法进行详细介绍，参见图1所示的一种图像超分辨率重建方法的流程图，该方法包括：
步骤S102，获取待重建的低分辨率图像。
步骤S104，通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。
本发明实施例提供了一种图像超分辨率重建方法，首先获取待重建的低分辨率图像；然后通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。本发明实施例提供的上述方式通过基于多尺度卷积融合神经网络建立的图像重建模型对低分辨率图像进行重建得到高分辨率图像，相较于现有技术中仅通过单一卷积神经网络重建图像的方法，能够匹配于图像不同特征的尺度并融合多尺度特征，增强了图像特征表示能力，从而有效地提升了图像重建的效果。
具体的，上述多尺度卷积融合神经网络包括多个相连的多尺度卷积融合块；其中，每个多尺度卷积融合块中包含依次相连的多尺度卷积层和多尺度融合层；多尺度卷积层中包含多组不同尺度的卷积核；多尺度融合层包含1组尺度为1*1的卷积核。
为便于理解，本发明实施例提供了一种多尺度卷积融合神经网络的结构示意图，如图2所示，多尺度卷积融合神经网络包括4个相连的多尺度卷积融合块，分别为第一多尺度卷积融合块21、第二多尺度卷积融合块22、第三多尺度卷积融合块23和第四多尺度卷积融合块24。实际应用时将低分辨率图像输入基于该多尺度卷积融合神经网络建立的图像重建模型，经过第一多尺度卷积融合块到第四多尺度卷积融合块的正向传播，最终从第四多尺度卷积融合块输出对应的高分辨率图像。
以第二多尺度卷积融合块为例，图2中还具体示出了第二多尺度卷积融合块22中所包含的依次相连的第二多尺度卷积层22a和第二多尺度融合层22b；其中，第二多尺度卷积层包含3组不同尺度的卷积核，分别为第一组卷积核a1、第二组卷积核a2和第三组卷积核a3；第二多尺度融合层22b包含1组尺度为1*1的卷积核，记为第四组卷积核b1。实际应用时，低分辨率图像经过第一多尺度卷积融合块21后得到的图像即为第二多尺度卷积融合块22的输入图像；该输入图像进入第二多尺度卷积融合块22先经第二多尺度卷积层22a进行多尺度卷积，提取出多尺度特征，然后多尺度特征再经第二多尺度融合层22b进行多特征融合，最终得到第二多尺度卷积融合块22的输出图像，也即第三多尺度卷积融合块23的输入图像。
具体的，为便于实施，本发明实施例提供了一组多尺度卷积融合神经网络的参数信息。其中，多尺度卷积融合神经网络包括4个多尺度卷积融合块，每个多尺度卷积融合块的多尺度卷积层均包含3组不同尺度的卷积核，其尺度分别为且每组有n＝64个卷积核，也即有64个5×5大小的卷积核，64个9×9的卷积核和64个13×13的卷积核，每组卷积操作可得到64个特征图，3种尺度卷积操作后产生192个特征图，拼接得到Fl'(Y)。多尺度融合层包含64个1*1的卷积核，对Fl'(Y)进行1*1的融合，则融合操作后输出64个特征图。其中，应用多尺度融合层融合特征图可以减少输入到下一层的特征图个数，且能够加深网络提高网络的非线性表示能力。
此外，多尺度卷积融合神经网络可通过多个相连的多尺度卷积融合块建立低分辨率图像与高分辨率图像的映射函数，故基于多尺度卷积融合神经网络建立的图像重建模型可将低分辨率图像重建为高分辨率图像，且该多尺度卷积融合神经网络的结构，将单一尺度的卷积层改变为多尺度卷积层可以表示图像中不同尺度的特征，然后利用含有1*1卷积核的多尺度融合层融合多尺度特征，能够提高网络的非线性表示能力，具体的，为便于理解，对多尺度卷积层和多尺度融合层的功能做详细说明，如下所述：
将前述映射函数记为F(X0 L,X0 H；Θ)；其中，Θ＝{W1,W2...,Wnum；B1,B2...,Bnum}，num为网络中的多尺度卷积融合块的个数；X0 L为神经网络的输入图像，也即低分辨率图像；X0 H为神经网络的输出图像，也即高分辨率图像。
第一步，通过多尺度卷积层可得到多组不同尺度的特征图集合：设Y为第l个多尺度卷积融合块的输入数据，对Y进行尺度为li的卷积和激活操作得到特征图 表示第l个多尺度卷积融合块中的第i种尺度的权值矩阵，表示第l层的第i种尺度的偏置，*为卷积操作，max为激活多尺度卷积操作得到的结果为特征图集合为s为卷积核尺度种类的数目。
第二步，通过多尺度融合层将前述多尺度特征图集合融合在一起：将多尺度卷积特征图集合中的每组特征图拼接在一起得到然后利用1×1卷积拼接后的特征图，得到第l个多尺度卷积融合块的多尺度融合输出：Fl(Y)＝max(0,W1×1*Fl'(Y)+B1×1)。
进一步，为便于理解，本发明实施例还提供了一种训练得到图像重建模型的具体实施方式，即在获取待重建的低分辨率图像之前，上述方法还包括：
(一)获取训练样本集；其中，训练样本集包括多个训练样本对；每个训练样1本对中包含1个输入样本图和1个输出样本图；
在一种可选的实施方式中，前述训练样本对的构建过程，包括如下步骤：
步骤(1)，从预设的训练图库中采集出多张高分辨率样本图，并将高分辨率样本图确定为输出样本图。
实际应用时，可分别从Yang的超分辨率的训练图库、Berkley Segment Database图库以及高性能相机采集图像中采集多张高分辨率样本图，为了使训练样本集具有普遍性，具体采集图像可以为Yang的超分辨率的训练图库中91张图、Berkley SegmentDatabase图库中200张图以及高性能相机采集图像中的100张图。
步骤(2)，利用高斯核分别对每张输出样本图进行模糊处理，得到每张输出样本图对应的低分辨率样本图；
将输出样本图记作XH，具体实施时，可选取窗口大小为3*3，方差为1的高斯核对XH进行模糊处理，通过以下公式得到XH对应的低分辨率样本图：
其中，X1 L表示低分辨率样本图；G表示窗口大小为3*3，方差为1的高斯核。
步骤(3)，依次对每张低分辨率样本图先后进行下采样以及双三次插值处理，得到多张输入样本图。
具体的，可对低分辨率样本图X1 L进行尺度因子为4的下采样操作，然后对经下采样操作后的低分辨率样本图X1 L进行双三次插值放大处理，得到与原图，也即前述输出样本图大小一致的输入样本图XL；此外，考虑到人眼对亮度通道最敏感，后续操作优选的在亮度通道Y通道上进行，故在处理彩色图片时，在做放大处理前，首先将彩色图片从RGB颜色空间转换到YCbCr颜色空间。针对Cb和Cr通道，在重建时可直接使用双三次插值算法进行放大。
步骤(4)，将大小一致的输入样本图和输出样本图组合形成训练样本对。
实际应用时，可按照预设的大小系数及样本抽取间隔抽取大小一致的输入样本图和输出样本图形成训练样本对。诸如以15为步长间隔抽取大小为32*32的XL/XH的图片作为训练样本集的输入/输出，也即输入样本图和输出样本图，进而形成包含有300000对训练样本对的训练样本集。
(二)将训练样本集输入至多尺度卷积融合神经网络，通过随机梯度下降法对训练样本集进行训练，直至多尺度卷积融合神经网络的损失函数收敛至预设阈值时，结束训练，得到图像重建模型。
其中，多尺度卷积融合神经网络的损失函数为均方误差函数。将多尺度卷积融合神经网络的输入样本图像记作理论上与该输入样本相对应的真实图像，也即输出样本图像记作实际的经由多尺度卷积融合神经网络的输出图像记为将与的均方误差作为前述损失函数，具体的，损失函数通过以下公式得到：
其中，E(Θ)为多尺度卷积融合神经网络的损失函数；n表示第n张图像，N为训练样本集中训练样本对的数量。
上述通过随机梯度下降法对训练样本集进行训练，也即最小化损失函数E(Θ)，估计Θ达到最优值的过程；其中，随机梯度下降算法具体可以为mini-batch，每训练批次为64个样本。预设阈值可根据经验设定，在此不进行限制，此外，考虑到最优值可能存在训练次数达到一定程度时取值不再发生较大的变化，前述均方误差趋于稳定。在实际应用时，也可根据相关实验通过设定训练的次数来确定结束训练的时间，诸如将训练次数设置为60次，也即当通过随机梯度下降法对训练样本集进行训练的次数达到60次时，就结束训练，得到图像重建模型。
具体的，在一种可选的方式中，损失函数的最小化也可由梯度下降算法和标准的反向传播算法所实现。该方式中所涉及的权值矩阵更新的公式为：
偏置更新的公式为：
其中，上述公式(1)和(2)的l和i分别表示多尺度卷积融合块的索引和迭代次数，ηl表示学习率，和分别为第i次迭代时损失函数对第l个多尺度卷积融合块的权值矩阵和偏置的偏导数。
具体的，实际应用时，除最后一个多尺度卷积融合块外，所有多尺度卷积融合块对应的学习率均可设置为0.01，最后一个多尺度融合模块学习率设置为0.001。每个多尺度卷积融合块的初始化权值可设为方差为10-2，均值为0的随机值。
经过前述参数多次的迭代更新，损失函数达到最小，此时神经网络中的参数即为映射函数F中参数Θ的最优取值对于待重建的低分辨率图像进行重建时，给图像重建模型输入低分辨率图像YL，经过图像重建模型的正向传播后，重建出高分辨率的图像Y1 H。用公式可表示为：
进一步，本发明实施例提供了另一种图像超分辨率重建方法，在图1的基础上详细示出了上述步骤S104，也即通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像的一种具体实施方式，如图3所示，该方法包括如下步骤：
步骤S302，获取待重建的低分辨率图像。
步骤S304，将低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个预设角度对应的待重建目标图像；其中，每个待重建目标图像的像素值均与低分辨率图像的像素值一致。
诸如将低分辨率图像YL分别正向旋转0°,90°,180°,270°，得到分别与0°,90°,180°,270°对应的4个待重建目标图像，记为Y1 L,
步骤S306，将多个待重建目标图像逐一输入预先建立的图像重建模型，经图像重建模型的正向传播后，分别得到每个待重建目标图像对应的目标输出图像。
对应前述4个待重建目标图像，也即Y1 L,经图像重建模型的正向传播后得到对应的目标输出图像，分别记为
步骤S308，将多个目标输出图像的位置按照第二方向分别进行旋转变换，直至多个目标输出图像的位置均与低分辨率图像的位置一致时，对多个目标输出图像进行平均化处理，得到低分辨率图像对应的高分辨率图像；；其中，第二方向与第一方向相反。
具体的，可将分别对应的逆向旋转0°,-90°,-180°,-270°，得到旋转后的多个目标输出图像记为：其中，的位置均与低分辨率图像YL的位置一致，也即多个目标输出图像上的像素点均与低分辨率图像上的像素点一一对应重合，仅多个目标输出图像的分辨率高于低分辨率图像；对进行平均化集成，得到低分辨率图像YL对应的高分辨率图像Y'H，即：
本发明实施例提供的上述另一种图像超分辨率重建方法通过将待重建的低分辨率图像先进行多次旋转，得到多个和低分辨率图像位置角度不同但像素一致的待重建目标图像，并将多个待重建目标图像都通过图像重建模型进行正向传播后，分别得到对应的目标输出图像；然后对多个目标输出图像进行旋转，直至多个目标输出图像与低分辨率图像位置一致时，取多个目标输出图像的平均值作为低分辨率图像对应的高分辨率图像，采用这样平均集成的方式，能够有效提升经图像重建模型重建后的高分辨率图像的像素质量，进一步提升图像重建的效果。
进一步，本发明实施例还基于峰值信噪比和结构相似度数据，对上述图像超分辨率重建方法的重建效果进行详细的说明。
其中，峰值信噪比的定义为：
其中，peakval是图像像素灰度值的最大值，是重建出来的高分辨率图像，P和Q分别是该图像的长和宽,p和q是图像中像素点的坐标。
结构相似度(Structural SIMilarity,SSIM)主要用来衡量图像结构完整性，是另一种比较常用的客观评估指标。定义为：
其中，是XH的平均值，是平均值，为XH的方差，是的方差，是两者的协方差。c1＝(k1L)2，c2＝(k2L)2，L为像素值的范围，默认k1＝0.01，k2＝0.03。结构相似性的范围为0到1。当两张图像一样时，SSIM的值等于1。
实验结果表明上述方法中的多尺度卷积融合神经网络在各测试库上的重建结果都优于单尺度卷积网络和传统的双三次插值算法。具体的，如下表1所示，表1中示出了在公开测试库上的客观标准对比结果，表1中分别给出了放大2，3和4倍时峰值信噪比和结构相似度数据。
表1
对应上述一种图像超分辨率重建方法，本发明实施例提供了一种图像超分辨率重建装置，如图4所示，该装置包括：
待重建图像获取模块402，用于获取待重建的低分辨率图像。
重建模块404，用于通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。
本发明实施例提供了一种图像超分辨率重建装置，首先获取待重建的低分辨率图像；然后通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。本发明实施例提供通过基于多尺度卷积融合神经网络建立的图像重建模型对低分辨率图像进行重建得到高分辨率图像，相较于现有技术中仅通过单一卷积神经网络重建图像的方法，能够匹配于图像不同特征的尺度并融合多尺度特征，增强了图像特征表示能力，从而有效地提升了图像重建的效果。
对应上述另一种图像超分辨率重建方法，本发明实施例还提供了另一种图像超分辨率重建装置，参见图5，在图4的基础上详细示出了重建模块的具体结构，上述重建模块404包括：
待重建目标图像确定单元502，用于将低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个预设角度对应的待重建目标图像；其中，每个待重建目标图像的像素值均与低分辨率图像的像素值一致；
目标输出图像确定单元504，用于将多个待重建目标图像逐一输入预先建立的图像重建模型，经图像重建模型的正向传播后，分别得到每个待重建目标图像对应的目标输出图像；
高分辨率图像确定单元506，用于将多个目标输出图像的位置按照第二方向分别进行旋转变换，直至多个目标输出图像的位置均与低分辨率图像的位置一致时，对多个目标输出图像进行平均化处理，得到低分辨率图像对应的高分辨率图像；其中，第二方向与第一方向相反。
本发明实施例提供的上述另一种图像超分辨率重建装置，通过将待重建的低分辨率图像先进行多次旋转，得到多个和低分辨率图像位置角度不同但像素一致的待重建目标图像，并将多个待重建目标图像都通过图像重建模型进行正向传播后，分别得到对应的目标输出图像；然后对多个目标输出图像进行旋转，直至多个目标输出图像与低分辨率图像位置一致时，取多个目标输出图像的平均值作为低分辨率图像对应的高分辨率图像，采用这样平均集成的方式，能够有效提升经图像重建模型重建后的高分辨率图像的像素质量，进一步提升图像重建的效果。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
进一步，本实施例还提供了一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于图像超分辨率重建方法的步骤。
参见图6所示的一种电子设备的结构示意图，示出了电子设备600，包括：处理器60，存储器61，总线62和通信接口63，处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存61中存储的可执行模块，例如计算机程序。
其中，存储器61可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器61用于存储程序601，处理器60在接收到执行指令后，执行程序601，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
进一步，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一项图像超分辨率重建方法的步骤。具体实现可参见方法实施例，在此不再赘述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像超分辨率重建方法，其特征在于，包括：
获取待重建的低分辨率图像；
通过预先建立的图像重建模型，将所述低分辨率图像重建为高分辨率图像；其中，所述图像重建模型是基于多尺度卷积融合神经网络建立的。
2.根据权利要求1所述的方法，其特征在于，所述多尺度卷积融合神经网络包括多个相连的多尺度卷积融合块；其中，每个所述多尺度卷积融合块中包含依次相连的多尺度卷积层和多尺度融合层；所述多尺度卷积层中包含多组不同尺度的卷积核；所述多尺度融合层包含1组尺度为1*1的卷积核。
3.根据权利要求1所述的方法，其特征在于，所述通过预先建立的图像重建模型，将所述低分辨率图像重建为高分辨率图像的步骤，包括：
将所述低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个所述预设角度对应的待重建目标图像；其中，每个所述待重建目标图像的像素值均与所述低分辨率图像的像素值一致；
将多个所述待重建目标图像逐一输入预先建立的图像重建模型，经所述图像重建模型的正向传播后，分别得到每个所述待重建目标图像对应的目标输出图像；
将多个所述目标输出图像的位置按照第二方向分别进行旋转变换，直至多个所述目标输出图像的位置均与所述低分辨率图像的位置一致时，对多个所述目标输出图像进行平均化处理，得到所述低分辨率图像对应的高分辨率图像；其中，所述第二方向与所述第一方向相反。
4.根据权利要求1所述的方法，其特征在于，在获取待重建的低分辨率图像之前，所述方法还包括：
获取训练样本集；所述训练样本集包括多个训练样本对；每个所述训练样本对中包含1个输入样本图和1个输出样本图；
将所述训练样本集输入至多尺度卷积融合神经网络，通过随机梯度下降法对所述训练样本集进行训练，直至所述多尺度卷积融合神经网络的损失函数收敛至预设阈值时，结束训练，得到所述图像重建模型。
5.根据权利要求4所述的方法，其特征在于，所述训练样本对的构建过程，包括：
从预设的训练图库中采集出多张高分辨率样本图，并将所述高分辨率样本图确定为所述输出样本图；
利用高斯核分别对每张所述输出样本图进行模糊处理，得到每张所述输出样本图对应的低分辨率样本图；
依次对每张所述低分辨率样本图先后进行下采样以及双三次插值处理，得到多张所述输入样本图；
将大小一致的所述输入样本图和所述输出样本图组合形成训练样本对。
6.根据权利要求3所述的方法，其特征在于，所述多尺度卷积融合神经网络的损失函数为均方误差函数。
7.一种图像超分辨率重建装置，其特征在于，包括：
待重建图像获取模块，用于获取待重建的低分辨率图像；
重建模块，用于通过预先建立的图像重建模型，将所述低分辨率图像重建为高分辨率图像；其中，所述图像重建模型是基于多尺度卷积融合神经网络建立的。
8.根据权利要求7所述的装置，其特征在于，所述重建模块包括：
待重建目标图像确定单元，用于将所述低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个所述预设角度对应的待重建目标图像；其中，每个所述待重建目标图像的像素值均与所述低分辨率图像的像素值一致；
目标输出图像确定单元，用于将多个所述待重建目标图像逐一输入预先建立的图像重建模型，经所述图像重建模型的正向传播后，分别得到每个所述待重建目标图像对应的目标输出图像；
高分辨率图像确定单元，用于将多个所述目标输出图像的位置按照第二方向分别进行旋转变换，直至多个所述目标输出图像的位置均与所述低分辨率图像的位置一致时，对多个所述目标输出图像进行平均化处理，得到所述低分辨率图像对应的高分辨率图像；其中，所述第二方向与所述第一方向相反。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811539090.6A CN109685717A (zh) | 2018-12-14 | 2018-12-14 | 图像超分辨率重建方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811539090.6A CN109685717A (zh) | 2018-12-14 | 2018-12-14 | 图像超分辨率重建方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109685717A true CN109685717A (zh) | 2019-04-26 |
Family
ID=66186099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811539090.6A Pending CN109685717A (zh) | 2018-12-14 | 2018-12-14 | 图像超分辨率重建方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685717A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264407A (zh) * | 2019-06-28 | 2019-09-20 | 北京金山云网络技术有限公司 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
| CN110647936A (zh) * | 2019-09-20 | 2020-01-03 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| CN110647934A (zh) * | 2019-09-20 | 2020-01-03 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| CN111239731A (zh) * | 2020-01-06 | 2020-06-05 | 南京航空航天大学 | 基于神经网络的合成孔径雷达快速成像方法及装置 |
| CN111476719A (zh) * | 2020-05-06 | 2020-07-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111815546A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 图像重建方法以及相关设备、装置 |
| CN112801879A (zh) * | 2021-02-09 | 2021-05-14 | 咪咕视讯科技有限公司 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
| WO2021114105A1 (zh) * | 2019-12-09 | 2021-06-17 | 深圳先进技术研究院 | 低剂量ct图像去噪网络的训练方法及*** |
| WO2021121108A1 (zh) * | 2019-12-20 | 2021-06-24 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
| CN114723536A (zh) * | 2022-05-13 | 2022-07-08 | 北京嘉沐安科技有限公司 | 基于图像大数据比对的电商平台廉价商品选取方法及*** |
| EP4207051A4 (en) * | 2020-09-21 | 2024-03-27 | Huawei Technologies Co., Ltd. | IMAGE SUPER-RESOLUTION METHOD AND ELECTRONIC DEVICE |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108550115A (zh) * | 2018-04-25 | 2018-09-18 | 中国矿业大学 | 一种图像超分辨率重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
-
2018
- 2018-12-14 CN CN201811539090.6A patent/CN109685717A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108550115A (zh) * | 2018-04-25 | 2018-09-18 | 中国矿业大学 | 一种图像超分辨率重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| XIAOFENG DU ET.AL.: "Single Image Super-Resolution Based on Multi-Scale Competitive Convolutional Neural Network", 《SENSORS》 * |
| XIAOFENG DU ET.AL.: "Single_image_super-resolution_via_multi-scale_fusion_convolutional_neural_network", 《ICAST 2017》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264407A (zh) * | 2019-06-28 | 2019-09-20 | 北京金山云网络技术有限公司 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
| CN110264407B (zh) * | 2019-06-28 | 2023-01-03 | 北京金山云网络技术有限公司 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
| CN110647936A (zh) * | 2019-09-20 | 2020-01-03 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| CN110647934A (zh) * | 2019-09-20 | 2020-01-03 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| CN110647934B (zh) * | 2019-09-20 | 2022-04-08 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| CN111028153B (zh) * | 2019-12-09 | 2024-05-07 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| WO2021114105A1 (zh) * | 2019-12-09 | 2021-06-17 | 深圳先进技术研究院 | 低剂量ct图像去噪网络的训练方法及*** |
| WO2021121108A1 (zh) * | 2019-12-20 | 2021-06-24 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
| CN111239731A (zh) * | 2020-01-06 | 2020-06-05 | 南京航空航天大学 | 基于神经网络的合成孔径雷达快速成像方法及装置 |
| CN111476719B (zh) * | 2020-05-06 | 2023-05-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111476719A (zh) * | 2020-05-06 | 2020-07-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111815546A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 图像重建方法以及相关设备、装置 |
| EP4207051A4 (en) * | 2020-09-21 | 2024-03-27 | Huawei Technologies Co., Ltd. | IMAGE SUPER-RESOLUTION METHOD AND ELECTRONIC DEVICE |
| CN112801879A (zh) * | 2021-02-09 | 2021-05-14 | 咪咕视讯科技有限公司 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
| CN112801879B (zh) * | 2021-02-09 | 2023-12-08 | 咪咕视讯科技有限公司 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
| CN114723536A (zh) * | 2022-05-13 | 2022-07-08 | 北京嘉沐安科技有限公司 | 基于图像大数据比对的电商平台廉价商品选取方法及*** |
| CN114723536B (zh) * | 2022-05-13 | 2022-10-21 | 农夫铺子发展集团有限公司 | 基于图像大数据比对的电商平台廉价商品选取方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685717A (zh) | 图像超分辨率重建方法、装置及电子设备 | |
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| Tao et al. | Spatial information inference net: Road extraction using road-specific contextual information | |
| CN107220618B (zh) | 人脸检测方法及装置、计算机可读存储介质、设备 | |
| Ren et al. | Low-light image enhancement via a deep hybrid network | |
| Wang et al. | Deep networks for image super-resolution with sparse prior | |
| CN109522874B (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| CN108765343A (zh) | 图像处理的方法、装置、终端及计算机可读存储介质 | |
| CN107358575A (zh) | 一种基于深度残差网络的单幅图像超分辨率重建方法 | |
| CN110070101A (zh) | 植物种类的识别方法及装置、存储介质、计算机设备 | |
| US9569684B2 (en) | Image enhancement using self-examples and external examples | |
| CN106650615B (zh) | 一种图像处理方法及终端 | |
| CN110675339A (zh) | 基于边缘修复和内容修复的图像修复方法及*** | |
| CN109359499A (zh) | 一种用于脸部分类的方法和装置 | |
| CN112132145B (zh) | 一种基于模型扩展卷积神经网络的图像分类方法及*** | |
| CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN115019181B (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
| CN108509961A (zh) | 图像处理方法和装置 | |
| Liu et al. | Survey on gan‐based face hallucination with its model development | |
| CN110473281A (zh) | 三维模型的描边处理方法、装置、处理器及终端 | |
| CN107316320A (zh) | 一种使用gpu加速的实时行人检测*** | |
| Ahmadian et al. | Single image super-resolution with self-organization neural networks and image laplace gradient operator | |
| CN111951954A (zh) | 身体健康状态检测方法、装置、可读存储介质及终端设备 | |
| CN108776958B (zh) | 混合降质图像的图像质量评价方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190426 |