CN109146813B - 一种多任务图像重建方法、装置、设备和介质 - Google Patents
一种多任务图像重建方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN109146813B CN109146813B CN201810935374.0A CN201810935374A CN109146813B CN 109146813 B CN109146813 B CN 109146813B CN 201810935374 A CN201810935374 A CN 201810935374A CN 109146813 B CN109146813 B CN 109146813B
- Authority
- CN
- China
- Prior art keywords
- image
- residual
- data
- image data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 105
- 230000006870 function Effects 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims description 84
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 25
- 238000007906 compression Methods 0.000 claims description 20
- 230000006835 compression Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims 1
- 230000000996 additive effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 17
- 230000015556 catabolic process Effects 0.000 abstract description 12
- 238000006731 degradation reaction Methods 0.000 abstract description 12
- 239000002131 composite material Substances 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 238000009432 framing Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种多任务图像重建方法、装置、设备和介质。该方法包括：获取图像训练样本集；将所述图像训练样本集输入多任务图像重建模型进行训练。在模型中设立串联的至少两个残差学习网络分支，同时对分支输出的结果全部纳入到网络的损失函数进行约束，改善了现有技术中，通过同一残差信号对不同的退化模型进行表达的缺陷，通过网络结构适应退化模型的方式，提升复合场景图像重建的效果；并进一步通过低层参数共享的方式减小网络大小，提升网络性能。
Description
技术领域
本发明实施例涉及神经网络技术，尤其涉及一种多任务图像重建方法、装置、设备和介质。
背景技术
图像处理包括多个方面，典型的如图像去噪、超分辨率处理、和压缩去块处理等。图像去噪，是计算机视觉和图像处理的一个经典且根本的问题，是解决很多相关问题的预处理必备过程。超分辨率是图像处理领域中重要的研究之一，它指利用一副或者多幅低分辨率图像，通过相应的算法来获得一幅清晰的高分辨率图像。高分辨率意味着图像具有高像素密度，可以提供更多的细节。随着对图像处理领域研究的深入，对图像处理提出了越来越高的要求。
现有技术中，典型的多任务图像重建方案是在图像处理的过程中同时实施多种图像处理手段，例如可同时对输入图像进行去噪处理、去块处理、以及超分辨率处理。通常可采用神经网络模型来实现图像的多任务处理。典型的可参考DnCNN(DenoiseConvolutional Neural Network，去噪卷积神经网络)模型，DnCNN网络由三个大部分组成:第一部分:Conv(卷积层)+ReLu(激活函数)，第二部分：BN(batch normalization，归一化)+ReLu(激活函数)，第三部分:Conv(卷积层)+ReLu(激活函数)。
多任务图像重建模型的训练方式，例如可以是确定多个低分辨率图像，在低分辨率图像中人为加入像素块(block)、噪声(noise)，低分辨率图像通过与目标高质量标签图像进行端到端的映射，对多任务图像重建模型进行训练。
多任务图像重建模型通常是通过同一个网络模型来学习残差信号的，但是由于多任务处理残差信号的方式不同，所以训练出来的模型处理图像的效果有待提高。
发明内容
本发明实施例提供一种多任务图像重建方法、装置、设备和介质，以对多任务图像重建模型进行优化，能适应不同任务处理残差信号的需求，改良模型的图像处理能力。
第一方面，本发明实施例提供了一种多任务图像重建方法，包括：
获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
第二方面，本发明实施例还提供了一种多任务图像重建装置，包括：
图像样本训练集构造模块，用于获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
模型训练模块，用于将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
第三方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面实施例所述的一种多任务图像重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一发明实施例任一所述的一种多任务图像重建方法。
本发明实施例通过构造多任务图像重建模型，在模型中设立串联的至少两个残差学习网络分支，同时对分支输出的结果全部纳入到网络的损失函数进行约束，改善了现有技术中，通过同一残差信号对不同的退化模型进行表达的缺陷，通过网络结构适应退化模型的方式，提升复合场景图像重建的效果；并进一步通过低层参数共享的方式减小网络大小，提升网络性能
附图说明
图1A为本发明实施例一提供的一种多任务图像重建方法的流程图；
图1B为本发明实施例一提供的部分训练样本示意图；
图2A为本发明实施例二提供的一种重建模型的结构示意图；
图2B为本发明实施例二提供的一种残差块残差学习结构的结构示意图；
图2C为本发明实施例二提供的残差学习块(ResnetBlock)的结构示意图；
图2D为本发明实施例二提供的一种卷积层残差学习结构的结构示意图；
图2E为本发明实施例二提供的重建模型的源图像数据与两种输出数据的效果图；
图3A为本发明实施例三提供的一种获取图像训练样本集方法的流程图；
图3B为本发明实施例三中使用imwrite函数分别对图片进行压缩比取值为70％，80％，90％和100％时的效果图；
图4为本发明实施例四提供的一种多任务图像重建装置的结构图；
图5为本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种多任务图像重建方法的流程图。该方法可适用于对多任务图像重建模型进行训练，其中的多任务可以是各种图像处理任务，如图像优化、和图像识别等，可选的是图像去噪、图像去块以及图像超分辨率技术的任意组合。该方法主要通过软件和/或硬件方式实现的多任务图像重建模型的训练装置来执行，该装置可集成在能够进行模型训练的电子设备中，例如服务器。
其中，图像识别技术是以图像的主要特征为基础的。每个图像都有它的特征，如字母A有个尖，P有个圈，Y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息,抽出关键的信息。图像去噪是指减少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，受到干扰形成的图像称为含噪图像或噪声图像。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
结合图1A,本实施例具体包括如下步骤：
S110、获取图像训练样本集。
其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同。其中：
图像训练样本指一组图像，包括源图像和与源图像对应的目标图像。图1B为本发明实施例一提供的部分训练样本示意图。参考图1B，一个图像训练样本10包括源图像101和源图像对应的目标图像102，多个源图像11与其对应的多个目标图像12组合构成图像训练样本集。训练元素是指从源图像到目标图像中需要学习的元素，如源图像101到其对应的目标图像102，需要经过去噪处理、去块处理和超分辨率处理，其中去噪处理和去块处理需要学习的数据就是训练元素。至少两种训练元素是指在构造图像训练样本集的时候，源图像要具有噪声、像素块和低分辨率三个特性中至少两个特性。残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。残差蕴含了有关模型基本假设的重要信息。如果回归模型正确的话，我们可以将残差看作误差的观测值。它应符合模型的假设条件，且具有误差的一些性质。利用残差所提供的信息，来考察模型假设的合理性及数据的可靠性称为残差分析。残差数据是对源图像进行计算处理后得到的特征值。可选的，至少两种训练元素的残差数据与源图像数据的叠加方式包括两种，一种叠加方式为线性相减，另一种叠加方式为线性相加，两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。残差数据与源图像数据的叠加方式可以包括线性相加和线性相减：线性相加针对于像素块和需要超分辨率的情况，在这两种情况下，网络学习到的残差数据恰好是低分辨率图像缺失的图像细节，需要加到源图像中；线性相减针对于存在噪声的情况，网络学习到的残差数据可以直接作为噪声信号从源图像中减去。可见：采用线性相减叠加方式的训练元素包括去除噪声，采用线性相加叠加方式的训练元素包括去除块和超分辨率处理。
具体的，获取图像的训练样本集，该样本集中包含大量训练样本，每个训练样本包含源图像和对应的目标图像，每个源图像包括噪声、像素块和低分辨率三个特性中至少两个特性。经过处理获得源图像的残差数据，通过残差数据与源图像的线性相加或线性相减获得目标图像。
S120、将所述图像训练样本集输入多任务图像重建模型，以进行模型训练。
其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
残差学习网络是指可以获得残差数据的学习网络。串联的至少两个残差学习网络分支表示两个以上的残差学习网络分支独立对各自输入的数据进行处理，独立获得残差数据，一个残差学习网络获得一个残差数据，多个残差学习网络获得多个残差数据。每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同是指残差学习网络分支自行分辨采用线性相加还是线性相减的叠加方式。损失函数是衡量重建模型效果的函数，损失函数越小表示重建模型的效果越好。损失函数包括分别与各残差学习网络输出结果对应的子函数表示损失函数不仅考虑了目标图像的误差，还考虑了求和残差学习图像数据与求差残差学习图像数据的误差，是一种多节点约束的方式。
具体的，将所述图像训练样本集输入多任务图像重建模型，图像训练样本中得源图像经过两个串行的残差学习网络会获得两个残差数据，两个残差学习网络会根据目标图像，对残差数据先进行线性相减，然后进行线性相加。同时设置最小化损失函数的机制来规范重建模型，损失函数包括：目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差，通过三种误差约束损失函数，实现了对损失函数的多节点约束。
本发明实施例通过构造多任务图像重建模型，在模型中设立串联的至少两个残差学习网络分支，同时对分支输出的结果全部纳入到网络的损失函数进行约束，改善了现有技术中，通过同一残差信号对不同的退化模型进行表达的缺陷，通过网络结构适应退化模型的方式，提升复合场景图像重建的效果；并进一步通过低层参数共享的方式减小网络大小，提升网络性能。
实施例二
图2A为本发明实施例二提供的一种重建模型的结构示意图。本实施例是在实施例一的基础上进行的细化，主要描述了重建模型的构造以及如何使用损失函数修正重建模型。具体的：
所述重建模型包括：
第一卷积层，用于对源图像数据进行卷积处理并输出第一卷积数据；
求差残差学习网络分支，包括相连的残差学习网络与求差计算元件，所述残差学习网络的输入端与第一卷积层的一个输出端相连，用于对第一卷积数据进行残差学习处理，输出第一残差数据；所述求差计算元件还与第一卷积层相连，用于将第一卷积数据和第一残差数据进行求差处理，以输出求差处理数据；
求和残差学习网络分支，包括相连的残差学习网络与求和计算元件，所述残差学习网络的输入端与求差计算元件的输出端相连，用于对求差处理数据进行残差学习处理，输出第二残差数据；所述求和计算元件还与第一卷积层相连，用于将第一卷积数据和第二残差数据进行求和处理，以输出求和处理数据；
两个第二卷积层，分别与求和计算元件和求差计算元件的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据与求差残差学习图像数据。
所述残差学习网络包括：
串联的多个残差学习层或串联的多个卷积层，其中，所述残差学习层包括串联的卷积层、激活函数层和卷积层。
所述损失函数如下：
其中，m,n分别表示图像像素的行数和列数；YHR表示目标图像；
表示求和残差学习图像数据；
表示求差残差学习图像数据；λ1表示正则化参数。
以下通过举例进行说明，参考图2A，本实施例的重建模型包括：
第一卷积层(Conv)21，第一卷积层21用于对源图像数据X进行卷积处理并输出第一卷积数据x1。
其中，第一卷积层可以为3×3卷积。
具体的，源图像数据X通过第一卷积层21进行3×3的卷积计算，计算后输出第一卷积数据x1作为计算结果，第一卷积数据x1会在复制后形成三个第一卷积数据x1，为后续计算做准备。
求差残差学习网络分支(DenoiseNet)22，包括相连的残差学习网络(Net1)221与求差计算元件222，所述残差学习网络221的输入端与第一卷积层21的一个输出端相连，用于对第一卷积数据x1进行残差学习处理，输出第一残差数据
所述求差计算元件222还与第一卷积层21相连，用于将第一卷积数据x1和第一残差数据
进行求差处理，以输出求差处理数据x2；该求差处理数据
其中，所述残差学习网络包括：串联的多个残差学习层或串联的多个卷积层，其中，所述残差学习层包括串联的卷积层、激活函数层和卷积层。其中：
图2B为本发明实施例二提供的一种残差块残差学习结构的结构示意图，图2C为本发明实施例二提供的残差学习块(ResnetBlock)的结构示意图。参考图2B。输入数据与经过多个(1-m个)残差学习块(ResnetBlock)计算的数据进行线性相加处理，获得输出数据。图2B中的残差学习块(ResnetBlock)如图2C所示,依次包括卷积层(conv)、激活函数(relu)和卷积层(conv)。图2D为本发明实施例二提供的一种卷积层残差学习结构的结构示意图，参考图2D，输入数据与经过多个(1-m个)卷积层(conv)计算的数据进行线性相加处理，获得输出数据。残差学习网络231可任意选择残差块残差学习结构或者卷积层残差学习结构。
具体的，经过第一卷积层21卷积计算后输出的第一卷积数据被求差残差学习网络分支22中的残差学习网络221接收，进行残差学习处理，输出第一残差数据
所述第一残差数据
与第一卷积层21输出的第一卷积数据x1共同输入到求差计算元件222中进行线性求差处理，并输出求差处理数据
求和残差学习网络分支(SRNet)23，包括相连的残差学习网络231与求和计算元件232，所述残差学习网络的输入端与求差计算元件222的输出端相连，用于对求差处理数据
进行残差学习处理，输出第二残差数据
所述求和计算元件232还与第一卷积层21相连，用于将第一卷积数据x1和第二残差数据
进行求和处理，以输出求和处理数据
其中，残差学习网络211可任意选择残差块残差学习结构或者卷积层残差学习结构，输出的第二残差数据
与第一残差数据
相互独立。
具体的，经过求差残差学习网络分支22卷积计算后输出的求差处理数据
被求和残差学习网络分支23的残差学习网络231接收，进行残差学习处理，输出第二残差数据
所述第二残差数据
与第一卷积层21输出的第一卷积数据x1共同输入到求和计算元件232中进行线性求差处理，并输出求和处理数据
两个第二卷积层24，分别与求和计算元件232和求差计算元件222的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据
与求差残差学习图像数据
其中，卷积层241与求和计算元件232相连，接收求和处理数据
并对其进行卷及计算，输出求和残差学习图像数据
卷积层242与求差计算元件222相连，接收求差处理数据
通过卷积计算输出求差残差学习图像数据
图2E为本发明实施例二提供的重建模型的源图像数据与两种输出数据的效果图。参考图2E，对本实施例做具体说明：
源图像数据X 251输入到重建模型252，源图像数据X通过第一卷积层进行3×3的卷积计算，计算后输出第一卷积数据x1作为计算结果。该结果被复制形成三份一样的第一卷积数据x1。一份第一卷积数据x1经过求差残差学习网络分支与第一卷积数据x1进行线性相减处理，线性相减处理的结果经过第二卷积层，输出去噪后的求差残差学习图像数据253
求差处理数据x2经求和残差学习网络分支与第一卷积数据x1进行线性相加处理，线性相加处理的结果经过第二卷积层，输出消除像素块超分辨率图像的求和残差学习图像数据254
其中求和残差学习图像数据254
是模型的输出结果，求差残差学习图像数据253
用于规范和修正模型数据，一般不作为输出结果进行展示。
所述重建模型的损失函数如下：
其中，m,n分别表示图像像素的行数和列数；YHR表示目标图像；
表示求和残差学习图像数据；
表示求差残差学习图像数据；λ1表示正则化参数。训练所述损失函数采用L1范数正则化的方式。L1范数正则化(L1 regularization)是机器学习(machine learning)中重要的手段，在支持向量机(support vector machine)学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化(sparsity)，从而方便人们提取特征。
具体的：
表示拼接学习图像数据中每个像素点与目标图像数据中对应像素点的差距；
表述求和残差学习图像数据中每个像素点与目标图像数据中对应像素点的差距，由于求和残差学习图像数据不作为输出展示的数据，因此通过第一正则化参数(0.1-1，优选0.5)λ1来设置权重。
通过图像训练样本集结合BP(Back propagation，反向传播)算法，更新所述模型中的参数，进而最小化所述损失函数。其中，BP是一种与最优化方法(如梯度下降法)结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
本发明实施例通过构造多任务图像重建模型，在模型中设立残差学习网络分支，对源图像需要去噪、压缩去块或者需要超分辨率进行分别学习；同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束，使得最后输出的目标图像具有更好的呈现效果。
实施例三
图3A为本发明实施例三提供的一种获取图像训练样本集方法的流程图。本实施例是在上述实施例的基础上进行的细化，主要描述了如何为重建模型制造样本集，使得对重建模型进行有针对性的训练。具体的，获取图像训练样本集包括：
S310、获得高分辨率图像数据集。
其中，图像分辨率则是单位英寸中所包含的像素点数。高分辨率是指是指垂直分辨率大于等于720的图像或视频，也称为高清图像或高清视频，尺寸一般是1280×720和1920×1080。本实施例中对“高分辨”的具体尺寸不做限制，只要符合预设标准即可。由于高分辨率图像用于作为重建模型的训练目标，所以也叫“目标图像”。高分辨率图像数据集是指将符合预设标准的分辨率图像的集合。
具体的，获取符合预设标准的图像，将这些图像构成图像数据集。
S320、将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，以获得第一低分辨率图像数据集。
其中，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样。通常采样指的是下采样，也就是对信号的抽取。其实，上采样和下采样都是对数字信号进行重采，重采的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较，大于原信号的称为上采样，小于的则称为下采样。上采样就是采集模拟信号的样本。采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。所以采样又称为波形的离散化过程。普通的奈奎斯特采样定理的前提是频率受限于(0，f)的带限信号。上采样的实质也就是内插或插值。上采样是下采样的逆过程，也称增取样(Upsampling)或内插(Interpolating)。增取样在频分多路复用中的应用是一个很好的例子。如果这些序列原先是以奈奎斯特频率对连续时间信号取样得到的，那么在进行频分多路利用之前必须对它们进行上采样。
具体的，将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，这样的处理方式保证了图像分辨率的一致。将经过下采样又经过上采样的高分辨率图像数据集中图片，命名为第一低分辨率图像数据集。
S330、对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理，以获得第二压缩图像数据集。
其中，图像压缩可以是有损数据压缩也可以是无损数据压缩。对于如绘制的技术图、图表或者漫画优先使用无损压缩，这是因为有损压缩方法，尤其是在低的位速条件下将会带来压缩失真。可以使用MATLAB软件中的imwrite函数对图像进行压缩处理。imwrite(image,filesavepath,'Quality',m)，其中，m取值7,8,9,10分别表示压缩比为70％，80％，90％，100％。图3B为本发明实施例三中使用imwrite函数分别对图片进行压缩比取值为70％，80％，90％和100％时的效果图。参考图3B，原图像300经过imwrite函数100％压缩后的效果图为301；经过imwrite函数90％压缩后的效果图为302；经过imwrite函数80％压缩后的效果图为303；经过imwrite函数70％压缩后的效果图为304。
具体的，为了保证重建模型学***均分成五份，将其中的四份分别通过imwrite函数执行70％、80％、90％、100％压缩。将压缩过后的数据子集与未被挑选的20％图像混合，构成以获得第二压缩图像数据。
S340、从第二压缩图像数据集中挑选部分图像进行添加噪声处理，以形成第三噪声图像数据集。
其中，图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。噪声的存在严重影响了遥感图像的质量，因此在图像增强处理和分类处理之前，必须予以纠正。图像中各种妨碍人们对其信息接受的因素即可称为图像噪声。噪声在理论上可以定义为“不可预测，只能用概率统计方法来认识的随机误差”。因此将图像噪声看成是多维随机过程是合适的，因而描述噪声的方法完全可以借用随机过程的描述，即用其概率分布函数和概率密度分布函数。高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。常见的高斯噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等等。除常用抑制噪声的方法外，对高斯噪声的抑制方法常常采用数理统计方法。
具体的，为了保证重建模型学习元素的多样性，从第二压缩图像数据集中随机抽取80％的图像添加方差取值1-50的高斯噪声，将20％未添加噪声的图像与添加噪声的图像混合，构成第三噪声图像数据集。
S350、将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行裁剪，得到一一对应的基于图像块的图像训练样本集。
其中，在实际工作中，经常需要根据研究工作范围对图像进行分幅裁剪(SubsetImage)，按照ERDAS实际图像分幅裁剪的过程，可以将图像分幅裁剪分为两种类型：规则分幅裁剪(Rectangle Subset)，不规则分幅裁剪(Pdygon Subset)。第三噪声图像数据的图像块作为源图像，高分辨率图像数据的图像块作为目标图像。
具体的，经过采样、压缩和添加噪声构成的第三噪声图像数据集中的图像个数和高分辨率图像数据集一一对应(像素层面)，分别对这些一一对应的图像进行裁剪处理，裁剪后的图像块依旧一一对应。即源图像的图像块有与其一一对应的目标图形的图像块。所有的源图像均要进行与高分辨率图像一样的图像块裁剪，即裁剪后的第三噪声图像数据集包含：部分只有低分辨率退化的元素；部分有低分辨率退化和压缩退化的元素；部分包含低分辨率退化、压缩退化和噪声退化的元素。
本发明实施例通过构造多任务图像重建模型的图像训练样本集，在构造训练集的过程中，先后对图像进行下采样、上采样、压缩、加噪和裁剪处理，使得每个图像训练样本的源图像包括至少两种训练元素，提高重建模型训练样本的多样性。同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束，使得最后输出的目标图像具有更好的呈现效果。
实施例四
图4为本发明实施例四提供的一种多任务图像重建装置的结构图。该装置包括：图像样本训练集构造模块41和模型训练模块42。其中：
图像样本训练集构造模块41，用于获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
模型训练模块42，用于将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
本发明通过构造多任务图像重建模型，在模型中设立残差学习网络分支，对源图像需要去噪、压缩去块或者需要超分辨率进行分别学习；同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束，使得最后输出的目标图像具有更好的呈现效果。
在上述实施例的基础上，模型训练模块42还包括：
叠加单元，所述叠加单元包括两种方式，一种叠加方式为线性相减，另一种叠加方式为线性相加，两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。
在上述实施例的基础上，叠加单元采用线性相减叠加方式的训练元素包括去除噪声，采用线性相加叠加方式的训练元素包括去除块和超分辨率处理。
在上述实施例的基础上，模型训练模块42还包括重建模型单元，所述重建模型单元包括：
第一卷积层，用于对源图像数据进行卷积处理并输出第一卷积数据；
求差残差学习网络分支，包括相连的残差学习网络与求差计算元件，所述残差学习网络的输入端与第一卷积层的一个输出端相连，用于对第一卷积数据进行残差学习处理，输出第一残差数据；所述求差计算元件还与第一卷积层相连，用于将第一卷积数据和第一残差数据进行求差处理，以输出求差处理数据；
求和残差学习网络分支，包括相连的残差学习网络与求和计算元件，所述残差学习网络的输入端与求差计算元件的输出端相连，用于对求差处理数据进行残差学习处理，输出第二残差数据；所述求和计算元件还与第一卷积层相连，用于将第一卷积数据和第二残差数据进行求和处理，以输出求和处理数据；
两个第二卷积层，分别与求和计算元件和求差计算元件的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据与求差残差学习图像数据。
在上述实施例的基础上，还包括损失函数模块，所述损失函数模块构造如下：
其中，m,n分别表示图像像素的行数和列数；YHR表示目标图像；
表示求和残差学习图像数据；
表示求差残差学习图像数据；λ1表示正则化参数。
在上述实施例的基础上，重建模型单元还包括样本集获取子单元，所述子单元包括：
获得高分辨率图像数据集；
将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，以获得第一低分辨率图像数据集；
对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理，以获得第二压缩图像数据集；
从第二压缩图像数据集中挑选部分图像进行添加噪声处理，以形成第三噪声图像数据集；
将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行裁剪，得到一一对应的基于图像块的图像训练样本集，其中，第三噪声图像数据的图像块作为源图像，高分辨率图像数据的图像块作为目标图像。
在上述实施例的基础上，重建模型单元还包括残差学习网络子单元，所述子单元包括：
串联的多个残差学习层或串联的多个卷积层，其中，所述残差学习层包括串联的卷积层、激活函数层和卷积层。
本实施例提供的一种多任务图像重建装置可用于执行上述任一实施例提供的一种多任务图像重建方法，具有相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。如图5所示，该设备包括处理器50、存储器51、通信模块52、输入装置53和输出装置54；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储器51、通信模块52、输入装置53和输出装置54可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种多任务图像重建方法对应的模块(例如，一种多任务图像重建装置中的图像样本训练集构造模块41和模型训练模块42)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种多任务图像重建方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块52，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置53可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种设备，可执行本发明任一实施例提供的一种多任务图像重建方法，具体相应的功能和有益效果。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多任务图像重建方法，该方法包括：
获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括并行的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任一实施例所提供的一种多任务图像重建方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种多任务图像重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种多任务图像重建方法，其特征在于，包括：
获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；所述叠加方式为线性叠加；
将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
2.根据权利要求1所述的方法，其特征在于，至少两种训练元素的残差数据与源图像数据的叠加方式包括两种，一种叠加方式为线性相减，另一种叠加方式为线性相加，两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。
3.根据权利要求2所述的方法，其特征在于，采用线性相减叠加方式的训练元素包括去除噪声，采用线性相加叠加方式的训练元素包括去除块和超分辨率处理。
4.根据权利要求2或3所述的方法，其特征在于，所述重建模型包括：
第一卷积层，用于对源图像数据进行卷积处理并输出第一卷积数据；
求差残差学习网络分支，包括相连的残差学习网络与求差计算元件，所述残差学习网络的输入端与第一卷积层的一个输出端相连，用于对第一卷积数据进行残差学习处理，输出第一残差数据；所述求差计算元件还与第一卷积层相连，用于将第一卷积数据和第一残差数据进行求差处理，以输出求差处理数据；
求和残差学习网络分支，包括相连的残差学习网络与求和计算元件，所述残差学习网络的输入端与求差计算元件的输出端相连，用于对求差处理数据进行残差学习处理，输出第二残差数据；所述求和计算元件还与第一卷积层相连，用于将第一卷积数据和第二残差数据进行求和处理，以输出求和处理数据；
两个第二卷积层，分别与求和计算元件和求差计算元件的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据与求差残差学习图像数据。
5.根据权利要求4所述的方法，其特征在于，所述损失函数如下：
其中，m,n分别表示图像像素的行数和列数；YHR表示目标图像；
表示求和残差学习图像数据；
表示求差残差学习图像数据；λ1表示正则化参数。
6.根据权利要求4所述的方法，其特征在于，获取图像训练样本集包括：
获得高分辨率图像数据集；
将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，以获得第一低分辨率图像数据集；
对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理，以获得第二压缩图像数据集；
从第二压缩图像数据集中挑选部分图像进行添加噪声处理，以形成第三噪声图像数据集；
将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行裁剪，得到一一对应的基于图像块的图像训练样本集，其中，第三噪声图像数据的图像块作为源图像，高分辨率图像数据的图像块作为目标图像。
7.根据权利要求4所述的方法，其特征在于，所述残差学习网络包括：
串联的多个残差学习层或串联的多个卷积层，其中，所述残差学习层包括串联的卷积层、激活函数层和卷积层。
8.一种多任务图像重建装置，其特征在于，包括：
图像样本训练集构造模块，用于获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；所述叠加方式为线性叠加；
模型训练模块，用于将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
9.一种设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的一种多任务图像重建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的一种多任务图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810935374.0A CN109146813B (zh) | 2018-08-16 | 2018-08-16 | 一种多任务图像重建方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810935374.0A CN109146813B (zh) | 2018-08-16 | 2018-08-16 | 一种多任务图像重建方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109146813A CN109146813A (zh) | 2019-01-04 |
| CN109146813B true CN109146813B (zh) | 2022-03-11 |
Family
ID=64789728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810935374.0A Active CN109146813B (zh) | 2018-08-16 | 2018-08-16 | 一种多任务图像重建方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146813B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060216A (zh) * | 2019-04-17 | 2019-07-26 | 广东工业大学 | 一种基于生成对抗网络的图像修复方法、装置以及设备 |
| CN110060313B (zh) * | 2019-04-19 | 2023-12-19 | 上海联影医疗科技股份有限公司 | 一种图像伪影校正方法和*** |
| CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建*** |
| CN111062886A (zh) * | 2019-12-10 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 酒店图片的超分辨方法、***、电子产品和介质 |
| CN113222835B (zh) * | 2021-04-22 | 2023-04-14 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| CN115115900A (zh) * | 2022-05-10 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图像重建模型的训练方法、装置、设备、介质及程序产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615290A (zh) * | 2009-07-29 | 2009-12-30 | 西安交通大学 | 一种基于典型相关分析的人脸图像超分辨率重建方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017104343A (ja) * | 2015-12-10 | 2017-06-15 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2018
- 2018-08-16 CN CN201810935374.0A patent/CN109146813B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615290A (zh) * | 2009-07-29 | 2009-12-30 | 西安交通大学 | 一种基于典型相关分析的人脸图像超分辨率重建方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于H.264的运动估计与帧间模式选择算法研究;张旭光;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315;第1-51页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109146813A (zh) | 2019-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146813B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
| CN109191411B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
| CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
| CN111861884B (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN113222825B (zh) | 基于可见光图像训练的红外图像超分辨率重构方法及应用 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN102332153A (zh) | 基于核回归的图像压缩感知重构方法 | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理*** | |
| CN114494022B (zh) | 模型训练方法、超分辨率重建方法、装置、设备及介质 | |
| CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN112907448A (zh) | 一种任意比率图像超分辨率方法、***、设备及存储介质 | |
| CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
| CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
| CN109242919A (zh) | 一种图像下采样方法 | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN112150360A (zh) | 一种基于稠密残差网络的ivus图像超分辨率重建方法 | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |