CN113256519A - 图像的恢复方法、设备、存储介质及程序产品 - Google Patents
图像的恢复方法、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN113256519A CN113256519A CN202110552715.8A CN202110552715A CN113256519A CN 113256519 A CN113256519 A CN 113256519A CN 202110552715 A CN202110552715 A CN 202110552715A CN 113256519 A CN113256519 A CN 113256519A
- Authority
- CN
- China
- Prior art keywords
- target variable
- image
- image data
- model
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 151
- 238000011084 recovery Methods 0.000 claims abstract description 114
- 238000013507 mapping Methods 0.000 claims abstract description 76
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005094 computer simulation Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 abstract description 39
- 230000008569 process Effects 0.000 description 39
- 238000013528 artificial neural network Methods 0.000 description 19
- 238000013135 deep learning Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013178 mathematical model Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像的恢复方法、设备、存储介质及程序产品，通过获取待恢复的图像数据以及初始化的目标变量，初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；将图像数据及初始化的目标变量输入预先训练的图像恢复模型，通过图像恢复模型多个三算子***算法TOS网络层依次对目标变量迭代更新，得到最终的目标变量；将最终的目标变量输入图像恢复模型的非线性映射网络层，生成最终恢复的图像数据并输出。本发明的图像恢复模型是基于三算子***算法的深度展开网络结构的可解释性的网络模型，该结构结合了传统模型优化的图像恢复方法和启发式深度学习的图像恢复方法两者的优势，可以提高图像恢复质量，提高鲁棒性。
Description
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种图像的恢复方法、设备、存储介质及程序产品。
背景技术
在图像恢复领域具体包括图像去噪、图像去模糊、图像超分辨率重建和图像压缩感知等经典问题。
现有技术中解决图像恢复领域的问题的技术主要可以分成三类：基于传统模型优化的图像恢复方法、基于启发式深度学习的图像恢复方法和基于优化算法模型驱动的可解释的深度学习的图像恢复方法。然而现有技术中的方法恢复的图像质量不高、鲁棒性也不高。
发明内容
本发明实施例提供一种图像的恢复方法、设备、存储介质及程序产品，用以提高图像恢复质量，且提高鲁棒性。
第一方面，本发明实施例提供一种图像的恢复方法，包括：
获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；
将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；
将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。
第二方面，本发明实施例提供一种图像的恢复设备，包括：
获取模块，用于获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；
三算子***算法网络模块，用于将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；
非线性映射网络模块，用于将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。
第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器；以及存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的方法。
第五方面，本发明实施例提供一种种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面所述的方法。
本发明实施例提供的图像的恢复方法、设备、存储介质及程序产品，通过获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。本发明实施例提供的图像恢复模型是基于三算子***算法的深度展开网络结构的可解释性的网络模型，该结构结合了传统模型优化的图像恢复方法和启发式深度学习的图像恢复方法两者的优势，可以提高图像恢复质量，提高鲁棒性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本发明一实施例提供的图像的恢复方法的应用场景示意图；
图2为本发明一实施例提供的图像的恢复方法流程图；
图3为本发明一实施例提供的TOS-Net模型的网络结构图；
图4为本发明另一实施例提供的图像的恢复方法流程图；
图5为本发明另一实施例提供的图像的恢复方法流程图；
图6为本发明一实施例提供的范数的可视化示意图；
图7为本发明一实施例提供的TOS-IDBlock网络结构和数据流通过程示意图；
图8为本发明一实施例提供的深度去噪网络模型Hdip的网络结构图；
图9为本发明一实施例提供的TOS-IDBlock网络结构和数据流通过程示意图；
图10为本发明一实施例提供的图像的恢复设备的结构示意图
图11为本发明一实施例提供的电子设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在图像恢复领域具体包括图像去噪、图像去模糊、图像超分辨率重建和图像压缩感知等经典问题。
现有技术中解决图像恢复领域的问题的技术主要可以分成三类：基于传统模型优化的图像恢复方法、基于启发式深度学习的图像恢复方法和基于优化算法模型驱动的可解释的深度学习的图像恢复方法。
基于传统模型优化的图像恢复方法主要是基于贝叶斯定理的最大后验概率估计(MAP)来建立相应的数学模型，并基于图像恢复的专业领域知识设计复杂的图像先验约束或正则项，利用这些图像先验约束和正则项来刻画图像恢复的特征。通常lp范数、全变分(TV:total variation)范数等一系列的正则项被用来对图像的特定转换域进行稀疏约束，同时保留图像的边缘信息等。建立好图像恢复的数学模型后，基于传统优化模型的图像恢复方法会根据模型特点设计不同的优化方法来求解收敛的最优解，即所需恢复的高质量图像。交替方向乘子法(ADMM)、投影梯度算法(ISTA)、和算子***算法(TOS)等经典优化算法常用来优化求解带约束项的图像恢复模型。
基于启发式深度学习的图像恢复方法主要是基于经验来启发式设计深度神经网络模型，通过大量已标注好的成对数据集进行端到端的训练，让所设计的深度神经网络模型来学习一个映射，该映射可以将低质量/受损坏图像恢复成高质量图像。此类方法主要关注点在于网络结构和损失函数的设计。基于启发式深度学习方法目前有一系列经典的网络结构，卷积神经网络(CNN)、循环神经网络(RNN)等经典结构和其变形被用来以不同的角度来提取图像不同程度的特征，ResNet、UNet、ResUNet等经典网络都是目前常见的图像恢复神经网络结构。部分可微的图像先验约束和正则项会被添加到神经网络的损失函数中，在深度神经网络的输出结果起约束作用。
基于模型驱动深度学习的图像恢复方法主要可以分成基于神经网络展开的方法和深度神经网络嵌入的方法。基于神经网络展开的方法引入可学习的潜在图像先验，将图像恢复的数学模型的优化迭代过程设计成神经网络结构的图计算过程，神经网络结构的每一层结构相当于优化过程的每一次迭代，并用端到端的训练来该网络以学习到低质量/受损坏图像到高质量图像的映射，其网络结构的构造解释性更强，每一层的作用也更加清晰。另外一类基于模型驱动深度学习的图像恢复方法是深度神经网络嵌入的方法，这类方法则在将基于特定任务预训练好的深度神经网络***到基于传统模型优化的图像恢复方法的迭代优化过程中，替换其迭代优化过程的子步骤。总的来说，基于模型驱动深度学习的图像恢复方法结合了基于传统模型优化的图像恢复方法和基于启发式深度学习的图像恢复方法的优点，将基于专业领域知识设计图像先验嵌入到神经网络的前向传播过程，从而设计的网络结构具有更好的可解释性以及鲁棒性，能够更加深层次的挖掘出图像恢复问题的隐藏信息，在训练数据和领域知识共同驱动下可以恢复出更高质量的图像。
然而现有技术的解决图像恢复领域的问题的技术存在如下缺点：
1)基于传统模型优化的图像恢复方法是基于贝叶斯定理的最大后验概率估计(MAP)来建立相应的数学模型，并基于图像恢复的专业领域知识设计复杂的图像先验约束或正则项，利用这些图像先验约束和正则项来刻画图像恢复的特征。基于传统模型优化的图像恢复方法的缺点是:构造图像先验正则项需要具备很强的数学技巧和对图像恢复问题的抽象理解，并且在优化求解传统模型的过程中，需要解决一些正则项不可微分等难题，而且此类方法的优化求解过程通常是耗时的。
2)基于启发式深度学习的图像恢复方法主要是基于经验来启发式设计深度神经网络模型，通过大量已标注好的成对数据集进行端到端的训练，让所设计的深度神经网络模型来学习可以将低质量/受损坏图像恢复成高质量图像映射。基于启发式深度学习的图像恢复方法的缺点是：严重依赖大量已标注的训练数据集，若训练数据量不足则训练的神经网络模型的效果很好。针对特定图像恢复问题设计的神经网络结构的泛化性较差，迁移到其他的图像恢复问题的效果通常不好。神经网络结构的设计通常是基于启发式的黑盒网络结构，缺乏可解释性。
3)基于模型驱动深度学习的图像恢复方法引入可学习的潜在图像先验，将图像恢复的数学模型的优化迭代过程设计成神经网络结构的向前推理的计算过程；或将基于特定任务预训练好的深度神经网络***到基于传统模型优化的图像恢复方法的迭代优化过程中，替换其迭代优化过程的子步骤。通常来讲，模型包含的图像先验或正则项越多，其所包含的图像先验信息就更丰富，恢复的图像质量就越好，然而基于模型驱动深度学习的图像恢复方法的缺点是所选取的模型通常只考虑单个图像先验或正则项，很少考虑同时包含两个图像先验或正则项的图像恢复模型，导致其展开的深度神经网络的结构无法同时处理两个图像先验信息，因此其恢复的图像效果通常是次优的。另外，此类方法所采用的是可学习性的潜在图像先验，忽略了现有经典的手工设计图像先验。
针对上述技术问题，为了提高图像恢复质量，且提高鲁棒性，本发明实施例提供一种图像的恢复方法，基于预先训练的图像恢复模型，所述图像恢复模型包括多个三算子***算法TOS网络层(TOS-Block)以及非线性映射网络层，通过获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。通过本发明实施例提供的图像恢复模型是基于三算子***算法的深度展开网络结构的可解释性的网络模型，该结构结合了传统模型优化的图像恢复方法和启发式深度学习的图像恢复方法两者的优势，该结构的学习过程由领域知识和数据共同驱动，图像恢复模型可以提高图像恢复质量，且提高鲁棒性。
如图1所示，本发明实施例提供的图像的恢复方法，适用于服务器、终端设备等电子设备101(图中仅以服务器作为示例)中，其中终端设备包括但不限于手机、平板电脑、笔记本电脑、台式计算机、个人数字助理、智能穿戴设备、智能家居设备等，服务器包括但不限于独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等。在本发明实施例中，电子设备101可从其他的电子设备102如手机、平板电脑、相机、服务器等获取待恢复的图像数据，或者也可从电子设备101的存储单元中获取待恢复的图像数据，基于预先训练的图像恢复模型，通过获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；将图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。其中图像恢复模型可以在电子设备101上预先进行训练，也可在其他设备上预先训练后再部署到电子设备101上，其中模型训练过程可采用常规的训练方法，此处不做限定。
下面对本发明实施例所涉及的一些名词进行解释：
图像先验信息/正则项/约束项：图像先验信息指的人们对自然图像的经验总结得到的先验知识信息，比如图像通常可以表示成W*H*C的矩阵，且每个像素点在8bit下的取值范围是0-255。正则项：为了表面模型过拟合而引入对参数的控制。约束项：指的是图像需满足局部平滑约束，图像中的图像块(patch)满足自相似等等。
算子：在算子数学概念的基础上，将函数空间的映射对应为算子功能，问题求解过程中建立的计算机模型，通过问题分解和功能封装，实现模型解构，由此形成的模型单元，称之为算子。
近端映射函数：当目标函数包含不可微分的函数
则通过近端映射函数找到一个z，z使得能够使得不可微分的函数
尽可能的小且接近原不可微点x，具体公式如下。
损失函数：用来评价模型的预测值和真实值不一样的程度，损失函数越好，模型的性能就越好。损失函数可以分为经验风险损失函数和结构风险损失函数。经验风险损失函数指的是预测结构和真实结构的差别，结构风险损失函数指的是经验风险损失函数加上正则项。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的图像的恢复方法流程图。本实施例提供了一种图像的恢复方法，其执行主体为服务器、智能手机、笔记本电脑、台式计算机、可穿戴设备等电子设备，本实施例的图像的恢复方法可应用于图像去噪、图像去模糊、图像超分辨率重建或图像压缩感知应用场景中，可根据具体应用场景对应模型构建相应的图像恢复模型，该图像的恢复方法具体步骤如下：
S201、获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子。
在本实施例中，待恢复图像数据y可通过任意途径获得，此处不做限制；而初始化的目标变量可随机生成，目标变量为与图像数据维度(像素)相同的拉格朗日乘子，其中，拉格朗日乘子是基于拉格朗日乘子法的变量参数，基本的拉格朗日乘子法就是求函数f(x1,x2,...)在g(x1,x2,...)＝0的约束条件下的极值的方法，其主要思想是引入一个新的参数(即拉格朗日乘子)，将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。
S202、将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量。
在本实施例中，图像恢复模型是基于三算子***算法(Three OperatorSplitting algorithm，TOS)所设计的深度展开网络，命名为TOS-Net，其中TOS算法是最优化领域的一个算法(参考文献：DAVIS,Damek；YIN,Wotao.A three-operator splittingscheme and its optimization applications.Set-valued and variational analysis,2017,25.4:829-858.)。首先本实施例中将图像恢复问题建模为如下的优化问题：
其中f(·)表示图像的保真损失，g(·)和h(·)表示的是图像的两种不同的先验信息。针对上述的图像恢复问题，设计了一种基于模型驱动深度学习的、具有可解释性的网络结构模型，称之为TOS-Net，如图3所示，该网络由n个TOS网络层(TOS-Block)和1个可学习的非线性映射网络层Γg组成。TOS网络层可依次对目标变量进行迭代更新，得到最终的目标变量，通过n词迭代，可由初始化的z0得到n次迭代更新后的目标变量zn，zk-1再输入到非线性映射网络层Γg进行非线性映射，生成最终恢复的图像数据。
其中，具体的，如图4所示，在S202所述通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新时，具体可包括：
S301、对于任一TOS网络层，输入所述待恢复的图像数据以及待更新目标变量；其中对于第一个TOS网络层，待更新目标变量为所述初始化的目标变量，对于其他TOS网络层，待更新目标变量为上一个TOS网络层输出的目标变量；
S302、根据所述待恢复的图像数据以及待更新目标变量，在预设双重正则项约束下对所述待更新目标变量进行优化，得到满足预设双重正则项约束的目标变量；
S303、将满足预设双重正则项约束的目标变量确定为更新后的目标变量，并输出更新后的目标变量。
在本实施例中，将待恢复图像数据y以及初始化的目标变量z0输入到TOS-Net，具体的，先将图像数据y以及初始化的目标变量z0输入到第一个TOS-Block，对目标变量进行更新，得到满足预设双重正则项约束的更新后的目标变量z1，在将待恢复图像数据y以及更新后的目标变量z1输入到第二个TOS-Block，对继续目标变量进行更新，得到满足预设双重正则项约束的更新后的目标变量z2，以此类推，第k个TOS-Block会将上一次更新的乘子zk-1和待恢复图像数据y作为输入，并输出满足预设双重正则项约束的更新后的目标变量zk，直至第n个TOS-Block输出满足预设双重正则项约束的更新后的目标变量zn，作为最终的目标变量输出给非线性映射网络层Γg。其中对于不同的应用场景可以根据实际需求采用相应的双重正则项约束(例如图像先验信息等)，此处可不做限制，而TOS-Block可根据不同的双重正则约束设计相应的网络结构。
S203、将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。
在本实施例中，将最终的目标变量zn输入非线性映射网络层Γg，通过预先学习过的非线性映射网络层Γg对目标变量zn进行非线性映射，可生成最终恢复的图像数据。
本实施例提供的图像的恢复方法，通过获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。本发明实施例提供的图像恢复模型是基于三算子***算法的深度展开网络结构的可解释性的网络模型，该结构结合了传统模型优化的图像恢复方法和启发式深度学习的图像恢复方法两者的优势，可以提高图像恢复质量，提高鲁棒性。
在上述实施例的基础上，可选的，TOS-Block由可学习的第一非线性映射子网络层Γg、保真子网络层F、可学习的第二非线性映射子网络层Γh和变量更新子网络层M构成。可学习的非线性映射模块Γg和Γh会根据不同的图像先验所对应的近端映射函数设计其网络结构。
如图5所示，上述实施例中S302所述的根据所述待恢复的图像数据以及待更新目标变量，在预设双重正则项约束下对所述待更新目标变量进行优化，得到满足预设双重正则项约束的目标变量，具体可包括：
S401、通过第一非线性映射子网络层Γg，根据待更新目标变量生成满足第一预设正则项的第一图像数据；
S402、通过保真子网络层F，根据所述待更新目标变量、所述待恢复的图像数据、以及所述第一图像数据，对所述待更新目标变量进行更新，得到中间目标变量；
S403、通过第二非线性映射子网络层Γh，根据所述中间目标变量生成满足第二预设图像先验信息或第二预设正则项的第二图像数据；
S404、通过变量更新子网络层M，根据所述待更新目标变量、所述第一图像数据、所述第二图像数据，对所述待更新目标变量进行更新，得到更新后的目标变量，并输出更新后的目标变量。
在本实施例中，通过第一非线性映射子网络层Γg、保真子网络层F、非线性映射子网络层Γh和变量更新子网络层M，可以实现对目标变量的更新，且目标变量满足预设双重正则项约束，通过不断的迭代更新，最终的目标变量不断的被优化。
可选的，所述第一预设正则项为第一预设图像先验信息；所述第二预设正则项为第二预设图像先验信息。当然，对于不同的应用场景，第一预设正则项和第二预设正则项也可根据实际需求采用相应的其他正则项约束，此处可不做限制。
在一种可选实施例中，在上述实施例的基础上，所述方法应用于图像压缩感知恢复场景中，所述待恢复的图像数据为稀疏观测数据；预设双重正则项约束可以采用l1-l2范数，其中范数的可视化可如图6所示，本实施例中所述第一预设正则项为ll范数；所述第二预设正则项为-l2范数。相应的，本实施例中设计深度展开网络时，TOS-Net网络结构模型可以为TOS-CSNet(Three Operator Splitting algorithm based Compress SensingNetwork)，TOS-CSNet的整体网络结构框架与图3相同，其中TOS网络层TOS-Block可以为TOS-CSBlock，下面将详细介绍其原理和实现细节。
对于压缩感知问题，根据随机采样得到的稀疏观测数据y来恢复目标图像，通常压缩感知问题主要通过以下模型来恢复原始的目标图像x：
其中，Φ表示上采样矩阵，Ψ表示转换矩阵(transform matrix)，g(·)为正则项，通常取
范数来对在其他转换域的x起稀疏约束，λ是惩罚项参数，用来平衡保真项
和正则项g(Ψx)。
由于原始的优化问题中，Ψ只是一个固定的矩阵该模型，本实施例所提出新的图像压缩感知模型将用参数化可学习的非线性转换矩阵H来替换转换矩阵Ψ，将传统的优化问题的模型更新为深度神经网络中的模块，变成一个参数化的映射，这样可以利用深度神经网络来学习这个转换矩阵，从而获得更好的结果；同时本实施例采用稀疏约束效果更好的
范数来作为该模型的正则项，我们所提出的受二重正则约束的压缩感知模型如下所示：
其中，
和
是卷积操作，ReLu(·)是激活函数。定义
g(·)＝λ||Hx||1，h(·)＝-λ||Hx||2。根据传统的TOS优化算法(参考文献：Davis D，Yin W.A three-operator splitting scheme and its optimizationapplications.Set-valued and variational analysis.2017 Dec；25(4)：829-58.)，每次迭代过程中的各个模块的计算过程如下：
其中近端映射函数
代入对应的数学公式，并通过数学推导，各个模块的更新过程如下：
其中Sγλ(·)是软阈值函数，
是H的左逆，其拥有与H对称的网络结构，G的定义如下：
其中(x)+在网络设计中可使用激活函数ReLu(x)来执行，也即利用激活函数ReLu(x)来实现max(0，x)。
可见，对于第一非线性映射子网络层Γg，将待更新目标变量zk输入所述第一非线性映射子网络层Γg，根据参数化的可学习的非线性转换矩阵计算模型H、软阈值函数模型Sγλ(·)、以及非线性转换矩阵H的左逆矩阵计算模型
获取满足l1范数的第一图像数据xk；其中所述非线性转换矩阵计算模型H通过卷积操作和激活函数实现；
对于保真子网络层F，根据待更新目标变量zk、待恢复的图像数据y、以及第一图像数据xk，以特定的运算进行目标变量更新，得到中间目标变量
对于可学习的第二非线性映射子网络层Γh，将中间目标变量
输入第二非线性映射子网络层Γh，根据非线性转换矩阵计算模型H、以及非线性转换矩阵H的左逆矩阵计算模型
以及激活函数模型G，获取满足-l2范数的第二图像数据vk。
对于变量更新子网络层M，根据待更新目标变量zk、第一图像数据xk、第二图像数据vk，进行目标变量更新，得到更新后的目标变量zk+1。
基于上述实施例，TOS-CSNet的整体网络结构框架如图3所示，需注意的是TOS-CSNet中的每个TOS-Block替换为TOS-CSBlock，TOS-CSBlock是基于本技术方案所提出的受双重正则项约束的图像压缩感知模型的TOS优化展开过程所设计的，具体网络结构和数据流通过程如图7所示。对于第k+1层TOS-CSBlock，将第k层TOS-CSBlock更新出来的目标变量zk和采样得到的稀疏观测数据y(待恢复的图像数据)作为该第k+1层TOS-CSBlock的输入，并输出更新后的目标变量zk+1。具体的，输入的目标变量zk首先进入网络模块H，再通过软阈值函数Sγλ(·)，最后进入另外一个网络模块
得到满足特定正则项l1范数的图像xk；再将更新的图像xk与目标变量zk和稀疏观测数据y一同输入到保真模块F，该模块基于目标函数minx f(x)+g(x)+h(x)中f(x)函数的梯度信息更新出新的中间目标变量
更新后的中间目标变量
输入到非线性映射模块Γh生成满足正则项-l2范数的图像vk；最终，变量更新模块M根据目标变量zk、图像xk和图像vk更新出新的目标变量zk+1。经过n个TOS-CSBlock后更新出的最终的目标变量zn，将最终的目标变量zn输入到非线性映射网络层Γg生成最终恢复的图像
其中非线性映射网络层Γg通过如下过程生成最终恢复的图像
在另一种可选实施例中，在上述实施例的基础上，所述图像的恢复方法还可应用于图像去噪场景中，所述待恢复的图像数据为带有噪声的图像数据；第一预设正则项为深度图像先验信息；第二预设正则项为l1范数。相应的，本实施例中设计深度展开网络时，TOS-Net网络结构模型可以为TOS-IDNet(Three Operator Splitting algorithm basedImage Denoising Network)，TOS-IDNet的整体网络结构框架与图3相同，其中TOS网络层TOS-Block可以为TOS-IDBlock，下面将详细介绍其原理和实现细节。
对于的图像去噪问题，对于输入的带有噪声的图像y，其加性噪声可以用如下公式表示：
y＝s+n
其中，s表示没有噪声的图像，n表示噪声项，噪声可以包括但不限于椒盐噪声、高斯噪声等等，根据不同的噪声会有不同的去噪模型，其中一种经典的图像去噪模型如下：
其中，s表示不带噪声图像的稀疏映射矩阵，D是字典矩阵，Ds表示我们所需恢复的没有噪声的图像，g(s)是正则项，对s起稀疏约束作用，σ表示噪声水平。本实施例中的模型假设图像可以用字典和稀疏矩阵的组合来表示。本实施例中采取可学习的非线性转换矩阵Hd替换字典矩阵D，并引入深度图像先验(Deep image prior，DIP)来学习潜在的噪声先验，本实施例所提出的受双重正则项约束的图像去噪模型如下：
其中α1＝σ2λ1，α2＝σ2λ2，非线性转换矩阵
和
是卷积操作，ReLu(·)是激活函数；第一个正则项是DIP深度图像先验信息，第二个正则项是l1范数，主要为了解决图像稀疏的问题，从稀疏观测中进行恢复数据。根据TOS优化算法，通过数学推导，优化迭代过程的各个模块的计算流程如下：
其中，Sγλ(·)是软阈值函数，
是Hd伪逆，其网络结构与Hd对称，Hdip深度去噪网络模型，具体结构是ResUnet(参考文献：Ulyanov D，Vedaldi A，Lempitsky V.Deep image prior.InProceedings of the IEEE conference on computervision and pattern recognition 2018(pp.9446-9454).)，如图8所示。
可见，对于第一非线性映射子网络层Γg，将待更新目标变量zk输入所述第一非线性映射子网络层Γg，根据参数化的可学习的非线性转换矩阵计算模型Hd、深度去噪网络模型Hdip、以及非线性转换矩阵Hd的伪逆矩阵计算模型He，获取满足深度图像先验信息DIP的第一图像数据sk；其中非线性转换矩阵计算模型Hd通过卷积操作和激活函数实现；深度去噪网络模型为ResUnet结构的深度去噪网络模型；
对于保真子网络层F，根据待更新目标变量zk、待恢复的图像数据y、以及第一图像数据sk，以特定的运算进行目标变量更新，得到中间目标变量
对于可学习的第二非线性映射子网络层Γh，将中间目标变量
输入第二非线性映射子网络层Γh，根据软阈值函数模型Sγλ(·)获取满足l1范数的第二图像数据vk。
对于变量更新子网络层M，根据待更新目标变量zk、第一图像数据sk、第二图像数据vk，进行目标变量更新，得到更新后的目标变量zk+1。
基于上述实施例，TOS-IDNet的整体网络结构框架如图3类似，仅需将TOS-Block替换为TOS-IDBlock即可即可得到TOS-IDNet。其中，TOS-IDBlock基于本技术方案所提出的受双重正则项约束的图像去噪模型的TOS优化展开过程所设计的，具体网络结构和数据流通过程如图9所示。对于第k+1层TOS-IDBlock，将第k层的输出zk和采样得到的观测数据y作为第k+1层TOS-IDBlock的输入，并输出更新后的目标变量zk+1。具体的，将第k层输入变量zk首先进入网络模块Hd，再通过深度图像先验模块Hdip(如图8所示的ResUnet)，最后进入另外一个网络模块
得到初步的满足深度图像先验信息的恢复的图像sk(对应于图3中的xk)；再将更新的图像sk与目标变量zk和稀疏观测数据y一同输入到保真模块F，更新出新的变量
更新后的中间目标变量
输入到非线性映射模块Гh生成满足稀疏正则项l1范数的图像vk；最终，变量更新模块M根据目标变量zk、图像sk和图像vk更新出新的目标变量zk+1。经过n个TOS-IDBlock后更新出的最终的目标变量zn，将最终的目标变量zn输入到非线性映射网络层Γg生成最终恢复的去噪图像
其中非线性映射网络层Γg通过如下过程生成最终恢复的图像
上述各实施例所提出的基于三算子***算法的深度展开网络结构是一种可解释性的网络结构，该结构结合了传统模型优化的图像恢复方法和启发式深度学习的图像恢复方法两者的优势，该结构的学习过程由领域知识和数据共同驱动。上述各实施例所提出的TOS-Net网络结构的前向传播模块可同时处理两个图像先验或者正则项，可恢复出质量更高的图像。
上述各实施可分别根据图像压缩感知和图像去噪问题，将TOS-Net扩展出相应的TOS-CSNet和TOS-IDNet结构，根据其特定的约束项设计特定的可学习的非线性映射模块来替换迭代优化过程的近端映射算子。
需要说明的是，上述各实施例所提出TOS-Net是一种通用的网络结构，该结构可以处理带有两个图像先验或正则项的图像恢复模型，根据不同的图像恢复问题，其对应的TOS-Block可以扩展为不同的网络结构来处理特定图像恢复问题，因此每个TOS-Block可以根据不同的图像先验和正则项替换成其他的TOS-Block模块。将TOS-Block中的图像先验和正则项替换为其他的图像先验和正则项，也在本发明的保护范围之内。
上述实施例中，可选的，处理带有两个图像先验或正则项的图像恢复模型，可以用基于传统模型优化的图像恢复方法来解决，选择可以处理三个算子的优化模型即可，但此类方法的缺点是迭代优化计算过程中的近端映射函数不好解，而且计算过程是耗时的。此外，处理带有两个图像先验或正则项的图像恢复模型，也可以用基于启发式深度学习的图像恢复方法，其做法是将图像先验或正则项加入到训练该深度网络模型的损失函数中，在训练过程中，使网络输出的解逼近对应的约束项，其缺点是损失函数中的约束项对应的惩罚参数不好调节，因为不同图像先验之间的作用效果可能会互相抑制，最终导致所恢复的图像质量不佳。
图10为本发明实施例提供的图像的恢复设备的结构图。本实施例提供的图像的恢复设备可以执行方法实施例提供的处理流程，如图10所示，所述图像的恢复设备500包括获取模块501、三算子***算法网络模块502、非线性映射网络模块503。
获取模块501，用于获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；
三算子***算法网络模块502，用于将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；
非线性映射网络模块503，用于将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。
在上述任一实施例的基础上，所述三算子***算法网络模块502在通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新时，用于：
对于任一TOS网络层，输入所述待恢复的图像数据以及待更新目标变量；其中对于第一个TOS网络层，待更新目标变量为所述初始化的目标变量，对于其他TOS网络层，待更新目标变量为上一个TOS网络层输出的目标变量；
根据所述待恢复的图像数据以及待更新目标变量，在预设双重正则项约束下对所述待更新目标变量进行优化，得到满足预设双重正则项约束的目标变量；
将满足预设双重正则项约束的目标变量确定为更新后的目标变量，并输出更新后的目标变量。
在上述任一实施例的基础上，所述TOS网络层包括第一非线性映射子网络层、保真子网络层、第二非线性映射子网络层、以及变量更新子网络层；
所述三算子***算法网络模块502在根据所述待恢复的图像数据以及待更新目标变量，在预设双重正则项约束下对所述待更新目标变量进行优化，得到满足预设双重正则项约束的目标变量时，用于：
通过第一非线性映射子网络层，根据待更新目标变量生成满足第一预设正则项的第一图像数据；
通过保真子网络层，根据所述待更新目标变量、所述待恢复的图像数据、以及所述第一图像数据，对所述待更新目标变量进行更新，得到中间目标变量；
通过第二非线性映射子网络层，根据所述中间目标变量生成满足第二预设图像先验信息或第二预设正则项的第二图像数据；
通过变量更新子网络层，根据所述待更新目标变量、所述第一图像数据、所述第二图像数据，对所述待更新目标变量进行更新，得到更新后的目标变量，并输出更新后的目标变量。
在上述任一实施例的基础上，所述第一预设正则项为第一预设图像先验信息；所述第二预设正则项为第二预设图像先验信息。
在一种可选实施例中，在上述任一实施例的基础上，所述方法应用于图像压缩感知恢复场景中，所述待恢复的图像数据为稀疏观测数据；
所述第一预设正则项为l1范数；所述第二预设正则项为-l2范数。
进一步的，所述三算子***算法网络模块502在通过第一非线性映射子网络层，根据待更新目标变量生成满足第一预设正则项的第一图像数据时，用于：
将所述待更新目标变量输入所述第一非线性映射子网络层，根据参数化的可学习的非线性转换矩阵计算模型、软阈值函数模型、以及非线性转换矩阵的左逆矩阵计算模型，获取满足l1范数的第一图像数据；其中所述非线性转换矩阵计算模型通过卷积操作和激活函数实现；
所述三算子***算法网络模块502在通过第二非线性映射子网络层，根据所述中间目标变量生成满足第二预设图像先验信息或第二预设正则项的第二图像数据时，用于：
将所述中间目标变量输入所述第二非线性映射子网络层，根据所述非线性转换矩阵计算模型、以及所述非线性转换矩阵的左逆矩阵计算模型，以及激活函数模型，获取满足-l2范数的第二图像数据。
在一种可选实施例中，在上述任一实施例的基础上，所述方法应用于图像去噪场景中，所述待恢复的图像数据为带有噪声的图像数据；
所述第一预设正则项为深度图像先验信息；所述第二预设正则项为l1范数。
进一步的，所述三算子***算法网络模块502在通过第一非线性映射子网络层，根据待更新目标变量生成满足第一预设正则项的第一图像数据时，用于：
将所述待更新目标变量输入所述第一非线性映射子网络层，根据参数化的可学习的非线性转换矩阵计算模型、深度去噪网络模型、以及非线性转换矩阵的伪逆矩阵计算模型，获取满足深度图像先验信息的第一图像数据；其中所述非线性转换矩阵计算模型通过卷积操作和激活函数实现；所述深度去噪网络模型为ResUnet结构的深度去噪网络模型；
所述三算子***算法网络模块502在通过第二非线性映射子网络层，根据所述中间目标变量生成满足第二预设图像先验信息或第二预设正则项的第二图像数据时，用于：
将所述中间目标变量输入所述第二非线性映射子网络层，根据软阈值函数模型获取满足l1范数的第二图像数据。
本发明实施例提供的图像的恢复设备可以具体用于执行上述图2、4-5所提供的方法实施例，具体功能此处不再赘述。
本发明实施例提供的图像的恢复设备，通过获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。本发明实施例提供的图像恢复模型是基于三算子***算法的深度展开网络结构的可解释性的网络模型，该结构结合了传统模型优化的图像恢复方法和启发式深度学习的图像恢复方法两者的优势，可以提高图像恢复质量，提高鲁棒性。
图11为本发明实施例提供的电子设备的结构示意图。本发明实施例提供的电子设备可以执行图像的恢复方法实施例提供的处理流程，如图11所示，电子设备60包括存储器61、处理器62、计算机程序；其中，计算机程序存储在存储器61中，并被配置为由处理器62执行以上实施例所述的图像的恢复方法。此外，电子设备60还可具有通讯接口63，用于传输控制指令和/或传输数据。
图11所示实施例的电子设备可用于执行上述图像的恢复方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的图像的恢复方法。
另外，本实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的图像的恢复方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的范围。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种图像的恢复方法，其特征在于，包括：
获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；
将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；
将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。
2.根据权利要求1所述的方法，其特征在于，所述通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，包括：
对于任一TOS网络层，输入所述待恢复的图像数据以及待更新目标变量；其中对于第一个TOS网络层，待更新目标变量为所述初始化的目标变量，对于其他TOS网络层，待更新目标变量为上一个TOS网络层输出的目标变量；
根据所述待恢复的图像数据以及待更新目标变量，在预设双重正则项约束下对所述待更新目标变量进行优化，得到满足预设双重正则项约束的目标变量；
将满足预设双重正则项约束的目标变量确定为更新后的目标变量，并输出更新后的目标变量。
3.根据权利要求2所述的方法，其特征在于，所述TOS网络层包括第一非线性映射子网络层、保真子网络层、第二非线性映射子网络层、以及变量更新子网络层；
所述根据所述待恢复的图像数据以及待更新目标变量，在预设双重正则项约束下对所述待更新目标变量进行优化，得到满足预设双重正则项约束的目标变量，包括：
通过第一非线性映射子网络层，根据待更新目标变量生成满足第一预设正则项的第一图像数据；
通过保真子网络层，根据所述待更新目标变量、所述待恢复的图像数据、以及所述第一图像数据，对所述待更新目标变量进行更新，得到中间目标变量；
通过第二非线性映射子网络层，根据所述中间目标变量生成满足第二预设图像先验信息或第二预设正则项的第二图像数据；
通过变量更新子网络层，根据所述待更新目标变量、所述第一图像数据、所述第二图像数据，对所述待更新目标变量进行更新，得到更新后的目标变量，并输出更新后的目标变量。
4.根据权利要求3所述的方法，其特征在于，所述第一预设正则项为第一预设图像先验信息；所述第二预设正则项为第二预设图像先验信息。
5.根据权利要求3所述的方法，其特征在于，所述方法应用于图像压缩感知恢复场景中，所述待恢复的图像数据为稀疏观测数据；
所述第一预设正则项为l1范数；所述第二预设正则项为-l2范数。
6.根据权利要求5所述的方法，其特征在于，所述通过第一非线性映射子网络层，根据待更新目标变量生成满足第一预设正则项的第一图像数据，包括：
将所述待更新目标变量输入所述第一非线性映射子网络层，根据参数化的可学习的非线性转换矩阵计算模型、软阈值函数模型、以及非线性转换矩阵的左逆矩阵计算模型，获取满足l1范数的第一图像数据；其中所述非线性转换矩阵计算模型通过卷积操作和激活函数实现；
所述通过第二非线性映射子网络层，根据所述中间目标变量生成满足第二预设图像先验信息或第二预设正则项的第二图像数据，包括：
将所述中间目标变量输入所述第二非线性映射子网络层，根据所述非线性转换矩阵计算模型、以及所述非线性转换矩阵的左逆矩阵计算模型，以及激活函数模型，获取满足-l2范数的第二图像数据。
7.根据权利要求3所述的方法，其特征在于，所述方法应用于图像去噪场景中，所述待恢复的图像数据为带有噪声的图像数据；
所述第一预设正则项为深度图像先验信息；所述第二预设正则项为l1范数。
8.根据权利要求7所述的方法，其特征在于，所述通过第一非线性映射子网络层，根据待更新目标变量生成满足第一预设正则项的第一图像数据；
将所述待更新目标变量输入所述第一非线性映射子网络层，根据参数化的可学习的非线性转换矩阵计算模型、深度去噪网络模型、以及非线性转换矩阵的伪逆矩阵计算模型，获取满足深度图像先验信息的第一图像数据；其中所述非线性转换矩阵计算模型通过卷积操作和激活函数实现；所述深度去噪网络模型为ResUnet结构的深度去噪网络模型；
所述通过第二非线性映射子网络层，根据所述中间目标变量生成满足第二预设图像先验信息或第二预设正则项的第二图像数据，包括：
将所述中间目标变量输入所述第二非线性映射子网络层，根据软阈值函数模型获取满足l1范数的第二图像数据。
9.一种图像的恢复设备，其特征在于，包括：
获取模块，用于获取待恢复的图像数据以及初始化的目标变量，其中初始化的目标变量为随机生成的与图像数据维度相同的拉格朗日乘子；
三算子***算法网络模块，用于将所述图像数据以及初始化的目标变量输入预先训练的图像恢复模型，通过所述图像恢复模型的多个三算子***算法TOS网络层依次对目标变量进行迭代更新，得到最终的目标变量；
非线性映射网络模块，用于将最终的目标变量输入所述图像恢复模型的非线性映射网络层，生成最终恢复的图像数据，并输出最终恢复的图像数据。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-8任一项所述的方法。
12.一种计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552715.8A CN113256519A (zh) | 2021-05-20 | 2021-05-20 | 图像的恢复方法、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552715.8A CN113256519A (zh) | 2021-05-20 | 2021-05-20 | 图像的恢复方法、设备、存储介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113256519A true CN113256519A (zh) | 2021-08-13 |
Family
ID=77183082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110552715.8A Pending CN113256519A (zh) | 2021-05-20 | 2021-05-20 | 图像的恢复方法、设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256519A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220156884A1 (en) * | 2019-05-06 | 2022-05-19 | Sony Group Corporation | Electronic device, method and computer program |
| CN114841901A (zh) * | 2022-07-01 | 2022-08-02 | 北京大学深圳研究生院 | 一种基于通用化深度展开网络的图像重建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012061475A2 (en) * | 2010-11-02 | 2012-05-10 | University Of Florida Research Foundation, Inc. | Systems and methods for fast magnetic resonance image reconstruction |
| CN104134196A (zh) * | 2014-08-08 | 2014-11-05 | 重庆大学 | 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法 |
| US20180101957A1 (en) * | 2016-10-06 | 2018-04-12 | Qualcomm Incorporated | Neural network for image processing |
| WO2018099321A1 (zh) * | 2016-11-30 | 2018-06-07 | 华南理工大学 | 一种基于广义树稀疏的权重核范数磁共振成像重建方法 |
| CN112132760A (zh) * | 2020-09-14 | 2020-12-25 | 北京大学 | 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法 |
-
2021
- 2021-05-20 CN CN202110552715.8A patent/CN113256519A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012061475A2 (en) * | 2010-11-02 | 2012-05-10 | University Of Florida Research Foundation, Inc. | Systems and methods for fast magnetic resonance image reconstruction |
| CN104134196A (zh) * | 2014-08-08 | 2014-11-05 | 重庆大学 | 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法 |
| US20180101957A1 (en) * | 2016-10-06 | 2018-04-12 | Qualcomm Incorporated | Neural network for image processing |
| WO2018099321A1 (zh) * | 2016-11-30 | 2018-06-07 | 华南理工大学 | 一种基于广义树稀疏的权重核范数磁共振成像重建方法 |
| CN112132760A (zh) * | 2020-09-14 | 2020-12-25 | 北京大学 | 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周俊秀;裘国永;刘侍刚;梁新刚;: "迭代张量高阶奇异值分解的图像恢复方法", 计算机应用研究, no. 11, 28 June 2013 (2013-06-28) * |
| 张建军;王芹;: "二值图像恢复的一个非线性正则化方法(英文)", 应用科学学报, no. 01, 15 January 2009 (2009-01-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220156884A1 (en) * | 2019-05-06 | 2022-05-19 | Sony Group Corporation | Electronic device, method and computer program |
| CN114841901A (zh) * | 2022-07-01 | 2022-08-02 | 北京大学深圳研究生院 | 一种基于通用化深度展开网络的图像重建方法 |
| CN114841901B (zh) * | 2022-07-01 | 2022-10-25 | 北京大学深圳研究生院 | 一种基于通用化深度展开网络的图像重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| JP6656111B2 (ja) | 画像のノイズを除去する方法及びシステム | |
| Gai et al. | New image denoising algorithm via improved deep convolutional neural network with perceptive loss | |
| CN113222834B (zh) | 一种基于平滑约束和矩阵分解的视觉数据张量补全方法 | |
| CN113763268B (zh) | 人脸图像盲修复方法及*** | |
| CN111028166B (zh) | 一种基于迭代神经网络的视频去模糊方法 | |
| CN113256519A (zh) | 图像的恢复方法、设备、存储介质及程序产品 | |
| WO2022143812A1 (zh) | 一种图像复原方法、装置、图像复原设备及存储介质 | |
| CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| CN112581397B (zh) | 一种基于图像先验信息的退化图像修复方法、***、介质和设备 | |
| US11741579B2 (en) | Methods and systems for deblurring blurry images | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN115239591A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
| CN113362338A (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理*** | |
| Li et al. | Fast Robust Matrix Completion via Entry-Wise ℓ 0-Norm Minimization | |
| Tang et al. | Feature preserving 3d mesh denoising with a dense local graph neural network | |
| CN114742911A (zh) | 图像压缩感知重建方法、***、设备及介质 | |
| CN111798381A (zh) | 图像转换方法、装置、计算机设备和存储介质 | |
| Liu et al. | Optimization-inspired learning with architecture augmentations and control mechanisms for low-level vision | |
| CN117036171A (zh) | 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法 | |
| CN116977200A (zh) | 视频去噪模型的处理方法、装置、计算机设备和存储介质 | |
| CN115375909A (zh) | 一种图像处理方法及装置 | |
| CN114862699A (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| Bellaj et al. | Enhancing image inpainting through image decomposition and deep neural networks | |
| Valli Bhasha et al. | Image super resolution model enabled by wavelet lifting with optimized deep convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |