CN113689356A - 一种图像修复的方法和装置 - Google Patents
一种图像修复的方法和装置 Download PDFInfo
- Publication number
- CN113689356A CN113689356A CN202111072986.XA CN202111072986A CN113689356A CN 113689356 A CN113689356 A CN 113689356A CN 202111072986 A CN202111072986 A CN 202111072986A CN 113689356 A CN113689356 A CN 113689356A
- Authority
- CN
- China
- Prior art keywords
- image
- stage
- processing
- current stage
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 134
- 238000011084 recovery Methods 0.000 claims abstract description 62
- 238000005457 optimization Methods 0.000 claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 230000003044 adaptive effect Effects 0.000 claims abstract description 21
- 230000001629 suppression Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 16
- 230000008439 repair process Effects 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 abstract description 22
- 230000000694 effects Effects 0.000 abstract description 8
- 230000005764 inhibitory process Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000011176 pooling Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像修复的方法，包括：对待修复图像进行特征提取，然后将提取出的图像特征输入级联的多个卷积神经网络，对混合失真图像进行恢复。其中，在每个卷积神经网络的处理中，根据输入的图像特征，按照级联的多个卷积神经网络的联合训练结果，选择策略并匹配各个选中策略的注意力权值，进行自适应优化；根据自适应优化得到的输出特征生成当前阶段的残差恢复图像，利用该残差恢复图像生成当前阶段的阶段性恢复图像；对阶段性恢复图像进行处理得到低信息特征抑制遮罩；利用低信息特征抑制遮罩与对自适应优化特征处理，得到当前阶段的输出特征。通过对混合失真的照片能够实现高效、自动修复，并有效改善修复效果。
Description
技术领域
本申请涉及图像处理技术，特别涉及一种图像修复的方法和装置。
背景技术
普通用户使用智能手机拍摄照片，受限于智能手机摄像头本身的限制以及各种不利环境因素的影响，照片一般包含了未知混合比和强度的组合失真，例如低照度，高光干扰，阴影，高斯噪声等等，导致了照片质量的下降，当前对这种混合失真的照片的有效修复只能依赖于专业技术人员使用多种专业软件进行联合人工修正。
具体地，对于普通用户使用智能手机拍摄的照片中含有的未知混合比和强度的组合失真，例如照片含有整体曝光不足/过度,拍摄的主体目标被阴影遮盖，摩尔纹，高斯噪声等等，只能使用人工的方式修复，这种方式需要专业的技术人员以专业的设备和软件进行复杂的技术处理，才可以确保正确排除影响照片质量的组合失真，真实还原出高质量的照片(如图1所示)。而对于自动化修复方式，近年来兴起的卷积神经网络训练修复是主流的方法，但是现有的卷积神经网络(CNN)大多数仅能对单一环境负面因素进行针对性设计训练并修复并达成很好的恢复精度，例如单一去除照片中雨水的恢复网络，单一去除照片中阴影的恢复网络等。对于含有的未知混合比和强度的组合失真的照片，上述单一修复网络并不能进行正确的修复。
最近，有研究提出组合上述单一修复工具组成修复工具链，对混合失真的照片进行修复，该解决方案被证明有效，但是由于该方案需要串行使用多个应用于特定程度/特定类型失真的CNN小型网络，而每个CNN网络都需要进行预训练，因此导致了效率低下，而且最终结果的准确性也比较有限。基于此，当前对于混合失真照片的有效修复，仍然依赖于专业的技术人员以专业的设备和多种软件进行复杂的联合人工处理。这样的方式专业技术要求高，效率也低。
发明内容
本申请提供一种图像修复的方法和装置，对混合失真的照片能够实现高效、自动修复，并有效改善修复效果。
为实现上述目的，本申请采用如下技术方案：
一种图像修复的方法，包括：
确定图像修复的阶段数N；所述N为正整数；
对待修复图像进行特征提取，将提取出的图像特征作为第一个阶段输入的图像特征，依次在每个阶段进行卷积神经网络的处理，得到相应阶段的输出特征输入下一阶段，直到最后一个阶段得到该阶段的输出特征，将最后一个阶段的输出特征进行输出处理后作为图像修复结果；
其中，所述每个阶段进行卷积神经网络的处理包括：
根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；
利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征；
根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；
对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到当前阶段的输出特征，作为下一阶段的输入图像特征。
较佳地，所述确定图像修复的阶段数N时根据修复设备的处理能力和/或用户指令进行。
较佳地，所述对待修复图像进行特征提取包括：对待修复图像依次进行四个结构相同的残差处理，将最后一次残差处理的输出特征作为所述提取出的图像特征；
其中，所述残差处理包括：对输入特征依次进行两次3*3的卷积处理，将处理结果与所述输入特征相加，再对相加结果施加Relu激励后作为输出特征进行下一次残差处理。
较佳地，根据修复设备的处理能力和/或用户指令确定所述可选策略集。
较佳地，所述计算选中的各策略对应的注意力权值包括：
针对所述当前阶段输入的图像特征中各个通道的输入特征，计算每个通道内的通道平均特征值；
利用所有通道的通道平均特征值，计算所述选中的各策略对应的注意力权值。
较佳地，所述根据所述自适应优化特征生成当前阶段的残差恢复图像包括：
对所述自适应优化特征进行1*3*12的卷积处理，生成所述当前阶段的残差恢复图像。
较佳地，所述利用所述残差恢复图像生成当前阶段的阶段性恢复图像包括：将所述残差恢复图像与所述待修复图像相加得到所述当前阶段的阶段性恢复图像。
一种图像修复的装置，包括：阶段数确定模块、特征提取模块、级联的多个相同的阶段处理模块、输出模块；其中，所述阶段处理模块包括自适应优化单元和可视化监督的阶段注意力单元；
所述阶段数确定模块，用于确定图像修复的阶段数N；
所述特征提取模块，用于对待修复图像进行特征提取，并将提取出的图像特征输入第一个阶段处理模块；
所述阶段处理模块中的自适应优化单元，用于根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征输入本阶段处理模块中的可视化监督的阶段注意力单元；
所述阶段处理模块中的可视化监督的阶段注意力单元，用于根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到输出特征输入下一阶段的阶段处理模块；
最后一个阶段的阶段处理模块中，所述可视化监督的阶段注意力单元在获取当前阶段的输出特征后，将其输入给所述输出模块，并停止处理；
所述输出模块，用于将接收的最后一个阶段的输出特征进行输出处理后作为图像恢复结果，输出给用户。
由上述技术方案可见，本申请中，对待修复图像进行特征提取，然后将提取出的图像特征输入级联的多个卷积神经网络，对混合失真图像进行恢复。其中，在每个卷积神经网络的处理中，根据输入的图像特征，按照级联的多个卷积神经网络的联合训练结果，选择策略并匹配各个选中策略的注意力权值，进行自适应优化；根据自适应优化得到的输出特征生成当前阶段的残差恢复图像，利用该残差恢复图像生成当前阶段的阶段性恢复图像；对阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；利用低信息特征抑制遮罩与对自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与阶段性恢复图像相加，得到当前阶段的输出特征。通过上述低信息特征抑制遮罩的处理，保证当前阶段输出特征屏蔽了低信息特征，保证输出特征中包括的是高信息特征，以进入下一个卷积神经网络的处理，从而有效地减少了达到最佳恢复效果所需的阶段堆叠数，实现了整个***的轻量化目标。
附图说明
图1为混合失真图像的现有修复方式示意图；
图2为本申请中图像修复装置的结构框图；
图3a为特征提取模块的示意图；
图3b为每个残差块的内部结构示意图；
图4为由11个不同的规格的卷积层并行组成的可选策略集示意图；
图5为可视化监督的阶段注意力单元的结构和流程框图；
图6为某场景下图像修复方法的处理流程。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请的基本思想在于：联合多个卷积神经网络进行图像恢复，在进行卷积神经网络参数的训练时，联合多个卷积神经网络进行训练，而不是每个卷积神经网络单独训练；同时，在每个神经网络处理过程中，试图降低处理的数据量，并保证图像恢复质量。
图2为本申请中图像修复装置的结构框图。基于该基本结果，本申请中最基本的图像修复方法包括：
确定图像修复的阶段数N，该处理可以在图2的阶段数确定模块完成，其中，N可以为正整数；
对待修复图像进行特征提取，将提取出的图像特征作为第一个阶段输入的图像特征，依次在每个阶段进行卷积神经网络的处理，得到相应阶段的输出特征输入下一阶段，直到最后一个阶段得到该阶段的输出特征，将该最后一个阶段的输出特征进行输出处理后作为图像修复结果。
其中，在每个阶段进行卷积神经网络的处理可以在图2的阶段处理模块中完成，具体处理可以包括：
每个阶段处理模块的自适应优化单元根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征；
可视化监督的阶段注意力单元可以根据自适应优化特征生成当前阶段的残差恢复图像，利用该残差恢复图像再生成当前阶段的阶段性恢复图像；对阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将低信息特征抑制遮罩与对自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到当前阶段的输出特征，作为下一阶段的输入图像特征。对于最后一个阶段的处理，该阶段的可视化监督的阶段注意力单元在获取当前阶段的输出特征后，将其进行输出处理后作为图像的修复结果输出。
上述即为本申请最基本的图像修复方法和装置。下面针对每一部分的结构和处理在实施例中进行详细描述。
一、阶段数确定模块
可以根据图片修复设备的处理能力和/或用户指令进行阶段数N的确定。例如，当用户可以通过指令直接选择阶段数，或者，可以通过***进行硬件检测，根据检测结果确定设备的处理能力，从而选择与该处理能力匹配的阶段数N。
上述即为在图像恢复过程中阶段数确定模块的处理，在多阶段的卷积神经网络联合训练过程中可以不包括改模块的处理，而直接设定具体的阶段数，用于控制后续有多少个阶段进行联合训练。
二、特征提取模块中进行的特征提取处理
特征提取可以采用现有的处理方式。不同于通常的图像处理方案采用的复杂多层的特征提取网络，本实施例中考虑到***处理轻量化的需求，优选地，可以采用4层相同的简单的残差块串联组成轻量级的特征提取模块，如图3a所示，用于采集混合失真输入图像的特征图。每个残差块的内部结构相同，如图3b所示，对残差单元的输入特征依次进行两次3*3的卷积处理，将处理结果与输入特征相加，将相加结果利用Relu激励函数处理后作为输出特征输入下一个残差单元进行下一次残差处理。
上述即为在图像恢复过程中特征提取模块的处理，在多阶段的卷积神经网络联合训练过程中的处理也相同。
通过上述处理，降低了特征提取的复杂度，能够更好地实现***轻量化的目标。
三、阶段处理模块中的自适应优化单元
该单元用于对输入特征进行自适应分析，按照卷积神经网络的训练结果，专门选择和组合恢复策略。该单元的处理主要包括：在可选策略集中选择本阶段使用的策略、计算各策略的注意力权重，下面将分别介绍。
1)策略选择
每个阶段都提供可选策略集，***在可选策略集中根据输入特征选择本次使用的策略，选择的策略可以是一个，也可以是多个。
可选的策略集实际上是一系列可选的经典卷积层或池化层，如图4所示。经过测试发现这种可选策略集的设计结合自适应注意力模块的权重分配，可以针对不同类型的失真输入实现针对性的优化，并且对于不同类型的失真，可以进行策略倾向的分类。
图4展示了由11个不同的规格的卷积层并行组成的可选策略集，分别为：大小为1*1,3*3,5*5，7*7的卷积层4种,大小为3*3,5*5，7*7的空洞卷积层3种，扩张率为2，大小为3*3的平均池化层与最大池化层，大小为7*7的平均池化层与最大池化层。
本申请的可选策略集中的策略不是仅限于如图4的配置，它可以根据目标运行设备的性能情况灵活地增加或删除一些策略。例如为了运行于性能有限的设备上，可以仅采用1*1,3*3,5*5的部分策略进行组网训练，经过测试依然保有很好的恢复效果。基于此，可以根据修复设备的处理能力和/或用户指令确定可选策略集。
更详细地，通过卷积神经网络的预先训练，针对输入的不同图像特征，都会训练得到相应的选择策略以及计算各个策略的注意力权重值时所使用的参数值。进一步地，由于本申请中是联合多个阶段(即多个卷积神经网络的处理)进行训练，因此能够得到对应不同的阶段，输入图像特征对应的策略选择以及计算权重的参数值。基于此，在这里进行策略选择时，首先确定当前所在的阶段，然后根据输入的图像特征，按照本阶段训练得到的卷积神经网络参数，选择若干策略，利用选中的各策略对输入的图像特征进行处理，并对应计算各策略的注意力权重。
2)计算各策略的注意力权重
如前所述，根据卷积神经网络的联合训练，针对各个阶段，都训练得到该阶段下各策略的注意力权重计算参数。这里，根据训练结果利用各策略的注意力权重计算参数计算得到各策略的注意力权重值。具体注意力权重值的计算方式可以采用现有的计算方式，及根据当前阶段的输入特征来进行权重值的计算。
本申请中为进一步降低处理复杂度和计算量，实现***轻量化的目标，优选地，在进行策略的注意力权重计算时，不再直接基于输入的图像特征本身进行，而是首先计算输入的图像特征在每个通道的全局平均池化值，然后基于每个通道的平均池化值来进行策略注意力权重的计算，从而大大降低计算量。
下面以某个通道c的处理为例进行说明。具体地，首先根据各通道的输入图像特征计算通道平均特征值(即通道的全局平均池化值)：
其中，H、W、C分别代表本阶段输入特征图输入的高度、宽度和深度(即通道数)，xijc表示输入的特征值。
按照这个设计，这个阶段某个可选策略a对应的注意力权重映射值计算为：
Ms(x)＝W2*Relu(W1*Avgc)
W1和W2是该部分网络的可学习参数，也就是通过预先训练过程确定出的参数，对应不同策略，相应的参数值可能是不同的，Relu表示激励函数Relu。
最后根据输入x，该阶段的某一策略a的具体执行权重为：
Vsa＝exp(Msa(x))/∑exp(Ms All(x))
Msa表示对应策略a的注意力权重映射值，进行归一化处理后得到策略a的注意力权重值Vsa。综上处理，通过输入图像特征计算通道平均特征值而不是整个特征图来计算注意力权重，会显著减低计算开销，保证了网络的轻量级特征。
在完成各策略对应注意力权重值的计算后，可以将所有的注意力权重值组成列表，前述可选策略集中选定策略后利用选中的每种策略对输入图像进行策略处理，将处理结果与列表中相应策略的注意力权重值相乘得到相应策略的加权处理结果，然后将各策略的加权处理结果相加，也就是级联到一起，最后通过一个1*1的卷积层进行输出，此输出与本阶段输入相加作为自适应优化单元的输出特征，称为自适应优化特征，将其输入本阶段的可视化监督的阶段注意力单元进行监督处理。
上述即为在图像恢复过程中自适应优化单元的处理，在多阶段的卷积神经网络联合训练过程中的处理与上述相同。
四、阶段处理模块中的可视化监督的阶段注意力单元
图5为可视化监督的阶段注意力单元的结构和流程框图。如图5所示，接收自适应优化单元的输出特征图，首先通过一个1*1*3的卷积层，生成当前阶段的残差恢复图像Ri，该图像与待修复的原始输入图像(也就是特征提取模块的输入)相加，生成当前阶段的阶段性恢复图像Si。然后，将阶段性恢复图像Si通过一个1*1的卷积层处理，再通过一个Sigmoid激励，产生了一个大小为H*W*C的低信息特征抑制遮罩，该遮罩用于校准前一个单元(即自适应优化单元)的输出特征图，抑制当前阶段的低信息特征，只允许有用可靠的信息特征传入下一阶段的修复。基于此，将自适应优化单元输出的自适应优化特征经过1*1*C的卷积层处理，将处理结果与低信息特征抑制遮罩相乘，屏蔽掉自适应优化特征中的低信息特征，保留高信息特征，再与自适应优化特征相加得到可视化监督的阶段注意力单元的输出特征，作为阶段性恢复特征图。接下来，根据当前所在的阶段，确定后续的处理方式。
如果当前阶段不是最后一个阶段，将该阶段的阶段性恢复特征图输入到下一个阶段的阶段处理模块中的自适应优化单元。通过上述处理，能够将自适应优化后的输出特征进行低信息特征的屏蔽，减少进入下一阶段处理的特征量，同时保证进入下一阶段处理的是含有高特征量的信息，从而能够在大大降低计算量的同时保证图像恢复性能和效果，有效地减少了达到最佳恢复效果所需的阶段堆叠数，更好地实现了整个***的轻量化目标。
如果当前阶段是最后一个阶段进行处理，那么将该阶段的阶段性恢复特征图进行输出处理后作为最终修复后的图像。其中，具体的输出处理可以是将最后一个阶段(假定为阶段N)的阶段性恢复特征图通过一个3*3*3的卷积层处理，将处理结果与前一个阶段(阶段N-1)的阶段性恢复图像Si相加，作为最终恢复后的图像输出给用户。
上述即为在图像恢复过程中可视化监督的阶段注意力单元的处理。另外，在多阶段的卷积神经网络联合训练过程中，可视化监督的阶段注意力单元，在每个阶段处理中，还需要根据当前阶段的阶段性恢复图像与真实结果的恢复图像进行比较来计算损失函数值，从而衡量当前阶段进行的恢复操作的性能，以用于训练和校正当前阶段卷积神经网络的各项参数。
计算损失函数可以按照现有方式进行。下面给出一个具体示例：
对于阶段性恢复图像Si，引入真实结果的恢复图片G(通常是对应于待修复图像的未失真原始图像)作为Ground True，具体损失函数设计说明如下：
Loss＝LossCharb+α*Lossedge
此处采用了沙博尼耶损失与边缘损失的比例混合作为本模块的损失函数，α为控制两者重要性比例的控制参数，在本示例中设定为0.07。
其中：
Si表示阶段性可视化恢复图像，G为对应该图像的预期最终恢复结果，即GroundTrue图像，L表示拉普拉斯算子，β表示为调整偏置量，本示例设为0.0000001。
五、输出模块
将接收的最后一个阶段的输出特征(即阶段性恢复特征图)进行3*3*3的卷积层处理，将处理结果与前一阶段的阶段性恢复图像相加，作为图像恢复结果，输出给用户。
上述即为本申请中图像修复方法和装置的具体实现。下面给出一些具体的实例。
图6为某场景下图像修复方法的处理流程，具体包括如下处理步骤：
步骤S101：用户使用智能手机拍摄了一张照片，该照片含有未知种类和程度的失真，用户选定该照片为待修复照片。
步骤S102：可选地，用户可以通过手动方式，选择我们预训练好的不同阶段数的解决方案模型，如Stage＝4的方案，Stage＝8的方案模型，主要依据用户运行本专利解决方案所在的硬件的性能。性能有限的设备建议采用Stage＝4的方案。可选地，如果用户不想手动设置，也可以通过预设定的硬件检测推荐功能，自动设置解决方案模型类型。
步骤S103：解决方案模型选择完毕后，将待修复照片作为输入，输入本网络的特征提取模块，生成特征图。
步骤S104：特征图生成后，会输入可配置的自适应优化模块-Stage 1，同时，待修复的照片会作为输入，输入配置好的各阶段的可视化监督的阶段注意力模块。
步骤S105：适应优化模块-Stage 1进入处理流程，根据输入图像的特征匹配计算各个策略的权重值，根据权重值匹配策略达成本阶段的输出特征图，输入本阶段配备的可视化监督的阶段注意力模块。
步骤S106：可视化监督的阶段注意力模块通过处理输入特征图产生残差修复图像，此图像与之前输入的原始图像相加生成本阶段的可视化恢复结果。
步骤S107：可视化监督的阶段注意力模块同时处理生成当前阶段低信息特征遮罩，用于修正优化本阶段输出特征图，并输入下一阶段适应优化模块-Stage 2处理。Stage2重复Stage 1的处理逻辑，由于此时输入特征图不同，Stage 2会产生新一轮的输出结果，输入本阶段后的可视化监督的阶段注意力模块，产生新一轮的可视化处理结果和特征优化遮罩。根据用户或者设计者设置，重复上述过程，直至到最后一个输入适应优化模块-StageN。
步骤S108：此时Stage N的输出特征图输入给输出模块，生成最终的修复结果图片。
步骤S109：最终的修复结果图片返回给用户，供用户使用。
另外，对于本申请的图像修复方法还进行了仿真。针对混合失真图像的修复，采用Div2k测试集对于本申请的方案和现有的其他解决方案(分别为DnCNN、VDSR、VDSR-s和RL-Restore)进行了仿真，表1给出了量化的仿真结果。由表1可见，在对混合失真图像进行修复时，本申请的方案有着更好的修复效果，在各级失真下，在峰值信噪比和结构相似性方面，都明显优于现有的其他解决方案。
Div2K测试集上的量化测试结果
表1
同时，为了说明本申请对于单一扭曲图像的修复也有出色的修复效果，采用雨滴干扰、模糊失真、噪音干扰和压缩失真的模型，对本申请的图像修复方法进行了仿真，表2给出了相应的仿真结果。
单一失真图像测试集上的量化结果
表2
需要额外指出的是，本申请的***模型与现有技术方案相比，拥有着轻量化，高效果，可以配置在性能有限的移动设备上的优点，其详细的量化指标如表3所示。
| 模型 | DnCNN | VDSR | VDSR-s | RL-Restore | 本专利 |
| 参数量(×10<sup>5</sup>) | 6.69 | 6.67 | 2.09 | 1.96 | 1.04 |
| 计算量(×10<sup>9</sup>) | 2.66 | 2.65 | 0.828 | 0.474 | 0.286 |
表3
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种图像修复的方法，包括：
确定图像修复的阶段数N；所述N为正整数；
对待修复图像进行特征提取，将提取出的图像特征作为第一个阶段输入的图像特征，依次在每个阶段进行卷积神经网络的处理，得到相应阶段的输出特征输入下一阶段，直到最后一个阶段得到该阶段的输出特征，将最后一个阶段的输出特征进行输出处理后作为图像修复结果；
其中，所述每个阶段进行卷积神经网络的处理包括：
根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；
利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征；
根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；
对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到当前阶段的输出特征，作为下一阶段的输入图像特征。
2.根据权利要求1所述的方法，其特征在于，所述确定图像修复的阶段数N时根据修复设备的处理能力和/或用户指令进行。
3.根据权利要求1所述的方法，其特征在于，所述对待修复图像进行特征提取包括：对待修复图像依次进行四个结构相同的残差处理，将最后一次残差处理的输出特征作为所述提取出的图像特征；
其中，所述残差处理包括：对输入特征依次进行两次3*3的卷积处理，将处理结果与所述输入特征相加，再对相加结果施加Relu激励后作为输出特征进行下一次残差处理。
4.根据权利要求1所述的方法，其特征在于，根据修复设备的处理能力和/或用户指令确定所述可选策略集。
5.根据权利要求1所述的方法，其特征在于，所述计算选中的各策略对应的注意力权值包括：
针对所述当前阶段输入的图像特征中各个通道的输入特征，计算每个通道内的通道平均特征值；
利用所有通道的通道平均特征值，计算所述选中的各策略对应的注意力权值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述自适应优化特征生成当前阶段的残差恢复图像包括：
对所述自适应优化特征进行1*3*12的卷积处理，生成所述当前阶段的残差恢复图像。
7.根据权利要求1或6所述的方法，其特征在于，所述利用所述残差恢复图像生成当前阶段的阶段性恢复图像包括：将所述残差恢复图像与所述待修复图像相加得到所述当前阶段的阶段性恢复图像。
8.一种图像修复的装置，其特征在于，包括：阶段数确定模块、特征提取模块、级联的多个相同的阶段处理模块、输出模块；其中，所述阶段处理模块包括自适应优化单元和可视化监督的阶段注意力单元；
所述阶段数确定模块，用于确定图像修复的阶段数N；
所述特征提取模块，用于对待修复图像进行特征提取，并将提取出的图像特征输入第一个阶段处理模块；
所述阶段处理模块中的自适应优化单元，用于根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征输入本阶段处理模块中的可视化监督的阶段注意力单元；
所述阶段处理模块中的可视化监督的阶段注意力单元，用于根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到输出特征输入下一阶段的阶段处理模块；
最后一个阶段的阶段处理模块中，所述可视化监督的阶段注意力单元在获取当前阶段的输出特征后，将其输入给所述输出模块，并停止处理；
所述输出模块，用于将接收的最后一个阶段的输出特征进行输出处理后作为图像恢复结果，输出给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072986.XA CN113689356B (zh) | 2021-09-14 | 2021-09-14 | 一种图像修复的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072986.XA CN113689356B (zh) | 2021-09-14 | 2021-09-14 | 一种图像修复的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689356A true CN113689356A (zh) | 2021-11-23 |
| CN113689356B CN113689356B (zh) | 2023-11-24 |
Family
ID=78586354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111072986.XA Active CN113689356B (zh) | 2021-09-14 | 2021-09-14 | 一种图像修复的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689356B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023207778A1 (zh) * | 2022-04-24 | 2023-11-02 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
| CN111275638A (zh) * | 2020-01-16 | 2020-06-12 | 湖南大学 | 基于多通道注意力选择生成对抗网络的人脸修复方法 |
| CN111915531A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种多层次特征融合和注意力引导的神经网络图像去雾方法 |
| CN112365414A (zh) * | 2020-11-04 | 2021-02-12 | 天津大学 | 一种基于双路残差卷积神经网络的图像去雾方法 |
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
| US20210241470A1 (en) * | 2019-04-30 | 2021-08-05 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
-
2021
- 2021-09-14 CN CN202111072986.XA patent/CN113689356B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
| US20210241470A1 (en) * | 2019-04-30 | 2021-08-05 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
| CN111275638A (zh) * | 2020-01-16 | 2020-06-12 | 湖南大学 | 基于多通道注意力选择生成对抗网络的人脸修复方法 |
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| CN111915531A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种多层次特征融合和注意力引导的神经网络图像去雾方法 |
| CN112365414A (zh) * | 2020-11-04 | 2021-02-12 | 天津大学 | 一种基于双路残差卷积神经网络的图像去雾方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023207778A1 (zh) * | 2022-04-24 | 2023-11-02 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689356B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163808B (zh) | 一种基于卷积神经网络的单帧高动态成像方法 | |
| CN110728633B (zh) | 多曝光度高动态范围反色调映射模型构建方法及装置 | |
| Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
| CN109064423B (zh) | 一种基于非对称循环生成对抗损失的智能修图方法 | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN110223251B (zh) | 适用于人工与自然光源的卷积神经网络水下图像复原方法 | |
| Jaroensri et al. | Generating training data for denoising real rgb images via camera pipeline simulation | |
| CN111915513B (zh) | 一种基于改进的自适应神经网络的图像去噪方法 | |
| CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及*** | |
| CN107895350B (zh) | 一种基于自适应双伽玛变换的hdr图像生成方法 | |
| CN113628146A (zh) | 基于深度卷积网络的图像去噪方法 | |
| CN113689356B (zh) | 一种图像修复的方法和装置 | |
| Shutova et al. | NTIRE 2023 challenge on night photography rendering | |
| US20130287299A1 (en) | Image processing apparatus | |
| US11443414B2 (en) | Image signal processing | |
| CN111489294A (zh) | 一种图像放大的处理方法 | |
| CN117456230A (zh) | 一种数据分类方法、***及电子设备 | |
| CN111860287A (zh) | 一种目标检测方法及装置、存储介质 | |
| CN116051419A (zh) | 基于深度学习Relu和通道相关性注意力的图像去噪方法 | |
| CN116433518A (zh) | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 | |
| Pavithra et al. | Automatic image quality tuning framework for optimization of ISP parameters based on multi-stage optimization approach | |
| CN115170811A (zh) | 一种基于卷积神经网络的去噪方法 | |
| Li et al. | A fast image dehazing algorithm for highway tunnel based on artificial multi-exposure image fusion | |
| CN110708470B (zh) | 一种自适应互补曝光数字图像处理方法、图像获取设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |