CN112419151B - 图像退化处理方法、装置、存储介质及电子设备 - Google Patents
图像退化处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112419151B CN112419151B CN202011308390.0A CN202011308390A CN112419151B CN 112419151 B CN112419151 B CN 112419151B CN 202011308390 A CN202011308390 A CN 202011308390A CN 112419151 B CN112419151 B CN 112419151B
- Authority
- CN
- China
- Prior art keywords
- image
- low
- resolution
- quality
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 183
- 230000015556 catabolic process Effects 0.000 title claims abstract description 182
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008439 repair process Effects 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001092 metal group alloy Inorganic materials 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像退化处理方法、装置、存储介质及电子设备，以相关技术在获取低质量图像中存在的训练数据与实际数据之间数据分布不一致以及颜色偏移的问题。该方法包括：获取高分辨率高质图像；对高分辨率高质图像降采样，以得到低分辨率高质图像；将低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；低分辨率低质图像用于训练超分辨重建网络，超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
Description
技术领域
本公开涉及视频处理技术领域，具体地，涉及一种图像退化处理方法、装置、存储介质及电子设备。
背景技术
随着科学技术的不断发展，人们可以享受到观看高分辨率高质量视频的体验。但是，视频在采集阶段和传输阶段，非常容易受到噪声、模糊、压缩等因素的影响，导致视频质量低劣，这在一些老电影片源中，问题尤为显著。
相关技术可以通过有监督复原算法进行视频修复。在有监督复原算法的训练过程中，需要通过低质量图像和高质量图像进行训练，以学习低质量图像和高质量图像间的映射，从而实现对视频中每一帧图像的修复。但是，在此过程中，低质量图像主要是通过人为控制地对高质量图像添加高斯噪声、高斯模糊等退化操作而得到的。如果用于训练的低质量图像的噪声、模糊等情况与待修复的真实图像不一致，则可能导致无法对该真实图像进行有效修复的问题，从而影响视频修复效果。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种图像退化处理方法，所述方法包括：
获取高分辨率高质图像；
对所述高分辨率高质图像降采样，以得到低分辨率高质图像；
将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；
所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
第二方面，本公开提供一种图像退化处理装置，所述装置包括：
获取模块，用于获取高分辨率高质图像；
第一处理模块，用于对所述高分辨率高质图像降采样，以得到低分辨率高质图像；
第二处理模块，用于将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；
所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面中所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面中所述方法的步骤。
通过上述技术方案，用于训练超分辨重建网络的低分辨率低质图像可以通过图像退化模型对大量高分辨率高质图像进行处理得到的，相较于相关技术中通过人为控制地对高质图像添加高斯噪声、高斯模糊等因素得到低质图像的方式，可以得到与实际情况更相符的各种低质图像，减少由于训练数据与待修复的实际数据不符而无法有效进行视频修复的问题，提升视频修复效果。并且，在训练图像退化模型的过程中通过提取图像的亮度特征进行模型训练，可以避免后续得到的低质图像出现颜色偏移的问题，从而提升通过该低质图像训练得到的超分辨重建网络的准确率，进而提升视频修复效果。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据本公开一示例性实施例示出的一种图像退化处理方法的流程图；
图2是根据本公开一示例性实施例示出的一种图像退化处理方法中图像退化模型中图像退化模块和图像退化去除模块的结构示意图；
图3是根据本公开另一示例性实施例示出的一种图像退化处理方法中图像退化模型中图像退化模块和图像退化去除模块的结构示意图；
图4是图3所示的图像退化模块或图像退化去除模块中每个神经单元的结构示意图；
图5是在图像退化模型中图像退化模块或图像退化去除模块如图3所示的情况下，该图像退化模型中第一判别器和第二判别器的结构示意图；
图6是根据本公开一示例性实施例示出的一种图像退化处理方法中图像退化模型的结构示意图；
图7是根据本公开一示例性实施例示出的一种图像退化处理方法的输出图像与实际低分辨率低质图像的对比示意图；
图8是根据本公开一示例性实施例示出的一种图像退化处理装置的框图；
图9是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。另外需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
正如背景技术所言，相关技术采用有监督复原算法进行视频修复。在有监督复原算法的训练过程中，需要通过低质量图像和高质量图像进行训练，以学习低质量图像和高质量图像间的映射，从而实现对视频中每一帧图像的修复。但是，在此过程中，低质量图像主要是通过人为控制地对高质量图像添加高斯噪声、高斯模糊等退化操作而得到的。如果用于训练的低质量图像的噪声、模糊等情况与待修复的真实图像不一致，则可能导致无法对该真实图像进行有效修复的问题，从而影响视频修复效果。
发明人研究发现，相关技术还通过无监督图像复原算法进行视频修复。这类方法通过无监督算法模型构建更加贴近真实图像数据分布的图像数据对，以获得测试时能在真实图像数据上泛化得更好的神经网络模型。虽然这类方法可以在一定程度上对齐训练数据和测试数据间的数据分布，减少有监督图像复原算法由于训练数据与测试数据之间数据分布不一致而导致的问题，但其存在颜色偏移问题，可能导致在特征学习阶段学习到与图像退化特征无关的颜色特征，从而影响视频修复效果。
有鉴于此，本公开提供一种图像退化处理方法、装置、存储介质及电子设备，以解决相关技术中由于训练数据与测试数据间数据分布不一致或由于颜色偏移而导致无法进行有效视频修复的问题，从而提升视频修复效果。
图1是根据本公开一示例性实施例示出的一种图像退化处理方法的流程图。参照图1，该图像退化处理方法包括以下步骤：
步骤101，获取高分辨率高质图像。
步骤102，对高分辨率高质图像降采样，以得到低分辨率高质图像。
步骤103，将低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，该图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，该样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的。该低分辨率低质图像可以用于训练超分辨重建网络，该超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
通过上述方式，用于训练超分辨重建网络的低分辨率低质图像可以通过图像退化模型对大量高分辨率高质图像进行处理得到的，相较于相关技术中通过人为控制地对高质图像添加高斯噪声、高斯模糊等因素得到低质图像的方式，可以得到与实际情况更相符的各种低质图像，减少由于训练数据与待修复的实际数据不符而无法有效进行视频修复的问题，提升视频修复效果。并且，在训练图像退化模型的过程中通过提取图像的亮度特征进行模型训练，可以避免后续得到的低质图像出现颜色偏移的问题，从而提升通过该低质图像训练得到的超分辨重建网络的准确率，进而提升视频修复效果。
为了使得本领域技术人员更加理解本公开实施例提供的图像退化处理方法，下面对上述各步骤进行详细举例说明。
首先说明图像退化模型的训练过程。
示例地，可以先获取样本高分辨率高质图像和样本低分辨率低质图像。应当理解的是，分辨率是指图像中单位英寸所包含的像素点数。分辨率越高，则图像单位英寸所包含的像素就越多，分辨率越低，则图像单位英寸所包含的像素就越少。本公开实施例中样本高分辨率高质图像单位英寸所包含的像素比样本低分辨率低质图像单位英寸所包含的像素多。图像质量是指图像中存储在像素中的细节内容，如颜色、阴影、对比度等。图像质量越高，则像素中包含的细节内容越丰富，图像质量越低，则像素中包含的细节内容越少。本公开实施例中样本高分辨高质图像中像素包含的细节内容比样本低分辨率低质图像中像素包含的细节内容更丰富。
在可能的方式中，样本高分辨率高质图像和样本低分辨率低质图像可以是通过如下方式得到的：先采集多个高分辨率高质视频和多个低分辨率低质视频。然后，针对每一高分辨率高质视频，将该高分辨率高质视频对应的每一帧图像进行图像分割，以得到多个第一图像块，并在多个第一图像块中，选取像素值满足预设条件的目标第一图像块作为样本高分辨率高质图像。同样地，可以针对每一低分辨率低质视频，将该低分辨率低质视频对应的每一帧图像进行图像分割，以得到多个第二图像块，并在多个第二图像块中，选取像素值满足预设条件的目标第二像素块作为样本低分辨率低质图像。
例如，可以采集多个高分辨率高质电影数据和老电影数据(低分辨率低质电影数据)，然后针对该高分辨高质电影数据的每一帧图像进行图像分割处理，得到多个第一图像块，比如可以对每一帧图像进行3×3的图像分割处理，得到9个第一图像块，等等。类似地，可以针对该老电影数据的每一帧图像进行图像分割处理，得到多个第二图像块。比如可以对每一帧图像进行3×3的图像分割处理，得到9个第二图像块，等等。
在得到多个第一图像块和多个第二图像块之后，可以选择像素值满足预设条件的目标图像块用于训练图像退化模型。示例地，预设条件可以是图像块中像素值的均值大于或等于预设阈值，或者预设条件可以是图像块中像素值的方差大于或等于预设阈值，又或者预设条件还可以是像素点的低频特征所对应的均值或方差大于或等于预设阈值，等等。本公开实施例对于预设条件的具体内容不作限定。此外，上述过程中的预设阈值也可以根据实际情况设定，本公开实施例对此不作限定。
通过预设条件对第一图像块和第二图像块进行筛选，可以得到细节丰富的图像块，从而增加样本高分辨率高质图像和样本低分辨率低质图像的内容丰富度，进而增加图像退化模型的鲁棒性，使得训练后的图像退化模型输出与实际情况更相符的低分辨率低质图像。其中，细节丰富可以理解为是图像块中的像素值差异较大。例如，对于仅包括天空或草地这类像素值差别不大的图像块，包括复杂的建筑物、人物等像素值差别较大的图像块则为细节丰富的图像块。
通过上述方式得到样本高分辨率高质图像和样本低分辨率低质图像之后，可以通过该样本高分辨率高质图像和样本低分辨率低质图像训练图像退化模型。示例地，可以先对样本高分辨率高质图像降采样，得到样本低分辨率高质图像，然后提取样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征，最后根据提取到的亮度图像特征对图像退化模型进行训练。
应当理解的是，降采样是一种多速率数字信号处理的技术或是降低信号采样率的过程，通常用于降低数据传输速率或者数据大小。在本公开实施例中，通过对样本高分辨率高质图像进行降采样，可以减少图像单位英寸所包含的像素点数，从而得到样本低分辨率高质图像。
在得到样本低分辨率高质图像之后，可以提取该样本低分辨率高质图像的亮度图像特征，并同时提取样本低分辨率低质图像的亮度图像特征，从而根据提取到的亮度图像特征对图像退化模型进行训练。
应当理解的是，本公开实施例提供的视频修复方法可以应用于低质老电影修复。考虑到低质老电影大多为黑白色调且具有噪声、模糊等图像特征，因此图像退化模型需要学习的是低质老电影的噪声、模糊等图像特征，而无需学习图像中的色彩特征。在此种场景下，在训练图像退化模型的过程中，为了避免样本高分辨率高质图像中的色彩特征影响该图像退化模型的特征学习结果，即解决颜色偏移问题，可以提取样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征进行模型训练。
在可能的方式中，样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征可以是通过如下方式得到的：将样本低分辨率高质图像由RGB颜色空间转换至YCbCr颜色空间，得到第一目标样本图像，并将样本低分辨率低质图像由RGB颜色空间转换至YCbCr颜色空间，得到第二目标样本图像，然后提取第一目标样本图像Y通道对应的亮度图像特征和第二目标样本图像Y通道对应的亮度图像特征。
示例地，RGB颜色空间以R(Red，红)、G(Green，绿)、B(Blue，蓝)三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色。YCbCr颜色空间中Y为颜色的亮度成分，Cb和Cr分别为蓝色和红色的浓度偏移量。在本公开实施例中为了解决颜色偏移问题，可以将图像由RGB颜色空间转换至YCbCr颜色空间，然后在Y通道进行图像退化模型的训练，即提取图像的亮度图像特征进行图像退化模型的训练。
在可能的方式中，图像退化模型可以包括图像退化模块、图像退化去除模块、第一判别器和第二判别器。其中，图像退化模块可以用于根据输入的样本低分辨率高质图像的亮度图像特征进行图像退化处理，并输出样本低分辨率高质图像对应的模拟低分辨率低质图像的亮度图像特征。图像退化去除模块可以用于根据输入的样本低分辨率低质图像的亮度图像特征进行图像修复处理，并输出样本低分辨率低质图像对应的模拟低分辨率高质图像的亮度图像特征。第一判别器可以用于根据输入的模拟低分辨率高质图像的亮度图像特征和样本低分辨率高质图像的亮度图像特征进行模型训练。第二判别器用于根据输入的模拟低分辨率低质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征进行模型训练。
示例地，图像退化模块和图像退化去除模块可以采用包括多个残差模块(ResBlock)的神经网络结构。例如，图像退化模块和图像退化去除模块的神经网络结构如图2所示。其中，3*3conv表示卷积核大小为3的卷积层；Relu(Rectified Linear Unit，整流线性单位函数)表示神经网络结构的激励函数，又称修正线性单元，表示逐像素相加运算操作。
或者，为了更好的利用图像的上下文信息，增强神经网络表达能力，图像退化模块和图像退化去除模块可以采用如图3所示的神经网络结构。以c4b层为例说明该神经网络结构，c4b层是由c7层和c4a层合并得到的。其中，c7层是反卷积层，其卷积步长(stride)为2，其输入特征分辨率为4*4，则上采样后的特征尺寸为8*8。c4a层与c4层的大小一致，可以看作是c4层的“副本”，它的尺寸是c7层的两倍，刚好与上采样后的c7层大小一致，可以直接将数值相加，那么就得到了c4b层。其他层的数据处理过程与c4b层类似，这里不再赘述。该神经网络结构中每个神经网络单元的结构可以如图4所示，其中，concat表示合并操作，1*1conv表示卷积核大小为1的卷积层。
示例地，在图像退化模块和图像退化去除模块的神经网络结构如图3所示的情况下，第一判别器和第二判别器可以采用块判别器，具体可以包括7个卷积层的全卷积层网络。例如，第一判别器和第二判别器的结构如图5所示。其中，4*4conv表示卷积核大小为4的卷积层，LeakyReLU表示神经网络激活函数，又被称作泄露修正线性单元，类似于普通的ReLU，SpectralNorm(Spectral normalization)表示谱归一化，BatchNorm(BatchNormalization)表示批标准化。
在一实施例中，图像退化模型的结构框图可以如图6所示。参照图6，样本低分辨率高质图像的亮度图像特征Z通过图像退化模块G的图像退化处理后，可以得到对应的模拟低分辨率低质图像的亮度图像特征X’。样本低分辨率低质图像的亮度图像特征X通过图像退化去除模块F的图像修复处理后，可以得到对应的模拟低分辨率高质图像的亮度图像特征Z’。第一判别器DZ的输入为模拟低分辨率高质图像的亮度图像特征Z’和样本低分辨率高质图像的亮度图像特征Z，用于判断亮度图像特征Z’符合亮度图像特征Z的概率。第二判别器DX的输入为模拟低分辨率低质图像的亮度图像特征X’和样本低分辨率低质图像的亮度图像特征X，用于判断亮度图像特征X’符合亮度图像特征X的概率。
在对图6所示的图像退化模型进行训练的过程中，可以预先设定第一判别器DZ的输出概率为第一概率值，第二判别器DX的输出概率为第二概率值。然后，可以通过调整图像退化模块G和图像退化去除模块F的参数，使得第一判别器DZ输出的实际概率为第一概率值，并使第二判别器DX输出的实际概率为第二概率值，从而实现对该图像退化模型的训练过程。
在可能的方式中，图像退化模型的训练过程可以是：针对模拟低分辨率高质图像的亮度图像特征、样本低分辨率高质图像的亮度图像特征、模拟低分辨率低质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征，提取低频信号，以得到目标数据集，然后根据目标数据集包括的图像特征对图像退化模型进行训练。
应当理解的是，在本公开实施例中，为了约束图像退化模块和图像退化去除模块不改变输入图像的内容，可以对图像的亮度图像特征提取低频信号，然后根据提取到的低频信号进行模型训练，以使图像退化模块和图像退化去除模块输出的图像的低频内容一致。
在可能的方式中，可以通过高斯低通滤波器提取低频信号或通过哈尔小波变换提取低频信号。其中，高斯低通滤波器可以在图像特征过分模糊(即过平滑)与图像中由于噪声和细纹理所引起的过多突变量(即欠平滑)之间取得折衷，因此通过高斯滤波器提取低频信号用于图像退化模型的训练可以得到较好的模型训练效果。在图像处理过程中，哈尔小波变换可以分离图像的高频和低频信息，本公开实施例中通过哈尔小波变换可以对图像的亮度图像特征提取低频信号，从而根据提取到的低频信号进行模型训练，以使图像退化模块和图像退化去除模块输出的图像的低频内容一致。
在提取低频信号得到目标数据集之后，可以根据目标数据集包括的图像特征对图像退化模型进行训练。在可能的方式中，可以先按照如下方式计算损失函数：
Lcont＝λ1||G(Z)l-Zl||1+λ2||F(X)l-Xl||1 (1)
其中，Lcont表示损失函数，λ1和λ2表示预设权重值，G(Z)l表示从模拟低分辨率低质图像的亮度图像特征中提取的低频信号，Zl表示从样本低分辨率高质图像的亮度图像特征中提取的低频信号，F(X)l表示从模拟低分辨率高质图像的亮度图像特征中提取的低频信号，Xl表示从样本低分辨率低质图像的亮度图像特征中提取的低频信号。
然后，可以根据上述损失函数调整图像退化模型的参数。
例如，参照图6所示的图像退化模型，通过高斯低通滤波器ωL提取低频信号，那么上述损失函数中的G(Z)l则可以表示为ωL*X1，Zl可以表示为ωL*Z，F(X)l可以表示为ωL*Z1，Xl可以表示为ωL*X。该损失函数可以理解为是图像退化模型的内容一致性损失函数，用于表征通过图像退化模块处理后的结果与输入该图像退化模块的初始结果之间的差异、以及通过图像退化去除模块处理后的结果与输入该图像退化去除模块的初始结果之间的差异，以约束图像退化模块和图像退化去除模块不改变输入图像的内容。
此外，参照图6所示的图像退化模型，该图像退化模型的损失函数还可以包括循环损失函数和域对齐损失函数，该循环损失函数和域对齐损失函数的计算方式与相关技术类似，下面做简要说明。
其中，循环损失函数用于表征将图像输入图像退化模块，并将图像退化模块输出的结果输入图像退化去除模块而得到的结果与初始输出的图像之间的差异、以及将图像输入图像退化去除模块，并将图像退化去除模块输出的结果输入图像退化模块而得到的结果与初始输出的图像之间的差异。例如，参照图6所示的图像退化模型，循环损失函数的计算公式可以如下：
Lcyc＝EZ[||F(G(Z))-Z||1]+EX[||G(F(X))-X||1] (2)
其中，Lcyc表示循环损失函数，EZ和EX表示数学期望，计算方式与相关技术类似，Z表示样本低分辨率高质图像，G(Z)表示将样本低分辨率高质图像Z输入图像退化模块后得到的输出结果，F(G(Z))表示将图像退化模块后得到的输出结果G(Z)输入图像退化去除模块后得到的输出结果，X表示样本低分辨率低质图像，F(X)表示将样本低分辨率低质图像X输入图像退化去除模块后得到的输出结果，G(F(X))表示将图像退化去除模块后得到的输出结果F(X)输入图像退化模块后得到的输出结果。
域对齐损失函数用于表征通过图像退化模块得到的模拟低分辨率低质图像与采集到的实际低分辨率低质图像之间的差异、以及通过图像退化去除模块得到的模拟低分辨率高质图像与采集到的实际低分辨率高质图像之间的差异。可以理解的是，可以通过域对齐损失函数调整第一判别器和第二判别器的参数。例如，参照图6所示的图像退化模型，域对齐损失函数的计算公式如下：
L(G,DX)＝EX[logDX(X)]+EZ[log(1-DX(G(Z)))] (3)
L(F,DZ)＝EZ[logDZ(Z)]+EX[log(1-DZ(F(X)))] (4)
其中，L(G,DX)表示DX图像域的域对齐损失函数，DX(X)表示样本低分辨率低质图像X输入第二判别器DX后得到的结果，DX(G(Z))表示模拟低分辨率低质图像输入第二判别器DX后得到的结果，L(G,DZ)表示DZ图像域的域对齐损失函数，DZ(Z)表示样本低分辨率高质图像Z输入第一判别器DZ后得到的结果，DZ(F(X))表示模拟低分辨率高质图像输入第一判别器DZ后得到的结果。
通过上述方式，可以根据循环损失函数、域对齐损失函数和内容一致性损失函数调整图像退化模型的参数，实现对图像退化模型的训练过程。在后续过程中，则可以将低分辨率高质图像输入该图像退化模型中，得到低分辨率低质图像，相较于相关技术中通过人为控制地对高质图像添加高斯噪声、高斯模糊等因素得到低质图像的方式，可以得到与实际情况更相符的各种低质图像，减少由于训练数据与待修复的实际数据不符而无法有效进行视频修复的问题，提升视频修复效果。并且，在训练图像退化模型的过程中通过提取图像的亮度特征进行模型训练，可以避免后续得到的低质图像出现颜色偏移的问题，从而提升通过该低质图像训练得到的超分辨重建网络的准确率，进而提升视频修复效果
例如，参照图7，由左至右依次为：真实高清高质量电影图像、由图像退化模型生成的低清老电影图像、真实低清老电影图像。根据图7可知，通过本公开实施例提供的视频修复方法中的图像退化模型可以模拟出老电影数据的模糊感和压缩感，从而可以提升后续视频修复效果。
示例地，可以将通过该图像退化模型对高分辨率高质图像进行处理而得到的低分辨率低质图像用于训练超分辨重建网络，进而实现视频修复的目的。例如，可以将高分辨率高质图像P1降采样得到低分辨率高质图像P2，并将该低分辨率高质图像P2输入训练得到的图像退化模型中，得到低分辨率低质图像P3，然后通过成对训练数据{P3，P1}训练超分辨重建网络，从而根据训练得到的超分辨重建网络对待修复的目标视频的每一帧图像进行修复，得到修复视频。
或者，为了增加训练样本数量，还可以在构造成对训练数据的过程中，对高分辨率高质图像P1人工添加压缩、模糊、噪声等操作，得到低分辨率低质图像P4，然后构造成对训练数据{P4,P1}。在此种情况下，可以通过成对训练数据{P3，P1}和成对训练数据{P4,P1}训练超分辨重建网络。应当理解的是，超分辨重建网络的具体结构以及通过成对训练数据进行训练的过程与相关技术类似，这里不再赘述。
基于同一发明构思，本公开实施例还提供一种图像退化处理装置。参照图8，该图像退化处理装置800可以包括：
获取模块801，用于获取高分辨率高质图像；
第一处理模块802，用于对所述高分辨率高质图像降采样，以得到低分辨率高质图像；
第二处理模块803，用于将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；
所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
可选地，所述图像退化模型包括图像退化模块、图像退化去除模块、第一判别器和第二判别器；
所述图像退化模块用于根据输入的所述样本低分辨率高质图像的亮度图像特征进行图像退化处理，并输出所述样本低分辨率高质图像对应的模拟低分辨率低质图像的亮度图像特征；
所述图像退化去除模块用于根据输入的所述样本低分辨率低质图像的亮度图像特征进行图像修复处理，并输出所述样本低分辨率低质图像对应的模拟低分辨率高质图像的亮度图像特征；
所述第一判别器用于根据输入的所述模拟低分辨率高质图像的亮度图像特征和所述样本低分辨率高质图像的亮度图像特征进行模型训练；
所述第二判别器用于根据输入的所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征进行模型训练。
可选地，所述装置800还包括用于训练图像退化模型的如下模块：
提取模块，用于针对所述模拟低分辨率高质图像的亮度图像特征、所述样本低分辨率高质图像的亮度图像特征、所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征，提取低频信号，以得到目标数据集；
训练模块，用于根据所述目标数据集包括的图像特征对所述图像退化模型进行训练。
可选地，所述提取模块用于：
通过高斯低通滤波器提取低频信号或通过哈尔小波变换提取低频信号。
可选地，所述训练模块用于：
按照如下方式计算损失函数：
Lcont＝λ1||G(Z)l-Zl||1+λ2||F(X)l-Xl||1 (1)
其中，Lcont表示损失函数，λ1和λ2表示预设权重值，G(Z)l表示从模拟低分辨率低质图像的亮度图像特征中提取的低频信号，Zl表示从样本低分辨率高质图像的亮度图像特征中提取的低频信号，F(X)l表示从模拟低分辨率高质图像的亮度图像特征中提取的低频信号，Xl表示从样本低分辨率低质图像的亮度图像特征中提取的低频信号；
根据所述损失函数调整所述图像退化模型的参数。
可选地，所述装置800还包括如下用于提取样本低分辨率高质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征的模块：
第一提取模块，用于将所述样本低分辨率高质图像由RGB颜色空间转换至YCbCr颜色空间，得到第一目标样本图像，并将所述样本低分辨率低质图像由RGB颜色空间转换至YCbCr颜色空间，得到第二目标样本图像；
第二提取模块，用于提取所述第一目标样本图像Y通道对应的亮度图像特征和所述第二目标样本图像Y通道对应的亮度图像特征。
可选地，所述装置800还包括如下用于获取所述样本高分辨率高质图像和所述样本低分辨率低质图像的模块：
采集模块，用于采集多个高分辨率高质视频和多个低分辨率低质视频；
第一选择模块，用于针对每一高分辨率高质视频，将该高分辨率高质视频对应的每一帧图像进行图像分割，以得到多个第一图像块，并在所述多个第一图像块中，选取像素值满足预设条件的目标第一图像块作为样本高分辨率高质图像；
第二选择模块，用于针对每一低分辨率低质视频，将该低分辨率低质视频对应的每一帧图像进行图像分割，以得到多个第二图像块，并在所述多个第二图像块中，选取像素值满足所述预设条件的目标第二图像块作为样本低分辨率低质图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于同一发明构思，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现上述任一图像退化处理方法的步骤。
基于同一发明构思，本公开实施例还提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述任一图像退化处理方法的步骤。
下面参考图9，其示出了适于用来实现本公开实施例的电子设备900的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储装置908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，可以利用诸如HTTP(HyperText Transfer Protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取高分辨率高质图像；对所述高分辨率高质图像降采样，以得到低分辨率高质图像；将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例一提供一种图像退化处理方法，包括：
获取高分辨率高质图像；
对所述高分辨率高质图像降采样，以得到低分辨率高质图像；
将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；
所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
根据本公开的一个或多个实施例，示例二提供示例一的方法，所述图像退化模型包括图像退化模块、图像退化去除模块、第一判别器和第二判别器；
所述图像退化模块用于根据输入的所述样本低分辨率高质图像的亮度图像特征进行图像退化处理，并输出所述样本低分辨率高质图像对应的模拟低分辨率低质图像的亮度图像特征；
所述图像退化去除模块用于根据输入的所述样本低分辨率低质图像的亮度图像特征进行图像修复处理，并输出所述样本低分辨率低质图像对应的模拟低分辨率高质图像的亮度图像特征；
所述第一判别器用于根据输入的所述模拟低分辨率高质图像的亮度图像特征和所述样本低分辨率高质图像的亮度图像特征进行模型训练；
所述第二判别器用于根据输入的所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征进行模型训练。
根据本公开的一个或多个实施例，示例三提供了示例二的方法，所述图像退化模型的训练过程包括：
针对所述模拟低分辨率高质图像的亮度图像特征、所述样本低分辨率高质图像的亮度图像特征、所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征，提取低频信号，以得到目标数据集；
根据所述目标数据集包括的图像特征对所述图像退化模型进行训练。
根据本公开的一个或多个实施例，示例四提供了示例三的方法，所述提取低频信号包括：
通过高斯低通滤波器提取低频信号或通过哈尔小波变换提取低频信号。
根据本公开的一个或多个实施例，示例五提供了示例三的方法，所述根据所述目标数据集包括的图像特征对所述图像退化模型进行训练，包括：
按照如下方式计算损失函数：
Lcont＝λ1||G(Z)l-Zl||1+λ2||F(X)l-Xl||1
其中，Lcont表示损失函数，λ1和λ2表示预设权重值，G(Z)l表示从模拟低分辨率低质图像的亮度图像特征中提取的低频信号，Zl表示从样本低分辨率高质图像的亮度图像特征中提取的低频信号，F(X)l表示从模拟低分辨率高质图像的亮度图像特征中提取的低频信号，Xl表示从样本低分辨率低质图像的亮度图像特征中提取的低频信号；
根据所述损失函数调整所述图像退化模型的参数。
根据本公开的一个或多个实施例，示例六提供了示例一至五任一项的方法，所述样本低分辨率高质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征是通过如下方式得到的：
将所述样本低分辨率高质图像由RGB颜色空间转换至YCbCr颜色空间，得到第一目标样本图像，并将所述样本低分辨率低质图像由RGB颜色空间转换至YCbCr颜色空间，得到第二目标样本图像；
提取所述第一目标样本图像Y通道对应的亮度图像特征和所述第二目标样本图像Y通道对应的亮度图像特征。
根据本公开的一个或多个实施例，示例六提供了示例一至五任一项的方法，所述样本高分辨率高质图像和所述样本低分辨率低质图像是通过如下方式得到的：
采集多个高分辨率高质视频和多个低分辨率低质视频；
针对每一高分辨率高质视频，将该高分辨率高质视频对应的每一帧图像进行图像分割，以得到多个第一图像块，并在所述多个第一图像块中，选取像素值满足预设条件的目标第一图像块作为样本高分辨率高质图像；
针对每一低分辨率低质视频，将该低分辨率低质视频对应的每一帧图像进行图像分割，以得到多个第二图像块，并在所述多个第二图像块中，选取像素值满足所述预设条件的目标第二图像块作为样本低分辨率低质图像。
根据本公开的一个或多个实施例，示例八提供了一种图像退化处理装置，包括：
获取模块，用于获取高分辨率高质图像；
第一处理模块，用于对所述高分辨率高质图像降采样，以得到低分辨率高质图像；
第二处理模块，用于将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；
所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频。
根据本公开的一个或多个实施例，示例九提供示例八的装置，所述图像退化模型包括图像退化模块、图像退化去除模块、第一判别器和第二判别器；
所述图像退化模块用于根据输入的所述样本低分辨率高质图像的亮度图像特征进行图像退化处理，并输出所述样本低分辨率高质图像对应的模拟低分辨率低质图像的亮度图像特征；
所述图像退化去除模块用于根据输入的所述样本低分辨率低质图像的亮度图像特征进行图像修复处理，并输出所述样本低分辨率低质图像对应的模拟低分辨率高质图像的亮度图像特征；
所述第一判别器用于根据输入的所述模拟低分辨率高质图像的亮度图像特征和所述样本低分辨率高质图像的亮度图像特征进行模型训练；
所述第二判别器用于根据输入的所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征进行模型训练。
根据本公开的一个或多个实施例，示例十提供了示例九的装置，还包括用于训练图像退化模型的如下模块：
提取模块，用于针对所述模拟低分辨率高质图像的亮度图像特征、所述样本低分辨率高质图像的亮度图像特征、所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征，提取低频信号，以得到目标数据集；
训练模块，用于根据所述目标数据集包括的图像特征对所述图像退化模型进行训练。
根据本公开的一个或多个实施例，示例十一提供了示例十的装置，所述提取模块用于：
通过高斯低通滤波器提取低频信号或通过哈尔小波变换提取低频信号。
根据本公开的一个或多个实施例，示例十二提供了示例十的装置，所述训练模块用于：
按照如下方式计算损失函数：
Lcont＝λ1||G(Z)l-Zl||1+λ2||F(X)l-Xl||1
其中，Lcont表示损失函数，λ1和λ2表示预设权重值，G(Z)l表示从模拟低分辨率低质图像的亮度图像特征中提取的低频信号，Zl表示从样本低分辨率高质图像的亮度图像特征中提取的低频信号，F(X)l表示从模拟低分辨率高质图像的亮度图像特征中提取的低频信号，Xl表示从样本低分辨率低质图像的亮度图像特征中提取的低频信号；
根据所述损失函数调整所述图像退化模型的参数。
根据本公开的一个或多个实施例，示例十三提供了示例八至十二任一项的装置，还包括如下用于提取样本低分辨率高质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征的模块：
第一提取模块，用于将所述样本低分辨率高质图像由RGB颜色空间转换至YCbCr颜色空间，得到第一目标样本图像，并将所述样本低分辨率低质图像由RGB颜色空间转换至YCbCr颜色空间，得到第二目标样本图像；
第二提取模块，用于提取所述第一目标样本图像Y通道对应的亮度图像特征和所述第二目标样本图像Y通道对应的亮度图像特征。
根据本公开的一个或多个实施例，示例十四提供了示例八至十二任一项的装置，还包括如下用于获取所述样本高分辨率高质图像和所述样本低分辨率低质图像的模块：
采集模块，用于采集多个高分辨率高质视频和多个低分辨率低质视频；
第一选择模块，用于针对每一高分辨率高质视频，将该高分辨率高质视频对应的每一帧图像进行图像分割，以得到多个第一图像块，并在所述多个第一图像块中，选取像素值满足预设条件的目标第一图像块作为样本高分辨率高质图像；
第二选择模块，用于针对每一低分辨率低质视频，将该低分辨率低质视频对应的每一帧图像进行图像分割，以得到多个第二图像块，并在所述多个第二图像块中，选取像素值满足所述预设条件的目标第二图像块作为样本低分辨率低质图像。
根据本公开的一个或多个实施例，示例十五提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例一至七中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例十六提供了一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例一至七中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
Claims (8)
1.一种图像退化处理方法，其特征在于，所述方法包括：
获取高分辨率高质图像；
对所述高分辨率高质图像降采样，以得到低分辨率高质图像；
将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的，其中，所述图像退化模型的训练过程包括：针对模拟低分辨率高质图像的亮度图像特征、所述样本低分辨率高质图像的亮度图像特征、所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征，提取低频信号，以得到目标数据集；根据所述目标数据集包括的图像特征对所述图像退化模型进行训练；
所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频；
其中，所述样本高分辨率高质图像和所述样本低分辨率低质图像是通过如下方式得到的：
采集多个高分辨率高质视频和多个低分辨率低质视频；
针对每一高分辨率高质视频，将该高分辨率高质视频对应的每一帧图像进行图像分割，以得到多个第一图像块，并在所述多个第一图像块中，选取像素值满足预设条件的目标第一图像块作为样本高分辨率高质图像，所述预设条件为图像块中像素值的方差大于或等于预设阈值，或所述预设条件为图像块中的像素点的低频特征所对应的均值或方差大于或等于预设阈值；
针对每一低分辨率低质视频，将该低分辨率低质视频对应的每一帧图像进行图像分割，以得到多个第二图像块，并在所述多个第二图像块中，选取像素值满足所述预设条件的目标第二图像块作为样本低分辨率低质图像。
2.根据权利要求1所述的方法，其特征在于，所述图像退化模型包括图像退化模块、图像退化去除模块、第一判别器和第二判别器；
所述图像退化模块用于根据输入的所述样本低分辨率高质图像的亮度图像特征进行图像退化处理，并输出所述样本低分辨率高质图像对应的模拟低分辨率低质图像的亮度图像特征；
所述图像退化去除模块用于根据输入的所述样本低分辨率低质图像的亮度图像特征进行图像修复处理，并输出所述样本低分辨率低质图像对应的模拟低分辨率高质图像的亮度图像特征；
所述第一判别器用于根据输入的所述模拟低分辨率高质图像的亮度图像特征和所述样本低分辨率高质图像的亮度图像特征进行模型训练；
所述第二判别器用于根据输入的所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征进行模型训练。
3.根据权利要求1所述的方法，其特征在于，所述提取低频信号包括：
通过高斯低通滤波器提取低频信号或通过哈尔小波变换提取低频信号。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据集包括的图像特征对所述图像退化模型进行训练，包括：
按照如下方式计算损失函数：
Lcont＝λ1G(Z)l-Zl1+λ2F(X)l-Xl1
其中，Lcont表示损失函数，λ1和λ2表示预设权重值，G(Z)l表示从模拟低分辨率低质图像的亮度图像特征中提取的低频信号，Zl表示从样本低分辨率高质图像的亮度图像特征中提取的低频信号，F(X)l表示从模拟低分辨率高质图像的亮度图像特征中提取的低频信号，Xl表示从样本低分辨率低质图像的亮度图像特征中提取的低频信号；
根据所述损失函数调整所述图像退化模型的参数。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述样本低分辨率高质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征是通过如下方式得到的：
将所述样本低分辨率高质图像由RGB颜色空间转换至YCbCr颜色空间，得到第一目标样本图像，并将所述样本低分辨率低质图像由RGB颜色空间转换至YCbCr颜色空间，得到第二目标样本图像；
提取所述第一目标样本图像Y通道对应的亮度图像特征和所述第二目标样本图像Y通道对应的亮度图像特征。
6.一种图像退化处理装置，其特征在于，所述装置包括：
获取模块，用于获取高分辨率高质图像；
第一处理模块，用于对所述高分辨率高质图像降采样，以得到低分辨率高质图像；
第二处理模块，用于将所述低分辨率高质图像输入图像退化模型，以得到低分辨率低质图像，所述图像退化模型是根据样本低分辨率高质图像的亮度图像特征和样本低分辨率低质图像的亮度图像特征训练得到的，所述样本低分辨率高质图像是对样本高分辨率高质图像降采样而得到的；所述低分辨率低质图像用于训练超分辨重建网络，所述超分辨重建网络用于对输入的低分辨率低质视频进行修复，以得到高分辨率高质视频；
其中，所述样本高分辨率高质图像和所述样本低分辨率低质图像是通过如下方式得到的：
采集多个高分辨率高质视频和多个低分辨率低质视频；
针对每一高分辨率高质视频，将该高分辨率高质视频对应的每一帧图像进行图像分割，以得到多个第一图像块，并在所述多个第一图像块中，选取像素值满足预设条件的目标第一图像块作为样本高分辨率高质图像，所述预设条件为图像块中像素值的方差大于或等于预设阈值，或所述预设条件为图像块中的像素点的低频特征所对应的均值或方差大于或等于预设阈值；
针对每一低分辨率低质视频，将该低分辨率低质视频对应的每一帧图像进行图像分割，以得到多个第二图像块，并在所述多个第二图像块中，选取像素值满足所述预设条件的目标第二图像块作为样本低分辨率低质图像；所述图像退化模型的训练过程包括：针对模拟低分辨率高质图像的亮度图像特征、所述样本低分辨率高质图像的亮度图像特征、所述模拟低分辨率低质图像的亮度图像特征和所述样本低分辨率低质图像的亮度图像特征，提取低频信号，以得到目标数据集；根据所述目标数据集包括的图像特征对所述图像退化模型进行训练。
7.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-5中任一项所述方法的步骤。
8.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011308390.0A CN112419151B (zh) | 2020-11-19 | 2020-11-19 | 图像退化处理方法、装置、存储介质及电子设备 |
| PCT/CN2021/129431 WO2022105638A1 (zh) | 2020-11-19 | 2021-11-09 | 图像退化处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011308390.0A CN112419151B (zh) | 2020-11-19 | 2020-11-19 | 图像退化处理方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419151A CN112419151A (zh) | 2021-02-26 |
| CN112419151B true CN112419151B (zh) | 2023-07-21 |
Family
ID=74773271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011308390.0A Active CN112419151B (zh) | 2020-11-19 | 2020-11-19 | 图像退化处理方法、装置、存储介质及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112419151B (zh) |
| WO (1) | WO2022105638A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419151B (zh) * | 2020-11-19 | 2023-07-21 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| CN113160079A (zh) * | 2021-04-13 | 2021-07-23 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法、人像修复方法和装置 |
| CN113222855B (zh) * | 2021-05-28 | 2023-07-11 | 北京有竹居网络技术有限公司 | 一种图像恢复方法、装置和设备 |
| CN113222144B (zh) * | 2021-05-31 | 2022-12-27 | 北京有竹居网络技术有限公司 | 图像修复模型的训练方法及图像修复方法、装置及设备 |
| CN113411521B (zh) * | 2021-06-23 | 2022-09-09 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN115471398B (zh) * | 2022-08-31 | 2023-08-15 | 北京科技大学 | 图像超分辨率方法、***、终端设备及存储介质 |
| CN115439449B (zh) * | 2022-09-06 | 2023-05-09 | 抖音视界有限公司 | 全视野组织学图像的处理方法、装置、介质和电子设备 |
| CN116912148B (zh) * | 2023-09-12 | 2024-01-05 | 深圳思谋信息科技有限公司 | 图像增强方法、装置、计算机设备及计算机可读存储介质 |
| CN117499558A (zh) * | 2023-11-02 | 2024-02-02 | 北京市燃气集团有限责任公司 | 一种视频图像优化处理方法及装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN106709875B (zh) * | 2016-12-30 | 2020-02-18 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN107248140A (zh) * | 2017-04-27 | 2017-10-13 | 东南大学 | 一种基于双向对齐稀疏表示的单幅图像超分辨率重建方法 |
| CN107492070B (zh) * | 2017-07-10 | 2019-12-03 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN108022212B (zh) * | 2017-11-24 | 2022-07-01 | 腾讯科技（深圳）有限公司 | 高分辨率图片生成方法、生成装置及存储介质 |
| CN109285119A (zh) * | 2018-10-23 | 2019-01-29 | 百度在线网络技术（北京）有限公司 | 超分辨图像生成方法及装置 |
| CN110120011B (zh) * | 2019-05-07 | 2022-05-31 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
| CN111127317B (zh) * | 2019-12-02 | 2023-07-25 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、存储介质和计算机设备 |
| CN111179177B (zh) * | 2019-12-31 | 2024-03-26 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
| CN111127325B (zh) * | 2019-12-31 | 2020-11-24 | 珠海大横琴科技发展有限公司 | 基于循环神经网络的卫星视频超分辨率重建方法及*** |
| CN111192219B (zh) * | 2020-01-02 | 2022-07-26 | 南京邮电大学 | 一种基于改进的逆大气散射模型卷积网络的图像去雾方法 |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN111667442B (zh) * | 2020-05-21 | 2022-04-01 | 武汉大学 | 一种基于事件相机的高质量高帧率图像重建方法 |
| CN112419151B (zh) * | 2020-11-19 | 2023-07-21 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
-
2020
- 2020-11-19 CN CN202011308390.0A patent/CN112419151B/zh active Active
-
2021
- 2021-11-09 WO PCT/CN2021/129431 patent/WO2022105638A1/zh active Application Filing
Non-Patent Citations (1)
| Title |
|---|
| 田岩 ; 谢玉波 ; 史文中 ; 彭复员 ; 柳健 ; .基于局部方差的多分辨率图像分割方法.***工程与电子技术.2006,(第12期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022105638A1 (zh) | 2022-05-27 |
| CN112419151A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419151B (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
| CN111193923B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| CN112767251B (zh) | 基于多尺度细节特征融合神经网络的图像超分辨率方法 | |
| CN110738605A (zh) | 基于迁移学习的图像去噪方法、***、设备及介质 | |
| CN111127331B (zh) | 基于像素级全局噪声估计编解码网络的图像去噪方法 | |
| CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
| CN111738951B (zh) | 图像处理方法及装置 | |
| Chen et al. | Naturalization module in neural networks for screen content image quality assessment | |
| CN113962859B (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN112200732B (zh) | 一种清晰特征融合的视频去模糊方法 | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| CN110689478B (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
| WO2020231016A1 (en) | Image optimization method, apparatus, device and storage medium | |
| CN113538304B (zh) | 图像增强模型的训练方法及装置、图像增强方法及装置 | |
| CN111738950B (zh) | 图像处理方法及装置 | |
| WO2023179360A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111383299B (zh) | 图像的处理方法、装置及计算机可读存储介质 | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| CN112801997B (zh) | 图像增强质量评估方法、装置、电子设备及存储介质 | |
| CN111815535B (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| CN114972021A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| WO2020241337A1 (ja) | 画像処理装置 | |
| CN114170082A (zh) | 视频播放、图像处理和模型训练方法、装置以及电子设备 | |
| CN113706400A (zh) | 图像矫正方法、装置、显微镜图像的矫正方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |