CN113554058A - 视觉目标图像分辨率增强的方法、***、装置及存储介质 - Google Patents
视觉目标图像分辨率增强的方法、***、装置及存储介质 Download PDFInfo
- Publication number
- CN113554058A CN113554058A CN202110698882.3A CN202110698882A CN113554058A CN 113554058 A CN113554058 A CN 113554058A CN 202110698882 A CN202110698882 A CN 202110698882A CN 113554058 A CN113554058 A CN 113554058A
- Authority
- CN
- China
- Prior art keywords
- resolution
- face image
- samples
- face
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 17
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 29
- 230000008707 rearrangement Effects 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract 1
- 230000004913 activation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视觉目标图像分辨率增强的方法、***、装置及存储介质，该方法包括：采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，人脸图像超分辨率模型的训练方法，包括：采集训练样本，训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；根据训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。本发明通过训练好的人脸图像超分辨率模型实现人脸属性先验指导低分辨率人脸图像增强并恢复人脸图像的高频信息，以使输出的高分辨率人脸图像包含更多的人脸面部结构细节，提高人脸图像的清晰度。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种视觉目标图像分辨率增强的方法、***、装置及存储介质。
背景技术
近些年来，随着人们对图像和视频质量要求的不断提高，如何提升图像和视频质量成为了日益重要的问题。图像超分辨率旨在对低分辨率图像进行修复，使图像包含更多的细节信息，以提高图像的清晰度。这项技术有着重要的实用意义，例如在安全监控领域，监控视频采集设备由于成本限制，获取到的是缺乏有效信息的视频帧，而安全监控极大依赖于信息明确的高分辨率图像。采用图像超分辨率技术，能够增加视频帧的细节。这些信息的补充能够为打击犯罪提供有效证据。目前，将图像超分辨率作为前期预处理技术，能够有效地提升安全领域中的目标检测、人脸识别及异常预警等任务的精度。
以前图像超分辨率使用的的方法是基于插值或者基于重建的方法。基于插值方式的图像超分辨率是超分辨率领域中最先应用的算法，这类算法基于固定的多项式计算模式，由已有的像素值推算出插值位置的像素值，例如双线性插值、双立方插值和Lanczos缩放。基于重建的方法采用严格的先验知识作为约束，在约束空间内找到合适的重建函数，从而重建出具有细节信息的高分辨率图像。这些算法通常会陷入图像过于平滑的问题，不能很好地恢复图像的纹理细节。
近年来，随着深度学习以及卷积神经网络的发展，图像超分辨率技术取得了巨大的突破，对人脸图像超分辨率的研究也受到越来越多研究人员的关注。然而，在一些结合人脸属性的工作只是在浅层特征上串联人脸属性信息，而人脸图像是高度结构化且具有对称性的特殊图像，深层的特征更能表示人脸图像的结构信息。目前，现有模型均通过沙漏网络、残差网络或者是自动编码器等结构进行模型的构建，这些结构不足以支撑深层的模型搭建，均局限于简单的特征提取网络结构。
发明内容
本发明提供了一种视觉目标图像分辨率增强的方法、***、装置及存储介质，可以进一步结合属性信息与深层面部结构特征，构建更深层次的网络，使其能够基于特定的人脸属性先验获取清晰度高的人脸图像，以解决或者至少部分解决上述技术问题。
为达此目的，本发明采用以下技术方案：
第一方面，提供了一种视觉目标图像分辨率增强的方法，包括：
采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练方法，包括：
采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；
根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
可选地，所述采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本，包括：
采集高分辨率人脸图像样本，采用人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；
采用图像缩放算法对所述高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；
采用人脸图像数据集CelebA中的有助于人脸图像超分辨率的属性，作为对应的人脸属性样本，选取其中预设数量人脸属性样本。
可选地，所述根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型，包括：
获取低分辨率人脸图像样本和对应的预设数量人脸属性样本；
基于卷积神经网络对所述低分辨率人脸图像提取浅层特征，生成低分辨率人脸图像特征；
结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征；
采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征；
采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像；
基于预设损失函数对重建后的高分辨率人脸图像与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。
可选地，所述结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征，包括：
编码器使用最大池化的操作下采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数；
解码器使用反卷积进行上采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数。
可选地，所述采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征，包括：
对预设数量人脸属性变量输入的特征图进行尺寸变换；
将所述人脸图像的结构特征与人脸属性变量在通道维度串联起来；
将串联起来的特征图通过卷积核大小为3的卷积层进行通道数压缩；
将压缩通道数后的所述特征通过双重残差密集连接网络，提取深层特征。
可选地，所述采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像，包括：
基于像素重排，通过一层卷积操作，将通道数扩大为原来的4倍，然后利用通道特定位置重排之后，获得特征尺度扩大2倍而通道数降为与输入一致的结果；其中，在模型的实现当中，针对×4放大系数模型，级联两个像素重排上采样模块以获取4倍放大的输出特征；
采用2个卷积核大小为3的卷积层，重建出高分辨率人脸图像。
可选地，所述采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像，包括：
将低分辨率人脸图像输入人脸结构特征提取模型，得到人脸结构特征；
将所述人脸结构特征与人脸属性变量进行串联，输入后续人脸图像超分辨率模型，输出高分辨率人脸图像。
第二方面，提供了一种视觉目标图像分辨率增强的***，包括：
输出模块，用于采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练模块，包括：
采集子模块，用于采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；
模型建立子模块，用于根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
可选地，所述采集子模块包括：
采集单元，用于采集高分辨率人脸图像样本，采用公开的大规模人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；
采样单元，用于采用图像缩放算法对所述高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；
选取单元，用于采用人脸图像数据集CelebA中的有助于人脸图像超分辨率的属性，作为对应的人脸属性样本，选取其中预设数量人脸属性样本。其中，预设数量可以是十个。
可选地，所述模型建立子模块包括：
获取单元，用于获取低分辨率人脸图像样本和对应的预设数量人脸属性样本；
第一提取单元，用于基于卷积神经网络对所述低分辨率人脸图像提取浅层特征，生成低分辨率人脸图像特征；
编码与解码单元，用于结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征；
第二提取单元，用于采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征；
重建单元，用于采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像；
模型建立单元，用于基于预设损失函数对重建后的高分辨率人脸图像与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。
可选地，所述自动编码器设有编码器和解码器，所述编码与解码单元包括：
编码子单元，用于浅层特征提取后，通过使用最大池化的操作下采样，再使用2个卷积核大小为3的卷积层扩张特征通道数；
解码子单元，用于所述人脸属性变量输入前，通过使用反卷积进行上采样，再使用2个卷积核大小为3的卷积层扩张特征通道数。
可选地，所述第二提取单元包括：
变换子单元，用于对预设数量人脸属性变量输入的特征图进行尺寸变换；
串联子单元，用于将所述人脸图像的结构特征与人脸属性变量在通道维度串联起来；
压缩子单元，用于将串联起来的特征图通过卷积核大小为3的卷积层进行通道数压缩；
提取子单元，用于将压缩通道数后的所述特征通过双重残差密集连接网络，提取深层特征。
可选地，所述重建单元包括：
重排子单元，用于基于像素重排，通过一层卷积操作，将通道数扩大为原来的4倍，然后利用通道特定位置重排之后，获得特征尺度扩大2倍而通道数降为与输入一致的结果；其中，在模型的实现当中，针对×4放大系数模型，级联两个像素重排上采样模块以获取4倍放大的输出特征；
重建子单元，用于采用2个卷积核大小为3的卷积层，重建出高分辨率人脸图像。
可选地，所述输出模块包括：
提取子模块，用于将低分辨率人脸图像输入人脸结构特征提取模型，得到人脸结构特征；
输出子模块，用于将所述人脸结构特征与人脸属性变量进行串联，输入后续人脸图像超分辨率模型，输出高分辨率人脸图像。
第三方面，提供了一种装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行如上所述视觉目标图像分辨率增强的方法。
第四方面，提供了一种存储介质，存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述视觉目标图像分辨率增强的方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例提供的一种视觉目标图像分辨率增强的方法、***、装置及存储介质，采用包含高分辨率人脸图像样本、低分辨率人脸图像样本和其对应的预设数量人脸属性样本的训练样本，基于预设损失函数建立的人脸图像超分辨率模型对获取的待处理的低分辨率人脸图像进行分辨率处理能够准确和高效的实现对由低分辨率人脸图像恢复为高分辨率人脸图像的效果，能够基于特定的人脸属性先验获取清晰度更高的人脸图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。
图1是本发明实施例提供的视觉目标图像分辨率增强的方法步骤流程示意图；
图2是本发明实施例提供的视觉目标图像分辨率增强的***结构框图；
图3是本发明实施例中基于重建损失的人脸图像超分辨率模型的流程示意图；
图4是本发明实施例中基于对抗损失的人脸图像超分辨率模型的流程示意图；
图5是本发明实施例中重排子单元操作细节示意图；
图6是本发明实施例中经过筛选的有助于人脸图像超分辨率的属性。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供了一种视觉目标图像分辨率增强的方法，该方法包括以下步骤：
S3、采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，人脸图像超分辨率模型的训练方法，包括：
S1、采集训练样本，训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；可选地，预设数量为十个；
S2、根据训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
作为本实施例的一种可选实施方式，步骤S1包括：
S11、采集高分辨率人脸图像样本，采用人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；
S12、采用图像缩放算法对高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；
S13、采用人脸图像数据集CelebA中的有助于人脸图像超分辨率的属性，作为对应的人脸属性样本，选取其中预设数量人脸属性样本。
因此，可以根据高分辨率人脸图像样本、低分辨率人脸图像样本和其对应的预设数量人脸属性样本建立训练样本。
作为本实施例的一种可选实施方式，步骤S2包括：
S21、获取低分辨率人脸图像样本和对应的预设数量人脸属性样本；
S22、基于卷积神经网络对低分辨率人脸图像提取浅层特征，生成低分辨率人脸图像特征；
S23、结合自动编码器，对低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征；
S24、采用双重残差密集连接网络对人脸图像的结构特征与对应的预设数量人脸属性的串联进行提取深层特征；
S25、采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像；
S26、基于预设损失函数对重建后的高分辨率人脸图像与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。
作为本实施例的一种可选实施方式，自动编码器设有编码器和解码器，步骤S23包括：
S231、编码器使用最大池化的操作下采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数；
S232、解码器使用反卷积进行上采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数。
作为本实施例的一种可选实施方式，步骤S24包括：
S241、对预设数量人脸属性变量输入的特征图进行尺寸变换；
S242、将人脸图像的结构特征与人脸属性变量在通道维度串联起来；
S243、将串联起来的特征图通过卷积核大小为3的卷积层进行通道数压缩；
S244、将压缩通道数后的特征通过双重残差密集连接网络，提取深层特征。
作为本实施例的一种可选实施方式，步骤S25包括：
S251、基于像素重排，通过一层卷积操作，将通道数扩大为原来的4倍，然后利用通道特定位置重排之后，获得特征尺度扩大2倍而通道数降为与输入一致的结果；其中，在模型的实现当中，针对×4放大系数模型，级联两个像素重排上采样模块以获取4倍放大的输出特征；
S252、采用2个卷积核大小为3的卷积层，重建出高分辨率人脸图像。
作为本实施例的一种可选实施方式，步骤S3包括：
S31、将低分辨率人脸图像输入人脸结构特征提取模型，得到人脸结构特征；
S32、将人脸结构特征与人脸属性变量进行串联，输入后续人脸图像超分辨率模型，输出高分辨率人脸图像。
因此，本实施例提供的视觉目标图像分辨率增强的方法，采用包含高分辨率人脸图像样本、低分辨率人脸图像样本和其对应的预设数量人脸属性样本的训练样本，基于预设损失函数建立的人脸图像超分辨率模型对获取的待处理的低分辨率人脸图像进行分辨率处理能够准确和高效的实现对由低分辨率人脸图像恢复为高分辨率人脸图像的效果，能够基于特定的人脸属性先验获取清晰度更高的人脸图像。
实施例2
如图2所示，本实施例提供一种视觉目标图像分辨率增强的***，可用于实现实施例1提供的方法，该***包括：
输出模块20，用于采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，人脸图像超分辨率模型的训练模块10，包括：
采集子模块11，用于采集训练样本，训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；
模型建立子模块12，用于根据训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
作为本实施例的一种可选实施方式，采集子模块11包括：
采集单元，用于采集高分辨率人脸图像样本，采用公开的大规模人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；
采样单元，用于采用图像缩放算法对高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；
选取单元，用于采用人脸图像数据集CelebA中的有助于人脸图像超分辨率的属性，作为对应的人脸属性样本，选取其中预设数量人脸属性样本。其中，预设数量可以是十个。
作为本实施例的一种可选实施方式，模型建立子模块12包括：
获取单元，用于获取低分辨率人脸图像样本和对应的预设数量人脸属性样本；
第一提取单元，用于基于卷积神经网络对低分辨率人脸图像提取浅层特征，生成低分辨率人脸图像特征；
编码与解码单元，用于结合自动编码器，对低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征；
第二提取单元，用于采用双重残差密集连接网络对人脸图像的结构特征与对应的预设数量人脸属性的串联进行提取深层特征；
重建单元，用于采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像；
模型建立单元，用于基于预设损失函数对重建后的高分辨率人脸图像与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。
作为本实施例的一种可选实施方式，自动编码器设有编码器和解码器，编码与解码单元包括：
编码子单元，用于浅层特征提取后，通过使用最大池化的操作下采样，再使用2个卷积核大小为3的卷积层扩张特征通道数；
解码子单元，用于人脸属性变量输入前，通过使用反卷积进行上采样，再使用2个卷积核大小为3的卷积层扩张特征通道数。
作为本实施例的一种可选实施方式，第二提取单元包括：
变换子单元，用于对预设数量人脸属性变量输入的特征图进行尺寸变换；
串联子单元，用于将人脸图像的结构特征与人脸属性变量在通道维度串联起来；
压缩子单元，用于将串联起来的特征图通过卷积核大小为3的卷积层进行通道数压缩；
提取子单元，用于将压缩通道数后的特征通过双重残差密集连接网络，提取深层特征。
作为本实施例的一种可选实施方式，重建单元包括：
重排子单元，用于基于像素重排，通过一层卷积操作，将通道数扩大为原来的4倍，然后利用通道特定位置重排之后，获得特征尺度扩大2倍而通道数降为与输入一致的结果；其中，在模型的实现当中，针对×4放大系数模型，级联两个像素重排上采样模块以获取4倍放大的输出特征；
重建子单元，用于采用2个卷积核大小为3的卷积层，重建出高分辨率人脸图像。
作为本实施例的一种可选实施方式，输出模块20包括：
提取子模块，用于将低分辨率人脸图像输入人脸结构特征提取模型，得到人脸结构特征；
输出子模块，用于将人脸结构特征与人脸属性变量进行串联，输入后续人脸图像超分辨率模型，输出高分辨率人脸图像。
因此，本实施例提供的视觉目标图像分辨率增强的***，采用包含高分辨率人脸图像样本、低分辨率人脸图像样本和其对应的预设数量人脸属性样本的训练样本，基于预设损失函数建立的人脸图像超分辨率模型对获取的待处理的低分辨率人脸图像进行分辨率处理能够准确和高效的实现对由低分辨率人脸图像恢复为高分辨率人脸图像的效果，能够基于特定的人脸属性先验获取清晰度更高的人脸图像。
实施例3
本实施例提供一种装置，该装置包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上述实施例1的一种视觉目标图像分辨率增强的方法的步骤。
实施例4
一种存储介质，其中存储有处理器可执行的程序，处理器执行的程序在由处理器执行时用于执行如实施例1的一种视觉目标图像分辨率增强的方法步骤。
实施例5
参照图3至图6所示，提供了一种视觉目标图像分辨率增强的方法流程图，其具体包括以下步骤：
A、采集训练样本，训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本和其对应的十个人脸属性样本；
B、根据采集的训练样本，建立人脸图像超分辨率模型；
C、获取待处理的低分辨率人脸图像以及其对应的人脸属性；
D、通过人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像。
其中，步骤A的具体实施方案是：
A1、获取公开的大规模人脸图像数据集CelebA作为训练数据集。数据集有202599张人脸图像构成，这个数据集包含对齐和非对齐两个子数据集，这些数据均含有人工标注信息，对齐的子集包含眼睛鼻子嘴巴在内的5个特征点，每张数据包含40个属性标签。选取对齐的人脸数据子集作为训练集和测试集，通过筛选有助于人脸图像超分辨率的属性，选取出图4所示的10个属性。由于原始人脸图片存在大量背景区域，为了更好地提取人脸的特征信息，首先将这些图片通过中心切割的方式，切割出长宽均为120的人脸图像作为目标高分辨率图像。
A2、使用MATLAB的“imresize”函数对高分辨率人脸图像进行4倍的双立方下采样，得到对应的低分辨率人脸图像，其大小为30×30，构成{IHR,ILR,var}的三元训练数据集。采用水平或竖直翻转，90°旋转以及随机切取图像块作为数据增强的方式。
步骤B的具体实施方案是：
B1、将低分辨率人脸图像作为网络输入，记为ILR。
B2、使用浅层特征提取模块Netfea对输入的图像进行浅层特征提取，所得到的特征包含64个通道，大小与输入的图片大小相同。浅层特征提取模块由一个3×3卷积层，以及一个激活函数组成。浅层特征提取模块的特征可以同如下公式表示：
FLR＝Netfea(ILR)
B3、使用人脸结构特征提取模块，该模块将浅层特征FLR输入自动编码器，通过编码压缩和解码还原的操作来获取人脸图像的结构特征Fstc。编码器使用的是最大池化的操作下采样，解码器使用反卷积进行上采样，编码器和解码器都使用2个卷积核大小为3的卷积层扩张或压缩特征通道数。该模块可表示为：
Fstc＝NetDe(NetEn(FLR))
这里的NetDe和NetEn为结构一致，方向相反的编码器和解码器网络。
B4、使用深层特征提取模块处理指导的属性变量var与人脸图像结构特征Fstc在通道维度串联起来的特征，获得深层特征Fdeep。深层特征提取模块，由一层1×1卷积层以及双重残差密集连接网络组成。1×1卷积层用来压缩特征图通道数目。双重残差密集连接网络包含级联多个残差密集连接块，同时在每个密集连接块外部与多个级联块外部添加有跳跃连接。残差密连接块能够利用多层次的特征信息提升网络性能，构建深层次的网络，同时避免梯度消失问题。深度特征提取模块RRDB使用的卷积核大小均为3×3，默认通道数均为64。该过程可表示为：
Fdeep＝NetRRDB(conv(Fstc,var))
B5、用上采样模块从而重建出大尺度的特征FSR。上采样模块的操作是，在获取深层特征Fdeep之后，通过一层卷积操作，将通道数扩大为原来的4倍，然后利用通道特定位置重排之后获得特征尺度扩大2倍而通道数降为与输入一致的结果。在模型的实现当中，针对×4放大系数模型，级联两个像素重排上采样模块以获取4倍放大的输出特征。该模块可表示为：
FSR＝Netup(Fdeep)
B6、将放大后的特征FSR通过重建模块重建输出RGB三通道的超分辨率图像ISR。重建模块由两个3×3卷积层以及一个激活函数组成。该模块可表示为：
ISR＝Netrec(FSR)
B7、采用损失函数对重建后的高分辨率人脸图像ISR与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。这里分为两种情况，分别是基于重建损失和对抗损失的模型。
基于重建损失的模型，损失函数使用L1损失函数，计算网络生成的高分辨率人脸图像ISR与样本中真实的高分辨率人脸图像IHR之间的误差。损失函数能够约束生成图像更加接近于真实图像，L1损失函数的公式如下：
这里的N表示像素的总数目，数据集使用的是sRGB色彩空间的图形，所以像素的总数为N＝H×W×C。其中W，H，C分别表示高分辨率人脸图像的宽度，高度以及通道数目。设置好学习率，通过最小化损失函数误差来反向传播梯度，更新网络参数，不断迭代直至将网络训练到收敛。
基于对抗损失的模型，在基于重建损失的模型的基础上，加入了一个判别器结构。这个判别器分别将生成的超分辨率图像和真实图像输入VGG结构的判别器网络。该结构的特征提取块由卷积核大小为3和步长为1的卷积层，批量归一化层和LeakyReLU激活层组成，同时，该结构的尺度压缩块由卷积核大小为4和步长为2的卷积层，批量归一化层和LeakyReLU激活层组成。在经过多次特征提取块和尺度压缩块之后取得大小为4×4×c的特征，c是设置通道的超参数。接着，将对应的属性变量与判别器提出的特征进行串联，经过全连接层之后输出一个二值判定结果，用公式表示为：
{Vreal,Vfake}＝NetD({ISR,IHR},var)
加入判别器网络之后，模型变成了一种以属性为指导的条件生成式判别器网络，其生成器损失由三个部分构成：
LG＝λ1*Lrec+λ2*LVGG+λ3*Ladv
λ1，λ2和λ3分别对应这三个损失的权重。为了保证重建图像与真实图像在图像内容上尽量相似，通过重建损失在图像空间进行逐像素的约束，这里重建损失使用的是L1损失函数：
其中，N＝H×W×C表示图像的总像素，W，H，C分别表示高分辨率人脸图像的宽度，高度以及通道数目。
同时，为了增加图像的纹理信息，重建图像通过固定的分类网络VGG提取的特征信息应保证与真实图像的相似，使用感知损失来对其进行约束，感知损失定义如下：
这里，M＝H×W×C表示指定特征图的大小。
对抗损失目的是让重建图像和真实图像在分布上尽可能地趋近，其定义如下：
Ladv＝log(1-NetD(NetG(ILR,var)))
其中，var表示人脸的属性信息。
判别器损失，则是加入属性变量之后的匹配损失，采用正样本的损失来约束：
LD＝log(1-NetD(IHR,var))+log(NetD(NetG(ILR,var),var))
设置好学习率，通过最小化损失函数误差来反向传播梯度，更新网络参数，不断迭代直至将网络训练到收敛。
反向收敛训练时将batch size设为16，初始学习率设为10-4。在迭代训练的过程中，根据网络的收敛情况，在基于重建损失的模型上，当训练的迭代总数达到{2×105,4×105,6×105,8×105}时就对学习率进行折半衰减；在基于对抗损失的模型上，当训练的迭代总数达到{5×104,1×105,2×105,3×105}时就对学习率进行折半衰减。本实施例使用ADAM优化器来对模型进行反向梯度传播，其中ADAM的参数设置为β1＝0.9，β2＝0.999以及∈＝10-8。基于重建损失的模型使用L1损失函数，计算网络生成的高分辨率人脸图像ISR与原始的高分辨率人脸图像IHR之间的误差，通过最小化该误差来反向传播更新网络参数，不断迭代直至将网络训练至收敛。基于对抗损失的模型，使用L1损失函数保证重建图像与真实图像在图像内容上尽量相似，使用感知损失保证图像纹理信息与真实图像尽量相似，使用对抗损失让重建图像和真实图像在分布上尽可能地趋近，设置这些损失函数的系数，通过最小化这些误差和来反向传播更新网络参数，不断迭代直至将网络训练至收敛。
步骤C的方案具体为：
获取预先划分的CelebA测试数据集，数据集中包含多样的低分辨率人脸图像以及其对应的人脸属性变量。
步骤D的方案具体为：
将待恢复的CelebA测试数据集的低分辨率人脸图像输入训练好的人脸图像超分辨率模型中，通过人脸图像超分辨率模型对输入的CelebA测试数据集人脸图像进行步骤B的实施方案，在深层特征提取模块前，将提取到的人脸图像的结构特征与人脸属性变量串联起来，再经过后续网络的处理，即可输出高分辨率的人脸图像。
综上所述，本发明实施例提供的视觉目标图像分辨率增强的方法、***、装置及存储介质，采用包含高分辨率人脸图像样本、低分辨率人脸图像样本和其对应的预设数量人脸属性样本的训练样本，基于预设损失函数建立的人脸图像超分辨率模型对获取的待处理的低分辨率人脸图像进行分辨率处理能够准确和高效的实现对由低分辨率人脸图像恢复为高分辨率人脸图像的效果，能够基于特定的人脸属性先验获取清晰度更高的人脸图像。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种视觉目标图像分辨率增强的方法，其特征在于，包括：
采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练方法，包括：
采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；
根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
2.根据权利要求1所述的视觉目标图像分辨率增强的方法，其特征在于，所述采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本，包括：
采集高分辨率人脸图像样本，采用人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；
采用图像缩放算法对所述高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；
采用人脸图像数据集CelebA中的有助于人脸图像超分辨率的属性，作为对应的人脸属性样本，选取其中预设数量人脸属性样本。
3.根据权利要求2所述的视觉目标图像分辨率增强的方法，其特征在于，所述根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型，包括：
获取低分辨率人脸图像样本和对应的预设数量人脸属性样本；
基于卷积神经网络对所述低分辨率人脸图像提取浅层特征，生成低分辨率人脸图像特征；
结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征；
采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征；
采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像；
基于预设损失函数对重建后的高分辨率人脸图像与备份的高分辨率人脸图像样本反向收敛，建立人脸图像超分辨率模型。
4.根据权利要求3所述的视觉目标图像分辨率增强的方法，其特征在于，所述结合自动编码器，对所述低分辨率人脸图像特征通过编码压缩和解码还原的操作来获取人脸图像的结构特征，包括：
编码器使用最大池化的操作下采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数；
解码器使用反卷积进行上采样，使用2个卷积核大小为3的卷积层扩张或压缩特征通道数。
5.根据权利要求3所述的视觉目标图像分辨率增强的方法，其特征在于，所述采用双重残差密集连接网络对所述人脸图像的结构特征与所述对应的预设数量人脸属性的串联进行提取深层特征，包括：
对预设数量人脸属性变量输入的特征图进行尺寸变换；
将所述人脸图像的结构特征与人脸属性变量在通道维度串联起来；
将串联起来的特征图通过卷积核大小为3的卷积层进行通道数压缩；
将压缩通道数后的所述特征通过双重残差密集连接网络，提取深层特征。
6.根据权利要求3所述的视觉目标图像分辨率增强的方法，其特征在于，所述采用像素重排上采样将特征尺度扩大，重建高分辨率人脸图像，包括：
基于像素重排，通过一层卷积操作，将通道数扩大为原来的4倍，然后利用通道特定位置重排之后，获得特征尺度扩大2倍而通道数降为与输入一致的结果；其中，在模型的实现当中，针对×4放大系数模型，级联两个像素重排上采样模块以获取4倍放大的输出特征；
采用2个卷积核大小为3的卷积层，重建出高分辨率人脸图像。
7.根据权利要求1所述的视觉目标图像分辨率增强的方法，其特征在于，所述采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像，包括：
将低分辨率人脸图像输入人脸结构特征提取模型，得到人脸结构特征；
将所述人脸结构特征与人脸属性变量进行串联，输入后续人脸图像超分辨率模型，输出高分辨率人脸图像。
8.一种视觉目标图像分辨率增强的***，其特征在于，包括：
输出模块，用于采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练模块，包括：
采集子模块，用于采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；
模型建立子模块，用于根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。
9.一种装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行如权利要求1-7中任一项所述方法。
10.一种存储介质，其特征在于，存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110698882.3A CN113554058A (zh) | 2021-06-23 | 2021-06-23 | 视觉目标图像分辨率增强的方法、***、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110698882.3A CN113554058A (zh) | 2021-06-23 | 2021-06-23 | 视觉目标图像分辨率增强的方法、***、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113554058A true CN113554058A (zh) | 2021-10-26 |
Family
ID=78130832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110698882.3A Pending CN113554058A (zh) | 2021-06-23 | 2021-06-23 | 视觉目标图像分辨率增强的方法、***、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554058A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114238904A (zh) * | 2021-12-08 | 2022-03-25 | 马上消费金融股份有限公司 | 身份识别方法、双通道超分模型的训练方法及装置 |
| CN114781601A (zh) * | 2022-04-06 | 2022-07-22 | 北京科技大学 | 图像超分辨率方法及装置 |
| CN115358917A (zh) * | 2022-07-14 | 2022-11-18 | 北京汉仪创新科技股份有限公司 | 一种手绘风格非对齐人脸迁移方法、设备、介质和*** |
| CN115376188A (zh) * | 2022-08-17 | 2022-11-22 | 天翼爱音乐文化科技有限公司 | 一种视频通话处理方法、***、电子设备及存储介质 |
| CN116030048A (zh) * | 2023-03-27 | 2023-04-28 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
| CN111915484A (zh) * | 2020-07-06 | 2020-11-10 | 天津大学 | 基于密集匹配与自适应融合的参考图引导超分辨率方法 |
| CN112348743A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种融合判别式网络和生成式网络的图像超分辨率方法 |
-
2021
- 2021-06-23 CN CN202110698882.3A patent/CN113554058A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
| CN111915484A (zh) * | 2020-07-06 | 2020-11-10 | 天津大学 | 基于密集匹配与自适应融合的参考图引导超分辨率方法 |
| CN112348743A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种融合判别式网络和生成式网络的图像超分辨率方法 |
Non-Patent Citations (1)
| Title |
|---|
| 覃家宇: ""多尺度子网络及结合先验信息的单幅图像超分辨率研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114238904A (zh) * | 2021-12-08 | 2022-03-25 | 马上消费金融股份有限公司 | 身份识别方法、双通道超分模型的训练方法及装置 |
| CN114781601A (zh) * | 2022-04-06 | 2022-07-22 | 北京科技大学 | 图像超分辨率方法及装置 |
| CN115358917A (zh) * | 2022-07-14 | 2022-11-18 | 北京汉仪创新科技股份有限公司 | 一种手绘风格非对齐人脸迁移方法、设备、介质和*** |
| CN115358917B (zh) * | 2022-07-14 | 2024-05-07 | 北京汉仪创新科技股份有限公司 | 一种手绘风格非对齐人脸迁移方法、设备、介质和*** |
| CN115376188A (zh) * | 2022-08-17 | 2022-11-22 | 天翼爱音乐文化科技有限公司 | 一种视频通话处理方法、***、电子设备及存储介质 |
| CN115376188B (zh) * | 2022-08-17 | 2023-10-24 | 天翼爱音乐文化科技有限公司 | 一种视频通话处理方法、***、电子设备及存储介质 |
| CN116030048A (zh) * | 2023-03-27 | 2023-04-28 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113139907B (zh) | 视觉分辨率增强的生成方法、***、装置及存储介质 | |
| CN113554058A (zh) | 视觉目标图像分辨率增强的方法、***、装置及存储介质 | |
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN109903226B (zh) | 基于对称残差卷积神经网络的图像超分辨率重建方法 | |
| CN110348487B (zh) | 一种基于深度学习的高光谱图像压缩方法及装置 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| Yang et al. | Coupled dictionary training for image super-resolution | |
| CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| CN109544448B (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
| CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN111105352A (zh) | 超分辨率图像重构方法、***、计算机设备及存储介质 | |
| KR102289045B1 (ko) | 멀티 스케일 객체 이미지 복원 방법 및 장치 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN111292265A (zh) | 一种基于生成式对抗神经网络的图像修复方法 | |
| CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN111951167B (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| Wei et al. | Improving resolution of medical images with deep dense convolutional neural network | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| Liang et al. | Improved non-local iterative back-projection method for image super-resolution | |
| US20220122225A1 (en) | Image quality improvement method and image processing apparatus using the same | |
| CN115358932A (zh) | 一种多尺度特征融合的人脸超分辨率重构方法及*** | |
| Hui et al. | Two-stage convolutional network for image super-resolution | |
| Li et al. | Image super-resolution via feature-augmented random forest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |