CN112508782A - 网络模型的训练方法、人脸图像超分辨率重建方法及设备 - Google Patents
网络模型的训练方法、人脸图像超分辨率重建方法及设备 Download PDFInfo
- Publication number
- CN112508782A CN112508782A CN202010949919.0A CN202010949919A CN112508782A CN 112508782 A CN112508782 A CN 112508782A CN 202010949919 A CN202010949919 A CN 202010949919A CN 112508782 A CN112508782 A CN 112508782A
- Authority
- CN
- China
- Prior art keywords
- resolution
- training image
- super
- resolution training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种网络模型的训练方法、人脸图像超分辨率重建方法及设备。该网络模型训练方法包括:获取低分辨率训练图像以及与低分辨率训练图像对应的高分辨率训练图像,其中,低分辨率训练图像和高分辨率训练图像均是基于对同一目标对象拍摄获得;将低分辨率训练图像输入生成网络,得到超分辨率训练图像,计算超分辨率训练图像和高分辨率训练图像的误差损失;将高分辨率训练图像和超分辨率训练图像输入判别网络,得到高分辨率训练图像和超分辨率训练图像的对抗损失;基于误差损失和对抗损失,对网络模型进行训练,直至训练后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈值。上述方案,提高了网络模型生成图像的清晰度。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种网络模型的训练方 法、人脸图像超分辨率重建方法及设备。
背景技术
图像超分辨率作为图像处理及计算机领域的一项重要技术,旨在将 低分辨率的图像生成为高分辨率的图像。目前,越来越多的专家学者将 深度学习引入到图像超分辨率领域,利用SRCNN(Super-Resolution Convolutional Neural Network)结合传统差值方法及卷积神经网络,对低 分辨率图像进行超分辨率处理,以得到超分辨率图像。上述方法通常在 PSNR(Peak Signal-to-Noise Ratio)(峰值信噪比)等指标上表现良好, 但实际生成图像在视觉感知上效果较差。
发明内容
本申请提供了一种网络模型的训练方法、人脸图像超分辨率重建方 法及设备,主要解决的技术问题是如何提高网络模型生成图像的清晰 度。
为解决上述技术问题,本申请提供了一种网络模型的训练方法,所 述网络模型包括呈对抗关系的生成网络和判别网络,所述训练方法包 括:
获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分 辨率训练图像,其中,所述低分辨率训练图像和所述高分辨率训练图像 均是基于对同一目标对象拍摄获得;
将低分辨率训练图像输入所述生成网络,得到超分辨率训练图像, 计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失;
将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别 网络,得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损 失;
基于所述误差损失和所述对抗损失,对所述网络模型进行训练,直 至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第 一预设损失阈值。
为解决上述技术问题,本申请提供了一种网络模型的训练装置,所 述训练装置包括:
第一获取单元,用于获取低分辨率训练图像以及与所述低分辨率训 练图像对应的高分辨率训练图像,其中,所述低分辨率训练图像和所述 高分辨率训练图像均是基于对同一目标对象拍摄获得;
第一生成单元,用于将低分辨率训练图像输入所述生成网络,得到 超分辨率训练图像,计算所述超分辨率训练图像和所述高分辨率训练图 像的误差损失;
判别单元,用于将所述高分辨率训练图像和所述超分辨率训练图像 输入所述判别网络,得到所述高分辨率训练图像和所述超分辨率训练图 像的对抗损失;
训练单元,用于基于所述误差损失和所述对抗损失,对所述网络模 型进行训练,直至训练后的网络模型输出的所述误差损失和所述对抗损 失之和小于第一预设损失阈值。
为解决上述技术问题,本申请提供了另一种人脸图像的超分辨率重 建方法,所述超分辨率重建方法包括:
获取待重建超分辨率的低分辨率人脸图像;
将所述待重建超分辨率的低分辨率人脸图像输入所述网络模型,获 得超分辨率的人脸图像,其中,所述网络模型为上述任一项所述的方法 所训练的网络模型。
为解决上述技术问题,本申请提供了一种人脸图像的超分辨率重建 装置,所述人脸图像的超分辨率重建装置包括:
第二获取单元,用于获取待重建超分辨率的低分辨率人脸图像;
第二生成单元,用于将所述待重建超分辨率的低分辨率人脸图像输 入所述网络模型,获得超分辨率的人脸图像。
为解决上述技术问题,本申请提供了一种终端设备,所述设备包括 存储器以及与所述存储器耦接的处理器;
所述存储器用于存储程序数据,所述处理器用于执行所述程序数据 以实现如上述任一项所述的网络模型的训练方法和/或上述任一项所述 的人脸图像的超分辨率重建方法。
为解决上述技术问题,本申请还提供了一种计算机存储介质,所述 计算机存储介质用于存储程序数据,所述程序数据在被处理器执行时, 用以实现如上述任一项所述的网络模型的训练方法和/或上述任一项所 述的人脸图像的超分辨率重建方法。
上述方案中,获取低分辨率训练图像以及与低分辨率训练图像对应 的高分辨率训练图像,其中,低分辨率训练图像和高分辨率训练图像均 是基于对同一目标对象拍摄获得;将低分辨率训练图像输入生成网络, 得到超分辨率训练图像,计算超分辨率训练图像和高分辨率训练图像的 误差损失;将高分辨率训练图像和超分辨率训练图像输入判别网络,得 到高分辨率训练图像和超分辨率训练图像的对抗损失;基于误差损失和 对抗损失,对网络模型进行训练,直至训练后的网络模型输出的误差损 失和对抗损失之和小于第一预设损失阈值。本申请利用低分辨率训练图 像和与低分辨率训练图像对应的高分辨率训练图像对呈对抗关系的生 成网络和判别网络进行训练,无需额外的特征属性即可得到满足要求的 网络模型,提高了网络模型生成图像的清晰度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描 述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图 仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出 创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的网络模型的训练方法第一实施例的流程示意 图;
图2是本申请提供的网络模型的训练方法第二实施例的流程示意 图;
图3是本申请提供的网络模型的训练方法第三实施例的流程示意 图;
图4是本申请提供的网络模型的训练方法中网络模型的简易示意 图;
图5是本申请提供的网络模型的训练方法中分辨率放大网络的简易 示意图;
图6是本申请提供的网络模型的训练方法中门控循环网络的简易示 意图;
图7是本申请提供的人脸图像超分辨率重建方法的一实施例的流程 示意图;
图8是本申请提供的网络模型的训练装置一实施例的框架示意图;
图9是本申请提供的人脸图像超分辨率重建装置一实施例的框架示 意图;
图10是本申请提供的终端设备一实施例的结构示意图;
图11是本申请提供的计算机存储介质一实施例的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案 进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实 施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本 申请保护的范围。
本申请提出了一种网络模型的训练方法,可应用于低分辨率人脸图 像的超分辨率人脸图像重建,旨在将低分辨率的人脸图像生成为超分辨 率的人脸图像,通过本申请网络模型的训练方法可以提高网络模型生成 图像的清晰度,具体请参见图1,图1是本申请提供的网络模型的训练 方法第一实施例的流程示意图。本实施例的网络模型的训练方法可应用 于超分辨率图像重建装置,也可应用于具有数据处理能力的服务器。本 实施例的网络模型的训练方法具体包括以下步骤:
S101:获取低分辨率训练图像以及与低分辨率训练图像对应的高分 辨率训练图像。
本实施例中的超分辨率图像重建装置通过对同一目标对象进行拍 摄,得到相互对应的低分辨率训练图像与高分辨率训练图像。具体地, 本实施例可通过在超分辨率图像重建装置上设置用于拍摄低分辨率图 像的摄像头和用于拍摄高分辨率图像的摄像头,利用用于拍摄低分辨率 图像的摄像头和用于拍摄高分辨率图像的摄像头分别拍摄超分辨率图 像重建装置所处环境中的同一被摄对象,作为训练网络模型的低分辨率 训练图像和高分辨率训练图像;也可为已通过控制摄像头获取的同一被 摄对象的低分辨率训练图像和高分辨率训练图像,低分辨率训练图像和 高分辨率训练图像存储于网络训练模型应用的超分辨率图像重建装置 中。在实际应用中,摄像头可安装于超分辨率图像重建装置的任意位置, 使摄像头足以拍摄超分辨率图像重建装置周围同一被摄对象的低分辨 率训练图像和高分辨率训练图像。
S102:将低分辨率训练图像输入生成网络,得到超分辨率训练图像, 计算超分辨率训练图像和高分辨率训练图像的误差损失。
本实施例的超分辨率图像重建装置通过将低分辨率训练图像输入 生成网络进行训练,使低分辨率训练图像生成为超分辨率训练图像,得 到超分辨率训练图像。其中,生成网络为生成对抗网络中的一部分,生 成对抗网络包括生成网络和判别网络,生成对抗网络通过生成网络和判 别网络对输入其中的训练图像进行互相的博弈学习产生相当好的转化图像。也就是说,生成网络目的是尽量生成在视觉感知上清晰度高的超 分辨率训练图像,判别网络目的是将生成网络生成的超分辨率训练图像 与真实的高分辨率训练图像相区别。
由于输入网络模型中的高分辨率训练图像与网络模型输出的超分 辨率训练图像存在差异,为了提高网络模型生成图像的清晰度,使超分 辨率训练图像接近于真实的高分辨率训练图像,本实施例的超分辨率图 像重建装置通过计算高分辨率训练图像和超分辨率训练图像的误差损 失,获知超分辨率训练图像与高分辨率训练图像之间的差距,以及时调 整网络模型的训练,使网络模型的训练满足要求。
S103:将高分辨率训练图像和超分辨率训练图像输入判别网络,得 到高分辨率训练图像和超分辨率训练图像的对抗损失。
由于判别网络的目的在于将生成网络生成的超分辨率训练图像与 真实的高分辨率训练图像相区别,本实施例的超分辨率图像重建装置可 以根据判别网络对输入其中的高分辨训练图像和超分辨率训练图像进 行鉴别,获知高分辨训练图像和超分辨率训练图像的差距,以及时调整 网络模型的训练,得到满足要求的网络模型。
具体地,本实施例的超分辨率图像重建装置将高分辨率训练图像和 超分辨率训练图像输入判别网络,使判别网络对输入其中的高分辨率训 练图像和超分辨率训练图像进行鉴别,输出高分辨率训练图像和超分辨 率训练图像对抗损失。
S104:基于误差损失和对抗损失,对网络模型进行训练,直至训练 后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈值。
损失函数为一种将随机事件或其有关随机变量的取值映射为非负 实数以表示事件的风险或损失的函数。在本实施例中,损失函数是用来 表示真实的高分辨率训练图像与训练所得的超分辨率训练图像之间的 差距程度,即损失,以便将损失回传,使网络模型的训练朝着损失的方 向计算并缩小损失。
具体地,本实施例基于S101中获取的高分辨率训练图像和超分辨 率训练图像的误差损失及S102中获取的高分辨率训练图像和超分辨率 训练图像的对抗损失,对网络模型进行训练,直至训练后的网络模型输 出的误差损失和对抗损失之和小于第一预设损失阈值。其中,第一预设 损失阈值可根据技术人员的经验进行设置,本实施例对预设损失阈值的 数值不作限定。
需要说明的是,本实施例中训练所得的网络模型包括生成网络和判 别网络,在实际应用中,只需应用训练所得网络模型中的生成网络对低 分辨率人脸图像进行处理,得到超分辨率人脸图像。
上述方案中,获取相互对应的低分辨率训练图像以及高分辨率训练 图像,将低分辨率训练图像输入生成网络,得到超分辨率训练图像,以 及计算与低分辨率训练图像对应的高分辨率训练图像和超分辨率训练 图像的误差损失;将高分辨率训练图像和超分辨率训练图像输入判别网 络,得到高分辨率训练图像和超分辨率训练图像的对抗损失;基于误差 损失和对抗损失训练网络模型,直至训练后的网络模型输出的误差损失 和对抗损失之和小于第一预设损失阈值。本申请利用低分辨率训练图像 和与低分辨率训练图像对应的高分辨率训练图像对呈对抗关系的生成 网络和判别网络进行训练,无需额外的特征属性即可得到满足要求的网 络模型,提高了网络模型生成图像在视觉感知上的清晰度。
请继续参阅图2,图2是本申请提供的网络模型的训练方法第二实 施例的流程示意图。为了提高网络模型生成图像的清晰度,在上述实施 例的基础上,本实施例的网络模型的训练方法还包括如下步骤:
S201:获取低分辨率训练图像以及与低分辨率训练图像对应的高分 辨率训练图像。
S202:将低分辨率训练图像输入生成网络,得到超分辨率训练图像, 计算高分辨率训练图像和超分辨率训练图像的误差损失。
S203:将高分辨率训练图像和超分辨率训练图像输入判别网络,得 到高分辨率训练图像和超分辨率训练图像的对抗损失。
本实施例的S201~S203的详细描述可参阅上述实施例的S101~S103, 在此不进行重复赘述。
S204:将高分辨率训练图像和超分辨率训练图像进行频域解析,得 到高分辨率训练图像和超分辨率训练图像的频域损失。
为了提高网络模型生成图像的清晰度,本实施例的超分辨率图像重 建装置利用频率解析对高分辨率训练图像和超分辨率训练图像进行处 理,获取高分辨率训练图像和超分辨率训练图像在频域上的距离,根据 距离调整网络模型的训练,直到得到满足要求的网络模型。
其中,本实施例的超分辨率图像重建装置将高分辨率训练图像和超 分辨率训练图像进行频域解析,利用频域解析对高分辨率训练图像和超 分辨率训练图像进行处理,输出高分辨率训练图像和超分辨率训练图像 的频域损失。
S205:基于误差损失、对抗损失和频域损失,对网络模型进行训练, 直至训练后的网络模型输出的误差损失、对抗损失及频域损失之和小于 第二预设损失阈值。
本实施例基于S201中获取的高分辨率训练图像和超分辨率训练图 像的误差损失、S202中获取的高分辨率训练图像和超分辨率训练图像的 对抗损失及S203中获取的高分辨率训练图像和超分辨率训练图像的频 域损失训练网络模型,计算高分辨率训练图像和超分辨率训练图像的误 差损失、对抗损失及频域损失之和,直至高分辨率训练图像和超分辨率 训练图像的误差损失、对抗损失及频域损失之和小于第二预设损失阈 值。
上述方案中,获取低分辨率训练图像以及与低分辨率图像对应的高 分辨率训练图像;将低分辨率训练图像输入生成网络,得到超分辨率训 练图像,计算高分辨率训练图像和超分辨率训练图像的误差损失;将高 分辨率训练图像和超分辨率训练图像输入判别网络,得到高分辨率训练 图像和超分辨率训练图像的对抗损失;将高分辨率训练图像和超分辨率 训练图像进行频域解析,得到高分辨率训练图像和超分辨率训练图像的 频域损失;基于误差损失、对抗损失和频域损失,对网络模型进行训练, 直至训练后的网络模型输出的误差损失、对抗损失及频域损失之和小于 第二预设损失阈值。本申请利用低分辨率训练图像和与低分辨率训练图 像对应的高分辨率训练图像对呈对抗关系的生成网络和判别网络进行 训练,无需额外的特征属性即可得到满足要求的网络模型;利用频域解 析对低分辨率训练图像和高分辨率训练图像进行处理,得到超分辨率训 练图像和高分辨率训练图像的频域损失,以误差损失、对抗损失和频域 损失之和变小为目标训练网络模型,直至误差损失、对抗损失和频域损 失之和小于第二预设损失阈值,从而得到满足要求的网络模型,提高了 网络模型生成图像的清晰度。
请继续参阅图3,图3是本申请提供的网络模型的训练方法第三实 施例的流程示意图。具体而言,本实施例的网络模型的训练方法包括如 下步骤:
S301:利用分辨率放大网络中的卷积层和最近邻插值层对低分辨率 训练图像进行放大处理,放大低分辨率训练图像中的分辨率。
可参阅图4,图4是本申请提供的网络模型的训练方法中网络模型 的简易示意图。由图可知,本实施例中的网络模型包括呈对抗关系的生 成网络、判别网络以及频域解析。生成网络包括分辨率放大网络和重建 网络,分辨率放大网络用于将输入其中的低分辨率训练图像进行分辨率 放大,例如,将低分辨率训练图像放大为8倍超分辨率训练图像。
其中,分辨率放大网络包括卷积层和最近邻插值层,最近邻插值层 用于对低分辨率训练图像进行超分处理,分辨率放大网络的简易示意图 可参阅图5。超分辨率图像重建装置利用分辨率放大网络中的卷积层和 最近邻插值层对低分辨率训练图像进行放大处理,放大低分辨率训练图 像中的分辨率。
在具体实施例中,分辨率放大网络包括三层卷积层和一层最近邻插 值层,输入分辨率放大网络中的低分辨率训练图像先经过两层卷积层, 再由最近邻插值层对低分辨率训练图像进行超分处理,最后经由一层卷 积层输出,得到放大分辨率后的低分辨率训练图像,相当于图4中的 HR1。
S302:利用重建网络对放大分辨率后的低分辨率训练图像进行图像 重建处理,得到超分辨率训练图像。
本实施例的重建网络用于将分辨率放大网络输出的放大分辨率后 的低分辨率训练图像进行降噪处理。具体地,超分辨率图像重建装置利 用重建网络对放大分辨率后的低分辨率训练图像进行图像重建处理,提 高放大分辨率后的低分辨率训练图像清晰度,得到超分辨率训练图像, 相当于图5中的HR2。
其中,重建网络包括对称网络结构和门控循环网络GRU(Gate Recurrent Unit),可参阅图1和6,图1中示出重建网络中对称网络结 构,对称网络结构包括两层卷积层和两层反卷积层,两层卷积层和两层 反卷积层对称设置;图6是本申请提供的网络模型的训练方法中门控循 环网络的简易示意图。为了提高网络模型生成图像清晰度,本实施例的 超分辨率图像重建装置利用对称网络结构对放大分辨率后的低分辨率 训练图像进行图像重建处理,并通过门控循环网络融合放大分辨率后的 低分辨率训练图像在对称网络结构中的浅层特征信息,也即浅层网络模 型的特征。
S303:计算高分辨率训练图像和超分辨率训练图像的均方误差及算 数平方根的均方误差。
为了使网络模型输出的超分辨率训练图像包含更多细节信息,本实 施例的超分辨率图像重建装置计算高分辨率训练图像和超分辨率训练 图像的算数平方根的均方误差,利用高分辨率训练图像和超分辨率训练 图像的均方误差及算数平方根的均方误差计算误差损失。
S304:基于高分辨率训练图像和超分辨率训练图像的均方误差及算 数平方根的均方误差,计算高分辨率训练图像和超分辨率训练图像的误 差损失。
本实施例高分辨率训练图像和超分辨率训练图像的误差损失满足下式:
需要说明的是,上述高分辨率训练图像和超分辨率训练图像的误差 损失计算公式中的第一项为高分辨率训练图像和超分辨率训练图像的 均方误差,第二项为高分辨率训练图像和超分辨率训练图像的算数平方 根的均方误差。
S305:利用判别网络对超分辨率训练图像和高分辨率训练图像进行 鉴别,得到超分辨率训练图像的鉴别结果和高分辨率训练图像的鉴别结 果。
为了获知生成网络生成图像清晰度,本实施例的超分辨率图像重建 装置利用判别网络对超分辨率训练图像和高分辨率训练图像进行真假 鉴别,使判别网络输出对超分辨率训练图像的鉴别结果和高分辨率训练 图像的鉴别结果。
S306:利用高分辨率训练图像的鉴别结果与超分辨率训练图像的鉴 别结果计算高分辨率训练图像和超分辨率训练图像的对抗损失。
本实施例高分辨率训练图像和超分辨率训练图像的对抗损失满足 下式:
S307:利用傅里叶变换技术对高分辨率训练图像和超分辨率训练图 像进行频域处理,分别得到高分辨率训练图像和超分辨率训练图像的频 域信息。
S308:基于高分辨率训练图像和超分辨率训练图像的频域信息,计 算高分辨率训练图像和超分辨率训练图像在频域上的距离,其中,距离 为高分辨率训练图像和超分辨率训练图像的频域损失。
本实施例高分辨率训练图像和超分辨率训练图像的频域损失满足 下式:
S309:基于误差损失、对抗损失和频域损失,对网络模型进行训练, 直至训练后的网络模型输出的误差损失、对抗损失及频域损失之和小于 第二预设损失阈值。
本实施例中误差损失、对抗损失和频域损失之和满足下式:
在具体实施例中,采用梯度下降的方式将误差损失、对抗损失和频 域损失之和回传,更新网络模型中的参数,直至训练后的网络模型输出 的误差损失、对抗损失及频域损失之和小于第二预设损失阈值,得到满 足要求的网络模型。
上述方案中,利用低分辨率训练图像和与低分辨率训练图像对应的 高分辨率训练图像对呈对抗关系的生成网络和判别网络进行训练,无需 额外的特征属性即可得到满足要求的网络模型,提高了网络模型生成图 像的清晰度;利用分辨率放大网络中的卷积层和最近邻插值层对低分辨 率训练图像进行放大处理,放大低分辨率训练图像中的分辨率,提高了 网络模型输出的超分辨率训练图像的分辨率,避免因采用上采样方式而 导致的超分辨率训练图像性能下降问题;通过计算高分辨率训练图像和 超分辨率训练图像的算数平方根的均方误差,利用高分辨率训练图像和 超分辨率训练图像的均方误差及算数平方根的均方误差计算误差损失, 避免了仅使用均方误差计算误差损失而导致的超分辨率训练图像的平 滑问题,增加了网络模型生成图像的细节信息。
可参阅图7,图7为本申请提供的人脸图像超分辨率重建方法的一 实施例的流程示意图。本实施例人脸图像超分辨率重建方法可应用于上 述网络模型的训练方法中训练所得的网络模型,从而提高网络模型生成 图像的清晰度。下面以用于人脸图像超分辨率重建方法的服务器为例, 介绍本申请提供的人脸图像超分辨率重建方法,本实施例人脸图像超分 辨率重建方法具体包括以下步骤:
S701:获取待重建超分辨率的低分辨率人脸图像。
S702:将待重建超分辨率的低分辨率人脸图像输入网络模型,获得 超分辨率的人脸图像。
本实施例中的网络模型由上述任一实施例的方法训练所得。在实际 应用中,只需应用训练所得网络模型中的生成网络对待重建超分辨率的 低分辨率人脸图像进行处理,得到超分辨率的人脸图像。
上述方案中,通过获取待重建超分辨率的低分辨率人脸图像,将待 重建超分辨率的低分辨率人脸图像输入网络模型,获得超分辨率的人脸 图像,提高了网络模型生成图像的清晰度。
请参阅图8,图8是本申请提供的网络模型的训练装置一实施例的 框架示意图。网络模型的训练装置80包括:
第一获取单元81,用于获取相互对应的低分辨率训练图像以及高分 辨率训练图像,其中,低分辨率训练图像以及高分辨率训练图像通过对 同一被摄对象拍摄得到。
第一生成单元82,用于将低分辨率训练图像输入生成网络,得到超 分辨率训练图像,以及计算超分辨率训练图像和与低分辨率训练图像对 应的高分辨率训练图像的误差损失。
判别单元83,用于将高分辨率训练图像和超分辨率训练图像输入判 别网络,得到高分辨率训练图像和超分辨率训练图像的对抗损失。
训练单元84,用于基于误差损失和对抗损失训练网络模型,直至训 练后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈 值。
请继续参阅图9,图9是本申请提供的人脸图像超分辨率重建装置 一实施例的框架示意图。人脸图像的超分辨率重建装置包括:
第二获取单元91,用于获取待重建超分辨率的低分辨率人脸图像。
第二生成单元92,用于将待重建超分辨率的低分辨率人脸图像输入 网络模型,获得超分辨率的人脸图像。
为实现上述实施例的网络模型训练方法和/或人脸图像超分辨率重 建方法,本申请提出了另一种终端设备,具体请参阅图10,图10是本 申请提供的终端设备一实施例的结构示意图。
终端设备100包括存储器101和处理器102,其中,存储器101和 处理器102耦接。
存储器101用于存储程序数据,处理器102用于执行程序数据以实 现上述实施例的网络模型训练方法和/或人脸图像超分辨率重建方法。
在本实施例中,处理器102还可以称为CPU(Central Processing Unit, 中央处理单元)。处理器102可能是一种集成电路芯片,具有信号的处 理能力。处理器102还可以是通用处理器、数字信号处理器(DSP)、 专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可 以是微处理器或者该处理器102也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质110,如图11所示,计算机存储 介质110用于存储程序数据111,程序数据111在被处理器执行时,用 以实现如本申请方法实施例中所述的网络模型训练方法和/或人脸图像 超分辨率重建方法。
本申请网络模型训练方法和/或人脸图像超分辨率重建方法实施例 中所涉及到的方法,在实现时以软件功能单元的形式存在并作为独立的 产品销售或使用时,可以存储在装置中,例如一个计算机可读取存储介 质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做 出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体 现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以 使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等) 或处理器(processor)执行本发明各个实施方式所述方法的全部或部分 步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM, Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范 围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变 换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的 专利保护范围内。
Claims (12)
1.一种网络模型的训练方法,所述网络模型包括呈对抗关系的生成网络和判别网络,其特征在于,所述训练方法包括:
获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像,其中,所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得;
将低分辨率训练图像输入所述生成网络,得到超分辨率训练图像,计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失;
将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络,得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失;
基于所述误差损失和所述对抗损失,对所述网络模型进行训练,直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。
2.根据权利要求1所述的训练方法,其特征在于,所述训练方法还包括:
将所述高分辨率训练图像和所述超分辨率训练图像进行频域解析,得到所述高分辨率训练图像和所述超分辨率训练图像的频域损失;
基于所述误差损失、所述对抗损失和所述频域损失,对所述网络模型进行训练,直至训练后的网络模型输出的所述误差损失、所述对抗损失及所述频域损失之和小于第二预设损失阈值。
3.根据权利要求1或2所述的训练方法,其特征在于,所述生成网络包括分辨率放大网络和重建网络,所述分辨率放大网络包括卷积层和最近邻插值层,所述将低分辨率训练图像输入所述生成网络,得到超分辨率训练图像的步骤,包括:
利用所述分辨率放大网络中的卷积层和最近邻插值层对所述低分辨率训练图像进行放大处理,放大所述低分辨率训练图像中的分辨率;
利用所述重建网络对所述放大分辨率后的低分辨率训练图像进行图像重建处理,得到所述超分辨率训练图像。
4.根据权利要求3所述的训练方法,其特征在于,所述重建通道网络包括对称网络结构和门控循环网络,所述利用所述重建通道网络对所述放大分辨率后的低分辨率训练图像进行图像重建处理,得到所述超分辨率训练图像的步骤,包括:
利用所述对称网络结构对所述放大分辨率后的低分辨率训练图像进行图像重建处理,并通过门控循环网络融合所述放大分辨率后的低分辨率训练图像在所述对称网络结构中的浅层特征信息。
5.根据权利要求1所述的训练方法,其特征在于,所述以及计算所述高分辨率训练图像和所述超分辨率训练图像的误差损失的步骤,包括:
计算所述高分辨率训练图像和所述超分辨率训练图像的均方误差及算数平方根的均方误差;
基于所述高分辨率训练图像和所述超分辨率训练图像的均方误差及算数平方根的均方误差,计算所述高分辨率训练图像和所述超分辨率训练图像的误差损失。
6.根据权利要求5所述的训练方法,其特征在于,所述将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络,得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失的步骤,包括:
利用所述判别网络对所述超分辨率训练图像和所述高分辨率训练图像进行鉴别,得到所述超分辨率训练图像的鉴别结果和所述高分辨率训练图像的鉴别结果;
利用所述高分辨率训练图像的鉴别结果与所述超分辨率训练图像的鉴别结果计算所述高分辨率训练图像和所述超分辨率训练图像的对抗损失。
7.根据权利要求2所述的训练方法,其特征在于,所述将所述高分辨率训练图像和所述超分辨率训练图像进行频域解析,得到所述高分辨率训练图像和所述超分辨率训练图像的频域损失的步骤,包括:
利用傅里叶变换技术对所述高分辨率训练图像和所述超分辨率训练图像进行频域处理,分别得到所述高分辨率训练图像和所述超分辨率训练图像的频域信息;
基于所述高分辨率训练图像和所述超分辨率训练图像的频域信息,计算所述高分辨率训练图像和所述超分辨率训练图像在频域上的距离;
其中,所述距离为所述高分辨率训练图像和所述超分辨率训练图像的频域损失。
8.一种网络模型的训练装置,其特征在于,所述训练装置包括:
第一获取单元,用于获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像,其中,所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得;
第一生成单元,用于将低分辨率训练图像输入所述生成网络,得到超分辨率训练图像,计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失;
判别单元,用于将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络,得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失;
训练单元,用于基于所述误差损失和所述对抗损失,对所述网络模型进行训练,直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。
9.一种人脸图像的超分辨率重建方法,其特征在于,所述超分辨率重建方法包括:
获取待重建超分辨率的低分辨率人脸图像;
将所述待重建超分辨率的低分辨率人脸图像输入所述网络模型,获得超分辨率的人脸图像,其中,所述网络模型为上述权利要求1-7中任一项所述的方法所训练的网络模型。
10.一种人脸图像的超分辨率重建装置,其特征在于,所述人脸图像的超分辨率重建装置包括:
第二获取单元,用于获取待重建超分辨率的低分辨率人脸图像;
第二生成单元,用于将所述待重建超分辨率的低分辨率人脸图像输入所述网络模型,获得超分辨率的人脸图像。
11.一种终端设备,其特征在于,所述设备包括存储器以及与所述存储器耦接的处理器;
其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如权利要求1~7任一项所述的网络模型的训练方法和/或权利要求9所述的人脸图像的超分辨率重建方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序数据,所述程序数据在被处理器执行时,用以实现如权利要求1~7任一项所述的网络模型的训练方法和/或权利要求9所述的人脸图像的超分辨率重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010949919.0A CN112508782B (zh) | 2020-09-10 | 2020-09-10 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010949919.0A CN112508782B (zh) | 2020-09-10 | 2020-09-10 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112508782A true CN112508782A (zh) | 2021-03-16 |
CN112508782B CN112508782B (zh) | 2024-04-26 |
Family
ID=74953443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010949919.0A Active CN112508782B (zh) | 2020-09-10 | 2020-09-10 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112508782B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096010A (zh) * | 2021-03-18 | 2021-07-09 | Oppo广东移动通信有限公司 | 图像重建方法和设备,及存储介质 |
CN113344792A (zh) * | 2021-08-02 | 2021-09-03 | 浙江大华技术股份有限公司 | 一种图像生成方法、装置及电子设备 |
CN113628116A (zh) * | 2021-10-12 | 2021-11-09 | 腾讯科技(深圳)有限公司 | 图像处理网络的训练方法、装置、计算机设备和存储介质 |
CN114723611A (zh) * | 2022-06-10 | 2022-07-08 | 季华实验室 | 图像重建模型训练方法、重建方法、装置、设备及介质 |
WO2023035531A1 (zh) * | 2021-09-10 | 2023-03-16 | 平安科技(深圳)有限公司 | 文本图像超分辨率重建方法及其相关设备 |
WO2024066044A1 (zh) * | 2022-09-27 | 2024-04-04 | 深圳先进技术研究院 | 基于超分辨率重建的危险行为识别方法、***及相关设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423700A (zh) * | 2017-07-17 | 2017-12-01 | 广州广电卓识智能科技有限公司 | 人证核实的方法及装置 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
US10539881B1 (en) * | 2018-09-24 | 2020-01-21 | International Business Machines Corporation | Generation of hotspot-containing physical design layout patterns |
CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及*** |
CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
CN111415297A (zh) * | 2020-03-06 | 2020-07-14 | 清华大学深圳国际研究生院 | 一种共聚焦显微镜的成像方法 |
CN111489290A (zh) * | 2019-04-02 | 2020-08-04 | 同观科技(深圳)有限公司 | 一种人脸图像超分辨重建方法、装置及终端设备 |
CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
-
2020
- 2020-09-10 CN CN202010949919.0A patent/CN112508782B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423700A (zh) * | 2017-07-17 | 2017-12-01 | 广州广电卓识智能科技有限公司 | 人证核实的方法及装置 |
US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
US10539881B1 (en) * | 2018-09-24 | 2020-01-21 | International Business Machines Corporation | Generation of hotspot-containing physical design layout patterns |
CN111489290A (zh) * | 2019-04-02 | 2020-08-04 | 同观科技(深圳)有限公司 | 一种人脸图像超分辨重建方法、装置及终端设备 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及*** |
CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
CN111415297A (zh) * | 2020-03-06 | 2020-07-14 | 清华大学深圳国际研究生院 | 一种共聚焦显微镜的成像方法 |
CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096010A (zh) * | 2021-03-18 | 2021-07-09 | Oppo广东移动通信有限公司 | 图像重建方法和设备,及存储介质 |
CN113344792A (zh) * | 2021-08-02 | 2021-09-03 | 浙江大华技术股份有限公司 | 一种图像生成方法、装置及电子设备 |
CN113344792B (zh) * | 2021-08-02 | 2022-07-05 | 浙江大华技术股份有限公司 | 一种图像生成方法、装置及电子设备 |
WO2023035531A1 (zh) * | 2021-09-10 | 2023-03-16 | 平安科技(深圳)有限公司 | 文本图像超分辨率重建方法及其相关设备 |
CN113628116A (zh) * | 2021-10-12 | 2021-11-09 | 腾讯科技(深圳)有限公司 | 图像处理网络的训练方法、装置、计算机设备和存储介质 |
CN114723611A (zh) * | 2022-06-10 | 2022-07-08 | 季华实验室 | 图像重建模型训练方法、重建方法、装置、设备及介质 |
WO2024066044A1 (zh) * | 2022-09-27 | 2024-04-04 | 深圳先进技术研究院 | 基于超分辨率重建的危险行为识别方法、***及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112508782B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112508782A (zh) | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 | |
CN109949255B (zh) | 图像重建方法及设备 | |
US20200364478A1 (en) | Method and apparatus for liveness detection, device, and storage medium | |
CN111105352B (zh) | 超分辨率图像重构方法、***、计算机设备及存储介质 | |
Wen et al. | Image recovery via transform learning and low-rank modeling: The power of complementary regularizers | |
EP4163832A1 (en) | Neural network training method and apparatus, and image processing method and apparatus | |
CN111476200A (zh) | 基于生成对抗网络的人脸去识别化生成方法 | |
US8605118B2 (en) | Matrix generation apparatus, method, and program, and information processing apparatus | |
Sun et al. | Multiscale generative adversarial network for real‐world super‐resolution | |
CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
Liu et al. | IPAD: Intensity potential for adaptive de-quantization | |
CN112634146A (zh) | 基于多种注意力机制的多通道cnn医学ct图像去噪方法 | |
Lyu et al. | DeGAN: Mixed noise removal via generative adversarial networks | |
CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
Li et al. | Blind image quality assessment based on joint log-contrast statistics | |
JP2020197915A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Liu et al. | DSRGAN: Detail prior-assisted perceptual single image super-resolution via generative adversarial networks | |
Cherian et al. | A Novel AlphaSRGAN for Underwater Image Super Resolution. | |
Cui et al. | Progressive dual-branch network for low-light image enhancement | |
Kumar et al. | Image denoising based on fractional gradient vector flow and overlapping group sparsity as priors | |
US20230196715A1 (en) | Image processing apparatus, learning method, and storage medium | |
Bhateja et al. | A reduced reference distortion measure for performance improvement of smart cameras | |
CN111553250A (zh) | 一种基于人脸特征点的精准面瘫程度评测方法及装置 | |
Yang et al. | X‐Ray Breast Images Denoising Method Based on the Convolutional Autoencoder | |
Wu et al. | Non‐uniform image blind deblurring by two‐stage fully convolution network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |