CN107958246A - 一种基于新型端到端人脸超分辨率网络的图像对齐方法 - Google Patents
一种基于新型端到端人脸超分辨率网络的图像对齐方法 Download PDFInfo
- Publication number
- CN107958246A CN107958246A CN201810045095.7A CN201810045095A CN107958246A CN 107958246 A CN107958246 A CN 107958246A CN 201810045095 A CN201810045095 A CN 201810045095A CN 107958246 A CN107958246 A CN 107958246A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- resolution
- super
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000003475 lamination Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，其主要内容包括：人脸超分辨率网络、人脸超分辨率生成对抗网络，其过程为，构造一个粗粒度超分辨率(SR)网络来恢复粗粒度的高分辨率(HR)图像，将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计关键点热点图，在解码器中使用图像特征和先验信息恢复HR图像，为了进一步产生逼真的面孔，提出了人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。本发明利用由人脸超分辨率网络和人脸超分辨率生成对抗网络组成的网络进行图像对齐，可以有效提高成像质量，简化了图像对齐方法。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及了一种基于新型端到端人脸超分辨率网络的图像对齐方法。
背景技术
图像对齐是图像处理中的一个基本问题，广泛应用于公安、军事侦查、医学图像处理等众多领域。具体地，在公安领域，可在案件侦查中处理采集到的监控图像，提取两幅监控图像各自的特征点，对两幅图像的特征点集进行对齐，从而实现图像拼接以及目标识别，有效识别监控中的可疑人员，进一步增强安防能力。在军事侦察领域，面对复杂的军事环境，如野外环境作战、空中无人机侦查等，利用图像对齐，可以提高侦查***中敌人的识别率以及跟踪的精度和可靠性。而在医学图像处理领域，为肿瘤检测、病变定位、血细胞显微图像分类等医学图像分析提供了便利。虽然对人脸超分辨率的研究颇多，但是由于人脸的复杂性，现存的方法大部分采用多阶段而不是端到端的训练，使得方法过于繁琐和复杂，因此要在保证超分辨率图像质量的前提下，进一步简化研究方法，尚且存在一定的挑战。
本发明提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，首先构造一个粗粒度超分辨率(SR)网络来恢复粗粒度高分辨率(HR)图像，然后将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计和解析关键点热点图，在细粒度SR解码器中使用图像特征和先验信息恢复HR图像。为了进一步产生逼真的面孔，提出人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。本发明提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，利用由人脸超分辨率网络和人脸超分辨率生成对抗网络组成的网络进行图像对齐，可以有效提高成像质量，简化了图像对齐方法。
发明内容
针对图像对齐，本发明提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，构造一个粗粒度超分辨率(SR)网络来恢复粗粒度的高分辨率(HR)图像，将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计关键点热点图，在解码器中使用图像特征和先验信息恢复HR图像，为了进一步产生逼真的面孔，提出了人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。
为解决上述问题，提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，其主要内容包括：
(一)人脸超分辨率网络；
(二)人脸超分辨率生成对抗网络。
其中，所述的人脸超分辨率网络，人脸超分辨率网络(FSRNet)由粗粒度超分辨率网络和细粒度超分辨率网络组成，其包括细粒度SR编码器、先验估计网络以及细粒度SR解码器，用x表示低分辨率输入图像，用y表示通过FSRNet恢复的高分辨率(HR)图像，p表示通过FSRNet估计的先验信息，由于在先验估计中输入的低分辨率图像清晰度较低，故构造一个粗粒度SR网络来恢复粗粒度SR图像，通过以下等式给定：
其中，x是低分辨率(LR)图像，yc是粗粒度SR图像，是粗粒度超分辨率网络从图像x到图像yc的映射，yc分别被发送到先验估计网络和细粒度SR编码器上，得到以下等式：
其中，f是由编码器提取的特征，编码完成之后，利用SR的解码器连接图像特征f和先验信息p来恢复SR图像，由以下等式表示：
给定一个训练集其中N是所训练图像的数量，x(i)是位于标定超分辨率图像中的低分辨率图像，是标定的先验信息，FSRNet的损失函数由下式给定：
其中，Θ表示参数集，λ是先验损失的权重，y(i)和p(i)是恢复的HR图像，p(i)是在第i个图像估计的先验信息。
进一步地，所述的粗粒度超分辨率网络，使用粗粒度SR网络大概恢复粗粒度HR图像，以此减轻估计先验信息的困难，粗粒度SR网络体系结构由3×3的卷积层开始，然后是3个残差模块，最后使用另一个3×3的卷积层来重建粗粒度HR图像。
进一步地，所述的细粒度超分辨率网络，在细粒度SR网络中，粗粒度HR图像被发送到先验估计网络和细粒度编码器网络中，分别用来进行面部先验信息估计和特征提取，然后解码器使用这两个结果来恢复细粒度HR图像。
进一步地，所述的先验估计网络，采用沙漏结构在先验估计网络中估计面部标记点的关键图和解析图，由于这两个先验信息表示二维的人脸形状，故在先验估计网络中，除最后一层外，共享这两个任务之间的全部特征，为了有效地跨尺度合并特征并保存不同尺度的空间信息，沙漏模块在对称层之间使用跳跃连接机制，随后用一个1×1卷积层处理所获得的特征，被共享的特征连接两个单独的1×1卷积层，生成关键点热点图和解析图。
进一步地，所述的细粒度编码器，对于细粒度SR编码器，利用残差模块进行特征提取，先验特征的尺寸被下采样为64×64，为了保持特征尺寸的一致性，细粒度SR编码器从步长为2的3×3卷积层开始，令特征图下采样到64×64，然后利用残差结构提取图像特征。
进一步地，所述的解码器，细粒度SR解码器同时使用特征和先验信息来恢复最终的细粒度HR图像，首先，先验特征p和图像特征f被连接起来作为解码器的输入，然后3×3卷积层将特征映射的数量减少到64个，利用一个4×4的解卷积层将特征映射的大小上采样到128×128，然后使用3个残差模块对特征进行解码，最后使用3×3卷积层来恢复细粒度HR图像。
其中，所述的人脸超分辨率生成对抗网络，为了生成逼真的高分辨率人脸，在现有模型中使用一个生成对抗网络(GAN)，得到人脸超分辨率生成对抗网络(FSRGAN)，对抗网络C的目标函数表示为：
其中，C输出的概率属性为真，是概率分布的期望值，除了对抗性损失之外，使用网络预先训练的高级特征图引入一个感知损失，用来评估感知的相关性，通过以下等式给定：
其中，φ表示在固定点预训练的网络模型，并将图像y或映射到特征空间，FSRGAN的最终目标函数为：
其中，γC是生成对抗网络的权重，γP是生成对抗网络的感知损失。
进一步地，所述的训练，采用一个图像数量为2300的数据集进行测试，数据集中最后50张图片用于测试，其他图片用于训练，在训练图像上执行数据增强，将原始图像分别旋转90°、180°、270°并进行水平翻转，令每个原始图像附加上7个增强图像，数据集中的每幅图像都标定194个关键点和11个解析图。
进一步地，所述的训练图像，对训练图像执行粗略的剪裁，在没有任何预对准操作的情况下，根据图像的脸部区域，把图像大小调整为128×128，采用人脸检测器裁剪的图像作为测试输入，输入的低分辨率图像通过双三次的插值放大，使图像尺寸与输出的高分辨率图像相同，使用一个梯度下降优化算法对模型进行训练，初始学习率为2.5×10-4，最小批量为14，在两个数据集中设定λ＝1,γC＝10-3,γP＝10-1。
附图说明
图1是本发明一种基于新型端到端人脸超分辨率网络的图像对齐方法的***框架图。
图2是本发明一种基于新型端到端人脸超分辨率网络的图像对齐方法的网络结构图。
图3是本发明一种基于新型端到端人脸超分辨率网络的图像对齐方法的数据集解析图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于新型端到端人脸超分辨率网络的图像对齐方法的***框架图。主要包括人脸超分辨率网络、人脸超分辨率生成对抗网络。
其中，所述的人脸超分辨率网络，人脸超分辨率网络(FSRNet)由粗粒度超分辨率网络和细粒度超分辨率网络组成，其包括细粒度SR编码器、先验估计网络以及细粒度SR解码器，用x表示低分辨率输入图像，用y表示通过FSRNet恢复的高分辨率(HR)图像，p表示通过FSRNet估计的先验信息，由于在先验估计中输入的低分辨率图像清晰度较低，故构造一个粗粒度SR网络来恢复粗粒度SR图像，通过以下等式给定：
其中，x是低分辨率(LR)图像，yc是粗粒度SR图像，是粗粒度超分辨率网络从图像x到图像yc的映射，yc分别被发送到先验估计网络和细粒度SR编码器上，得到以下等式：
其中，f是由编码器提取的特征，编码完成之后，利用SR的解码器连接图像特征f和先验信息p来恢复SR图像，由以下等式表示：
给定一个训练集其中N是所训练图像的数量，x(i)是位于标定超分辨率图像中的低分辨率图像，是标定的先验信息，FSRNet的损失函数由下式给定：
其中，Θ表示参数集，λ是先验损失的权重，y(i)和p(i)是恢复的HR图像，p(i)是在第i个图像估计的先验信息。
进一步地，所述的粗粒度超分辨率网络，使用粗粒度SR网络大概恢复粗粒度HR图像，以此减轻估计先验信息的困难，粗粒度SR网络体系结构由3×3的卷积层开始，然后是3个残差模块，最后使用另一个3×3的卷积层来重建粗粒度HR图像。
进一步地，所述的细粒度超分辨率网络，在细粒度SR网络中，粗粒度HR图像被发送到先验估计网络和细粒度编码器网络中，分别用来进行面部先验信息估计和特征提取，然后解码器使用这两个结果来恢复细粒度HR图像。
进一步地，所述的先验估计网络，采用沙漏结构在先验估计网络中估计面部标记点的关键图和解析图，由于这两个先验信息表示二维的人脸形状，故在先验估计网络中，除最后一层外，共享这两个任务之间的全部特征，为了有效地跨尺度合并特征并保存不同尺度的空间信息，沙漏模块在对称层之间使用跳跃连接机制，随后用一个1×1卷积层处理所获得的特征，被共享的特征连接两个单独的1×1卷积层，生成关键点热点图和解析图。
进一步地，所述的细粒度编码器，对于细粒度SR编码器，利用残差模块进行特征提取，先验特征的尺寸被下采样为64×64，为了保持特征尺寸的一致性，细粒度SR编码器从步长为2的3×3卷积层开始，令特征图下采样到64×64，然后利用残差结构提取图像特征。
进一步地，所述的解码器，细粒度SR解码器同时使用特征和先验信息来恢复最终的细粒度HR图像，首先，先验特征p和图像特征f被连接起来作为解码器的输入，然后3×3卷积层将特征映射的数量减少到64个，利用一个4×4的解卷积层将特征映射的大小上采样到128×128，然后使用3个残差模块对特征进行解码，最后使用3×3卷积层来恢复细粒度HR图像。
其中，所述的人脸超分辨率生成对抗网络，为了生成逼真的高分辨率人脸，在现有模型中使用一个生成对抗网络(GAN)，得到人脸超分辨率生成对抗网络(FSRGAN)，对抗网络C的目标函数表示为：
其中，C输出的概率属性为真，是概率分布的期望值，除了对抗性损失之外，使用网络预先训练的高级特征图引入一个感知损失，用来评估感知的相关性，通过以下等式给定：
其中，φ表示在固定点预训练的网络模型，并将图像y或映射到特征空间，FSRGAN的最终目标函数为：
其中，γC是生成对抗网络的权重，γP是生成对抗网络的感知损失。
进一步地，所述的训练，采用一个图像数量为2300的数据集进行测试，数据集中最后50张图片用于测试，其他图片用于训练，在训练图像上执行数据增强，将原始图像分别旋转90°、180°、270°并进行水平翻转，令每个原始图像附加上7个增强图像，数据集中的每幅图像都标定194个关键点和11个解析图。
进一步地，所述的训练图像，对训练图像执行粗略的剪裁，在没有任何预对准操作的情况下，根据图像的脸部区域，把图像大小调整为128×128，采用人脸检测器裁剪的图像作为测试输入，输入的低分辨率图像通过双三次的插值放大，使图像尺寸与输出的高分辨率图像相同，使用一个梯度下降优化算法对模型进行训练，初始学习率为2.5×10-4，最小批量为14，在两个数据集中设定λ＝1,γC＝10-3,γP＝10-1。
图2是本发明一种基于新型端到端人脸超分辨率网络的图像对齐方法的网络结构图。由粗粒度SR网络和细粒度SR网络组成，从一个3×3的卷积层开始，然后是3个残差模块，最后使用另一个3×3的卷积层来重建粗粒度HR图像。
图3是本发明一种基于新型端到端人脸超分辨率网络的图像对齐方法的数据集解析图。(a)为原始图像，(b)是由11个标定的对齐图像生成的可视化彩色图，(c)是标定图像的全局解析图，(d)是标定图像的局部解析图，分别包含左眉毛、右眉毛、左眼、右眼、鼻子、上唇、口腔和下唇。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于新型端到端人脸超分辨率网络的图像对齐方法，其特征在于，主要包括人脸超分辨率网络(一)；人脸超分辨率生成对抗网络(二)。
2.基于权利要求1所述的人脸超分辨率网络(一)，其特征在于，人脸超分辨率网络(FSRNet)由粗粒度超分辨率网络和细粒度超分辨率网络组成，其包括细粒度SR编码器、先验估计网络以及细粒度SR解码器，用x表示低分辨率输入图像，用y表示通过FSRNet恢复的高分辨率(HR)图像，p表示通过FSRNet估计的先验信息，由于在先验估计中输入的低分辨率图像清晰度较低，故构造一个粗粒度SR网络来恢复粗粒度SR图像，通过以下等式给定：
其中，x是低分辨率(LR)图像，yc是粗粒度SR图像，是粗粒度超分辨率网络从图像x到图像yc的映射，yc分别被发送到先验估计网络和细粒度SR编码器上，得到以下等式：
其中，f是由编码器提取的特征，编码完成之后，利用SR的解码器连接图像特征f和先验信息p来恢复SR图像，由以下等式表示：
给定一个训练集其中N是所训练图像的数量，x(i)是位于标定超分辨率图像中的低分辨率图像，是标定的先验信息，FSRNet的损失函数由下式给定：
其中，Θ表示参数集，λ是先验损失的权重，y(i)和p(i)是恢复的HR图像，p(i)是在第i个图像估计的先验信息。
3.基于权利要求2所述的粗粒度超分辨率网络，其特征在于，使用粗粒度SR网络大概恢复粗粒度HR图像，以此减轻估计先验信息的困难，粗粒度SR网络体系结构由3×3的卷积层开始，然后是3个残差模块，最后使用另一个3×3的卷积层来重建粗粒度HR图像。
4.基于权利要求2所述的细粒度超分辨率网络，其特征在于，在细粒度SR网络中，粗粒度HR图像被发送到先验估计网络和细粒度编码器网络中，分别用来进行面部先验信息估计和特征提取，然后解码器使用这两个结果来恢复细粒度HR图像。
5.基于权利要求4所述的先验估计网络，其特征在于，采用沙漏结构在先验估计网络中估计面部标记点的关键图和解析图，由于这两个先验信息表示二维的人脸形状，故在先验估计网络中，除最后一层外，共享这两个任务之间的全部特征，为了有效地跨尺度合并特征并保存不同尺度的空间信息，沙漏模块在对称层之间使用跳跃连接机制，随后用一个1×1卷积层处理所获得的特征，被共享的特征连接两个单独的1×1卷积层，生成关键点热点图和解析图。
6.基于权利要求4所述的细粒度编码器，其特征在于，对于细粒度SR编码器，利用残差模块进行特征提取，先验特征的尺寸被下采样为64×64，为了保持特征尺寸的一致性，细粒度SR编码器从步长为2的3×3卷积层开始，令特征图下采样到64×64，然后利用残差结构提取图像特征。
7.基于权利要求4所述的解码器，其特征在于，细粒度SR解码器同时使用特征和先验信息来恢复最终的细粒度HR图像，首先，先验特征p和图像特征f被连接起来作为解码器的输入，然后3×3卷积层将特征映射的数量减少到64个，利用一个4×4的解卷积层将特征映射的大小上采样到128×128，然后使用3个残差模块对特征进行解码，最后使用3×3卷积层来恢复细粒度HR图像。
8.基于权利要求1所述的人脸超分辨率生成对抗网络(二)，其特征在于，为了生成逼真的高分辨率人脸，在现有模型中使用一个生成对抗网络(GAN)，得到人脸超分辨率生成对抗网络(FSRGAN)，对抗网络C的目标函数表示为：
其中，C输出的概率属性为真，是概率分布的期望值，除了对抗性损失之外，使用网络预先训练的高级特征图引入一个感知损失，用来评估感知的相关性，通过以下等式给定：
其中，φ表示在固定点预训练的网络模型，并将图像y或映射到特征空间，FSRGAN的最终目标函数为：
其中，γC是生成对抗网络的权重，γP是生成对抗网络的感知损失。
9.基于权利要求8所述的训练，其特征在于，采用一个图像数量为2300的数据集进行测试，数据集中最后50张图片用于测试，其他图片用于训练，在训练图像上执行数据增强，将原始图像分别旋转90°、180°、270°并进行水平翻转，令每个原始图像附加上7个增强图像，数据集中的每幅图像都标定194个关键点和11个解析图。
10.基于权利要求9所述的训练图像，其特征在于，对训练图像执行粗略的剪裁，在没有任何预对准操作的情况下，根据图像的脸部区域，把图像大小调整为128×128，采用人脸检测器裁剪的图像作为测试输入，输入的低分辨率图像通过双三次的插值放大，使图像尺寸与输出的高分辨率图像相同，使用一个梯度下降优化算法对模型进行训练，初始学习率为2.5×10-4，最小批量为14，在两个数据集中设定λ＝1,γC＝10-3,γP＝10-1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810045095.7A CN107958246A (zh) | 2018-01-17 | 2018-01-17 | 一种基于新型端到端人脸超分辨率网络的图像对齐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810045095.7A CN107958246A (zh) | 2018-01-17 | 2018-01-17 | 一种基于新型端到端人脸超分辨率网络的图像对齐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107958246A true CN107958246A (zh) | 2018-04-24 |
Family
ID=61956259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810045095.7A Withdrawn CN107958246A (zh) | 2018-01-17 | 2018-01-17 | 一种基于新型端到端人脸超分辨率网络的图像对齐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958246A (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764085A (zh) * | 2018-05-17 | 2018-11-06 | 上海交通大学 | 基于生成对抗网络的人群计数方法 |
| CN108921782A (zh) * | 2018-05-17 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN109101919A (zh) * | 2018-08-03 | 2018-12-28 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109190520A (zh) * | 2018-08-16 | 2019-01-11 | 广州视源电子科技股份有限公司 | 一种超分辨率重建人脸图像方法及装置 |
| CN109191378A (zh) * | 2018-07-25 | 2019-01-11 | 成都信息工程大学 | 基于ergan网络单幅图像超分辨重建方法 |
| CN109544450A (zh) * | 2018-11-09 | 2019-03-29 | 武汉烽火众智数字技术有限责任公司 | 一种对抗生成网络构建方法及装置、图像重构方法及装置 |
| CN109636721A (zh) * | 2018-11-29 | 2019-04-16 | 武汉大学 | 基于对抗学习和注意力机制的视频超分辨率方法 |
| CN109753946A (zh) * | 2019-01-23 | 2019-05-14 | 哈尔滨工业大学 | 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法 |
| CN109993782A (zh) * | 2019-04-02 | 2019-07-09 | 中国矿业大学 | 一种环形生成对抗网络的异源遥感图像配准方法及装置 |
| CN110111251A (zh) * | 2019-04-22 | 2019-08-09 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
| CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建*** |
| CN110443782A (zh) * | 2019-07-03 | 2019-11-12 | 杭州深睿博联科技有限公司 | 胸部x光片模型对齐方法及装置、存储介质 |
| CN110490158A (zh) * | 2019-08-23 | 2019-11-22 | 安徽大学 | 一种基于多级模型的鲁棒人脸对齐方法 |
| CN110782398A (zh) * | 2018-12-13 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
| JP2020047270A (ja) * | 2018-09-17 | 2020-03-26 | 株式会社ストラドビジョン | マルチフィーディングを適用した学習方法及び学習装置並びにそれを利用したテスト方法及びテスト装置 |
| CN110956575A (zh) * | 2018-09-26 | 2020-04-03 | 京东方科技集团股份有限公司 | 转变图像风格的方法和装置、卷积神经网络处理器 |
| CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111221118A (zh) * | 2020-02-26 | 2020-06-02 | 南京理工大学 | 一种基于相位编码单透镜的显微成像方法 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111523553A (zh) * | 2020-04-03 | 2020-08-11 | 中国计量大学 | 一种基于相似度矩阵的中心点网络多目标检测方法 |
| CN112348103A (zh) * | 2020-11-16 | 2021-02-09 | 南开大学 | 图像块分类方法和装置及其超分辨重建方法和装置 |
| CN113094422A (zh) * | 2021-03-12 | 2021-07-09 | 中山大学 | 一种城市道路交通流量图生成方法、***及设备 |
| CN113108792A (zh) * | 2021-03-16 | 2021-07-13 | 中山大学 | Wi-Fi指纹地图重建方法、装置、终端设备及介质 |
| CN113160044A (zh) * | 2020-01-23 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN113159171A (zh) * | 2021-04-20 | 2021-07-23 | 复旦大学 | 一种基于对抗学习的植物叶片图像细分类方法 |
| CN113379606A (zh) * | 2021-08-16 | 2021-09-10 | 之江实验室 | 一种基于预训练生成模型的人脸超分辨方法 |
| CN113658040A (zh) * | 2021-07-14 | 2021-11-16 | 西安理工大学 | 一种基于先验信息和注意力融合机制的人脸超分辨方法 |
| CN115994966A (zh) * | 2023-03-22 | 2023-04-21 | 北京红棉小冰科技有限公司 | 多视角图像生成方法、装置、可读存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107451619A (zh) * | 2017-08-11 | 2017-12-08 | 深圳市唯特视科技有限公司 | 一种基于感知生成对抗网络的小目标检测方法 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
-
2018
- 2018-01-17 CN CN201810045095.7A patent/CN107958246A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| CN107451619A (zh) * | 2017-08-11 | 2017-12-08 | 深圳市唯特视科技有限公司 | 一种基于感知生成对抗网络的小目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| YU CHEN ET AL.: "FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors", 《ARXIV》 * |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764085A (zh) * | 2018-05-17 | 2018-11-06 | 上海交通大学 | 基于生成对抗网络的人群计数方法 |
| CN108921782A (zh) * | 2018-05-17 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN108764085B (zh) * | 2018-05-17 | 2022-02-25 | 上海交通大学 | 基于生成对抗网络的人群计数方法 |
| CN108921782B (zh) * | 2018-05-17 | 2023-04-14 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN109191378A (zh) * | 2018-07-25 | 2019-01-11 | 成都信息工程大学 | 基于ergan网络单幅图像超分辨重建方法 |
| CN109101919A (zh) * | 2018-08-03 | 2018-12-28 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109190520A (zh) * | 2018-08-16 | 2019-01-11 | 广州视源电子科技股份有限公司 | 一种超分辨率重建人脸图像方法及装置 |
| JP2020047270A (ja) * | 2018-09-17 | 2020-03-26 | 株式会社ストラドビジョン | マルチフィーディングを適用した学習方法及び学習装置並びにそれを利用したテスト方法及びテスト装置 |
| CN110956575B (zh) * | 2018-09-26 | 2022-04-12 | 京东方科技集团股份有限公司 | 转变图像风格的方法和装置、卷积神经网络处理器 |
| CN110956575A (zh) * | 2018-09-26 | 2020-04-03 | 京东方科技集团股份有限公司 | 转变图像风格的方法和装置、卷积神经网络处理器 |
| US11842267B2 (en) | 2018-09-26 | 2023-12-12 | Boe Technology Group Co., Ltd. | Computer-implemented method using a neural network comprising down-sampling segment, densely connected segment, and up-sampling segment, apparatus, and computer-program product |
| CN109544450A (zh) * | 2018-11-09 | 2019-03-29 | 武汉烽火众智数字技术有限责任公司 | 一种对抗生成网络构建方法及装置、图像重构方法及装置 |
| CN109544450B (zh) * | 2018-11-09 | 2022-08-19 | 武汉烽火众智数字技术有限责任公司 | 一种对抗生成网络构建方法及装置、图像重构方法及装置 |
| CN109636721B (zh) * | 2018-11-29 | 2023-06-23 | 武汉大学 | 基于对抗学习和注意力机制的视频超分辨率方法 |
| CN109636721A (zh) * | 2018-11-29 | 2019-04-16 | 武汉大学 | 基于对抗学习和注意力机制的视频超分辨率方法 |
| CN110782398A (zh) * | 2018-12-13 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
| CN109753946A (zh) * | 2019-01-23 | 2019-05-14 | 哈尔滨工业大学 | 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法 |
| CN109993782A (zh) * | 2019-04-02 | 2019-07-09 | 中国矿业大学 | 一种环形生成对抗网络的异源遥感图像配准方法及装置 |
| CN109993782B (zh) * | 2019-04-02 | 2020-12-04 | 中国矿业大学 | 一种环形生成对抗网络的异源遥感图像配准方法及装置 |
| CN110111251A (zh) * | 2019-04-22 | 2019-08-09 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
| CN110111251B (zh) * | 2019-04-22 | 2023-04-28 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
| CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建*** |
| CN110443782A (zh) * | 2019-07-03 | 2019-11-12 | 杭州深睿博联科技有限公司 | 胸部x光片模型对齐方法及装置、存储介质 |
| CN110490158A (zh) * | 2019-08-23 | 2019-11-22 | 安徽大学 | 一种基于多级模型的鲁棒人脸对齐方法 |
| CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
| CN111080511B (zh) * | 2019-11-18 | 2020-12-25 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
| CN111199522B (zh) * | 2019-12-24 | 2024-02-09 | 芽米科技(广州)有限公司 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN113160044B (zh) * | 2020-01-23 | 2023-12-26 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN113160044A (zh) * | 2020-01-23 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
| CN111221118A (zh) * | 2020-02-26 | 2020-06-02 | 南京理工大学 | 一种基于相位编码单透镜的显微成像方法 |
| CN111523553A (zh) * | 2020-04-03 | 2020-08-11 | 中国计量大学 | 一种基于相似度矩阵的中心点网络多目标检测方法 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111507914B (zh) * | 2020-04-10 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN112348103A (zh) * | 2020-11-16 | 2021-02-09 | 南开大学 | 图像块分类方法和装置及其超分辨重建方法和装置 |
| CN112348103B (zh) * | 2020-11-16 | 2022-11-11 | 南开大学 | 图像块分类方法和装置及其超分辨重建方法和装置 |
| CN113094422B (zh) * | 2021-03-12 | 2023-07-07 | 中山大学 | 一种城市道路交通流量图生成方法、***及设备 |
| CN113094422A (zh) * | 2021-03-12 | 2021-07-09 | 中山大学 | 一种城市道路交通流量图生成方法、***及设备 |
| CN113108792A (zh) * | 2021-03-16 | 2021-07-13 | 中山大学 | Wi-Fi指纹地图重建方法、装置、终端设备及介质 |
| CN113159171B (zh) * | 2021-04-20 | 2022-07-22 | 复旦大学 | 一种基于对抗学习的植物叶片图像细分类方法 |
| CN113159171A (zh) * | 2021-04-20 | 2021-07-23 | 复旦大学 | 一种基于对抗学习的植物叶片图像细分类方法 |
| CN113658040A (zh) * | 2021-07-14 | 2021-11-16 | 西安理工大学 | 一种基于先验信息和注意力融合机制的人脸超分辨方法 |
| CN113658040B (zh) * | 2021-07-14 | 2024-07-16 | 北京海百川科技有限公司 | 一种基于先验信息和注意力融合机制的人脸超分辨方法 |
| CN113379606A (zh) * | 2021-08-16 | 2021-09-10 | 之江实验室 | 一种基于预训练生成模型的人脸超分辨方法 |
| CN115994966A (zh) * | 2023-03-22 | 2023-04-21 | 北京红棉小冰科技有限公司 | 多视角图像生成方法、装置、可读存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958246A (zh) | 一种基于新型端到端人脸超分辨率网络的图像对齐方法 | |
| Xiong et al. | Hscnn: Cnn-based hyperspectral image recovery from spectrally undersampled projections | |
| Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
| Su et al. | Object detection and instance segmentation in remote sensing imagery based on precise mask R-CNN | |
| Zhang et al. | Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: A review | |
| US20220044375A1 (en) | Saliency Map Enhancement-Based Infrared and Visible Light Fusion Method | |
| Xu et al. | High quality remote sensing image super-resolution using deep memory connected network | |
| Ling et al. | A saliency prediction model on 360 degree images using color dictionary based sparse representation | |
| Chen et al. | SIRF: Simultaneous satellite image registration and fusion in a unified framework | |
| Wu et al. | An error-bound-regularized sparse coding for spatiotemporal reflectance fusion | |
| Abiantun et al. | SSR2: Sparse signal recovery for single-image super-resolution on faces with extreme low resolutions | |
| An et al. | TR-MISR: Multiimage super-resolution based on feature fusion with transformers | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
| JP2018072938A (ja) | 目的物個数推定装置、目的物個数推定方法及びプログラム | |
| Pashaei et al. | Deep learning-based single image super-resolution: an investigation for dense scene reconstruction with UAS photogrammetry | |
| CN113139902A (zh) | 一种高光谱图像超分辨率重建方法、装置及电子设备 | |
| CN110647909A (zh) | 一种基于三维密集卷积神经网络的遥感图像分类方法 | |
| Mou et al. | TransCL: Transformer makes strong and flexible compressive learning | |
| CN115089150A (zh) | 一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 | |
| Higgins et al. | SynthIA: a synthetic inversion approximation for the Stokes vector fusing SDO and Hinode into a virtual observatory | |
| Zhu et al. | Super resolution reconstruction method for infrared images based on pseudo transferred features | |
| CN115035551A (zh) | 三维人体姿态估计方法、装置、设备及存储介质 | |
| Wang et al. | A review of GAN-based super-resolution reconstruction for optical remote sensing images | |
| Xiao et al. | SR-DeblurUGAN: An end-to-end super-resolution and deblurring model with high performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180424 |