CN113344792B - 一种图像生成方法、装置及电子设备 - Google Patents

一种图像生成方法、装置及电子设备 Download PDF

Info

Publication number
CN113344792B
CN113344792B CN202110879082.1A CN202110879082A CN113344792B CN 113344792 B CN113344792 B CN 113344792B CN 202110879082 A CN202110879082 A CN 202110879082A CN 113344792 B CN113344792 B CN 113344792B
Authority
CN
China
Prior art keywords
resolution face
super
network model
face image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110879082.1A
Other languages
English (en)
Other versions
CN113344792A (zh
Inventor
李亚鹏
王宁波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110879082.1A priority Critical patent/CN113344792B/zh
Publication of CN113344792A publication Critical patent/CN113344792A/zh
Priority to PCT/CN2021/128518 priority patent/WO2023010701A1/en
Application granted granted Critical
Publication of CN113344792B publication Critical patent/CN113344792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种图像生成方法、装置及电子设备，该方法包括：通过迭代的方式将N帧低分辨率人脸图像依次输入第一网络模型，对第一网络模型进行训练，并使用所述第一网络模型的输出损失对训练过程进行约束，直至第一网络模型的训练结果收敛，将训练完成后的第一网络模型记为第二网络模型，所述第二网络模型对任一目标的多帧低分辨率人脸图像超分辨处理，能够得到与所述多帧低分辨率人脸图像身份一致的超分辨率人脸图像。基于以上方法，能够解决基于单帧低分辨率人脸图像进行超分辨率处理，无法保证得到的超分辨率人脸图像中的身份信息与所述单帧低分辨率人脸图像身份信息一致的问题。

Description

一种图像生成方法、装置及电子设备
技术领域
本申请涉及人脸识别技术领域，特使是涉及一种图像生成方法、装置及电子设备。
背景技术
随着科学技术的快速发展和大数据时代的到来，信息安全变得越来越重要。人脸识别作为一种安全、非接触、便捷、高效的身份信息认证方式，已经广泛应用到社会生活的各个方面。但是在比较大的监控场景中，视频中出现的人脸尺寸通常较小，图像清晰度低，很难满足人脸识别的需要，因此，人脸超分辨率技术变得越来越重要。人脸超分辨率技术本质上是对低分辨率人脸图像添加高频特征来生成高分辨率人脸图像。
现有技术通常基于单帧低分辨率人脸图像，通过超分辨率处理，得到超分辨率人脸图像，这种方式得到的超分辨率人脸图像存在人脸信息缺失，无法保证所述超分辨率人脸图像中的身份信息与所述单帧低分辨率人脸图像中的身份信息一致。
发明内容
本申请提供了一种图像生成方法、装置及电子设备，实现对多帧低分辨率人脸图像进行超分辨率处理后，得到与所述低分辨率人脸图像身份信息一致的超分辨率人脸图像。
第一方面，本申请提供了一种图像生成方法，所述方法包括：
获取第一目标的N帧低分辨率人脸图像，其中，N为大于等于2的正整数；
根据所述N帧低分辨率人脸图像，对第一网络模型进行训练，得到第二网络模型，其中，所述第一网络模型能够对低分辨率人脸图像进行超分辨率处理；
基于所述第二网络模型依次对所述N帧低分辨率人脸图像进行超分辨率处理，得到N帧超分辨率人脸图像；
将所述N帧超分辨率人脸图像中的最后生成的一帧超分辨率人脸图像作为最终人脸图像。
通过上述图像生成方法，可以实现对多帧低分辨率人脸图像进行超分辨率处理后，得到与所述低分辨率人脸图像身份信息一致的超分辨率人脸图像。
在一种可能的设计中，所述根据所述N帧低分辨率人脸图像，对第一网络模型进行训练，得到第二网络模型，包括：
根据所述N帧低分辨率人脸图像，计算得到第一网络模型的输出损失，其中，所述输出损失用来约束所述第一网络模型的训练过程；
根据所述输出损失，判断所述第一网络模型的训练结果是否收敛；
若训练结果不收敛，则调整所述第一网络模型的参数，继续对所述第一网络模型进行训练，直至训练结果收敛；
若训练结果收敛，则将训练完成后的第一网络模型记为第二网络模型。
通过上述方法，通过第一网络模型的输出损失来约束第一网络模型进行训练过程，训练完成后得到第二网络模型，其中，所述第二网络模型可以实现对任一目标的多帧低分辨率人脸图像进行超分辨处理，得到与所述多帧低分辨率人脸图像身份一致的超分辨率人脸图像。
在一种可能的设计中，所述根据所述N帧低分辨率人脸图像，计算得到第一网络模型的输出损失，包括：
将所述N帧低分辨率人脸图像，通过第一网络模型得到N个随机变量和1个超分辨率人脸图像集，其中，所述超分辨率人脸图像集中的超分辨率人脸图像帧数为N；
将所述超分辨率人脸图像集中的超分辨率人脸图像依次输入识别网络，提取得到N个人脸特征值；
将所述N个随机变量和所述N个人脸特征值输入损失函数，计算得到第一网络模型的输出损失。
通过上述方法，计算得到的第一网络模型的输出损失，用以约束所述第一网络模型的训练过程，使得训练结果收敛。
在一种可能的设计中，所述将所述N帧低分辨率人脸图像，通过第一网络模型得到N个随机变量和1个超分辨率人脸图像集，包括：
在所述N帧低分辨率人脸图像中确定出一帧低分辨率人脸图像作为第一基准帧；
将第一超分辨率人脸图像和第一低分辨率人脸图像输入所述第一网络模型，得到所述第一低分辨率人脸图像对应的随机变量，其中，所述第一超分辨率人脸图像为所述第一目标的真实高分辨率人脸图像，所述第一低分辨率人脸图像为所述第一基准帧的下一帧图像；
将所述第一低分辨率人脸图像对应的随机变量和所述第一基准帧输入所述第一网络模型，得到第二超分辨率人脸图像；
用所述第二超分辨率人脸图像替换所述第一超分辨率人脸图像，并用所述第一低分辨率人脸图像的下一帧图像替换第一低分辨率人脸图像，继续对所述第一网络模型进行训练，依次生成的超分辨率人脸图像组成1个超分辨率人脸图像集。
通过上述方法，得到的超分辨率人脸图像集中的超分辨率人脸图像用于提取人脸特征值，所述人脸特征值和所述N个特征随机变量用于计算第一网络模型的输出损失。
在一种可能的设计中，所述将所述N个随机变量和所述N个人脸特征值输入损失函数，计算得到第一网络模型的输出损失，包括：
将所述N个随机变量输入负对数似然损失函数，计算得到负对数似然损失，其中，所述负对数似然损失用来约束所述第一网络模型，使得所述第一网络模型输出的随机变量服从标准正太分布；
将所述N个人脸特征值输入余弦损失函数，计算得到余弦损失，所述余弦损失用来计算超分辨率人脸特征与真实人脸特征之间的差异程度；
将所述余弦损失输入余弦比较损失函数，计算得到余弦比较损失，其中，所述余弦比较损失用来约束第一网络模型，使得每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度；
将所述负对数似然损失、余弦损失和余弦比较损失输入损失函数，计算得到所述第一网络模型的输出损失，其中所述输出损失用来约束所述第一网络模型的训练过程。
通过上述方法，计算得到第一网络模型的输出损失，通过所述输出损失对所述第一网络模型的训练过程进行约束，既可以实现所述第一网络模型编码出的随机变量服从标准正太分布，也可以使得第一网络模型每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度。
在一种可能的设计中，基于所述第二网络模型依次对所述N帧低分辨率人脸图像进行超分辨率处理，得到N帧超分辨率人脸图像，包括：
在训练过程中生成的服从标准正太分布的随机变量中随机采样第一随机变量，并在所述N帧低分辨率人脸图像中确定出第二基准帧；
将所述第一随机变量以及第二基准帧输入第二网络模型，得到与所述第一随机变量对应的超分辨率人脸图像；
将所述第一随机变量对应的超分辨率人脸图像及第二低分辨率人脸图像输入所述第二网络模型，得到第二随机变量，其中，所述第二低分辨率人脸图像为所述第二基准帧的下一帧图像；
将所述第二随机变量替换所述第一随机变量，并将所述第二低分辨率人脸图像的下一帧图像替换所述第二低分辨率人脸图像，继续对替换后的第二低分辨率人脸图像进行超分辨率处理，依次得到N帧超分辨率人脸图像。
通过上述方法，基于第二网络模型对所述N帧低分辨率人脸图像进行超分辨率处理，每次生成的超分辨率人脸图像比前一次生成的超分辨率人脸图像中多出了一帧低分辨率人脸图像的细节特征，因此最后生成的一帧超分辨率人脸图像中包含了N帧低分辨率人脸图像的细节特征，与所述N帧低分辨率人脸图像的身份一致。
第二方面，本申请提供了一种图像生成装置，所述装置包括：
获取模块，用于获取第一目标的N帧低分辨率人脸图像，其中，N为大于等于2的正整数；
训练模块，用于根据所述N帧低分辨率人脸图像，对第一网络模型进行训练，得到第二网络模型，其中，所述第一网络模型能够对低分辨率人脸图像进行超分辨率处理；
处理模块，用于基于所述第二网络模型依次对所述N帧低分辨率人脸图像进行超分辨率处理，得到N帧超分辨率人脸图像；
选择模块，用于将所述N帧超分辨率人脸图像中的最后生成的一帧超分辨率人脸图像作为最终人脸图像。
在一种可能的设计中，所述训练模块，包括：
计算单元，用于根据所述N帧低分辨率人脸图像，计算得到第一网络模型的输出损失，其中，所述输出损失用来约束所述第一网络模型的训练过程；
判定单元，用于根据所述输出损失，判断所述第一网络模型的训练结果是否收敛；
调整单元，若训练结果不收敛，则用于调整所述第一网络模型的参数，继续对所述第一网络模型进行训练，直至训练结果收敛；
标记单元，若训练结果收敛，则用于将训练完成后的第一网络模型记为第二网络模型。
在一种可能的设计中，所述计算单元，具体用于：
将所述N帧低分辨率人脸图像，通过第一网络模型得到N个随机变量和1个超分辨率人脸图像集，其中，所述超分辨率人脸图像集中的超分辨率人脸图像帧数为N；
将所述超分辨率人脸图像集中的超分辨率人脸图像依次输入识别网络，提取得到N个人脸特征值；
将所述N个随机变量和所述N个人脸特征值输入损失函数，计算得到第一网络模型的输出损失。
在一种可能的设计中，所述计算单元，还用于：
在所述N帧低分辨率人脸图像中确定出一帧低分辨率人脸图像作为第一基准帧；
将第一超分辨率人脸图像和第一低分辨率人脸图像输入所述第一网络模型，得到所述第一低分辨率人脸图像对应的随机变量，其中，所述第一超分辨率人脸图像为所述第一目标的真实高分辨率人脸图像，所述第一低分辨率人脸图像为所述第一基准帧的下一帧图像；
将所述第一低分辨率人脸图像对应的随机变量和所述第一基准帧输入所述第一网络模型，得到第二超分辨率人脸图像；
用所述第二超分辨率人脸图像替换所述第一超分辨率人脸图像，并用所述第一低分辨率人脸图像的下一帧图像替换第一低分辨率人脸图像，继续对所述第一网络模型进行训练，依次生成的超分辨率人脸图像组成1个超分辨率人脸图像集。
在一种可能的设计中，所述计算单元，还用于：
将所述N个随机变量输入负对数似然损失函数，计算得到负对数似然损失，其中，所述负对数似然损失用来约束所述第一网络模型，使得所述第一网络模型输出的随机变量服从标准正太分布；
将所述N个人脸特征值输入余弦损失函数，计算得到余弦损失，所述余弦损失用来计算超分辨率人脸特征与真实人脸特征之间的差异程度；
将所述余弦损失输入余弦比较损失函数，计算得到余弦比较损失，其中，所述余弦比较损失用来约束第一网络模型，使得每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度；
将所述负对数似然损失、余弦损失和余弦比较损失输入损失函数，计算得到所述第一网络模型的输出损失，其中所述输出损失用来约束所述第一网络模型的训练过程。
在一种可能的设计中，所述处理模块，包括：
获取单元，用于在训练过程中生成的服从标准正太分布的随机变量中随机采样第一随机变量，并在所述N帧低分辨率人脸图像中确定出第二基准帧；
处理单元，用于将所述第一随机变量以及第二基准帧输入第二网络模型，得到与所述第一随机变量对应的超分辨率人脸图像；
编码单元，用于将所述第一随机变量对应的超分辨率人脸图像及第二低分辨率人脸图像输入所述第二网络模型，得到第二随机变量，其中，所述第二低分辨率人脸图像为所述第二基准帧的下一帧图像；
更新单元，用于将所述第二随机变量替换所述第一随机变量，并将所述第二低分辨率人脸图像的下一帧图像替换所述第二低分辨率人脸图像，继续对替换后的第二低分辨率人脸图像进行超分辨率处理，依次得到N帧超分辨率人脸图像。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述图像生中的方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图像生成的方法步骤。
基于本申请所提供的方法，通过对第一目标的N帧低分辨率图像进行超分辨率处理方式对第一网络模型进行训练，由于训练过程中得到的最后一帧超分辨率人脸图像中包含多帧低分辨率人脸图像的细节信息，因此通过所述第二网络模型对第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到的最后一帧超分辨率人脸图像中的身份信息与所述第一目标身份信息一致。
当然，所述第二网络模型，不仅可以对所述第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到与所述第一目标身份信息一致的超分辨率人脸图像，也可以对第二目标的多帧低分辨率人脸图像进行超分辨率处理，得到与所述第二目标身份信息一致的超分辨率人脸图像。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种图像生成方法的流程图；
图2为本申请提供的一种对第一网络模型进行训练的方法流程图；
图3为本申请提供的一种基于第一网络模型得到N个随机变量和1个超分辨率人脸图像集的方法流程图；
图4为本申请提供的一种计算第一网络模型的输出损失的方法流程图；
图5为本申请提供的一种基于第二网络模型得到N帧超分辨率人脸图像的方法流程图；
图6为本申请提供的一种对第一网络模型进行训练的方法示意图；
图7为本申请提供的一种基于第二网络模型对N帧低分辨率人脸图像进行超分辨率处理的方法示意图；
图8为本申请提供的一种图像生成装置的结构示意图；
图9为本申请提供的一种训练模块的结构示意图；
图10为本申请提供的一种处理模块的结构示意图；
图11为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或***实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面结合附图对本申请作进一步的详细描述。
本申请实施例提供的一种图像生成方法，能够解决基于单帧低分辨率人脸图像进行超分辨率处理，无法保证得到的超分辨率人脸图像中的身份信息与所述单帧低分辨率人脸图像身份信息一致的问题。其中，本申请实施例所述方法和装置基于同一技术构思，由于方法及装置所解决问题的原理相似，因此装置与方法的实施例可以相互参见，重复之处不再赘述。
人脸超分辨率技术本质上是对低分辨率人脸图像添加高频特征来生成高分辨率人脸图像，在人脸超分辨率技术领域，经常用到SRFlow网络模型。SRFlow网络模型是可逆的，可以学习超分辨率图像关于低分辨率图像的条件分布。将高分辨率图像和低分辨率图像输入所述SRFlow网络模型，可以得到满足特定分布的随机变量，将低分辨率图像和满足特定分布的随机变量输入所述SRFlow网络模型，可以生成超分辨率人脸图像。
现有技术通常基于SRFlow网络模型对单帧低分辨率人脸图像进行超分辨率处理，得到超分辨率人脸图像，但是由于单帧低分辨率人脸图像细节信息缺失，而这些细节信息通常作为区分人脸身份信息的关键，因此，无法保证得到的超分辨率人脸图像中的身份信息与低分辨率人脸图像中的身份信息一致。
为了解决基于单帧低分辨率人脸图像进行超分辨率处理，得到的超分辨率人脸图像中的身份信息无法保证与所述单帧低分辨率人脸图像中的身份信息一致的问题，本申请基于第一网络模型，通过迭代的方式依次将第一目标的多帧低分辨人脸图像输入第一网络模型，对所述第一网络模型进行训练，并根据第一网络的输出损失约束训练过程，当所述第一网络模型训练结果为收敛时，将训练完成后的第一网络模型记为第二网络模型，使用第二网络模型对第一目标或者第二目标的多帧低分辨率人脸图像进行超分辨处理，生成的最后一帧超分辨率人脸图像具有所述多帧低分辨人脸图像的细节特征，因此与低分辨率人脸图像身份信息一致。
具体来讲，如图1所示，为本申请提供的一种图像生成方法的流程图：
S11，获取第一目标的N帧低分辨率人脸图像，其中，N为大于等于2的正整数；
S12，根据所述N帧低分辨率人脸图像，对第一网络模型进行训练，得到第二网络模型；
在本申请实施例中，所述第一网络模型可以是SRFlow网络模型，通过迭代的方式依次将所述N帧低分辨人脸图像输入所述第一网络模型，对所述第一网络模型进行训练，并根据所述第一网络的输出损失约束训练过程，当所述第一网络模型的训练结果为收敛时，将训练完成后的第一网络模型记为第二网络模型。
S13，基于所述第二网络模型依次对所述N帧低分辨率人脸图像进行超分辨率处理，得到N帧超分辨率人脸图像；
在本申请实施例中，基于所述第二网络模型，依次对所述N帧低分辨率人脸图像进行超分辨率处理，得到N帧超分辨率人脸图像。在所述超分辨率处理的过程中，每次生成的超分辨率人脸图像比前一次生成的超分辨率人脸图像中多出了一帧低分辨率人脸图像的细节特征。
S14，将所述N帧超分辨率人脸图像中的最后生成的一帧超分辨率人脸图像作为最终人脸图像；
通过将所述N帧低分辨率人脸图像输入所述第二网络模型，每次生成的超分辨率人脸图像比前一次生成的超分辨率人脸图像中多出一帧低分辨率人脸图像的细节特征，因此最后生成的一帧超分辨率人脸图像中包含N帧低分辨率人脸图像的细节特征，即所述最后生成的一帧超分辨率人脸图像中的身份信息与所述N帧低分辨率人脸图像中的身份信息一致。
当然，所述第二网络模型，不仅可以对所述第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到与所述第一目标身份信息一致的超分辨率人脸图像，也可以对第二目标的多帧低分辨率人脸图像进行超分辨率处理，得到与所述第二目标身份信息一致的超分辨率人脸图像。
为了进一步阐述所述第二网络模型是如何得到的，需对步骤S12中所述的对第一网络模型进行训练的方法作详细说明，如图2所示，为所述对第一网络模型进行训练的具体流程：
S21，将所述N帧低分辨率人脸图像，通过第一网络模型得到N个随机变量和1个超分辨率人脸图像集；
在本申请实施例中，所述超分辨率人脸图像集中储存着第一目标的1帧真实高分辨率人脸图像，以及每次生成的超分辨率人脸图像，将所述1帧超分辨率人脸图像记为第一超分辨率人脸图像，则所述超分辨率人脸图像集中的超分辨率人脸图像总数为N。
得到所述N个随机变量和所述1个超分辨率人脸图像集可以通过将所述N帧低分辨率人脸图像按照迭代的方式输入第一网络模型来实现，具体流程如图3所示：
S31，在所述N帧低分辨率人脸图像中确定出一帧低分辨率人脸图像作为第一基准帧；
在本申请实施例中，所述第一基准帧可以是N帧低分辨率人脸图像中的第1帧，也可以是第2帧、第3帧、第4帧等，在本申请中选择第1帧低分辨率人脸图像。
S32，将第一目标的1帧真实高分辨率人脸图像作为第一超分辨率人脸图像放入超分辨率人脸图像集，并将所述第一基准帧的下一帧图像作为第一低分辨率人脸图像；
S33，将所述第一超分辨率人脸图像和所述第一低分辨率人脸图像输入所述第一网络模型，得到所述第一低分辨率人脸图像对应的随机变量；
S34，将所述第一低分辨率人脸图像对应的随机变量和所述第一基准帧输入所述第一网络模型，得到第二超分辨率人脸图像；
S35，将所述第二超分辨率人脸图像放入超分辨率人脸图像集，判断所述超分辨率人脸图像集中的图像帧数是否为N；
在本申请实施例中，若所述超分辨率人脸图像集中的图像帧数不为N，则执行步骤S36；否则，执行步骤S37。
S36，若所述图像帧数不为N，则用所述第二超分辨率人脸图像替换所述第一超分辨率人脸图像，并用所述第一低分辨率人脸图像的下一帧图像替换第一低分辨率人脸图像；
若所述图像帧数不为N，则用所述第二超分辨率人脸图像替换所述第一超分辨率人脸图像，并用所述第一低分辨率人脸图像的下一帧图像替换第一低分辨率人脸图像，并执行步骤S33；
S37，若所述图像帧数为N，则总共可得到N个随机变量和图像帧数为N的1个超分辨率人脸图像集。
基于上述步骤，得到的超分辨率人脸图像集中的超分辨率人脸图像用于提取人脸特征值，所述人脸特征值和所述N个特征随机变量用于计算第一网络模型的输出损失。
S22，将所述超分辨率人脸图像集中的超分辨率人脸图像依次输入识别网络，提取得到N个人脸特征值；
S23，将所述N个随机变量和所述N个人脸特征值输入损失函数，计算得到第一网络模型的输出损失；
通过所述输出损失约束第一网络模型的训练过程，使得所述第一网络模型输出的随机变量服从标准正太分布，并且使得每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度。
S24，根据所述输出损失，判断所述第一网络模型的训练结果是否收敛；
若第一网络模型的输出损失收敛，表明所述第一网络模型的训练结果收敛，执行步骤S25；否则，执行步骤26；
S25，若训练结果收敛，将训练完成后的第一网络模型记为第二网络模型；
若训练结果收敛，表明所述第一网络模型对多帧低分辨率人脸图像进行超分辨率处理，最终生成的超分辨率人脸图像与所述低分辨率人脸图像身份信息一致。将训练完成后的第一网络模型记为第二网络模型，所述第二网络模型可以对任一目标的多帧低分辨率人脸图像进行超分辨率处理，最后生成的一帧超分辨率人脸图像中的身份信息与所述低分辨率人脸图像中的身份信息一致。
S26，若训练结果不收敛，则调整所述第一网络模型的参数，继续对第一网络模型进行训练，直至训练结果收敛；
若训练结果不收敛，则调整所述第一网络模型的参数，并且继续获取另一目标的N帧低分辨率人脸图像，执行步骤S11，继续对所述第一网络模型进行训练，直至训练结果收敛。
基于上述步骤，将所述N帧低分辨率人脸图像输入所述第一网络模型，对第一网络模型进行训练，训练完成得到第二网络模型，其中，所述第二网络模型可以实现对任一目标的多帧低分辨率人脸图像进行超分辨处理，得到与所述多帧低分辨率人脸图像身份信息一致的超分辨率人脸图像。
在得到所述第二网络模型的训练过程中，需要用所述第一网络模型的输出损失约束所述第一网络模型，使得所述第一网络模型输出的随机变量服从标准正太分布，并且使得每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度。
为了进一步阐述所述输出损失的计算方法，需对步骤S23中所述计算得到第一网络模型的输出损失，作详细说明，所述输出损失的具体计算流程如图4所示：
S41，将所述N个随机变量输入负对数似然损失函数，计算得到负对数似然损失；
在本申请实施例中，所述负对数似然损失用来约束第一网络模型，使得所述第一网络模型输出的随机变量服从标准正太分布，其中，所述负对数似然损失可以通过公式(1)计算得到：
Figure GDA0003554304340000161
其中，公式(1)即为负对数似然损失函数，LR为低分辨率人脸图像，SR为超分辨率人脸图像，θ为分布参数，N为低分辨率图像的帧数，LR1i表示输入第一网络模型的第i帧低分辨率人脸图像，pZ(z1i)表示随机变量的空间分布，Z1i为表示将第i帧低分辨率人脸图像输入第一网络模型得到的随机变量，fθ为第一网络模型，所述第一网络模型fθ被分解为M个可逆层序列
Figure GDA0003554304340000162
S42，将所述N个人脸特征值输入余弦损失函数，计算得到余弦损失；
在本申请实施例中，所述余弦损失指示超分辨率人脸特征与真实人脸特征之间的差异程度，其中，所述余弦损失可以通过公式(2)计算得到：
Figure GDA0003554304340000163
其中，公式(2)即为余弦损失函数，Similarityi为第一网络模型第i次超分出的超分辨率人脸图像与真实高分辨率人脸图像之间的余弦相似度，所述余弦相似度取值范围是(-1,1)，余弦相似度越大，则表明所述超分辨率人脸图像与所述真实高分辨率人脸图像之间的相似度越高，所述余弦相似度可以通过公式(3)计算得到：
Figure GDA0003554304340000164
其中，Similarityi表征第i次生成的余弦相似度，公式(3)为余弦相似度函数，Fi为将所述第一网络模型第i次生成的超分辨率人脸图像输入识别网络后，提取的人脸特征值；F0为将真实高分辨率人脸图像输入所述识别网络后，提取的人脸特征值；
S43，将所述余弦损失输入余弦比较损失函数，计算得到余弦比较损失；
在本申请实施例中，将所述余弦比较损失约束第一网络模型，使得每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度，即Similarityi+1大于Similarityi，所述余弦比较损失可以通过公式(4)计算得到：
Figure GDA0003554304340000171
其中，公式(4)为余弦比较损失函数，e为自然对数的底数，α为比较系数。
S44，将所述负对数似然损失、余弦损失和余弦比较损失输入损失函数，计算得到所述第一网络模型的输出损失。
在本申请实施例中，所述输出损失用以对第一网络模型的训练过程进行约束，既能使得所述第一网络模型编码出的随机变量服从标准正太分布，也能使得第一网络模型每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度。所述输出损失可以通过公式(5)计算得到：
Figure GDA0003554304340000172
其中，公式(5)为所述损失函数。
基于上述步骤，计算得到第一网络模型的输出损失，所述输出损失如果不收敛，则调整第一网络模型的参数，继续对所述第一网络模型进行训练，直到所述输出损失收敛。
当所述输出损失收敛时，表明训练完成后得到的第二网络模型可以对所述N帧低分辨率人脸图像进行超分辨率处理，得到N帧超分辨率人脸图像，并且在超分辨率处理的过程中，每次生成的超分辨率人脸图像与所述真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与所述真实高分辨率人脸图像之间的相似度。
为了进一步阐述所述第二网络模型如何对所述N帧低分辨率人脸图像进行超分辨率处理的，需对步骤S13做详细说明，具体来讲如图5所示，为所述超分辨率处理的具体流程：
S51，在训练过程中生成的服从标准正太分布的随机变量中随机采样第一随机变量，并在所述N帧低分辨率人脸图像中确定出第二基准帧；
S52，将所述第二基准帧的下一帧图像作为第二低分辨率人脸图像；
S53，将所述第一随机变量以及第二基准帧输入第二网络模型，得到与所述第一随机变量对应的超分辨率人脸图像；
S54，对每次生成的超分辨率人脸图像进行计数，判断所述超分辨率人脸图像的总帧数是否为N；
对每次生成的超分辨率人脸图像进行计数，是为了判断是否对所述N帧低分辨率人脸图像全都进行了超分辨率处理。若所述超分辨率人脸图像的总帧数为N，则表明所述超分辨率完成，执行步骤S55；否则执行步骤S56。
S55，若所述超分辨率人脸图像的总帧数为N，则表明所述超分辨率完成，得到所述N帧超分辨率人脸图像；
S56，若所述超分辨率人脸图像的总帧数不为N，将所述超分辨率人脸图像及第二低分辨率人脸图像输入所述第二网络模型，得到第二随机变量；
S57，将所述第二随机变量替换所述第一随机变量，并将所述第二低分辨率人脸图像的下一帧图像替换所述第二低分辨率人脸图像，继续对替换后的第二低分辨率人脸图像进行超分辨率处理。
将所述第二随机变量替换所述第一随机变量，并将所述第二低分辨率人脸图像的下一帧图像替换所述第二低分辨率人脸图像后，执行步骤S53，实现继续替换后的第二低分辨率人脸图像进行超分辨率处理。
基于上述方式，使用第二网络模型对所述N帧低分辨率人脸图像进行超分辨率处理，每次生成的超分辨率人脸图像比前一次生成的超分辨率人脸图像中多出了一帧低分辨率人脸图像的细节特征，因此最后生成的一帧超分辨率人脸图像中包含了N帧低分辨率人脸图像的细节特征，即所述最后生成的一帧超分辨率人脸图像中的身份信息与所述N帧低分辨率人脸图像中的身份信息一致。
当然，基于上述步骤使用所述第二网络模型，不仅可以对第一目标的N帧低分辨率人脸图像进行超分辨率处理，还可以对第二目标的N帧低分辨率人脸图像进行超分辨率处理，生成的第二目标的最后一帧超分辨率人脸图像中的身份信息与第二目标的N帧低分辨率人脸图像中的身份信息一致。
进一步，为了更加详细阐述本申请所提供的一种图像生成方法，下面通过具体的应用场景对本申请所提供的方法进行详细说明。
在图像生成之前，需要对第一网络模型进行训练，参照图6，将第一目标的N帧低分辨率人脸图像按照图像采集设备获取顺序排序，分别记为第1帧低分辨率人脸图像、第2帧低分辨率人脸图像、…、第N帧低分辨率人脸图像。将第1帧低分辨率人脸图像作为基准帧LR11，将所述第一目标的真实高分辨率人脸图像HR输入识别网络，获取第1个人脸特征值F0，其中，将HR记为SR0；
第1次训练，将HR和第2帧低分辨率人脸图像LR12输入第一网络模型，得到第1个随机变量Z11；将Z11和LR11输入所述第一网络模型，生成所述第1帧超分辨率人脸图像SR11，将SR11输入识别网络，获取第2个人脸特征值F2；
第2次训练，将SR11和第3帧低分辨率人脸图像LR12输入第一网络模型，得到第2个随机变量Z12；将Z12和LR11输入所述第一网络模型，生成所述第一模型的第2帧超分辨率人脸图像SR12，将SR12输入识别网络，获取第3个人脸特征值F3；
在第i(i>1)次训练时，将所述第一网络模型第(i-1)次生成的超分辨率人脸图像SR1(i-1)和第i+1帧低分辨率人脸图像LR1(i+1)输入所述第一网络模型，得到第i个随机变量Z1i；将Z1i和LR11输入所述第一网络模型，生成所述第一模型的第i帧超分辨率人脸图像SR1i，将SR1i输入所述识别网络，获取第(i+1)个人脸特征值Fi；
将生成的所述人脸特征值{Fi，i＝0，1，…，N-1}输入所述损失函数，计算得到第一网络模型的输出损失，判断所述输出损失是否收敛；若收敛，则表明所述第一网络模型训练结果收敛，将训练完成后的第一网络模型记为第二网络模型；否则，调整所述第一网络模型参数，并继续对所述第一网络模型进行训练，直到训练结果收敛。
基于上述训练方法得到的第二网络模型，不仅可以对第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到与所述第一目标身份信息一致的超分辨率人脸图像，也可以对第二目标的N帧低分辨率人脸图像进行超分辨率处理，得到与所述第二目标身份信息一致的超分辨率人脸图像。
在完成第一网络模型的训练，得到第二网络模型之后，可以通过第二网络对任一目标的多帧低分辨率人脸图像进行超分辨率处理，得到与所述低分辨率人脸图像身份一致的超分辨率人脸图像。此处以第一目标为例，参照图7，对具体流程进行说明：
第1次超分辨率时，在训练过程中生成的满足标准正态分布的随机变量分布空间中随机采样一个随机变量Z21及基准帧LR21同时出入第二网络模型，生成所述第二模型的第1帧超分辨率人脸图像SR21，此处，确定N帧低分辨率人脸图像的第1帧低分辨率人脸图像为基准帧LR21；
第2次超分辨率时，将SR21及第2帧低分辨率人脸图像LR22同时输入所述第二网络模型，得到第2个随机变量Z22；将Z22及LR21同时输入所述第二网络模型，生成所述第二模型的第2帧超分辨率人脸图像SR22；
第i次超分辨率时，将所述第二网络模型生成的第(i-1)帧超分辨率人脸图像SR2(i-1)及第i帧低分辨率人脸图像LR2i同时输入所述第二网络模型，生成所述第二网络模型的第i帧超分辨率人脸图像SR2i；
当将最后一帧低分辨率人脸图像输入所述第二网络模型后，生成的最后一帧超分辨率人脸图像作为最终超分辨率结果。
基于上述流程，将第一目标的N帧低分辨率人脸图像依次输入第一网络模型，对所述第一网络模型进行训练，并用所述第一网络模型的输出损失约束所述第一网络模型的训练过程，使得所述第一网络模型的训练结果收敛，将训练完成后的第一网络模型记为第二网络模型。因为训练过程中得到的最后一帧超分辨率人脸图像中包含多帧低分辨率人脸图像的细节信息，因此通过所述第二网络模型对第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到的最后一帧超分辨率人脸图像的身份信息与第一目标的身份信息一致。
当然，所述第二网络模型，不仅可以对所述第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到与所述第一目标身份信息一致的超分辨率人脸图像，也可以对第二目标的多帧低分辨率人脸图像进行超分辨率处理，得到与所述第二目标身份信息一致的超分辨率人脸图像。
基于同一发明构思，本申请实施例中还提供了一种图像生成装置，如图8所示，为本申请中一种图像生成装置的结构示意图，该装置包括：
获取模块81，用于获取第一目标的N帧低分辨率人脸图像，其中，N为大于等于2的正整数；
训练模块82，用于根据所述N帧低分辨率人脸图像，对第一网络模型进行训练，得到第二网络模型，其中，所述第一网络模型能够对低分辨率人脸图像进行超分辨率处理；
处理模块83，用于基于所述第二网络模型依次对所述N帧低分辨率人脸图像进行超分辨率处理，得到N帧超分辨率人脸图像；
选择模块84，用于将所述N帧超分辨率人脸图像中的最后生成的一帧超分辨率人脸图像作为最终人脸图像。
在一种可能的设计中，如图9所示，所述训练模块，包括：
计算单元91，用于根据所述N帧低分辨率人脸图像，计算得到第一网络模型的输出损失，其中，所述输出损失用来约束所述第一网络模型的训练过程；
判定单元92，用于根据所述输出损失，判断所述第一网络模型的训练结果是否收敛；
调整单元93，若训练结果不收敛，则用于调整所述第一网络模型的参数，继续对所述第一网络模型进行训练，直至训练结果收敛；
标记单元94，若训练结果收敛，则用于将训练完成后的第一网络模型记为第二网络模型。
在一种可能的设计中，所述计算单元，具体用于：
将所述N帧低分辨率人脸图像，通过第一网络模型得到N个随机变量和1个超分辨率人脸图像集，其中，所述超分辨率人脸图像集中的超分辨率人脸图像帧数为N；
将所述超分辨率人脸图像集中的超分辨率人脸图像依次输入识别网络，提取得到N个人脸特征值；
将所述N个随机变量和所述N个人脸特征值输入损失函数，计算得到第一网络模型的输出损失。
在一种可能的设计中，所述计算单元，还用于：
在所述N帧低分辨率人脸图像中确定出一帧低分辨率人脸图像作为第一基准帧；
将第一超分辨率人脸图像和第一低分辨率人脸图像输入所述第一网络模型，得到所述第一低分辨率人脸图像对应的随机变量，其中，所述第一超分辨率人脸图像为所述第一目标的真实高分辨率人脸图像，所述第一低分辨率人脸图像为所述第一基准帧的下一帧图像；
将所述第一低分辨率人脸图像对应的随机变量和所述第一基准帧输入所述第一网络模型，得到第二超分辨率人脸图像；
用所述第二超分辨率人脸图像替换所述第一超分辨率人脸图像，并用所述第一低分辨率人脸图像的下一帧图像替换第一低分辨率人脸图像，继续对所述第一网络模型进行训练，依次生成的超分辨率人脸图像组成1个超分辨率人脸图像集。
在一种可能的设计中，所述计算单元，还用于：
将所述N个随机变量输入负对数似然损失函数，计算得到负对数似然损失，其中，所述负对数似然损失用来约束所述第一网络模型，使得所述第一网络模型输出的随机变量服从标准正太分布；
将所述N个人脸特征值输入余弦损失函数，计算得到余弦损失，所述余弦损失用来计算超分辨率人脸特征与真实人脸特征之间的差异程度；
将所述余弦损失输入余弦比较损失函数，计算得到余弦比较损失，其中，所述余弦比较损失用来约束第一网络模型，使得每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度；
将所述负对数似然损失、余弦损失和余弦比较损失输入损失函数，计算得到所述第一网络模型的输出损失，其中所述输出损失用来约束所述第一网络模型的训练过程。
在一种可能的设计中，如图10所示，所述处理模块，包括：
获取单元101，用于在训练过程中生成的服从标准正太分布的随机变量中随机采样第一随机变量，并在所述N帧低分辨率人脸图像中确定出第二基准帧；
处理单元102，用于将所述第一随机变量以及第二基准帧输入第二网络模型，得到与所述第一随机变量对应的超分辨率人脸图像；
编码单元103，用于将所述第一随机变量对应的超分辨率人脸图像及第二低分辨率人脸图像输入所述第二网络模型，得到第二随机变量，其中，所述第二低分辨率人脸图像为所述第二基准帧的下一帧图像；
更新单元104，用于将所述第二随机变量替换所述第一随机变量，并将所述第二低分辨率人脸图像的下一帧图像替换所述第二低分辨率人脸图像，继续对替换后的第二低分辨率人脸图像进行超分辨率处理，依次得到N帧超分辨率人脸图像。
基于上述的一种图像生成装置，将第一目标的N帧低分辨率人脸图像依次输入第一网络模型，对所述第一网络模型进行训练，并用所述第一网络模型的输出损失约束所述第一网络模型的训练过程，使得所述第一网络模型的训练结果收敛，将训练完成后的第一网络模型记为第二网络模型。因为训练过程中得到的最后一帧超分辨率人脸图像中包含多帧低分辨率人脸图像的细节信息，因此通过所述第二网络模型对第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到的最后一帧超分辨率人脸图像与第一目标身份一致的超分辨率人脸图像。
当然，所述第二网络模型，不仅可以对所述第一目标的N帧低分辨率人脸图像进行超分辨率处理，得到与所述第一目标身份信息一致的超分辨率人脸图像，也可以对第二目标的多帧低分辨率人脸图像进行超分辨率处理，得到与所述第二目标身份信息一致的超分辨率人脸图像。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述图像生成装置的功能，参考图11，所述电子设备包括：
至少一个处理器111，以及与至少一个处理器111连接的存储器112，本申请实施例中不限定处理器111与存储器112之间的具体连接介质，图11中是以处理器111和存储器112之间通过总线110连接为例。总线110在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线110可以分为地址总线、数据总线、控制总线等，为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器111也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器112存储有可被至少一个处理器111执行的指令，至少一个处理器111通过执行存储器112存储的指令，可以执行前文论述图像生成方法。处理器111可以实现图6所示的装置中各个模块的功能。
其中，处理器111是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器112内的指令以及调用存储在存储器112内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器111可包括一个或多个处理单元，处理器111可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器111中。在一些实施例中，处理器111和存储器112可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器111可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的图像生成方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器112作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器112可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等。存储器112是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器112还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器111进行设计编程，可以将前述实施例中介绍的图像生成方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的图像生成方法的步骤。如何对处理器111进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述图像生成方法。
在一些可能的实施方式中，本申请提供的图像生成方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像生成方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种图像生成方法，其特征在于，所述方法包括：
在训练过程中生成的服从标准正太分布的随机变量中随机采样第一随机变量，并在第一目标的N帧低分辨率人脸图像中确定出第二基准帧，其中，所述训练过程为根据所述N帧低分辨率人脸图像对第一网络模型进行训练，得到第二网络模型的过程，N为大于或等于2的正整数；
将所述第一随机变量以及所述第二基准帧输入所述第二网络模型，得到所述第一随机变量对应的超分辨率人脸图像；
将所述第一随机变量对应的超分辨率人脸图像及第二低分辨率人脸图像输入所述第二网络模型，得到第二随机变量，其中，所述第二低分辨率人脸图像为所述第二基准帧的下一帧图像；
将所述第二随机变量替换所述第一随机变量，并将所述第二低分辨率人脸图像的下一帧图像替换所述第二低分辨率人脸图像，继续对替换后的第二低分辨率人脸图像进行超分辨率处理，依次得到N帧超分辨率人脸图像；
将所述N帧超分辨率人脸图像中的最后生成的一帧超分辨率人脸图像作为最终人脸图像。
2.如权利要求1所述的方法，其特征在于，所述根据所述N帧低分辨率人脸图像对第一网络模型进行训练，得到第二网络模型，包括：
根据所述N帧低分辨率人脸图像，计算得到第一网络模型的输出损失，其中，所述输出损失用来约束所述第一网络模型的训练过程；
根据所述输出损失，判断所述第一网络模型的训练结果是否收敛；
若训练结果不收敛，则调整所述第一网络模型的参数，继续对所述第一网络模型进行训练，直至训练结果收敛；
若训练结果收敛，则将训练完成后的第一网络模型记为第二网络模型。
3.如权利要求2所述的方法，其特征在于，所述根据所述N帧低分辨率人脸图像，计算得到第一网络模型的输出损失，包括：
将所述N帧低分辨率人脸图像，通过第一网络模型得到N个随机变量和1个超分辨率人脸图像集，其中，所述超分辨率人脸图像集中的超分辨率人脸图像帧数为N；
将所述超分辨率人脸图像集中的超分辨率人脸图像依次输入识别网络，提取得到N个人脸特征值；
将所述N个随机变量和所述N个人脸特征值输入损失函数，计算得到第一网络模型的输出损失。
4.如权利要求3所述的方法，其特征在于，所述将所述N帧低分辨率人脸图像，通过第一网络模型得到N个随机变量和1个超分辨率人脸图像集，包括：
在所述N帧低分辨率人脸图像中确定出一帧低分辨率人脸图像作为第一基准帧；
将第一超分辨率人脸图像和第一低分辨率人脸图像输入所述第一网络模型，得到所述第一低分辨率人脸图像对应的随机变量，其中，所述第一超分辨率人脸图像为所述第一目标的真实高分辨率人脸图像，所述第一低分辨率人脸图像为所述第一基准帧的下一帧图像；
将所述第一低分辨率人脸图像对应的随机变量和所述第一基准帧输入所述第一网络模型，得到第二超分辨率人脸图像；
用所述第二超分辨率人脸图像替换所述第一超分辨率人脸图像，并用所述第一低分辨率人脸图像的下一帧图像替换第一低分辨率人脸图像，继续对所述第一网络模型进行训练，依次生成的超分辨率人脸图像组成1个超分辨率人脸图像集。
5.如权利要求3所述的方法，其特征在于，所述将所述N个随机变量和所述N个人脸特征值输入损失函数，计算得到第一网络模型的输出损失，包括：
将所述N个随机变量输入负对数似然损失函数，计算得到负对数似然损失，其中，所述负对数似然损失用来约束所述第一网络模型，使得所述第一网络模型输出的随机变量服从标准正太分布；
将所述N个人脸特征值输入余弦损失函数，计算得到余弦损失，所述余弦损失用来计算超分辨率人脸特征与真实人脸特征之间的差异程度；
将所述余弦损失输入余弦比较损失函数，计算得到余弦比较损失，其中，所述余弦比较损失用来约束第一网络模型，使得每次生成的超分辨率人脸图像与真实高分辨率人脸图像之间的相似度大于上一次生成的超分辨率人脸图像与真实高分辨率之间的相似度；
将所述负对数似然损失、余弦损失和余弦比较损失输入损失函数，计算得到所述第一网络模型的输出损失，其中所述输出损失用来约束所述第一网络模型的训练过程。
6.一种图像生成装置，其特征在于，所述装置包括：
获取单元，用于在训练过程中生成的服从标准正太分布的随机变量中随机采样第一随机变量，并在第一目标的N帧低分辨率人脸图像中确定出第二基准帧，其中，所述训练过程为根据所述N帧低分辨率人脸图像对第一网络模型进行训练，得到第二网络模型的过程，N为大于或等于2的正整数；
处理单元，用于将所述第一随机变量以及所述第二基准帧输入所述第二网络模型，得到所述第一随机变量对应的超分辨率人脸图像；
编码单元，用于将所述第一随机变量对应的超分辨率人脸图像及第二低分辨率人脸图像输入所述第二网络模型，得到第二随机变量，其中，所述第二低分辨率人脸图像为所述第二基准帧的下一帧图像；
更新单元，用于将所述第二随机变量替换所述第一随机变量，并将所述第二低分辨率人脸图像的下一帧图像替换所述第二低分辨率人脸图像，继续对替换后的第二低分辨率人脸图像进行超分辨率处理，依次得到N帧超分辨率人脸图像；
选择模块，用于将所述N帧超分辨率人脸图像中的最后生成的一帧超分辨率人脸图像作为最终人脸图像。
7.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-5中任一项所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法步骤。
CN202110879082.1A 2021-08-02 2021-08-02 一种图像生成方法、装置及电子设备 Active CN113344792B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110879082.1A CN113344792B (zh) 2021-08-02 2021-08-02 一种图像生成方法、装置及电子设备
PCT/CN2021/128518 WO2023010701A1 (en) 2021-08-02 2021-11-03 Image generation method, apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110879082.1A CN113344792B (zh) 2021-08-02 2021-08-02 一种图像生成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113344792A CN113344792A (zh) 2021-09-03
CN113344792B true CN113344792B (zh) 2022-07-05

Family

ID=77480653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110879082.1A Active CN113344792B (zh) 2021-08-02 2021-08-02 一种图像生成方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN113344792B (zh)
WO (1) WO2023010701A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344792B (zh) * 2021-08-02 2022-07-05 浙江大华技术股份有限公司 一种图像生成方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN107423701B (zh) * 2017-07-17 2020-09-01 智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN110889895B (zh) * 2019-11-11 2023-01-03 南昌大学 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN111062867A (zh) * 2019-11-21 2020-04-24 浙江大华技术股份有限公司 一种视频超分辨率重建方法
CN112507617B (zh) * 2020-12-03 2021-08-24 青岛海纳云科技控股有限公司 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN113344792B (zh) * 2021-08-02 2022-07-05 浙江大华技术股份有限公司 一种图像生成方法、装置及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备

Also Published As

Publication number Publication date
WO2023010701A1 (en) 2023-02-09
CN113344792A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Feng et al. Learning generalized spoof cues for face anti-spoofing
US8593452B2 (en) Face feature vector construction
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN111476268A (zh) 翻拍识别模型训练、图像识别方法、装置、设备及介质
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN109086697A (zh) 一种人脸数据处理方法、装置及存储介质
US20140147034A1 (en) Information processing apparatus, control method therefor, and electronic device
CN111401374A (zh) 基于多任务的模型训练方法、字符识别方法及装置
CN113344792B (zh) 一种图像生成方法、装置及电子设备
CN109492610A (zh) 一种行人重识别方法、装置及可读存储介质
CN116189265A (zh) 基于轻量化语义Transformer模型的素描人脸识别方法、装置及设备
CN115438804A (zh) 预测模型训练方法、装置、设备以及图像预测方法
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN110765843A (zh) 人脸验证方法、装置、计算机设备及存储介质
US20210166073A1 (en) Image generation method and computing device
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN114677535A (zh) 域适应图像分类网络的训练方法、图像分类方法及装置
CN111539263B (zh) 一种基于聚合对抗网络的视频人脸识别方法
CN117291252B (zh) 稳定视频生成模型训练方法、生成方法、设备及存储介质
CN111291602A (zh) 视频检测方法、装置、电子设备及计算机可读存储介质
US20240161245A1 (en) Image optimization
CN116309274B (zh) 图像中小目标检测方法、装置、计算机设备及存储介质
CN113658088B (zh) 一种基于多判别器的人脸合成方法及装置
CN117711071A (zh) 基于Transformer架构的伪造人脸检测方法及装置
CN114758035A (zh) 一种针对未配对数据集的图像生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant