CN116189259A - 脸部图像的生成方法、装置、电子设备及存储介质 - Google Patents

脸部图像的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116189259A
CN116189259A CN202310093486.7A CN202310093486A CN116189259A CN 116189259 A CN116189259 A CN 116189259A CN 202310093486 A CN202310093486 A CN 202310093486A CN 116189259 A CN116189259 A CN 116189259A
Authority
CN
China
Prior art keywords
sub
initial
face image
target
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310093486.7A
Other languages
English (en)
Inventor
王焱伟
刘勇成
胡志鹏
袁思思
程龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202310093486.7A priority Critical patent/CN116189259A/zh
Publication of CN116189259A publication Critical patent/CN116189259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种脸部图像的生成方法、装置、电子设备及存储介质，该方法包括通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；将调整后的所述初始特征输入到确定参数后的第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像，从而可以根据初始脸部图像快速得到目标脸部图像，简化了用户的捏脸操作，并使得用户可以快速的得到自己想要的属性特征。

Description

脸部图像的生成方法、装置、电子设备及存储介质
技术领域
本申请涉及脸部图像的生成技术领域，尤其涉及一种脸部图像的生成方法、装置、电子设备及存储介质。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前捏脸在各种平台和***中均受到广泛的应用，例如，在MMO游戏中占有巨大的比重，很多玩家会花大量的时间把玩捏脸***，以得到自己理想中的脸部图像或模型。但是，目前相关技术中虽然会开放大量的属性设置给玩家，但玩家难以快速的得到自己想要的属性，比如金发，络腮胡的50岁男性，可能需要用户一步步设置具体的脸部参数和特征，从而导致捏脸的操作十分复杂且很难得到自己想要的脸部图像。
发明内容
有鉴于此，本申请的目的在于提出一种脸部图像的生成方法、装置、电子设备及存储介质。
基于上述目的，本申请提供了一种脸部图像的生成方法，包括：
通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；
基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；
获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；
将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像。
基于同一发明构思，本申请示例性实施例还提供了一种脸部图像的生成装置，包括：
分类特征提取模块，通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；
图像特征提取模块，基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；
调整模块，获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；
图像生成模块，将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像。
基于同一发明构思，本申请示例性实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器执行所述程序时实现如上所述的脸部图像的生成方法。
基于同一发明构思，本申请示例性实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的脸部图像的生成方法。
从上面所述可以看出，本申请提供的脸部图像的生成方法、装置、电子设备及存储介质，通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像，从而可以根据初始脸部图像快速得到目标脸部图像，简化了用户的捏脸操作，同时，通过用户输入的条件信息对最后生成的目标脸部图像进行了调整，使得用户可以快速的得到自己想要的属性特征。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种脸部图像的生成方法的流程示意图；
图2为本申请实施例的另一种脸部图像的生成方法的流程示意图；
图3为本申请实施例的又一种脸部图像的生成方法的流程示意图；
图4为本申请实施例的一种脸部图像的生成装置的结构示意图；
图5为本申请实施例的一种具体的电子设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
根据本申请的实施方式，提出了一种脸部图像的生成方法、装置、电子设备及存储介质。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。
发明概述
目前相关技术中，通过捏脸***来得到脸部图像一般有三种方法，第一种是用骨骼动画来实现，第二种是使用变形动画(morph)来实现，第三种是通过捏制面部纹理来实现。用骨骼动画实现捏脸要求在面部每个细节部位绑定若干骨骼，通过移动骨骼带动面部网格顶点移动，网格顶点的移动再反馈到另外一套用于表情动画的骨骼蒙皮中。用变形动画实现捏脸要求先制作若干极端情况下的脸型模型，通过调节参数(权重)来混合这些极端模型，产生新的面部网格顶点；面部网格顶点生成后可以反馈到骨骼蒙皮中用于表情动画，也可以继续使用变形动画的方式和代表表情的极端模型相混合来产生表情动画。最后，捏脸的另一种表现形式是捏制面部纹理，比如眉毛胡子的浓淡、嘴唇颜色、眉毛高低等，这些并不需要网格模型做变动，仅通过变化纹理即可实现；纹理的捏制和变形动画类似，也是通过若干极端状态下的纹理根据参数混合而来。但是，对于用户来说，不管采用上述相关技术中的哪种实现方式，要想得到一张自己满意的脸型图像都需要进行大量的参数调整。其次对于美术而言，需要进行大量的脸部模型的制作以供后续进行融合，工程量巨大。
为了解决上述问题，本申请提供了一种脸部图像的生成方法，具体包括：
通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像，从而可以根据初始脸部图像快速得到目标脸部图像，简化了用户的捏脸操作，同时，通过用户输入的条件信息对最后生成的目标脸部图像进行了调整，使得用户可以快速的得到自己想要的属性特征。
在介绍了本申请的基本原理之后，下面具体介绍本申请的各种非限制性实施方式。
应用场景总览
在一些具体的应用场景中，本申请的脸部图像的生成方法可以应用于各种涉及脸部图像的生成的平台或***中。
在一些具体的应用场景中，本申请的脸部图像的生成方法可以应用于游戏***中角色人物的脸部图像的设置，或者具有生成脸部图像功能的APP中。
下面结合具体的应用场景，来描述根据本申请示例性实施方式的脸部图像的生成方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
示例性方法
参考图1，本申请实施例提供了一种脸部图像的生成方法，包括以下步骤：
S101，通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征。
具体实施时，将初始脸部图像输入到练获得的第一神经网络的第一子分类模型中，提取所述初始脸部图像的第一分类特征。该初始脸部图像一般由用户提供，例如用户可以将自己的脸部图像作为初始脸部图像，也可以将自己喜欢的一些脸部图像作为初始脸部图像。可选的，该脸部图像可以是人的脸部图像也可以是动物的脸部图像，对此不做限定。
需要说明的是，第一神经网络主要分为第一子分类模型和第一子流模型两部分，即该第一神经网络由一个分类模型和一个流模型组成，具体的子分类模型的结构，在此不做限定，可选的，可以选择目前相关技术中的任意一种分类模型的结构作为该第一子分类模型的结构，例如，卷积神经网络(CNN)、全连接神经网络(FCN)及生成对抗网络(GAN)等。该子分类模型主要用于提取输入的初始图像的第一分类特征，该第一类型特征表示脸部图像的某种特征，例如，脸部图像的发色、肤色、年龄等，具体表示哪一种特征可以根据需要进行设置，并通过训练第一神经网络模型时，使得第一子分类模型学会提取该种特征。例如，第一类型特征表示的是发色特征，那么对应的第一子分类模型能够提取不同的发色特征，即训练第一子分类模型的过程可以被看成一种能够进行发色分类的分类模型的训练过程。
S102，基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征。
具体实施时，在得到第一分类特征后，先根据所述第一分类特征确定所述第一神经网络的第一子流模型的参数，然后将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征。
需要说明的是，第一神经网络主要分为第一子分类模型和第一子流模型两部分，其中，第一子流模型相当于一种流模型，可选的，第一子流模型的具体结构在此不做限定，可以选择目前相关技术中的任意一种流模型的结构作为该第一子流模型的结构，例如，标准流模型(Normlizing Flow)、自回归流模型(Autoregressive Flow)及Glow模型(Generative Flow with Invertible 1*1Convolutions)等。
需要说明的是，一般情况下，神经网络模型训练完成后，其参数固定不变，但是，本实施例中，子流模型的参数是由第一分类特征控制不断改变的，即每次输入不同的初始脸部图像都会得到不同的第一分类特征，从而导致每次子流模型的参数均不同。通过子分类模型的输出来控制子流模型的参数，进而可以影响到子流模型输出的初始脸部图像的初始特征。即通过第一分类特征这一先验条件来限制子流模型输出的初始特征。
在一些实施例中，基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，具体包括：
获取在训练所述第一神经网络的过程中确定的所述第一子流模型的参数与所述第一分类特征的映射关系；
基于所述第一分类特征与所述映射关系确定所述第一子流模型的参数。
具体实施时，可以在训练第一神经网络模型时，先拟合一种第一子流模型的参数与第一分类特征的预设关系(函数)，然后通过大量的样本数据进行训练优化，最终得到所述第一子流模型的参数与所述第一分类特征的映射关系。在得到该预设关系后，就可以根据所述第一分类特征与所述映射关系确定所述第一子流模型的参数。
在一些实施例中，所述第一子流模型包括多个流程处理层；基于所述第一分类特征与所述映射关系确定所述第一子流模型的参数，具体包括：
获取在训练所述第一神经网络的过程中确定的每个所述流程处理层的参数与所述第一分类特征的目标映射关系；
基于所述第一分类特征与所述目标映射关系确定每个所述流程处理层的参数；
基于所有的所述流程处理层的参数确定所述第一子流模型的参数。
具体实施时，由于流模型一般包括多个流程处理层(Flow Block)，而且同一流模型的不同流程处理层的参数数量不同，一般情况下，多个流程处理层从前往后对应的参数会逐渐减少。因此，为了能够准确的根据所述第一分类特征与所述映射关系确定所述第一子流模型的参数，可以分别确定的每个所述流程处理层的参数与所述第一分类特征的目标映射关系，然后所述第一分类特征与所述目标映射关系确定每个所述流程处理层的参数。
S103，获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型。
具体实施时，获取的用户输入的第一条件信息，可以是用户通过文字直接输入的某个类别的条件信息，例如，“发色为黄色”。也可以是针对某个类别预先设置的多个选项，例如，预先设置了黄色，黑色，白色这三种发色选项，然后由用户从中选中一项作为所述第一条件信息。在获取到第一条件信息后，根据该第一条件信息调整所述初始特征，即可以根据用户喜好对某一类特征进行调整。例如，用户本来输入的初始脸部图像的头发是黑色的，但是用户想要将其调整为黄色，那么就可以通过输入第一条件信息来实现。
需要说明的是，本实施例中，获取的用户输入的第一条件信息与子分类模型输出的第一分类特征是对应的，即子分类模型输出的第一分类特征是关于发色的特征，那么对应的获取用户输入的关于发色调整的信息。进而保证了后续，特征调整的准确性。
在一些实施例中，获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征，具体包括：
确定所述第一条件信息对应的预设特征；
对所述初始特征进行多次迭代调整；
从多次迭代调整的结果中确定感知损失函数的损失处于预设范围的多个第一目标结果，并从所述多个第一目标结果中确定与所述预设特征的交叉熵损失最小的第二目标结果；
将所述初始特征调整为所述第二目标结果。
具体实施时，在基于所述第一条件信息调整所述初始特征时，先确定所述第一条件信息对应的预设特征，可选的，可以事先设置多个条件信息对应的多个预设特征，这样当接收到某个条件信息后，就可以确定该条件信息对应的预设特征。然后对所述初始特征进行多次迭代调整，并从多次迭代调整的结果中确定感知损失函数(perceptual loss)的损失处于预设范围的多个第一目标结果，可选的，该预设范围可以根据需要进行设置，通过该感知损失函数的筛选可以使调整后的初始特征与调整前的初始特征保持一定的相似性，避免调整后的初始特征再次生成脸部图像时，不仅某个特征发生了改变，整体也和原来的脸部图象完全不同。最后，通过交叉熵损失函数(Cross Entropy)找到与所述第一条件信息对应的预设特征最相似的第二目标结果，以满足用户的调整需求。
在一些实施例中，所述第一条件信息为颜色特征信息；获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征，具体包括：
获取三基色各自对应的空间特征向量；其中，所述三基色包括红色、绿色和蓝色；
确定所述第一条件信息对应的颜色特征与所述三基色各自对应的空间特征向量的第一相对位置；
对所述初始特征进行多次迭代调整；
从多次迭代调整的结果中确定感知损失函数的损失处于预设范围的多个第一目标结果；
确定每个所述第一目标结果与所述三基色各自对应的空间特征向量的第二相对位置，并确定所述第一相对位置与所述第二相对位置的目交叉熵损失；
从所有所述目标叉熵损失中确定损失最小的目交叉熵损失，将所述初始特征调整为损失最小的目交叉熵损失对应的第一目标结果。
具体实施时，当所述第一条件信息为颜色特征信息时，为了满足用户想要将当前特征调整为任意一种颜色的需求，可以通过三基色(三元色)来定义所有颜色的颜色特征，即先预设三基色各自对应的空间特征向量，然后将每种颜色定义为距离三基色各自对应的空间特征向量的相对位置，不同的颜色距离三基色各自对应的空间特征向量的相对位置不同，然后找到距离将第一条件信息对应的颜色特征的第一相对位置最近的那个所述第一目标结果，就可以作为调整后的初始特征。
S104，将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像。
具体实施时，由于流模型本身具有可逆性，即可以实现由输入经过前向运算得到输出，并由输出经过逆运算得到输入。因此，将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，就得到与调整后的所述初始特征对应的第一目标脸部图像。
在一些实施例中，在得到与调整后的所述初始特征对应的第一目标脸部图像之后，所述方法还包括：
通过训练获得的第二神经网络的第二子分类模型获取所述第一目标脸部图像的第二分类特征；
基于所述第二分类特征确定所述第二神经网络的第二子流模型的参数，并将所述第一目标脸部图像输入到确定参数后的所述第二子流模型中进行前向运算，得到所述第一目标脸部图像的目标特征；
获取用户输入的第二条件信息，基于所述第二条件信息调整所述目标特征；其中，所述第二条件信息与所述第二分类特征属于同一类型；
将调整后的所述目标特征输入到所述第二子流模型中进行逆运算，得到与调整后的所述目标特征对应的第二目标脸部图像。
具体实施时，所述第二神经网络与上述第一神经网络的结构基本相同，都由一个分类模型和一个流模型组成，二者的主要区别在于子分类模型获取的分类特征的类别不同，例如，当第一分类特征为发色特征时，第二分类特征可以是年龄特征。通过将第一神经网络输出作为第二神经网络的输入，最终得到第二目标脸部图像，可以满足用户对两种不同类型的特征的调整。例如，可以通过第一神经网络实现发色的调整，然后将该调整完发色的脸部图像输入到第二神经网络进行年龄的调整，从而实现发色和年龄的同时调整。
在一些实施例中，在第二神经网络之后可以继续设置与上述第一神经网络结构相似的第三神经网络，以及排列在第三神经网络之后的多个与上述第一神经网络结构相似的神经网络，每一个神经网络均可以对应一类特征的调整，从而可以满足用户多种类型的特征的调整。参考图2，为本申请实施例的另一种脸部图像的生成方法的流程示意图，其中，输入脸部图像可以依次经过N个神经网络的处理，不断的变化调整，使得最后输出的脸部图像可以满足用户对脸部图像的多种类型的特征的调整。
在一些实施例中，训练所述第一神经网络或所述第二神经网络的损失函数包括交叉熵损失函数、间隔损失函数和感知损失函数。
具体实施时，训练所述第一神经网络或所述第二神经网络的损失函数包括交叉熵损失函数、间隔损失函数和感知损失函数。其中，交叉熵损失(Cross Entropy)用于保证分类损失；同时为了保证各个类别之间不能进行重叠，也就是特征分布在空间中尽量的远离，添加间隔损失函数(margin loss)，可选的，可以将任意两个分布均值的间距离设置的大于6sigma；最后，为了保证脸部不会因为网络发生显著变化，保证是同一个对象的脸，添加感知损失函数(perceptual loss)。可选的，各个损失函数被分配的权重可以根据需要进行设置在此不做限定。可选的，除上述三种损失函数，还可以根据需要添加其他损失函数，对此不做限定。
在一些实施例中，在得到与调整后的所述初始特征对应的第一目标脸部图像之后，所述方法还包括：
基于三维变形模型将所述第一目标脸部图像转化为三维脸部模型。
具体实施时，当得到目标脸部图像后，就个根据三维变形模型将所述第一目标脸部图像转化为三维脸部模型，以用于后续的其他制作中。可选的，该三维变形模型可以根据需要选择任意一种相关技术中的三维变形模型，对此不做限定，例如，3DMM或MeInGame等。
需要说明的是，上述生成第一目标脸部图像的过程中应用到的任意一个实施例的方法均可以应用于生成第二目标脸部图像的过程中，且对于第一目标脸部图像的后续处理方法也可以应用于第二目标脸部图像中。
参考图3为，本申请实施例的又一种脸部图像的生成方法的流程示意图，其中，初始脸部图像先输入到子分类模型中，由子分类模型输出初始脸部图像的分类特征到子流模型中，以调整子流模型的参数，调整完子流模型的参数后，将初始脸部图像输入到子流模型中，由子流模型输出初始脸部图像的初始特征，此时，获取用户输入的条件信息，根据该条件信息调整初始特征，然后将调整后的初始特征输入到子流模型中，由子流模型反向输出得到目标脸部图像。
本申请提供的脸部图像的生成方法，通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像，从而可以根据初始脸部图像快速得到目标脸部图像，简化了用户的捏脸操作，同时，通过用户输入的条件信息对最后生成的目标脸部图像进行了调整，使得用户可以快速的得到自己想要的属性特征。
示例性设备
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种脸部图像的生成装置。
参考图4，所述脸部图像的生成装置，包括：
分类特征提取模块201，通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；
图像特征提取模块202，基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；
调整模块203，获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；
图像生成模块204，将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像。
为了描述的方便，描述以上***时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的***用于实现前述任一实施例中相应的脸部图像的生成方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的脸部图像的生成方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的脸部图像的生成方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
示例性程序产品
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的脸部图像的生成方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的一种脸部图像的生成方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所在领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种脸部图像的生成方法，其特征在于，包括：
通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；
基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；
获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；
将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像。
2.根据权利要求1所述的方法，其特征在于，在得到与调整后的所述初始特征对应的第一目标脸部图像之后，所述方法还包括：
通过训练获得的第二神经网络的第二子分类模型获取所述第一目标脸部图像的第二分类特征；
基于所述第二分类特征确定所述第二神经网络的第二子流模型的参数，并将所述第一目标脸部图像输入到确定参数后的所述第二子流模型中进行前向运算，得到所述第一目标脸部图像的目标特征；
获取用户输入的第二条件信息，基于所述第二条件信息调整所述目标特征；其中，所述第二条件信息与所述第二分类特征属于同一类型；
将调整后的所述目标特征输入到所述第二子流模型中进行逆运算，得到与调整后的所述目标特征对应的第二目标脸部图像。
3.根据权利要求1所述的方法，其特征在于，基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，具体包括：
获取在训练所述第一神经网络的过程中确定的所述第一子流模型的参数与所述第一分类特征的映射关系；
基于所述第一分类特征与所述映射关系确定所述第一子流模型的参数。
4.根据权利要求3所述的方法，其特征在于，所述第一子流模型包括多个流程处理层；基于所述第一分类特征与所述映射关系确定所述第一子流模型的参数，具体包括：
获取在训练所述第一神经网络的过程中确定的每个所述流程处理层的参数与所述第一分类特征的目标映射关系；
基于所述第一分类特征与所述目标映射关系确定每个所述流程处理层的参数；
基于所有的所述流程处理层的参数确定所述第一子流模型的参数。
5.根据权利要求1所述的方法，其特征在于，获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征，具体包括：
确定所述第一条件信息对应的预设特征；
对所述初始特征进行多次迭代调整；
从多次迭代调整的结果中确定感知损失函数的损失处于预设范围的多个第一目标结果，并从所述多个第一目标结果中确定与所述预设特征的交叉熵损失最小的第二目标结果；
将所述初始特征调整为所述第二目标结果。
6.根据权利要求1所述的方法，其特征在于，所述第一条件信息为颜色特征信息；获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征，具体包括：
获取三基色各自对应的空间特征向量；其中，所述三基色包括红色、绿色和蓝色；
确定所述第一条件信息对应的颜色特征与所述三基色各自对应的空间特征向量的第一相对位置；
对所述初始特征进行多次迭代调整；
从多次迭代调整的结果中确定感知损失函数的损失处于预设范围的多个第一目标结果；
确定每个所述第一目标结果与所述三基色各自对应的空间特征向量的第二相对位置，并确定所述第一相对位置与所述第二相对位置的目交叉熵损失；
从所有所述目标叉熵损失中确定损失最小的目交叉熵损失，将所述初始特征调整为损失最小的目交叉熵损失对应的第一目标结果。
7.根据权利要求1所述的方法，其特征在于，训练所述第一神经网络或所述第二神经网络的损失函数包括交叉熵损失函数、间隔损失函数和感知损失函数。
8.根据权利要求1所述的方法，其特征在于，在得到与调整后的所述初始特征对应的第一目标脸部图像之后，所述方法还包括：
基于三维变形模型将所述第一目标脸部图像转化为三维脸部模型。
9.一种脸部图像的生成装置，其特征在于，包括：
分类特征提取模块，通过训练获得的第一神经网络的第一子分类模型获取初始脸部图像的第一分类特征；
图像特征提取模块，基于所述第一分类特征确定所述第一神经网络的第一子流模型的参数，并将所述目标脸部图像输入到确定参数后的所述第一子流模型中进行前向运算，得到初始脸部图像的初始特征；
调整模块，获取用户输入的第一条件信息，基于所述第一条件信息调整所述初始特征；其中，所述第一条件信息与所述第一分类特征属于同一类型；
图像生成模块，将调整后的所述初始特征输入到确定参数后的所述第一子流模型中进行逆运算，得到与调整后的所述初始特征对应的第一目标脸部图像。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器执行所述程序时实现如权利要求1至8中任意一项所述的方法。
11.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至8中任一项所述的方法。
CN202310093486.7A 2023-01-30 2023-01-30 脸部图像的生成方法、装置、电子设备及存储介质 Pending CN116189259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310093486.7A CN116189259A (zh) 2023-01-30 2023-01-30 脸部图像的生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310093486.7A CN116189259A (zh) 2023-01-30 2023-01-30 脸部图像的生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116189259A true CN116189259A (zh) 2023-05-30

Family

ID=86450187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310093486.7A Pending CN116189259A (zh) 2023-01-30 2023-01-30 脸部图像的生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116189259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563673A (zh) * 2023-07-10 2023-08-08 浙江华诺康科技有限公司 烟雾训练数据生成方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563673A (zh) * 2023-07-10 2023-08-08 浙江华诺康科技有限公司 烟雾训练数据生成方法、装置和计算机设备
CN116563673B (zh) * 2023-07-10 2023-12-12 浙江华诺康科技有限公司 烟雾训练数据生成方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN110490960B (zh) 一种合成图像生成方法及装置
US11037275B2 (en) Complex architecture for image processing
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
US20160104309A1 (en) Apparatus and method for generating facial composite image, recording medium for performing the method
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
JP2017059235A (ja) イメージの明るさを調整する方法及び装置
US11068746B2 (en) Image realism predictor
CN109741279A (zh) 图像饱和度调整方法、装置、存储介质及终端
JP7432005B2 (ja) 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム
CN112150347B (zh) 从有限的修改后图像集合中学习的图像修改样式
US10810776B2 (en) Image processing device and image processing method
CN107960150A (zh) 图像处理装置和方法
CN116189259A (zh) 脸部图像的生成方法、装置、电子设备及存储介质
WO2022002964A1 (en) High-resolution controllable face aging with spatially-aware conditional gans
CN110624244A (zh) 游戏中脸部模型的编辑方法、装置和终端设备
CN114841853A (zh) 图像处理方法、装置、设备及存储介质
CN108961314B (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN116115995A (zh) 图像渲染处理方法、装置及电子设备
CN114170472A (zh) 图像处理方法、可读存储介质及计算机终端
CN111340913B (zh) 图片生成与模型训练方法、装置及存储介质
CN113222841A (zh) 一种图像处理方法、装置、设备及介质
KR102108422B1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
CN112927321B (zh) 基于神经网络的图像智能设计方法、装置、设备及存储介质
US11200708B1 (en) Real-time color vector preview generation
CN115063513A (zh) 一种图像处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination