CN113902957B - 图像生成方法、模型的训练方法、装置、电子设备及介质 - Google Patents
图像生成方法、模型的训练方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113902957B CN113902957B CN202111184646.6A CN202111184646A CN113902957B CN 113902957 B CN113902957 B CN 113902957B CN 202111184646 A CN202111184646 A CN 202111184646A CN 113902957 B CN113902957 B CN 113902957B
- Authority
- CN
- China
- Prior art keywords
- age
- image
- target
- sample image
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 125
- 238000012549 training Methods 0.000 title claims abstract description 119
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000012512 characterization method Methods 0.000 claims description 74
- 238000004088 simulation Methods 0.000 claims description 72
- 230000009466 transformation Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 55
- 238000006243 chemical reaction Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000013519 translation Methods 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种图像生成方法、模型的训练方法、装置、电子设备及介质,涉及人工智能技术领域,尤其涉及计算机视觉和深度学习技术,可应用于人脸图像处理和人脸识别等场景。具体实现方案为:确定与目标年龄对应的目标年龄区间,其中,目标年龄区间包括开始年龄和结束年龄;根据与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征,确定与目标年龄对应的目标年龄表征;根据目标年龄表征和与原始图像对应的原始图像特征,基于原始图像中对象的图像,生成对象的目标图像,其中,目标图像是对象的年龄为目标年龄的图像。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及计算机视觉和深度学习技术,可应用于人脸图像处理和人脸识别等场景。具体地,涉及一种图像生成方法、模型的训练方法、装置、电子设备及介质。
背景技术
计算机视觉技术在人工智能时代吸引到越来越多的关注。对象属性编辑是计算机视觉技术较为重要的研究方向,也吸引到到越来越多的关注。
年龄变换属于对象属性编辑中的一种。年龄变换可以指在年龄条件下渲染包括对象的图像,保留对象的身份特征不变。
发明内容
本公开提供了一种图像生成方法、模型的训练方法、装置、电子设备及介质。
根据本公开的一方面,提供了一种图像生成方法,包括:确定与目标年龄对应的目标年龄区间,其中,上述目标年龄区间包括开始年龄和结束年龄;根据与上述开始年龄对应的开始年龄表征和与上述结束年龄对应的结束年龄表征,确定与上述目标年龄对应的目标年龄表征;以及,根据上述目标年龄表征和与原始图像对应的原始图像特征,基于上述原始图像中对象的图像,生成上述对象的目标图像,其中,上述目标图像是上述对象的年龄为上述目标年龄的图像。
根据本公开的另一方面,提供了一种年龄变换模型的训练方法,包括:利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器;以及,将上述训练完成的第一生成器确定为上述年龄变换模型,其中,上述年龄变换模型用于生成如上所述的目标图像。
根据本公开的另一方面,提供了一种图像生成装置,包括:第一确定模块,用于确定与目标年龄对应的目标年龄区间,其中,上述目标年龄区间包括开始年龄和结束年龄;第二确定模块,用于根据与上述开始年龄对应的开始年龄表征和与上述结束年龄对应的结束年龄表征,确定与上述目标年龄对应的目标年龄表征;以及,第一生成模块,用于根据上述目标年龄表征和与原始图像对应的原始图像特征,基于上述原始图像中对象的图像,生成上述对象的目标图像,其中,上述目标图像是上述对象的年龄为上述目标年龄的图像。
根据本公开的另一方面,提供了一种年龄变换模型的训练装置,包括:训练模块,利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器;以及,第三确定模块,用于将上述训练完成的第一生成器确定为上述年龄变换模型,其中,上述年龄变换模型用于生成如上所述的目标图像。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如上所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如上所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如上所述的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的可以应图像生成方法、年龄变换模型的训练方法及装置的示例性***架构;
图2示意性示出了根据本公开实施例的图像生成方法的流程图;
图3示意性示出了根据本公开实施例的图像生成过程的原理示意图;
图4A示意性示出了根据本公开实施例的年龄变换模型的训练方法的流程图;
图4B示意性示出了根据本公开另一实施例的年龄变换模型的训练方法的流程图;
图5示意性示出了根据本公开实施例的年龄转换模型的训练过程的示例示意图;
图6A示意性示出了根据本公开实施例的图像生成过程的示例示意图;
图6B示意性示出了根据本公开实施例的利用多层感知机处理开始年龄,得到与开始年龄对应的开始年龄表征过程的示例示意图;
图6C示意性示出了根据本公开实施例的利用编码模块处理原始图像,得到与原始图像对应的原始图像特征过程的示例示意图;
图6D示意性示出了根据本公开实施例的利用解码模块处理原始图像特征和目标年龄表征,得到对象的目标图像过程的示例示意图;
图6E示意性示出了根据本公开实施例的连续年龄变换的示例示意图;
图7示意性示出了根据本公开实施例的图像生成装置的框图;
图8示意性示出了根据本公开实施例的年龄转换模型的训练装置的框图;以及
图9示意性示出了根据本公开实施例的适于实现图像生成方法和年龄转换模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
对象属性编辑可能涉及到不同属性的编辑。属性可以包括五官特征、面部皮肤特征、头发特征和颈部皮肤特征等中的至少一项。例如,对象属性编辑可以包括去除或添加眼镜、去除或添加刘海、编辑发色、编辑五官或编辑妆容。如果编辑的属性是单一属性,并且单一属性标与其他属性解耦,则可以较为容易的实现目标的编辑。如果编辑的属性是多种属性,并且多种属性可能耦合,则实现目标的编辑的难度较高。
年龄变换是一种多种属性且不同属性之间存在耦合的对象属性编辑。可以利用如下方式实现年龄变换。
一种方式在于基于物理模型的年龄变换方法。即,通过研究对象衰老过程的物理变化机制的规律,例如,面部纹理、形状和骨骼变化机制规律,在原始图像中添加这些规律来实现得到目标年龄的目标图像。
另一种方式在于基于深度学习的年龄变换方法。即,基于深度学习模型,利用不同年龄区间的样本图像集来学习不同年龄区间之间的映射关系,得到年龄变换模型,利用年龄变换模型来生成目标年龄的目标图像。
上述两种方式实现的是离散年龄变换,不能够实现连续年龄变换。
为此,本公开实施例提出了一种能够实现连续年龄变换的图像生成方案。即,确定与目标年龄对应的目标年龄区间。目标年龄区间包括开始年龄和结束年龄。根据与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征,确定与目标年龄对应的目标年龄表征。根据目标年龄表征和与原始图像对应的原始图像特征,基于原始图像中对象的图像,生成对象的年龄为目标年龄的目标图像。
与目标年龄对应的目标年龄表征是根据与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征确定的,因此,任意目标年龄都可以得到与其对应的目标年龄表征,目标年龄的数据类型是连续型数据。由此,基于目标年龄表征和原始图像特征,可以得到数据类型是连续型数据的目标年龄的目标图像,实现了连续年龄变换。
图1示意性示出了根据本公开实施例的可以应图像生成方法、年龄变换模型的训练方法及装置的示例性***架构。
需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。例如,在另一实施例中,可以应用图像生成方法、年龄变换模型的训练方法及装置的示例性***架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的图像生成方法、年龄变换模型的训练方法及装置。
如图1所示,根据该实施例的***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的各种类型的服务器,例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
服务器105可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,解决了传统物理主机与VPS服务(Virtual Private Server,VPS)中,存在的管理难度大,业务扩展性弱的缺陷。服务器105也可以为分布式***的服务器,或者是结合了区块链的服务器。
需要说明的是,本公开实施例所提供的图像生成方法和年龄变换模型的训练方法一般可以由终端设备101、102、或103执行。相应地,本公开实施例所提供的图像生成装置和年龄变换模型的训练装置也可以设置于终端设备101、102、或103中。
或者,本公开实施例所提供的图像生成方法和年龄变换模型的训练方法一般也可以由服务器105执行。相应地,本公开实施例所提供的图像生成装置和年龄变换模型对象训练装置一般可以设置于服务器105中。本公开实施例所提供的图像生成方法和年龄变换模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的图像生成装置和年龄变换模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如,服务器105确定与目标年龄对应的目标年龄区间。目标年龄区间包括开始年龄和结束年龄。根据与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征。确定与目标年龄对应的目标年龄表征。根据目标年龄表征和与原始图像对应的原始图像特征,基于原始图像中对象的图像,生成对象的目标图像。目标图像是对象的年龄为目标年龄的图像。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群根据目标年龄表征和与原始图像对应的原始图像特征,基于原始图像中对象的图像,生成对象的目标图像。
例如,服务器105训练模块,利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器。第三确定模块,用于将训练完成的第一生成器确定为年龄变换模型。年龄变换模型用于生成本公开所述的目标图像。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器。第三确定模块,用于将训练完成的第一生成器确定为年龄变换模型。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的图像生成方法的流程图。
如图2所示,该方法200包括操作S210~S230。
在操作S210,确定与目标年龄对应的目标年龄区间。目标年龄区间包括开始年龄和结束年龄。
在操作S220,根据与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征,确定与目标年龄对应的目标年龄表征。
在操作S230,根据目标年龄表征和与原始图像对应的原始图像特征,基于原始图像中对象的图像,生成对象的目标图像。目标图像是对象的年龄为目标年龄的图像。
根据本公开的实施例,原始图像可以包括对象。原始图像可以是对象的年龄为原始年龄的图像。目标图像可以是对象的年龄为目标年龄的图像。原始图像和目标图像包括的对象相同。目标年龄区间可以包括开始年龄和结束年龄。目标年龄区间可以根据第一年龄区间和第二年龄区间确定。第一年龄区间和第二年龄区间可以是相邻的两个年龄区间。第一年龄区间可以包括第一年龄区间的开始年龄和结束年龄。第二年龄区间可以包括第二年龄区间的开始年龄和结束年龄。目标年龄区间的开始年龄可以根据第一年龄区间的开始年龄和结束年龄确定。目标年龄区间的结束年龄可以根据第二年龄区间的开始年龄和结束年龄确定。例如,目标年龄区间的开始年龄可以是第一年龄区间的开始年龄和结束年龄之和的平均值。目标年龄的结束年龄可以是第二年龄区间的开始年龄和结束年龄之和的平均值。
根据本公开的实施例,开始年龄表征可以用于表征开始年龄的特征。结束年龄表征可以用于表征结束年龄的特征。目标年龄表征可以用于表征目标年龄的特征。开始年龄表征可以是对开始年龄进行特征提取得到。结束年龄表征可以是对结束年龄进行特征提取得到。原始图像特征可以用于表征原始图像的特征。原始图像特征可以对原始图像进行特征提取得到。例如,可以利用训练样本对预设模型进行训练得到的模型分别对开始年龄、结束年龄和原始图像进行特征提取,得到开始年龄表征、结束年龄表征和原始图像特征。预设模型可以包括机器学习模型、深度学习模型、强化学习模型和迁移学习模型中的至少一项。开始年龄表征的数目可以包括一个或多个。结束年龄表征的数目可以包括一个或多个。目标年龄表征可以包括一个或多个。原始图像特征的数目可以包括一个或多个。上述开始年龄表征、结束年龄表征和原始图像特征的特征提取方式仅是示例性实施例,但不限于此,还可以包括本领域已知的特征提取方式,只要能够实现特征提取即可。
根据本公开的实施例,可以在获取目标年龄之后,确定与目标年龄对应的目标年龄区间,即,确定目标年龄所属的目标年龄区间。在确定与目标年龄对应的目标年龄区间之后,可以基于插值方法,根据与至少一个开始年龄对应的开始年龄表征中的每个开始年龄表征和与至少一个结束年龄对应的结束年龄表征中的每个结束年龄表征,确定与目标年龄对应的目标年龄表征。插值方法可以包括线性插值方法或非线性插值方法。
根据本公开的实施例,在确定目标年龄表征之后,可以根据目标年龄表征和与原始图像对应的原始图像特征,生成包括原始图像中的对象的目标图像。目标图像中的对象的年龄目标年龄,即,可以根据目标年龄表征和与原始图像对应的原始图像特征,将原始图像中的对象的年龄由原始年龄变换至目标年龄,得到目标图像。例如,可以上文所述的利用训练样本对预设模型进行训练得到的模型处理原始图像体特征和目标年龄表征,得到目标图像。上述目标图像的生成方式仅是示例性实施例,但不限于此,还可以包括本领域已知的生成方式,只要能够实现目标图像的生成即可。
根据本公开的实施例,与目标年龄对应的目标年龄表征是根据与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征确定的,因此,任意目标年龄都可以得到与其对应的目标年龄表征,目标年龄的数据类型是连续型数据。由此,基于目标年龄表征和原始图像特征,可以得到数据类型是连续型数据的目标年龄的目标图像,实现了连续年龄变换。
根据本公开的实施例,操作S220可以包括如下操作。
根据目标年龄分别与开始年龄和结束年龄之间的差值,在与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征之间进行插值,得到与目标年龄对应的目标年龄表征。
根据本公开的实施例,可以分别确定目标年龄与开始年龄和结束年龄之间的差值,再根据目标年龄分别与开始年龄和结束年龄之间的差值,确定开始年龄表征和结束年龄表征在目标年龄表征中所占据的比例。根据比例在开始年龄表征和结束年龄表征之间进行插值,得到目标年龄表征。比例可以表征在目标年龄表征中所起到的作用。比例越大,可以说明在目标年龄表征中所起到的作用越大。差值越大,比例越小。例如,如果目标年龄与开始年龄之间的差值小于目标年龄与结束年龄之间的差值,则可以开始年龄表征在目标年龄表征中所占据的比例大于结束年龄表征在目标年龄表征中所占据的比例。
根据本公开的实施例,通过根据目标年龄分别与开始年龄和结束年龄之间的差值,在与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征之间进行插值,得到与目标年龄对应的目标年龄表征,实现了连续目标年龄的目标年龄表征。
根据本公开的实施例,根据目标年龄分别与开始年龄和结束年龄之间的差值,在与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征之间进行插值,得到与目标年龄对应的目标年龄表征,可以包括如下操作。
确定第一差值。第一差值表征结束年龄和目标年龄之间的差值。确定第二差值。第二差值表征目标年龄和开始年龄之间的差值。确定第一比值。第一比值表征第一差值和与第一差值和第二差值之和的比值。确定第二比值。第二比值表征第二差值和与第一差值和第二差值之和的比值。根据第一比值、第二比值、与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征,确定与目标年龄对应的目标年龄表征。
根据本公开的实施例,确定第一差值和第二差值之和,即,确定结束年龄和开始年龄之间的差值。确定第一差值与结束年龄和开始年龄之间的差值的第一比值。确定第二差值与结束年龄和开始年龄之间的差值的第二比值。第一比值可以表征结束年龄表征在目标年龄表征中所占据的比例。第二比值可以表征开始年龄表征在目标年龄表征中所占据的比例。
根据本公开的实施例,可以基于第一比值和第二比值,对开始年龄表征和结束年龄表征进行处理,得到目标年龄表征。
根据本公开的实施例,根据第一比值、第二比值、与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征,确定与目标年龄对应的目标年龄表征,可以包括如下操作。
确定第一乘积。第一乘积表征第一比值和与开始年龄对应的开始年龄表征之间的乘积。确定第二乘积。第二乘积表征第二比值和与结束年龄对应的结束年龄表征之间的乘积。将第一乘积和第二乘积之间的和确定为与目标年龄对应的目标年龄表征。
根据本公开的实施例,可以将第一比值与开始年龄表征相乘,得到第一乘积。将第二比值和结束年龄表征相乘,得到第二乘积。再将第一乘积和第二乘积之间的和确定为目标年龄表征。
根据本公开的实施例,可以根据如下公式(1)~(5)确定目标年龄表征。
d1=End_age-Target_age (1)
d2=Target_age-Start_age (2)
根据本公开的实施例,Start_age表征开始年龄。End_age表征结束年龄。Target_age表征目标年龄。Start_age_embedding表征与开始年龄Start_age对应的开始年龄表征。End_age_embedding表征与结束年龄End_age对应的结束年龄表征。Target_age_embedding表征与目标年龄Target_age对应的目标年龄表征。d1表征第一差值。d2表征第二差值。α表征第一比值。β表征第二比值。
根据本公开的实施例,开始年龄表征、结束年龄表征、原始图像特征分别包括N个开始年龄表征、N个结束年龄表征和N个原始图像特征,N是大于或等于1的整数。
根据本公开的实施例,上述图像生成方法还可以包括如下操作。
提取与原始图像对应的第i个潜在空间表征,得到与原始图像对应的第i个原始图像特征。提取与开始年龄对应的第j个潜向量,得到与开始年龄对应的第j个开始年龄表征。提取与结束年龄对应的第j个潜向量,得到与结束年龄对应的第j个结束年龄表征。i和j均为大于1且小于N的整数。根据第j个开始年龄表征和第j个结束年龄表征,确定第j个目标年龄表征。根据N个原始图像特征和N个目标年龄表征,基于原始图像中对象的图像,生成对象的目标图像。
根据本公开的实施例,N的数值可以根据实际业务需求进行配置,在此不作限定。例如,N=6。i∈{1,2,..,N-1,N}。j∈{1,2,..,N-1,N}。
根据本公开的实施例,可以利用多层感知机(Multi-Layer perceptron,MLP)提取与开始年龄对应的第i个潜向量,得到与开始年龄对应的第j个开始年龄表征。可以利用多层感知机提取与结束年龄对应的第j个潜向量,得到与结束年龄对应的第j个结束年龄表征。可以利用编码模块提取与原始图像对应的第i个潜在空间表征,得到与原始图像对应的第i个原始图像特征。由此,可以获得第1个至第N个原始图像特征。第1个至第N个开始年龄表征。第1个至第N个结束年龄表征。
根据本公开的实施例,根据N个原始图像特征和N个目标年龄表征,基于原始图像中对象的图像,生成对象的目标图像,可以包括如下操作。
在i=j=1的情况下,根据第j个目标年龄表征和第i个原始图像特征,得到第j个中间特征。在i=j>1的情况下,根据第(j-1)个中间特征、第j个目标年龄表征和第i个原始图像特征,得到第j个中间特征。对第N个中间特征进行卷积,生成对象的目标图像。
根据本公开的实施例,可以利用第一生成器处理第j个目标年龄表征和与原始图像对应的第i个原始图像特征,得到第j个中间特征。第一生成器可以包括解码模块,解码模块可以包括级联的N个特征提取单元。每个级别的特征提取单元具有与其对应的中间特征。不同级别的特征提取单元用于提取与其对应的中间特征的特征。即,第p个级别的特征提取单元具有与其对应的第j个中间特征。p∈{1,2,......,N-1,N}。
根据本公开的实施例,针对第p=1个特征提取单元,该特征提取单元的输入可以包括两部分,即,与该特征提取单元对应的第j=1个目标年龄表征和与该特征提取单元对应的第i=1个原始图像特征。该特征提取单元的输出可以是利用该特征提取单元处理与该特征提取单元对应的第j=1个目标年龄表征和第i=1个原始图像特征得到的该特征提取单元的第j=1个中间特征,即,利用第p=1个特征提取单元处理第j=1个目标年龄表征和第i=1个原始图像特征,得到第j=1个中间特征。
根据本公开的实施例,针对除第p=1个特征提取单元以外的其他特征提取单元中的每个特征提取单元,每个特征提取单元的输入可以包括三部分,即,可以包括该特征提取单元的上一个特征提取单元的中间特征、与该特征提取单元对应的目标年龄表征和原始图像特征。每个特征提取单元的输出可以是利用该特征提取单元处理该特征提取单元的上一个特征提取单元的中间特征、与该特征提取单元对应的目标年龄表征和原始图像特征得到的该特征提取单元的中间特征,即,利用第p>1个特征提取单元处理处理第(j-1)个中间特征、第j个目标年龄表征和第i个原始图像特征,得到第j个中间特征。
例如,N=4。i∈{1,2,3,4}。j∈{1,2,3,4}。针对i=j=1,根据第1个目标年龄表征和第1个原始图像特征,得到第1个中间特征。针对i=j=2,根据第1个中间特征、第2个目标年龄表征和第2个原始图像特征,得到第2个中间特征。针对i=j=3,根据第2个中间特征、第3个目标年龄表征和第3个原始图像特征,得到第3个中间特征。针对i=j=4,根据第3个中间特征、第4个目标年龄表征和第4个原始图像特征,得到第4个中间特征。对第4个中间特征进行卷积,生成对象的目标图像。
下面参考图3,结合具体实施例对根据本公开实施例所述的图像生成方法做进一步说明。
图3示意性示出了根据本公开实施例的图像生成过程的原理示意图。
如图3所示,在图像生成过程300中,获取目标年龄301,确定与目标年龄301对应的目标年龄区间,目标年龄区间包括开始年龄302和结束年龄303。根据与开始年龄302对应的开始年龄表征304和与结束年龄303对应的结束年龄表征305,确定目标年龄表征306。根据目标年龄表征306和与原始图像307对应的原始图像特征308,生成对象的目标图像309。
根据本公开的实施例,开始年龄表征、结束年龄表征和原始图像特征是利用年龄变换模型分别处理开始年龄、结束年龄和原始图像得到的。目标图像是利用年龄变换模型处理原始图像特征和目标年龄表征得到的。
根据本公开的实施例,年龄变换模型可以是利用训练样本对深度学习模型进行训练得到的。训练样本可以包括样本图像集。
图4A示意性示出了根据本公开实施例的年龄变换模型的训练方法的流程图。
如图4A所示,该方法400A包括操作S410~S420。
在操作S410,利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器。
在操作S420,将训练完成的第一生成器确定为年龄变换模型。年龄变换模型用于生成本公开实施例所述的目标图像。
根据本公开的实施例,第一真实样本图像集可以包括至少一个第一真实样本图像。真实年龄集可以包括至少一个真实年龄。每个第一真实样本图像具有对应的真实年龄。真实年龄表征与其对应的第一真实样本图像中对象的需要变换后的年龄。每个真实年龄可以是经过编码后得到的年龄。可以利用如下方式对真实年龄进行编码,即,确定与真实年龄对应的年龄区间。将与真实年龄对应的年龄区间的各个维度设置为第一预设标识,将除与真实年龄对应的年龄区间以外的其他年龄的各个维度设置为第二预设标识,得到编码后的年龄。第一预设标识和第二预设标识可以根据实际业务需求进行配置,在此不作限定。例如,第一预设标识可以设置为1,第二预设标识可以设置为0。
例如,年龄区间可以包括M个。每个年龄区间的维数可以包括U维。每个年龄的维数可以包括MU维。M是大于或等于1的整数,U是大于或等于1的整数。每个年龄可以用A={a1,a2,......,aK,......,aM-1,aM}表征,aK表征第K个年龄区间,K∈{1,2,......,M-1,M}。aK={aK1,aK2,......,aKl,.....,aKU-1,aKU},aKl表征第K个年龄区间的第l个维度,l∈{1,2,......,U-1,U}。在确定与真实年龄对应的年龄区间是a1的情况下,将a1的各个维度设置为1,将除a1以外的其他维度设置为0。
根据本公开的实施例,第一仿真样本图像集包括至少一个第一仿真样本图像。第一生成器可以用于生成第一仿真样本图像集。并通过不断训练第一生成器使学习到第一真实样本图像集的数据分布,从而能够从无到有生成与第一真实样本图像集的数据分布相符合的样本,并尽可能的去混淆第一判别器。第一判别器可以用于对第一真实样本图像集和第一仿真样本图像集进行区分。
根据本公开的实施例,利用第一真实样本图像集和第一仿真样本图像集对第一生成器和第一判别器进行迭代交替训练,使得第一生成器和第一判别器通过它们之间的博弈,实现各自的优化,最终使得第一判别器无法准确区分第一真实样本图像集和第一仿真样本图像集,即,达到纳什平衡。在此情况下,可以认为第一生成器学习到了第一仿真样本图像集的数据分布,将训练完成的第一生成器确定为年龄变换模型。
根据本公开的实施例,利用第一真实样本图像集和第一仿真样本图像集,对第一生成器和第一判别器进行交替训练可以包括:在每次迭代过程中,在保持第一生成器的模型参数不变的情况下,利用第一真实样本图像集和第一仿真样本图像集训练第一判别器,以完成该次迭代针对第一判别器设定的训练次数。在完成该次迭代针对第一判别器设定的训练次数之后,在保持第一判别器的模型参数不变的情况下,利用第一仿真样本图像集训练第一生成器,以完成该次迭代针对第一生成器设定的训练次数。需要说明的是,在每次执行训练过程中,可以利用第一生成器生成与该次对应的第一仿真样本图像集。上述第一生成器和第一判别器的训练方式仅是示例性实施例,但不限于此,还可以包括本领域已知的训练方式,只要能够实现第一生成器和第一判别器的训练即可。
根据本公开的实施例,可以根据实际业务需求选择合适的训练策略,在此不作限定。例如,训练策略可以包括以下至少一项:在每次迭代中,第一生成器的训练次数和第一判别器的训练次数为一次、第一生成器的训练次数为一次且第一判别器的训练次数为多次训练、第一生成器的训练次数为多次且第一判别器的训练次数为一次、第一生成器的训练次数为多次且第一判别器的训练次数为多次。
下面参考图4B、图5、图6A、图6B、图6C、图6D和图6E对根据本公开实施例所述的年龄转换模型的训练方法和图像生成方法做进一步说明。
前文所述的两种年龄变换的实现方式中,一些年龄区间的样本图像的数目较少,例如,老年人年龄区间和婴幼儿年龄区间的样本图像的数目较少。因此,基于深度学习训练得到的年龄变换模型的预测精度较低。为此,本公开实施例提供了一种年龄转换模型的训练方案。下面结合图4B进行说明。
图4B示意性示出了根据本公开另一实施例的年龄变换模型的训练方法的流程图。
如图4B所示,该方法400B包括操作S411、操作S412、操作S413、操作S414、操作S415和操作S420。
在操作S411,生成附加样本图像集。附加样本图像集表征至少一个预设年龄区间的样本图像集。
在操作S412,根据初始样本图像集和附加样本图像集,得到第一真实样本图像集。
在操作S413,分别对第一真实样本图像集和与第一真实样本图像集对应的真实年龄集进行处理,得到与第一真实样本图像集对应的真实样本图像特征集和与真实年龄集对应的真实年龄表征集。
在操作S414,根据真实样本图像和真实年龄表征集,得到第一仿真样本图像集。
在操作S415,利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器。
在操作S420,将训练完成的第一生成器确定为年龄变换模型。
根据本公开的实施例,预设年龄区间可以指样本图像的数目小于或等于数目阈值的年龄区间,即,预设年龄区间可以指样本图像的数目较少的年龄区间。预设年龄区间可以包括开始年龄和结束年龄。至少一个预设年龄区间可以包括以下至少一项:预设年龄区间的开始年龄大于或等于第一年龄阈值和预设年龄区间的结束年龄小于或等于第二年龄阈值。第一年龄阈值大于第二年龄阈值。预设年龄区间的开始年龄大于或等于第一年龄阈值可以包括老年人年龄区间。老年人年龄区间可以表征与老年人对应的年龄区间。预设年龄区间的结束年龄小于或等于第二年龄阈值可以包括婴幼儿年龄区间。婴幼儿年龄区间可以表征与婴幼儿对应的年龄区间。第一年龄阈值和第二年龄阈值可以根据实际业务需求进行配置,在此不作限定。例如,第一年龄阈值可以是70岁。第二年龄阈值可以是5岁。老年人年龄区间的开始年龄可以是70岁,结束年龄可以是110岁。婴幼儿年龄区间的开始年龄可以是0岁,结束年龄可以是5岁。
根据本公开的实施例,初始样本图像集可以包括至少一个预设年龄区间的样本图像集和至少一个其他年龄区间的样本图像集。初始样本图像集可以包括至少一个其他年龄区间的样本图像集。其他年龄区间可以指除预设年龄区间以外的年龄区间。
例如,年龄区间可以包括0~5岁、6~9岁、10~19岁、20~24岁、25~29岁、30~34岁、35~39岁、40~49岁、50~69岁和70~110岁。至少一个预设年龄区间可以包括0~5岁和70~110岁。至少一个其他年龄区间可以包括6~9岁、10~19岁、20~24岁、25~29岁、30~34岁、35~39岁、40~49岁和50~69岁。
根据本公开的实施例,第一生成对抗网络模型可以包括第一生成器和第一判别器。可以利用第一生成器处理第一真实样本图像集,得到与第一真实样本图像集包括的每个第一真实样本图像对应的真实样本图像特征。可以利用第一生成器处理与第一真实样本图像集对应的真实年龄集,得到与真实年龄集包括的每个真实年龄对应的真实年龄表征。
根据本公开的实施例,在获得真实样本图像特征和真实年龄表征之后,可以利用第一生成器处理真实样本图像特征和真实年龄表征,得到第一仿真样本图像。第一仿真样本图像可以是第一真实样本图像中对象的年龄为真实年龄的图像。
根据本公开的实施例,预设年龄区间可以指样本图像的数目较少的年龄区间,通过生成包括至少一个预设年龄区间的附加样本图像集,增加了预设年龄区间的样本图像的数目。在此基础上,将附加样本图像集参与到第一生成器的训练,提高了年龄变换模型的预测精度。
根据本公开的实施例,操作S413可以包括如下操作。
利用第一生成器包括的编码模块处理第一真实样本图像集,得到与第一真实样本图像集对应的真实样本图像特征集。利用第一生成器包括的多层感知机处理与第一真实样本图像集对应的真实年龄集,得到与真实年龄集对应的真实年龄表征集。
根据本公开的实施例,第一生成器可以包括编码模块和多层感知机。第一生成器包括的编码模块可以用于处理第一真实样本图像集,得到与第一真实样本图集包括的每个第一真实样本图像对应的真实样本图像特征。第一生成器包括的多层感知机可以用于处理与第一真实样本图像集对应的真实年龄集,得到与真实年龄集包括的每个真实年龄对应的真实年龄表征。
根据本公开的实施例,操作S414可以包括如下操作。
利用第一生成器包括的解码模块处理真实样本图像特征集和真实年龄表征集,得到第一仿真样本图像集。
根据本公开的实施例,第一生成器还可以包括解码模块。第一生成器包括的解码模块可以用于处理真实样本图像特征和真实年龄表征,得到第一仿真样本图像。
根据本公开的实施例,与每个真实年龄对应的真实年龄表征可以包括N个。与每个第一真实样本图像对应的真实图像特征可以包括N个。N是大于或等于1的整数。第一真实样本图像集可以包括T个第一真实样本图像。T是大于或等于1的整数。
根据本公开的实施例,针对第q个第一真实样本图像和与第q个第一真实样本图像对应的第q个真实年龄,利用第一生成器包括的编码模块处理第q个第一真实样本图像,得到与第q个第一真实样本图像对应的N个真实样本图像特征,可以包括:利用第一生成器包括的编码模块提取与第q个第一真实样本图像对应的第i个潜在空间表征,得到与第一真实样本图像对应的第i个真实样本图像特征。可以利用第一生成器包括的多层感知机提取与真实年龄对应的第j个潜向量,得到与真实年龄对应的第j个真实年龄表征。i∈{1,2,......,N-1,N}。j∈{1,2,......,N-1,N}。q∈{1,2,......,T-1,T}。
根据本公开的实施例,针对第q个第一真实样本图像和与第q个第一真实样本图像对应的第q个真实年龄,利用第一生成器包括的解码模块处理与第q个第一真实样本图像对应的N个真实样本图像特征和与第q个真实年龄对应的N个真实年龄表征,得到与第q个第一真实样本图像和第q个真实年龄对应的第q个第一仿真样本图像,可以包括:在i=j=1的情况下,根据与第q个真实年龄对应的第j个真实年龄表征和与第q个第一真实样本图像对应的第i个真实样本图像特征,得到第j个样本中间特征。在i=j>1的情况下,根据第(j-1)个样本中间特征、第j个真实年龄表征和第i个真实样本图像特征,得到第j个样本中间特征。对第N个样本中间特征进行卷积,生成第一仿真样本图像。
根据本公开的实施例,利用第一真实样本图像集和第一仿真样本图像集,对第一生成器和第一判别器进行交替训练,得到训练完成的第一生成器和第一判别器,可以包括如下操作。
在确定不满足预设条件的情况下,利用第一真实样本图像集和第一仿真样本图像集,对第一生成器和第一判别器进行交替训练。
在确定满足预设条件的情况下,从第一仿真样本图像集中确定第二仿真样本图像集。根据第一仿真样本图像集和第二仿真样本图像集,得到第三仿真样本图像集。根据第二仿真样本图像集和第一真实样本图像集,得到第二真实样本图像集。利用第二真实样本图像集和第三仿真样本图像集,对第一生成器和第一判别器进行交替训练。
根据本公开的实施例,预设条件可以用于作为确定是否利用有监督和无监督混合训练方法对第一生成器和第一判别器进行训练的条件。预设条件可以包括迭代次数大于或等于迭代次数阈值。第二仿真样本图像集可以包括至少一个第二仿真样本图像。第二仿真样本图像可以是年龄预测准确性较高的第一仿真样本图像。年龄预测准确性可以根据与第一仿真样本图像对应的真实年龄和仿真年龄之间的偏差确定。仿真年龄可以通过对第一仿真样本图像进行年龄预测确定。由此,年龄预测准确性较高可以用第一仿真样本图像的真实年龄和仿真年龄之间的偏差小于或等于偏差阈值确定。偏差阈值可以根据实际业务需求进行配置,在此不作限定。
根据本公开的实施例,可以确定是否满足预设条件。如果确定满足预设条件,则可以从第一仿真样本图像集中确定第二仿真样本图像集。将第一仿真样本图像集中除第二仿真样本图像集以外的其他样本图像集确定为第三仿真样本图像集。将第二仿真样本图像集添加至第一真实样本图像集中,得到第二真实样本图像集。
根据本公开的实施例,在获得第二真实样本图像集和第三仿真样本图像集之后,可以利用上述内容对第一生成器和第一判别器进行交替训练。
根据本公开的实施例,如果确定不满足预设条件,则可以利用第一真实样本图像集和第一仿真样本图像集,对第一生成器和所述第一判别器进行交替训练。
根据本公开的实施例,通过在不满足预设条件的情况下,利用无监督方式训练第一生成器和第一判别器。在满足预设条件的情况下,利用无监督和有监督混合方式训练第一生成器和第一判别器,即,将第二仿真样本图像集作为Ground Truth添加至第一真实样本图像集,通过逐渐添加更多的第二仿真样本图像来监督相应年龄的仿真样本图像的生成,使得训练过程能够越来越稳定,由此提高了模型稳定的速度。
根据本公开的实施例,操作S411可以包括如下操作。
根据分类器模型,得到与至少一个预设年龄区间对应的属性轴的方向向量。生成至少一个第一备用图像特征。基于图像生成模型,利用至少一个第一备用图像特征和与至少一个预设年龄区间对应的属性轴的方向向量,生成附加样本图像集。
根据本公开的实施例,分类器模型可以用于确定与预设年龄区间对应的属性轴的方向向量。分类器模型可以包括支持向量机模型、决策树模型或神经网络模型。支持向量机模型可以包括线性支持向量机模型。图像生成模型可以用于生成附加样本图像集。图像生成模型可以是第二生成对抗网络模型的第二生成器。与至少一个预设年龄区间对应的属性轴的方向向量可以包括一个或多个。第一备用图像特征可以是基于第一随机噪声得到的图像特征。第一随机噪声可以包括高斯噪声。
根据本公开的实施例,在获得分类器模型之后,可以基于分类器模型,确定与至少一个预设年龄区间中的每个预设年龄区间对应的属性轴的方向向量。例如,分类器模型可以包括线性支持向量机模型。至少一个预设年龄区间包括老年人年龄区间和婴幼儿年龄区间。可以根据线性支持向量机模型,得到分类超平面。确定分类超平面的法向量。将分类超平面的法向量确定为与老年人年龄区间和婴幼儿年龄区间对应的属性轴的方向向量。
根据本公开的实施例,在确定与至少一个预设年龄区间对应的属性轴的方向向量和至少一个第一备用图像特征之后,根据与至少一个预设年龄区间对应的属性轴的方向向量,调整第一备用图像特征,得到调整后的第一备用图像特征。将调整后的第一备用图像特征输入图像生成模型,得到附加样本图像集。
根据本公开的实施例,上述年龄转换模型的训练方法还可以包括如下操作。
利用图像生成模型生成备用样本图像集。从备用样本图像集中确定备用样本图像子集。备用样本图像子集表征与至少一个预设年龄区间对应的备用样本图像子集,备用样本图像子集包括至少一个备用样本图像。根据与至少一个备用样本图像中的每个备用样本图像对应的第二备用图像特征和年龄类别标签训练预设模型,得到分类器模型。
根据本公开的实施例,图像生成模型还可以用于生成备用样本图像集。备用样本图像集可以包括与至少一个预设年龄区间对应的备用样本图像子集和与至少一个其他年龄区间对应的备用样本图像子集。年龄类别标签可以用于表征年龄的类别。年龄类别标签可以根据预设年龄区间确定。例如,至少一个预设年龄区间可以包括老年人年龄区间和婴幼儿年龄区间。相应的,年龄类别标签可以包括老年人标签和婴幼儿标签。
根据本公开的实施例,利用图像生成模型生成备用样本图像集可以包括:可以将第二随机噪声数据输入图像生成模型,得到备用样本图像集。第二随机噪声数据可以包括高斯噪声。在获得备用样本图像集之后,可以确定与备用样本图像集包括的每个备用样本图像对应的年龄区间。将年龄区间是预设年龄区间的备用样本图像确定为备用样本图像子集包括的备用样本图像。
根据本公开的实施例,在确定备用样本图像子集之后,可以确定与备用样本图像集中的每个备用样本图像对应的第二备用图像特征。可以基于与预设模型对应的损失函数,利用与至少一个备用样本图像中的每个备用样本图像对应的第二备用图像特征和年龄类别标签,得到输出值。根据输出值调整预设模型的模型参数,直至输出值收敛。将在输出值收敛的情况下得到的预设模型确定为分类器模型。
根据本公开的实施例,基于图像生成模型,利用至少一个第一备用图像特征和与至少一个预设年龄区间对应的属性轴的方向向量,生成附加样本图像集,可以包括如下操作。
基于与至少一个预设年龄区间对应的属性轴的方向向量,将至少一个第一备用图像特征中的每个第一备用图像特征调整至预期图像特征。预期图像特征是与预期年龄类别标签对应的图像特征。将至少一个预期图像特征输入图像生成模型,得到附加样本图像集。
根据本公开的实施例,预期年龄类别标签可以是与备用样本图像对应的年龄类别标签。预期年龄类别标签可以包括老年人标签和婴幼儿标签。
根据本公开的实施例,基于与至少一个预设年龄区间对应的属性轴的方向向量,将至少一个第一备用图像特征中的每个第一备用图像特征调整至预期图像特征可以包括:可以利用分类器模型处理至少一个第一备用图像特征,得到与每个第一备用图像特征对应的预测年龄类别标签。针对至少一个第一备用图像特征中的每个备用图像特征,在确定与备用图像特征对应的预测年龄类别标签与预期年龄类别标签不一致的情况下,基于与至少一个预设年龄区间对应的属性轴的方向向量,将第一备用图像特征向与第一备用图像特征对应的预期年龄类别标签的方向移动第一备用图像特征,直至得到与第一备用图像特征对应的预期图像特征。
例如,预期年龄类别标签包括老年人标签和婴幼儿标签。与某个第一备用图像特征对应的预期年龄类别标签是老年人标签。利用分类器模型确定与该第一备用图像特征对应的预测年龄类别标签是青年人标签。预测年龄类别标签与预期年龄类别标签不一致,因此,可以基于与老年人年龄区间和婴幼儿年龄区间对应的属性轴的方向向量,将第一备用图像特征向老年人标签的方向移动,直至得到预期图像特征。
根据本公开的实施例,在获得预期图特征之后,可以将预期图像特征输入图像生成模型,得到附加样本图像。
根据本公开的实施例,可以利用上述方式,生成满足数目要求的预期年龄类别标签的附加样本图像。
根据本公开的实施例,上述年龄转换模型的训练方法还可以包括如下操作。
利用第二生成器生成第四仿真样本图像集。利用第三真实样本图像集和第四仿真样本图像集,对第二生成器和第二判别器进行交替训练,得到训练完成的第二生成器和第二判别器。将训练完成的第二生成器确定为图像生成模型。
根据本公开的实施例,第二生成对抗网络模型可以包括第二生成器和第二判别器。第二生成对抗网络模型可以是基于风格的生成对抗网络(Style based GAN,StyleGAN)模型。
根据本公开的实施例,利用第二生成器生成第四仿真样本图像集可以包括:可以将第三随机噪声数据输入第二生成器,得到第四仿真样本图像集。
根据本公开的实施例,利用第三真实样本图像集和第四仿真样本图像集,对第二生成器和第二判别器进行交替训练可以包括:在每次迭代过程中,在保持第二生成器的模型参数不变的情况下,利用第三真实样本图像集和第四仿真样本图像集训练第二判别器,以完成该次迭代针对第二判别器设定的训练次数。在完成该次迭代针对第二判别器设定的训练次数之后,在保持第二判别器的模型参数不变的情况下,利用第四仿真样本图像集训练第二生成器,以完成该次迭代针对第二生成器设定的训练次数。需要说明的是,在执行每次训练过程中,可以利用第二生成器生成与该次对应的第四仿真样本图像集。上述第二生成器和第二判别器的训练方式仅是示例性实施例,但不限于此,还可以包括本领域已知的训练方式,只要能够实现第二生成器和第二判别器的训练即可。
图5示意性示出了根据本公开实施例的年龄转换模型的训练过程的示例示意图。
如图5所示,在训练过程500中,利用第二生成网络模型503包括的第二生成器生成第四仿真样本图像集502。利用第三真实样本图像集501和第四仿真样本图像集502,对第二生成器和第二生成网络模型503包括的第二判别器进行交替训练,得到训练完成的第二生成器和第二判别器。将训练完成的第二生成器确定为图像生成模型504。
利用图像生成模型504生成备用样本图像集505。从备用样本图像集505中确定备用样本图像子集506。根据与至少一个备用样本图像中的每个备用样本图像对应的第二备用图像特征和年龄类别标签507训练预设模型508,得到分类器模型509。
根据分类器模型509,得到与至少一个预设年龄区间对应的属性轴的方向向量510。生成至少一个第一备用图像特征511。基于与至少一个预设年龄区间对应的属性轴的方向向量510,将至少一个第一备用图像特征中的每个第一备用图像特征511调整至预期图像特征512。将至少一个预期图像特征512输入图像生成模型504,得到附加样本图像集513。
根据初始样本图像集514和附加样本图像集513,得到第一真实样本图像集515。利用第一生成对抗网络模型517包括的第一生成器处理第一真实样本图像集515和与第一真实样本图像集515对应的真实年龄集516,得到与真实样本图像集515对应的真实样本图像特征集518和与真实年龄集516对应的真实年龄表征集519。利用第一生成对抗网络模型517包括的第一生成器处理真实样本图像特征集518和真实年龄表征集519,得到第一仿真样本图像集520。
利用第一真实样本图像集515和第一仿真样本图像集520,对第一生成网络模型517包括的第一生成器和第一判别器进行交替训练,得到训练完成的第一生成器和第一判别器。将训练完成的第一生成器确定为年龄转换模型521。
根据本公开的实施例,第一生成器可以包括编码模块、多层感知机和解码模块。下面参考图6A~图6E对利用第一生成器得到目标图像的过程进行说明。
图6A示意性示出了根据本公开实施例的图像生成过程的示例示意图。
如图6A所示,在600A中,可以利用第一生成器的编码模块602处理原始图像601,得到与原始图像601对应的原始图像特征603。
可以利用第一生成器的多层感知机606处理开始年龄604,得到与开始年龄604对应的开始年龄表征607。可以利用多层感知机606处理结束年龄605,得到与结束年龄605对应的结束年龄表征608。根据开始年龄表征607和结束年龄表征608,得到与目标年龄对应的目标年龄表征609。
利用第一生成器的解码模块610处理原始图像特征603和目标年龄表征609,得到对象的目标图像611。
图6B示意性示出了根据本公开实施例的利用多层感知机处理开始年龄,得到与开始年龄对应的开始年龄表征过程的示例示意图。
如图6B,在600B中,图6A中的多层感知机606包括图6B中的全连接层6060、特征提取单元6061、特征提取单元6062、特征提取单元6063、特征提取单元6064、特征提取单元6065和特征提取单元6066。
利用全连接层6060处理开始年龄604,得到处理结果。分别利用特征提取单元6061、特征提取单元6062、特征提取单元6063、特征提取单元6064、特征提取单元6065和特征提取单元6066处理处理结果,得到第1开始年龄表征6070、第2开始年龄表征6071、第3开始年龄表征6072、第4开始年龄表征6073、第5开始年龄表征6074和第6开始年龄表征6075。
针对结束年龄表征608可以利用与图6B所示的方式进行处理,在此不再赘述。
图6C示意性示出了根据本公开实施例的利用编码模块处理原始图像,得到与原始图像对应的原始图像特征过程的示例示意图。
如图6C,在600C中,图6A中的编码模块602包括图6C中的特征提取单元6020、特征提取单元6021、……、特征提取单元6024和特征提取单元6025。
分别利用特征提取单元6020、特征提取单元6021、……、特征提取单元6024和特征提取单元6025处理原始图像,得到第1原始图像特征6030、第2原始图像特征6031、……、第5原始图像特征6034和第6原始图像特征6035。
图6D示意性示出了根据本公开实施例的利用解码模块处理原始图像特征和目标年龄表征,得到对象的目标图像过程的示例示意图。
如图6D所示,在600D中,图6A中的解码模块610包括图6D中的卷积层6106、特征提取单元6100、特征提取单元6101、……、特征提取单元6105。
利用特征提取单元6100处理第1原始图像特征6030和第1目标年龄表征6090,得到第1中间特征6120。
利用特征提取单元6101处理第1中间结果6120、第2原始图像特征6031和第2目标年龄表征6091,得到第2中间特征。……,利用特征提取单元6105处理第5中间结果6124、第6原始图像特征6035和第6目标年龄表征6095,得到第6中间特征。
利用卷积层6106处理第6中间结果,得到对象的目标图像611。
图6E示意性示出了根据本公开实施例的连续年龄变换的示例示意图。
如图6E所示,在600E中,在不同目标年龄的情况下,利用本公开实施例所述的图像生成方法处理原始图像601,得到了与不同目标年龄对应的目标图像611。沿着图6E中箭头方向,目标图像611中对象的目标年龄不断增大。
以上仅是示例性实施例,但不限于此,还可以包括本领域已知的其他图像生成方法和年龄变换模型的训练方法,只要能够实现连续年龄变换即可。
需要说明的是,本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图7示意性示出了根据本公开实施例的图像生成装置的框图。
如图7所示,图像生成装置700可以包括第一确定模块710、第二确定模块720和第一生成模块730。
第一确定模块710,用于确定与目标年龄对应的目标年龄区间,其中,目标年龄区间包括开始年龄和结束年龄。
第二确定模块720,用于根据与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征,确定与目标年龄对应的目标年龄表征。
第一生成模块730,用于根据目标年龄表征和与原始图像对应的原始图像特征,基于原始图像中对象的图像,生成对象的目标图像。目标图像是对象的年龄为目标年龄的图像。
根据本公开的实施例,第二确定模块720可以包括第一获得子模块。
第一获得子模块,用于根据目标年龄分别与开始年龄和结束年龄之间的差值,在与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征之间进行插值,得到与目标年龄对应的目标年龄表征。
根据本公开的实施例,获得子模块可以包括第一确定单元、第二确定单元、第三确定单元、第四确定单元和第五确定单元。
第一确定单元,用于确定第一差值。第一差值表征结束年龄和目标年龄之间的差值。
第二确定单元,用于确定第二差值。第二差值表征目标年龄和开始年龄之间的差值。
第三确定单元,用于确定第一比值。第一比值表征第一差值和与第一差值和第二差值之和的比值。
第四确定单元,用于确定第二比值。第二比值表征第二差值和与第一差值和第二差值之和的比值。
第五确定单元,用于根据第一比值、第二比值、与开始年龄对应的开始年龄表征和与结束年龄对应的结束年龄表征,确定与目标年龄对应的目标年龄表征。
根据本公开的实施例,第五确定单元可以包括第一确定子单元、第二确定子单元和第三确定子单元。
第一确定子单元,用于确定第一乘积。第一乘积表征第一比值和与开始年龄对应的开始年龄表征之间的乘积。
第二确定子单元,用于确定第二乘积。第二乘积表征第二比值和与结束年龄对应的结束年龄表征之间的乘积。
第三确定子单元,用于将第一乘积和第二乘积之间的和确定为与目标年龄对应的目标年龄表征。
根据本公开的实施例,开始年龄表征、结束年龄表征、原始图像特征分别包括N个开始年龄表征、N个结束年龄表征和N个原始图像特征,N是大于或等于1的整数。
上述第一生成模块包括第二获得子模块、第三获得子模块、第四获得子模块、第一确定子模块和第一生成子模块。
第二获得子模块,用于提取与原始图像对应的第i个潜在空间表征,得到与原始图像对应的第i个原始图像特征。
第三获得子模块,用于提取与开始年龄对应的第j个潜向量,得到与开始年龄对应的第j个开始年龄表征。
第四获得子模块,用于提取与结束年龄对应的第j个潜向量,得到与结束年龄对应的第j个结束年龄表征。i和j均为大于1且小于N的整数。
第一确定子模块,用于根据第j个开始年龄表征和第j个结束年龄表征,确定第j个目标年龄表征。
第一生成子模块,用于根据N个原始图像特征和N个目标年龄表征,基于原始图像中对象的图像,生成对象的目标图像。
根据本公开的实施例,第一生成子模块可以包括第一获得单元、第二获得单元和第一生成单元。
第一获得单元,用于在i=j=1的情况下,根据第j个目标年龄表征和第i个原始图像特征,得到第i个中间特征。
第二获得单元,用于在i=j>1的情况下,根据第(j-1)个中间特征、第j个目标年龄表征和第i个原始图像特征,得到第i个中间特征。
第一生成单元,用于对第N个中间特征进行卷积,生成对象的目标图像。
根据本公开的实施例,开始年龄表征、结束年龄表征和原始图像特征是利用年龄变换模型分别处理开始年龄、结束年龄和原始图像得到的。目标图像是利用年龄变换模型处理原始图像特征和目标年龄表征得到的。
图8示意性示出了根据本公开实施例的年龄转换模型的训练装置的框图。
如图8所示,年龄转换模型的训练装置800可以包括训练模块810和第三确定模块820。
训练模块810,利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器。
第三确定模块820,用于将训练完成的第一生成器确定为年龄变换模型。年龄变换模型用于生成本公开实施例所述的目标图像。
根据本公开的实施例,训练模块810可以包括第二生成子模块、第五获得子模块、第六获得子模块、第七获得子模块和第八获得子模块。
第二生成子模块,用于生成附加样本图像集。附加样本图像集表征至少一个预设年龄区间的样本图像集。
第五获得子模块,用于根据初始样本图像集和附加样本图像集,得到第一真实样本图像集。
第六获得子模块,用于分别对第一真实样本图像集和与第一真实样本图像集对应的真实年龄集进行处理,得到与第一真实样本图像集对应的真实样本图像特征集和与真实年龄集对应的真实年龄表征集。
第七获得子模块,用于根据真实样本图像特征集和真实年龄表征集,得到第一仿真样本图像集。
第八获得子模块,用于利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器。
根据本公开的实施例,第六获得子模块可以包括第一获得单元和第二获得单元。
第一获得单元,用于利用第一生成器包括的编码模块处理第一真实样本图像集,得到与第一真实样本图像集对应的真实样本图像特征集。
第二获得单元,用于利用第一生成器包括的多层感知机处理与第一真实样本图像集对应的真实年龄集,得到与真实年龄集对应的真实年龄表征集。
根据本公开的实施例,第七获得子模块可以包括第三获得单元。
第三获得单元,用于利用第一生成器包括的解码模块处理真实样本图像特征集和真实年龄表征集,得到第一仿真样本图像集。
根据本公开的实施例,第八获得子模块可以包括第一训练单元、第六确定单元、第四获得单元、第五获得单元和第二训练单元。
第一训练单元,用于在确定不满足预设条件的情况下,利用第一真实样本图像集和第一仿真样本图像集,对第一生成器和第一判别器进行交替训练。
第六确定单元,用于在确定满足预设条件的情况下,从第一仿真样本图像集中确定第二仿真样本图像集。
第四获得单元,用于根据第一仿真样本图像集和第二仿真样本图像集,得到第三仿真样本图像集。
第五获得单元,用于根据第二仿真样本图像集和第一真实样本图像集,得到第二真实样本图像集。
第二训练单元,用于利用第二真实样本图像集和第三仿真样本图像集,对第一生成器和第一判别器进行交替训练。
根据本公开的实施例,第三生成子模块可以包括第六获得单元、第二生成单元和第三生成单元。
第六获得单元,用于根据分类器模型,得到与至少一个预设年龄区间对应的属性轴的方向向量。
第二生成单元,用于生成至少一个第一备用图像特征。
第三生成单元,用于基于图像生成模型,利用至少一个第一备用图像特征和与至少一个预设年龄区间对应的属性轴的方向向量,生成附加样本图像集。
根据本公开的实施例,上述年龄转换模型的训练装置800还可以包括第二生成模块、第四确定模块和第一获得模块。
第二生成模块,用于利用图像生成模型生成备用样本图像集。
第四确定模块,用于从备用样本图像集中确定备用样本图像子集。备用样本图像子集表征与至少一个预设年龄区间对应的备用样本图像子集,备用样本图像子集包括至少一个备用样本图像。
第一获得模块,用于根据与至少一个备用样本图像中的每个备用样本图像对应的第二备用图像特征和年龄类别标签训练预设模型,得到分类器模型。
根据本公开的实施例,第三生成单元可以包括调整子单元和获得子单元。
调整子单元,用于基于与至少一个预设年龄区间对应的属性轴的方向向量,将至少一个第一备用图像特征中的每个第一备用图像特征调整至预期图像特征。预期图像特征是预期年龄类别标签对应的图像特征。
获得子单元,用于将至少一个预期图像特征输入图像生成模型,得到附加样本图像集。
根据本公开的实施例,上述年龄转换模型的训练装置800还可以包括第三生成模块、第二获得模块和第五确定模块。
第三生成模块,用于利用第二生成器生成第四仿真样本图像集;
第二获得模块,用于利用第三真实样本图像集和第四仿真样本图像集,对第二生成器和第二判别器进行交替训练,得到训练完成的第二生成器和第二判别器。
第五确定模块,用于将训练完成的第二生成器确定为图像生成模型。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上的方法。
图9示意性示出了根据本公开实施例的适于实现图像生成方法和年龄转换模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,电子设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如图像生成方法或年龄转换模型的训练方法。例如,在一些实施例中,图像生成方法或年龄转换模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的图像生成方法或年龄转换模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像生成方法或年龄转换模型的训练方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式***的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (31)
1.一种图像生成方法,包括:
确定与目标年龄对应的目标年龄区间,其中,所述目标年龄区间包括开始年龄和结束年龄;
根据与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征,确定与所述目标年龄对应的目标年龄表征;以及
根据所述目标年龄表征和与原始图像对应的原始图像特征,基于所述原始图像中对象的图像,生成所述对象的目标图像,其中,所述目标图像是所述对象的年龄为所述目标年龄的图像;
其中,所述开始年龄表征、所述结束年龄表征、所述原始图像特征分别包括N个开始年龄表征、N个结束年龄表征和N个原始图像特征,N是大于或等于1的整数;
所述根据所述目标年龄表征和与原始图像对应的原始图像特征,基于所述原始图像中对象的图像,生成所述对象的目标图像,包括:提取与所述原始图像对应的第i个潜在空间表征,得到与所述原始图像对应的第i个原始图像特征;提取与所述开始年龄对应的第j个潜向量,得到与所述开始年龄对应的第j个开始年龄表征;提取与所述结束年龄对应的第j个潜向量,得到与所述结束年龄对应的第j个结束年龄表征,其中,i和j均为大于或等于1且小于或等于N的整数;根据第j个开始年龄表征和第j个结束年龄表征,确定第j个目标年龄表征;以及根据N个所述原始图像特征和N个所述目标年龄表征,基于所述原始图像中对象的图像,生成所述对象的目标图像。
2.根据权利要求1所述的方法,其中,所述根据与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征,确定与所述目标年龄对应的目标年龄表征,包括:
根据所述目标年龄分别与所述开始年龄和所述结束年龄之间的差值,在与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征之间进行插值,得到与所述目标年龄对应的目标年龄表征。
3.根据权利要求2所述的方法,其中,所述根据所述目标年龄分别与所述开始年龄和所述结束年龄之间的差值,在与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征之间进行插值,得到与所述目标年龄对应的目标年龄表征,包括:
确定第一差值,其中,所述第一差值表征所述结束年龄和所述目标年龄之间的差值;
确定第二差值,其中,所述第二差值表征所述目标年龄和所述开始年龄之间的差值;
确定第一比值,其中,所述第一比值表征所述第一差值和与所述第一差值和所述第二差值之和的比值;
确定第二比值,其中,所述第二比值表征所述第二差值和与所述第一差值和所述第二差值之和的比值;以及
根据所述第一比值、所述第二比值、与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征,确定与所述目标年龄对应的目标年龄表征。
4.根据权利要求3所述的方法,其中,所述根据所述第一比值、所述第二比值、与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征,确定与所述目标年龄对应的目标年龄表征,包括:
确定第一乘积,其中,所述第一乘积表征所述第一比值和与所述开始年龄对应的开始年龄表征之间的乘积;
确定第二乘积,其中,所述第二乘积表征所述第二比值和与所述结束年龄对应的结束年龄表征之间的乘积;以及
将所述第一乘积和所述第二乘积之间的和确定为与所述目标年龄对应的目标年龄表征。
5.根据权利要求1所述的方法,其中,所述根据N个所述原始图像特征和N个所述目标年龄表征,基于所述原始图像中对象的图像,生成所述对象的目标图像,包括:
在i=j=1的情况下,根据第j个目标年龄表征和第i个原始图像特征,得到第j个中间特征;
在i=j>1的情况下,根据第(j-1)个中间特征、第j个目标年龄表征和第i个原始图像特征,得到第j个中间特征;以及
对第N个中间特征进行卷积,生成所述对象的目标图像。
6.根据权利要求1~3中任一项所述的方法,其中,所述开始年龄表征、所述结束年龄表征和所述原始图像特征是利用年龄变换模型分别处理所述开始年龄、所述结束年龄和所述原始图像得到的;
所述目标图像是利用所述年龄变换模型处理所述原始图像特征和所述目标年龄表征得到的。
7.一种年龄变换模型的训练方法,包括:
利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器;以及
将所述训练完成的第一生成器确定为所述年龄变换模型,其中,所述年龄变换模型用于生成权利要求1~6中任一项所述的目标图像。
8.根据权利要求7所述的方法,其中,所述利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器,包括:
生成附加样本图像集,其中,所述附加样本图像集表征至少一个预设年龄区间的样本图像集;
根据初始样本图像集和所述附加样本图像集,得到所述第一真实样本图像集;
分别对所述第一真实样本图像集和与所述第一真实样本图像集对应的真实年龄集进行处理,得到与所述第一真实样本图像集对应的真实样本图像特征集和与所述真实年龄集对应的真实年龄表征集;
根据所述真实样本图像特征集和所述真实年龄表征集,得到所述第一仿真样本图像集;以及
利用所述第一真实样本图像集和所述第一仿真样本图像集训练第一生成器和第一判别器,得到所述训练完成的第一生成器和第一判别器。
9.根据权利要求8所述的方法,其中,所述分别对所述第一真实样本图像集和与所述第一真实样本图像集对应的真实年龄集进行处理,得到与所述第一真实样本图像集对应的真实样本图像特征集和与所述真实年龄集对应的真实年龄表征集,包括:
利用所述第一生成器包括的编码模块处理所述第一真实样本图像集,得到与所述第一真实样本图像集对应的真实样本图像特征集;以及
利用所述第一生成器包括的多层感知机处理与所述第一真实样本图像集对应的真实年龄集,得到与所述真实年龄集对应的真实年龄表征集。
10.根据权利要求8或9所述的方法,其中,所述根据所述真实样本图像特征集和所述真实年龄表征集,得到所述第一仿真样本图像集,包括:
利用所述第一生成器包括的解码模块处理所述真实样本图像特征集和所述真实年龄表征集,得到所述第一仿真样本图像集。
11.根据权利要求8或9所述的方法,其中,所述利用所述第一真实样本图像集和所述第一仿真样本图像集训练所述第一生成器和所述第一判别器,得到所述训练完成的第一生成器和第一判别器,包括:
在确定不满足预设条件的情况下,利用所述第一真实样本图像集和所述第一仿真样本图像集,对所述第一生成器和所述第一判别器进行交替训练;
在确定满足所述预设条件的情况下,从所述第一仿真样本图像集中确定第二仿真样本图像集;
根据所述第一仿真样本图像集和所述第二仿真样本图像集,得到第三仿真样本图像集;
根据所述第二仿真样本图像集和所述第一真实样本图像集,得到第二真实样本图像集;以及
利用所述第二真实样本图像集和所述第三仿真样本图像集,对所述第一生成器和所述第一判别器进行交替训练。
12.根据权利要求8或9所述的方法,其中,所述生成附加样本图像集,包括:
根据分类器模型,得到与所述至少一个预设年龄区间对应的属性轴的方向向量;
生成至少一个第一备用图像特征;以及
基于图像生成模型,利用所述至少一个第一备用图像特征和与所述至少一个预设年龄区间对应的属性轴的方向向量,生成所述附加样本图像集。
13.根据权利要求12所述的方法,还包括:
利用所述图像生成模型生成备用样本图像集;
从所述备用样本图像集中确定备用样本图像子集,其中,所述备用样本图像子集表征与所述至少一个预设年龄区间对应的备用样本图像子集,所述备用样本图像子集包括至少一个备用样本图像;以及
根据与所述至少一个备用样本图像中的每个备用样本图像对应的第二备用图像特征和年龄类别标签训练预设模型,得到所述分类器模型。
14.根据权利要求12所述的方法,其中,所述基于图像生成模型,利用所述至少一个第一备用图像特征和与所述至少一个预设年龄区间对应的属性轴的方向向量,生成所述附加样本图像集,包括:
基于与所述至少一个预设年龄区间对应的属性轴的方向向量,将所述至少一个第一备用图像特征中的每个第一备用图像特征调整至预期图像特征,其中,所述预期图像特征是预期年龄类别标签对应的图像特征;以及
将至少一个所述预期图像特征输入所述图像生成模型,得到所述附加样本图像集。
15.根据权利要求12所述的方法,还包括:
利用第二生成器生成第四仿真样本图像集;
利用第三真实样本图像集和所述第四仿真样本图像集,对第二生成器和第二判别器进行交替训练,得到训练完成的第二生成器和第二判别器;以及
将所述训练完成的第二生成器确定为所述图像生成模型。
16.一种图像生成装置,包括:
第一确定模块,用于确定与目标年龄对应的目标年龄区间,其中,所述目标年龄区间包括开始年龄和结束年龄;
第二确定模块,用于根据与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征,确定与所述目标年龄对应的目标年龄表征;以及
第一生成模块,用于根据所述目标年龄表征和与原始图像对应的原始图像特征,基于所述原始图像中对象的图像,生成所述对象的目标图像,其中,所述目标图像是所述对象的年龄为所述目标年龄的图像;
其中,所述开始年龄表征、所述结束年龄表征、所述原始图像特征分别包括N个开始年龄表征、N个结束年龄表征和N个原始图像特征,N是大于或等于1的整数;
所述第一生成模块,包括:
第二获得子模块,用于提取与所述原始图像对应的第i个潜在空间表征,得到与所述原始图像对应的第i个原始图像特征;
第三获得子模块,用于提取与所述开始年龄对应的第j个潜向量,得到与所述开始年龄对应的第j个开始年龄表征;
第四获得子模块,用于提取与所述结束年龄对应的第j个潜向量,得到与所述结束年龄对应的第j个结束年龄表征,其中,i和j均为大于或等于1且小于或等于N的整数;
第一确定子模块,用于根据第j个开始年龄表征和第j个结束年龄表征,确定第j个目标年龄表征;以及
第一生成子模块,用于根据N个所述原始图像特征和N个所述目标年龄表征,基于所述原始图像中对象的图像,生成所述对象的目标图像。
17.根据权利要求16所述的装置,其中,所述第二确定模块,包括:
第一获得子模块,用于根据所述目标年龄分别与所述开始年龄和所述结束年龄之间的差值,在与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征之间进行插值,得到与所述目标年龄对应的目标年龄表征。
18.根据权利要求17所述的装置,其中,所述第一获得子模块,包括:
第一确定单元,用于确定第一差值,其中,所述第一差值表征所述结束年龄和所述目标年龄之间的差值;
第二确定单元,用于确定第二差值,其中,所述第二差值表征所述目标年龄和所述开始年龄之间的差值;
第三确定单元,用于确定第一比值,其中,所述第一比值表征所述第一差值和与所述第一差值和所述第二差值之和的比值;
第四确定单元,用于确定第二比值,其中,所述第二比值表征所述第二差值和与所述第一差值和所述第二差值之和的比值;以及
第五确定单元,用于根据所述第一比值、所述第二比值、与所述开始年龄对应的开始年龄表征和与所述结束年龄对应的结束年龄表征,确定与所述目标年龄对应的目标年龄表征。
19.根据权利要求16所述的装置,其中,所述第一生成子模块,包括:
第一获得单元,用于在i=j=1的情况下,根据第j个目标年龄表征和第i个原始图像特征,得到第j个中间特征;
第二获得单元,用于在i=j>1的情况下,根据第(j-1)个中间特征、第j个目标年龄表征和第i个原始图像特征,得到第j个中间特征;以及
第一生成单元,用于对第N个中间特征进行卷积,生成所述对象的目标图像。
20.根据权利要求16或17所述的装置,其中,所述开始年龄表征、所述结束年龄表征和所述原始图像特征是利用年龄变换模型分别处理所述开始年龄、所述结束年龄和所述原始图像得到的;
所述目标图像是利用所述年龄变换模型处理所述原始图像特征和所述目标年龄表征得到的。
21.一种年龄变换模型的训练装置,包括:
训练模块,利用第一真实样本图像集和第一仿真样本图像集训练第一生成器和第一判别器,得到训练完成的第一生成器和第一判别器;以及
第三确定模块,用于将所述训练完成的第一生成器确定为所述年龄变换模型,其中,所述年龄变换模型用于生成权利要求16~20中任一项所述的目标图像。
22.根据权利要求21所述的装置,其中,训练模块,包括:
第二生成子模块,用于生成附加样本图像集,其中,所述附加样本图像集表征至少一个预设年龄区间的样本图像集;
第五获得子模块,用于根据初始样本图像集和所述附加样本图像集,得到所述第一真实样本图像集;
第六获得子模块,用于分别对所述第一真实样本图像集和与所述第一真实样本图像集对应的真实年龄集进行处理,得到与所述第一真实样本图像集对应的真实样本图像特征集和与所述真实年龄集对应的真实年龄表征集;
第七获得子模块,用于根据所述真实样本图像特征集和所述真实年龄表征集,得到所述第一仿真样本图像集;以及
第八获得子模块,用于利用所述第一真实样本图像集和所述第一仿真样本图像集训练第一生成器和第一判别器,得到所述训练完成的第一生成器和第一判别器。
23.根据权利要求22所述的装置,其中,所述第六获得子模块,包括:
第一获得单元,用于利用所述第一生成器包括的编码模块处理所述第一真实样本图像集,得到与所述第一真实样本图像集对应的真实样本图像特征集;以及
第二获得单元,用于利用所述第一生成器包括的多层感知机处理与所述第一真实样本图像集对应的真实年龄集,得到与所述真实年龄集对应的真实年龄表征集。
24.根据权利要求22或23所述的装置,其中,所述第七获得子模块,包括:
第三获得单元,用于利用所述第一生成器包括的解码模块处理所述真实样本图像特征集和所述真实年龄表征集,得到所述第一仿真样本图像集。
25.根据权利要求22或23所述的装置,其中,所述第八获得子模块,包括:
第一训练单元,用于在确定不满足预设条件的情况下,利用所述第一真实样本图像集和所述第一仿真样本图像集,对所述第一生成器和所述第一判别器进行交替训练;
第六确定单元,用于在确定满足所述预设条件的情况下,从所述第一仿真样本图像集中确定第二仿真样本图像集;
第四获得单元,用于根据所述第一仿真样本图像集和所述第二仿真样本图像集,得到第三仿真样本图像集;
第五获得单元,用于根据所述第二仿真样本图像集和所述第一真实样本图像集,得到第二真实样本图像集;以及
第二训练单元,用于利用所述第二真实样本图像集和所述第三仿真样本图像集,对所述第一生成器和所述第一判别器进行交替训练。
26.根据权利要求22或23所述的装置,其中,所述第二生成子模块,包括:
第六获得单元,用于根据分类器模型,得到与所述至少一个预设年龄区间对应的属性轴的方向向量;
第二生成单元,用于生成至少一个第一备用图像特征;以及
第三生成单元,用于基于图像生成模型,利用所述至少一个第一备用图像特征和与所述至少一个预设年龄区间对应的属性轴的方向向量,生成所述附加样本图像集。
27.根据权利要求26所述的装置,还包括:
第二生成模块,用于利用所述图像生成模型生成备用样本图像集;
第四确定模块,用于从所述备用样本图像集中确定备用样本图像子集,其中,所述备用样本图像子集表征与所述至少一个预设年龄区间对应的备用样本图像子集,所述备用样本图像子集包括至少一个备用样本图像;以及
第一获得模块,用于根据与所述至少一个备用样本图像中的每个备用样本图像对应的第二备用图像特征和年龄类别标签训练预设模型,得到所述分类器模型。
28.根据权利要求26所述的装置,其中,所述第三生成单元,包括:
调整子单元,用于基于与所述至少一个预设年龄区间对应的属性轴的方向向量,将所述至少一个第一备用图像特征中的每个第一备用图像特征调整至预期图像特征,其中,所述预期图像特征是预期年龄类别标签对应的图像特征;以及
获得子单元,用于将至少一个所述预期图像特征输入所述图像生成模型,得到所述附加样本图像集。
29.根据权利要求26所述的装置,还包括:
第三生成模块,用于利用第二生成器生成第四仿真样本图像集;
第二获得模块,用于利用第三真实样本图像集和所述第四仿真样本图像集,对第二生成器和第二判别器进行交替训练,得到训练完成的第二生成器和第二判别器;以及
第五确定模块,用于将所述训练完成的第二生成器确定为所述图像生成模型。
30.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~6中任一项或权利要求7~15中任一项所述的方法。
31.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1~6中任一项或权利要求7~15中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111184646.6A CN113902957B (zh) | 2021-10-11 | 2021-10-11 | 图像生成方法、模型的训练方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111184646.6A CN113902957B (zh) | 2021-10-11 | 2021-10-11 | 图像生成方法、模型的训练方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113902957A CN113902957A (zh) | 2022-01-07 |
CN113902957B true CN113902957B (zh) | 2024-02-09 |
Family
ID=79191390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111184646.6A Active CN113902957B (zh) | 2021-10-11 | 2021-10-11 | 图像生成方法、模型的训练方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902957B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN111402113A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN111898482A (zh) * | 2020-07-14 | 2020-11-06 | 贵州大学 | 基于渐进型生成对抗网络的人脸预测方法 |
CN111985405A (zh) * | 2020-08-21 | 2020-11-24 | 南京理工大学 | 一种人脸年龄合成方法及*** |
CN113392769A (zh) * | 2021-06-16 | 2021-09-14 | 广州繁星互娱信息科技有限公司 | 人脸图像的合成方法、装置、电子设备及存储介质 |
US11120526B1 (en) * | 2019-04-05 | 2021-09-14 | Snap Inc. | Deep feature generative adversarial neural networks |
-
2021
- 2021-10-11 CN CN202111184646.6A patent/CN113902957B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
US11120526B1 (en) * | 2019-04-05 | 2021-09-14 | Snap Inc. | Deep feature generative adversarial neural networks |
CN111402113A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN111898482A (zh) * | 2020-07-14 | 2020-11-06 | 贵州大学 | 基于渐进型生成对抗网络的人脸预测方法 |
CN111985405A (zh) * | 2020-08-21 | 2020-11-24 | 南京理工大学 | 一种人脸年龄合成方法及*** |
CN113392769A (zh) * | 2021-06-16 | 2021-09-14 | 广州繁星互娱信息科技有限公司 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
CAN-GAN: Conditioned-attention normalized GAN for face age synthesis;Chenglong Shi et al.;Pattern Recognition Letters;第138卷;520-526 * |
刘扬 等.测量数据处理及误差理论.原子能出版社,1997,第293页. * |
基于深度学习的人脸老化合成研究;刘璐;中国博士学位论文全文数据库信息科技辑;第2021卷(第03期);第I138-26页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113902957A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875807B (zh) | 一种基于多注意力多尺度的图像描述方法 | |
CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
CN111695415B (zh) | 图像识别方法及相关设备 | |
CN112800292B (zh) | 一种基于模态特定和共享特征学习的跨模态检索方法 | |
CN112580733B (zh) | 分类模型的训练方法、装置、设备以及存储介质 | |
CN114840734B (zh) | 多模态表示模型的训练方法、跨模态检索方法及装置 | |
CN113934835B (zh) | 结合关键词和语义理解表征的检索式回复对话方法及*** | |
CN112036439B (zh) | 依存关系分类方法及相关设备 | |
CN115269768A (zh) | 要素文本处理方法、装置、电子设备和存储介质 | |
CN115248890A (zh) | 用户兴趣画像的生成方法、装置、电子设备以及存储介质 | |
CN116975347A (zh) | 图像生成模型训练方法及相关装置 | |
CN113902957B (zh) | 图像生成方法、模型的训练方法、装置、电子设备及介质 | |
CN116824677A (zh) | 表情识别方法、装置、电子设备及存储介质 | |
CN113379594A (zh) | 脸型变换模型训练、脸型变换方法及相关装置 | |
CN113962221A (zh) | 一种文本摘要的提取方法、装置、终端设备和存储介质 | |
CN114443864A (zh) | 跨模态数据的匹配方法、装置及计算机程序产品 | |
CN113536845A (zh) | 人脸属性识别方法、装置、存储介质和智能设备 | |
CN116091857B (zh) | 图像处理模型的训练方法、图像处理方法和装置 | |
CN117556275B (zh) | 相关度模型数据处理方法、装置、计算机设备和存储介质 | |
WO2023112169A1 (ja) | 学習方法、推定方法、学習装置、推定装置、学習プログラム及び推定プログラム | |
CN115481285B (zh) | 跨模态的视频文本匹配方法、装置、电子设备及存储介质 | |
CN113553433B (zh) | 基于人工智能的产品分类方法、装置、介质及终端设备 | |
CN114398854B (zh) | 电子书的标签生成方法、装置及电子设备 | |
CN113420561B (zh) | 一种命名实体识别方法、装置、设备及存储介质 | |
CN113011490B (zh) | 模型训练方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |