CN113362263A - 变换虚拟偶像的形象的方法、设备、介质及程序产品 - Google Patents
变换虚拟偶像的形象的方法、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN113362263A CN113362263A CN202110585489.3A CN202110585489A CN113362263A CN 113362263 A CN113362263 A CN 113362263A CN 202110585489 A CN202110585489 A CN 202110585489A CN 113362263 A CN113362263 A CN 113362263A
- Authority
- CN
- China
- Prior art keywords
- attribute information
- sample
- virtual idol
- standard object
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000009466 transformation Effects 0.000 claims abstract description 159
- 230000004927 fusion Effects 0.000 claims abstract description 135
- 230000001131 transforming effect Effects 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 18
- 210000004209 hair Anatomy 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 238000007500 overflow downdraw method Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000005034 decoration Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种变换虚拟偶像的形象的方法、设备、介质及程序产品，涉及深度学习和计算机视觉等人工智能领域。该方法的一实施方式包括：获取虚拟偶像的属性信息，以及标准对象的属性信息；根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式；基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
Description
技术领域
本公开实施例涉及计算机领域，具体涉及深度学习和计算机视觉等人工智能领域，尤其涉及一种变换虚拟偶像的形象的方法、设备、介质及程序产品。
背景技术
目前，融合技术已广泛应用于虚拟视觉形象、长短视频趣味玩法、相册趣味玩法等各种场景。融合技术通常需要保留一个形象的属性信息而融合另一个形象的属性信息。
发明内容
本公开实施例提出了一种变换虚拟偶像的形象的方法、设备、介质及程序产品。
第一方面，本公开实施例提出了一种变换虚拟偶像的形象的方法，包括：获取虚拟偶像的属性信息，以及标准对象的属性信息；根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式；基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
第二方面，本公开实施例提出了一种变换虚拟偶像的形象的装置，包括：信息获取单元，被配置成获取虚拟偶像的属性信息，以及标准对象的属性信息；模式确定单元，被配置成根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式；信息融合单元，被配置成基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面描述的方法。
第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面描述的方法。
第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面描述的方法。
本公开实施例提供的变换虚拟偶像的形象的方法、设备、介质及程序产品，首先获取虚拟偶像的属性信息，以及标准对象的属性信息；然后根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式；最后基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。可以由虚拟偶像的属性信息和/或标准对象的属性信息所确定目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，以得到融合结果，实现了对虚拟偶像的形象的变换。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开可以应用于其中的示例性***架构图；
图2是根据本公开的变换虚拟偶像的形象的方法的一个实施例的流程图；
图3是根据本公开的变换虚拟偶像的形象的方法的一个实施例的流程图；
图4是根据本公开的生成融合模型的方法的一个实施例的流程图；
图5是根据本公开的变换虚拟偶像的形象的方法的一个应用场景的示意图；
图6是根据本公开的变换虚拟偶像的形象的装置的一个实施例的流程图；
图7是用来实现本公开实施例的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的变换虚拟偶像的形象的方法或变换虚拟偶像的形象的装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以获取虚拟偶像的属性信息，以及标准对象的属性信息等。终端设备101、102、103上可以安装有各种客户端应用、智能交互应用，例如视频相关的软件、直播相关的软件、图像相关的软件、图像处理应用等等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，终端设备可以为与用户通过键盘、触摸板、显示屏、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以提供各种服务。例如，服务器105可以获取终端设备101、102、103上的虚拟偶像的属性信息，以及标准对象的属性信息；根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式；基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本公开实施例所提供的变换虚拟偶像的形象的方法一般由服务器105执行，相应地，变换虚拟偶像的形象的装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本公开的变换虚拟偶像的形象的方法的一个实施例的流程200。该变换虚拟偶像的形象的方法可以包括以下步骤：
步骤201，获取虚拟偶像的属性信息，以及标准对象的属性信息。
在本实施例中，确定变换虚拟偶像的形象的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)可以获取虚拟偶像的属性信息，以及标准对象的属性信息。上述虚拟偶像可以为通过绘画、动画等形式制作，在互联网等虚拟场景或现实场景进行演艺活动。上述标准对象可以为模板中的对象，可以基于标准对象对虚拟偶像进行变换。
在本实施例中，虚拟偶像可以为直播场景中实体对象(例如，直播主播)对应的虚拟形象。
需要说明的是，虚拟偶像的形象不限于一种模式。虚拟偶像可以具备不同的形象。虚拟偶像的形象一般为3D形象。虚拟偶像可以具备不同的外貌以及装饰。每种虚拟偶像的形象还会对应多种不同的装扮，装扮的分类可以依据季节分类，也可以依据场景分类。
进一步地，每一轮互动的虚拟偶像图像数据中记录了虚拟偶像进行该轮互动时的衣着、妆容、饰品、配饰、发型、肢体动作和表情，每一轮互动的虚拟偶像语音数据中记录了虚拟偶像进行该轮互动时的对话文本、语速和语调，可以是根据所述虚拟偶像图像数据和所述虚拟偶像语音数据，生成与所述对话文本相关的300维的词向量，生成与所述虚拟偶像的衣着、妆容、饰品、配饰、发型语音和语调等特征相关的由0、1编码成的向量，生成与所述虚拟偶像的肢体动作相关的38点骨架关键点向量，以及生成与所述虚拟偶像的表情相关的29点表情关键点向量，将上述四个向量进行依次拼接，生成高维向量，以作为该轮互动的虚拟偶像信息。
本公开的技术方案中，所涉及的属性信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
在本实施例中，在获取虚拟偶像的属性信息，以及标准对象的属性信息之前，该变换虚拟偶像的形象的方法还可以包括：(1)实体对象(即虚拟对象对应的对象)通过麦克风输入特定的语音指令，例如“我要玩变明星脸”，“我要玩川剧变脸”；(2)在收到指令后，启动执行主体的摄像头识别实体对象的手势，当手划过其脸部时，调用换脸技术，自动换一个明星人物；(3)换脸技术是基于视频生成后做实时的换脸再合成视频流；换脸之后，实体对象依然可以通过面捕与动捕设备驱动虚拟偶像做表演，同时也可以基于衣服和场景做切换，比如可以根据电影角色，当变脸时场景也跟着变，虚拟偶像的衣服也同样一起变。该场景可以预先设置，且建立虚拟偶像之间的关联。
步骤202，根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式。
在本实施例中，上述执行主体可以根据虚拟偶像的属性信息，确定目标形象变换模式；或，根据标准对象的属性信息，确定目标形象变换模式；或，根据虚拟偶像的属性信息和标准对象的属性信息，确定目标形象变换模式。上述目标形象变换模式可以为预先选取的关于变换虚拟偶像形象的模式，该目标形象变换模式可以用于对虚拟偶像的形象进行变换，例如，面部变换、发饰、场景(或背景)、服饰、装饰品等变换。
需要说明的是，目标形象变换模式可以根据游戏、影视、戏剧等各种可视的场景生成。例如，目标形象变换模式可以由“A游戏”中的面部、服饰、发型、装饰品、场景(背景)等生成；那么，该目标形象变换模式可以包括“A游戏”中人物的面部、服饰、发型、装饰品、场景(背景)等组成的模式。
步骤203，基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
在本实施例中，上述执行主体可以基于与目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
具体地，上述执行主体可以先基于目标形象变换模式进行搜索，以得到与目标形象变换模式对应的融合模型；之后，将虚拟偶像的属性信息和标准对象的属性信息输入该融合模型中，融合结果。上述融合模型可以用于将虚拟偶像的属性信息和标准对象的属性信息进行融合，以对虚拟偶像的形象进行变换。上述融合结果可以为融合模型对虚拟偶像的属性信息和标准对象的属性信息进行融合之后输出的结果。
以人脸融合为例。人脸融合技术通常需要保留一个人脸形象的身份信息而融合另一个人脸形象的属性信息。faceshifter方法中针对目标人脸存在一个自编码器(autoencoder)属性重建网络，将属性重建网络的各个尺度的特征融合到模板人脸的身份信息中。
需要说明的是，本实施例中融合不单单仅限于面部融合(例如，人脸融合)，还包括发型融合、场景(或背景)融合、装饰品融合、服饰融合等。
其中，发型融合可以为将发型图像与虚拟偶像的面部图像进行拼接。场景融合可以为将虚拟偶像的场景处理成透明的图像；之后，将标准对象的场景与虚拟偶像进行拼接。装饰品融合可以为先确定虚拟偶像中需要设置装饰品的区域，之后将装饰品的图层叠加在该区域。服饰融合可以将服饰与虚拟偶像的服饰所在的区域进行拼接。
本公开实施例提供的变换虚拟偶像的形象的方法，首先获取虚拟偶像的属性信息，以及标准对象的属性信息；然后根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式；最后基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。可以由虚拟偶像的属性信息和/或标准对象的属性信息所确定目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，以得到融合结果，实现了对虚拟偶像的形象的变换。
在本实施例的一些可选的实现方式中，根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式，可以包括：获取预置的属性信息集合；将虚拟偶像的属性信息和/或标准对象的属性信息与预置的属性信息集合进行匹配，得到匹配结果；根据匹配结果，确定目标形象变换模式。
在本实现方式中，上述执行主体可以先获取预置的属性信息集合；之后，将虚拟偶像的属性信息和标准对象的属性信息分别与预置的属性信息集合中的属性信息进行匹配，得到匹配结果；之后，根据匹配结果，确定目标形象变换模式。上述预置的属性信息集合可以为预先采集的属性信息所组成的集合，在获取该预置的属性信息集合之后，还需要预先建立预置的属性信息集合中属性信息与虚拟偶像的属性信息，以及标准对象的属性信息之间的映射关系。
在本实现方式中，还可以基于标准对象的属性信息所表征的类型信息，从预置的形象变换模式集合中，确定目标形象变换模式。上述标准对象的属性信息所表征的类型信息可以为标准对象的属性信息中可以用于判别该标准对象的类型的信息。
在一个示例中，该类型信息可以包括：目标卡通人物、目标影视人物、目标戏剧人物；如果类型信息为目标卡通人物，那么可以从预置的形象变换模式集合中，确定目标卡通人物对应的目标形象变换模式。
需要说明的是，该预置的形象变换模式集合可以为预先建立的、包括多种形象变换模式。在获取预置的形象变换模式集合之后，还可以建立标准对象的属性信息所表征的类型信息与形象变换模式之间的映射关系。
在一个示例中，可以预先建立类型信息和形象变换模式之间的映射关系；例如，虚拟偶像的类型信息可以包括目标卡通人物、目标戏剧人物；那么，可以预先建立目标卡通人物与形象变换模式1，以及目标戏剧人物与形象变换模式2之间的映射关系；如果虚拟偶像的属性信息所表征的类型信息为目标卡通人物时，确定形象变换模式为形象变换模式1。
在本实现方式中，上述执行主体可以先将虚拟偶像的属性信息与预置的属性信息集合进行匹配，以得到初始匹配结果；如果初始匹配结果的数量为一个时，则将该初始匹配结果对应的形象变换模式确定目标形象变换模式；如果，初始匹配结果的数量为多个时，可以再基于标准对象的属性信息与初始匹配结果进行匹配，以得到最终的匹配结果；之后，将该最终的匹配结果对应的形象变换模式确定为目标形象变换模式。
在本实现方式中，上述执行主体可以将虚拟偶像的属性信息所表征的类型信息，从预置的形象变换模式集合中，确定初始形象变换模式。如果初始形象变换模式的种类为多个时，再基于标准对象的属性信息所表征的类型信息，从初始形象变换模式中，确定最终形象变换模式；之后，根据该最终形象变换模式对虚拟偶像的形象进行变形。
需要说明的是，先对虚拟偶像的属性信息进行匹配；之后，根据该匹配结果再确定是否需要再执行对标准对象的属性信息的匹配。
在实际应用中，虚拟偶像的属性信息可以由虚拟偶像对应的实体对象预先设定，在用户完成对虚拟偶像的属性信息的设定之后，该实体对象还可以选取标准对象的属性信息。
在本实现方式中，可以通过预置的属性信息集合与虚拟偶像的属性信息和/或标准对象的属性信息之间的匹配结果，实现对目标形象变换模式的确定。
在本实施例的一些可选的实现方式中，根据匹配结果，确定目标形象变换模式，包括：若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息和标准对象的属性信息同时匹配的第三属性信息，将第三属性信息对应的第三形象变换模式，确定为目标形象变换模式。
在本实现方式中，上述执行主体可以第三属性信息与虚拟偶像的属性信息和标准对象的属性信息之间的对应关系。上述匹配可以为相似度满足预设相似度阈值；或相同。其中，预设相似度阈值可以由用户设定或变换形象的精度确定。
在本实现方式中，可以通过预置的属性信息集合中属性信息与虚拟偶像的属性信息和标准对象的属性信息同时匹配的匹配结果，来实现对目标形象变换模式的准确确定。
在本实施例的一些可选的实现方式中，若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息匹配的第一属性信息，或与标准对象的属性信息匹配的第二属性信息；以及
该变换虚拟偶像的形象的方法还包括：获取针对形象变换模式的用户偏好信息；
根据匹配结果，确定目标形象变换模式，包括：若第一属性信息对应的第一形象变换模式或第二属性信息对应的第二形象变换模式的数量为多个，根据用户偏好信息，从第一形象变换模式或第二形象变换模式中，确定目标形象变换模式。
在本实现方式中，上述执行主体可以先基于虚拟偶像的属性信息或标准对象的属性信息与预置的属性信息集合中的属性信息进行匹配，如果匹配的结果包括多个与第一属性信息(即，虚拟偶像的属性信息与预置的属性信息集合中匹配的属性信息)对应的第一形象变换模式或多个与第二属性信息(即，标准对象的属性信息与预置的属性信息集合中匹配的属性信息)对应的第二形象变换模式；此时，再结合虚拟偶像对应的实体对象针对形象变换模式的用户偏好信息，从多个第一形象变换模式或多个第二形象变换模式中，确定目标形象变换模式，以基于用户偏好信息实现对形象变换模式的准确确定。上述用户偏好信息可以用于表征虚拟偶像对应的实体对象对形象变换模式的关注程度，该关注程度可以通过对虚拟偶像对应的实体对象对形象变换模式的操作程度(或使用程度)，例如，虚拟偶像对应的实体对象近期均使用了目标影视人物对应的目标形象变换模式，那么可以基于此从多个第一形象变换模式或多个第二形象变换模式中确定目标形象变换模式。
在本实现方式中，上述执行主体可以在第一属性信息对应的第一形象变换模式或第二属性信息对应的第二形象变换模式的数量为多个时，可以基于用户偏好信息进一步筛选，以准确地实现对目标形象变换模式的确定。
在本实施例的一些可选的实现方式中，根据匹配结果，确定目标形象变换模式，包括：若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息匹配的第一属性信息，将第一属性信息对应的第一形象变换模式，确定为目标形象变换模式；若匹配结果包括预置的属性信息集合中与标准对象的属性信息匹配的第二属性信息，将第二属性信息对应的第二形象变换模式，确定为目标形象变换模式。
在本实现方式中，上述执行主体可以预先建立第一属性信息与虚拟偶像的属性信息之间的对应关系；或，第二属性信息与标准对象的属性信息之间的对应关系。上述匹配可以为相似度满足预设相似度阈值；或相同。其中，预设相似度阈值可以由用户或变换形象的精度确定。
在本实现方式中，可以通过预置的属性信息集合中属性信息与虚拟偶像的属性信息和/或标准对象的属性信息之间的匹配结果，来实现对目标形象变换模式的确定。
在本实施例的一些可选的实现方式中，获取虚拟偶像的属性信息，以及标准对象的属性信息，包括：获取虚拟偶像的三维形变模型参数，从三维形变模型参数中提取出虚拟偶像的属性信息；以及获取标准对象的三维形变模型参数，从三维形变模型参数中提取出标准对象的属性信息。
在本实现方式中，上述执行主体可以从获取的虚拟偶像的人脸的三维形变模型(3D Morphable Model，3DMM)参数中提取出虚拟偶像的人脸的属性信息，以及从获取的标准对象的3DMM参数中提取出标准对象的属性信息。
在本实现方式中，可以基于获取的三维形变模型参数实现对虚拟偶像的属性信息和标准对象的属性信息的获取。
在本实施例的一些可选的实现方式中，获取虚拟偶像的属性信息，以及标准对象的属性信息，包括：利用三维重建方法获取虚拟偶像的属性信息；以及，利用三维重建方法获取标准对象的属性信息。
在本实现方式中，属性信息可以包括以下至少一项：面部属性信息、发型属性信息、场景(或背景)属性信息、装饰品属性信息、服饰属性信息、人数属性信息、生理属性信息。
在一个示例中，以面部属性信息为例，例如人脸属性信息。若属性信息包括人脸属性信息，获取虚拟偶像的属性信息可以包括：利用人脸三维重建方法获取虚拟偶像的人脸的三维形变模型参数，从三维形变模型参数中提取出虚拟偶像的人脸的属性信息。
在本实现方式中，可以基于三维重建方法实现对虚拟偶像的属性信息和标准对象的属性信息的获取。
在本实施例的一些可选的实现方式中，标准对象的属性信息或虚拟偶像的属性信息可以包括以下至少一项：面部属性信息、发型属性信息、场景属性信息、装饰品属性信息、服饰属性信息。
在本实现方式中，属性信息可以通过其的面部属性信息、发型属性信息、场景(或背景)属性信息、装饰品属性信息、服饰属性信息来体现。上述发型属性信息可以用于表征发型的属性信息，例如发式、颜色、长短等信息。场景属性信息可以用于表征场景相关的信息。装饰品属性信息可以用于表征与装饰品相关的信息，例如，款式、数量等信息。服饰属性信息可以用于表征与服饰相关的信息，例如，大小、颜色等。
在本实现方式中，可以基于多维的属性信息，实现对虚拟偶像的形象的多维变换。
在本实施例的一些可选的实现方式中，标准对象包括以下至少一项：目标影视人物、目标戏剧人物、目标卡通人物。
在本实现方式中，上述执行主体可以通过标准对象的属性信息所表征的类型信息来确定标准对象的类型。上述目标影视人物可以为影视资源中出现的人物形象。上述目标戏剧人物可以为戏剧中出现的人物形象，该戏剧人物还可以包括对应的脸谱面具。上述卡通人物可以为动画中出现的人物形象。
在一个示例中，以目标影视人物为例。
根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式为目标影视人物对应的目标形象变换模式；之后，基于目标影视人物对应的目标形象变换模式对应的融合模型，对虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
第一张图是虚拟偶像对应的实体对象的人脸，第二张图是影视人物“A”，第三张图是通过与目标影视人物对应的目标形象变换模式对应的融合模型进行融合得到，第三张图是在第一张图的基础上替换了眉毛、眼睛、鼻子、嘴巴四个部位，脸型保持沿用第一张图中的脸型轮廓。
需要说明的是，在实际融合的时候，还可以对眉毛、眼睛、鼻子、嘴巴之外的部分进行融合，例如，发型、耳朵、装饰品等进行融合。
在一个示例中，以目标戏剧人物为例。
在进行融合模型进行融合时，可以将标准对象的属性信息覆盖在虚拟偶像的属性信息处。例如，将标准对象的眼睛处的化妆直接覆盖在虚拟偶像的眼睛处，或，将标准对象的服饰直接覆盖在虚拟偶像的身体上。
需要说明的是，对于标准对象的角度如果与虚拟偶像的角度不同时，可以先将标准对象的角度进行调整，以使调整后的标准对象的角度与虚拟偶像的角度一样。例如，标准对象的脸部向上30度，则在融合的时候，可以先将标准对象的属性信息的角度调整与虚拟偶像的角度一致，之后，再进行融合。
在一个示例中，以目标卡通人物为例。
卡通人物可以为动画、游戏中的人物。在该卡通人物进行融合时，该变换虚拟偶像的形象的方法还可以包括：预先将虚拟偶像与实体对象的肌肉和骨骼进行绑定。
在本实现方式中，可以通过对标准对象的类型来实现对目标形象变换模式的确定。
进一步参考图3，图3示出了根据本公开的变换虚拟偶像的形象的方法的一个实施例的流程300。该变换虚拟偶像的形象的方法可以包括以下步骤：
步骤301，获取虚拟偶像的属性信息，以及标准对象的属性信息。
步骤302，获取预置的属性信息集合。
在本实施例中，确定变换虚拟偶像的形象的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)可以获取预置的属性信息集合。步骤301和步骤302可以同时执行，或分开执行。
步骤303，将虚拟偶像的属性信息和/或标准对象的属性信息与预置的属性信息集合进行匹配，得到匹配结果。
在本实施例中，上述执行主体可以将虚拟偶像的属性信息和/或标准对象的属性信息与预置的属性信息集合进行匹配，得到匹配结果。
步骤304，根据匹配结果，确定目标形象变换模式。
在本实施例中，上述执行主体可以根据匹配结果，确定目标形象变换模式。
步骤305，基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
在本实施例中，步骤301和305的具体操作分别已在图2所示的实施例中步骤201和203进行了详细的介绍，在此不再赘述。
从图3中可以看出，与图2对应的实施例相比，本实施例中的变换虚拟偶像的形象的突出了确定目标形象变换模式的步骤。由此，本实施例描述的方案将虚拟偶像的属性信息和标准对象的属性信息分别与预置的属性信息集合中的属性信息进行匹配，得到匹配结果；之后，根据匹配结果，得到目标形象变换模式。能够针对不同的匹配结果，得到目标形象变换模式，从而可以基于不同的目标形象变换模式对应的融合模型实现对虚拟偶像的形象变换。
在本实施例的一些可选的实现方式中，根据匹配结果，确定目标形象变换模式，包括：若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息匹配的第一属性信息，将第一属性信息对应的第一形象变换模式，确定为目标形象变换模式；若匹配结果包括预置的属性信息集合中与标准对象的属性信息匹配的第二属性信息，将第二属性信息对应的第二形象变换模式，确定为目标形象变换模式；若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息和标准对象的属性信息匹配的第三属性信息，将第三属性信息对应的第三形象变换模式，确定为目标形象变换模式。
在本实现方式中，上述匹配的可以为与属性信息的相似度满足预设的相似度阈值；或，虚拟偶像的属性信息与第一属性信息相同，或标准对象的属性信息与第二属性信息相同。
在本实现方式中，可以基于不同的目标形象变换模式对应的融合模型实现对虚拟偶像的形象变换。
进一步参考图4，图4示出了根据本公开的一种生成融合模型的方法一个实施例的流程400。该一种生成融合模型的方法可以包括以下步骤：
步骤401，获取训练样本，训练样本中包括：虚拟偶像的样本属性信息，以及标准对象的样本属性信息。
在本实施例中，生成融合模型的方法的执行主体(例如图1所示的终端设备101、102、103)可以采集其上产生的训练样本；或，执行主体(例如图1所示的服务器105)从终端设备(例如图1所示的终端设备101、102、103)获取训练样本。
步骤402，对虚拟偶像的样本属性信息，以及标准对象的样本属性信息进行融合，得到样本融合属性信息。
在本实施例中，上述执行主体可以先对虚拟偶像和标准对象进行融合，得到融合对象；之后，获取融合对象的属性信息，并将融合对象的属性信息作为样本融合属性信息。
以面部为例，针对训练样本中的虚拟偶像的面部图像，可利用人脸三维重建方法获取其中的虚拟偶像的面部属性信息。优选地，可首先利用人脸三维重建方法获取虚拟偶像的三维形变模型(3D Morphable Model，3DMM)参数，之后可从3DMM参数中提取出虚拟偶像的面部属性信息。其中，3DMM参数中的不同维度分别对应于虚拟偶像的身份、表情、姿态、光照、发型、服饰、装饰品等信息。
在一个示例中，以面部融合为例。
对虚拟偶像的样本属性信息和标准对象的样本属性信息进行融合，得到样本融合属性信息，可以包括：可以先对虚拟偶像的面部图像和标准对象的面部图像进行融合，得到融合面部图像；之后，获取融合面部图像的属性信息，并获取的属性信息作为样本融合属性信息。可选的，可利用基于生成对抗网络(Generative Adversarial Networks，GAN)的融合方法，对虚拟偶像的面部图像及标准对象的面部图像进行融合，从而得到融合面部图像。在实际应用中，可采用任意基于GAN的融合方法，例如面部人脸迁移(faceshifter)方法。
在本实施例中，融合技术通常需要保留一个形象的属性信息而融合另一个形象的属性信息。faceshifter方法中针对虚拟偶像的面部图像存在一个自编码器(autoencoder)属性重建网络，将属性重建网络的各个尺度的特征融合到标准对象的面部图像中。
步骤403，根据虚拟偶像的样本属性信息及样本融合属性信息构建属性一致性损失函数，利用属性一致性损失函数进行融合模型的自监督学习。
在本实现方式中，可分别获取虚拟偶像的样本属性信息以及样本融合属性信息，融合时希望这两个属性信息具有一致性，因此可根据虚拟偶像的样本属性信息及样本融合属性信息构建属性一致性损失函数，并可利用属性一致性损失函数进行融合模型的。
在一个示例中，可计算虚拟偶像的样本属性信息及样本融合属性信息的L2范数(L2-norm)，作为属性一致性损失函数，具体形式可为：||A-B||2，其中A和B分别表示虚拟偶像的样本属性信息及样本融合属性信息。
另外，还可结合属性一致性损失函数以及基于GAN的融合方法中的身份一致性损失函数来进行融合模型的自监督学习。比如，结合属性一致性损失函数以及faceshifter方法中的属性信息一致性损失函数来进行融合模型的自监督学习。
需要说明的是，通过上述方式保证了样本融合属性信息与虚拟偶像的样本属性信息的一致性。
在本实施例中，该生成融合模型的方法还可以包括：针对不同的形象变换模式，以基于不同形象变换模式对应的融合模型实现对虚拟偶像的形象的变换。
本公开实施例提供的生成融合模型的方法，可分别获取虚拟偶像的样本属性信息及样本融合属性信息，并可利用得到的属性信息构建属性一致性损失函数，利用属性一致性损失函数来指导模型的训练，从而提升了模型训练效果，进而提升了利用训练得到的模型进行融合时的融合效果，能够得到更为真实的融合形象，而且，针对训练得到的模型，给定任意虚拟偶像及目标对象，均可得到对应的融合结果，具有广泛适用性并具有较低的实现成本等。
在本实施例的一些可选的实现方式中，融合模型可以为生成式对抗网络模型。
具体地，对虚拟偶像的样本属性信息，以及标准对象的样本属性信息进行融合，得到样本融合属性信息，包括：将虚拟偶像的样本属性信息和标准对象的样本属性信息输入生成式对抗网络模型的生成器中，得到样本融合属性信息。
在本实现方式中，上述执行主体可以将标准对象的样本属性信息和虚拟偶像的样本属性信息输入生成式对抗网络模型的生成器中，实现对虚拟偶像的样本属性信息和标准对象的样本属性信息的融合，以得到样本融合属性信息。
根据虚拟偶像的样本属性信息及样本融合属性信息构建属性一致性损失函数，利用属性一致性损失函数进行融合模型的自监督学习，包括：将样本融合属性信息和标准对象的样本属性信息分别输入生成式对抗网络模型的判别器中，得到针对样本融合属性信息的第一判别结果和针对标准对象的样本属性信息的第二判别结果；根据第一判别结果、第二判别结果和样本融合属性信息，确定属性一致性损失函数；根据属性一致性损失函数，调整生成器的网络参数。
在本实现方式中，上述执行主体可以将生成式对抗网络模型的判别器，得到针对样本融合属性信息的第一判别结果，以及针对标准对象的样本融合属性信息的第二判别结果，以及样本融合属性信息，确定属性一致性损失函数，以实现对生成器的网络参数的调整。
在本实现方式中，上述执行主体可以利用基于生成式对抗网络(GenerativeAdversarial Networks，GAN)模型的融合方法，对虚拟偶像的样本属性信息及标准对象的样本属性信息进行人脸融合，从而得到融合结果。在实际应用中，可采用任意基于GAN的融合方法，如迁移(faceshifter)方法。
融合技术通常需要保留一个形象的属性信息而融合另一个形象的属性信息。faceshifter方法中针对虚拟偶像存在一个自编码器(autoencoder)属性重建网络，将属性重建网络的各个尺度的特征融合到标准对象的样本属性信息中。
在本实现方式中，采用基于GAN的融合方法，可得到较好的融合效果，从而方便了后续处理。
进一步参考图5，图5是根据本公开的变换虚拟偶像的形象的方法的一个应用场景的示意图500。在该应用场景中，以人脸为示例，终端设备501可以用于获取实体对象的虚拟偶像；之后，获取该虚拟偶像的人脸属性信息和标准对象的人脸属性信息；之后，将根据虚拟偶像的人脸属性信息和/或标准对象的人脸属性信息，确定目标形象变换模式；之后，基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果；之后，通过网络502发送至终端设备503，由终端设备503的用户观看终端设备501的实体对象(即用户)的直播。
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种变换虚拟偶像的形象的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的变换虚拟偶像的形象的装置600可以包括：信息获取单元601、模式确定单元602和信息融合单元603。其中，信息获取单元601，被配置成获取虚拟偶像的属性信息，以及标准对象的属性信息；模式确定单元602，被配置成根据虚拟偶像的属性信息和/或标准对象的属性信息，确定目标形象变换模式；信息融合单元603，被配置成基于目标形象变换模式对应的融合模型，将虚拟偶像的属性信息和标准对象的属性信息进行融合，得到融合结果。
在本实施例中，变换虚拟偶像的形象的装置600中：信息获取单元601、模式确定单元602和信息融合单元603的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，模式确定单元602，包括：信息获取子单元，被配置成获取预置的属性信息集合；结果得到子单元，被配置成将虚拟偶像的属性信息和/或标准对象的属性信息与预置的属性信息集合进行匹配，得到匹配结果；模式确定子单元，被配置成根据匹配结果，确定目标形象变换模式。
在本实施例的一些可选的实现方式中，模式确定子单元，进一步被配置成：若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息和标准对象的属性信息同时匹配的第三属性信息，将第三属性信息对应的第三形象变换模式，确定为目标形象变换模式。
在本实施例的一些可选的实现方式中，若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息匹配的第一属性信息，或与标准对象的属性信息匹配的第二属性信息；信息获取单元601，进一步被配置成获取针对形象变换模式的用户偏好信息；模式确定子单元，进一步被配置成：若第一属性信息对应的第一形象变换模式或第二属性信息对应的第二形象变换模式的数量为多个，根据用户偏好信息，从第一形象变换模式或第二形象变换模式中，确定目标形象变换模式。
在本实施例的一些可选的实现方式中，模式确定子单元，进一步被配置成：若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息匹配的第一属性信息，将第一属性信息对应的第一形象变换模式，确定为目标形象变换模式；若匹配结果包括预置的属性信息集合中与标准对象的属性信息匹配的第二属性信息，将第二属性信息对应的第二形象变换模式，确定为目标形象变换模式；若匹配结果包括预置的属性信息集合中与虚拟偶像的属性信息和标准对象的属性信息匹配的第三属性信息，将第三属性信息对应的第三形象变换模式，确定为目标形象变换模式。
在本实施例的一些可选的实现方式中，信息获取单元601，进一步配置成：获取虚拟偶像的三维形变模型参数，从三维形变模型参数中提取出虚拟偶像的属性信息；以及获取标准对象的三维形变模型参数，从三维形变模型参数中提取出标准对象的属性信息。
在本实施例的一些可选的实现方式中，信息获取单元601，进一步配置成：利用三维重建装置获取虚拟偶像的属性信息；以及，利用三维重建装置获取标准对象的属性信息。
在本实施例的一些可选的实现方式中，标准对象包括以下至少一项：目标影视人物、目标戏剧人物、目标卡通人物。
在本实施例的一些可选的实现方式中，该变换虚拟偶像的形象的装置还包括：样本获取单元，被配置成获取训练样本，训练样本中包括：虚拟偶像的样本属性信息，以及标准对象的样本属性信息；信息得到单元，被配置成对虚拟偶像的样本属性信息，以及标准对象的样本属性信息进行融合，得到样本融合属性信息；模型训练单元，被配置成根据虚拟偶像的样本属性信息及样本融合属性信息构建属性一致性损失函数，利用属性一致性损失函数进行融合模型的自监督学习。
在本实施例的一些可选的实现方式中，融合模型为生成式对抗网络模型；
信息得到单元，进一步被配置成：将虚拟偶像的样本属性信息和标准对象的样本属性信息输入生成式对抗网络模型的生成器中，得到样本融合属性信息；
模型训练单元，进一步被配置成：将样本融合属性信息和标准对象的样本属性信息分别输入生成式对抗网络模型的判别器中，得到针对样本融合属性信息的第一判别结果和针对标准对象的样本属性信息的第二判别结果；根据第一判别结果、第二判别结果和样本融合属性信息，确定属性一致性损失函数；根据属性一致性损失函数，调整生成器的网络参数。
在本实施例的一些可选的实现方式中，标准对象的属性信息或虚拟偶像的属性信息包括以下至少一项：面部属性信息、发型属性信息、场景属性信息、装饰品属性信息、服饰属性信息。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如变换虚拟偶像的形象的方法。例如，在一些实施例中，变换虚拟偶像的形象的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的变换虚拟偶像的形象的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行变换虚拟偶像的形象的方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提及的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (19)
1.一种变换虚拟偶像的形象的方法，包括：
获取虚拟偶像的属性信息，以及标准对象的属性信息；
根据所述虚拟偶像的属性信息和/或所述标准对象的属性信息，确定目标形象变换模式；
基于所述目标形象变换模式对应的融合模型，将所述虚拟偶像的属性信息和所述标准对象的属性信息进行融合，得到融合结果。
2.根据权利要求1所述的方法，其中，所述根据所述虚拟偶像的属性信息和/或所述标准对象的属性信息，确定目标形象变换模式，包括：
获取预置的属性信息集合；
将所述虚拟偶像的属性信息和/或所述标准对象的属性信息与所述预置的属性信息集合进行匹配，得到匹配结果；
根据所述匹配结果，确定所述目标形象变换模式。
3.根据权利要求2所述的方法，其中，所述根据所述匹配结果，确定所述目标形象变换模式，包括：
若所述匹配结果包括所述预置的属性信息集合中与所述虚拟偶像的属性信息和所述标准对象的属性信息同时匹配的第三属性信息，将所述第三属性信息对应的第三形象变换模式，确定为所述目标形象变换模式。
4.根据权利要求2所述的方法，其中，若所述匹配结果包括所述预置的属性信息集合中与所述虚拟偶像的属性信息匹配的第一属性信息，或与所述标准对象的属性信息匹配的第二属性信息；以及
所述方法还包括：
获取针对形象变换模式的用户偏好信息；
所述根据所述匹配结果，确定所述目标形象变换模式，包括：
若所述第一属性信息对应的第一形象变换模式或所述第二属性信息对应的第二形象变换模式的数量为多个，根据所述用户偏好信息，从所述第一形象变换模式或所述第二形象变换模式中，确定所述目标形象变换模式。
5.根据权利要求1-4任一项所述的方法，其中，所述获取虚拟偶像的属性信息，以及标准对象的属性信息，包括：
获取所述虚拟偶像的三维形变模型参数，从所述三维形变模型参数中提取出所述虚拟偶像的属性信息；以及
获取所述标准对象的三维形变模型参数，从所述三维形变模型参数中提取出所述标准对象的属性信息。
6.根据权利要求1所述的方法，其中，所述融合模型基于以下步骤确定：
获取训练样本，所述训练样本中包括：虚拟偶像的样本属性信息，以及标准对象的样本属性信息；
对所述虚拟偶像的样本属性信息，以及标准对象的样本属性信息进行融合，得到样本融合属性信息；
根据所述虚拟偶像的样本属性信息及所述样本融合属性信息构建属性一致性损失函数，利用所述属性一致性损失函数进行所述融合模型的自监督学习。
7.根据权利要求6所述的方法，其中，若所述融合模型为生成式对抗网络模型；以及
所述对所述虚拟偶像的样本属性信息，以及标准对象的样本属性信息进行融合，得到样本融合属性信息，包括：
将所述虚拟偶像的样本属性信息和所述标准对象的样本属性信息输入所述生成式对抗网络模型的生成器中，得到所述样本融合属性信息；
所述根据所述虚拟偶像的样本属性信息及所述样本融合属性信息构建属性一致性损失函数，利用所述属性一致性损失函数进行所述融合模型的自监督学习，包括：
将所述样本融合属性信息和所述标准对象的样本属性信息分别输入所述生成式对抗网络模型的判别器中，得到针对所述样本融合属性信息的第一判别结果和针对所述标准对象的样本属性信息的第二判别结果；
根据所述第一判别结果、所述第二判别结果和所述样本融合属性信息，确定所述属性一致性损失函数；
根据所述属性一致性损失函数，调整所述生成器的网络参数。
8.根据权利要求1-7任一项所述的方法，其中，属性信息包括以下至少一项：面部属性信息、发型属性信息、场景属性信息、装饰品属性信息、服饰属性信息。
9.一种变换虚拟偶像的形象的装置，包括：
信息获取单元，被配置成获取虚拟偶像的属性信息，以及标准对象的属性信息；
模式确定单元，被配置成根据所述虚拟偶像的属性信息和/或所述标准对象的属性信息，确定目标形象变换模式；
信息融合单元，被配置成基于所述目标形象变换模式对应的融合模型，将所述虚拟偶像的属性信息和所述标准对象的属性信息进行融合，得到融合结果。
10.根据权利要求9所述的装置，其中，所述模式确定单元，包括：
信息获取子单元，被配置成获取预置的属性信息集合；
结果得到子单元，被配置成将所述虚拟偶像的属性信息和/或所述标准对象的属性信息与所述预置的属性信息集合进行匹配，得到匹配结果；
模式确定子单元，被配置成根据所述匹配结果，确定所述目标形象变换模式。
11.根据权利要求10所述的装置，其中，所述模式确定子单元，进一步被配置成：
若所述匹配结果包括所述预置的属性信息集合中与所述虚拟偶像的属性信息和所述标准对象的属性信息同时匹配的第三属性信息，将所述第三属性信息对应的第三形象变换模式，确定为所述目标形象变换模式。
12.根据权利要求10所述的装置，若所述匹配结果包括所述预置的属性信息集合中与所述虚拟偶像的属性信息匹配的第一属性信息，或与所述标准对象的属性信息匹配的第二属性信息；以及
所述信息获取单元，进一步被配置成：获取针对形象变换模式的用户偏好信息；
所述模式确定子单元，进一步被配置成：若所述第一属性信息对应的第一形象变换模式或所述第二属性信息对应的第二形象变换模式的数量为多个，根据所述用户偏好信息，从所述第一形象变换模式或所述第二形象变换模式中，确定所述目标形象变换模式。
13.根据权利要求9-12任一项所述的装置，其中，所述信息获取单元，进一步配置成：
获取所述虚拟偶像的三维形变模型参数，从所述三维形变模型参数中提取出所述虚拟偶像的属性信息；以及
获取所述标准对象的三维形变模型参数，从所述三维形变模型参数中提取出所述标准对象的属性信息。
14.根据权利要求9所述的装置，所述装置还包括：
样本获取单元，被配置成获取训练样本，所述训练样本中包括：虚拟偶像的样本属性信息，以及标准对象的样本属性信息；
信息得到单元，被配置成对所述虚拟偶像的样本属性信息，以及标准对象的样本属性信息进行融合，得到样本融合属性信息；
模型训练单元，被配置成根据所述虚拟偶像的样本属性信息及所述样本融合属性信息构建属性一致性损失函数，利用所述属性一致性损失函数进行所述融合模型的自监督学习。
15.根据权利要求14所述的装置，其中，所述融合模型为生成式对抗网络模型；以及
所述信息得到单元，进一步被配置成：将所述虚拟偶像的样本属性信息和所述标准对象的样本属性信息输入所述生成式对抗网络模型的生成器中，得到所述样本融合属性信息；
所述模型训练单元，进一步被配置成：将所述样本融合属性信息和所述标准对象的样本属性信息分别输入所述生成式对抗网络模型的判别器中，得到针对所述样本融合属性信息的第一判别结果和针对所述标准对象的样本属性信息的第二判别结果；根据所述第一判别结果、所述第二判别结果和所述样本融合属性信息，确定所述属性一致性损失函数；根据所述属性一致性损失函数，调整所述生成器的网络参数。
16.根据权利要求9-15任一项所述的装置，其中，所述属性信息包括以下至少一项：面部属性信息、发型属性信息、场景属性信息、装饰品属性信息、服饰属性信息。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110585489.3A CN113362263B (zh) | 2021-05-27 | 2021-05-27 | 变换虚拟偶像的形象的方法、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110585489.3A CN113362263B (zh) | 2021-05-27 | 2021-05-27 | 变换虚拟偶像的形象的方法、设备、介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113362263A true CN113362263A (zh) | 2021-09-07 |
| CN113362263B CN113362263B (zh) | 2023-09-15 |
Family
ID=77527906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110585489.3A Active CN113362263B (zh) | 2021-05-27 | 2021-05-27 | 变换虚拟偶像的形象的方法、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362263B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113769393A (zh) * | 2021-09-27 | 2021-12-10 | 上海完美时空软件有限公司 | 角色形象的生成方法及装置、存储介质、电子装置 |
| CN114187392A (zh) * | 2021-10-29 | 2022-03-15 | 北京百度网讯科技有限公司 | 虚拟偶像的生成方法、装置和电子设备 |
| CN115222895A (zh) * | 2022-08-30 | 2022-10-21 | 北京百度网讯科技有限公司 | 图像生成方法、装置、设备以及存储介质 |
| WO2023051238A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 动物形象的生成方法、装置、设备及存储介质 |
| CN116030150A (zh) * | 2023-01-03 | 2023-04-28 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、电子设备和介质 |
| TWI821876B (zh) * | 2022-01-21 | 2023-11-11 | 在地實驗文化事業有限公司 | 機動式智慧型擴增實境直播裝置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020150308A1 (en) * | 2001-03-29 | 2002-10-17 | Kenji Nakamura | Image processing method, and an apparatus provided with an image processing function |
| CN101382931A (zh) * | 2008-10-17 | 2009-03-11 | 劳英杰 | 一种用于电子、信息及通信***的交换内码及其应用 |
| CN105556508A (zh) * | 2013-08-04 | 2016-05-04 | 艾斯适配有限公司 | 虚拟镜子的装置、***和方法 |
| CN108388399A (zh) * | 2018-01-12 | 2018-08-10 | 北京光年无限科技有限公司 | 虚拟偶像的状态管理方法及*** |
| CN108833810A (zh) * | 2018-06-21 | 2018-11-16 | 珠海金山网络游戏科技有限公司 | 一种三维虚拟偶像直播中实时生成字幕的方法及装置 |
| CN108961367A (zh) * | 2018-06-21 | 2018-12-07 | 珠海金山网络游戏科技有限公司 | 三维虚拟偶像直播中角色形象变形的方法、***及装置 |
| CN111860167A (zh) * | 2020-06-18 | 2020-10-30 | 北京百度网讯科技有限公司 | 人脸融合模型获取及人脸融合方法、装置及存储介质 |
| CN112489174A (zh) * | 2020-12-25 | 2021-03-12 | 游艺星际(北京)科技有限公司 | 虚拟形象模型的动作显示方法、装置电子设备及存储介质 |
-
2021
- 2021-05-27 CN CN202110585489.3A patent/CN113362263B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020150308A1 (en) * | 2001-03-29 | 2002-10-17 | Kenji Nakamura | Image processing method, and an apparatus provided with an image processing function |
| CN101382931A (zh) * | 2008-10-17 | 2009-03-11 | 劳英杰 | 一种用于电子、信息及通信***的交换内码及其应用 |
| CN105556508A (zh) * | 2013-08-04 | 2016-05-04 | 艾斯适配有限公司 | 虚拟镜子的装置、***和方法 |
| CN108388399A (zh) * | 2018-01-12 | 2018-08-10 | 北京光年无限科技有限公司 | 虚拟偶像的状态管理方法及*** |
| CN108833810A (zh) * | 2018-06-21 | 2018-11-16 | 珠海金山网络游戏科技有限公司 | 一种三维虚拟偶像直播中实时生成字幕的方法及装置 |
| CN108961367A (zh) * | 2018-06-21 | 2018-12-07 | 珠海金山网络游戏科技有限公司 | 三维虚拟偶像直播中角色形象变形的方法、***及装置 |
| CN111860167A (zh) * | 2020-06-18 | 2020-10-30 | 北京百度网讯科技有限公司 | 人脸融合模型获取及人脸融合方法、装置及存储介质 |
| CN112489174A (zh) * | 2020-12-25 | 2021-03-12 | 游艺星际(北京)科技有限公司 | 虚拟形象模型的动作显示方法、装置电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周超 等: "服装网购中三维虚拟试衣问题研究", 《服饰导刊》, no. 1, pages 41 - 45 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113769393A (zh) * | 2021-09-27 | 2021-12-10 | 上海完美时空软件有限公司 | 角色形象的生成方法及装置、存储介质、电子装置 |
| WO2023051238A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 动物形象的生成方法、装置、设备及存储介质 |
| CN114187392A (zh) * | 2021-10-29 | 2022-03-15 | 北京百度网讯科技有限公司 | 虚拟偶像的生成方法、装置和电子设备 |
| CN114187392B (zh) * | 2021-10-29 | 2024-04-19 | 北京百度网讯科技有限公司 | 虚拟偶像的生成方法、装置和电子设备 |
| TWI821876B (zh) * | 2022-01-21 | 2023-11-11 | 在地實驗文化事業有限公司 | 機動式智慧型擴增實境直播裝置 |
| CN115222895A (zh) * | 2022-08-30 | 2022-10-21 | 北京百度网讯科技有限公司 | 图像生成方法、装置、设备以及存储介质 |
| CN116030150A (zh) * | 2023-01-03 | 2023-04-28 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、电子设备和介质 |
| CN116030150B (zh) * | 2023-01-03 | 2023-11-28 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113362263B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695471B (zh) | 虚拟形象生成方法、装置、设备以及存储介质 | |
| CN111652828B (zh) | 人脸图像生成方法、装置、设备和介质 | |
| CN112541963B (zh) | 三维虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| US20220004765A1 (en) | Image processing method and apparatus, and storage medium | |
| CN111833418B (zh) | 动画交互方法、装置、设备以及存储介质 | |
| US20210174072A1 (en) | Microexpression-based image recognition method and apparatus, and related device | |
| CN110688948B (zh) | 视频中人脸性别变换方法、装置、电子设备和存储介质 | |
| CN113287118A (zh) | 用于面部再现的***和方法 | |
| KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
| WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
| CN113129450A (zh) | 虚拟试衣方法、装置、电子设备和介质 | |
| CN114723888B (zh) | 三维发丝模型生成方法、装置、设备、存储介质及产品 | |
| CN110148191A (zh) | 视频虚拟表情生成方法、装置及计算机可读存储介质 | |
| CN114549710A (zh) | 一种虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN112562045B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
| CN114187392B (zh) | 虚拟偶像的生成方法、装置和电子设备 | |
| CN112634413B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
| CN114222076A (zh) | 一种换脸视频生成方法、装置、设备以及存储介质 | |
| CN112116548A (zh) | 人脸图像的合成方法、装置 | |
| CN111597926A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN113327311B (zh) | 基于虚拟角色的显示方法、装置、设备、存储介质 | |
| CN114120412B (zh) | 图像处理方法和装置 | |
| CN113223128B (zh) | 用于生成图像的方法和装置 | |
| CN114648601A (zh) | 虚拟形象的生成方法、电子设备、程序产品及用户终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |