CN112116589A - 虚拟形象的评测方法、装置、设备及计算机可读存储介质 - Google Patents

虚拟形象的评测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112116589A
CN112116589A CN202011060263.3A CN202011060263A CN112116589A CN 112116589 A CN112116589 A CN 112116589A CN 202011060263 A CN202011060263 A CN 202011060263A CN 112116589 A CN112116589 A CN 112116589A
Authority
CN
China
Prior art keywords
image
score
training
network model
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011060263.3A
Other languages
English (en)
Other versions
CN112116589B (zh
Inventor
卢建东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011060263.3A priority Critical patent/CN112116589B/zh
Publication of CN112116589A publication Critical patent/CN112116589A/zh
Application granted granted Critical
Publication of CN112116589B publication Critical patent/CN112116589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种虚拟形象的评测方法、装置、设备及计算机可读存储介质，其中，该方法包括：获取待评测的至少一个形象图像，该至少一个形象图像对应同一个虚拟形象；将该至少一个形象图像输入至训练好的神经网络模型，得到该虚拟形象的形象评测得分；该神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对该训练图像进行失真处理得到的失真图像；输出该虚拟形象的形象评测得分。通过本申请，能够实现对虚拟形象的精准评测。

Description

虚拟形象的评测方法、装置、设备及计算机可读存储介质
技术领域
本申请实施例涉及技术领域，涉及但不限于一种虚拟形象的评测方法、装置、设备及计算机可读存储介质。
背景技术
在游戏、漫画或者动画中虚拟角色的外形设计在很大程度上会影响游戏、漫画或者动画的吸引力。酷炫、美观的外形设计更能激发人们玩游戏或者观看动画片、漫画的兴趣，从而能够扩大游戏、漫画或者动画片的用户人群。目前，在角色设计师设计好虚拟角色后，一般是人为对虚拟角色的外形设计进行评测。但是不同人的审美倾向是有差异的，不能保证评测人员的审美能契合大众的喜好，从而影响游戏、漫画或动画对用户的吸引力。
发明内容
本申请实施例提供一种虚拟形象的评测方法、装置、设备及计算机可读存储介质，能够实现对虚拟形象的精准评测。。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种虚拟形象的评测方法，包括：
获取待评测的至少一个形象图像，该至少一个形象图像对应同一个虚拟形象；
将该至少一个形象图像输入至训练好的神经网络模型，得到该虚拟形象的评测得分；
该神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对该训练图像进行失真处理得到的失真图像；
输出该虚拟形象的评测得分。
本申请实施例提供一种虚拟形象的评测装置，包括：
第一获取模块，用于获取待评测的至少一个形象图像，该至少一个形象图像对应同一个虚拟形象；
预测模块，用于将该至少一个形象图像输入至训练好的神经网络模型，得到该虚拟形象的形象评测得分；
该神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对该训练图像进行失真处理得到的失真图像；
第一输出模块，用于输出该虚拟形象的形象评测得分。
在一些实施例中，该装置还包括：
第二获取模块，用于获取虚拟形象的多个训练图像和该多个训练图像对应形象得分；
失真处理模块，用于对该多个训练图像分别进行失真处理，得到该多个训练图像对应的多个失真图像；
模型训练模块，用于基于该多个训练图像、该形象得分和该多个失真图像，对预设的神经网络模型进行训练，得到训练好的神经网络模型。
在一些实施例中，该装置还包括：
第三获取模块，用于获取各个训练图像对应的销售信息，该销售信息至少包括销售价格和销量；
第四获取模块，用于获取各个训练图像的标注分数；
加权处理模块，用于将各个训练图像的销售价格、销量和标注分数进行加权平均处理，得到各个训练图像的形象得分。
在一些实施例中，该失真处理模块，还用于：
从各个训练图像中确定出至少一个候选区域；
从该至少一个候选区域中确定目标区域；
将该目标区域中像素点的像素值置为预设像素值，得到各个训练图像对应的失真图像。
在一些实施例中，该神经网络模型包括第一子网络模型和第二子网络模型，对应地，该模型训练模块，还用于：
将各个训练图像依次输入该第一子网络模型，得到各个训练图像的第一预测得分；
将各个训练图像对应的至少一个失真图像依次输入该第二子网络模型，得到各个失真图像的第二预测得分；
利用该第一预测得分、第二预测得分和该形象得分对该神经网络模型进行反向传播训练，以对该神经网络模型的参数进行调整，以得到训练好的神经网络模型。
在一些实施例中，该模型训练模块，还用于：
基于该第一预测得分和第二预测得分，确定训练图像和该训练图像对应的失真图像之间的第一得分差值；
基于该第一预测得分和该形象得分，确定第二得分差值；
将该第一得分差值和该第二得分差值反向传播至该神经网络模型，
并利用第一损失函数和第二损失函数对该神经网络模型进行联合训练，以对该神经网络模型的参数进行调整，得到训练好的神经网络模型；
该第一损失函数用于约束第一预测得分高于第二预测得分，该第二损失函数用于约束第二得分差值小于差值阈值。
在一些实施例中，该模型训练模块，还用于：
确定第一目标训练图像和第二目标训练图像，该第一目标训练图像的形象得分高于该第二目标训练图像的形象得分；
获取该第一目标训练图像的第一预测得分、该第一目标训练图像对应的第一失真图像的第二预测得分，并获取该第二目标训练图像的第一预测得分和该第二目标训练图像对应的失真图像的第二预测得分；
利用该第一目标训练图像的第一预测得分、该第一目标训练图像的形象得分、该第一失真图像的第二预测得分、该第二目标训练图像的第一预测得分、该第二目标训练图像的形象得分和该第二失真图像的第二预测得分，以及第一损失函数和第二损失函数对该神经网络模型进行联合训练，以对该神经网络模型的参数进行调整，得到训练好的神经网络模型；
该第一损失函数用于约束该第一失真图像的第二预测得分高于该第二失真图像的第二预测得分，且第一目标训练图像的第一预测得分高于第一失真图像的第二预测得分，且该第二目标训练图像的第一预测得分高于第二失真图像的第二预测得分。
在一些实施例中，该第一获取模块，还用于：
获取该虚拟形象的形象设计数据；
基于该形象设计数据，获取该虚拟形象处于不同姿态时的至少一个形象图像。
在一些实施例中，该预测模块还用于：
将该至少一个形象图像输入至训练好的神经网络模型，得到各个形象图像的评测得分；
基于各个形象图像的评测得分，确定该虚拟形象的形象评测得分。
在一些实施例中，该装置还包括：
第二输出模块，用于确定该虚拟形象的形象评测得分低于预设的得分阈值时，输出第一提示信息，
该第一提示信息用于提示需要对该虚拟形象的形象进行优化。
本申请实施例提供一种虚拟形象的评测设备，包括：
存储器，用于存储可执行指令；处理器，用于执行该存储器中存储的可执行指令时，实现上述的方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的方法。
本申请实施例具有以下有益效果：
在获取到待评测的针对同一个虚拟形象的至少一个形象图像之后，将该至少一个形象图像输入至训练好的神经网络模型，得到该虚拟形象的形象评测得分，并输出该虚拟形象的形象评测得分，在本申请实施例中该神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对该训练图像进行失真处理得到的失真图像，并且是基于至少一个形象图像进行形象评测，如此能够成倍地扩充神经网络模型的训练集图像和测试集图像，从而不仅能够抑制网络模型的过拟合趋势，并且通过扩展训练集图像的多样性提高形象评测的准确度。
附图说明
图1是相关技术中利用SER-FIQ方法进行皮肤评测时的网络模型示意图；
图2为本申请实施例提供的虚拟形象的形象评测***20的网络架构示意图；
图3为本申请实施例提供的评测服务器300的结构示意图；
图4为本申请实施例提供的虚拟形象的评测方法的一种实现流程示意图；
图5A为本申请实施例提供的对神经网络模型进行参数调整的一种实现流程示意图；
图5B为本申请实施例提供的对神经网络模型进行参数调整的另一种实现流程示意图；
图6为本申请实施例提供的虚拟形象的评测方法的另一种实现流程示意图；
图7为本申请实施例收集到的皮肤图像的示意图；
图8为本申请实施例生成的失真皮肤图像示意图；
图9为本申请实施例提供的神经网络模型的训练过程示意图；
图10为本申请实施例提供的利用皮肤美观度评测***进行皮肤评测的实现过程示意图；
图11为本申请实施例提供的利用皮肤美观度评测***进行评测的界面示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)孪生神经网络，包括两个子网络，并且两个子网络的网络结构和参数都是相同的，孪生神经网络以两个样本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度。
2)损失函数(Loss Function)，又称为代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计，是机器学习模型的优化目标。
为了更好地理解本申请实施例中提供的虚拟角色的外形评测方法，首先对相关技术中的虚拟角色的形象评测方法进行说明：
相关技术中，在进行虚拟角色的形象评测时，一般是对虚拟角色的皮肤美观度进行评测，在实现时参考人脸图像质量的方法，比如无监督的人脸质量评估(SER-FIQ，Unsupervised Estimation of Face Image Quality)方法。SER-FIQ方法首先使用已训练的人脸识别模型来对人脸图像进行编码，然后在中间层采用m个不同的Dropout模式来生成m个子网络。其中，子网络结构图如图1所示：
由于不同的子网络会生成不同随机人脸特征xs，因此人脸图像I的随机嵌入特征表示为一个集合X(I)＝{xs}s∈{1,2,...,m}。人脸图像质量分数可以通过公式(1-1)确定：
Figure BDA0002712124950000071
其中，d(xi，xj)为特征xi和xj之间的欧式距离。sigmoid函数σ(·)确保质量分数q∈[0,1]。
上述技术方案在实现时是基于随机嵌入特征的鲁棒性与人脸图像质量之间的关系。增加随机子网络的数目会造成模型的计算量大大增加，反之，则会明显地降低预测的精确度。同时，由于SER-FIQ方法是利用预训练的人脸识别模型来提取特征和计算特征距离，而皮肤图像与人脸图像的分布差异比较大，所以该方法不能够直接用于虚拟角色的外形设计的美观度预测。
基于此，在本申请实施例中提供一种虚拟角色的外形评测方法，该方法不同于SER-FIQ方法，在实现时基于成对排序的皮肤美观度评测方法能够直接使用皮肤图像进行模型训练。其次，原始的英雄皮肤图像的美观度分数应该比失真的英雄皮肤图像要高，所以用这个先验信息来约束皮肤美观特征的学习。最后，使用随机区域擦除的方法来生成大量的失真皮肤图像，这样能够很好地缓解训练样本不足的问题。
下面说明本申请实施例提供的虚拟形象的评测设备的示例性应用，本申请实施例提供的虚拟形象的评测设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)、智能机器人等终端，也可以实施为服务器。下面，将说明虚拟形象的评测设备实施为服务器时的示例性应用。
参见图2，图2为本申请实施例提供的虚拟形象的形象评测***20的网络架构示意图。如图2所示，虚拟形象的形象评测***20中包括设计终端100、网络200、评测服务器300、业务服务器400和用户终端500。其中，设计终端100上运行有应用程序，在实现本申请实施例的虚拟形象的评测方法时，虚拟角色的形象设计师通过设计终端100对虚拟角色的形象进行设计，进一步地，可以对肤色、衣物、装饰、装备等进行设计。在完成对虚拟角色的形象设计得到形象图像后，设计终端100响应于评测指令，将待评测的形象图像发送至评测服务器300，由评测服务器300利用训练好的神经网络模型对该形象图像进行评测，并得到美观度评测得分，评测服务器300将得到的美观度评测得分返回给设计终端100，以由形象设计师根据美观度评测得分确定是对形象图像进行优化，还是确认设计定稿。在确定设计定稿时，可以通过设计终端100将虚拟角色的形象设计数据发送至业务服务器400，并且在发送形象设计数据时，还可以同时发送虚拟形象的形象评测得分，以使得业务服务器400根据虚拟形象的形象评测得分，确定虚拟形象的推荐顺序，并基于该推荐顺序，向用户终端500推荐各个虚拟形象。
评测服务器300可以是专门进行形象评测的服务器，还可以是与业务服务器为同一服务器，例如可以是虚拟形象对应的游戏服务器、视频服务器等等。
在一些实施例中，基于图2的网络架构，还可以是评测服务器300基于收集到的带标注的原始图像和失真图像，确定训练图像，并利用训练图像对初始的神经网络模型进行训练，得到训练好的神经网络模型，进而评测服务器300将训练好的神经网络模型发送给设计终端100。设计终端100在完成对虚拟角色的形象设计得到形象图像后，响应于评测指令，利用训练好的神经网络模型对待评测的形象图像进行评测，得到并输出美观度评测得分。形象设计师根据美观度评测得分确定是对形象图像进行优化，还是确认设计定稿。
在本申请实施例中，该评测服务器300可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一些实施例中，还可以是设计终端获取训练图像和失真图像，确定训练图像，并利用训练图像对初始的神经网络模型进行训练，得到训练好的神经网络模型。设计终端100在完成对虚拟角色的形象设计得到形象图像后，响应于评测指令，利用训练好的神经网络模型对待评测的形象图像进行评测，得到并输出美观度评测得分。形象设计师根据美观度评测得分确定是对形象图像进行优化，还是确认设计定稿。
参见图3，图3是本申请实施例提供的评测服务器300的结构示意图，图3所示的评测服务器300包括：至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。评测服务器300中的各个组件通过总线***340耦合在一起。可理解，总线***340用于实现这些组件之间的连接通信。总线***340除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线***340。
处理器310可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口330还包括一个或多个输入装置332，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器350可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。存储器350包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器350旨在包括任意适合类型的存储器。在一些实施例中，存储器350能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作***351，包括用于处理各种基本***服务和执行硬件相关任务的***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块352，用于经由一个或多个(有线或无线)网络接口320到达其他计算设备，示例性的网络接口320包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
输入处理模块353，用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图3示出了存储在存储器350中的一种虚拟形象的评测装置354，该虚拟形象的评测装置354可以是评测服务器300中的虚拟形象的评测装置，其可以是程序和插件等形式的软件，包括以下软件模块：第一获取模块3541、预测模块3542和第一输出模块3543，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的虚拟形象的评测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。
下面将结合本申请实施例提供的评测服务器300的示例性应用和实施，说明本申请实施例提供的虚拟形象的评测方法。
为了更好地理解本申请实施例提供的方法，首先对人工智能、人工智能的各个分支，以及本申请实施例提供的方法所涉及的应用领域进行说明。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的方案主要涉及人工智能的自然语言处理和机器学习技术，以下对这两项技术分别进行说明。
机器学习(ML，Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
参见图4，图4为本申请实施例提供的虚拟形象的评测方法的一种流程示意图，应用于虚拟形象的评测设备，该形象评测设备可以是服务器，还可以是设计终端。在本申请实施例中，以形象评测设备为服务器为例，结合图4示出的步骤对虚拟形象的评测方法进行说明。
步骤S101，获取待评测的至少一个形象图像。
这里，该至少一个形象图像对应同一个虚拟形象，并且该至少一个形象图像对应同一虚拟对象的同一虚拟形象。该虚拟对象可以是游戏中的虚拟角色，还可以是动画视频或者漫画中的虚拟角色；该形象图像可以包括虚拟对象的皮肤、发型、服饰、道具等。当获取到的是两张或者两张以上的形象图像时，不同形象图像中虚拟对象的姿态是不同的。
当形象设计师通过设计终端设计好虚拟对象的形象之后，可以将虚拟对象的形象数据发送至服务器，该形象数据可以是虚拟形象的三维形象模型。步骤S101在实现时，首先获取该虚拟形象的形象设计数据；然后再基于该形象设计数据，获取该虚拟形象处于不同姿态时的至少一个形象图像。
这里，虚拟形象的形象设计数据也即是虚拟形象的三维形象模型，“基于该形象设计数据，获取该虚拟形象处于不同姿态时的至少一个形象图像”在实现时可以是将改变三维形象模型的旋转角参数，以获取不同姿态的二维的形象图像。
例如，默认三维形象模型的初始旋转角为0度，此时面部正对外侧，截取当前三维形象模型的一个形象图像，然后再将三维形象模型的旋转角分别设置为60度、120度、240度、300度，并依次获取三维形象模型的各个不同角度的形象图像。
步骤S102，将该至少一个形象图像输入至训练好的神经网络模型，得到该虚拟形象的形象评测得分。
在本申请实施例中，该神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对该训练图像进行失真处理得到的失真图像。其中，一个训练图像可以对应一个失真图像，还可以对应多张失真图像，这样就可以成倍增加训练图像集，另外还可以增加训练图像集的多样性。
步骤S102在实现时，可以是将至少一个形象图像输入至训练好的神经网络模型，对应得到各个形象图像的预测形象得分，然后再对各个形象图像的预测形象得分进行平均计算处理，得到该虚拟形象的形象评测得分，从而能够提高形象评测结果的稳定性。
步骤S103，输出该虚拟形象的形象评测得分。
这里，当该步骤是由服务器实现时，输出虚拟形象的形象评测得分，可以是由服务器将该虚拟形象的形象评测得分发送至设计终端，以在设计终端的显示装置中显示该虚拟形象的形象评测得分，或者由设计终端的语音输出设备输出该虚拟形象的形象评测得分，以使得形象设计师能够及时获取到形象评测结果。
在本申请实施例提供的虚拟形象的评测方法中，在获取到待评测的针对同一个虚拟形象的至少一个形象图像之后，将该至少一个形象图像输入至训练好的神经网络模型，得到该虚拟形象的形象评测得分，并输出该虚拟形象的形象评测得分，在本申请实施例中该神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对该训练图像进行失真处理得到的失真图像，并且是基于至少一个形象图像进行形象评测，如此能够成倍地扩充神经网络模型的训练集图像和测试集图像，从而不仅能够抑制网络模型的过拟合趋势，并且通过扩展训练集图像的多样性提高美观度评测的准确度。
在一些实施例中，在步骤S101之前，需要得到训练好的神经网络模型。在实际实现过程中，可以通过以下步骤实现神经网络的训练过程：
步骤S001，获取虚拟形象的多个训练图像和该多个训练图像对应形象得分。
这里，虚拟形象为网络游戏中的虚拟角色的形象时，并且一个虚拟对象可以有多种形象，不同的形象可以是皮肤不同、服饰不同，甚至可以是道具不同。虚拟形象的多个训练图像是从游戏服务器获取的，在步骤S001中获取的是多个虚拟形象的多个训练图像，并且每个虚拟形象对应有多个训练图像。例如，虚拟对象分别为吕布、小乔、貂蝉，吕布对应有形象A1、形象A2和形象A3，小乔对应有形象B1、形象B2，貂蝉对应都有形象C1和形象C2，此时从游戏服务器中分别获取吕布的形象A1、形象A2和形象A3的多个形象图像；小乔的形象B1和形象B2的多个形象图像；貂蝉的形象C1和形象C2的多个形象图像。
在步骤S001中，还需要获取多个训练图像对应的形象得分，该形象得分可以是根据该训练图像对应的形象的销售价格、销量以及人工标注的标注得分确定的。
步骤S002，对该多个训练图像分别进行失真处理，得到该多个训练图像对应的多个失真图像。
步骤S002在实现时，可以对各个训练图像分别进行一次或多次失真处理，得到一个或多个失真图像，也就是说，一个训练图像可以对应有一个或多个失真图像。例如，可以是对每个训练图像进行四次失真处理，也即每个训练图像对应有四个失真图像，这样训练图像集就可以增加至原始的训练图像的五倍。
步骤S003，基于该多个训练图像、该形象得分和该多个失真图像，对预设的神经网络模型进行训练，得到训练好的神经网络模型。
这里，该神经网络模型可以为孪生网络模型，也就是说该神经网络模型包括两个子网络模型，并且这两个子网络模型共用相同的模型参数，在训练时，将原始的训练图像输入到其中一个子网络模型，将失真图像输入至另一个子网络模型，并利用原始的训练图像的形象得分要高于失真图像的形象得分为约束条件，对神经网络模型的参数进行调整，得到训练好的神经网络模型。
在上述的步骤S001至步骤S003所在的实施例中，首先在获取到原始的完整的虚拟形象的训练图像后，通过对训练图像进行失真处理，得到对应的失真图像，并将失真图像也作为神经网络的训练数据，这样不仅能够成倍增加训练图像集的数量，另外失真图像不同于训练图像，因此还能够增加训练图像集的多样性，并且由于失真图像是对训练图像进行失真处理而得到的，因此理论上失真图像的评测得分是应该低于训练图像的评测得分的，可以基于该约束条件确定对比损失函数，对神经网络模型进行训练，从而能够提高训练好的神经网络模型在评测形象得分时的准确性。
在本申请实施例中，可以通过下述的步骤S0011至步骤S0013来确定各个训练图像的形象得分，以下结合各个步骤进行说明。
步骤S0011，获取各个训练图像对应的销售信息。
在本申请实施例中，各个训练图像对应的销售信息可以是从业务服务器获取的，并且该销售信息至少包括销售价格和销量。
各个训练图像对应的销售信息，也即各个训练图像对应的虚拟形象的销售信息。当多个不同的训练图像对应的是同一虚拟形象时，那么该多个不同的训练图像所对应的销售信息是相同的。例如，训练图像P1、P2、P3和P4都对应于吕布的形象A1，训练图像P1、P2、P3和P4所对应的销售信息是相同的，都是吕布的形象A1的销售信息，该销售信息可以是销售价格可以是50元，销量可以是3000。
步骤S0012，获取各个训练图像的标注分数。
这里，各个训练图像的标注分数，可以是人工标注的，并且同一虚拟形象不同角度的各个训练图像的标注分数是相同的，不同虚拟对象对应的各个训练图像的标注分数可以是相同的，也可以是不同的。在实际实现时，可以预先设定标注分数的取值范围，例如可以是0-100，其中，标注分数越高，表示虚拟形象越美观。
步骤S0013，将各个训练图像的销售价格、销量和标注分数进行加权平均处理，得到各个训练图像的形象得分。
这里，步骤S0013在实现时，可以首先将各个训练图像的销售价格、销量和标注分数进行最大最小值归一化处理，然后再将归一化处理后的销售价格、销量和标注分数进行加权平均，从而得到各个训练图像的形象得分。销售价格、销量和标注分数对应的权值可以是预先设置的，且满足三个权值的和为1，例如，可以是销售价格的权值为0.2，销量的权值可以为0.3，标注分数的权值可以为0.5。
由于同一虚拟形象的不同训练图像的销售价格、销量以及标注分数都是相同的，因此同一虚拟形象的不同训练图像的形象得分也就是相同的。
在上述步骤S0011至步骤S0013所在的实施例中，对训练图像对应的销售价格、销量以及标注分数进行了综合处理，从而确定出各个训练图像的形象得分，该形象得分能够反映虚拟形象的美观度，进而保证了形象得分的准确性。
在一些实施例中，上述的步骤S002“对该多个训练图像分别进行失真处理，得到该多个训练图像对应的多个失真图像”可以通过以下步骤实现：
步骤S0021，从各个训练图像中确定出至少一个候选区域。
这里，步骤S0021在实现时，可以从每个训练图像中随机确定出至少一个候选区域，还可以是将训练图像中的某一个或某几个特定区域确定为候选区域。
步骤S0022，从该至少一个候选区域中确定目标区域。
这里，步骤S0022在实现时，可以是将至少一个候选区域中的一个候选区域确定为目标区域，还可以是将至少一个候选区域中的两个或两个以上候选区域确定为目标区域。
步骤S0023，将该目标区域中像素点的像素值置为随机像素值，得到各个训练图像对应的失真图像。
这里，将目标区域中的像素点的像素值置为随机像素值，会隐藏掉目标区域的图像信息，也即失真图像中的图像信息是少于训练图像的图像信息的。
在一些实施例中，还可以是将目标区域中的像素点的像素值置为预设像素值，例如该预设像素值为0，如此同样也能够隐藏掉目标区域的局部细节。
步骤S0021步骤S0023在实现时，可以采用一种随机擦除增强算法(REA，RandomErasing Augmentation)来生成这种局部细节缺失的失真图像。征时由于失真图像中缺失了局部细节，因此在将失真图像作为训练数据对神经网络模型进行训练，能够降低过拟合的风险并提高模型的鲁棒性。
在一些实施例中，该神经网络模型可以包括第一子网络模型和第二子网络模型，对应地，上述的步骤S003“基于该多个训练图像、该形象得分和该多个失真图像，对预设的神经网络模型进行训练，得到训练好的神经网络模型”可以通过以下步骤实现：
步骤S0031，将各个训练图像依次输入该第一子网络模型，得到各个训练图像的第一预测得分。
在本申请实施例中，第一子网络模型和第二子网络模型共享模型参数，也即第一子网络模型的模型参数与第二子网络模型的模型参数是相同的。
步骤S0032，将各个训练图像对应的至少一个失真图像依次输入该第二子网络模型，得到各个失真图像的第二预测得分。
这里，由于在对训练图像进行失真处理时，可以进行多次失真处理，以得到多张失真图像，因此一个训练图像可以对应有多个失真图像。在步骤S0032中，可以是将步骤S0031中输入的各个训练图像对应的至少一个失真图像依此输入至第二子网络模型中，在实际实现时，一般是将一个训练图像对应所有失真图像都输入至第二子网络模型，从而得到各个失真图像的第二预测得分。
步骤S0033，利用该第一预测得分、第二预测得分和该形象得分对该神经网络模型进行反向传播训练，以对该神经网络模型的参数进行调整，以得到训练好的神经网络模型。
在实际应用过程中，步骤S0033可以通过以下两种方式实现：
第一种实现方式：
由于训练图像的形象得分是要高于失真图像的形象得分的，因此，第一种实现方式，可以是依据这一约束条件，通过训练图像与失真图像的成对排序，对神经网络模型进行训练，如图5A所示，步骤S0033的第一种实现方式可以通过以下步骤实现：
步骤S331A，基于该第一预测得分和第二预测得分，确定训练图像和该训练图像对应的失真图像之间的第一得分差值。
由于失真图像是对训练图像在线进行失真处理得到的，并且一个训练图像往往对应有多个失真图像，标注大量的失真图像会极大地增大人工成本，因此在本申请实施例中，失真图像是没有标注信息的。但是由于失真图像是缺失局部细节的，因此，可以将失真图像的预测得分小于训练图像的预测得分作为约束条件，训练神经网络模型。
步骤S331A在实现时，可以是将第一预测得分减去第二预测得分，得到第一得分差值。
步骤S332A，基于该第一预测得分和该形象得分，确定第二得分差值。
这里，步骤S332A在实现时，可以是将第一预测得分减去形象得分，得到第二得分差值。
步骤S333A，将该第一得分差值和该第二得分差值反向传播至该神经网络模型，并利用第一损失函数和第二损失函数对该神经网络模型进行联合训练，以对该神经网络模型的参数进行调整，得到训练好的神经网络模型。
这里，该第一损失函数为对比损失函数，用于约束第一预测得分高于第二预测得分，该第二损失函数为回归损失函数，用于约束第二得分差值小于差值阈值，也就是说，在利用训练好的神经网络模型对训练图像P1和该训练图像P1对应的失真图像S1进行预测时，训练图像P1的第一预测得分是高于失真图像S1的第二预测得分的。
第二种实现方式：
对同一虚拟形象来说，如果某一训练图像(第一目标训练图像)的形象得分高于另一训练图像(第二目标训练图像)的形象得分，那么第一目标训练图像对应的第一失真图像的预测得分应该高于第二目标训练图像对应的第二失真图像的预测得分，因此在第二种实现方式中可以基于这一约束条件，以及训练图像的形象得分是要高于失真图像的形象得分的另一约束条件，通过训练图像与失真图像，失真图像与失真图像进行成对排序，对神经网络模型进行训练，如图5B所示，步骤S0033的第二种实现方式可以通过以下步骤实现：
步骤S331B，确定第一目标训练图像和第二目标训练图像。
这里，该第一目标训练图像的形象得分高于该第二目标训练图像的形象得分；
步骤S332B，获取该第一目标训练图像的第一预测得分、该第一目标训练图像对应的第一失真图像的第二预测得分，并获取该第二目标训练图像的第一预测得分和该第二目标训练图像对应的失真图像的第二预测得分；
步骤S333B，利用该第一目标训练图像的第一预测得分、该第一目标训练图像的形象得分、该第一失真图像的第二预测得分、该第二目标训练图像的第一预测得分、该第二目标训练图像的形象得分和该第二失真图像的第二预测得分，以及第一损失函数和第二损失函数对该神经网络模型进行联合训练，以对该神经网络模型的参数进行调整，得到训练好的神经网络模型。
这里，步骤S333B在实现时，可以是，首先确定第一失真图像的第二预测得分与第二失真图像的第二预测得分之间的第三得分差值，并确定第一目标训练图像的第一预测得分与第一失真图像的第二预测得分之间的第四得分差值、第二目标训练图像的第一预测得分与第二失真图像的第二预测得分之间的第五得分差值、第一目标训练图像的第一预测得分与第一目标训练图像的形象得分之间的第六得分差值、第二目标训练图像的第一预测得分与第二目标训练图像的形象得分之间的第七得分差值；然后将第三得分差值、第四得分差值、第五得分差值、第六得分差值和第七得分差值反向传播至该神经网络模型，并利用第一损失函数和第二损失函数对该神经网络模型进行联合训练，以对该神经网络模型的参数进行调整，得到训练好的神经网络模型。
该第一损失函数为对比损失函数，用于约束该第一失真图像的第二预测得分高于该第二失真图像的第二预测得分，且第一目标训练图像的第一预测得分高于第一失真图像的第二预测得分，且该第二目标训练图像的第一预测得分高于第二失真图像的第二预测得分。第二损失函数为回归损失函数，用于约束第一目标训练图像的第一预测得分与第一目标训练图像的形象得分之间的差值小于差值阈值，并且第二目标训练图像的第一预测得分与第二目标训练图像的形象得分之间的差值小于差值阈值。
在第二种实现方式中，不仅考虑了原始的训练图像和失真图像之间的形象美观度关系，还考虑了失真图像之间的美观度关系。如果第一目标训练图像的形象得分高于第二目标训练图像的形象得分，在进行相同失真处理，也即失真图像丢失相同位置的局部区域的情况下，要满足第一失真图像的形象美观度要高于第二失真图像的形象美观度，此时将对比损失函数扩展为原始图像与失真图像的排序关系和失真图像与失真图像的关系，从而进一步提高训练好的神经网络模型的预测准确性。
基于前述的实施例，本申请实施例再提供一种虚拟形象的评测方法，应用于图2所示的网络架构，图6为本申请实施例提供的虚拟形象的评测方法的另一种实现流程示意图，如图6所示，该实现流程包括：
步骤S601，设计终端基于接收到的形象设计操作，进行虚拟形象设计。
步骤S602，设计终端响应于接收到的形象评测操作，将待评测的虚拟形象的形象设计数据发送至评测服务器。
这里，当形象设计师通过设计终端完成对虚拟形象的设计后，在将虚拟形象正式发布上线之前，需要对虚拟形象的美观度进行评测，因此此时形象设计师可以通过设计终端触发对虚拟形象进行形象评测的操作，设计终端在接收到形象评测操作后，响应该形象评测操作，将待评测的虚拟形象的形象设计数据发送至评测服务器。
步骤S603，评测服务器基于接收到的形象设计数据，获取该虚拟形象处于不同姿态时的至少一个形象图像。
这里，该形象设计数据一般为三维形象模型，步骤S603在实现时，可以通过改变三维形象模型的旋转角参数，从而截取出虚拟形象处于不同姿态时的多张形象图像。也就是说该至少一个形象图像对应的是同一个虚拟形象。
步骤S604，评测服务器将该至少一个形象图像输入至训练好的神经网络模型，得到各个形象图像的评测得分。
这里，各个形象图像的评测得分能够反映虚拟形象的形象美观度。该神经网络模型在训练时，训练图像集包括原始的训练图像和对该训练图像进行失真处理后得到的失真图像，并且失真图像相比于训练图像确实局部细节，因此可以将失真图像的形象美观度低于训练图像的形象美观度作为一个附加的优化目标来训练神经网络模型，从而提高训练好的神经网络模型的预测准确性。
步骤S605，评测服务器基于各个形象图像的评测得分，确定该虚拟形象的形象评测得分。
这里，步骤S605在实现时，可以是将该虚拟形象的各个形象图像的评测得分进行平均计算处理，得到该虚拟形象的形象评测得分。
步骤S606，评测服务器将该虚拟形象的形象评测得分发送至设计终端。
步骤S607，设计终端判断该形象评测得分是否低于预设的得分阈值。
这里，当形象评测得分低于该得分阈值时，进入步骤S608，提示需要进行形象优化；当形象评测得分高于或者等于该得分阈值时，进入步骤S610，提示是否确认定稿。
步骤S608，设计终端输出第一提示信息。
这里，该第一提示信息用于提示需要对该虚拟形象进行优化。
步骤S609，设计终端基于接收到的形象优化操作，对形象设计数据进行更新，得到更新后的形象设计数据。
这里，在步骤S609之后，再次进入步骤S602，以对更新后的形象设计数据进行形象评测。
步骤S610，设计终端输出第二提示信息。
这里，第二提示信息用于提示形象设计师对形象设计数据进行二次确认，确认是否完成该虚拟形象的形象设计。该二次确认主要是对虚拟形象的细节优化部分进行人工确认。
在一些实施例中，还可以是由评测服务器判断该形象评测得分是否低于预设的得分阈值，当该形象评测得分低于该得分阈值时，评测服务器向设计终端发送第一提示信息，该第一提示信息用于提示需要对该虚拟形象进行优化，并且该第一提示信息中还可以携带有虚拟形象的形象评测得分；当该形象评测得分高于或者等于该得分阈值时，评测服务器向设计终端发送第二提示信息，该第二提示信息用于提示对形象设计数据进行二次确认，并且该第二提示信息中还可以携带有虚拟形象的形象评测得分。
步骤S611，设计终端基于接收到的设计确认操作，保存虚拟形象的形象设计数据。
步骤S612，设计终端基于接收到的数据上传操作，将形象设计数据和形象评测得分发送至业务服务器。
步骤S613，业务服务器基于接收到的形象设计数据和形象评测得分，确定虚拟形象推荐顺序。
步骤S614，业务服务器基于虚拟形象推荐顺序，向用户终端发送推荐虚拟形象。
在本申请实施例提供的虚拟形象的评测方法中，在设计终端基于设计师的操作完成对虚拟形象的设计后，响应于接收到的形象评测操作，将形象设计数据发送至评测服务器，由评测服务器基于形象设计数据截取待评测的至少一个形象图像，并通过训练好的神经网络模型对至少一个形象图像进行预测处理，得到各个形象图像对应的评测得分，然后再将各个形象图像的评测得分进行平均计算处理得到虚拟形象的综合形象评测得分，能够提高形象评测的稳定性；评测服务器在确定出形象评测得分之后，将形象评测得分发送至设计终端，以由设计终端确定是否需要对虚拟形象进行优化，在确定不需要对虚拟形象进行优化时，设计终端可以将虚拟形象上传至业务服务器，以将该虚拟形象进行上线发布，并且会同时上传虚拟形象的形象评测得分，以使得业务服务器能够根据虚拟形象的形象评测得分对虚拟形象的形象评测得分确定形象推荐顺序，从而实现精准推荐。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
在本申请实施例中，以虚拟角色为游戏角色为例进行说明。
在本申请实施例提供的虚拟形象的评测方法中，将待评测的虚拟角色的形象图像输入到训练好的神经网络模型(比如深度卷积神经网络)中，从而得到该虚拟角色的形象图像的美观度分数。
该训练好的神经网络模型可以是基于图像排序的美观度评测模型。本申请实施例中，形象评测可以是指虚拟角色的皮肤评测，该虚拟角色的形象评测方法，在实现时可以包括皮肤美观度定义、皮肤图像收集、失真皮肤生成、美观度排序和美观度回归几个步骤，以下对各个步骤进行说明。
1，皮肤美观度定义：皮肤美观度是一个主观变量，其中它与皮肤价格a、皮肤销量b和标注师打分c都有很大的关系。为了方便控制美观分数的大小范围，在本申请实施例中，可以采用最大最小值归一化方法将皮肤价格a、皮肤销量b和标注师打分c归一化为a,b,c∈[0,1]。在实现时，可以采用公式(2-1)所示的加权平均的方式来定义美观度分数：
s＝αaa+αbb+αcc (2-1)；
其中，三个权值αa,αb,αc满足αa+αb+αc＝1且αa,αb,αc≥0。根据公式(2-1)，皮肤的价格越高，皮肤销量越好和设计师打分越高，则皮肤美观度分数越高。
2，皮肤图像收集：主要包含两个部分，即训练皮肤图像收集和测试皮肤图像收集。为了丰富虚拟角色(可以是游戏中的英雄)皮肤图像的多样性，在本申请实施例中可以收集每个虚拟角色多个不同姿态的图像。图7为本申请实施例收集到的皮肤图像的示意图，如图7所示，对鲁班七号这一虚拟角色收集了701、702、703、704、705、706、707和708，8个不同全身姿态图像。
在收集到每个虚拟角色不同姿态的皮肤图像后，还需要对虚拟角色的皮肤图像进行美观度分数的标注。在标注美观度分数过程中，标注者对多张皮肤图像的综合美观度打分，因此，最后多张皮肤图像会获得相同的美观度分数。
3，失真皮肤生成，是指对原始皮肤图像进行人工失真操作来生成失真皮肤，并且会降低皮肤图像的美观度分数。由图7所示的8张皮肤图像可以看出，皮肤美观度主要体现于皮肤的局部细节，比如鲁班七号的帽子、***、火箭筒、衣服和鞋子等。如果人工去除皮肤的局部细节，那么失真皮肤的美观度应该要小于原始皮肤的美观度。为此，在实现时，可以采用一种随机擦除增强算法(REA，Random Erasing Augmentation)来生成这种局部细节缺失的失真皮肤图像。在训练时，REA会在原始皮肤图像中随机选择一个区域，将该区域的像素值替换为随机值。生成的失真皮肤图像。图8为本申请实施例生成的失真皮肤图像示意图，图8所示的801、802、803和804是对图7中的701进行随机擦除后得到的图像，其中801是将鲁班七号的***进行了擦涂，802是将背景区域进行了擦除，803是将鲁班七号的面部和衣服进行了擦除，804是将背景区域进行了擦除。
由图8可以看出，REA将训练皮肤图像进行不同程度的遮挡，这样可以降低过拟合的风险并提高模型的鲁棒性。REA没有任何学习参数，因此，可以整合到任何基于卷积神经网络的识别模型中。
4，美观度排序，是指原始皮肤与失真皮肤的美观度大小排序。在实现时，可以利用一种孪生网络(Siamese Network)来学习原始皮肤与失真皮肤之间的美观度排序关系。该孪生网络拥有两个相同的分支，也即两个子网络，这两个子网络的模型参数是共享的。将一个皮肤图像x，输入至一个子网络，从该子网络的最后一层输出该皮肤图像的美观度f(x；θ)，f(x；θ)∈[0,1]。一般情况下，原始皮肤x比失真皮肤
Figure BDA0002712124950000241
拥有更多的美观度细节，所以两者的美观度关系满足
Figure BDA0002712124950000242
由于失真图像是随机生成并缺失标签信息，因此在本申请实施例中，采用公式(2-2)所示的成对排序的对比损失(Contrastive Loss)来约束美观度排序关系：
Figure BDA0002712124950000243
其中，m表示距离间隔，且m＞0。
在一些实施例中，在成对排序时还可以考虑失真图像之间的美观度关系。假设皮肤图像x1的美观度要高于皮肤图像x2，在进行相同REA的局部区域丢失的情况下，应该要满足失真图像
Figure BDA0002712124950000244
的美观度要高于失真图像
Figure BDA0002712124950000245
基于以上的排序关系，可以将损失函数
Figure BDA0002712124950000246
扩展为原始图像与失真图像的排序关系和失真图像与失真图像的关系。
5，美观度回归，是指对带标签的原始皮肤图像的美观度进行回归。假设原始图像x的美观度标签为y，y∈[0,1]，在实现时可以采用如公式(2-3)所示的L2范数来回归皮肤美观度分数：
Figure BDA0002712124950000251
最后，在训练阶段，通过公式(2-4)联合两种损失函数来学习网络参数：
Figure BDA0002712124950000252
其中，λr和λc是两个损失权重。
在测试阶段，按照公式(2-5)利用同一皮肤的8种姿态图像
Figure BDA0002712124950000253
来求取平均美观度分数：
Figure BDA0002712124950000254
这里，在本申请实施例中，将平均美观度分数作为最终输出的皮肤美观度，这样可以极大地提高美观度评测对皮肤姿态变化的鲁棒性。
图9为本申请实施例提供的神经网络模型的训练过程示意图，如图9所示，首先将采集到的原始皮肤图像901进行随机擦除，得到失真皮肤图像902，然后将原始皮肤图像901和失真皮肤图像902输入神经网络模型中，根据对比损失函数和回归损失函数对神经网络模型进行联合训练，从而得到训练好的神经网络模型。
基于成对排序的皮肤美观度评测是虚拟形象的形象设计和推荐的关键技术。设计师可以通过该方法来评测所设计的皮肤美观度分数。如果发现美观度分数不够，输出第一提示信息，以提醒皮肤设计师美化皮肤，提高皮肤产品的质量。针对英雄皮肤个性化推荐，可以根据皮肤美观度分数对玩家推荐相关英雄的皮肤。
基于本申请实施例提供的虚拟形象的形象设计方法，能够构建皮肤美观度评测***，从而辅助设计工作。图10为本申请实施例提供的利用皮肤美观度评测***进行皮肤评测的实现过程示意图，如图10所示，该实现过程包括：
步骤S1001，获取美术英雄皮肤设计图。
步骤S1002，将美术英雄皮肤设计图输入皮肤美观度评测***，输出英雄皮肤的美观度y。
图11为本申请实施例提供的利用皮肤美观度评测***进行评测的界面示意图，如图11所示，将待评测的皮肤图像1101输入至皮肤美观度评测***1102，会输出该皮肤图像的评测得分1103。
步骤S1003，如果美观度分数低于85，那么就需要重新优化设计图，直到美观度达到85以上。
步骤S1004，如果皮肤美观度分数大于85，进行人工二次确认。
在本申请实施例中提供的虚拟形象的评测方法，基于成对排序的皮肤美观度评测通过虚拟角色的多种(本申请实施例中以8种为例)姿态来成倍地扩充训练集和测试集图像，这样极大地抑制网络过拟合趋势。同时，考虑到原始皮肤与失真皮肤之间的美观度关系，采用成对对比损失来学***均美观度分数来提高美观度预测的稳定性和准确性。
下面继续说明本申请实施例提供的虚拟形象的评测装置354实施为软件模块的示例性结构，在一些实施例中，如图3所示，存储在存储器350的虚拟形象的评测装置354中的软件模块可以是评测服务器300中的虚拟形象的评测装置，包括：
第一获取模块，用于获取待评测的至少一个形象图像，该至少一个形象图像对应同一个虚拟形象；
预测模块，用于将该至少一个形象图像输入至训练好的神经网络模型，得到该虚拟形象的形象评测得分；
该神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对该训练图像进行失真处理得到的失真图像；
第一输出模块，用于输出该虚拟形象的形象评测得分。
在一些实施例中，该装置还包括：
第二获取模块，用于获取虚拟形象的多个训练图像和该多个训练图像对应形象得分；
失真处理模块，用于对该多个训练图像分别进行失真处理，得到该多个训练图像对应的多个失真图像；
模型训练模块，用于基于该多个训练图像、该形象得分和该多个失真图像，对预设的神经网络模型进行训练，得到训练好的神经网络模型。
在一些实施例中，该装置还包括：
第三获取模块，用于获取各个训练图像对应的销售信息，该销售信息至少包括销售价格和销量；
第四获取模块，用于获取各个训练图像的标注分数；
加权处理模块，用于将各个训练图像的销售价格、销量和标注分数进行加权平均处理，得到各个训练图像的形象得分。
在一些实施例中，该失真处理模块，还用于：
从各个训练图像中确定出至少一个候选区域；
从该至少一个候选区域中确定目标区域；
将该目标区域中像素点的像素值置为预设像素值，得到各个训练图像对应的失真图像。
在一些实施例中，该神经网络模型包括第一子网络模型和第二子网络模型，对应地，该模型训练模块，还用于：
将各个训练图像依次输入该第一子网络模型，得到各个训练图像的第一预测得分；
将各个训练图像对应的至少一个失真图像依次输入该第二子网络模型，得到各个失真图像的第二预测得分；
利用该第一预测得分、第二预测得分和该形象得分对该神经网络模型进行反向传播训练，以对该神经网络模型的参数进行调整，以得到训练好的神经网络模型。
在一些实施例中，该模型训练模块，还用于：
基于该第一预测得分和第二预测得分，确定训练图像和该训练图像对应的失真图像之间的第一得分差值；
基于该第一预测得分和该形象得分，确定第二得分差值；
将该第一得分差值和该第二得分差值反向传播至该神经网络模型，
并利用第一损失函数和第二损失函数对该神经网络模型进行联合训练，以对该神经网络模型的参数进行调整，得到训练好的神经网络模型；
该第一损失函数为用于约束第一预测得分高于第二预测得分，该第二损失函数用于约束第二得分差值小于差值阈值。
在一些实施例中，该模型训练模块，还用于：
确定第一目标训练图像和第二目标训练图像，该第一目标训练图像的形象得分高于该第二目标训练图像的形象得分；
获取该第一目标训练图像的第一预测得分、该第一目标训练图像对应的第一失真图像的第二预测得分，并获取该第二目标训练图像的第一预测得分和该第二目标训练图像对应的失真图像的第二预测得分；
利用该第一目标训练图像的第一预测得分、该第一目标训练图像的形象得分、该第一失真图像的第二预测得分、该第二目标训练图像的第一预测得分、该第二目标训练图像的形象得分和该第二失真图像的第二预测得分，以及第一损失函数和第二损失函数对该神经网络模型进行联合训练，以对该神经网络模型的参数进行调整，得到训练好的神经网络模型；
该第一损失函数用于约束该第一失真图像的第二预测得分高于该第二失真图像的第二预测得分，且第一目标训练图像的第一预测得分高于第一失真图像的第二预测得分，且该第二目标训练图像的第一预测得分高于第二失真图像的第二预测得分。
在一些实施例中，该第一获取模块，还用于：
获取该虚拟形象的形象设计数据；
基于该形象设计数据，获取该虚拟形象处于不同姿态时的至少一个形象图像。
在一些实施例中，该预测模块还用于：
将该至少一个形象图像输入至训练好的神经网络模型，得到各个形象图像的评测得分；
基于各个形象图像的评测得分，确定该虚拟形象的形象评测得分。
在一些实施例中，该装置还包括：
第二输出模块，用于确定该虚拟形象的形象评测得分低于预设的得分阈值时，输出第一提示信息，
该第一提示信息用于提示需要对该虚拟形象的形象进行优化。
需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图4示出的方法。
在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，R ead Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (13)

1.一种虚拟形象的评测方法，其特征在于，所述包括：
获取待评测的至少一个形象图像，所述至少一个形象图像对应同一个虚拟形象；
将所述至少一个形象图像输入至训练好的神经网络模型，得到所述虚拟形象的形象评测得分；
所述神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对所述训练图像进行失真处理得到的失真图像；
输出所述虚拟形象的形象评测得分。
2.根据权利要求1中所述的方法，其特征在于，所述方法还包括：
获取虚拟形象的多个训练图像和所述多个训练图像对应形象得分；
对所述多个训练图像分别进行失真处理，得到所述多个训练图像对应的多个失真图像；
基于所述多个训练图像、所述形象得分和所述多个失真图像，对预设的神经网络模型进行训练，得到训练好的神经网络模型。
3.根据权利要求2中所述的方法，其特征在于，所述方法还包括：
获取各个训练图像对应的销售信息，所述销售信息至少包括销售价格和销量；
获取各个训练图像的标注分数；
将各个训练图像的销售价格、销量和标注分数进行加权平均处理，得到各个训练图像的形象得分。
4.根据权利要求2中所述的方法，其特征在于，所述对所述多个训练图像分别进行失真处理，得到所述多个训练图像对应的多个失真图像，包括：
从各个训练图像中确定出至少一个候选区域；
从所述至少一个候选区域中确定目标区域；
将所述目标区域中像素点的像素值置为预设像素值，得到各个训练图像对应的失真图像。
5.根据权利要求2中所述的方法，其特征在于，所述神经网络模型包括第一子网络模型和第二子网络模型，对应地，
基于所述多个训练图像、所述形象得分和所述多个失真图像，对预设的神经网络模型进行训练，得到训练好的神经网络模型，包括：
将各个训练图像依次输入所述第一子网络模型，得到各个训练图像的第一预测得分；
将各个训练图像对应的至少一个失真图像依次输入所述第二子网络模型，得到各个失真图像的第二预测得分；
利用所述第一预测得分、第二预测得分和所述形象得分对所述神经网络模型进行反向传播训练，以对所述神经网络模型的参数进行调整，以得到训练好的神经网络模型。
6.根据权利要求5中所述的方法，其特征在于，利用所述第一预测得分、第二预测得分和所述形象得分对所述神经网络模型进行反向传播训练，以对所述神经网络模型的参数进行调整，以得到训练好的神经网络模型，包括：
基于所述第一预测得分和第二预测得分，确定训练图像和所述训练图像对应的失真图像之间的第一得分差值；
基于所述第一预测得分和所述形象得分，确定第二得分差值；
将所述第一得分差值和所述第二得分差值反向传播至所述神经网络模型，
并利用第一损失函数和第二损失函数对所述神经网络模型进行联合训练，以对所述神经网络模型的参数进行调整，得到训练好的神经网络模型；
所述第一损失函数为用于约束第一预测得分高于第二预测得分，所述第二损失函数用于约束第二得分差值小于差值阈值。
7.根据权利要求5中所述的方法，其特征在于，利用所述第一预测得分、第二预测得分和所述形象得分对所述神经网络模型进行反向传播训练，以对所述神经网络模型的参数进行调整，以得到训练好的神经网络模型，包括：
确定第一目标训练图像和第二目标训练图像，所述第一目标训练图像的形象得分高于所述第二目标训练图像的形象得分；
获取所述第一目标训练图像的第一预测得分、所述第一目标训练图像对应的第一失真图像的第二预测得分，并获取所述第二目标训练图像的第一预测得分和所述第二目标训练图像对应的失真图像的第二预测得分；
利用所述第一目标训练图像的第一预测得分、所述第一目标训练图像的形象得分、所述第一失真图像的第二预测得分、所述第二目标训练图像的第一预测得分、所述第二目标训练图像的形象得分和所述第二失真图像的第二预测得分，以及第一损失函数和第二损失函数对所述神经网络模型进行联合训练，以对所述神经网络模型的参数进行调整，得到训练好的神经网络模型；
所述第一损失函数用于约束所述第一失真图像的第二预测得分高于所述第二失真图像的第二预测得分，且第一目标训练图像的第一预测得分高于第一失真图像的第二预测得分，且所述第二目标训练图像的第一预测得分高于第二失真图像的第二预测得分。
8.根据权利要求1中所述的方法，其特征在于，所述获取待评测的至少一个形象图像，包括：
获取所述虚拟形象的形象设计数据；
基于所述形象设计数据，获取所述虚拟形象处于不同姿态时的至少一个形象图像。
9.根据权利要求1中所述的方法，其特征在于，所述将至少一个形象图像输入至训练好的神经网络模型，得到所述虚拟形象的形象评测得分，包括：
将所述至少一个形象图像输入至训练好的神经网络模型，得到各个形象图像的评测得分；
基于各个形象图像的评测得分，确定所述虚拟形象的形象评测得分。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：
确定所述虚拟形象的形象评测得分低于预设的得分阈值时，输出第一提示信息，
所述第一提示信息用于提示需要对所述虚拟形象进行优化。
11.一种虚拟形象的评测装置，其特征在于，包括：
第一获取模块，用于获取待评测的至少一个形象图像，所述至少一个形象图像对应同一个虚拟形象；
预测模块，用于将所述至少一个形象图像输入至训练好的神经网络模型，得到所述虚拟形象的形象评测得分；
所述神经网络模型在训练时的训练数据至少包括虚拟形象的训练图像和对所述训练图像进行失真处理得到的失真图像；
第一输出模块，用于输出所述虚拟形象的形象评测得分。
12.一种虚拟形象的评测设备，其特征在于，包括：
存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至10任一项所述的方法。
CN202011060263.3A 2020-09-30 2020-09-30 虚拟形象的评测方法、装置、设备及计算机可读存储介质 Active CN112116589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011060263.3A CN112116589B (zh) 2020-09-30 2020-09-30 虚拟形象的评测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060263.3A CN112116589B (zh) 2020-09-30 2020-09-30 虚拟形象的评测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112116589A true CN112116589A (zh) 2020-12-22
CN112116589B CN112116589B (zh) 2024-02-27

Family

ID=73798013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060263.3A Active CN112116589B (zh) 2020-09-30 2020-09-30 虚拟形象的评测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112116589B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643417A (zh) * 2021-08-17 2021-11-12 腾讯科技（深圳）有限公司 图像调整方法、装置、电子设备及存储介质
CN115809696A (zh) * 2022-12-01 2023-03-17 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN116152403A (zh) * 2023-01-09 2023-05-23 支付宝(杭州)信息技术有限公司 一种形象生成方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816375A (zh) * 2003-06-30 2006-08-09 微软公司 虚拟现实环境中计算机控制的虚拟形象的个性化行为
US20080163054A1 (en) * 2006-12-30 2008-07-03 Pieper Christopher M Tools for product development comprising collections of avatars and virtual reality business models for avatar use
CN108932697A (zh) * 2017-05-26 2018-12-04 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN109145956A (zh) * 2018-07-26 2019-01-04 上海慧子视听科技有限公司 评分方法、装置、计算机设备及存储介质
CN109871124A (zh) * 2019-01-25 2019-06-11 华南理工大学 基于深度学习的情感虚拟现实场景评估方法
CN111081371A (zh) * 2019-11-27 2020-04-28 昆山杜克大学 基于虚拟现实的孤独症早期筛查评估***及方法
CN111192258A (zh) * 2020-01-02 2020-05-22 广州大学 一种图像质量评估方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816375A (zh) * 2003-06-30 2006-08-09 微软公司 虚拟现实环境中计算机控制的虚拟形象的个性化行为
US20080163054A1 (en) * 2006-12-30 2008-07-03 Pieper Christopher M Tools for product development comprising collections of avatars and virtual reality business models for avatar use
CN108932697A (zh) * 2017-05-26 2018-12-04 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN109145956A (zh) * 2018-07-26 2019-01-04 上海慧子视听科技有限公司 评分方法、装置、计算机设备及存储介质
CN109871124A (zh) * 2019-01-25 2019-06-11 华南理工大学 基于深度学习的情感虚拟现实场景评估方法
CN111081371A (zh) * 2019-11-27 2020-04-28 昆山杜克大学 基于虚拟现实的孤独症早期筛查评估***及方法
CN111192258A (zh) * 2020-01-02 2020-05-22 广州大学 一种图像质量评估方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘刚田;曹慧敏;: "基于模糊神经网络和灰色理论的产品造型设计方法", 煤矿机械, no. 05, 15 May 2010 (2010-05-15) *
刘翠娟;刘箴;柴艳杰;刘婷婷;陈效奕;: "严肃游戏中虚拟角色行为建模综述", 中国图象图形学报, no. 07, 16 July 2020 (2020-07-16) *
陈雪峰;李树刚;: "基于BP神经网络的虚拟物品个性化设计推荐", 计算机工程, no. 10, 20 May 2008 (2008-05-20) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643417A (zh) * 2021-08-17 2021-11-12 腾讯科技（深圳）有限公司 图像调整方法、装置、电子设备及存储介质
CN113643417B (zh) * 2021-08-17 2023-06-27 腾讯科技（深圳）有限公司 图像调整方法、装置、电子设备及存储介质
CN115809696A (zh) * 2022-12-01 2023-03-17 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN115809696B (zh) * 2022-12-01 2024-04-02 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN116152403A (zh) * 2023-01-09 2023-05-23 支付宝(杭州)信息技术有限公司 一种形象生成方法、装置、存储介质及电子设备
CN116152403B (zh) * 2023-01-09 2024-06-07 支付宝(杭州)信息技术有限公司 一种形象生成方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112116589B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN112116589B (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
Zhang et al. Computer models for facial beauty analysis
CN110378372A (zh) 图数据识别方法、装置、计算机设备和存储介质
CN110807150A (zh) 信息处理方法及装置、电子设备和计算机可读存储介质
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN109657554A (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN116097320A (zh) 用于改进的面部属性分类的***和方法及其用途
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN110363086A (zh) 图数据识别方法、装置、计算机设备和存储介质
Solomon et al. Interactive evolutionary generation of facial composites for locating suspects in criminal investigations
Elmahmudi et al. A framework for facial age progression and regression using exemplar face templates
Duong et al. Learning from longitudinal face demonstration—where tractable deep modeling meets inverse reinforcement learning
CN116704085B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114611720A (zh) 联邦学习模型训练方法、电子设备及存储介质
Lin et al. R 2-resnext: A resnext-based regression model with relative ranking for facial beauty prediction
CN114549291A (zh) 图像处理方法、装置、设备以及存储介质
CN110598097B (zh) 一种基于cnn的发型推荐***、方法、设备及存储介质
Xu et al. Text-guided human image manipulation via image-text shared space
CN111400525A (zh) 基于视觉组合关系学习的时尚服装智能搭配与推荐方法
Liu et al. Learning shape and texture progression for young child face aging
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
Liu et al. Multimodal face aging framework via learning disentangled representation
CN115392216B (zh) 一种虚拟形象生成方法、装置、电子设备及存储介质
Liang et al. Controlled autoencoders to generate faces from voices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant