CN115601485B - 任务处理模型的数据处理方法及虚拟人物动画生成方法 - Google Patents
任务处理模型的数据处理方法及虚拟人物动画生成方法 Download PDFInfo
- Publication number
- CN115601485B CN115601485B CN202211611176.1A CN202211611176A CN115601485B CN 115601485 B CN115601485 B CN 115601485B CN 202211611176 A CN202211611176 A CN 202211611176A CN 115601485 B CN115601485 B CN 115601485B
- Authority
- CN
- China
- Prior art keywords
- sample
- task
- sequence
- model
- animation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本说明书实施例提供任务处理模型的数据处理方法及虚拟人物动画生成方法，其中所述任务处理模型的数据处理方法包括：获取第一样本集，其中，第一样本集包括多模态的样本引导信息；将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备发送训练得到的任务处理模型的模型参数。由于任务处理模型是基于多模态的样本引导信息训练得到，可以实现多模态的任务统一，提高了模型的准确性和普适性。
Description
技术领域
本说明书实施例涉及计算机技术领域，特别涉及任务处理模型的数据处理方法。本说明书一个或者多个实施例同时涉及一种虚拟人物动画生成方法，一种任务处理模型的数据处理***，任务处理模型的数据处理装置，一种虚拟人物动画生成装置，一种计算设备以及一种计算机可读存储介质。
背景技术
随着计算机技术的发展，动作生成逐渐成为影视、游戏、数字人应用中的关键步骤，例如，视频中的角色、游戏中的角色、网络页面或者应用软件上的客服对象、电影制作中的虚拟角色的动作生成。而动作的真实感是反映角色与环境交互真实、自然感的关键因素之一。
目前，动作生成依赖大量真实人物的动作采集，这往往效率低下并且对环境和采集硬件的要求很高，此外生成的动作准确性低，需要后期精修。因此，亟需一种普适性高且准确的动作生成方案。
发明内容
有鉴于此，本说明书实施例提供了任务处理模型的数据处理方法。本说明书一个或者多个实施例同时涉及一种虚拟人物动画生成方法，一种任务处理模型的数据处理***，任务处理模型的数据处理装置，一种虚拟人物动画生成装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种任务处理模型的数据处理方法，应用于云侧设备，云侧设备与多个端侧设备连接；该方法包括：
获取第一样本集，其中，第一样本集包括多模态的样本引导信息；
将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；
根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；
向端侧设备发送训练得到的任务处理模型的模型参数。
根据本说明书实施例的第二方面，提供了一种任务处理模型的数据处理方法，应用于端侧设备，端侧设备与云侧设备连接；该方法包括：
接收云侧设备发送的任务处理模型的模型参数，并根据模型参数构建任务处理模型；
接收用户输入的任务处理请求，其中，任务处理请求包括任务引导信息；
将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征，其中，任务处理模型基于多模态的样本引导信息、样本任务序列和样本任务特征训练得到，样本任务特征是对样本任务序列进行量化编码得到；
对目标任务特征进行量化解码，获得任务引导信息对应的任务处理结果。
根据本说明书实施例的第三方面，提供了一种虚拟人物动画生成方法，包括：
接收前端发送的虚拟人物动画生成请求，其中，虚拟人物动画生成请求包括动画引导信息；
将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征，其中，虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到；
对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列；
根据虚拟人物动作序列，生成虚拟人物动画发送至前端，以使前端显示虚拟人物动画。
根据本说明书实施例的第四方面，提供了一种任务处理模型的数据处理装置，应用于云侧设备，云侧设备与多个端侧设备连接；该装置包括：
获取模块，被配置为获取第一样本集，其中，第一样本集包括多模态的样本引导信息；
第一输入模块，被配置为将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；
训练模块，被配置为根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；
发送模块，被配置为向端侧设备发送训练得到的任务处理模型的模型参数。
根据本说明书实施例的第五方面，提供了一种任务处理模型的数据处理装置，应用于端侧设备，端侧设备与云侧设备连接；该装置包括：
构建模块，被配置为接收云侧设备发送的任务处理模型的模型参数，并根据模型参数构建任务处理模型；
第一接收模块，被配置为接收用户输入的任务处理请求，其中，任务处理请求包括任务引导信息；
第二输入模块，被配置为将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征，其中，任务处理模型基于多模态的样本引导信息、样本任务序列和样本任务特征训练得到，样本任务特征是对样本任务序列进行量化编码得到；
第一解码模块，被配置为对目标任务特征进行量化解码，获得任务引导信息对应的任务处理结果。
根据本说明书实施例的第六方面，提供了一种虚拟人物动画生成装置，包括：
第二接收模块，被配置为接收前端发送的虚拟人物动画生成请求，其中，虚拟人物动画生成请求包括动画引导信息；
第三输入模块，被配置为将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征，其中，虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到；
第一解码模块，被配置为对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列；
生成模块，被配置为根据虚拟人物动作序列，生成虚拟人物动画发送至前端，以使前端显示虚拟人物动画。
根据本说明书实施例的第七方面，提供了一种任务处理模型的数据处理***，包括：
端侧设备，用于构建第一样本集，并向云侧设备发送第一样本集，其中，第一样本集包括多模态的样本引导信息；
云侧设备，用于将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备发送训练得到的任务处理模型的模型参数。
根据本说明书实施例的第八方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。
根据本说明书实施例的第九方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。
根据本说明书实施例的第十方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述第一方面或者第二方面或者第三方面所提供方法的步骤。
本说明书一个实施例提供的任务处理模型的数据处理方法，获取第一样本集，其中，第一样本集包括多模态的样本引导信息；将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备发送训练得到的任务处理模型的模型参数。由于任务处理模型是基于多模态的样本引导信息训练得到，因此，可以实现多模态的任务统一，提高了模型的准确性和普适性。
附图说明
图1是本说明书一个实施例提供的一种任务处理模型的数据处理***的框架图；
图2是本说明书一个实施例提供的另一种任务处理模型的数据处理***的框架图；
图3是本说明书一个实施例提供的一种任务处理模型的数据处理方法的流程图；
图4是本说明书一个实施例提供的另一种任务处理模型的数据处理方法的流程图；
图5是本说明书一个实施例提供的一种虚拟人物动画生成方法的流程图；
图6是本说明书一个实施例提供的一种虚拟人物动画生成方法的处理过程示意图；
图7是本说明书一个实施例提供的一种虚拟人物动画生成界面的界面示意图；
图8是本说明书一个实施例提供的一种量化生成模型的数据处理方法的流程图；
图9是本说明书一个实施例提供的一种任务处理模型和量化生成模型的训练流程图；
图10是本说明书一个实施例提供的一种任务处理模型的数据处理装置的结构示意图；
图11是本说明书一个实施例提供的另一种任务处理模型的数据处理装置的结构示意图；
图12是本说明书一个实施例提供的一种虚拟人物动画生成装置的结构示意图；
图13是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
Transformer：一种神经网络结构。
Seq2seq：Seq2seq是一种编码-解码的结构，输入和输出可以是不等长的序列。
虚拟人物动作（Human Motion）：3D（three-Dimensional）数字人、3D游戏、3D动画中，驱动人体模型做出肢体动作的骨骼数据，由多帧构成，每一帧的数据描述了整个身体的朝向和位移、以及身体各个关节的旋转角度。
扩散模型（Diffusion Models）：一种新型的深度生成模型。训练时，对样本施加不同强度（强度=0、1、……、或T）的噪声，要求模型根据噪声强度、加噪后的样本还原出未加噪的样本。推理时，从一个随机噪声样本（噪声强度=T）出发，让模型逐步去噪获得噪声强度分别为T-1、T-2、...、0的样本，噪声强度为0的样本即模型最终生成的样本。
随着计算机技术的发展，动作生成逐渐成为影视、游戏、数字人应用中的关键步骤。传统的动作生成方式依赖着大量真实人物的动作采集，这往往效率低下并且对环境和采集硬件的要求很高，此外需要后期的精修。目前，基于学习的方法在动作生成上取得了不断地进步，通过基于大量动捕数据的学习，从而实现在不同条件下高质量连续动作的生成。但是，目前面对多样的动作生成任务需求，往往大家采用特定的框架在对应的任务上进行单独训练，无法从不同任务和类型数据集中获益。
为了解决上述问题，本说明书实施例提出了一种统一多种任务的任务处理框架，打通不同任务之间的隔阂，从不同跨模态数据信号中学习更高语义的信息，使得不同的生成任务都能得到有效表示和学习，从而实现各类不同的生成需求，低成本、高效且准确地为影视、游戏、数字人应用等提供丰富的动作素材。具体地，获取第一样本集，其中，第一样本集包括多模态的样本引导信息；将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备发送训练得到的任务处理模型的模型参数。由于任务处理模型是基于多模态的样本引导信息训练得到，可以实现多模态的任务统一，提高了模型的准确性和普适性。
在本说明书中，提供了一种任务处理模型的数据处理方法，本说明书同时涉及一种虚拟人物动画生成方法，一种任务处理模型的数据处理***，任务处理模型的数据处理装置，一种虚拟人物动画生成装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了本说明书一个实施例提供的一种任务处理模型的数据处理***的框架图，其中，任务处理模型的数据处理***包括云侧设备100和端侧设备200；
端侧设备200：构建第一样本集，并向云侧设备100发送第一样本集，其中，第一样本集包括多模态的样本引导信息；
云侧设备100：将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备200发送训练得到的任务处理模型的模型参数。
应用本说明书实施例的方案，获取第一样本集，其中，第一样本集包括多模态的样本引导信息；将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备发送训练得到的任务处理模型的模型参数。由于任务处理模型是基于多模态的样本引导信息训练得到，可以实现多模态的任务统一，提高了模型的准确性和普适性。
参见图2，图2示出了本说明书一个实施例提供的另一种任务处理模型的数据处理***的框架图，该***可以包括云侧设备100以及多个端侧设备200。多个端侧设备200之间通过云侧设备100可以建立通信连接，在任务处理场景中，云侧设备100即用来在多个端侧设备200之间提供任务处理服务，多个端侧设备200可以分别作为发送端或接收端，通过云侧设备100实现实时通信。
用户通过端侧设备200可与云侧设备100进行交互以接收其它端侧设备200发送的数据，或将数据发送至其它端侧设备200等。在任务处理场景中，可以是用户通过端侧设备200向云侧设备100发布数据流，云侧设备100根据该数据流进行动作生成，并将动作生成结果推送至其他建立通信的端侧设备中。
其中，端侧设备200与云侧设备100之间通过网络建立连接。网络为端侧设备与云侧设备之间提供了通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。端侧设备200所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至云侧设备100。
端侧设备200可以为浏览器、APP（Application，应用程序）、或网页应用如H5（HyperText Markup Language5，超文本标记语言第5版）应用、或轻应用（也被称为小程序，一种轻量级应用程序）或云应用等，端侧设备200可以基于云侧设备提供的相应服务的软件开发工具包（SDK，Software Development Kit），如基于实时通信（RTC，Real TimeCommunication）SDK开发获得等。端侧设备200可以部署在电子设备中，需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用，例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱端侧设备、社交平台软件等。
云侧设备100可以包括提供各种服务的服务器，例如为多个端侧设备提供通信服务的服务器，又如为端侧设备上使用的模型提供支持的用于后台训练的服务器，又如对端侧设备发送的数据进行处理的服务器等。需要说明的是，云侧设备100可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（CDN，ContentDelivery Network）、以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
参见图3，图3示出了本说明书一个实施例提供的一种任务处理模型的数据处理方法的流程图，任务处理模型的数据处理方法应用于端侧设备，端侧设备与云侧设备连接；具体包括以下步骤：
步骤302：接收云侧设备发送的任务处理模型的模型参数，并根据模型参数构建任务处理模型。
本说明书实施例中，为了准确、高效地进行任务处理，可以接收云侧设备发送的任务处理模型的模型参数，基于模型参数构建任务处理模型，进而通过任务处理模型实现任务处理。
步骤304：接收用户输入的任务处理请求，其中，任务处理请求包括任务引导信息。
本说明书一个或多个实施例中，在任务处理前期，可以获取任务引导信息，通过任务引导信息对任务处理过程进行引导，从而高效准确地生成符合任务引导信息的处理结果。
具体地，任务处理请求可以是针对不同任务的处理请求，任务包括但不限于文本生成任务、动作生成任务、语音处理任务等等。任务引导信息是多模态的，包括但不限于文本引导信息、图像引导信息、语音引导信息、轨迹引导信息、视频引导信息等等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。以动作生成任务为例，动作引导信息可以是不同数字对象的动作引导信息，如虚拟人物、虚拟动物、虚拟车等等，其中，文本引导信息包括但不限于动作类别、自然语言描述文本；图像引导信息也可以理解为视觉信号，如参考图像，参考图像中包括参考动作、部分时刻的动作等，旨在保证生成动作序列中对应时刻的动作一致，如动作***（In-betweening），动作填充（In-filling）。轨迹引导信息也可以理解为轨迹信号，是指动作序列中不同时刻对应的位置，控制对象行进的方向，可以用于运动控制（motion control）任务。
实际应用中，接收用户输入的任务处理请求有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。本说明书一种可能的实现方式中，可以接收用户主动发送的任务处理请求，任务处理请求包括任务引导信息。本说明书另一种可能的实现方式中，任务处理请求包括任务引导信息的信息标识，可以从引导信息库中获取信息标识对应的任务引导信息，其中，引导信息库中包括多个任务引导信息。
步骤306：将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征，其中，任务处理模型基于多模态的样本引导信息、样本任务序列和样本任务特征训练得到，样本任务特征是对样本任务序列进行量化编码得到。
本说明书一个或多个实施例中，在接收用户输入的任务处理请求之后，进一步地，可以将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征。
具体地，任务处理模型是可以对任务引导信息进行特征提取的Transformer模型，经任务处理模型的处理，可以将任务引导信息处理为离散的目标任务特征。
需要说明的是，任务处理模型包括第一编码器和第一解码器，上述将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征，可以包括以下步骤：
将任务引导信息输入第一编码器，获得任务引导信息对应的任务引导特征；
将任务引导特征和全掩码任务序列输入第一解码器，获得任务引导信息对应的目标任务特征。
具体地，任务序列是任务本身的连续表示，如动作序列包含23个主要关节点，动作主要通过每个骨骼的旋转角表示，角度是连续的。
需要说明的是，将任务引导信息输入第一编码器，可以对任务引导信息进行编码，生成任务引导信息对应的编码表示，也即任务引导特征。在获得任务引导特征之后，与任务处理模型的训练不同，实际应用中无参考的样本任务序列，因此，可以基于全掩码任务序列进行迭代掩码实现无参考任务序列下的任务处理，预测得到完整的任务序列，进一步地，获得任务引导信息对应的目标任务特征。
应用本说明书实施例的方案，将任务引导信息输入第一编码器，获得任务引导信息对应的任务引导特征；将任务引导特征和全掩码任务序列输入第一解码器，获得任务引导信息对应的目标任务特征。从而实现了高效、准确地获得目标任务特征。
步骤308：对目标任务特征进行量化解码，获得任务引导信息对应的任务处理结果。
本说明书一个或多个实施例中，在接收用户输入的任务处理请求，其中，任务处理请求包括任务引导信息，将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征之后，进一步地，可以对目标任务特征进行量化解码，获得任务引导信息对应的任务处理结果。
应用本说明书实施例的方案，接收云侧设备发送的任务处理模型的模型参数，并根据模型参数构建任务处理模型；接收用户输入的任务处理请求，其中，任务处理请求包括任务引导信息；将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征，其中，任务处理模型基于多模态的样本引导信息、样本任务序列和样本任务特征训练得到，样本任务特征是对样本任务序列进行量化编码得到；对目标任务特征进行量化解码，获得任务引导信息对应的任务处理结果。由于任务处理模型是基于多模态的样本引导信息训练得到，可以实现多模态的任务统一，因此，通过任务处理模型可以高效、准确地生成目标任务特征，进一步提高了任务处理结果的准确性。
本说明书实施例中，任务处理模型包括第一编码器和第一解码器，第一编码器和第一解码器的训练方式在下面的实施例中逐一进行详细说明。
参见图4，图4示出了本说明书一个实施例提供的另一种任务处理模型的数据处理方法的流程图，任务处理模型的数据处理方法应用于云侧设备，云侧设备与多个端侧设备连接；具体包括以下步骤：
步骤402：获取第一样本集，其中，第一样本集包括多模态的样本引导信息。
具体地，样本引导信息为多模态的控制信号，包括样本文本信息、样本图像信息、样本轨迹信息、样本语音信息、样本视频信息等信息中的至少两种。
需要说明的是，获取第一样本集的方式有多种，可以是人工输入大量多模态的样本引导信息组成第一样本集，也可以是从其他数据获取设备或者数据库中读取大量多模态的样本引导信息组成第一样本集，获取第一样本集的方式具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
步骤404：将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征。
步骤406：根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到。
步骤408：向端侧设备发送训练得到的任务处理模型的模型参数。
具体地，样本任务序列为样本任务的本身的连续表示。初始处理模型包括第一编码器和第一解码器，第一预设停止条件包括第一停止子条件。
应用本说明书实施例的方案，获取第一样本集，其中，第一样本集包括多模态的样本引导信息；将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备发送训练得到的任务处理模型的模型参数。由于任务处理模型是基于多模态的样本引导信息训练得到，可以实现多模态的任务统一，提高了模型的准确性和普适性。
本说明书一种可选的实施例中，上述将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征，可以包括以下步骤：
从第一样本集中提取第一样本引导信息，其中，第一样本引导信息为第一样本集中的任一样本引导信息；
将第一样本引导信息输入预先训练的第一编码器中，获得第一样本引导特征；
对样本任务序列进行掩码处理，获得掩码任务序列；
将第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征；
上述根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，可以包括以下步骤：
根据第一预测任务特征和样本任务序列对应的样本任务特征，计算解码损失值；
根据解码损失值，调整第一解码器的参数，并返回执行从第一样本集中提取第一样本引导信息的步骤，在达到第一停止子条件的情况下，获得训练后的第一解码器。
需要说明的是，预先训练的第一编码器是指预先训练的初始处理模型的第一编码器。对第一解码器进行训练时，可以采用类似特征提取模型（ViT,Vision Transformer）的训练方式，对样本引导信息对应的样本任务序列进行拆分，将相邻时刻和关键点看成一个分块（patch），从而获得多个patch，再将每个patch拉平，再通过一个线性层映射为输入的embedding，此外添加一个可学习的[Motion MASK]token用于代表被mask的位置。
进一步地，在第一解码器的训练过程中，可以采用迭代掩码的训练方式，迭代掩码过程包括退化和恢复过程，具体在离散的code层面进行退化，每次迭代以一定概率将样本任务序列中的特征（embedding）替换为掩码表示（mask token）的embedding。在抽样（sampling）的方式上，可以采用网络预测sampling的位置，从而提高收敛速度，使得预测结果更加稳定。
本说明书一种可能的实现方式中，第一停止子条件包括解码损失值小于或等于第一预设阈值，其中，第一预设阈值具体根据实际情况进行选择，本说明书实施例对此不作任何限定。将第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征，在得到第一预测任务特征后，根据第一预测任务特征和样本任务序列对应的样本任务特征，计算解码损失值，将解码损失值与第一预设阈值进行比较。
具体地，若解码损失值大于第一预设阈值，则说明第一预测任务特征和样本任务序列对应的样本任务特征的差异较大，第一解码器对于第一样本引导特征和掩码任务序列的预测能力较差，此时可以调整第一解码器的参数，并返回执行从多模态的样本引导信息中提取第一样本引导信息的步骤，继续对第一解码器进行训练，直至解码损失值小于或等于第一预设阈值，说明第一预测任务特征和样本任务序列对应的样本任务特征的差异较小，达到第一停止子条件，获得完成训练的第一解码器。
应用本说明书实施例的方案，将第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征；根据第一预测任务特征和样本任务序列对应的样本任务特征，计算解码损失值；将解码损失值和第一预设阈值进行比较，在大于第一预设阈值的情况下继续训练第一解码器，直至解码损失值小于或等于第一预设阈值，完成对第一解码器的训练，通过不断对第一解码器的参数进行调整，使得最终得到的第一解码器更加精准。
本说明书另一种可能的实现方式中，除了比较解码损失值和第一预设阈值的大小关系之外，还可以结合迭代次数，确定当前的第一解码器是否训练完成。
具体地，若解码损失值大于第一预设阈值，则调整第一解码器的参数，并返回执行从多模态的样本引导信息中提取第一样本引导信息的步骤，继续对第一解码器进行训练，在达到第一预设迭代次数的情况下，停止迭代，得到完成训练的第一解码器，其中，第一预设迭代次数具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
应用本说明书实施例的方案，将第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征；根据第一预测任务特征和样本任务序列对应的样本任务特征，计算解码损失值；将解码损失值和第一预设阈值进行比较，在大于第一预设阈值的情况下继续训练第一解码器，直至达到第一预设迭代次数，完成对第一解码器的训练，通过不断对第一解码器的参数进行调整，使得最终得到的第一解码器更加精准。
实际应用中，计算解码损失值的函数有很多，如交叉熵损失函数、L1范数损失函数、最大损失函数、均方误差损失函数、对数损失函数等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
本说明书一种可选的实施例中，第一预设停止条件包括第二停止子条件；任务处理模型的第一编码器的训练方式，可以包括以下步骤：
获取第二样本集，其中，第二样本集包括多模态的样本引导信息，样本引导信息携带样本引导特征；
从第二样本集中提取第二样本引导信息，其中，第二样本引导信息为第二样本集中的任一样本引导信息；
将第二样本引导信息输入第一编码器中，获得第二样本引导信息对应的第一预测引导特征；
根据第一预测引导特征和第二样本引导信息携带的第二样本引导特征，计算编码损失值；
根据编码损失值，调整第一编码器的参数，并返回执行从第二样本集中提取第二样本引导信息的步骤，在达到第二停止子条件的情况下，获得训练后的第一编码器。
具体地，任务处理模型在结构上采用了编码器（encoder）-解码器（decoder）框架，第一编码器和第一解码器通过交叉注意力层（cross-attention）连接，实现seq2seq的关联，不再依赖单一隐变量的压缩。第一编码器和第一解码器都是多层双向transformer结构。第一编码器输入多模态的控制信号，也即多模态的样本引导信息，其中，多模态的样本引导信息包括样本文本信息、样本图像信息、样本轨迹信息、样本语音信息、样本视频信息等信息中的至少两种。
需要说明的是，对第一编码器进行训练时，可以采用大规模的预训练模型，如多模态生成模型（OFA，One-For-All）、图文相关性匹配模型（CLIP，Contrastive Language-Image Pre-training）等等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
实际应用中，获取第二样本集的方式有多种，可以是人工输入大量多模态的样本引导信息组成第二样本集，也可以是从其他数据获取设备或者数据库中读取大量多模态的样本引导信息组成第二样本集，获取第二样本集的方式具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中，第二停止子条件包括编码损失值小于或等于第二预设阈值，其中，第二预设阈值具体根据实际情况进行选择，本说明书实施例对此不作任何限定。将第二样本引导信息输入第一编码器中，获得第二样本引导信息对应的第一预测引导特征，在得到第一预测引导特征后，根据第一预测引导特征和第二样本引导信息携带的第二样本引导特征，计算编码损失值，将编码损失值与第二预设阈值进行比较。
具体地，若编码损失值大于第二预设阈值，则说明第一预测引导特征和第二样本引导信息携带的第二样本引导特征的差异较大，第一编码器对于第二样本引导信息的预测能力较差，此时可以调整第一编码器的参数，并返回执行从多模态的样本引导信息中提取第二样本引导信息的步骤，继续对第一编码器进行训练，直至编码损失值小于或等于第二预设阈值，说明第一预测引导特征和第二样本引导信息携带的第二样本引导特征的差异较小，达到第二停止子条件，获得完成训练的第一编码器。
应用本说明书实施例的方案，将第二样本引导信息输入第一编码器中，获得第二样本引导信息对应的第一预测引导特征；根据第一预测引导特征和第二样本引导信息携带的第二样本引导特征，计算编码损失值；将编码损失值和第二预设阈值进行比较，在大于第二预设阈值的情况下继续训练第一编码器，直至编码损失值小于或等于第二预设阈值，完成对第一编码器的训练，通过不断对第一编码器的参数进行调整，使得最终得到的第一编码器更加精准。
本说明书另一种可能的实现方式中，除了比较编码损失值和第二预设阈值的大小关系之外，还可以结合迭代次数，确定当前的第一编码器是否训练完成。
具体地，若编码损失值大于第二预设阈值，则调整第一编码器的参数，并返回执行从多模态的样本引导信息中提取第二样本引导信息的步骤，继续对第一编码器进行训练，在达到第二预设迭代次数的情况下，停止迭代，得到完成训练的第一编码器，其中，第二预设迭代次数具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
应用本说明书实施例的方案，将第二样本引导信息输入第一编码器中，获得第二样本引导信息对应的第一预测引导特征；根据第一预测引导特征和第二样本引导信息携带的第二样本引导特征，计算编码损失值；将编码损失值和第二预设阈值进行比较，在大于第二预设阈值的情况下继续训练第一编码器，直至达到第二预设迭代次数，完成对第一编码器的训练，通过不断对第一编码器的参数进行调整，使得最终得到的第一编码器更加精准。
实际应用中，计算编码损失值的函数有很多，如交叉熵损失函数、L1范数损失函数、最大损失函数、均方误差损失函数、对数损失函数等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。优选地，可以利用交叉熵损失函数计算编码损失值，通过利用交叉熵损失函数，计算第一预测引导特征和第二样本引导信息携带的第二样本引导特征的交叉熵作为编码损失值，提高了计算编码损失值的效率，从而提高了第一编码器的训练效率。
本说明书一种可选的实施例中，上述样本任务序列对应的样本任务特征是对样本任务序列进行量化编码获得的，也即，上述根据第一预测任务特征和样本任务序列对应的样本任务特征，计算解码损失值之前，还可以包括以下步骤：
将样本任务序列输入预先训练的量化生成模型的第二编码器，经第二编码器的编码处理，获得样本任务序列对应的样本任务特征。
需要说明的是，量化生成模型包括第二编码器和第二解码器，第二编码器可以对连续的任务序列进行量化处理，获得离散的任务特征，第二解码器可以对离散的任务特征进行量化解码，从而重建任务序列。量化生成模型（VQ，Vector Quantization）的第二编码器为图像生成中的自编码器（Auto encoder）结构，在训练量化生成模型时，可以在网络中间过程中引入一个离散的编码字典（codebook），以重建任务为目标，从而对量化生成模型的模型参数进行迭代更新，获得量化生成模型。
应用本说明书实施例的方案，将样本任务序列输入预先训练的量化生成模型的第二编码器，经第二编码器的编码处理，获得样本任务序列对应的样本任务特征。提高了获得样本任务序列对应的样本任务特征的效率和准确性。
本说明书一种可选的实施例中，对任务处理模型进行训练时，还可以在每次迭代过程中输入对应的时间步特征（timestep embedding）作为训练补充，从而提高任务处理模型的准确性，也即，上述将第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征，可以包括以下步骤：
获取预先设置的时间步特征，其中，时间步特征和训练迭代次数一一对应；
将时间步特征、第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征。
需要说明的是，不同的时间步对应不同的可学习的特征，因此，在对任务处理模型进行训练时，可以获取当前迭代次数对应的timestep embedding，将timestep embedding、第一样本引导特征和掩码任务序列一起输入第一解码器中，即可获得准确的第一预测任务特征。
示例性地，假设当前的训练迭代次数为2，则确定当前的训练迭代次数2对应的时间步特征为X，进一步地，将时间步特征X、第一样本引导特征和掩码任务序列一起输入第一解码器中，获得第一预测任务特征。
应用本说明书实施例中，获取预先设置的时间步特征，其中，时间步特征和训练迭代次数一一对应；将时间步特征、第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征。通过时间步特征作为训练任务处理模型的补充，提高了任务处理模型的准确性。
本说明书一种可选的实施例中，量化生成模型包括第二编码器和第二解码器；量化生成模型的训练方式，可以包括以下步骤：
获取第三样本集，其中，第三样本集包括多个训练样本序列；
从第三样本集中提取第一训练样本序列，其中，第一训练样本序列为第三样本集中的任一训练样本序列；
将第一训练样本序列输入第二编码器中，获得第一测试特征；
将第一测试特征和预设提示信息输入第二解码器中，获得第一测试序列；
根据第一训练样本序列和第一测试序列，计算量化损失值；
根据量化损失值，调整第二编码器和第二解码器的参数，并返回执行提取从第三样本集中第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数；
向端侧设备发送训练得到的量化生成模型的模型参数。
具体地，量化生成模型的训练过程中，可以引入预设提示信息控制，也即，在量化生成模型的第二解码器侧引入预设提示信息，使得第二解码器结合预设提示信息和被第二编码器压缩获得的第一测试特征来重建任务序列。以动作生成任务为例，预设提示信息为预设轨迹信息，通过预设轨迹信息可以实现轨迹解耦控制，进一步地，可以随机选择动作朝向，也即，设置不同的预设轨迹信息，使得量化生成模型学习到动作和轨迹方向的关联，直观的在特征层次实现简单的motion control功能。
需要说明的是，本说明书实施例中第三样本集中的多个训练样本序列可以是多模态样本信息对应的样本序列，其中，多模态样本信息包括样本文本信息、样本图像信息、样本轨迹信息、样本语音信息、样本视频信息等信息中的至少两种。
实际应用中，获取第三样本集的方式有多种，可以是人工输入大量训练样本序列组成第三样本集，也可以是从其他数据获取设备或者数据库中读取大量训练样本序列组成第三样本集，获取第三样本集的方式具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
本说明书一种可能的实现方式中，第三预设停止条件包括量化损失值小于或等于第三预设阈值，其中，第三预设阈值具体根据实际情况进行选择，本说明书实施例对此不作任何限定。将第一测试特征和预设提示信息输入第二解码器中，获得第一测试序列，在得到第一测试序列后，根据第一测试序列和第一训练样本序列，计算获得量化损失值，将量化损失值与第三预设阈值进行比较。
具体地，若量化损失值大于第三预设阈值，则说明第一测试序列和第一训练样本序列的差异较大，量化生成模型对于第一测试特征和预设提示信息的预测能力较差，此时可以调整量化生成模型的模型参数，并返回执行从多个训练样本序列中提取第一训练样本序列的步骤，继续对量化生成模型进行训练，直至量化损失值小于或等于第三预设阈值，说明第一测试序列和第一训练样本序列的差异较小，达到第三预设停止条件，获得完成训练的量化生成模型。
应用本说明书实施例的方案，将第一训练样本序列输入第二编码器中，获得第一测试特征；将第一测试特征和预设提示信息输入第二解码器中，获得第一测试序列；根据第一训练样本序列和第一测试序列，计算量化损失值；将量化损失值和第三预设阈值进行比较，在大于第三预设阈值的情况下继续训练量化生成模型，直至量化损失值小于或等于第三预设阈值，完成对量化生成模型的训练，通过不断对量化生成模型的模型参数进行调整，使得最终得到的量化生成模型更加精准。
本说明书另一种可能的实现方式中，除了比较量化损失值和第三预设阈值的大小关系之外，还可以结合迭代次数，确定当前的量化生成模型是否训练完成。
具体地，若量化损失值大于第三预设阈值，则调整量化生成模型的模型参数，并返回执行从多个训练样本序列中提取第一训练样本序列的步骤，继续对量化生成模型进行训练，在达到第三预设迭代次数的情况下，停止迭代，得到完成训练的量化生成模型，其中，第三预设迭代次数具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
应用本说明书实施例的方案，将第一训练样本序列输入第二编码器中，获得第一测试特征；将第一测试特征和预设提示信息输入第二解码器中，获得第一测试序列；根据第一训练样本序列和第一测试序列，计算量化损失值；将量化损失值和第三预设阈值进行比较，在大于第三预设阈值的情况下继续训练量化生成模型，直至达到第三预设迭代次数，完成对量化生成模型的训练，通过不断对量化生成模型的模型参数进行调整，使得最终得到的量化生成模型更加精准。
实际应用中，计算量化损失值的函数有很多，如交叉熵损失函数、L1范数损失函数、最大损失函数、均方误差损失函数、对数损失函数等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
本说明书一种可选的实施例中，为了保证任务序列中时间的连续性，在上述将第一测试特征和预设提示信息输入第二解码器中，获得第一测试序列之后，还可以包括以下步骤：
对第一测试序列进行随机时刻切分，获得第一测试子序列和第二测试子序列；
根据第一测试子序列和第二测试子序列，计算连续性损失值；
上述根据量化损失值，调整第二编码器和第二解码器的参数，并返回执行从第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数，可以包括以下步骤：
根据量化损失值和连续性损失值，调整第二编码器和第二解码器的参数，并返回执行从第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数。
需要说明的是，以动作生成任务为例，在动作生成过程中，由于两段离散的动作特征拼接在一起也能生成连续的动作序列，有着平滑过渡的效果，因此，为了避免动作生成过程中的出现时序混乱，满足动作序列的时间连续性要求，在训练量化生成模型时，对一段连续动作序列，以随机时刻切分为第一测试子序列（seq1），第二测试子序列（seq2），引入动作序列时序重建一致性损失函数计算连续性损失值L，如以下公式（1）所示：
L=MSEloss(Decoder(Concat(Encoder(seq1),Encoder(seq2))),Decoder(Encoder(Concat(seq1,seq2)))) （1）
应用本说明书实施例的方案，对第一测试序列进行随机时刻切分，获得第一测试子序列和第二测试子序列；根据第一测试子序列和第二测试子序列，计算连续性损失值；根据量化损失值和连续性损失值，调整第二编码器和第二解码器的参数，并返回执行从第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数，使得生成的任务序列满足时间连续性要求，进一步提高了任务处理模型的准确性。
需要说明的是，本说明书实施例提供的动作生成方法，可以应用于不同的动作生成场景，如游戏场景中虚拟人、虚拟动物等对象的动作生成，又如电商场景中虚拟客服的动作生成等等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
下述结合附图5，以本说明书提供的任务处理模型的数据处理方法在虚拟人物动画生成领域的应用为例，对所述任务处理模型的数据处理方法进行进一步说明。参见图5，图5示出了本说明书一个实施例提供的一种虚拟人物动画生成方法的流程图，具体包括以下步骤：
步骤502：接收前端发送的虚拟人物动画生成请求，其中，虚拟人物动画生成请求包括动画引导信息。
步骤504：将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征。
其中，虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到。
步骤506：对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列。
步骤508：根据虚拟人物动作序列，生成虚拟人物动画发送至前端，以使前端显示虚拟人物动画。
具体地，动画引导信息是指用于指导虚拟人物动画生成的信息，动画引导信息包括但不限于动画引导文本信息、动画引导图像信息、动画引导语音信息、动画引导视频信息、动画引导轨迹信息，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
需要说明的是，步骤502、步骤504、步骤506的实现方式，与上述步骤404、步骤406、步骤408的实现方式相同，本说明书实施例便不再进行赘述。
进一步地，在获得动画引导信息对应的虚拟人物动作序列之后，可以根据虚拟人物动作序列的时间顺序，控制虚拟人物的骨骼运动，从而生成虚拟人物动画。
应用本说明书实施例的方案，接收前端发送的虚拟人物动画生成请求，其中，虚拟人物动画生成请求包括动画引导信息；将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征，其中，虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到；对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列；根据虚拟人物动作序列，生成虚拟人物动画发送至前端，以使前端显示虚拟人物动画。由于虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到，因此，通过虚拟人物动画生成模型可以高效、准确地生成虚拟人物动作序列，进一步可以根据虚拟人物动作序列生成准确的虚拟人物动画。
本说明书一种可选的实施例中，上述将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征之前，还可以包括以下步骤：
接收用户输入的指定提示信息，其中，指定提示信息包括指定提示文本和/或指定提示音频；
将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征，可以包括以下步骤：
将指定提示信息、动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征。
具体地，指定提示信息是针对动画引导信息提示信息，该指定提示信息可以是文本形式，还可以是音频形式，当然还可以是文本和音频组合的形式，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
示例性地，假设动画引导信息为动画引导图像，指定提示信息可以为对动画引导图像进行提示的文本，如“动画引导图像中的人在跳舞”。
应用本说明书实施例的方案，接收用户输入的指定提示信息，其中，指定提示信息包括指定提示文本和/或指定提示音频；将指定提示信息、动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征，提高了虚拟人物动画特征的准确性。
本说明书一种可选的实施例中，上述对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列之后，还可以包括以下步骤：
接收用户输入的当前场景的场景信息；
根据场景信息，利用虚拟人物动画生成模型，对虚拟人物动作序列进行调整，得到调整后的虚拟人物动作序列。
具体地，场景信息为虚拟人物动画中的动画场景，包括背景信息、天气信息、地理信息等等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
需要说明的是，根据场景信息，利用虚拟人物动画生成模型，对虚拟人物动作序列进行调整时，可以将场景信息和动画引导信息输入虚拟人物动画生成模型的编码器中，获得场景编码特征和动画引导特征，进一步将场景编码特征、动画引导特征和全掩码动画序列输入虚拟人物动画生成模型的解码器中，获得调整后的虚拟人物动作序列，最后，对调整后的虚拟人物动画特征进行量化解码，获得调整后的虚拟人物动作序列。
应用本说明书实施例的方案，接收用户输入的当前场景的场景信息；根据场景信息，利用虚拟人物动画生成模型，对虚拟人物动作序列进行调整，得到调整后的虚拟人物动作序列。通过根据当前场景的场景信息对虚拟人物动作序列进行调整，使得虚拟人物动作序列更加真实，进一步提高了虚拟人物动画的真实性。
本说明书一种可选的实施例中，可以将虚拟人物动画特征输入预先训练的量化生成模型的第二解码器中，经第二解码器的解码处理，获得动画引导信息对应的虚拟人物动作序列。进一步地，为了生成更为准确的、符合用户需求的虚拟人物动作序列，用户还可以输入目标轨迹信息，利用目标轨迹信息控制动作生成的方向，也即，上述对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列，可以包括以下步骤：
接收用户输入的目标轨迹信息；
将虚拟人物动画特征和目标轨迹信息输入量化生成模型的第二解码器中，经第二解码器的解码处理，获得动画引导信息对应的虚拟人物动作序列，其中，量化生成模型基于多个训练样本序列训练得到。
需要说明的是，目标轨迹信息可以通过相邻两帧的相对位移表示。量化生成模型学习类似文本字典的编码字典（codebook），可以将连续的动作序列转化为离散的动作特征，同时在不同轨迹信息的输入下，通过轨迹解耦实现控制动作生成的方向。虚拟人物动作序列包括动作相关参数，通过虚拟人物动作序列，可以实现对虚拟人物进行驱动，以T×N的动作序列为例，T指动作帧数，N指动作的骨骼点数，对每一帧的每一个骨骼点，采用6D旋转（rotation）来表示，即动作序列表示为T×N×6的维度。
应用本说明书实施例的方案，接收用户输入的目标轨迹信息；将虚拟人物动画特征和目标轨迹信息输入量化生成模型的第二解码器中，经第二解码器的解码处理，获得动画引导信息对应的虚拟人物动作序列，其中，量化生成模型基于多个训练样本序列训练得到。由于动作的运动轨迹往往和虚拟对象的朝向相关，对虚拟对象的朝向和轨迹同时旋转来进行数据增强，保证模型能从轨迹信息中学到动作中朝向等相关信息，生成符合用户需求的虚拟人物动作序列，提高了虚拟人物动画的准确性。
参见图6，图6示出了本说明书一个实施例提供的一种虚拟人物动画生成方法的处理过程示意图。如图6所示，用户输入动画引导信息，动画引导信息包括动作轨迹（3D位移），动作类型（text），部分动作（关键帧的动作6D表示和3D位置），文本描述，图像、图像、文本描述、轨迹的多种组合中的任意一种，分别将动画引导信息输入虚拟人物动画生成模型，经虚拟人物动画生成模的处理，获得动画引导信息对应的虚拟人物动画特征，其中，虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到；对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列。
应用本说明书实施例的方案，将不同模态的动画引导信息转化到统一的格式，同时在学习过程中兼容了不同信息的统一输入，从而实现了多种多模态虚拟人物动画生成任务的统一，提高了虚拟人物动作序列的准确性。
参见图7，图7示出了本说明书一个实施例提供的一种虚拟人物动画生成界面的界面示意图。
虚拟人物动画生成界面中包括动画引导信息上传框、“确定”控件、“取消”控件以及虚拟人物动画展示框。用户通过前端显示的动画引导信息上传框上传动画引导信息，点选“确定”控件，服务端将动画引导信息输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动作序列，根据虚拟人物动作序列，生成虚拟人物动画送至前端，前端的虚拟人物动画展示框中展示动画引导信息对应的虚拟人物动画。
需要说明的是，用户对控件进行操作的方式包括点击、双击、触控、鼠标悬停、滑动、长按、语音控制或摇一摇等任一方式，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
参见图8，图8示出了本说明书一个实施例提供的一种量化生成模型的数据处理方法的流程图，其中，量化生成模型包括第二编码器和第二解码器，量化生成模型的数据处理方法应用于云侧设备，具体包括以下步骤：
步骤802：获取第三样本集，其中，第三样本集包括多个训练样本序列。
步骤804：将训练样本序列输入第二编码器中，获得测试动作特征。
步骤806：将测试动作特征和预设轨迹信息输入第二解码器中，获得测试动作序列。
步骤808：根据训练样本序列和测试动作序列，对量化生成模型进行训练，在达到第三预设停止条件的情况下，获得训练得到的量化生成模型的模型参数。
步骤810：向端侧设备发送训练得到的量化生成模型的模型参数。
需要说明的是，步骤802至步骤808的具体实现方式与上述图4提供的任务处理模型的数据处理的实现方式相同，本说明书实施例便不再进行赘述。
实际应用中，云侧设备将量化生成模型的模型参数发送至端侧设备之后，端侧设备可以根据量化生成模型的模型参数构建量化生成模型，从而在端侧实现动作生成。
值得说明的是，由于量化生成模型的模型较小，因此，上述量化生成模型的数据处理方法也可以由端侧设备执行。
应用本说明书实施例的方案，云侧设备获取第三样本集，其中，第三样本集包括多个训练样本序列；将训练样本序列输入第二编码器中，获得测试动作特征；将测试动作特征和预设轨迹信息输入第二解码器中，获得测试动作序列；根据训练样本序列和测试动作序列，对量化生成模型进行训练，在达到第三预设停止条件的情况下，获得训练得到的量化生成模型的模型参数；向端侧设备发送训练得到的量化生成模型的模型参数。通过不断对量化生成模型的模型参数进行调整，使得最终得到的量化生成模型的模型参数更加精准。
参见图9，图9示出了本说明书一个实施例提供的一种任务处理模型和量化生成模型的训练流程图，以动作生成任务为例，任务处理模型即为动作生成模型，具体包括：
量化生成模型的训练：通过网络学习一个codebook，网络会将多模态的训练样本序列先转化到若干个测试动作特征（embedding），其中，测试动作特征的数量小于原始的帧数乘关键点数，然后每个测试动作特征通过相似度离散到codebook的最近embedding，最后再将对应codebook的embedding和预设轨迹信息通过网络解码得到测试动作序列。整个过程通过训练样本序列和测试动作序列的误差、codebook中最近的embedding和测试动作特征的距离来优化。
需要说明的是，量化生成模型的第二编码器只用于训练阶段，而且第二编码器的输出是作为动作生成模型的第一解码器输出的标签。
动作生成模型的训练：将多模态的样本引导信息输入动作生成模型的第一编码器中，获得样本引导信息对应的样本引导特征。对原始动作序列进行掩码处理，将样本引导特征和掩码处理后的原始动作序列输入动作生成模型的第一解码器，获得解码动作序列，进一步对解码动作序列进行离散化处理，获得预测动作特征，根据预测动作特征和原始动作序列对应的样本动作特征的误差，对第一解码器进行优化，得到动作生成模型，其中，第一编码器和第一解码器通过交叉注意力层连接。
需要说明的是，动作生成模型的训练过程包括退化和恢复过程，退化过程采用掩码的方式，将多模态的样本引导信息一起训练，当某种模态的样本引导信息存在缺失时，将对应的位置替换为mask token进行预测掩码。每次会随机不同step，对应不同的掩码概率分布，按照对应的mask概率进行mask，然后训练模型预测原始动作序列，此外，还设置一个额外的mask head将模型预测结果重新输入网络让模型预测被mask的位置。在测试阶段，通过调整不同的输入条件来完成多样的动作生成任务。开始输入为全mask的序列，每次预测根据mask head结构对code head 预测结果进行mask，再次进行迭代预测，将最后一次的预测结果作为输出，具体地，迭代过程具体指开始在第一解码器输入全mask token的原始动作序列，预测得到第一步的完整序列特征，将完整序列特征通过第二解码器得到测试动作序列，将测试动作序列输入第一解码器预测mask的位置，进行掩码，然后将掩码后的第一步的完整序列特征和第二步时间戳输入第一解码器再次预测（也即恢复），直至完成迭代。
实际应用中，动作生成模型预测的是序列转到codebook中的embedding位置，即离散化的动作序列，其中，对解码动作序列离散化处理时，具体是对每一步运动包含的X和Y轴的运动距离直接离散化得到预测动作特征，如0到1米的范围划分为200个区间，0到0.005米都会归到第1个预测动作特征，而离散的动作预测动作特征对应的是学习到的codebook。
应用本说明书实施例的方案，通过把动作序列转化为离散动作特征序列的方式，从而实现把不同控制信号都表示为seq2seq，通过mask token替代不同动作引导信息的差异，从多模态的信号中学到和动作序列的关联性。并且，将不同模态的动作引导信息转化为统一形式的表示，从而保证数据量的提升，支持模型的提升（scale up），同时，多任务也避免了模型过拟合。通过迭代掩码建模方式，在离散code层面学习多次掩码退化和恢复过程，通过网络预测mask位置进行sampling，相比扩散模型中加随机噪声的方式，保证了在生成任务上训练和测试的一致性。通过跨模态学习，模型展示出一定的迁移和零次学习（zero-shot），能够实现多模态输入信息的联合控制。
需要说明的是，上述方法实施例中所涉及的样本引导信息、样本任务序列、训练样本序列、预设提示信息、动画引导信息、全掩码动画序列、指定提示信息、场景信息、目标轨迹信息等信息和数据，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
与上述应用于云侧设备的任务处理模型的数据处理方法实施例相对应，本说明书还提供了任务处理模型的数据处理装置实施例，图10示出了本说明书一个实施例提供的一种任务处理模型的数据处理装置的结构示意图，该装置应用于云侧设备，云侧设备与多个端侧设备连接；如图10所示，该装置包括：
获取模块1002，被配置为获取第一样本集，其中，第一样本集包括多模态的样本引导信息；
第一输入模块1004，被配置为将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；
训练模块1006，被配置为根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；
发送模块1008，被配置为向端侧设备发送训练得到的任务处理模型的模型参数。
可选地，初始处理模型包括第一编码器和第一解码器，第一预设停止条件包括第一停止子条件；第一输入模块1004，进一步被配置为从第一样本集中提取第一样本引导信息，其中，第一样本引导信息为第一样本集中的任一样本引导信息；将第一样本引导信息输入预先训练的第一编码器中，获得第一样本引导特征；对样本任务序列进行掩码处理，获得掩码任务序列；将第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征；训练模块1006，进一步被配置为根据第一预测任务特征和样本任务序列对应的样本任务特征，计算解码损失值；根据解码损失值，调整第一解码器的参数，并返回执行从第一样本集中提取第一样本引导信息的步骤，在达到第一停止子条件的情况下，获得训练后的第一解码器。
可选地，第一预设停止条件包括第二停止子条件；第一输入模块1004，进一步被配置为获取第二样本集，其中，第二样本集包括多模态的样本引导信息，样本引导信息携带样本引导特征；从第二样本集中提取第二样本引导信息，其中，第二样本引导信息为第二样本集中的任一样本引导信息；将第二样本引导信息输入第一编码器中，获得第二样本引导信息对应的第一预测引导特征；根据第一预测引导特征和第二样本引导信息携带的第二样本引导特征，计算编码损失值；根据编码损失值，调整第一编码器的参数，并返回执行从第二样本集中提取第二样本引导信息的步骤，在达到第二停止子条件的情况下，获得训练后的第一编码器。
可选地，第一输入模块1004，进一步被配置为将样本任务序列输入预先训练的量化生成模型的第二编码器，经第二编码器的编码处理，获得样本任务序列对应的样本任务特征。
可选地，第一输入模块1004，进一步被配置为获取预先设置的时间步特征，其中，时间步特征和训练迭代次数一一对应；将时间步特征、第一样本引导特征和掩码任务序列输入第一解码器中，获得第一预测任务特征。
可选地，量化生成模型包括第二编码器和第二解码器；该装置还包括：量化生成模型训练模块，被配置为获取第三样本集，其中，第三样本集包括多个训练样本序列；从第三样本集中提取第一训练样本序列，其中，第一训练样本序列为第三样本集中的任一训练样本序列；将第一训练样本序列输入第二编码器中，获得第一测试特征；将第一测试特征和预设提示信息输入第二解码器中，获得第一测试序列；根据第一训练样本序列和第一测试序列，计算量化损失值；根据量化损失值，调整第二编码器和第二解码器的参数，并返回执行从第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数；向端侧设备发送训练得到的量化生成模型的模型参数。
可选地，量化生成模型训练模块，进一步被配置为对第一测试序列进行随机时刻切分，获得第一测试子序列和第二测试子序列；根据第一测试子序列和第二测试子序列，计算连续性损失值；根据量化损失值和连续性损失值，调整第二编码器和第二解码器的参数，并返回执行从第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数。
应用本说明书实施例的方案，获取第一样本集，其中，第一样本集包括多模态的样本引导信息；将样本引导信息和样本任务序列输入初始处理模型中，获得样本引导信息对应的预测任务特征；根据预测任务特征和样本任务序列对应的样本任务特征，对初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，样本任务特征是对样本任务序列进行量化编码得到；向端侧设备发送训练得到的任务处理模型的模型参数。由于任务处理模型是基于多模态的样本引导信息训练得到，可以实现多模态的任务统一，提高了模型的准确性和普适性。
上述为本实施例的一种任务处理模型的数据处理装置的示意性方案。需要说明的是，该任务处理模型的数据处理装置的技术方案与上述应用于云侧设备的任务处理模型的数据处理方法的技术方案属于同一构思，任务处理模型的数据处理装置的技术方案未详细描述的细节内容，均可以参见上述应用于云侧设备的任务处理模型的数据处理方法的技术方案的描述。
与上述应用于端侧设备的任务处理模型的数据处理方法实施例相对应，本说明书还提供了任务处理模型的数据处理装置实施例，图11示出了本说明书一个实施例提供的另一种任务处理模型的数据处理装置的结构示意图，该装置应用于端侧设备，端侧设备与云侧设备连接。如图11所示，该装置包括：
构建模块1102，被配置为接收云侧设备发送的任务处理模型的模型参数，并根据模型参数构建任务处理模型；
第一接收模块1104，被配置为接收用户输入的任务处理请求，其中，任务处理请求包括任务引导信息；
第二输入模块1106，被配置为将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征，其中，任务处理模型基于多模态的样本引导信息、样本任务序列和样本任务特征训练得到，样本任务特征是对样本任务序列进行量化编码得到；
第一解码模块1108，被配置为对目标任务特征进行量化解码，获得任务引导信息对应的任务处理结果。
可选地，任务处理模型包括第一编码器和第一解码器；第二输入模块1106，进一步被配置为将任务引导信息输入第一编码器，获得任务引导信息对应的任务引导特征；将任务引导特征和全掩码任务序列输入第一解码器，获得任务引导信息对应的目标任务特征。
应用本说明书实施例的方案，接收云侧设备发送的任务处理模型的模型参数，并根据模型参数构建任务处理模型；接收用户输入的任务处理请求，其中，任务处理请求包括任务引导信息；将任务引导信息和全掩码任务序列输入任务处理模型，经任务处理模型的处理，获得任务引导信息对应的目标任务特征，其中，任务处理模型基于多模态的样本引导信息、样本任务序列和样本任务特征训练得到，样本任务特征是对样本任务序列进行量化编码得到；对目标任务特征进行量化解码，获得任务引导信息对应的任务处理结果。由于任务处理模型是基于多模态的样本引导信息训练得到，可以实现多模态的任务统一，因此，通过任务处理模型可以高效、准确地生成目标任务特征，进一步提高了任务处理结果的准确性。
上述为本实施例的一种任务处理模型的数据处理装置的示意性方案。需要说明的是，该任务处理模型的数据处理装置的技术方案与上述应用于端侧设备的任务处理模型的数据处理方法的技术方案属于同一构思，任务处理模型的数据处理装置的技术方案未详细描述的细节内容，均可以参见上述应用于端侧设备的任务处理模型的数据处理方法的技术方案的描述。
与上述虚拟人物动画生成方法实施例相对应，本说明书还提供了虚拟人物动画生成装置实施例，图12示出了本说明书一个实施例提供的一种虚拟人物动画生成装置的结构示意图。如图12所示，该装置包括：
第二接收模块1202，被配置为接收前端发送的虚拟人物动画生成请求，其中，虚拟人物动画生成请求包括动画引导信息；
第三输入模块1204，被配置为将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征，其中，虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到；
第一解码模块1206，被配置为对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列；
生成模块1208，被配置为根据虚拟人物动作序列，生成虚拟人物动画发送至前端，以使前端显示虚拟人物动画。
可选地，该装置还包括：第四输入模块，被配置为接收用户输入的指定提示信息，其中，指定提示信息包括指定提示文本和/或指定提示音频；第三输入模块1204，进一步被配置为将指定提示信息、动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征。
可选地，该装置还包括：调整模块，被配置为接收用户输入的当前场景的场景信息；根据场景信息，利用虚拟人物动画生成模型，对虚拟人物动作序列进行调整，得到调整后的虚拟人物动作序列。
可选地，第一解码模块1206，进一步被配置为接收用户输入的目标轨迹信息；将虚拟人物动画特征和目标轨迹信息输入量化生成模型的第二解码器中，经第二解码器的解码处理，获得动画引导信息对应的虚拟人物动作序列，其中，量化生成模型基于多个训练样本序列训练得到。
应用本说明书实施例的方案，接收前端发送的虚拟人物动画生成请求，其中，虚拟人物动画生成请求包括动画引导信息；将动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经虚拟人物动画生成模型的处理，获得动画引导信息对应的虚拟人物动画特征，其中，虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到；对虚拟人物动画特征进行量化解码，获得动画引导信息对应的虚拟人物动作序列；根据虚拟人物动作序列，生成虚拟人物动画发送至前端，以使前端显示虚拟人物动画。由于虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，样本动画特征是对样本动画序列进行量化编码得到，因此，通过虚拟人物动画生成模型可以高效、准确地生成虚拟人物动作序列，进一步可以根据虚拟人物动作序列生成准确的虚拟人物动画。
上述为本实施例的一种虚拟人物动画生成装置的示意性方案。需要说明的是，该虚拟人物动画生成装置的技术方案与上述的虚拟人物动画生成方法的技术方案属于同一构思，虚拟人物动画生成装置的技术方案未详细描述的细节内容，均可以参见上述虚拟人物动画生成方法的技术方案的描述。
图13示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1300的部件包括但不限于存储器1310和处理器1320。处理器1320与存储器1310通过总线1330相连接，数据库1350用于保存数据。
计算设备1300还包括接入设备1340，接入设备1340使得计算设备1300能够经由一个或多个网络1360通信。这些网络的示例包括公用交换电话网（PSTN，Public SwitchedTelephone Network）、局域网（LAN，Local Area Network）、广域网（WAN，Wide AreaNetwork）、个域网（PAN，Personal Area Network）或诸如因特网的通信网络的组合。接入设备1340可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC，NetworkInterface Card））中的一个或多个，诸如IEEE802.11无线局域网（WLAN，Wireless LocalArea Networks）无线接口、全球微波互联接入（Wi-MAX，World Interoperability forMicrowave Access）接口、以太网接口、通用串行总线（USB，Universal Serial Bus）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC，Near Field Communication）接口，等等。
在本说明书的一个实施例中，计算设备1300的上述部件以及图13中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图13所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备1300可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或个人计算机（PC，Personal Computer）的静止计算设备。计算设备1300还可以是移动式或静止式的服务器。
其中，处理器1320用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任务处理模型的数据处理方法或者虚拟人物动画生成方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的任务处理模型的数据处理方法和虚拟人物动画生成方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述任务处理模型的数据处理方法或者虚拟人物动画生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任务处理模型的数据处理方法或者虚拟人物动画生成方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的任务处理模型的数据处理方法和虚拟人物动画生成方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述任务处理模型的数据处理方法或者虚拟人物动画生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述任务处理模型的数据处理方法或者虚拟人物动画生成方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的任务处理模型的数据处理方法和虚拟人物动画生成方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述任务处理模型的数据处理方法或者虚拟人物动画生成方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (16)
1.一种任务处理模型的数据处理方法，应用于云侧设备，所述云侧设备与多个端侧设备连接；所述方法包括：
获取第一样本集，其中，所述第一样本集包括多模态的样本引导信息；
将所述样本引导信息和样本任务序列输入初始处理模型中，获得所述样本引导信息对应的预测任务特征，所述样本引导信息用于引导任务处理过程；
根据所述预测任务特征和所述样本任务序列对应的样本任务特征，对所述初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，所述样本任务特征是对所述样本任务序列进行量化编码得到；
向端侧设备发送所述训练得到的任务处理模型的模型参数。
2.根据权利要求1所述的方法，所述初始处理模型包括第一编码器和第一解码器，所述第一预设停止条件包括第一停止子条件；所述将所述样本引导信息和样本任务序列输入初始处理模型中，获得所述样本引导信息对应的预测任务特征，包括：
从所述第一样本集中提取第一样本引导信息，其中，所述第一样本引导信息为所述第一样本集中的任一样本引导信息；
将所述第一样本引导信息输入预先训练的第一编码器中，获得第一样本引导特征；
对所述样本任务序列进行掩码处理，获得掩码任务序列；
将所述第一样本引导特征和所述掩码任务序列输入所述第一解码器中，获得第一预测任务特征；
所述根据所述预测任务特征和所述样本任务序列对应的样本任务特征，对所述初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，包括：
根据所述第一预测任务特征和所述样本任务序列对应的样本任务特征，计算解码损失值；
根据所述解码损失值，调整所述第一解码器的参数，并返回执行所述从所述第一样本集中提取第一样本引导信息的步骤，在达到第一停止子条件的情况下，获得训练后的第一解码器。
3.根据权利要求2所述的方法，所述第一预设停止条件包括第二停止子条件；所述第一编码器的训练方式，包括：
获取第二样本集，其中，所述第二样本集包括多模态的样本引导信息，所述样本引导信息携带样本引导特征；
从所述第二样本集中提取第二样本引导信息，其中，所述第二样本引导信息为所述第二样本集中的任一样本引导信息；
将所述第二样本引导信息输入所述第一编码器中，获得所述第二样本引导信息对应的第一预测引导特征；
根据所述第一预测引导特征和所述第二样本引导信息携带的第二样本引导特征，计算编码损失值；
根据所述编码损失值，调整所述第一编码器的参数，并返回执行所述从所述第二样本集中提取第二样本引导信息的步骤，在达到第二停止子条件的情况下，获得训练后的第一编码器。
4.根据权利要求2所述的方法，所述根据所述第一预测任务特征和所述样本任务序列对应的样本任务特征，计算解码损失值之前，还包括：
将样本任务序列输入预先训练的量化生成模型的第二编码器，经所述第二编码器的编码处理，获得所述样本任务序列对应的样本任务特征。
5.根据权利要求2所述的方法，所述将所述第一样本引导特征和所述掩码任务序列输入所述第一解码器中，获得第一预测任务特征，包括：
获取预先设置的时间步特征，其中，所述时间步特征和训练迭代次数一一对应；
将所述时间步特征、所述第一样本引导特征和所述掩码任务序列输入所述第一解码器中，获得第一预测任务特征。
6.根据权利要求4所述的方法，所述量化生成模型包括第二编码器和第二解码器；所述量化生成模型的训练方式，包括：
获取第三样本集，其中，所述第三样本集包括多个训练样本序列；
从所述第三样本集中提取第一训练样本序列，其中，所述第一训练样本序列为所述第三样本集中的任一训练样本序列；
将所述第一训练样本序列输入所述第二编码器中，获得第一测试特征；
将所述第一测试特征和预设提示信息输入所述第二解码器中，获得第一测试序列；
根据所述第一训练样本序列和所述第一测试序列，计算量化损失值；
根据所述量化损失值，调整所述第二编码器和所述第二解码器的参数，并返回执行所述从所述第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数；
向端侧设备发送所述训练得到的量化生成模型的模型参数。
7.根据权利要求6所述的方法，所述将所述第一测试特征和预设提示信息输入所述第二解码器中，获得第一测试序列之后，还包括：
对所述第一测试序列进行随机时刻切分，获得第一测试子序列和第二测试子序列；
根据所述第一测试子序列和所述第二测试子序列，计算连续性损失值；
所述根据所述量化损失值，调整所述第二编码器和所述第二解码器的参数，并返回执行所述从所述第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数，包括：
根据所述量化损失值和所述连续性损失值，调整所述第二编码器和所述第二解码器的参数，并返回执行所述从所述第三样本集中提取第一训练样本序列的步骤，在达到第二预设停止条件的情况下，获得训练得到的量化生成模型的模型参数。
8.一种任务处理模型的数据处理方法，应用于端侧设备，所述端侧设备与云侧设备连接；所述方法包括：
接收云侧设备发送的任务处理模型的模型参数，并根据所述模型参数构建任务处理模型；
接收用户输入的任务处理请求，其中，所述任务处理请求包括任务引导信息；
将所述任务引导信息和全掩码任务序列输入所述任务处理模型，经所述任务处理模型的处理，获得所述任务引导信息对应的目标任务特征，其中，所述任务处理模型基于多模态的样本引导信息、样本任务序列和样本任务特征训练得到，所述样本任务特征是对所述样本任务序列进行量化编码得到，所述样本引导信息用于引导任务处理过程；
对所述目标任务特征进行量化解码，获得所述任务引导信息对应的任务处理结果。
9.根据权利要求8所述的方法，所述任务处理模型包括第一编码器和第一解码器；所述将所述任务引导信息和全掩码任务序列输入任务处理模型，经所述任务处理模型的处理，获得所述任务引导信息对应的目标任务特征，包括：
将所述任务引导信息输入所述第一编码器，获得所述任务引导信息对应的任务引导特征；
将所述任务引导特征和全掩码任务序列输入所述第一解码器，获得所述任务引导信息对应的目标任务特征。
10.一种虚拟人物动画生成方法，包括：
接收前端发送的虚拟人物动画生成请求，其中，所述虚拟人物动画生成请求包括动画引导信息；
将所述动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经所述虚拟人物动画生成模型的处理，获得所述动画引导信息对应的虚拟人物动画特征，其中，所述虚拟人物动画生成模型基于多个样本动画引导信息、样本动画序列和样本动画特征训练得到，所述样本动画特征是对所述样本动画序列进行量化编码得到，所述样本动画引导信息用于引导虚拟人物动画生成过程；
对所述虚拟人物动画特征进行量化解码，获得所述动画引导信息对应的虚拟人物动作序列；
根据所述虚拟人物动作序列，生成虚拟人物动画发送至所述前端，以使所述前端显示所述虚拟人物动画。
11.根据权利要求10所述的方法，所述将所述动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经所述虚拟人物动画生成模型的处理，获得所述动画引导信息对应的虚拟人物动画特征之前，还包括：
接收用户输入的指定提示信息，其中，所述指定提示信息包括指定提示文本和/或指定提示音频；
所述将所述动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经所述虚拟人物动画生成模型的处理，获得所述动画引导信息对应的虚拟人物动画特征，包括：
将所述指定提示信息、动画引导信息和全掩码动画序列输入虚拟人物动画生成模型，经所述虚拟人物动画生成模型的处理，获得所述动画引导信息对应的虚拟人物动画特征。
12.根据权利要求10或11所述的方法，所述对所述虚拟人物动画特征进行量化解码，获得所述动画引导信息对应的虚拟人物动作序列之后，还包括：
接收用户输入的当前场景的场景信息；
根据所述场景信息，利用所述虚拟人物动画生成模型，对所述虚拟人物动作序列进行调整，得到调整后的虚拟人物动作序列。
13.根据权利要求10所述的方法，所述对所述虚拟人物动画特征进行量化解码，获得所述动画引导信息对应的虚拟人物动作序列，包括：
接收用户输入的目标轨迹信息；
将所述虚拟人物动画特征和所述目标轨迹信息输入量化生成模型的第二解码器中，经所述第二解码器的解码处理，获得所述动画引导信息对应的虚拟人物动作序列，其中，所述量化生成模型基于多个训练样本序列训练得到。
14.一种任务处理模型的数据处理***，包括：
端侧设备，用于构建第一样本集，并向云侧设备发送所述第一样本集，其中，所述第一样本集包括多模态的样本引导信息；
所述云侧设备，用于将所述样本引导信息和样本任务序列输入初始处理模型中，获得所述样本引导信息对应的预测任务特征；根据所述预测任务特征和所述样本任务序列对应的样本任务特征，对所述初始处理模型进行训练，在达到第一预设停止条件的情况下，获得训练得到的任务处理模型的模型参数，其中，所述样本任务特征是对所述样本任务序列进行量化编码得到，所述样本引导信息用于引导任务处理过程；向端侧设备发送所述训练得到的任务处理模型的模型参数。
15.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项或者权利要求8至9任意一项或者权利要求10至13任意一项所述方法的步骤。
16.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项或者权利要求8至9任意一项或者权利要求10至13任意一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211611176.1A CN115601485B (zh) | 2022-12-15 | 2022-12-15 | 任务处理模型的数据处理方法及虚拟人物动画生成方法 |
| PCT/CN2023/138894 WO2024125612A1 (zh) | 2022-12-15 | 2023-12-14 | 任务处理模型的数据处理方法及虚拟人物动画生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211611176.1A CN115601485B (zh) | 2022-12-15 | 2022-12-15 | 任务处理模型的数据处理方法及虚拟人物动画生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115601485A CN115601485A (zh) | 2023-01-13 |
| CN115601485B true CN115601485B (zh) | 2023-04-07 |
Family
ID=84854127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211611176.1A Active CN115601485B (zh) | 2022-12-15 | 2022-12-15 | 任务处理模型的数据处理方法及虚拟人物动画生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115601485B (zh) |
| WO (1) | WO2024125612A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116863003A (zh) * | 2023-05-29 | 2023-10-10 | 阿里巴巴（中国）有限公司 | 视频生成方法、训练视频生成模型的方法及装置 |
| CN117173517A (zh) * | 2023-11-03 | 2023-12-05 | 中国科学院空天信息创新研究院 | 面向空天异构的时序数据处理方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114638220A (zh) * | 2022-03-31 | 2022-06-17 | 阿里巴巴（中国）有限公司 | 任务处理模型的训练方法、任务处理方法以及装置 |
| CN114723047A (zh) * | 2022-04-15 | 2022-07-08 | 支付宝(杭州)信息技术有限公司 | 任务模型训练方法、装置以及*** |
| WO2022199462A1 (zh) * | 2021-03-25 | 2022-09-29 | 腾讯科技（深圳）有限公司 | 医学图像报告生成模型的训练方法及图像报告生成方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210152751A1 (en) * | 2019-11-19 | 2021-05-20 | Tencent Technology (Shenzhen) Company Limited | Model training method, media information synthesis method, and related apparatuses |
| CN112162628A (zh) * | 2020-09-01 | 2021-01-01 | 魔珐(上海)信息科技有限公司 | 基于虚拟角色的多模态交互方法、装置及***、存储介质、终端 |
| CN113205449A (zh) * | 2021-05-21 | 2021-08-03 | 珠海金山网络游戏科技有限公司 | 表情迁移模型的训练方法及装置、表情迁移方法及装置 |
| CN114247141B (zh) * | 2021-11-09 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 虚拟场景中任务引导方法、装置、设备、介质及程序产品 |
| CN114363695B (zh) * | 2021-11-11 | 2023-06-13 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN114495927A (zh) * | 2021-12-31 | 2022-05-13 | 魔珐(上海)信息科技有限公司 | 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端 |
| CN114884832A (zh) * | 2022-03-31 | 2022-08-09 | 阿里巴巴达摩院(杭州)科技有限公司 | 端云协同***、分布式处理集群及移动端设备 |
| CN114943284A (zh) * | 2022-05-17 | 2022-08-26 | 阿里巴巴（中国）有限公司 | 行为预测模型的数据处理***与方法 |
| CN114972823A (zh) * | 2022-06-14 | 2022-08-30 | 北京有竹居网络技术有限公司 | 数据处理方法、装置、设备及计算机介质 |
| CN114972591A (zh) * | 2022-06-15 | 2022-08-30 | 北京字跳网络技术有限公司 | 动画生成模型的训练方法、动画生成方法和装置 |
| CN114840327B (zh) * | 2022-06-29 | 2022-12-02 | 阿里巴巴达摩院(杭州)科技有限公司 | 多模态多任务的处理方法、设备及*** |
| CN115170840B (zh) * | 2022-09-08 | 2022-12-23 | 阿里巴巴（中国）有限公司 | 数据处理***、方法和电子设备 |
-
2022
- 2022-12-15 CN CN202211611176.1A patent/CN115601485B/zh active Active
-
2023
- 2023-12-14 WO PCT/CN2023/138894 patent/WO2024125612A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022199462A1 (zh) * | 2021-03-25 | 2022-09-29 | 腾讯科技（深圳）有限公司 | 医学图像报告生成模型的训练方法及图像报告生成方法 |
| CN114638220A (zh) * | 2022-03-31 | 2022-06-17 | 阿里巴巴（中国）有限公司 | 任务处理模型的训练方法、任务处理方法以及装置 |
| CN114723047A (zh) * | 2022-04-15 | 2022-07-08 | 支付宝(杭州)信息技术有限公司 | 任务模型训练方法、装置以及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024125612A1 (zh) | 2024-06-20 |
| CN115601485A (zh) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115601485B (zh) | 任务处理模型的数据处理方法及虚拟人物动画生成方法 | |
| EP3889912A1 (en) | Method and apparatus for generating video | |
| CN110232722B (zh) | 一种图像处理方法及装置 | |
| CN116392812A (zh) | 动作生成方法及虚拟人物动画生成方法 | |
| CN116246213B (zh) | 数据处理方法、装置、设备以及介质 | |
| CN115841534A (zh) | 虚拟对象的运动控制方法以及装置 | |
| CN115376482A (zh) | 面部动作视频生成方法及装置、可读介质和电子设备 | |
| CN115661829A (zh) | 图文识别方法及图文识别模型的数据处理方法 | |
| CN111783429A (zh) | 信息处理方法、装置、电子设备以及存储介质 | |
| CN111667543B (zh) | 利用场景图分析图像的方法和*** | |
| CN116958738A (zh) | 图片识别模型的训练方法和装置、存储介质及电子设备 | |
| CN116956953A (zh) | 翻译模型的训练方法、装置、设备、介质及程序产品 | |
| US20230260182A1 (en) | Generating human motion sequences utilizing unsupervised learning of discretized features via a neural network encoder-decoder | |
| CN114333069B (zh) | 对象的姿态处理方法、装置、设备及存储介质 | |
| CN116168108A (zh) | 文本生成图像的方法及装置、存储介质及电子设备 | |
| CN115690238A (zh) | 图像生成及模型训练方法、装置、设备和存储介质 | |
| CN115205428A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN113569585A (zh) | 翻译方法和装置、存储介质及电子设备 | |
| CN112149426A (zh) | 阅读任务处理方法及相关设备 | |
| CN117373455B (zh) | 一种音视频的生成方法、装置、设备及存储介质 | |
| CN117893652A (zh) | 视频生成方法以及参数生成模型训练方法 | |
| CN117830447A (zh) | 图像生成、自动问答以及参数生成模型训练方法 | |
| CN117808934A (zh) | 一种数据处理方法及相关设备 | |
| CN116939325A (zh) | 视频生成方法 | |
| CN118013246A (zh) | 数据处理方法及计算设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |