CN114879877A - 状态数据同步方法、装置、设备及存储介质 - Google Patents
状态数据同步方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114879877A CN114879877A CN202210564891.8A CN202210564891A CN114879877A CN 114879877 A CN114879877 A CN 114879877A CN 202210564891 A CN202210564891 A CN 202210564891A CN 114879877 A CN114879877 A CN 114879877A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- expression
- action
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及一种状态数据同步方法、装置、设备及存储介质。该方法包括:获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据;将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。根据本公开实施例,能够将用户的真实状态同步到虚拟人物的模型上,且用户的真实状态是符合标准的状态,因此提高了交互方式的灵活性,最终满足了用户的多样化的交互体验。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种状态数据同步方法、装置、设备及存储介质。
背景技术
在虚拟现实、游戏娱乐、可视电话、电影特效以及全真3D课堂等场景,往往会创建虚拟人物的模型,使得用户与虚拟人物的模型进行互动。
目前创建的虚拟人物的模型与用户的交互方式灵活性较差。例如,用户一般通过传统的问答方式、弹幕方式与虚拟人物的模型进行交互,无法将用户的真实状态同步到虚拟人物的模型上,导致无法满足用户的多样化的交互体验。
发明内容
为了解决上述技术问题,本公开提供了一种状态数据同步方法、装置、设备及存储介质。
第一方面,本公开提供了一种状态数据同步方法,该方法包括:
获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据;
将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;
根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
第二方面,本公开提供了一种状态数据同步装置,该装置包括:
状态数据获取模块,用于获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据;
匹配模块,用于将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;
数据同步模块,用于根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
第三方面,本公开实施例还提供了一种状态数据同步设备,该设备包括:
处理器;
存储器,用于存储可执行指令;
其中,处理器用于从存储器中读取可执行指令,并执行可执行指令以实现上述第一方面所提供的状态数据同步方法。
第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其中,存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现上述第一方面所提供的状态数据同步方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开实施例的一种状态数据同步方法、装置、设备及存储介质,首先,获取目标对象的状态数据,其中,状态数据至少包括动作数据和表情数据;接着,将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;最后,根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。由于目标对象的状态数据能够表征出目标对象的真实状态,并且,确定出的目标动作数据和目标表情数据是符合标准的动作数据和表情数据,因此,将目标动作数据和目标表情数据同步到目标模型上,能够将用户的真实状态同步到虚拟人物的模型上,且用户的真实状态是符合标准的状态,因此提高了交互方式的灵活性,最终满足了用户的多样化的交互体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本开实施例提供的一种状态数据同步***的架构图;
图2为本公开实施例提供的一种状态数据同步方法的流程示意图;
图3为本公开实施例提供的另一种状态数据同步方法的流程示意图;
图4为本公开实施例提供的又一种状态数据同步方法的流程示意图;
图5为本公开实施例提供的一种状态数据同步***的结构示意图;
图6为本公开实施例提供的一种状态数据同步装置的结构示意图;
图7为本公开实施例提供的一种状态数据同步设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
在全真3D课堂场景,可以将老师与学生投影到虚拟3D世界中,从而给授课方式带来全新体验,例如,老师与学生可以穿越到古代且身临其境的感受诗人写诗是的场景,或者,老师和学生可以穿越到太空去体验宇航员的失重感觉。由此,全真3D课堂场景相较于传统的授课方式,全真3D课堂更灵活,并能更好的提升老师与学生的授课体验。
现有技术中,全真3D课堂场景下的虚拟人物的模型与用户的交互方式一般是:用户通过传统的问答方式或者弹幕方式与虚拟人物的模型进行交互,从而获取特定知识以及问题的结果,无法将学生和老师的真实的表情状态和动作状态进行交互,导致无法满足学生和老师的多样化的交互体验。另外,老师与学生的互动方式依赖于选项按钮、文字输入、语音输入等方式,然而,选项按钮方式无法自由发挥,只能在选项间进行交互,文字输入方式对于年龄较小的学生或者对输入法掌握不足的学生有较大的局限性,语音输入方式对于有方言口音的学生产生语音识别不准确的问题。
为了解决上述的问题,本公开实施例提供了一种状态数据同步方法、装置、设备及存储介质。
图1示出了本公开实施例提供的一种状态数据同步***的架构图。
如图1所示,该架构图可以包括电子设备101和服务器102。电子设备101可以通过网络协议如超文本传输安全协议(Hyper Text Transfer Protocol over Secure SocketLayer,HTTPS)与服务器102建立连接并进行信息交互。其中,电子设备101可以包括移动电话、平板电脑、台式计算机、笔记本电脑等具有通信功能的设备。服务器102可以是云服务器或者服务器集群等具有存储及计算功能的设备。
基于上述架构,在一些实施例中,当需要将用户的实时状态同步至建虚拟人物的模型时,电子设备101可以获取用于进行状态同步的授权信息,并实时获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据。然后,电子设备101可以将目标对象的状态数据传输至服务器102。服务器102在获取到目标对象的状态数据之后,将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;最后,服务器102根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
基于上述架构,在另一些实施例中,当需要将用户的实时状态同步至建虚拟人物的模型时,电子设备101可以获取用于进行状态同步的授权信息,并实时获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数。然后,电子设备101将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;最后,电子设备101根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
由此,基于上述架构,将目标动作数据和目标表情数据同步到目标模型上,能够实现将用户的真实状态同步到虚拟人物的模型上,且用户的真实状态是符合标准的状态,因此提高了交互方式灵活性,最终满足了用户的多样化的交互体验。
根据上述架构,下面结合图2至图7对本公开实施例提供的状态数据同步方法进行说明。在本公开实施例中,该状态数据同步方法可以由电子设备或服务器执行。其中,电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑等具有通信功能的设备。服务器可以是云服务器或者服务器集群等具有存储及计算功能的设备。需要说明的是,以下实施例以电子设备作为执行主体进行示例性的解释,且在获取到用于进行状态同步的授权信息之后执行。
图2示出了本公开实施例提供的一种状态数据同步方法的流程示意图。
如图2所示,该状态数据同步方法可以包括如下步骤。
S210、获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据。
在本公开实施例中,当目标对象与虚拟人物的模型进行交互时,电子设备可以通过视频数据采集装置实时采集目标对象的视频数据,使得进一步根据视频数据获取目标对象的状态数据。
在本公开实施例中,目标对象可以是需要与虚拟人物的模型进行交互的真实人物。
以全真3D课堂为例,目标对象可以是老师和学生,虚拟人物的模型可以是动画人物。
在本公开实施例中,可选的,S210中“获取目标对象的初始动作数据”,包括如下步骤:
S2101、获取目标对象的肢体图像;
S2102、从肢体图像中提取目标对象的肢体特征点对应的区域色值数据,得到目标对象的初始动作数据。
具体的,电子设备在得到视频数据之后,可以将视频数据输入数据识别分析模块,使得利用数据识别分析模块从视频数据中提取包括肢体动作变化的图像帧,得到目标对象的肢体图像,然后,从肢体图像中提取目标对象的肢体特征点对应的区域色值数据,则可以得到目标对象的初始动作数据。
其中,肢体图像可以是目标对象的四肢轮廓图像。
其中,目标对象的肢体特征点可以是四肢轮廓上的特征点。可选的,目标对象的肢体特征点可以包括举手动作特征点、鼓掌动作特征点等。
其中,区域色值数据可以是肢体图像上的前景图像特征数据。可选的,区域色值数据可以是灰度数据、颜色数据、纹理数据等,在此不做限制。
在本公开实施例中,可选的,S210中“获取目标对象的初始表情数据”,包括如下步骤:
S2103、获取目标对象的面部图像;
S2104、从面部图像中提取面部特征点;
S2105、将面部特征点与预先获取的面部特征点进行匹配,得到目标对象的初始表情数据。
具体的,电子设备在通过图像采集装置采集目标对象的视频数据之后,可以将视频数据输入数据识别分析模块,使得利用数据识别分析模块从视频数据中提取包括面部表情变化的图像帧,得到目标对象的面部图像,然后,从面部图像中提取面部特征点,并将面部特征点作为前景数据,将预先获取的面部特征点作为背景数据,并将面部特征点与预先获取的面部特征点进行匹配,从而得到目标对象的初始表情数据。
其中,面部图像可以是包括目标对象的面部特征点的图像。
其中,面部特征点可以是目标对象的五官特征点。可选的,面部特征点可以包括目标对象在张嘴时的特征点、在闭眼时的特征点等。
其中,预先获取的表情特征点可以是标准的表情特征点。可选的,预先获取的表情特征点可以是标准的张嘴动作特征点、标准的闭眼动作特征点等。
S220、将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据。
在本公开实施例中,电子设备在获取到目标对象的状态数据之后,可以将状态数据中的初始动作数据输入动作分析模块,使得利用动作分析模块将初始动作数据与各动作类型对应的标准动作数据进行匹配,确定目标动作类型及其对应的目标动作数据;与此同时,可以将状态数据中的初始表情数据输入表情分析模块,使得利用表情分析模块将初始表情数据与各表情类型对应的标准表情数据进行匹配,确定目标表情类型及其对应的目标表情数据。
针对动作匹配过程,在一些实施例中,可以将初始动作数据与各动作类型的标准动作数据进行拟合匹配,得到目标动作类型对应的目标动作数据。
针对动作匹配过程,在另一些实施例中,可以利用预先生成的轻量化的动作匹配模型,将初始动作数据与各动作类型的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据。
针对表情匹配过程,在一些实施例中,可以将初始表情数据与各表情类型的标准表情数据进行组合匹配,得到目标表情类型对应的目标表情数据。具体的,可以先对单个区域对应的初始表情数据与各表情类型的标准表情数据进行拟合匹配,然后根据单个区域对应的表情匹配度,得到组合匹配结果。
针对表情匹配过程,在另一些实施例中,可以将初始表情数据与各表情类型的标准表情数据进行单个区域的拟合匹配,得到目标表情类型对应的目标表情数据。
针对表情匹配过程,在又一些实施例中,可以利用预先生成的轻量化的表情匹配模型,将初始表情数据与各表情类型对应的标准表情数据进行组合匹配或者单个区域的拟合匹配,得到目标标签类型对应的目标标签数据。
由此,在本公开实施例中,可以通过不同方式进行动作匹配以及进行表情匹配,能够得到进行同步的目标动作数据和目标表情数据,且目标动作数据和目标表情数据能够表征出目标对象的真实状态也符合标准。
可以理解的是,为了避免目标动作数据和目标表情数据在传输过程中被篡改,电子设备在利用动作分析模块得到目标动作数据之后,可以基于预设的秘钥对目标动作数据进行加密,得到加密后的目标动作数据,与此同时,电子设备在利用表情分析模块得到目标表情数据之后,可以基于预设的加密算法对目标表情数据进行加密,得到加密后的目标表情数据。
具体的,电子设备中的动作分析模块和表情分析模块可以分别利用对称加密(Symmetric Cryptography,SC)算法或者非对称加密(Asymmetric Cryptography,AES)算法,并采用256位的密钥分别对目标动作数据和目标表情数据进行加密,得到加密后的目标动作数据以及加密后的目标表情数据,并将加密后的目标动作数据以及加密后的目标表情数据发送至电子设备上的状态数据同步模块。
S230、根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
在本公开实施例中,电子设备在得到目标动作数据和目标表情数据,可以通过状态数据同步模块提取目标动作数据和目标表情数据分别携带的状态发生时刻,并根据状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
在本公开实施例中,目标模型可以是用于展示目标对象的真实状态的虚拟模型。
在本公开实施例中,可选的,S230具体可以包括如下步骤:
S2301、将状态发生时刻相同的目标动作数据和目标表情数据同步到目标模型上。
其中,状态发生时刻的确定方法,可以包括:
分别对目标动作数据对应的第一协议前缀和目标表情数据对应的第二协议前缀进行解析,得到目标动作数据和目标表情数据分别携带的状态发生时刻。
可以理解的是,目标动作数据和目标表情数据都是通过统一的信令通道发送的,在发送数据之前,可以对目标动作数据和目标表情数据配置特定的格式,具体可以为目标动作数据添加第一协议前缀并为目标表情数据添加第二协议前缀。这样,在进行状态数据同步时,电子设备中的状态数据同步模块先对加密后的目标动作数据和加密后的目标表情数据进行解密,然后解析第一协议前缀和第二协议前缀,最后对目标动作数据和目标表情数据分别对应的状态发生时刻进行同步校验,并将状态发生时刻相同的目标动作数据和目标表情数据同步到目标模型上,从而避免表情发生的时刻与动作发生的时刻不一致。
其中,第一协议前缀可以是动作数据对应的协议。可选的,第一协议前缀的具体形式可以是:action_。
其中,第二协议前缀可以是标签数据对应的协议。可选的,第二协议前缀的具体形式可以是:face_。
具体的,电子设备中的状态数据同步模块可以利用SC算法或者AES算法,分别对加密后的目标动作数据和加密后的目标表情数据进行解密,并将状态发生时刻相同的解密后的目标动作数据和解密后的目标表情数据同步到目标模型上。
由此,在本公开实施例中,在得到目标动作数据和目标表情数据之后,可以将状态发生时刻相同的动作和表情同步到目标模型上,从而实现实时同步目标对象的真实状态。
本公开实施例提供了一种状态数据同步方法,首先,获取目标对象的状态数据,其中,状态数据至少包括动作数据和表情数据;接着,将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;最后,根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。由于目标对象的状态数据能够表征出目标对象的真实状态,并且,确定出的目标动作数据和目标表情数据是符合标准的动作数据和表情数据,因此,将目标动作数据和目标表情数据同步到目标模型上,能够将用户的真实状态同步到虚拟人物的模型上,且用户的真实状态是符合标准的状态,因此提高了交互方式的灵活性,最终满足了用户的多样化的交互体验。
在本公开另一种实施方式中,可以将初始动作数据与各动作类型对应的标准动作数据进行动作拟合匹配,确定目标动作数据,并且,对至少两个目标区域的表情数据与至少两个目标区域的标准表情数据进行表情组合匹配,确定目标表情数据。
图3示出了本公开实施例提供的另一种状态数据同步方法的流程示意图。
如图3所示,该状态数据同步方法可以包括如下步骤。
S310、获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据。
其中,S310与S210相似,在此不做赘述。
S320、对初始动作数据与各动作类型对应的标准动作数据进行动作拟合匹配,得到动作拟合匹配度。
在本公开实施例中,可选的,S320具体可以包括如下步骤:
S3201、分别从初始动作数据与各动作类型对应的标准动作数据中提取动作特征点对;
S3202、对所有动作特征点对进行动作拟合匹配,得到所有动作特征点对对应的拟合匹配度;
S3203、对所有动作特征点对对应的拟合匹配度进行加权求和,得到动作拟合匹配度。
具体的,电子设备可以在预设动作位置范围内,分别对初始动作数据和各动作类型对应的标准动作数据进行拟合,并提取特征点对以及对特征点对进行拟合,得到各动作类型对应的每个特征点对的拟合匹配度,最后针对各动作类型,根据各拟合匹配度分别对应的权重,对拟合匹配度加权求和,将加权求和结果作为各动作类型对应的动作拟合匹配度。
其中,每个特征点对对应的拟合匹配度可以根据每个特征点对的距离确定。可选的,该距离可以是欧式距离等,在此不做限制。
可以理解的是,若特征点对的距离越大,则该特征点对的拟合匹配度越小。
S330、若存在大于或等于预设的动作匹配度阈值的目标动作拟合匹配度,则将目标动作拟合匹配度对应的动作类型,作为目标动作类型,以及将目标动作类型对应的标准动作数据,作为目标动作数据。
在本公开实施例中,针对各动作类型,电子设备可以将对应的动作拟合匹配度与预设的动作匹配度阈值比较,确定大于或等于预设的动作匹配度阈值的目标动作拟合匹配度,则说明目标动作拟合匹配度对应的动作类型与目标对象的动作类型相近,将该动作类型作为目标动作类型,以及将目标动作类型对应的标准动作数据,作为目标动作数据。
需要说明的是,若不存在大于或等于预设的动作匹配度阈值的目标动作拟合匹配度,则说明无法确定目标对象的动作类型,则将该初始动作数据剔除。
其中,预设的动作匹配度阈值可以是根据需要预先确定的动作匹配度。
由此,在本公开实施例中,可以通过拟合匹配的方式,准确的确定目标动作类型及其对应的目标动作数据。
S340、若初始表情数据包括至少两个目标区域的表情数据,则对至少两个目标区域的表情数据与至少两个目标区域的标准表情数据进行表情组合匹配,得到至少两个目标区域的表情组合匹配度。
在本公开实施例中,可选的,S340具体可以包括如下步骤:
S3401、针对每个目标区域,对初始表情数据与各动作类型对应的标准表情数据进行表情拟合匹配,得到表情拟合匹配度;
S3402、若每个目标区域对应的表情拟合匹配度大于或等于预设的表情拟合匹配度阈值,则对至少两个目标区域对应的表情拟合匹配度进行加权求和,得到至少两个目标区域对应的表情组合匹配度。
具体的,电子设备可以在预设表情位置范围内,分别对初始表情数据和各表情类型对应的标准表情数据进行拟合,然后,针对每个目标区域,对初始表情数据和各表情类型对应的标准表情数据进行匹配,得到表情拟合匹配度,接着,若确定出每个目标区域对应的表情拟合匹配度大于或等于预设的表情拟合匹配度阈值,则可以根据每个目标区域对应的权重,对每个目标区域的表情拟合匹配度进行加权求和,将加权求和结果作为各表情类型对应的表情拟合匹配度。
其中,每个目标区域对应的表情拟合匹配度,可以通过如下方式确定:针对每个目标区域,分别从初始表情数据与各表情类型对应的标准表情数据中提取表情特征点对;通过一阶低通滤波方式,对所有表情特征点对进行表情拟合匹配,得到所有表情特征点对对应的拟合匹配度;对所有表情特征点对对应的拟合匹配度进行加权求和,得到表情拟合匹配度。
其中,每个特征点对的拟合匹配度可以根据每个特征点对的距离确定。可选的,该距离可以是欧式距离等,在此不做限制。
可以理解的是,若特征点对的距离越大,则该特征点对的表情拟合匹配度越小。
在本公开实施例中,目标区域可以是五官位置区域以及除了五官位置区域之外的关键位置区域。可选的,目标区域可以是眼睛区域、嘴巴区域以及面颊区域等。
S350、若存在大于或等于预设的表情组合匹配度阈值的目标表情组合匹配度,则将目标表情组合匹配度对应的表情类型,作为目标表情类型,以及将目标表情类型对应的标准表情数据,作为目标表情数据。
在本公开实施例中,针对各表情类型,电子设备可以将对应的表情组合匹配度与预设的表情组合匹配度阈值比较,确定大于或等于预设的表情组合匹配度阈值的目标表情组合匹配度,则说明目标表情组合匹配度对应的表情类型与目标对象的表情类型相近,将该表情类型作为目标表情类型,以及将目标表情类型对应的标准表情数据,作为目标表情数据。
需要说明的是,若不存在大于或等于预设的表情组合匹配度阈值的目标表情组合匹配度,则说明无法确定目标对象的表情类型,则将该初始表情数据剔除。
其中,预设的表情组合匹配度阈值可以是根据需要预先确定的表情匹配度。
由此,在本公开实施例中,可以针对单个目标区域进行拟合匹配,并根据单个目标区域的拟合匹配度,确定至少两个目标区域的表情组合匹配度,并根据表情组合匹配度准确的确定出目标表情类型及其对应的目标表情数据。
S360、根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
其中,S360与S230相似,在此不做赘述。
图4示出了本公开实施例提供的又一种状态数据同步方法的流程示意图。
如图4所示,该状态数据同步方法可以包括如下步骤。
S410、获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据。
S420、将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据。
其中,S410~S420与S210~S220相似,在此不做赘述。
S430、将状态发生时刻相同的目标动作数据和目标表情数据同步到目标模型上。
需要说明的是,动作映射通过切换目标模型的肢体模型完成,且肢体动作的同步过程不是瞬间完成的,是个耗时行为,因此,当连续接收到多个动作时,需要在上一个动作完全同步的情况下,才能同步当前动作,避免肢体模型切换到一半就切换新的肢体模型。例如,举手动作需要1秒完成肢体模型的切换,在这1秒内,如果获取到鼓掌动作数据,不会立即将举手动作切换为鼓掌动作,避免手举到一半就飞出去鼓掌,从而避免肢体模型分离。
基于上述原因,在本公开实施例中,可选的,S430具体可以包括如下步骤:
S4301、获取目标对象在上一时刻的动作数据;
S4302、在上一时刻的动作数据已完全同步至目标模型的情况下,将状态发生时刻相同的目标动作数据和目标表情数据同步到目标模型上。
具体的,电子设备可以将每个时刻的动作数据加入到队列,当获取到目标动作数据之后,从队列中查找目标对象在上一时刻的动作数据,并确定目标对象在上一时刻的动作数据是否已完全出队,即确定上一时刻的动作数据是否已完全同步至目标模型,若已完全同步,则状态发生时刻相同的目标动作数据同步至目标模型的肢体模型上,以及将目标表情数据同步到目标模型的头部模型上。
由此,在本公开实施例中,通过将每个时刻的动作数据加入到队列,并基于队列的先进先出原则,确定上一时刻的动作数据是否已完全同步至目标模型,使得在完全同步的情况下,再同步状态发生时刻相同的目标动作数据和目标表情数据,从而避免动作切换过程发生骨骼模型变形,保证了动作同步过程的可靠性和连贯性。
需要说明的是,表情同步过程一般将表情数据贴到头部模型上实现表情同步,但是,如果相邻时刻获取的表情差异较大,直接切换表情会显得很突兀,例如,如果从笑脸表情切换到大哭表情,表情同步过程会不自然,因此,需要先确定笑脸表情切换到大哭表情的过渡表情,然后从笑脸表情依次切换为过渡表情和大哭表情,使得表情同步过程更自然。其中,过渡表情可以动态的加载到电子设备的内存中。
基于上述原因,在本公开实施例中,可选的,S430具体可以包括如下步骤:
S4303、获取目标对象在上一时刻的表情数据;
S4304、若上一时刻的表情数据与目标表情数据的表情差异值大于预先确定的表情差异值阈值,则根据上一时刻的表情数据与目标表情数据,确定状态发生时刻对应的过渡表情数据;
S4305、将状态发生时刻对应的目标动作数据同步到目标模型上,以及依次将状态发生时刻对应的过渡表情数据和目标表情数据同步到目标模型上。
具体的,电子设备可以根据上一时刻的表情数据中的关键点与目标表情数据中的关键点,计算表情差异值,然后将表情差异值大于预先确定的表情差异值阈值比较,若表情差异值大于预先确定的表情差异值阈值,则说明上一时刻的表情与当前时刻的表情差异较大,需要根据上一时刻的表情数据中的关键点与目标表情数据中的关键点,确定状态发生时刻对应的过渡表情数据,接着,将状态发生时刻对应的目标动作数据同步到目标模型上,并先后将状态发生时刻对应的过渡表情数据和目标表情数据同步到目标模型上。
其中,过渡表情数据的确定方法具体包括:计算上一时刻的表情数据中的关键点与目标表情数据中的关键点的距离;取距离的平均值作为过渡表情的关键点,得到过渡表情数据。
其中,预先确定的表情差异值阈值可以是预先确定的用于判断相邻时刻的表情是否差异较大。
由此,在本公开实施例中,在进行目标表情数同步时,如果相邻时刻的表情差异较大,可以确定过渡表情数据,并将过渡表情数据和目标表情数据先后同步到所述目标模型上,使得表情同步过程更自然。
在本公开实施例中,可选的,在S430之后,该方法还包括如下步骤:
对目标动作数据和目标表情数据进行分析,确定目标对象对应的互动效果值。
具体的,可以对目标动作数据和目标表情数据进行动作类型分析和表情类型分析,得到互动效果值。
其中,互动效果值可以用于表征目标对象的互动积极程度。
进一步的,电子设备可以通过网络层将动作数据和表情数据上传至服务器,并通过服务器传输不同对象的动作数据和表情数据,使得不同对象可以彼此观看到表情和动作,进一步提升了状态数据同步体验。
为了整体解释状态数据同步过程,图5示出了本公开实施例提供的一种状态同步***的结构示意图。
如图5所示,该状态同步***包括:电子设备510和服务器520。
电子设备510包括:视频数据采集装置5101、数据识别分析模块5102、动作分析模块5103、表情分析模块5104以及状态数据同步模块5105。
其中,视频数据采集装置5101,用于实时采集目标对象的视频数据;
数据识别分析模块5102,用于从视频数据中提取目标对象的初始动作数据和初始表情数据;
动作分析模块5103,用于根据初始动作数据,确定目标动作类型及其对应的目标动作数据;
表情分析模块5104,用于根据初始表情数据,确定目标表情类型及其对应的目标表情数据;
状态数据同步模块5105,用于提取目标动作数据和目标表情数据分别携带的状态发生时刻,并根据状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上;
服务器520,用于获取并传输不同对象的动作数据和表情数据。
需要说明的是,上述状态同步***的具体实现方式可以参见前述实施例的描述,在此不做赘述。
本公开实施例还提供了一种用于实现上述的状态数据同步方法的状态数据同步装置,下面结合图6进行说明。在本公开实施例中,该状态数据同步装置可以为电子设备或服务器。其中,电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑等具有通信功能的设备。服务器可以是云服务器或者服务器集群等具有存储及计算功能的设备。
图6示出了本公开实施例提供的一种状态数据同步装置的结构示意图。
如图6所示,状态数据同步装置600可以包括:状态数据获取模块610、匹配模块620和数据同步模块630。
状态数据获取模块610,用于获取目标对象的状态数据,其中,状态数据至少包括初始动作数据和初始表情数据;
匹配模块620,用于将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;
数据同步模块630,用于根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。
本公开实施例提供了一种状态数据同步装置,首先,获取目标对象的状态数据,其中,状态数据至少包括动作数据和表情数据;接着,将初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将初始表情数据与各表情类型对应的标准表情数据进行匹配,得到目标表情类型对应的目标表情数据;最后,根据目标动作数据和目标表情数据分别携带的状态发生时刻,将目标动作数据和目标表情数据同步到目标模型上。由于目标对象的状态数据能够表征出目标对象的真实状态,并且,确定出的目标动作数据和目标表情数据是符合标准的动作数据和表情数据,因此,将目标动作数据和目标表情数据同步到目标模型上,能够将用户的真实状态同步到虚拟人物的模型上,且用户的真实状态是符合标准的状态,因此提高了交互方式的灵活性,最终满足了用户的多样化的交互体验。
在一些可选的实施例中,状态数据获取模块610可以包括:
肢体图像获取单元,用于获取目标对象的肢体图像;
初始动作数据获取单元,用于从肢体图像中提取目标对象的肢体特征点对应的区域色值数据,得到目标对象的初始动作数据。
在一些可选的实施例中,状态数据获取模块610可以包括:
面部图像获取单元,用于获取目标对象的面部图像;
面部特征点提取单元,用于从面部图像中提取面部特征点;
初始表情数据获取单元,用于将面部特征点与预先获取的面部特征点进行匹配,得到目标对象的初始表情数据。
在一些可选的实施例中,匹配模块620,包括:
动作拟合匹配单元,对初始动作数据与各动作类型对应的标准动作数据进行动作拟合匹配,得到动作拟合匹配度;
目标动作数据获取单元,用于若存在大于或等于预设的动作匹配度阈值的目标动作拟合匹配度,则将目标动作拟合匹配度对应的动作类型,作为目标动作类型,以及将目标动作类型对应的标准动作数据,作为目标动作数据。
在一些可选的实施例中,动作拟合匹配单元具体用于,分别从初始动作数据与各动作类型对应的标准动作数据中提取动作特征点对;
对所有动作特征点对进行动作拟合匹配,得到所有动作特征点对对应的拟合匹配度;
对所有动作特征点对对应的拟合匹配度进行加权求和,得到动作拟合匹配度。
在一些可选的实施例中,匹配模块620,包括:
表情组合匹配单元,用于若初始表情数据包括至少两个目标区域的表情数据,则对至少两个目标区域的表情数据与至少两个目标区域的标准表情数据进行表情组合匹配,得到至少两个目标区域的表情组合匹配度;
目标表情数据获取单元,用于若存在大于或等于预设的表情组合匹配度阈值的目标表情组合匹配度,则将目标表情组合匹配度对应的表情类型,作为目标表情类型,以及将目标表情类型对应的标准表情数据,作为目标表情数据。
在一些可选的实施例中,表情组合匹配单元具体用于,针对每个目标区域,对初始表情数据与各动作类型对应的标准表情数据进行表情拟合匹配,得到表情拟合匹配度;
若每个目标区域对应的表情拟合匹配度大于或等于预设的表情拟合匹配度阈值,则对至少两个目标区域对应的表情拟合匹配度进行加权求和,得到至少两个目标区域对应的表情组合匹配度。
在一些可选的实施例中,数据同步模块630具体用于,将状态发生时刻相同的目标动作数据和目标表情数据同步到目标模型上。
在一些可选的实施例中,数据同步模块630,包括:
状态发生时刻确定单元,用于分别对目标动作数据对应的第一协议前缀和目标表情数据对应的第二协议前缀进行解析,得到目标动作数据和目标表情数据分别携带的状态发生时刻。
在一些可选的实施例中,数据同步模块630,包括:
上一时刻的动作数据获取单元,用于获取目标对象在上一时刻的动作数据;
第一数据同步单元,用于在上一时刻的动作数据已完全同步至目标模型的情况下,将状态发生时刻相同的目标动作数据和目标表情数据同步到目标模型上。
在一些可选的实施例中,数据同步模块630,包括:
上一时刻的表情数据获取单元,用于获取目标对象在上一时刻的表情数据;
过渡表情数据确定单元,用于若上一时刻的表情数据与目标表情数据的表情差异值大于预先确定的表情差异值阈值,则根据上一时刻的表情数据与目标表情数据,确定状态发生时刻对应的过渡表情数据;
第二数据同步单元,用于将状态发生时刻对应的目标动作数据同步到目标模型上,以及依次将状态发生时刻对应的过渡表情数据和目标表情数据同步到目标模型上。
在一些可选的实施例中,该装置还包括:
互动效果分析模块,用于对目标动作数据和目标表情数据进行分析,确定目标对象对应的互动效果值。
需要说明的是,图6所示的状态数据同步装置600可以执行图2至图5所示的方法实施例中的各个步骤,并且实现图2至图5所示的方法实施例中的各个过程和效果,在此不做赘述。
本公开示例性实施例还提供一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序,所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
本公开示例性实施例还提供一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
参考图7,现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,电子设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705,包括:输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备,输入单元706可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元704可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如,在一些实施例中,状态数据同步方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。在一些实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行状态数据同步方法。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本公开使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (15)
1.一种状态数据同步方法,其特征在于,包括:
获取目标对象的状态数据,其中,所述状态数据至少包括初始动作数据和初始表情数据;
将所述初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将所述初始表情数据与各表情类型对应的标准表情数据进行匹配,得到所述目标表情类型对应的目标表情数据;
根据所述目标动作数据和所述目标表情数据分别携带的状态发生时刻,将所述目标动作数据和所述目标表情数据同步到目标模型上。
2.根据权利要求1所述的方法,其特征在于,获取目标对象的初始动作数据,包括:
获取所述目标对象的肢体图像;
从所述肢体图像中提取所述目标对象的肢体特征点对应的区域色值数据,得到所述目标对象的初始动作数据。
3.根据权利要求1所述的方法,其特征在于,获取目标对象的初始表情数据,包括:
获取所述目标对象的面部图像;
从所述面部图像中提取面部特征点;
将所述面部特征点与预先获取的面部特征点进行匹配,得到所述目标对象的初始表情数据。
4.根据权利要求1所述的方法,其特征在于,所述将所述初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,包括:
对所述初始动作数据与各动作类型对应的标准动作数据进行动作拟合匹配,得到动作拟合匹配度;
若存在大于或等于预设的动作匹配度阈值的目标动作拟合匹配度,则将所述目标动作拟合匹配度对应的动作类型,作为所述目标动作类型,以及将所述目标动作类型对应的标准动作数据,作为所述目标动作数据。
5.根据权利要求4所述的方法,其特征在于,所述对所述初始动作数据与各动作类型对应的标准动作数据进行动作拟合匹配,得到动作拟合匹配度,包括:
分别从所述初始动作数据与各所述动作类型对应的标准动作数据中提取动作特征点对;
对所有所述动作特征点对进行动作拟合匹配,得到所有所述动作特征点对对应的拟合匹配度;
对所有所述动作特征点对对应的拟合匹配度进行加权求和,得到所述动作拟合匹配度。
6.根据权利要求1所述的方法,其特征在于,所述将所述初始表情数据与各表情类型对应的标准表情数据进行匹配,得到所述目标表情类型对应的目标表情数据,包括:
若所述初始表情数据包括至少两个目标区域的表情数据,则对所述至少两个目标区域的表情数据与所述至少两个目标区域的标准表情数据进行表情组合匹配,得到至少所述两个目标区域的表情组合匹配度;
若存在大于或等于预设的表情组合匹配度阈值的目标表情组合匹配度,则将所述目标表情组合匹配度对应的表情类型,作为所述目标表情类型,以及将所述目标表情类型对应的标准表情数据,作为所述目标表情数据。
7.根据权利要求6所述的方法,其特征在于,所述对至少所述两个目标区域的表情数据与至少所述两个目标区域的标准表情数据进行表情组合匹配,得到至少所述两个目标区域的表情组合匹配度,包括:
针对每个所述目标区域,对所述初始表情数据与各动作类型对应的标准表情数据进行表情拟合匹配,得到表情拟合匹配度;
若每个所述目标区域对应的表情拟合匹配度大于或等于预设的表情拟合匹配度阈值,则对至少两个所述目标区域对应的表情拟合匹配度进行加权求和,得到至少两个所述目标区域对应的表情组合匹配度。
8.根据权利要求1所述的方法,其特征在于,所述根据所述目标动作数据和所述目标表情数据分别携带的状态发生时刻,将所述目标动作数据和所述目标表情数据同步到目标模型上,包括:
将所述状态发生时刻相同的所述目标动作数据和所述目标表情数据同步到所述目标模型上。
9.根据权利要求8所述的方法,其特征在于,状态发生时刻的确定方法,包括:
分别对所述目标动作数据对应的第一协议前缀和所述目标表情数据对应的第二协议前缀进行解析,得到所述目标动作数据和所述目标表情数据分别携带的状态发生时刻。
10.根据权利要求8所述的方法,其特征在于,所述将所述状态发生时刻相同的所述目标动作数据和所述目标表情数据同步到所述目标模型上,包括:
获取所述目标对象在上一时刻的动作数据;
在所述上一时刻的动作数据已完全同步至所述目标模型的情况下,将所述状态发生时刻相同的所述目标动作数据和所述目标表情数据同步到所述目标模型上。
11.根据权利要求8所述的方法,其特征在于,所述将所述状态发生时刻相同的所述目标动作数据和所述目标表情数据同步到所述目标模型上,包括:
获取所述目标对象在上一时刻的表情数据;
若所述上一时刻的表情数据与所述目标表情数据的表情差异值大于预先确定的表情差异值阈值,则根据所述上一时刻的表情数据与所述目标表情数据,确定所述状态发生时刻对应的过渡表情数据;
将所述状态发生时刻对应的所述目标动作数据同步到所述目标模型上,以及依次将所述状态发生时刻对应的所述过渡表情数据和所述目标表情数据同步到所述目标模型上。
12.根据权利要求8所述的方法,其特征在于,在所述根据所述目标动作数据和所述目标表情数据分别携带的状态发生时刻,将所述目标动作数据和所述目标表情数据同步到目标模型上之后,所述方法还包括:
对所述目标动作数据和所述目标表情数据进行分析,确定所述目标对象对应的互动效果值。
13.一种状态数据同步装置,其特征在于,包括:
状态数据获取模块,用于获取目标对象的状态数据,其中,所述状态数据至少包括初始动作数据和初始表情数据;
匹配模块,用于将所述初始动作数据与各动作类型对应的标准动作数据进行匹配,得到目标动作类型对应的目标动作数据,以及将所述初始表情数据与各表情类型对应的标准表情数据进行匹配,得到所述目标表情类型对应的目标表情数据;
数据同步模块,用于根据所述目标动作数据和所述目标表情数据分别携带的状态发生时刻,将所述目标动作数据和所述目标表情数据同步到目标模型上。
14.一种状态数据同步设备,其特征在于,包括:
处理器;
存储器,用于存储可执行指令;
其中,所述处理器用于从所述存储器中读取所述可执行指令,并执行所述可执行指令以实现上述权利要求1-12中任一项所述的状态数据同步方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述存储介质存储有计算机程序,当所述计算机程序被处理器执行时,使得处理器实现上述权利要求1-12中任一项所述的状态数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210564891.8A CN114879877B (zh) | 2022-05-23 | 2022-05-23 | 状态数据同步方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210564891.8A CN114879877B (zh) | 2022-05-23 | 2022-05-23 | 状态数据同步方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114879877A true CN114879877A (zh) | 2022-08-09 |
CN114879877B CN114879877B (zh) | 2023-03-28 |
Family
ID=82678319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210564891.8A Active CN114879877B (zh) | 2022-05-23 | 2022-05-23 | 状态数据同步方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114879877B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115376372A (zh) * | 2022-08-26 | 2022-11-22 | 广东粤鹏科技有限公司 | 一种多媒体教学方法及教学*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190266774A1 (en) * | 2018-02-26 | 2019-08-29 | Reald Spark, Llc | Method and system for generating data to provide an animated visual representation |
CN111968207A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 动画生成方法、装置、***及存储介质 |
CN113222876A (zh) * | 2021-06-02 | 2021-08-06 | 广州虎牙科技有限公司 | 人脸图像生成方法、装置、电子设备和存储介质 |
CN113473159A (zh) * | 2020-03-11 | 2021-10-01 | 广州虎牙科技有限公司 | 数字人直播方法、装置、直播管理设备及可读存储介质 |
US20210312167A1 (en) * | 2018-12-18 | 2021-10-07 | Gree, Inc. | Server device, terminal device, and display method for controlling facial expressions of a virtual character |
CN114140563A (zh) * | 2021-12-03 | 2022-03-04 | 北京达佳互联信息技术有限公司 | 虚拟对象的处理方法及装置 |
CN114170651A (zh) * | 2021-11-17 | 2022-03-11 | 北京紫晶光电设备有限公司 | 表情识别方法、装置、设备及计算机存储介质 |
-
2022
- 2022-05-23 CN CN202210564891.8A patent/CN114879877B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190266774A1 (en) * | 2018-02-26 | 2019-08-29 | Reald Spark, Llc | Method and system for generating data to provide an animated visual representation |
US20210312167A1 (en) * | 2018-12-18 | 2021-10-07 | Gree, Inc. | Server device, terminal device, and display method for controlling facial expressions of a virtual character |
CN113473159A (zh) * | 2020-03-11 | 2021-10-01 | 广州虎牙科技有限公司 | 数字人直播方法、装置、直播管理设备及可读存储介质 |
CN111968207A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 动画生成方法、装置、***及存储介质 |
CN113222876A (zh) * | 2021-06-02 | 2021-08-06 | 广州虎牙科技有限公司 | 人脸图像生成方法、装置、电子设备和存储介质 |
CN114170651A (zh) * | 2021-11-17 | 2022-03-11 | 北京紫晶光电设备有限公司 | 表情识别方法、装置、设备及计算机存储介质 |
CN114140563A (zh) * | 2021-12-03 | 2022-03-04 | 北京达佳互联信息技术有限公司 | 虚拟对象的处理方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115376372A (zh) * | 2022-08-26 | 2022-11-22 | 广东粤鹏科技有限公司 | 一种多媒体教学方法及教学*** |
CN115376372B (zh) * | 2022-08-26 | 2023-07-25 | 广东粤鹏科技有限公司 | 一种多媒体教学方法及教学*** |
Also Published As
Publication number | Publication date |
---|---|
CN114879877B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102503413B1 (ko) | 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체 | |
WO2021169431A1 (zh) | 交互方法、装置、电子设备以及存储介质 | |
US11670015B2 (en) | Method and apparatus for generating video | |
US20220150285A1 (en) | Communication assistance system, communication assistance method, communication assistance program, and image control program | |
US11514634B2 (en) | Personalized speech-to-video with three-dimensional (3D) skeleton regularization and expressive body poses | |
US11436863B2 (en) | Method and apparatus for outputting data | |
US11308671B2 (en) | Method and apparatus for controlling mouth shape changes of three-dimensional virtual portrait | |
CN113946211A (zh) | 基于元宇宙的多个对象的交互方法及相关设备 | |
EP4099709A1 (en) | Data processing method and apparatus, device, and readable storage medium | |
TW202138993A (zh) | 互動物件的驅動方法、裝置、設備以及儲存媒體 | |
CN111459454B (zh) | 交互对象的驱动方法、装置、设备以及存储介质 | |
WO2022106654A2 (en) | Methods and systems for video translation | |
CN113971828B (zh) | 虚拟对象唇形驱动方法、模型训练方法、相关装置及电子设备 | |
EP4300431A1 (en) | Action processing method and apparatus for virtual object, and storage medium | |
CN112330781A (zh) | 生成模型和生成人脸动画的方法、装置、设备和存储介质 | |
CN112562045B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
CN114895817A (zh) | 交互信息处理方法、网络模型的训练方法及装置 | |
CN114879877B (zh) | 状态数据同步方法、装置、设备及存储介质 | |
CN114222076B (zh) | 一种换脸视频生成方法、装置、设备以及存储介质 | |
CN113282791B (zh) | 视频生成方法和装置 | |
CN117292022A (zh) | 基于虚拟对象的视频生成方法、装置及电子设备 | |
CN112381926A (zh) | 用于生成视频的方法和装置 | |
EP4152269A1 (en) | Method and apparatus of generating 3d video, method and apparatus of training model, device, and medium | |
CN112508772B (zh) | 图像生成方法、装置及存储介质 | |
CN112733575B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |