CN108986191B - 人物动作的生成方法、装置及终端设备 - Google Patents
人物动作的生成方法、装置及终端设备 Download PDFInfo
- Publication number
- CN108986191B CN108986191B CN201810720342.9A CN201810720342A CN108986191B CN 108986191 B CN108986191 B CN 108986191B CN 201810720342 A CN201810720342 A CN 201810720342A CN 108986191 B CN108986191 B CN 108986191B
- Authority
- CN
- China
- Prior art keywords
- object model
- person
- keywords related
- keyword
- keywords
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 15
- 230000003190 augmentative effect Effects 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 abstract description 7
- 230000033001 locomotion Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供一种人物动作的生成方法、装置及终端设备,该方法用于虚拟现实和/或增强现实,该方法包括:采集用户输入的表达信息;其中,表达信息中包括与人物有关的关键词,且与人物有关的关键词中包括与人物的肢体动作有关的关键词;从表达信息中提取与人物有关的关键词;并预先存储的对象模型库中获取与关键词对应的对象模型;再根据表达信息对对象模型进行处理,得到对象模型的肢体动作信息。本发明实施例提供的人物动作的生成方法、装置及终端设备,在实现对三维场景自动构建的基础上,提高了三维场景中人物肢体动作变化的获取效率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种人物动作的生成方法、装置及终端设备。
背景技术
随着虚拟现实技术和/或增强现实的不断发展,用于共享应用的三维模型越来越多,通过这些共享应用的三维模型构建三维场景,该三维场景已经广泛应用于很多领域,可以在很大程度上为用户提供更直观的视觉享受,提高用户的体验。
现有技术中,在通过已有的三维模型构建三维场景时,专业人员需要先获取场景中各对象的三维模型,再通过人工手动的方式将这些对象的三维模型进行组合,从而生成对应的三维场景。例如,当该三维场景中的人物模型发生一连串的肢体动作变化时,专业人员需要先手动获取人物模型每一个肢体动作,并手动组合这些肢体动作对应的人物模型,才能得到一套完整的人物模型的肢体动作变化。因此,采用现有的方式,使得三维场景中人物肢体动作变化的获取效率不高。
发明内容
本发明提供一种人物动作的生成方法、装置及终端设备,在实现对三维场景自动构建的基础上,提高了三维场景中人物肢体动作变化的获取效率。
第一方面,本发明实施例提供一种人物动作的生成方法,所述方法用于虚拟现实和/或增强现实,所述方法包括:
采集用户输入的表达信息;其中,所述表达信息中包括与人物有关的关键词,且所述与人物有关的关键词中包括与人物的肢体动作有关的关键词;
从所述表达信息中提取所述与人物有关的关键词;
在预先存储的对象模型库中获取与所述关键词对应的对象模型;
根据所述表达信息对所述对象模型进行处理,得到所述对象模型的肢体动作信息。
在一种可能的实现方式中,所述在预先存储的对象模型库中获取与所述关键词对应的对象模型之前,还包括:
收集所述与人物有关的关键词,并且收集与所述关键词对应的对象模型;
建立对象模型库,所述对象模型库中包含关键词与对象模型之间的关联关系。
在一种可能的实现方式中,所述收集与所述关键词对应的对象模型,包括:
收集多个用户对同一个关键词对应的肢体动作进行表达时的多个不同的对象模型;
将所述多个不同的对象模型作为训练样本进行训练和聚类,得到所述关键词对应的对象模型。
在一种可能的实现方式中,所述采集用户输入的表达信息,包括:
采集用户输入的文本信息;
相应的,所述从所述表达信息中提取与人物有关的关键词,包括:
根据语义模型对所述文本信息进行切词处理,得到词组;
在所述词组中提取所述与人物有关的关键词。
在一种可能的实现方式中,所述采集用户输入的表达信息,包括:
采集用户输入的语音信息;
相应的,所述从所述表达信息中提取与人物有关的关键词,包括:
对所述语音信息进行语音识别,得到文本信息;
根据语义模型对所述文本信息进行切词处理,得到词组;
从所述词组中提取与所述人物有关的关键词。
第二方面,本发明实施例提供一种人物动作的生成装置,所述装置用于虚拟现实和/或增强现实,所述装置包括:
采集单元,用户采集用户输入的表达信息;其中,所述表达信息中包括与人物有关的关键词,且所述与人物有关的关键词中包括与人物的肢体动作有关的关键词;
获取单元,用于从所述表达信息中提取所述与人物有关的关键词;
所述获取单元,还用于在预先存储的对象模型库中获取与所述关键词对应的对象模型;
处理单元,用于根据所述表达信息对所述对象模型进行处理,得到所述对象模型的肢体动作信息。
在一种可能的实现方式中,所述人体动作的获取装置还包括建立单元;
所述采集单元,还用于收集所述与人物有关的关键词,并且收集与所述关键词对应的对象模型;
所述建立单元,用于建立对象模型库,所述对象模型库中包含关键词与对象模型之间的关联关系。
在一种可能的实现方式中,所述采集单元,具体用于收集多个用户对同一个关键词对应的肢体动作进行表达时的多个不同的对象模型;并将所述多个不同的对象模型作为训练样本进行训练和聚类,得到所述关键词对应的对象模型。
在一种可能的实现方式中,所述采集单元,具体用于采集用户输入的文本信息;
相应的,所述获取单元,具体用于根据语义模型对所述文本信息进行切词处理,得到词组;并在所述词组中提取所述与人物有关的关键词。
在一种可能的实现方式中,所述采集单元,具体用于采集用户输入的语音信息;
相应的,所述获取单元,具体用于对所述语音信息进行语音识别,得到文本信息;并根据语义模型对所述文本信息进行切词处理,得到词组;再从所述词组中提取与所述人物有关的关键词。
第三方面,本发明实施例还提供一种终端设备,该终端设备可以包括处理器和存储器,其中,
所述存储器用于存储程序指令;
所述处理器用于读取所述存储器中的程序指令,并根据所述存储器中的程序指令执行上述第一方面任一项所示的人物动作的生成方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,其特征在于,
计算机可读存储介质上存储有计算机程序,在所述计算机程序被处理器执行时,执行上述第一方面任一项所示的人物动作的生成方法。
本发明实施例提供的人物动作的生成方法、装置及终端设备,通过采集用户输入的表达信息;其中,表达信息中包括与人物有关的关键词,且与人物有关的关键词中包括与人物的肢体动作有关的关键词;并从表达信息中提取与人物有关的关键词;再在预先存储的对象模型库中获取与关键词对应的对象模型;之后,再根据表达信息对对象模型进行处理,从而得到对象模型的肢体动作信息。由此可见,本发明实施例提供的人物动作的生成方法、装置及终端设备,在获取到关键词对应的对象模型之后,可以直接根据表达信息对对象模型进行处理,从而得到对象模型的肢体动作信息,与现有技术中人工手动组合这些肢体动作对应的人物模型,才能得到一套完整的人物模型的肢体动作变化相比,在实现对三维场景自动构建的基础上,提高了三维场景中人物肢体动作变化的获取效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本发明实施例提供的一种应用场景的示意图;
图2为本发明实施例提供的一种人物动作的生成方法的流程示意图;
图3为本发明实施例提供的另一种人物动作的生成方法的流程示意图;
图4为本发明实施例提供的一种人物动作的生成装置的结构示意图;
图5为本发明实施例提供的另一种人物动作的生成装置的结构示意图;
图6为本发明实施例提供的一种终端设备的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供的人物动作的生成方法可以应用于有声小说,示例的,请参见图1所示,图1为本发明实施例提供的一种应用场景的示意图,以某用户A通过终端设备(例如手机)收听有声小说时,为了提高用户A的阅读体验,可以在用户A收听有声小说的同时,在手机上同步显示该小说的三维场景。例如,当手机采集到小说中的文本信息“身高为145厘米、体重为40公斤的一个10岁小女孩,穿着小裙子,走着走着,突然看见了自己的妈妈,于是,捧着礼物跑向自己的妈妈”时,手机可以构建包括小女孩的三维场景,该三维场景可以包括小女孩的肢体动作变化信息(由走到跑)等其他信息。为了显示三维场景中人物肢体动作变化,且提高人物肢体动作变化的获取效率,在本发明实施例中,可以先采集用户输入的表达信息;其中,表达信息中包括与人物有关的关键词,且与人物有关的关键词中包括与人物的肢体动作有关的关键词;并从表达信息中提取与人物有关的关键词;再在预先存储的对象模型库中获取与关键词对应的对象模型;之后,再根据表达信息对对象模型进行处理,从而得到对象模型的肢体动作信息。与现有技术中人工手动组合这些肢体动作对应的人物模型,才能得到一套完整的人物模型的肢体动作变化相比,在实现对三维场景自动构建的基础上,提高了三维场景中人物肢体动作变化的获取效率。
下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图2为本发明实施例提供的一种人物动作的生成方法的流程示意图,该人物动作的生成方法可以用于虚拟现实和/或增强现实,该人物动作的生成方法可以由人物动作的生成装置执行,该人物动作的生成装置可以独立设置,也可以集成在处理器中。请参见图2所示,该人物动作的生成方法可以包括:
S201、采集用户输入的表达信息。
其中,表达信息中包括与人物有关的关键词,且与人物有关的关键词中包括与人物的肢体动作有关的关键词。
其中,用户输入的表达信息可以通过文本的方式输入,即文本信息;当然,也可以通过语音的方式输入,即语音信息。示例的,当终端设备采集用户输入的文本信息时,可以通过终端设备的屏幕采集用户输入的文本信息;当终端设备采集用户输入的语音信息时,可以通过终端设备的麦克风采集用户输入的语音信息。该表达信息中包括至少一个与人物有关的关键词,且与人物有关的关键词中至少包括一个与人物的肢体动作有关的关键词。
需要说明的是,本发明实施例中的表达信息可以为一句话,也可以为多句话组成的一段话,当然,也可以为多段话组成的一个完整的文本。
S202、从表达信息中提取与人物有关的关键词。
终端设备在通过上述S201采集到用户输入的表达信息之后,就可以提取该表达信息中与人物有关的关键词。示例的,该与人物有关的关键词可以为表示人物的年龄、身高、体重、手臂的动作、腿部的动作等的词。
S203、在预先存储的对象模型库中获取与关键词对应的对象模型。
其中,关键词对应的对象模型可以为三维模型。
需要说明的是,在获取与关键词对应的对象模型之前,需要预先建立对象模型库,该对象模型库中存储了多个关键词及关键词对应的对象模型。对于一个关键词而言,其可以对应一个或多个对象模型。例如,对于关键词“跑”,其对应的对象模型可以为一个正在跑的男性人物模型,也可以为一个正在跑的女性人物模型,也可以是不同姿态的跑的人物模型。当然,也可以多个关键词对应一个对象模型。获取到的与人物有关的关键词越多,对应的在对象模型库中获取的对象模型的准确度越高。
在通过上述S202在表达信息中提取出与人物有关的关键词之后,就可以在预先建立的对象模型库中查找该关键词对应的对象模型,从而获取到关键词对应的对象模型。
S204、根据表达信息对对象模型进行处理,得到对象模型的肢体动作信息。
在通过S203在预先存储的对象模型库中获取与关键词对应的对象模型之后,可以结合表达信息,对对象模型进行组合处理,从而得到对象模型的肢体动作信息。示例的,若表达信息中包括“某人走着走着,突然跑了起来”,则在分别获取到走的人物模型和跑的人物模型之后,结合表达信息对这两个模型进行排序组合处理,就可以得到表达信息中的对象模型的肢体动作信息。与现有技术中人工手动组合这些肢体动作对应的人物模型,才能得到一套完整的人物模型的肢体动作变化相比,在实现对三维场景自动构建的基础上,提高了三维场景中人物肢体动作变化的获取效率。
本发明实施例提供的人物动作的生成方法,通过采集用户输入的表达信息;其中,表达信息中包括与人物有关的关键词,且与人物有关的关键词中包括与人物的肢体动作有关的关键词;并从表达信息中提取与人物有关的关键词;再在预先存储的对象模型库中获取与关键词对应的对象模型;之后,再根据表达信息对对象模型进行处理,从而得到对象模型的肢体动作信息。由此可见,本发明实施例提供的人物动作的生成方法,在获取到关键词对应的对象模型之后,可以直接根据表达信息对对象模型进行处理,从而得到对象模型的肢体动作信息,与现有技术中人工手动组合这些肢体动作对应的人物模型,才能得到一套完整的人物模型的肢体动作变化相比,在实现对三维场景自动构建的基础上,提高了三维场景中人物肢体动作变化的获取效率。
为了更清楚地说明本发明实施例提供的人物动作的生成方法,请参见图3所示,图3为本发明实施例提供的另一种人物动作的生成方法的流程示意图,在图3所示的实施例中,以用户输入的表达信息为文本信息为例,该人物动作的生成方法还可以包括:
S301、采集用户输入的文本信息。
其中,用户输入的表达信息中包括与人物有关的关键词,且与人物有关的关键词中包括与人物的肢体动作有关的关键词。
同样的,本发明实施例中的文本信息可以为一句话,也可以为多句话组成的一段话,当然,也可以为多段话组成的一个完整的文本。并且,该文本信息中包括至少一个与人物有关的关键词,且与人物有关的关键词中至少包括一个与人物的肢体动作有关的关键词。
可选的,终端设备可以通过终端设备的屏幕采集用户输入的文本信息,当然,也可以通过其他方式采集用户输入的文本信息,在此,本发明实施例只是以通过终端设备的屏幕采集用户输入的文本信息为例进行说明,但并不代表本发明实施例仅局限于此。
终端设备在采集到用户输入的文本信息之后,就可以提取该文本信息中的与人物有关的关键词,可选的,在本发明实施例中,提取该文本信息中的与人物有关的关键词可以通过下述S302-S303实现:
S302、根据语义模型对文本信息进行切词处理,得到词组。
在通过上述S301采集到用户输入的文本信息之后,就可以根据语义模型对该文本信息进行切词处理,得到词组。需要说明的是,通过语义模型对文本信息进行切词处理的方法可参见现有技术中已公开的方法,在此,本发明实施例不再进行赘述。
示例的,结合图1所示,终端设备在采集到文本信息“身高为145厘米、体重为40公斤的一个10岁小女孩,穿着小裙子,走着走着,突然看见了自己的妈妈,于是,捧着礼物跑向自己的妈妈”之后,可以通过语义模型对该文本信息进行切词处理,得到多个词组,该多个词组至少包括:身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、走着、突然、看见、自己的、妈妈、捧着、礼物、跑等词组。
S303、在词组中提取与人物有关的关键词。
在根据语义模型对文本信息进行切词处理,得到词组之后,就可以从得到的词组中提取出与人物有关的关键词。
需要说明的是,在上述S301-S303中,只是以表达信息为文本信息,如何提取该文本信息中与人物相关的关键词为例进行说明,当然,表达信息也可以为语音信息,当表达信息为语音信息时,可以先对该语音信息进行语音识别,以得到该语音信息对应的文本信息,从而将用户输入的语音信息转换为其对应的文本信息,之后在该文本信息中提取与人物相关的关键词的方式与上述S302-S303相同,可参见上述S302-S303中的描述,在此,本发明实施例不再进行赘述。
示例的,在通过S302进行分词处理,得到身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、走着、突然、看见、自己的、妈妈、捧着、礼物、跑等词组之后,就可以在这些词组中提取与人物有关的关键词。可以看出,与人物相关的关键词有:身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、走着、看见、捧着、礼物、跑。
S304、收集与人物有关的关键词,并且收集与关键词对应的对象模型。
在获取关键词对应的对象模型的肢体动作信息之前,需要先收集与人物对应的关键词,并且收集与关键词对应的对象模型。需要说明的是,在收集与关键词对应的对象模型时,一个关键词可以对应多个对象模型,当然,也可以多个关键词对应一个对象模型。
可选的,与人物有关的属性可以包括身高、体重、年龄、穿着、手臂动作、腿部动作等特征,则用于表示这些属性的词都可以理解为与人物有关的关键词。在确定与人物有关的关键词之后,就可以进一步收集与这些关键词对应的对象模型。可选的,在本发明实施例中,收集与关键词对应的对象模型可以包括:收集多个用户对同一个关键词对应的肢体动作进行表达时的多个不同的对象模型;并将多个不同的对象模型作为训练样本进行训练和聚类,得到关键词对应的对象模型。例如,对于关键词“站”,不同的用户对应的站的肢体动作可能不同,因此,在确定关键词“站”对应的对象模型时,可以将多个用户对应的不同对象模型进行训练和聚类,从而得到关键词“站”对应的对象模型。
S305、建立对象模型库。
其中,对象模型库中包含关键词与对象模型之间的关联关系。
在通过S304分别收集与人物有关的关键词,并且收集与关键词对应的对象模型之后,就可以根据关键词与对象模型之间的关联关系建立对象模型库。
需要说明的是,S301-S303和S304-S305之间并无先后顺序,可以先执行S301-S303,再执行S304-S305;当然,也可以先执行S304-S305,再执行S301-S303;当然,也可以同时执行S301-S303和S304-S305。在此,本发明实施例只是以先执行S301-S303,再执行S304-S305为例进行说明,但并不代表本发明实施例仅局限于此。通常情况下,可以先执行S304-S305,即先收集与人物有关的关键词,并且收集与关键词对应的对象模型,并建立对象模型库,且不是在每次获取对象模型的肢体动作信息时都需要执行S304-S305,可以在第一次获取对象模型的肢体动作信息时建立一个对象模型库,后续当有新的关键词和其对应的对象模型产生时,可以将该新的关键词和其对应的对象模型添加至该对象模型库,从而对该对象模型库进行更新。
S306、在预先存储的对象模型库中获取与关键词对应的对象模型。
需要说明的是,在预先建立的对象模型库中获取与关键词对应的对象模型时,若在预先存储的对应模型库中,一个关键词对应至少两个对象模型时,可以在至少两个对象模型中任意选择一个作为关键词对应的对象模型,也可以对该至少两个对象模型求平均值,从而得到关键词对应的对象模型。当然,若文本信息中有对该对象模型的进一步地限定时,可以在至少两个对象模型中选择与文本信息匹配的对象模型。
示例的,在通过S303提取到与人物有关的关键词身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、走着、看见、捧着、礼物、跑,并通过S305建立对象模型库之后,可以根据这些与人物有关的关键词,在预先建立的对象模型库中,查找并获取身高为145厘米、体重为40公斤、10岁的穿着小裙子,捧着礼物的走着的小女孩模型,且查找并获取身高为145厘米、体重为40公斤、10岁的穿着小裙子,捧着礼物的跑着的小女孩模型;在分别获取到这两个模型之后,就可以对结合本文信息,对这两个模型进行处理,从而得到小女孩模型的肢体动作信息,请参见下述S307所示:
S307、根据表达信息对对象模型进行处理,得到对象模型的肢体动作信息。
在通过S306在预先存储的对象模型库中获取与关键词对应的对象模型之后,可以结合表达信息,对对象模型进行组合处理,从而得到对象模型的肢体动作信息。与现有技术中人工手动组合这些肢体动作对应的人物模型,才能得到一套完整的人物模型的肢体动作变化相比,在实现对三维场景自动构建的基础上,提高了三维场景中人物肢体动作变化的获取效率。
示例的,在预先存储的对象模型库中查找并获取身高为145厘米、体重为40公斤、10岁的穿着小裙子,捧着礼物的走着的小女孩模型,且查找并获取身高为145厘米、体重为40公斤、10岁的穿着小裙子,捧着礼物的跑着的小女孩模型之后,结合文本信息“身高为145厘米、体重为40公斤的一个10岁小女孩,穿着小裙子,走着走着,突然看见了自己的妈妈,于是,捧着礼物跑向自己的妈妈”可以得到,小女孩先执行了走的动作,再执行跑的动作,因此,可以对结合本文信息,对这两个模型进行排序组合处理,从而得到小女孩模型的肢体动作信息。与现有技术中人工手动组合这些肢体动作对应的小女孩模型,才能得到一套完整的小女孩的肢体动作变化相比,在实现对三维场景自动构建的基础上,提高了三维场景中小女孩肢体动作变化的获取效率。
图4为本发明实施例提供的一种人物动作的生成装置40的结构示意图,请参见图4所示,该人物动作的生成装置40可以应用于虚拟现实和/或增强现实,该人物动作的生成装置40可以包括:
采集单元401,用户采集用户输入的表达信息;其中,表达信息中包括与人物有关的关键词,且与人物有关的关键词中包括与人物的肢体动作有关的关键词。
获取单元402,用于从表达信息中提取与人物有关的关键词。
获取单元402,还用于在预先存储的对象模型库中获取与关键词对应的对象模型。
处理单元403,用于根据表达信息对对象模型进行处理,得到对象模型的肢体动作信息。
可选的,该人物动作的生成装置40还可以包括建立单元404,请参见图5所示,图5为本发明实施例提供的另一种人物动作的生成装置的结构示意图。
采集单元401,还用于收集与人物有关的关键词,并且收集与关键词对应的对象模型。
建立单元404,用于建立对象模型库,对象模型库中包含关键词与对象模型之间的关联关系。
可选的,采集单元401,具体用于收集多个用户对同一个关键词对应的肢体动作进行表达时的多个不同的对象模型;并将多个不同的对象模型作为训练样本进行训练和聚类,得到关键词对应的对象模型。
可选的,采集单元401,具体用于采集用户输入的文本信息。
相应的,获取单元402,具体用于根据语义模型对文本信息进行切词处理,得到词组;并在词组中提取与人物有关的关键词。
可选的,采集单元401,具体用于采集用户输入的语音信息。
相应的,获取单元402,具体用于对语音信息进行语音识别,得到文本信息;并根据语义模型对文本信息进行切词处理,得到词组;再从词组中提取与人物有关的关键词。
本发明实施例所示的人物动作的生成装置40,可以执行上述任一实施例所示的人物动作的生成方法的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
图6为本发明实施例提供的一种终端设备60的结构示意图,请参见图6所示,该终端设备60可以包括处理器601和存储器602。其中,
存储器602用于存储程序指令。
处理器601用于读取存储器602中的程序指令,并根据存储器602中的程序指令执行上述任一实施例所示的人物动作的生成方法。
本发明实施例所示的终端设备60,可以执行上述任一实施例所示的人物动作的生成方法的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,在计算机程序被处理器执行时,执行上述任一实施例所示的人物动作的生成方法,其实现原理以及有益效果类似,此处不再进行赘述。
上述实施例中处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的指令,结合其硬件完成上述方法的步骤。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种人物动作的生成方法,其特征在于,所述方法用于虚拟现实和/或增强现实,所述方法包括:
获取用户输入的表达信息,所述表达信息为文本信息;其中,所述表达信息中包括与人物有关的关键词,且所述与人物有关的关键词中包括与人物的肢体动作有关的关键词;
根据语义模型对所述文本信息进行切词处理,得到词组;
在所述词组中提取所述与人物有关的关键词;
在预先存储的对象模型库中获取与所述关键词对应的对象模型;
根据所述表达信息对所述关键词对应的对象模型进行处理,得到所述人物的肢体动作信息;
所述在预先存储的对象模型库中获取与所述关键词对应的对象模型,包括:
在预先存储的对象模型库中获取各个与人物的肢体动作有关的关键词对应的对象模型;
所述根据所述表达信息对所述关键词对应的对象模型进行处理,得到所述人物的肢体动作信息,包括:
对各个与人物的肢体动作有关的关键词对应的对象模型进行组合,得到所述人物的肢体动作变化信息。
2.根据权利要求1所述的方法,其特征在于,所述在预先存储的对象模型库中获取与所述关键词对应的对象模型之前,还包括:
收集所述与人物有关的关键词,并且收集与所述关键词对应的对象模型;
建立对象模型库,所述对象模型库中包含关键词与对象模型之间的关联关系。
3.根据权利要求2所述的方法,其特征在于,所述收集与所述关键词对应的对象模型,包括:
收集多个用户对同一个关键词对应的肢体动作进行表达时的多个不同的对象模型;
将所述多个不同的对象模型作为训练样本进行训练和聚类,得到所述关键词对应的对象模型。
4.根据权利要求1~3任一项所述的方法,其特征在于,所述获取用户输入的表达信息,包括:
采集用户输入的所述文本信息。
5.根据权利要求1~3任一项所述的方法,其特征在于,所述获取用户输入的表达信息,包括:
采集用户输入的语音信息;
对所述语音信息进行语音识别,得到所述文本信息。
6.一种人物动作的生成装置,其特征在于,所述装置用于虚拟现实和/或增强现实,所述装置包括:
采集单元,用户获取用户输入的表达信息,所述表达信息为文本信息;其中,所述表达信息中包括与人物有关的关键词,且所述与人物有关的关键词中包括与人物的肢体动作有关的关键词;
获取单元,用于根据语义模型对所述文本信息进行切词处理,得到词组;在所述词组中提取所述与人物有关的关键词;
所述获取单元,还用于在预先存储的对象模型库中获取与所述关键词对应的对象模型;
处理单元,用于根据所述表达信息对所述关键词对应的对象模型进行处理,得到所述人物的肢体动作信息;
所述获取单元,具体还用于在预先存储的对象模型库中获取各个与人物的肢体动作有关的关键词对应的对象模型;
所述处理单元,具体用于对各个与人物的肢体动作有关的关键词对应的对象模型进行组合,得到所述人物的肢体动作变化信息。
7.根据权利要求6所述的装置,其特征在于,还包括建立单元;
所述采集单元,还用于收集所述与人物有关的关键词,并且收集与所述关键词对应的对象模型;
所述建立单元,用于建立对象模型库,所述对象模型库中包含关键词与对象模型之间的关联关系。
8.根据权利要求7所述的装置,其特征在于,
所述采集单元,具体用于收集多个用户对同一个关键词对应的肢体动作进行表达时的多个不同的对象模型;并将所述多个不同的对象模型作为训练样本进行训练和聚类,得到所述关键词对应的对象模型。
9.根据权利要求6~8任一项所述的装置,其特征在于,
所述采集单元,具体用于采集用户输入的所述文本信息。
10.根据权利要求6~8任一项所述的装置,其特征在于,
所述采集单元,具体用于采集用户输入的语音信息;
相应的,所述获取单元,具体用于对所述语音信息进行语音识别,得到所述文本信息。
11.一种终端设备,其特征在于,包括处理器和存储器,其中,
所述存储器用于存储程序指令;
所述处理器用于读取所述存储器中的程序指令,并根据所述存储器中的程序指令执行权利要求1~5任一项所示的人物动作的生成方法。
12.一种计算机可读存储介质,其特征在于,
计算机可读存储介质上存储有计算机程序,在所述计算机程序被处理器执行时,执行权利要求1~5任一项所示的人物动作的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810720342.9A CN108986191B (zh) | 2018-07-03 | 2018-07-03 | 人物动作的生成方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810720342.9A CN108986191B (zh) | 2018-07-03 | 2018-07-03 | 人物动作的生成方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108986191A CN108986191A (zh) | 2018-12-11 |
CN108986191B true CN108986191B (zh) | 2023-06-27 |
Family
ID=64536039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810720342.9A Active CN108986191B (zh) | 2018-07-03 | 2018-07-03 | 人物动作的生成方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108986191B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918509B (zh) * | 2019-03-12 | 2021-07-23 | 明白四达(海南经济特区)科技有限公司 | 基于信息提取的场景生成方法及场景生成***的存储介质 |
CN113313792A (zh) * | 2021-05-21 | 2021-08-27 | 广州幻境科技有限公司 | 一种动画视频的制作方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010105216A2 (en) * | 2009-03-13 | 2010-09-16 | Invention Machine Corporation | System and method for automatic semantic labeling of natural language texts |
CN104268166A (zh) * | 2014-09-09 | 2015-01-07 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和电子设备 |
CN104317389A (zh) * | 2014-09-23 | 2015-01-28 | 广东小天才科技有限公司 | 一种通过动作识别人物角色的方法和装置 |
CN106710590A (zh) * | 2017-02-24 | 2017-05-24 | 广州幻境科技有限公司 | 基于虚拟现实环境的具有情感功能的语音交互***及方法 |
CN106951881A (zh) * | 2017-03-30 | 2017-07-14 | 成都创想空间文化传播有限公司 | 一种三维场景呈现方法、装置及*** |
CN107272884A (zh) * | 2017-05-09 | 2017-10-20 | 聂懋远 | 一种基于虚拟现实技术的控制方法及其控制*** |
CN108170278A (zh) * | 2018-01-09 | 2018-06-15 | 三星电子(中国)研发中心 | 沟通辅助方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2828572A1 (fr) * | 2001-08-13 | 2003-02-14 | Olivier Cordoleani | Procede de creation d'un personnage tridimensionnel |
CN101482976B (zh) * | 2009-01-19 | 2010-10-27 | 腾讯科技(深圳)有限公司 | 语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置 |
CN102903142A (zh) * | 2012-10-18 | 2013-01-30 | 天津戛唛影视动漫文化传播有限公司 | 一种实现三维增强现实的方法 |
CN103646425A (zh) * | 2013-11-20 | 2014-03-19 | 深圳先进技术研究院 | 一种体感交互的方法及*** |
CN104461215A (zh) * | 2014-11-12 | 2015-03-25 | 深圳市东信时代信息技术有限公司 | 基于虚拟增强技术的增强现实***及方法 |
CN104866308A (zh) * | 2015-05-18 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 一种场景图像的生成方法及装置 |
CN105551084B (zh) * | 2016-01-28 | 2018-06-08 | 北京航空航天大学 | 一种基于图像内容解析的室外三维场景组合构建方法 |
CN107316343B (zh) * | 2016-04-26 | 2020-04-07 | 腾讯科技(深圳)有限公司 | 一种基于数据驱动的模型处理方法及设备 |
CN205721630U (zh) * | 2016-04-26 | 2016-11-23 | 西安智道科技有限责任公司 | 一种新媒体推广机的人机交互结构 |
US10579940B2 (en) * | 2016-08-18 | 2020-03-03 | International Business Machines Corporation | Joint embedding of corpus pairs for domain mapping |
CN106951095A (zh) * | 2017-04-07 | 2017-07-14 | 胡轩阁 | 基于三维扫描技术的虚拟现实互动方法以及*** |
-
2018
- 2018-07-03 CN CN201810720342.9A patent/CN108986191B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010105216A2 (en) * | 2009-03-13 | 2010-09-16 | Invention Machine Corporation | System and method for automatic semantic labeling of natural language texts |
CN104268166A (zh) * | 2014-09-09 | 2015-01-07 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和电子设备 |
CN104317389A (zh) * | 2014-09-23 | 2015-01-28 | 广东小天才科技有限公司 | 一种通过动作识别人物角色的方法和装置 |
CN106710590A (zh) * | 2017-02-24 | 2017-05-24 | 广州幻境科技有限公司 | 基于虚拟现实环境的具有情感功能的语音交互***及方法 |
CN106951881A (zh) * | 2017-03-30 | 2017-07-14 | 成都创想空间文化传播有限公司 | 一种三维场景呈现方法、装置及*** |
CN107272884A (zh) * | 2017-05-09 | 2017-10-20 | 聂懋远 | 一种基于虚拟现实技术的控制方法及其控制*** |
CN108170278A (zh) * | 2018-01-09 | 2018-06-15 | 三星电子(中国)研发中心 | 沟通辅助方法及装置 |
Non-Patent Citations (1)
Title |
---|
一种自然语言关键词的人机交互方法;赵宇婧;许鑫泽;朱齐丹;张智;;应用科技;第43卷(第06期);1-6 * |
Also Published As
Publication number | Publication date |
---|---|
CN108986191A (zh) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11790589B1 (en) | System and method for creating avatars or animated sequences using human body features extracted from a still image | |
CN111833418B (zh) | 动画交互方法、装置、设备以及存储介质 | |
CN111680562A (zh) | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 | |
CN108491486B (zh) | 模拟病人问诊对话方法、装置、终端设备及存储介质 | |
CN108345385A (zh) | 虚拟陪跑人物建立与交互的方法及装置 | |
CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
CN106527695B (zh) | 一种信息输出方法及装置 | |
CN111414506B (zh) | 基于人工智能情绪处理方法、装置、电子设备及存储介质 | |
CN109343695A (zh) | 基于虚拟人行为标准的交互方法及*** | |
CN114241558B (zh) | 模型的训练方法、视频生成方法和装置、设备、介质 | |
CN111652987A (zh) | 一种ar合影图像生成的方法及装置 | |
CN108986191B (zh) | 人物动作的生成方法、装置及终端设备 | |
CN111191503A (zh) | 一种行人属性识别方法、装置、存储介质及终端 | |
CN117689752A (zh) | 文学作品插图生成方法、装置、设备及存储介质 | |
CN110314344A (zh) | 运动提醒方法、装置及*** | |
CN111447379B (zh) | 生成信息的方法和装置 | |
CN108932336A (zh) | 信息推荐方法、电子终端及计算机可读存储介质消息 | |
CN114510942A (zh) | 获取实体词的方法、模型的训练方法、装置及设备 | |
CN115116085A (zh) | 针对目标属性的图片识别方法、装置、设备及存储介质 | |
CN112333464B (zh) | 一种交互数据生成方法、装置以及计算机存储介质 | |
CN116152900B (zh) | 表情信息的获取方法、装置、计算机设备及存储介质 | |
KR102660366B1 (ko) | 수어 조립 장치 및 그의 동작 방법 | |
CN116955835B (zh) | 资源筛选方法、装置、计算机设备及存储介质 | |
WO2024066549A1 (zh) | 一种数据处理方法及相关设备 | |
CN115705628A (zh) | 图像处理方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |