CN111369652B - 一种基于多个单独手语动作产生连续手语动作的方法 - Google Patents
一种基于多个单独手语动作产生连续手语动作的方法 Download PDFInfo
- Publication number
- CN111369652B CN111369652B CN202010129177.7A CN202010129177A CN111369652B CN 111369652 B CN111369652 B CN 111369652B CN 202010129177 A CN202010129177 A CN 202010129177A CN 111369652 B CN111369652 B CN 111369652B
- Authority
- CN
- China
- Prior art keywords
- sign language
- action
- actions
- time
- independent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000009877 rendering Methods 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 7
- 208000032041 Hearing impaired Diseases 0.000 abstract description 5
- 230000004888 barrier function Effects 0.000 abstract description 5
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及计算机三维动画技术领域,且公开了一种基于多个单独手语动作产生连续手语动作的人物动作模拟方法,包括以下阶段:1、数据预处理阶段:制作多个单独手语动作,划分和标注动作的时间,以及将制作好的多个单独手语动作存储在服务器端;2、实时计算阶段:设定连续手语目标,自然语言处理目标得到需求的多个单独手语动作,按照算法处理这些单独手语动作,产生连续手语动作。使用该基于多单独手语动作产生连续手语动作的方法,使得虚拟人物在能够像真实人物一样实时连续打手语,有利于降低制作周期,有利于打破正常人和听障人的沟通障碍,提升沟通效率。
Description
技术领域
本发明涉及计算机三维动画技术领域,具体为一种基于多个单独手语动作产生连续手语动作的方法。
背景技术
随着计算机三维动作技术不断的发展,利用虚拟人物打出准确和连续的手语对打破正常人与听障人沟通障碍的需求变得非常重要。虚拟人物通常可以在虚拟场景中做出各种各样的仿真肢体动作,比如行走、跳和抓等,其中虚拟人物通过打连续的手语可以极大强化正常人与听障人的沟通交流。
目前在使用虚拟人物打手语方面,通常通过直接制作连续手语动作数据,对虚拟人物直接进行驱动,该方法虽然可以保证手语动作的准确性和连续性,但是这种模拟方式只能将手语限定在一个相对较小的范围中,无法处理不在此范围的手语需求,同时人物缺乏实时交互能力,无法真正打破正常人和听障人的交流障碍,如果不采用上述驱动方式,通常需要提前制作大量的连续手语动作数据,并限定手语范围,且无法进行实时交互,故而提出了一种基于多个单独手语动作产生连续手语动作的方法来解决上述提出的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种基于多个单独手语动作产生连续手语动作的方法,具备能保证动作连续性、实时性等优点,解决了目前其他连续手语方案中,数据制作量大,限定目标连续手语范围、无法实时交互的问题。
(二)技术方案
为实现上述虚拟人打手语的连续性和实时交互性,本发明提供如下技术方案:
动作数据预处理阶段:
步骤(1):制作多个单独手语动作数据。通过动作捕捉设备结合美工修正的方式制作多个单独手语动作,包含大量动作动画数据M,
M={M1,M2,...,Mnum},num∈N,
其中num为一个较大的自然数,使得M能够包含足够多的单独手语动作。这些动作数据最终被抽象为虚拟人物骨骼的所有重要关节的旋转数据以及位移数据;
步骤(2):标注动作的时间戳,划分动作。目标是根据语义将每一个单独手语动作划分为抬手、动作、放手三段,并使用时间戳标记划分点:将开始的时间点标记为tstart,从开始到抬手完成的时间点标记为tready,抬手完成到手语动作完成,准备放手的时间点标记为trelax,开始放手到整个动作完成的时间点标记为tstop;
步骤(3):将经过预处理的动作数据,存储在服务器端。制作好的单独手语动作数据首先被存储在服务器端,在需要时会下载其中一部分到客户端。
实时计算阶段:
步骤(4):设定目标连续手语L,这通常是一句自然语言,如“你好,今天天气怎么样?”,即L=“你好,今天天气怎么样?”
步骤(5):使用自然语言处理程序对L进行分词,得到可用的手语动作序列Seq,其由一系列有序的分词组成,即
Seq={Segment1,Segment2,...,Segmentk},
其中k≥0,Segment为分词,对应一个单独手语动作。
例如:Seq={“你好”,“今天”,“天气”,“怎么样”};
步骤(6):将对应的单独手语动作从服务器端下载至客户端,得到动作序列Mseq:
Mseq={M1,M2,...,Mk}
步骤(7):计算和调整每个单独手语动作的时间戳。
动作Mi的时间戳为
令第一个动作的开始时间为当前时间,即
按照下列公式递归计算出所有动作的时间戳:
其中0.2单位为秒,为经验值常数。
按照下列公式调整动作的时间戳:
步骤(8):获取当前时间tnow,计算每个单独手语动作的权重Wi。
按照以下公式计算权重:
步骤(9):产生在当前时间tnow的动作数据帧
使用如下公式计算:
步骤(10):重复步骤(8)至步骤(9),直至产生连续手语动作Mresult。
步骤(11):渲染。有两种渲染方案。方案1,每一帧将输出到渲染引擎;方案2,将Mresult输出到渲染引擎。根据实际情况可以选择其中一种渲染方案。两种渲染方案所采用的算法效率均可以满足渲染引擎实时渲染的性能要求,可以实时驱动虚拟人物做出连续的手语动作。
(三)有益效果
与现有技术相比,本发明提供了一种基于多个单独手语动作产生连续手语动作的方法,具备以下有益效果:
1、目标连续手语可以是任意自然语言,打破了传统方法限定目标连续手语范围的缺陷。
2、只需制作多个单独手语动作而非多个连续手语,极大缩短了传统方案中数据制作的周期。
3、实时计算保证了可以立刻对连续手语目标作出反馈,确保了交互的实时性,有利于打破正常人与听障人的沟通障碍,提高沟通效率。
附图说明
图1为本发明提出的一种基于多个单独手语动作产生连续手语动作的方法的步骤流程图;
具体实施方式
下面将结合本发明的实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明公开了一种动作基于单个手语动作产生连续手语动作的方法,包括以下步骤:
动作数据预处理阶段:
步骤(1):制作多个单独手语动作数据。通过动作捕捉设备结合美工修正的方式制作多个单独手语动作,包含大量动作动画数据M,
M={M1,M2,...,Mnum},num∈N,
其中num为一个较大的自然数,使得M能够包含足够多的单独手语动作。这些动作数据最终被抽象为虚拟人物骨骼的所有重要关节的旋转数据以及位移数据;
步骤(2):标注动作的时间戳,划分动作。目标是根据语义将每一个单独手语动作划分为抬手、动作、放手三段,并使用时间戳标记划分点:将开始的时间点标记为tstart,从开始到抬手完成的时间点标记为tready,抬手完成到手语动作完成,准备放手的时间点标记为trelax,开始放手到整个动作完成的时间点标记为tstop;
步骤(3):将经过预处理的动作数据,存储在服务器端。制作好的单独手语动作数据首先被存储在服务器端,在需要时会下载其中一部分到客户端。
实时计算阶段:
步骤(4):设定目标连续手语L,这通常是一句自然语言,如“你好,今天天气怎么样?”,即L=“你好,今天天气怎么样?”
步骤(5):使用自然语言处理程序对L进行分词,得到可用的手语动作序列Seq,其由一系列有序的分词组成,即
Seq={Segment1,Segment2,...,Segmentk},
其中k≥0,Segment为分词,对应一个单独手语动作。
例如:Seq={“你好”,“今天”,“天气”,“怎么样”};
步骤(6):将对应的单独手语动作从服务器端下载至客户端,得到动作序列Mseq:
Mseq={M1,M2,...,Mk}
步骤(7):计算和调整每个单独手语动作的时间戳。
动作Mi的时间戳为
令第一个动作的开始时间为当前时间,即
按照下列公式递归计算出所有动作的时间戳:
其中0.2单位为秒,为经验值常数。
按照下列公式调整动作的时间戳:
步骤(8):获取当前时间tnow,计算每个单独手语动作的权重Wi。
按照以下公式计算权重:
步骤(9):产生在当前时间tnow的动作数据帧
使用如下公式计算:
步骤(10):重复步骤(8)至步骤(9),直至产生连续手语动作Mresult。
步骤(11):渲染。有两种渲染方案。方案1,每一帧将输出到渲染引擎;方案2,将Mresult输出到渲染引擎。根据实际情况可以选择其中一种渲染方案。两种渲染方案所采用的算法效率均可以满足渲染引擎实时渲染的性能要求,可以实时驱动虚拟人物做出连续的手语动作。
本发明的有益效果是:
1、目标连续手语可以是任意自然语言,打破了传统方法限定目标连续手语范围的缺陷。
2、只需制作多个单独手语动作而非多个连续手语,极大缩短了传统方案中数据制作的周期。
3、实时计算保证了可以立刻对连续手语目标作出反馈,确保了交互的实时性,有利于打破正常人与听障人的沟通障碍,提高沟通效率。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于多个单独手语动作产生连续手语动作的方法,其特征在于,包括以下步骤:
动作数据预处理阶段:
步骤(1):制作多个独立手语动作数据;通过动作捕捉设备结合美工修正的方式制作多个独立手语动作数据,一段手语动画会包含多个独立手语动作,该段手语动画对应的动作数据M,M={M1,M2,…,MN},其中N为一个自然数,使得M能够包含任意数量的独立手语动作;这些动作数据最终被专递到虚拟人物骨骼上,以关节的旋转和位移数据为表现;
步骤(2):标注动作的时间戳,划分动作;目标是根据语义将每一个单独手语动作划分为抬手、动作、放手三段,并使用时间戳标记划分点:将开始的时间点标记为tstart,从开始到抬手完成的时间点标记为tready,抬手完成到手语动作完成,准备放手的时间点标记为trelax,开始放手到整个动作完成的时间点标记为tstop;
步骤(3):将经过预处理的动作数据,存储在服务器端;制作好的单独手语动作数据首先被存储在服务器端,在需要时会下载其中一部分到客户端;
实时计算阶段:
步骤(4)成为:设定翻译目标句子L,使用自然语言处理程序对L进行分词,得到可用的手语动作序列Seq,其由一系列有序的分词组成,即
Seq={Segment1,Segment2,…,Segmentk},
其中k≥0,Segment为分词,对应一个单独手语动作;
步骤(5):将对应的单独手语动作从服务器端下载至客户端,得到动作序列Mseq:
Mseq={M1,M2,…,Mk}
步骤(6):计算和调整每个单独手语动作的时间戳;
动作Mi的时间戳为;
令第一个动作的开始时间为当前时间,即
按照下列公式递归计算出所有动作的时间戳:
其中0.2单位为秒,为经验值常数;
按照下列公式调整动作的时间戳:
步骤(7):获取当前时间tnow,计算每个单独手语动作的权重Wi;
按照以下公式计算权重:
步骤(8):产生在当前时间tnow的动作数据帧;
使用如下公式计算:
步骤(9):重复步骤(7)至步骤(8),直至产生连续手语动作Mresult;
步骤(10):渲染;有两种渲染方案;方案1,每一帧将输出到渲染引擎;方案2,将Mresult输出到渲染引擎;根据实际情况可以选择其中一种渲染方案;两种渲染方案所采用的算法效率均可以满足渲染引擎实时渲染的性能要求,可以实时驱动虚拟人物做出连续的手语动作。
2.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法,其特征在于,虚拟人物模型以及手语动作动画可通过任意支持骨骼动画的渲染引擎实现。
3.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法,其特征在于,所述多个单独手语动作需要利用标记时间戳的方法根据动作语义划分为抬手、动作、放手三段。
4.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法,其特征在于,所述设定的连续手语目标可以是任意的自然语言。
5.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法,其特征在于,所述连续手语动作由至少一个单独手语动作根据所述算法产生,使用的单独手语动作取决于自然语言处理程序的分词。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129177.7A CN111369652B (zh) | 2020-02-28 | 2020-02-28 | 一种基于多个单独手语动作产生连续手语动作的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129177.7A CN111369652B (zh) | 2020-02-28 | 2020-02-28 | 一种基于多个单独手语动作产生连续手语动作的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111369652A CN111369652A (zh) | 2020-07-03 |
CN111369652B true CN111369652B (zh) | 2024-04-05 |
Family
ID=71208220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010129177.7A Active CN111369652B (zh) | 2020-02-28 | 2020-02-28 | 一种基于多个单独手语动作产生连续手语动作的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111369652B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326746A (zh) * | 2021-05-13 | 2021-08-31 | 中国工商银行股份有限公司 | 用于人体模型的手语播报方法及装置 |
CN115619912B (zh) * | 2022-10-27 | 2023-06-13 | 深圳市诸葛瓜科技有限公司 | 一种基于虚拟现实技术的动漫人物展示***及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 进行手语合成与显示的***和方法 |
KR20110090675A (ko) * | 2010-02-04 | 2011-08-10 | 한국과학기술원 | 수화 애니메이션 생성을 위한 시스템 및 방법 |
CN102497513A (zh) * | 2011-11-25 | 2012-06-13 | 中山大学 | 一种面向数字电视的视频虚拟人手语*** |
CN107707726A (zh) * | 2016-08-09 | 2018-02-16 | 深圳市鹏华联宇科技通讯有限公司 | 一种用于正常人与聋哑人通讯的终端和通话方法 |
CN109166409A (zh) * | 2018-10-10 | 2019-01-08 | 长沙千博信息技术有限公司 | 一种手语转换方法及装置 |
CN109409255A (zh) * | 2018-10-10 | 2019-03-01 | 长沙千博信息技术有限公司 | 一种手语场景生成方法及装置 |
CN110457673A (zh) * | 2019-06-25 | 2019-11-15 | 北京奇艺世纪科技有限公司 | 一种自然语言转换为手语的方法及装置 |
CN110730360A (zh) * | 2019-10-25 | 2020-01-24 | 北京达佳互联信息技术有限公司 | 视频上传、播放的方法、装置、客户端设备及存储介质 |
-
2020
- 2020-02-28 CN CN202010129177.7A patent/CN111369652B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 进行手语合成与显示的***和方法 |
KR20110090675A (ko) * | 2010-02-04 | 2011-08-10 | 한국과학기술원 | 수화 애니메이션 생성을 위한 시스템 및 방법 |
CN102497513A (zh) * | 2011-11-25 | 2012-06-13 | 中山大学 | 一种面向数字电视的视频虚拟人手语*** |
CN107707726A (zh) * | 2016-08-09 | 2018-02-16 | 深圳市鹏华联宇科技通讯有限公司 | 一种用于正常人与聋哑人通讯的终端和通话方法 |
CN109166409A (zh) * | 2018-10-10 | 2019-01-08 | 长沙千博信息技术有限公司 | 一种手语转换方法及装置 |
CN109409255A (zh) * | 2018-10-10 | 2019-03-01 | 长沙千博信息技术有限公司 | 一种手语场景生成方法及装置 |
CN110457673A (zh) * | 2019-06-25 | 2019-11-15 | 北京奇艺世纪科技有限公司 | 一种自然语言转换为手语的方法及装置 |
CN110730360A (zh) * | 2019-10-25 | 2020-01-24 | 北京达佳互联信息技术有限公司 | 视频上传、播放的方法、装置、客户端设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于关键帧插值的中国手语连音动画合成;李烁;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;第2013年卷(第1期);I138-1593 * |
Also Published As
Publication number | Publication date |
---|---|
CN111369652A (zh) | 2020-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111369652B (zh) | 一种基于多个单独手语动作产生连续手语动作的方法 | |
CN112333179B (zh) | 虚拟视频的直播方法、装置、设备及可读存储介质 | |
CN108335345B (zh) | 面部动画模型的控制方法及装置、计算设备 | |
CN110222628A (zh) | 一种基于生成式对抗网络的人脸修复方法 | |
CN107291232A (zh) | 一种基于深度学习与大数据的体感游戏交互方法及*** | |
US20110148864A1 (en) | Method and apparatus for creating high-quality user-customized 3d avatar | |
CN106447748A (zh) | 一种用于生成动画数据的方法和装置 | |
US20030137515A1 (en) | Apparatus and method for efficient animation of believable speaking 3D characters in real time | |
CN101854986A (zh) | 运动动画制作方法和设备 | |
DE60112016T2 (de) | Unterhaltungsvorrichtung, speichermedium und verfahren zur wetterbestimmung | |
US10713850B2 (en) | System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint | |
WO2021218482A1 (zh) | 角色变身动画的生成方法、装置、设备及可读存储介质 | |
EP4030342A1 (en) | Image processing method and image synthesis method, image processing apparatus and image synthesis apparatus, and storage medium | |
CN113633983B (zh) | 虚拟角色表情控制的方法、装置、电子设备及介质 | |
US20100013837A1 (en) | Method And System For Controlling Character Animation | |
CN106471572A (zh) | 一种同步语音及虚拟动作的方法、***及机器人 | |
JP2022133409A (ja) | 仮想オブジェクトリップ駆動方法、モデル訓練方法、関連装置及び電子機器 | |
CN111768474B (zh) | 动画生成方法、装置、设备 | |
CN112508397A (zh) | 一种游戏化vod评分***及方法 | |
CN104123735B (zh) | 能实现多种动作混合的方法 | |
CN113781611B (zh) | 一种动画制作方法、装置、电子设备及存储介质 | |
CN112717343B (zh) | 体育运动数据的处理方法及装置、存储介质、计算机设备 | |
CN114630190A (zh) | 关节姿态参数的确定方法、模型训练方法及装置 | |
CN113313796B (zh) | 场景生成方法、装置、计算机设备和存储介质 | |
CN108242057A (zh) | 基于嵌入边界约束因子的局部主动轮廓图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |