CN102737397A - 基于运动偏移映射的有韵律头部运动合成方法 - Google Patents
基于运动偏移映射的有韵律头部运动合成方法 Download PDFInfo
- Publication number
- CN102737397A CN102737397A CN2012101671930A CN201210167193A CN102737397A CN 102737397 A CN102737397 A CN 102737397A CN 2012101671930 A CN2012101671930 A CN 2012101671930A CN 201210167193 A CN201210167193 A CN 201210167193A CN 102737397 A CN102737397 A CN 102737397A
- Authority
- CN
- China
- Prior art keywords
- sign language
- rhythm
- processed
- motion
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于运动偏移映射的有韵律头部运动合成方法,包括:将需要被处理的自然文本输入到手语标记语言***中,该手语标记语言***解析产生被处理的自然文本的内容信息、韵律标记和韵律结构;设置一个参数和相对应的取值,读取手语标记语言***中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整,读取参数的取值,运用运动偏移映射方法对被处理的自然文本的内容信息相对应的词的手势数据进行处理,得到改变幅度后的运动信息;对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构,得到该自然文本的手语动画演示信息。本发明不仅能增强手语动画的真实感,还会提高手语动画的可懂度。
Description
技术领域
本发明属于手语运用技术领域,尤其是涉及一种基于运动偏移映射的有韵律头部运动合成方法。
背景技术
手语作为一种视觉语言,通过手、头、面部以及身体等多种模式协同表达。在不同的上下文环境中手势表达效果也不尽相同,通常体现在幅度,速度,节奏等韵律特征中。为了合成逼真的虚拟人动画,运用基于真实人体运动的捕捉技术可以解决该问题,但缺点是如果想产生一个相对于原始捕获数据稍加变化的运动就要重新再经历一次运动捕获的过程,工作量巨大因此不适用于实时的虚拟人动画。如何在原始运动数据基础上合成逼真、富有表现力的手语动画,各国学者做了相关的研究工作,方法主要可以分为两大类,内容如下:
一类是基于规则的,通过进行语言学分析以及上下文分析,依靠心理学家的经验知识,建立起语义动作的规则集,这些规则对应于虚拟人不同情境下的动作表达或者某一模式的行为方式。通过在***中提供从文本语义到参数模型的控制,从而实现合成富有真实感的虚拟人动作。例如K.Perlin的虚拟人动画改进技术使用高层脚本及工具实现富有真实感的动画,***可以让动画制作人员创建规则集并合成不同情境下的动作表达,从而完成交流。麻省理工学院(Massachusetts Institute of Technology)的行为表情动画工具***(The BehaviorExpression Animation Toolkit,BEAT)提供工具使得用户可以根据需求加入他们想要的规则,当输入文本后,通过标记语言的解析和制定的规则集,从而实现富有真实感的虚拟人运动表达。利用基于规则的方法,可以在工具辅助交互的前提下,实现富有表现力的虚拟人动画。但是利用规则法,只是实现规则集中定义的语义动作,并未产生新的动作片段,因此无法实现从文本自动生成虚拟人的各种行为,具有一定的局限性。
另一类是基于学习控制的,从大量真实数据中学习到真实人的行为运动规律,再运用于虚拟人的运动控制中。Unuma等人提出通过对一个人的实际运动行为数据做傅里叶展开变换,使用一定的分析方法从中获取基本运动因子和性质因子。通过在频率域对性质因子进行相关处理,可以使得这一运动行为产生丰富的变化效果。Diane等人提出了通过使用一系列运动参数来建立一个效果模型(Effort Model),实现基于两个关键点的手臂运动。她的运动控制理论产生了可以通过语义对运动效果控制的效果,在传统的关键帧动画和逆动力学技术的基础上,提供了新颖的定义和编辑动画的能力。通过学习控制方法可以很好的学习真实行为的规律。
但是上述的方法都是针对手语表达中手势韵律方面的研究,而针对头部如何能提高手语表达的真实感及运动规律的研究则较少,如何利用头部提高手语表达的真实感便成为亟待解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于运动偏移映射的有韵律头部运动合成方法,以解决如何利用头部提高手语表达的真实感等问题。
为解决上述技术问题,本发明提供了一种基于运动偏移映射的有韵律头部运动合成方法,包括:
将需要被处理的自然文本输入到手语标记语言***中,该手语标记语言***解析产生被处理的自然文本的内容信息、韵律标记和韵律结构;
设置一个参数和相对应的取值,读取所述手语标记语言***中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整,然后读取所述参数的取值,运用所述手语标记语言***中的运动偏移映射方法对所述被处理的自然文本的内容信息相对应的词的手势数据进行处理,得到改变幅度后的运动信息;
对所述改变幅度后的运动信息配合所述被处理的自然文本的韵律结构,得到该自然文本的手语动画演示信息。
进一步地,其中,所述手语标记语言***为中国手语标记语言***(CSLML,Chinese Sign Language Markup Language)。
进一步地,其中,所述被处理的自然文本的内容信息为被处理的自然文本的手语词。
进一步地,其中,所述韵律标记为所述被处理的自然文本的内容信息中某个名词的强度信息。
进一步地,其中,所述强度信息为包括强调,节奏,情感的强度信息。
进一步地,其中,所述韵律结构为所述被处理的自然文本的内容信息中包含头部、表情、口型的手语表达模式。
进一步地,其中,所述参数的相对应的取值范围在0至1之间。
与现有技术相比,本发明所述的基于运动偏移映射的有韵律头部运动合成方法不仅能增强手语动画的真实感,同时还会提高到手语动画的可懂度,具有重要意义。
附图说明
图1为本发明实施例所述的一种基于运动偏移映射的有韵律头部运动合成方法流程图。
图2为本发明实施例所述的方法中通过动态时间规整方法期望改变的两帧图形。
图3为本发明实施例所述的方法中通过动态时间规整方法直接变化后的两帧图形。
图4为本发明实施例所述的方法中运用运动偏移映射方法对所述被处理的自然文本的内容信息进行处理前的图形。
图5为本发明实施例所述的方法中运用运动偏移映射方法对所述被处理的自然文本的内容信息进行处理后的图形。
图6为本发明实施例所述的方法中“拒绝”一词头部Y方向自由度在amp=0和amp=1的运动曲线图。
图7为本发明实施例所述的方法中“拒绝”一词动态时间规整后的运动曲线图。
图8为本发明实施例所述的方法中“拒绝”一词经运动偏移映射后的运动曲线图。
具体实施方式
以下结合附图对本发明作进一步详细说明,但不作为对本发明的限定。
由于在手语表达中受韵律的影响,头部运动会产生幅度的变化,因此结合利用头部提高手语表达的真实感成为本发明的创新点之一。
如图1所示,为本发明实施例所述的一种基于运动偏移映射的有韵律头部运动合成方法,包括如下步骤:
步骤101,将需要被处理的自然文本输入到手语标记语言***中,该手语标记语言***产生被处理的自然文本的内容信息、韵律结构、韵律标记。
该步骤101中所述的手语标记语言***在本实施例中采用的是中国手语标记语言***(CSLML,Chinese Sign Language Markup Language),该中国手语标记语言***采用XML的语法结构,可以方便地编辑、处理与规范化需要被处理的自然文本。
具体地,中国手语标记语言***可以将输入的自然文本解析成三部分:自然文本的内容信息、韵律结构、韵律标记;其中,自然文本的内容信息就是将被处理的自然文本中句子解析为基本手语词;韵律结构就是手语表达的多个模式,包含头部,表情,口型等模式;韵律标记就是在某个名词上的强度的韵律信息,包括强调,节奏,情感等的强度信息;即韵律标记在不同规则的手语标记语言***的映射下可实现手语韵律的多样化表达。
例如,对所述被处理的自然文本的内容信息“她坚定地拒绝了他的示爱”进行解析,并得到相应的韵律标记“她/坚定/拒绝/他/示爱”(主要是通过CSLML得到这句话相应的韵律标记(如否定,情感状态,疑问语气等等,在本例中为强调状态,amp=0.8),同时得到相应的韵律结构信息(如高兴的表情,疑问时眉毛上扬,口型等手语表达的多个模式,例如本例中会附加厌恶、生气的表情))。
步骤102,设置一个参数amp和相对应的取值,读取所述手语标记语言***中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整,然后读取所述参数amp的取值,运用所述手语标记语言***中的运动偏移映射方法对所述被处理的自然文本的内容信息相对应的词的手势数据进行处理,得到改变幅度后的运动信息。
该步骤102的目的是对需要被处理的自然文本能够合成任意幅度的具有头部运动的信息。所述运动偏移映射方法是现有技术中运动编辑与合成常见的一种技术,在保留原始运动细节的基础上对运动合成片段进行修改,从而生成逼真的运动片段。
在步骤101中以自然文本例如“她坚定地拒绝了他的示爱”通过文本解析就可以得到“她/坚定/拒绝/他/示爱”这样一个解析后的文本,以其中“拒绝”为例,在现有的手语标记语言***中,该“拒绝”所对应的参数amp相对应的取值为amp∈[0,1],即中性状态(amp=0)和强调最大状态(amp=1)的包含头部关节的手势数据。这里需要说明下是手势数据以一系列关键帧构成,其中每一个关键帧包含手语动画虚拟人37个关节的68个自由度数据。这里为保证参数amp相对应的取值更标准,更符合聋人的习惯,在设置时可以通过聋校教师进行该参数amp相对应的取值采集,同时为保证参数amp相对应的取值的可用性和通用性,每个词采集三遍。
具体地步骤102为:
步骤1021,如图6所示,读取所述手语标记语言***中数据库里面该自然文本的内容信息中“拒绝”一词amp=0(实线部分)和amp=1(虚线部分)两种状态下的手势数据,然后对amp=0和amp=1两种状态下头部关节Y自由度(因为是摇头动作)通过动态时间规整方法进行时间对齐(如图7所示),如图2(期望改变的两帧)和3(直接变化后的结果)所示(目的是得到两组在波峰/波谷出现的时间相同的数据(头部关节Y自由度),以便后面可以用运动偏移映射方法改变幅度)。
步骤1022,如图8所示,运用运动偏移映射方法对所述被处理的自然文本的内容信息“拒绝”相对应的词的手势数据进行处理,得到改变幅度后的运动信息。即如图4所示(运动偏移映射方法前),分别读入amp=0和amp=1的两组关键帧数据,针对头部关节Y自由度的数据,为了合成任意幅度,我们希望在原始运动(amp=0的数据)的基础上添加一个新的运动,这个新运动和幅度参数amp(本实施例中amp=0.8或0.4,强调语境,虚线线段部分)相关,通过运动偏移映射方法产生新运动,即是对两个关键帧的相应帧数据的变化进行插值,本实施例是通过对每两个关键帧的变化都进行线性插值,并与幅度参数amp相乘,最后加上原始运动就可以得到相应amp(本实施例中amp=0.8)的运动数据(运动信息),如图5所示(运用运动偏移映射方法后的结果)。
步骤103,对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构,得到该自然文本的手语动画演示信息。
具体地步骤103,对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构(如其他模式、表情、眉毛、口型等),最终得到该自然文本的手语动画演示信息。
与现有技术相比,手语中头部的运动对传达语义有重要的作用,本发明所述方法将其应用运用进来,可以实现强调的头动韵律表达,能够有效的提高手语动画的可懂度及真实感。
总之,通过上述实施例当输入自然文本如“拒绝”后,根据本发明所述方法对该自然文本进行解析,并得到相应的韵律标记(强调语境,amp=0.8),韵律结构(其他模式,表情,眉毛,口型等),接下来读取相应词的数据,由于强调语境下两组数据在波峰/波谷出现的时间和振幅不同,不可以直接用运动偏移映射改变幅度,因此先对头部关节自由度进行动态时间规整,规整得到时间对齐的数据,接下来对需要改变幅度的关节自由度,读取其两组amp=0和amp=1状态下的数据,运用运动偏移映射方法,在原始运动上生成一个与幅度相关的新运动,可以得到改变幅度后的运动数据(运动信息)。对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构,得到该自然文本的手语动画演示信息。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种基于运动偏移映射的有韵律头部运动合成方法,其特征在于,包括:
将需要被处理的自然文本输入到手语标记语言***中,该手语标记语言***解析产生被处理的自然文本的内容信息、韵律标记和韵律结构;
设置一个参数和相对应的取值,读取所述手语标记语言***中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整,然后读取所述参数的取值,运用所述手语标记语言***中的运动偏移映射方法对所述被处理的自然文本的内容信息相对应的词的手势数据进行处理,得到改变幅度后的运动信息;
对所述改变幅度后的运动信息配合所述被处理的自然文本的韵律结构,得到该自然文本的手语动画演示信息。
2.如权利要求1所述的基于运动偏移映射的有韵律头部运动合成方法,其特征在于,所述手语标记语言***为中国手语标记语言***(CSLML,ChineseSign Language Markup Language)。
3.如权利要求1所述的基于运动偏移映射的有韵律头部运动合成方法,其特征在于,所述被处理的自然文本的内容信息为被处理的自然文本的手语词。
4.如权利要求3所述的基于运动偏移映射的有韵律头部运动合成方法,其特征在于,所述韵律标记为所述被处理的自然文本的内容信息中某个名词的强度信息。
5.如权利要求4所述的基于运动偏移映射的有韵律头部运动合成方法,其特征在于,所述强度信息为包括强调,节奏,情感的强度信息。
6.如权利要求5所述的基于运动偏移映射的有韵律头部运动合成方法,其特征在于,所述韵律结构为所述被处理的自然文本的内容信息中包含头部、表情、口型的手语表达模式。
7.如权利要求1所述的基于运动偏移映射的有韵律头部运动合成方法,其特征在于,所述参数的相对应的取值范围在0至1之间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210167193.0A CN102737397B (zh) | 2012-05-25 | 2012-05-25 | 基于运动偏移映射的有韵律头部运动合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210167193.0A CN102737397B (zh) | 2012-05-25 | 2012-05-25 | 基于运动偏移映射的有韵律头部运动合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102737397A true CN102737397A (zh) | 2012-10-17 |
CN102737397B CN102737397B (zh) | 2015-10-07 |
Family
ID=46992819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210167193.0A Expired - Fee Related CN102737397B (zh) | 2012-05-25 | 2012-05-25 | 基于运动偏移映射的有韵律头部运动合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102737397B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021057424A1 (zh) * | 2019-09-23 | 2021-04-01 | 腾讯科技(深圳)有限公司 | 基于文本的虚拟形象行为控制方法、设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0560587A2 (en) * | 1992-03-10 | 1993-09-15 | Hitachi, Ltd. | Sign language translation system and method |
CN1464433A (zh) * | 2002-06-17 | 2003-12-31 | 中国科学院计算技术研究所 | 通过中间模式语言进行手语翻译的方法 |
CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 进行手语合成与显示的***和方法 |
-
2012
- 2012-05-25 CN CN201210167193.0A patent/CN102737397B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0560587A2 (en) * | 1992-03-10 | 1993-09-15 | Hitachi, Ltd. | Sign language translation system and method |
CN1464433A (zh) * | 2002-06-17 | 2003-12-31 | 中国科学院计算技术研究所 | 通过中间模式语言进行手语翻译的方法 |
CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 进行手语合成与显示的***和方法 |
Non-Patent Citations (2)
Title |
---|
叶可佳: "标记语言驱动的中国手语合成研究", 《北京工业大学硕士学位论文》 * |
王兆其等: "基于虚拟人合成技术的中国手语合成方法", 《软件学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021057424A1 (zh) * | 2019-09-23 | 2021-04-01 | 腾讯科技(深圳)有限公司 | 基于文本的虚拟形象行为控制方法、设备和介质 |
US11714879B2 (en) | 2019-09-23 | 2023-08-01 | Tencent Technology (Shenzhen) Company Limited | Method and device for behavior control of virtual image based on text, and medium |
Also Published As
Publication number | Publication date |
---|---|
CN102737397B (zh) | 2015-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kipp et al. | Sign language avatars: Animation and comprehensibility | |
CN103218842B (zh) | 一种语音同步驱动三维人脸口型与面部姿势动画的方法 | |
CN107958433A (zh) | 一种基于人工智能的在线教育人机交互方法与*** | |
JP2023545642A (ja) | 目標対象の動作駆動方法、装置、機器及びコンピュータプログラム | |
CN105632251A (zh) | 具有语音功能的3d虚拟教师***及其方法 | |
CN105988591A (zh) | 一种面向智能机器人的动作控制方法及装置 | |
CN115953521B (zh) | 远程数字人渲染方法、装置及*** | |
Jiang et al. | The influence of speech translation technology on interpreter’s career prospects in the era of artificial intelligence | |
Li et al. | Chinese Sign Language animation generation considering context | |
CN102737397A (zh) | 基于运动偏移映射的有韵律头部运动合成方法 | |
Huenerfauth et al. | Augmenting EMBR virtual human animation system with MPEG-4 controls for producing ASL facial expressions | |
CN108597008B (zh) | 基于自然文本的人机智能交互控制平台 | |
CN115167674A (zh) | 基于数字人多模态交互信息标准的智能交互方法 | |
CN115311731A (zh) | 一种手语数字人的表情生成方法和装置 | |
Goncu et al. | Tactile chart generation tool | |
Kim et al. | Automated robot speech gesture generation system based on dialog sentence punctuation mark extraction | |
Li | [Retracted] Emotional Interactive Simulation System of English Speech Recognition in Virtual Context | |
Cerezo et al. | Interactive agents for multimodal emotional user interaction | |
Gibet et al. | Toward a motor theory of sign language perception | |
Yu et al. | A realistic 3D articulatory animation system for emotional visual pronunciation | |
Mlakar et al. | Capturing form of non-verbal conversational behavior for recreation on synthetic conversational agent EVA | |
Delić et al. | Toward more expressive speech communication in human-robot interaction | |
Chiriac et al. | Romanian Sign Language Oral Health Corpus in Video and Animated Avatar Technology | |
CN107943974A (zh) | 考虑情感的自动会话方法和*** | |
Yang et al. | A multimodal approach of generating 3D human-like talking agent |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151007 Termination date: 20210525 |