CN111369652B - 一种基于多个单独手语动作产生连续手语动作的方法 - Google Patents

Abstract

本发明涉及计算机三维动画技术领域，且公开了一种基于多个单独手语动作产生连续手语动作的人物动作模拟方法，包括以下阶段：1、数据预处理阶段：制作多个单独手语动作，划分和标注动作的时间，以及将制作好的多个单独手语动作存储在服务器端；2、实时计算阶段：设定连续手语目标，自然语言处理目标得到需求的多个单独手语动作，按照算法处理这些单独手语动作，产生连续手语动作。使用该基于多单独手语动作产生连续手语动作的方法，使得虚拟人物在能够像真实人物一样实时连续打手语，有利于降低制作周期，有利于打破正常人和听障人的沟通障碍，提升沟通效率。

Description

一种基于多个单独手语动作产生连续手语动作的方法

技术领域

本发明涉及计算机三维动画技术领域，具体为一种基于多个单独手语动作产生连续手语动作的方法。

背景技术

随着计算机三维动作技术不断的发展，利用虚拟人物打出准确和连续的手语对打破正常人与听障人沟通障碍的需求变得非常重要。虚拟人物通常可以在虚拟场景中做出各种各样的仿真肢体动作，比如行走、跳和抓等，其中虚拟人物通过打连续的手语可以极大强化正常人与听障人的沟通交流。

目前在使用虚拟人物打手语方面，通常通过直接制作连续手语动作数据，对虚拟人物直接进行驱动，该方法虽然可以保证手语动作的准确性和连续性，但是这种模拟方式只能将手语限定在一个相对较小的范围中，无法处理不在此范围的手语需求，同时人物缺乏实时交互能力，无法真正打破正常人和听障人的交流障碍，如果不采用上述驱动方式，通常需要提前制作大量的连续手语动作数据，并限定手语范围，且无法进行实时交互，故而提出了一种基于多个单独手语动作产生连续手语动作的方法来解决上述提出的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多个单独手语动作产生连续手语动作的方法，具备能保证动作连续性、实时性等优点，解决了目前其他连续手语方案中，数据制作量大，限定目标连续手语范围、无法实时交互的问题。

(二)技术方案

为实现上述虚拟人打手语的连续性和实时交互性，本发明提供如下技术方案：

动作数据预处理阶段：

步骤(1)：制作多个单独手语动作数据。通过动作捕捉设备结合美工修正的方式制作多个单独手语动作，包含大量动作动画数据M，

M＝{M₁，M₂，...，M_num}，num∈N，

其中num为一个较大的自然数，使得M能够包含足够多的单独手语动作。这些动作数据最终被抽象为虚拟人物骨骼的所有重要关节的旋转数据以及位移数据；

步骤(2)：标注动作的时间戳，划分动作。目标是根据语义将每一个单独手语动作划分为抬手、动作、放手三段，并使用时间戳标记划分点：将开始的时间点标记为t_start，从开始到抬手完成的时间点标记为t_ready，抬手完成到手语动作完成，准备放手的时间点标记为t_relax，开始放手到整个动作完成的时间点标记为t_stop；

步骤(3)：将经过预处理的动作数据，存储在服务器端。制作好的单独手语动作数据首先被存储在服务器端，在需要时会下载其中一部分到客户端。

实时计算阶段：

步骤(4)：设定目标连续手语L，这通常是一句自然语言，如“你好，今天天气怎么样？”，即L＝“你好，今天天气怎么样？”

步骤(5)：使用自然语言处理程序对L进行分词，得到可用的手语动作序列Seq，其由一系列有序的分词组成，即

Seq＝{Segment₁，Segment₂，...，Segment_k}，

其中k≥0，Segment为分词，对应一个单独手语动作。

例如：Seq＝{“你好”，“今天”，“天气”，“怎么样”}；

步骤(6)：将对应的单独手语动作从服务器端下载至客户端，得到动作序列M_seq：

M_seq＝{M₁，M₂，...，M_k}

步骤(7)：计算和调整每个单独手语动作的时间戳。

动作M_i的时间戳为

令第一个动作的开始时间为当前时间，即

按照下列公式递归计算出所有动作的时间戳：

其中0.2单位为秒，为经验值常数。

按照下列公式调整动作的时间戳：

步骤(8)：获取当前时间t_now，计算每个单独手语动作的权重W_i。

按照以下公式计算权重：

步骤(9)：产生在当前时间t_now的动作数据帧

使用如下公式计算：

步骤(10)：重复步骤(8)至步骤(9)，直至产生连续手语动作M_result。

步骤(11)：渲染。有两种渲染方案。方案1，每一帧将输出到渲染引擎；方案2，将M_result输出到渲染引擎。根据实际情况可以选择其中一种渲染方案。两种渲染方案所采用的算法效率均可以满足渲染引擎实时渲染的性能要求，可以实时驱动虚拟人物做出连续的手语动作。

(三)有益效果

与现有技术相比，本发明提供了一种基于多个单独手语动作产生连续手语动作的方法，具备以下有益效果：

1、目标连续手语可以是任意自然语言，打破了传统方法限定目标连续手语范围的缺陷。

2、只需制作多个单独手语动作而非多个连续手语，极大缩短了传统方案中数据制作的周期。

3、实时计算保证了可以立刻对连续手语目标作出反馈，确保了交互的实时性，有利于打破正常人与听障人的沟通障碍，提高沟通效率。

附图说明

图1为本发明提出的一种基于多个单独手语动作产生连续手语动作的方法的步骤流程图；

具体实施方式

下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明公开了一种动作基于单个手语动作产生连续手语动作的方法，包括以下步骤：

动作数据预处理阶段：

步骤(1)：制作多个单独手语动作数据。通过动作捕捉设备结合美工修正的方式制作多个单独手语动作，包含大量动作动画数据M，

M＝{M₁，M₂，...，M_num}，num∈N，

其中num为一个较大的自然数，使得M能够包含足够多的单独手语动作。这些动作数据最终被抽象为虚拟人物骨骼的所有重要关节的旋转数据以及位移数据；

步骤(2)：标注动作的时间戳，划分动作。目标是根据语义将每一个单独手语动作划分为抬手、动作、放手三段，并使用时间戳标记划分点：将开始的时间点标记为t_start，从开始到抬手完成的时间点标记为t_ready，抬手完成到手语动作完成，准备放手的时间点标记为t_relax，开始放手到整个动作完成的时间点标记为t_stop；

步骤(3)：将经过预处理的动作数据，存储在服务器端。制作好的单独手语动作数据首先被存储在服务器端，在需要时会下载其中一部分到客户端。

实时计算阶段：

步骤(4)：设定目标连续手语L，这通常是一句自然语言，如“你好，今天天气怎么样？”，即L＝“你好，今天天气怎么样？”

步骤(5)：使用自然语言处理程序对L进行分词，得到可用的手语动作序列Seq，其由一系列有序的分词组成，即

Seq＝{Segment₁，Segment₂，...，Segment_k}，

其中k≥0，Segment为分词，对应一个单独手语动作。

例如：Seq＝{“你好”，“今天”，“天气”，“怎么样”}；

步骤(6)：将对应的单独手语动作从服务器端下载至客户端，得到动作序列M_seq：

M_seq＝{M₁，M₂，...，M_k}

步骤(7)：计算和调整每个单独手语动作的时间戳。

动作M_i的时间戳为

令第一个动作的开始时间为当前时间，即

按照下列公式递归计算出所有动作的时间戳：

其中0.2单位为秒，为经验值常数。

按照下列公式调整动作的时间戳：

步骤(8)：获取当前时间t_now，计算每个单独手语动作的权重W_i。

按照以下公式计算权重：

步骤(9)：产生在当前时间t_now的动作数据帧

使用如下公式计算：

步骤(10)：重复步骤(8)至步骤(9)，直至产生连续手语动作M_result。

步骤(11)：渲染。有两种渲染方案。方案1，每一帧将输出到渲染引擎；方案2，将M_result输出到渲染引擎。根据实际情况可以选择其中一种渲染方案。两种渲染方案所采用的算法效率均可以满足渲染引擎实时渲染的性能要求，可以实时驱动虚拟人物做出连续的手语动作。

本发明的有益效果是：

1、目标连续手语可以是任意自然语言，打破了传统方法限定目标连续手语范围的缺陷。

2、只需制作多个单独手语动作而非多个连续手语，极大缩短了传统方案中数据制作的周期。

3、实时计算保证了可以立刻对连续手语目标作出反馈，确保了交互的实时性，有利于打破正常人与听障人的沟通障碍，提高沟通效率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于多个单独手语动作产生连续手语动作的方法，其特征在于，包括以下步骤：

动作数据预处理阶段：

步骤(1)：制作多个独立手语动作数据；通过动作捕捉设备结合美工修正的方式制作多个独立手语动作数据，一段手语动画会包含多个独立手语动作，该段手语动画对应的动作数据M，M＝{M₁,M₂,…,M_N}，其中N为一个自然数，使得M能够包含任意数量的独立手语动作；这些动作数据最终被专递到虚拟人物骨骼上，以关节的旋转和位移数据为表现；

步骤(2)：标注动作的时间戳，划分动作；目标是根据语义将每一个单独手语动作划分为抬手、动作、放手三段，并使用时间戳标记划分点：将开始的时间点标记为t_start，从开始到抬手完成的时间点标记为t_ready，抬手完成到手语动作完成，准备放手的时间点标记为t_relax，开始放手到整个动作完成的时间点标记为t_stop；

步骤(3)：将经过预处理的动作数据，存储在服务器端；制作好的单独手语动作数据首先被存储在服务器端，在需要时会下载其中一部分到客户端；

实时计算阶段：

步骤(4)成为：设定翻译目标句子L，使用自然语言处理程序对L进行分词，得到可用的手语动作序列Seq，其由一系列有序的分词组成，即

Seq＝{Segment₁,Segment₂,…,Segment_k}，

其中k≥0，Segment为分词，对应一个单独手语动作；

步骤(5)：将对应的单独手语动作从服务器端下载至客户端，得到动作序列M_seq：

M_seq＝{M₁,M₂,…,M_k}

步骤(6)：计算和调整每个单独手语动作的时间戳；

动作M_i的时间戳为；

令第一个动作的开始时间为当前时间，即

按照下列公式递归计算出所有动作的时间戳：

其中0.2单位为秒，为经验值常数；

按照下列公式调整动作的时间戳：

步骤(7)：获取当前时间t_now，计算每个单独手语动作的权重W_i；

按照以下公式计算权重：

步骤(8)：产生在当前时间t_now的动作数据帧；

使用如下公式计算：

步骤(9)：重复步骤(7)至步骤(8)，直至产生连续手语动作M_result；

步骤(10)：渲染；有两种渲染方案；方案1，每一帧将输出到渲染引擎；方案2，将M_result输出到渲染引擎；根据实际情况可以选择其中一种渲染方案；两种渲染方案所采用的算法效率均可以满足渲染引擎实时渲染的性能要求，可以实时驱动虚拟人物做出连续的手语动作。

2.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法，其特征在于，虚拟人物模型以及手语动作动画可通过任意支持骨骼动画的渲染引擎实现。

3.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法，其特征在于，所述多个单独手语动作需要利用标记时间戳的方法根据动作语义划分为抬手、动作、放手三段。

4.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法，其特征在于，所述设定的连续手语目标可以是任意的自然语言。

5.根据权利要求1所述的一种基于多个单独手语动作产生连续手语动作的方法，其特征在于，所述连续手语动作由至少一个单独手语动作根据所述算法产生，使用的单独手语动作取决于自然语言处理程序的分词。