CN101079268A - 进行手语合成与显示的***和方法 - Google Patents

Abstract

本发明涉及一种进行手语合成和显示***和方法。所述***包括接收模块、连接接收模块和自然语言词汇库的分析模块、连接分析模块和转换规则库的转换模块、连接转换模块和手语词汇库的合成模块、连接合成模块的显示模块。接收模块用于接收自然语言的文本信息，分析模块用于对文本信息进行分析处理，转换模块用于将文本词汇转换成手语码序列，合成模块用于将手语码序列转换成手语运动数据，显示模块用于显示手语运动。本发明能够较为准确地对自然语言文本信息进行消歧、分词处理，并转换对应的手语码序列然后将手语显示出来，便于听力语言残疾的人阅读、理解自然语言文本信息。

Description

进行手语合成与显示的***和方法

技术领域

本发明涉及手语合成与显示的***和方法，更具体地说，涉及将自然语言的文本信息转换成手语并显示手语运动的***和方法。

背景技术

据最新资料统计说明，我国听力语言残疾居视力残疾、肢残、智残等五大残疾之首，为2057万人，占中国人口总数的1.67％。听力残疾人由于无法矫正自己的发音，导致说话或构音不清，甚至语言功能完全丧失(听力语言残疾)，而听力语言的障碍又影响了他们认识文字、阅读文字的能力。

手语是一种人体运动语言，通过手的运动表达意思，主要用于聋人之间的相互交流。我国政府为关心聋人，促进他们之间的交流，早在20世纪50年代后期，就开始了中国聋人手语的规范化工作。到1994年，曾先后出版了《聋人通用手语草图》(4辑，2000余个手语草图)、《中国手语》(3330个词条)、《中国手语》续集(2266个词条)。

随着信息化高速发展，越来越多的信息都以数字化的文本、图片等形式表示，越来越多的交流都通过互联网进行。据《第十八次中国互联网络发展状况统计报告》中的数据所得，截止2006年6月30日，中国网民总人数已超过1.2亿；据腾讯科技有限公司的数据，截止2006年12月，即时通讯软件QQ的注册用户数就达到5.7亿。虽然没有具体数据显示网民中或者即时通讯软件使用者中的聋哑人比例，但是可估计到，其中的聋哑人数相当庞大的。如何将数字化的自然语言文本信息转换成手语形式，让聋哑人更好地理解文本信息所表达的内容，帮助聋人参加各项社会活动(如观看电视)，具有十分重要的应用价值和社会意义。具有重大的现实意义。

手语合成的目的就是将自然语言文本句子自动翻译成聋人手语，并由计算机生成的虚拟人逼真地显示出来，是智能人机接口的一个重要研究课题。手语合成的研究始于1982年，Shantz和Poizner实现了一个合成美国手语的计算机程序。之后，中国、美国、日本、德国等许多国家都进行了自己国家的手语合成研究，并取得了许多重要的研究成果。

中国专利99121570.2公开了一种“电子式手语字典以及其手语查询方法”，该发明能够方便地查询手语词汇。但是，这种查询是基于字和词的，无法直接查询句子，有一定的局限性。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述的只能基于字、词进行手语查询的缺陷，提供一种基于句子的进行手语合成和显示的***和方法。

根据本发明的一方面，本发明提供一种进行手语合成与显示的***，包括用于接收自然语言文本信息的接收模块、将自然语言转换成手语码的转换模块、用于显示手语显示模块，还包括：

连接在所述接收模块和所述转换模块之间的分析模块以及与所述分析模块连接的自然语言词汇库，所述分析模块根据所述自然语言词汇库的内容，对所接收的文本信息进行分析处理；

与所述转换模块连接的转换规则库，所述转换模块根据转换规则，将经分析处理后的自然语言转换成手语码序列；

连接在所述转换模块和所述显示模块之间的合成模块以及与所述合成模块连接的手语词汇库，所述合成模块根据所述手语词汇库将手语码序列转换成手语运动数据；

所述显示模块根据所述手语运动数据生成并显示完整的手语运动。

在本发明所述的***中，所述接收模块与即时通讯客户端连接并从所述即时通讯客户端接收文本信息。

在本发明所述的***中，所述分析模块使用最大匹配法对所接收的文本信息进行分词。

在本发明所述的***中，所述分析模块使用正向最大匹配法和反向最大匹配法对所接收的文本信息进行消歧检验。

在本发明所述的***中，所述合成模块还包括对手语运动的帧与帧之间进行线性插值的功能单元。

在本发明所述的***中，所述显示模块以3D的方式显示手语运动。

在本发明所述的***中，所述显示模块以2D的方式显示手语运动。

根据本发明的另一方面，提供一种进行手语合成与显示的方法，包括以下步骤：

S1、接收模块接收自然语言文本信息；

S2、分析模块根据自然语言词汇库对所接收的文本信息进行分析处理；

S3、转换模块根据转换规则，将上述经分析处理后的文本信息转换成手语码序列；

S4、合成模块根据所述手语词汇库将手语码序列转换成手语运动数据；

S5、显示模块根据所述手语运动数据生成并显示完整的手语运动。

在本发明所述的方法中，步骤S1中进一步包括通过互联网接收自然语言文本信息。

在本发明所述的方法中，步骤S2中包括使用最大匹配法进行分词处理。

在本发明所述的方法中，步骤S2中包括使用正向最大匹配法和反向最大匹配法对所接收的文本信息进行消歧检验。

在本发明所述的方法中，步骤S4中进一步包括在手语运动的帧与帧之间进行线性插值。

在本发明所述的方法中，步骤S4中进一步包括以3D的方式显示手语运动。

在本发明所述的方法中，步骤S4中进一步包括以2D的方式显示手语运动。

实施本发明的，具有以下有益效果：本发明能够较为准确地对自然语言文本信息进行消歧、分词处理，并转换对应的手语码序列然后将手语显示出来，便于听力语言残疾的人阅读、理解自然语言文本信息。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是根据本发明进行手语合成与显示的***结构示意图；

图2是根据本发明进行手语合成与显示的方法流程图。

具体实施方式

本发明提供一种手语合成与显示的***以及方法。下面将结合附图对本发明进行详细的阐述。

本发明所称的自然语言是指一种自然地随文化演化的语言，例如英语、汉语、日语。本发明所称的自然语言是人类交流和思维的主要工具。下面的实施例中以汉语为例对本发明进行阐述。但是本发明不局限于汉语，可以将本发明的原理应用到英语、日语等其他自然语言到手语的合成与显示环境中。

图1是根据本发明进行手语合成与显示的***结构示意图。如图1所示，本发明进行手语合成与显示的***包括接收模块101、分析模块103、转换模块105、合成模块107、显示模块109、自然语言词汇库111、转换规则库113以及手语词库115。其中，分析模块103连接接收模块101和自然语言词汇库111；转换模块105连接分析模块103和转换规则库113；合成模块107连接转换模块105以及手语词库115；显示模块109连接合成模块107。

接收模块101用于接收自然语言文本信息。例如，接收模块101可具有输入接口，用于可以通过该输入接口输入要查询的字、词和句子。在这种情况之下，本***可用于手语学习、教学等。在一个实施例中，接收模块101通过互联网接收文本信息，例如，接收模块101与即时通讯客户端连接并通过所述即时通讯软件接收自然语言文本信息。

分析模块103根据自然语言词汇库111的内容对所接收的文本信息进行分析处理。所述分析处理包括分词、消除歧义等。

转换模块105根据转换规则库113中的转换规则，将经分析处理后的自然语言转换成手语码序列。

汉语是一个音义结合的符号***，它是由语音、词汇和语法三部分要素组成的。中国手语是形义结合的符号***，语形、手势和语法是中国手语的三要素。两种语言在表达心态、基本词汇和句子结构上都存在差异。

自然语言到手语码的转换过程就是用目标语言的符号标志替换源语言的词语，源语言树被转换成目标语言结构树。具体的转换方式及转换发生的位置由转换规则确定，转换规则根据源语言和目标语言的结构差别转换树结构。在一个实施例中，转换规则库113中的转换规则包括：

1、句子规则

(1)时态表示规则

动词的时态由建立一个时间参考指明。所有的讨论都保持在所建立的时间框架之内，一直到新的时间被引进为止。时间参考通过打手势“现在”、“今天”、“过去”、“去年”、“将来”、“明年”等词语或者任何其它的时间指示实现。

(2)各种语气句子表示规则

汉语书面语通过标点符号表示句子的语气，但是，中国手语中没有表示句子语气的手势。针对此问题，参照聋哑人打手语的特点，本实施例中以面部表情表示句子的语气。同一个句子伴随不同的面部表情，表达的意义大不相同。现在我们以“是他”这个简单句为例加以说明。

·疑问句规则

在打手势时，同时做疑问表情：眼睛盯着对方，眼睛睁大。表示“是他？”。

·感叹句规则

在打手势时，同时做感叹表情：眼、眉显露肯定的神态。同时加重手势动作。表示“是他！”

·陈述句规则

在打手势时同时做一般的表情，表示“是他。”

(3)名词及其修饰语的次序规则

名词修饰语+名词→名词+名词修饰语。

(4)谓语动词及宾语的次序规则

谓语动词+宾语→宾语+谓语动词。

(5)疑问代词及被疑问对象规则

疑问代词+被疑问对象→被疑问对象+疑问代词。

2、词语规则

由于中国手语的手势词语和汉语词语在数量上的差异，大量的汉语词语没有直接对应的手势词语。针对这种情况，我们制定了一系列的适应于词语的规则。

(1)省略规则

省略汉语文本中的量词。

(2)关联词语规则

关联词语用指语拼打。

(3)专有名词规则

为大家所熟知的表示人名和地名的专有名词如***、北京采用只打声母的简略表达形式。如用手指字母M，Z，D表示***，用手指字母B，J表示北京。

(4)直接映射规则

对于汉语文本中的词语，若在中国手语中有直接的手势词语对应的情况使用此规则。

(5)同义词规则

若汉语文本中的词语在中国手语中没有直接对应的手势词语，但是汉语文本中的词语的同义词在中国手语中有直接对应的手势词语，那么打出同义词的手势词语替代。

(6)手指字母拼读替代规则

对于那些汉语文本中的词语，如果在中国手语中既没有直接对应的手势词语，它的同义词的手势词语也不存在，那么用手指字母拼读替代。

(7)结构助词规则

结构助词包括：的、地，用手指字母拼读表示。

(8)有动作方向变化的表示行为动作的手势词

汉语规则中这类动词都是及物动词，其后跟有宾语。根据其后跟有的宾语，我们把这种动词分成三类，它们分别是其后跟有第一人称我、我们的行为动词；其后跟有第二人称你、你们的行为动词；其后跟有第三人称他(她、它)、他(她、它)们的行为动词。对于第一类行为动词，手势词语的行为动作朝向打手语者；对于第二类行为动词，手势词语的行为动作朝向用手语谈话的对方；对于第三类行为动词，手势词语的行为动作朝向用手语谈话的两者之外的方向。

3、其它规则

(1)书空规则

对于书名号、单引号、双引号、删节号、圆括号、方括号等标点符号用书空表示。

(2)停顿规则

顿号、逗号用不同间隔的自然停顿表示。

合成模块107根据所述手语词汇库将手语码序列转换成手语运动数据。在一个实施例中，经过转换模块105转换后的手语码序列中，只包含两种单元：手语词和手语运动阐述。手语运动合成的目的是将这样的符号序列转换成手语运动。手语码序列中的每个手语词的手语运动数据，可以直接从手语词运动数据库中查询得到。在该实施例中，手语运动数据库是用运动跟踪方法采集并基于控制点的方法编辑而成的，因此，手语运动数据具有很好的运动逼真性和连续帧之间的运动相关性。

在需要之时，还可以在连续手语运动的同一手势的帧与帧之间可以进行线性运动插值，从而平滑过渡手势的动作变化。对于不同的手语词之间，由于前一个手语词的最后一帧和下一个手语词的第一帧之间一般不存在运动相关性，一般都进行运动插值以平滑过渡这两种手语运动。在一个实施例中，合成模块107包括一个插值计算单元，专门用于进行插值处理。

显示模块109根据所述手语运动数据生成并显示完整的手语运动。在一个实施例中，显示模块109以2D的方法显示手语运动，例如，事先将各个手语做成2D动画，并存储在手语词汇库中。在另一个实施例中，显示模块109以3D的方法显示手语运动，即，根据给定的手语运动表示，驱动虚拟人的上肢运动。虚拟人的表示可以采用OpenGL，DirectX，VRML等3D建模编程工具，建模的虚拟人数据中要包含手部的关节点。手语是人体上肢运动，手语运动是人体运动在人体上肢关节上的投影。因此，显示手语即将手语运动表示映射到虚拟人上肢关节的角度和位置。

在一个实施例中，显示模块109的显示区域分为两部分，其中一部分显示接收模块101所接收的自然语言文本，另一部分显示相应的手语运动。

本领域的技术人员将意识到，可以对上述的***进行修改以适合特定的需要。例如，可以添加一个“重复”、“暂停”的控制开关，以重复显示手语或者暂停显示手语，便于学习和理解手语。

图2是本发明进行手语合成与显示的方法流程图。在步骤S201中，接收模块101接收模块接收自然语言文本信息。所述接收可以是直接接收用户的输入，也可以是通过互联网接收，也可以是其他方式的接收电视字幕等。在一个实施例中，接收模块与即时通讯软件连接，从即时通讯软件上接收自然语言的文本信息。

步骤S203中，分析模块103根据自然语言词汇库111对所接收的文本信息进行分析处理。

对于汉语而言，由于汉语句子的最小构成单位是字，而有意义的最小单元是词，因此，分析模块103在读入一个汉语句子后，首先对句子进行分词处理，经***分词处理后的词序列作为待翻译的基本节点而确定下来，如有切分歧义，则进行相应的消歧处理。

在一个实施例中，分析模块103使用最大匹配法(Maximum MatchingMethod，在本说明书中简称为MM法)对句子进行分词。MM法的基本过程是这样的：

假设词表中最长的词由i个字组成，则每次从句子头上截取一个长度为i的字串，令该字串与词表中词条依次匹配，如果词表中确有这样的一个i字词，则匹配成功，就将这个字串作为一个词从句子上切分出去；然后再从句子余下部分的头上截取另一个i字串；重复上述过程直到句子被切分完为止。

如果在词表中找不到一个词条能够与当前字串匹配，就从该字串尾部删去一个字，用(i-1)字长的字串到词表中去查找，若匹配成功，就同样将该字串作为一个词从句子中切分出去；若匹配失败，则从该字串尾部删去一个字，再用(i-2)字长的字串到词表中查询，直至匹配成功。

例如，如果输入句子是“中华人民共和国成立了”，假设自然语言词汇库111中有“中华人民共和国”这个词，且词表中最长的词也是7个字(即，i＝7)，则第一次从句首截取7个字串“中华人民共和国”就匹配成功。就“中华人民共和国”切分出去之后，句子余下部分是“成立了”三字字串，如果词表中没有这样的3个字词，就去掉该字串尾部的一个字，得到“成立”，接着匹配成功。最后，剩下的“了”也匹配成功。到此，分词过程结束。要注意，虽然自然语言词汇库111中也有“中华”、“华人”、“人民”、“共和”、“共和国”、“国”等词条，但MM法的原则是“长词优先”，因此不会将“中华人民共和国”切分成多个短语。

对于某些句子，MM法会得到错误的切分结果。例如对于句子“使节约粮食进一步形成风气”，MM法会将句子切分成“使节/约/粮食/进一步/形成/风气”。这种时候，就需要对句子进行消歧处理。

MM法又分为正向最大匹配(FMM)法和反向最大匹配法(BMM)。上面介绍MM法之时，实际上是以FMM为例子的。BMM的原理与FMM类似，不同地方在于，BMM是从右到左对句子进行切分的，在匹配失败之时，是去掉候选字串最前头的一个字以形成新的候选字串。

通过使用FMM和BMM法对同一个句子进行切分，可以起到核对切分结果的作用。据孙茂松、邹嘉彦的研究(Sun Maosong，Benjamin K.T’sou。AmbiguityResolution in Chinese Word Segmentation，Benjamin K.T’sou & TomB.Y.Lai(eds)Proceedings of PACL IC-10，Hong Kong，27-28 Dec.，1995)，对新闻语料中随机选出3680个句子进行分析，得到结论是，当FMM和BMM的切分结果相同之时，有大约99％的把握认为切分结果是正确的；当FMM和BMM的切分结果不相同之时，大约有99％的把握认为至少有一种切分结果是正确的。

在一个实施例中，在FMM和BMM切分结果不同之时，分析模块103根据结合上下文、或者结合词汇频率等其他因素、或者随机地选择一种结果作为切分结果。

领域内技术人员将意识到，本发明不局限于使用MM法。本发明的分析模块可以使用任何的对自然语言进行分析和处理的方法。

步骤S205中，转换模块105根据转换规则库115中的转换规则，将上述经分析处理后的文本信息转换成手语码序列。

步骤207中，合成模块107根据所述手语词汇库115将手语码序列转换成手语运动数据。在一个实施中，该步骤还进一步包括在连续手语运动的同一手势的帧与帧之间可以进行线性运动插值。在另一个实施例中，该步骤进一步包括在前一个手语词的最后一帧和下一个手语词的第一帧之间插值处理以实现平滑过度。

步骤209中，显示模块109根据所述手语运动数据生成并显示完整的手语运动。在一个实施例中，显示模块109以3D的形式显示手语运动。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等。均应包含在本发明的保护范围之内。

Claims (10)

1、一种进行手语合成与显示的***，包括用于接收自然语言文本信息的接收模块、将自然语言转换成手语码的转换模块、用于显示手语显示模块，其特征在于，还包括：

连接在所述接收模块和所述转换模块之间的分析模块以及与所述分析模块连接的自然语言词汇库，所述分析模块根据所述自然语言词汇库的内容，对所接收的文本信息进行分析处理；

与所述转换模块连接的转换规则库，所述转换模块根据转换规则，将经分析处理后的自然语言转换成手语码序列；

连接在所述转换模块和所述显示模块之间的合成模块以及与所述合成模块连接的手语词汇库，所述合成模块根据所述手语词汇库将手语码序列转换成手语运动数据；

所述显示模块根据所述手语运动数据生成并显示完整的手语运动。

2、根据权利要求1所述的***，其特征在于，所述接收模块与即时通讯客户端连接并从所述即时通讯客户端接收文本信息。

3、根据权利要求1所述的***，其特征在于，所述分析模块使用最大匹配法对所接收的文本信息进行分词。

4、根据权利要求1所述的***，其特征在于，所述分析模块使用正向最大匹配法和反向最大匹配法对所接收的文本信息进行消歧检验。

5、根据权利要求1所述的***，其特征在于，所述合成模块还包括在手语运动的帧与帧之间进行线性插值的功能单元。

6、根据权利要求1至5中任意一项所述的***，其特征在于，所述显示模块以3D的方式显示手语运动。

7、一种基于权利要求1所述***进行手语合成与显示的方法，其特征在于，包括以下步骤：

S1、接收模块接收自然语言文本信息；

S2、分析模块根据自然语言词汇库对所接收的文本信息进行分析处理；

S3、转换模块根据转换规则，将上述经分析处理后的文本信息转换成手语码序列；

S4、合成模块根据所述手语词汇库将手语码序列转换成手语运动数据；

S5、显示模块根据所述手语运动数据生成并显示完整的手语运动。

8、根据权利要求7所述的方法，其特征在于，步骤S2中包括使用最大匹配法进行分词处理。

9、根据权利要求7所述的方法，其特征在于，步骤S2中包括使用正向最大匹配法和反向最大匹配法对所接收的文本信息进行消歧检验。

10、根据权利要求7至9中任意一项所述的方法，其特征在于，步骤S4中进一步包括在手语运动的帧与帧之间进行线性插值。

Images