CN109166409B - 一种手语转换方法及装置 - Google Patents
一种手语转换方法及装置 Download PDFInfo
- Publication number
- CN109166409B CN109166409B CN201811177577.4A CN201811177577A CN109166409B CN 109166409 B CN109166409 B CN 109166409B CN 201811177577 A CN201811177577 A CN 201811177577A CN 109166409 B CN109166409 B CN 109166409B
- Authority
- CN
- China
- Prior art keywords
- sign language
- vocabulary
- input information
- vocabularies
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Machine Translation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种手语转换方法及装置,该方法包括获取输入信息;解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系;基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。这样,输入信息被解析成词汇单元,能够将输入信息以三维手语动画的形式展示,使得听力障碍人群能够通过生成的三维手语动画了解输入信息,提高了听力障碍人群与普通人***流的便利程度。
Description
技术领域
本发明涉及手语翻译技术领域,尤其涉及一种手语转换方法及装置。
背景技术
为了便于听力障碍等人群与其他人交流,手语成为一种方便快捷的选择。现行推广的标准汉语手语为每一个语素或词汇对应相应的手势,交流时通过手势表达语言中的各个语素或词汇。由于普通人群一般情况下并不通晓手语,所以现有的听力障碍人群与普通人***流较为不便。
发明内容
本发明实施例提供一种手语转换方法及装置,以解决听力障碍人群与普通人***流较为不便的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种手语转换方法,包括以下步骤:
获取输入信息;
解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系;
基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。
可选的,在所述输入信息包括至少两个所述词汇单元的情况下,所述基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画,包括:
根据所述输入信息中包括的词汇单元的排列顺序获取与所述词汇单元相对应的手语词汇的排列顺序;
根据手语词汇的排列顺序计算相邻两个手语词汇的手语动画之间的衔接点;
根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,其中,相邻两个所述手语词汇的手语动画在所计算的衔接点处衔接。
可选的,所述根据手语词汇的排列顺序计算相邻两个手语词汇的手语动画之间的衔接点,包括:
获取相邻两个手语词汇的运动序列,并计算相邻两个手语词汇的运动序列的衔接插值;
所述根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,包括:
根据所计算的衔接插值,整合各手语词汇的运动序列,并将所整合的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画。
可选的,所述解析所述输入信息中包括的至少一个词汇单元,包括:
对所获取的输入信息根据语法结构分词并获得至少一个基本词汇;
将分词所获得的基本词汇中,存在相应的手语词汇的基本词汇作为一个词汇单元;
根据词汇之间的相似度替换关系,将分词所获得的基本词汇中,不存在对应的手语词汇的基本词汇,替换为存在对应的手语词汇的近似词汇,并将替换所得的近似词汇作为一个词汇单元。
可选的,所述解析所述输入信息中包括的至少一个词汇单元之后,还包括:
若输入信息的词汇单元中存在指向性动词,则根据指向性动词的主语和谓语确定指向性动词的指向,并根据指向性动词的指向关联相应的词汇单元。
可选的,所述解析所述输入信息中包括的至少一个词汇单元之后,还包括:
若输入信息的词汇单元中存在代词,则确定代词的指代对象,并将代词替换为相应指代对象对应的词汇单元。
可选的,所述基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画,包括:
基于所建立的词汇单元与手语词汇的对应关系,获取每一所述手语词汇的运动序列,并根据所述词汇单元与手语词汇的对应关系将所获取的手语词汇的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画。
可选的,所述获取输入信息的步骤包括:
获取用户输入的语音信号,并将所述语音信号转换为文本信息;或者
识别用户的手写输入并生成相应的文本信息;或者
获取用户导入的文本信息;
所述解析所述输入信息中包括的至少一个词汇单元,包括:
解析所述文本信息中包括的至少一个词汇单元。
第二方面,本发明实施例提供了一种手语转换装置,包括:
输入模块,用于获取输入信息;
自然语言处理模块,用于解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系;
演示模块,用于基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。
第三方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的手语转换方法的步骤。
本发明实施例中,获取输入信息;解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系;基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。这样,输入信息被解析成词汇单元,能够将输入信息以手语动画的形式展示,使得听力障碍人群能够通过生成的手语动画了解输入信息,提高了听力障碍人群与普通人***流的便利程度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种手语转换方法的流程图;
图2是本发明实施例提供的另一种手语转换方法的流程图;
图3是本发明实施例提供的一种手语转换装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的一种手语转换方法的流程图,如图1所示,包括以下步骤:
步骤101、获取输入信息。
本实施例的技术方案中首先获取输入信息,输入信息可以以各种形式输入,以适应不同的使用场景。
该技术方案可以应用于课堂。一般情况下,普通学校的教师不通晓手语,对于听力障碍的学生来说,无法听到教师授课内容,这样,可以将教材中的内容或讲义中的内容作为输入信息,以将这些信息转换为手语,便于听力障碍的学生识别。
该方案还可以应用于日常交流,例如一个听力障碍的用户与一个普通用户进行沟通时,可以将普通用户说话的声音作为输入信号,并转换为相应的手语动画以实现两者的沟通。
可选的,在一个具体实施方式中,该步骤101包括:
获取用户输入的语音信号,并将所述语音信号转换为文本信息;或者
识别用户的手写输入并生成相应的文本信息;或者
获取用户导入的文本信息。
在该具体实施方式中,输入信息可以是语音信号,该语音信号可以是用户的说话声音,在使用时,通过麦克风或话筒等录音设备采集语音信号。
该语音信号也可以是电子设备的输入信号,例如手机、平板电脑、电视机等播放的音频。具体使用时,例如通过一台电子设备播放音频时,通过直接截取电子设备所的音频信号作为输入的语音信号。具体的,可以通过截取电子设备内录音状态下的音频信号来实现。
输入的语音信号可通过现有的及可能出现的语音识别技术转换为实现该手语转换方法的电子设备可识别的文本信息,此处不作进一步限定。
输入信息还可以是文本信息,该文本信息可以用其他用户手写输入实现,也可以通过直接导入一文本文档实现。
上述文本信息的格式可参考现有的文本文档格式,例如doc格式、docx格式、txt格式、pdf格式等,显然,也可以是其他可供实现该手语转换方法的电子设备识别的格式,此处不作进一步限定。
通过不同方式获取输入信息,能满足更多的使用场景。
例如,通过将语音信号作为输入信息,可以实现听力障碍人群与普通人群之间的日常交流或者可以满足听力障碍人群观看视频资料等,还能使听力障碍学生直接在普通学校即可学习。
利用手写输入方式生成的文本信息或导入的文本信息作为输入信息则可以满足手语教学使用,有利于特殊教育的推广和普及。
步骤102、解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系。
在获取输入信息之后,通过解析输入信息获取输入信息中包括的至少一个词汇单元。
词汇单元可以根据语法结构解析确定。
例如,“谢谢”这一输入信息包含“谢谢”这一个动词构成的一个词汇单元,而“谢谢你”则包括动词“谢谢”和宾语“你”这两个词汇单元。所以一段完整的输入信息中包括至少一个词汇单元。
任何表达正确的语句都可以根据语法规则划分为相应的主语、谓语、宾语、定语等语法结构,这些语法结构均可以作为一个词汇单元。
词汇单元也可以根据语素解析确定。
例如“我喝牛奶”这一句话中的“牛奶”从语法结构上来说是宾语,但是在手语表达中,“牛奶”这一词汇是通过“牛”和“奶”这两个语素分别对应的手势组合而成的。所以,该词汇单元也可以根据语素划分。
进一步的,在解析完输入信息中包括的词汇单元后,建立词汇单元与手语词汇的对应关系。
应当理解的是,为了将输入信息以手语的形式表达出来,需要设置一个包括各种手语动画的数据库,然后通过调用该数据库内的手语动画并通过演示模型来演示相应的手语。通过建立词汇单元与手语词汇的对应关系,能够通过该对应关系调用手语词汇对应的手语动画,从而获得输入信息中包括的各词汇单元对应的手语动画。
本实施例中,当所解析的输入信息为文本信息时,该步骤102包括:
解析所述文本信息中包括的至少一个词汇单元。
即该步骤102是对上述步骤101的一个可选具体实施方式中的文本信息进行解析。
步骤103、基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。
根据词汇单元和手语词汇的对应关系,将手语词汇对应的图像按照词汇单元的顺序进行组合即可获得输入信息对应的手语动画。
这样,输入信息被解析成词汇单元,然后根据词汇单元与手语词汇的对应关系生成输入信息对应的手语动画,能够将输入信息以手语动画的形式展示,使得听力障碍人群能够通过生成的手语动画了解输入信息,提高了听力障碍人群与普通人***流的便利程度。
作为一种可选的具体实施方式,在所述输入信息包括至少两个所述词汇单元的情况下,该步骤103包括:
根据所述输入信息中包括的词汇单元的排列顺序获取与所述词汇单元相对应的手语词汇的排列顺序;
根据手语词汇的排列顺序计算相邻两个手语词汇的手语动画之间的衔接点;
根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,其中,相邻两个所述手语词汇的手语动画在所计算的衔接点处衔接。
当输入信息包括一个词汇单元时,可以直接调用相应的手语动画即可。
而由于实际用户的任意一个手语动作之间是连续运动的,所以相邻两个手语词汇对应的手语动画需要进行一定的衔接。
因此,本实施例中在输入信息包括至少两个所述单元的情况下,根据词汇单元的排列顺序确定手语词汇的排列顺序。
应当理解的是,词汇单元的排列顺序实际上就是相应的手语词汇的排列顺序。
在确定了手语词汇的排列顺序之后,则计算相邻两个手语词汇对应的运动序列之间的衔接点,该衔接点指的是在最合理的情况下连续表达两个手语动画时,这两个手语动画的衔接方式。
例如“吃土豆”包括“吃”和“土豆”两个词汇单元。“吃”的手语动作是举起手,表达“吃”,然后放下手。“土豆”的手语动作是举起手,表达“土豆”,然后放下手。如果将这两个手语动作连续起来则是:举起手、表达“吃”、放下手、举起手、表达“土豆”、放下手。显然,这种表示方法极为不合理,位于表达“吃”和表达“土豆”之间的放下手和举起手是多余的动作。
因此,本实施例中进一步计算相邻两个手语动画之间的衔接点,例如将“吃土豆”表达为举起手、表达“吃”、表达“土豆”、放下手。
进一步的,还可以将对“吃”和“土豆”之间进行平滑度计算,使两个动作进行的更加连贯。
例如“吃”的手语动作为一手伸食、中指,由外向嘴边拨动,模拟用筷子吃饭状;“土豆”的“土”的手语表达为一手拇、食、中指互捻;“豆”的手语表达为双手拇、食指打成圆块形,如土豆外形。
则可以通过计算这三个动作的连接位置,在表达完“吃”的手语动作之后,该手指继续表达“土”的手语动作,在表达“土”的动作时,另一只手同时移动,以与之前的一只手相配合表达“豆”的手语动作。
这样,能够使得最终获得的输入信息对应的手语动画更加连贯。
本实施例中,作为一种可选的具体实施方式,生成所述输入信息对应的手语动画,包括:
基于所建立的词汇单元与手语词汇的对应关系,获取每一所述手语词汇的运动序列,并根据所述词汇单元与手语词汇的对应关系将所获取的手语词汇的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画。
本实施例中的演示模型为一个人形模型,然后通过将手语动画的运动序列映射至该模型,能够实现通过该模型演示输入信息对应的手语动画。以便更直观明了的了解相应的手语动画。
进一步的,在一个具体实施方式中,是通过计算运动序列的插值来计算手语动画的插值的。
所述根据手语词汇的排列顺序计算相邻两个手语词汇的手语动画之间的衔接点,包括:
获取相邻两个手语词汇的运动序列,并计算相邻两个手语词汇的运动序列的衔接插值。
手语词汇的运动序列指的是通过演示模型演示手语词汇的图像的时候,演示模型的运动序列,该运动序列实际上是将演示模型的动作进行数据化得到的信息,具体可以为手指或手肘等肢体结构的移动坐标、移动速度等相关运动参数。通过对相邻两个手语词汇的运动序列进行插值运算,可以得出相邻两个手语词汇的运动序列的衔接插值,作为相邻两个手语词汇的手语动画的最佳衔接点。
下面,对一种运动序列的插值运算方式作具体说明。
对要进行连接的两段运动序列A和B,假设A有m帧,从中提取出最后k帧数据:A(m-k+1),…,A(m),提取运动序列B中的前k帧数据:B(1),..,B(k),对重叠的k帧运动序列进行插值,从而获得两段运动序列重叠出的k帧新运动序列。
运动序列中每个关节的第i帧新运动序列的三维空间坐标T(i)为:
T(i)=α(i)PA(m-k+i)+(1-α(i))PB(i),i∈[1,2,...,k]
其中,α(i)为预设的系数函数,其函数值大于或等于0,且小于或等于1。一般来说,当i的取值组件增大时,α(i)的函数值逐渐减小。PA(x)和PB(x)分别为运动序列A和运动序列B的运动函数。
例如,对于第一个合成动作,即i等于1时,该动作由动作序列A中后k帧数据中的第一个动作和动作序列B中的第一个动作合成,则该动作的坐标为:
T(1)=α(1)PA(m-k+1)+(1-α(1))PB(1)。
合成动作由动作序列A和动作序列B相叠加而成,由于α(i)的值随着i的增加而减小,则对于叠加后的合成动作来说,越靠前的动作,即i值越小时,由于α(i)的值越大,所以动作序列A的坐标的权重越大,所以越偏向于动作序列A中的动作;而越往后的动作即i值越大,则动作序列B的坐标的权重越大,所以越偏向于动作序列B中的动作。这样,通过该插值运算得到的合成动作实现了动作序列A到动作序列B的平滑过渡。
进一步的,所述根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,包括:
根据所计算的衔接插值,整合各手语词汇的运动序列,并将所整合的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画。
通过将整合后的运动序列映射至演示模型,能够使演示模型演示整合后的手语动画,提高了各个手语动画衔接的流畅度。
参见图2,图2是本发明实施例提供的另一种手语转换方法的流程图,与图1所示的实施例的主要区别在于,本实施例中还对输入信息中的词汇进行处理,并将不存在对应手语词汇的词汇替换成存在相应手语词汇的词汇。
如图2所示,该方法包括以下步骤:
步骤201、获取输入信息。
步骤202、对所获取的输入信息根据语法结构分词并获得至少一个基本词汇。
本实施例中根据语法结构将输入信息分词,并获得至少一个基本词汇。
步骤203、将分词所获得的基本词汇中,存在相应的手语词汇的基本词汇作为一个词汇单元。
如果所建立的数据库中存在相应的手语词汇,那么则可以直接将这些基本词汇作为一个词汇单元。
例如,一些常用的词例如“你”“我”“他”“好”“不好”等,在日常生活中的使用频率非常高,所以一般来说,数据库中都会存储有这些表达对应的手语词汇。
步骤204、根据词汇之间的相似度替换关系,将分词所获得的基本词汇中,不存在对应的手语词汇的基本词汇,替换为存在对应的手语词汇的近似词汇,并将替换所得的近似词汇作为一个词汇单元。
显然,一些表达可能并不存在相应的手语词汇。例如,“马铃薯”为马铃薯的学名,但是在不同的方言及语言习惯中,马铃薯还被称作“土豆”、“地豆”、“地蛋”、“洋芋子”等,这些词实际上表达的都是马铃薯,但是根据现有手语使用习惯,“土豆”是由“土”和“豆”这两个语素组成的,相应其手势也是由这两个语素的手势组成的,所以其转换为手语动画之后,可能无法被其他用户所理解。因此,本实施例中在手语词汇的数据库中设置统一的表达习惯,例如,将马铃薯的一般表达方式设定为最常用的“土豆”,当输入信息中包括的基本词汇为“马铃薯”、“地豆”、“地蛋”或“洋芋子”时,则将这个词替换为“土豆”,并将“土豆”作为相应的词汇单元。
此外,一些表达的常用表达方式是基本相同的,例如“帮助”、“帮忙”、“帮”等。这些词表达的是同一含义,所以可以以同一手语动画来表达。
这样,如果基本词汇存在于手语词汇的数据库中,则直接将该基本词汇作为一个词汇单元。
如果基本词汇不存在与手语词汇的数据库中,则根据预设的对应关系,将这个基本词汇替换为存在于手语词汇数据库中的近似词汇。
这样,有利于统一不同方言或不同表达习惯人群所使用的手语,更加便于交流。
步骤205、建立所述词汇单元与手语词汇的对应关系。
在确定了词汇单元之后,则建立词汇单元与手语词汇的对应关系。
可选的,本实施例中还可以包括根据词汇单元的词性做出一定的适应性调整。
具体的,还包括:
若输入信息的词汇单元中存在指向性动词,则根据指向性动词的主语和谓语确定指向性动词的指向,并根据指向性动词的指向关联相应的词汇单元。
所述解析所述输入信息中包括的至少一个词汇单元之后,还包括:
若输入信息的词汇单元中存在代词,则确定代词的指代对象,并将代词替换为相应指代对象对应的词汇单元。
本实施例中还可以包括对词汇单元中的指向性动词和代词做出调整。
例如,“帮助”这一表达在应用于“需要我帮助你么”和“你来帮帮我可以么”这两个语言环境中时,其手势是相同的,但是指向方向是不一样的,所以,本实施例中进一步针对词汇单元中的指向性动词,根据其主语和位于确定指向,并关联至相应的词汇单元,从而能够在调用手语动画的时候,对其指向做出进一步调整。
而针对代词,在表达过程中可能指代不同的物品,这也会对手势造成相应的影响。在表达“将它拿起来”时,由实际的人来表示这一手语的时候,可以直接指向相应的物品来表示“它”,例如,可以指向桌面上的手机或茶杯表示将手机或茶杯拿起来。而当在电子设备中实现该方法时,该手语通过屏幕演示,则难以确定其指示方向,所以难以表达真实含义,因此,本实施例中还可以将根据其指代对象将代词替换为其指代的词汇单元。例如,将“将它拿起来”替换为“将手机拿起来”。这样子,使得表达更加准确。
步骤206、基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。
最后,根据所所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。
这样,通过对输入信息中进行分词,并将不存在于手语词汇数据库中的基本词汇替换为该词汇存在于手语词汇数据库中的近似词汇,能够统一表达方式,便于不同方言和表达习惯的用户互相交流。
应当理解的是,图1所示实施例中和图2所示实施例中各可选的步骤均不是必须的,且均可以单独或互相组合的应用于图1和图2所示的任一实施例中,并实现相应的技术效果,此处不再赘述。
参见图3,图3是本发明实施例提供的手语转换装置300的结构图,如图3所示,手语转换装置300包括:
输入模块301,用于获取输入信息;
自然语言处理模块302,用于解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系;
演示模块303,用于基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画。
可选的,在所述输入信息包括至少两个所述词汇单元的情况下,所述演示模块303,包括:
获取子模块,用于根据所述输入信息中包括的词汇单元的排列顺序获取与所述词汇单元相对应的手语词汇的排列顺序;
计算子模块,用于根据手语词汇的排列顺序计算相邻两个手语词汇的手语运动序列之间的衔接点;
生成子模块,用于根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,其中,相邻两个所述手语词汇的手语动画在所计算的衔接点处衔接。
可选的,计算子模块,具体用于获取相邻两个手语词汇的运动序列,并计算相邻两个手语词汇的运动序列的衔接插值;
生成子模块,具体用于根据所计算的衔接插值,整合各手语词汇的运动序列,并将所整合的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画。
可选的,所述自然语言处理模块302,包括:
分词子模块,用于对所获取的输入信息根据语法结构分词并获得至少一个基本词汇;
词汇单元确定子模块,用于将分词所获得的基本词汇中,存在相应的手语词汇的基本词汇作为一个词汇单元;
所述词汇单元确定子模块,还用于根据词汇之间的相似度替换关系,将分词所获得的基本词汇中,不存在对应的手语词汇的基本词汇,替换为存在对应的手语词汇的近似词汇,并将替换所得的近似词汇作为一个词汇单元。
可选的,还包括:
动词处理模块,用于若输入信息的词汇单元中存在指向性动词,则根据指向性动词的主语和谓语确定指向性动词的指向,并根据指向性动词的指向关联相应的词汇单元。
可选的,还包括:
代词处理模块,用于若输入信息的词汇单元中存在代词,则确定代词的指代对象,并将代词替换为相应指代对象对应的词汇单元。
可选的,所述演示模块303具体用于:
基于所建立的词汇单元与手语词汇的对应关系,获取每一所述手语词汇的运动序列,并根据所述词汇单元与手语词汇的对应关系将所获取的手语词汇的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画。
可选的,所述输入模块301包括:
语音输入子模块,用于获取用户输入的语音信号,并将所述语音信号转换为文本信息;或者
手写输入子模块,用于识别用户的手写输入并生成相应的文本信息;或者
文本导入子模块,用于获取用户导入的文本信息;
所述自然语言处理模块302用于:解析所述文本信息中包括的至少一个词汇单元。
本发明实施例提供的手语转换装置能够实现图1至图2的方法实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
优选的,本发明实施例还提供一种移动终端,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述手语转换方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述手语转换方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种手语转换方法,其特征在于,包括以下步骤:
获取输入信息;
解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系;
基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画;
在所述输入信息包括至少两个所述词汇单元的情况下,所述基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画,包括:
根据所述输入信息中包括的词汇单元的排列顺序获取与所述词汇单元相对应的手语词汇的排列顺序;
根据手语词汇的排列顺序计算相邻两个手语词汇的手语动画之间的衔接点;
根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,其中,相邻两个所述手语词汇的手语动画在所计算的衔接点处衔接;所述根据手语词汇的排列顺序计算相邻两个手语词汇的手语动画之间的衔接点,包括:
获取相邻两个手语词汇的运动序列,并计算相邻两个手语词汇的运动序列的衔接插值;
所述根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,包括:
根据所计算的衔接插值,整合各手语词汇的运动序列,并将所整合的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画;
所述计算相邻两个手语词汇的运动序列的衔接插值,包括:
提取前一运动序列的最后k帧数据,并提取后裔运动序列的前k帧数据,并对前一运动序列和后一运动序列重叠的k帧运动序列进行插值,从而获得两段运动序列重叠出的k帧新运动序列,运动序列中每个关节的第i帧新运动序列的三维空间坐标T(i)为:
T(i)=α(i)PA(m-k+i)+(1-α(i))PB(i),i∈[1,2,...,k]
其中,α(i)为预设的系数函数,其函数值大于或等于0,且小于或等于1其中,当i的取值逐渐增大时,α(i)的函数值逐渐减小,PA(x)和PB(x)分别为运动序列A和运动序列B的运动函数。
2.如权利要求1所述的方法,其特征在于,所述解析所述输入信息中包括的至少一个词汇单元,包括:
对所获取的输入信息根据语法结构分词并获得至少一个基本词汇;
将分词所获得的基本词汇中,存在相应的手语词汇的基本词汇作为一个词汇单元;
根据词汇之间的相似度替换关系,将分词所获得的基本词汇中,不存在对应的手语词汇的基本词汇,替换为存在对应的手语词汇的近似词汇,并将替换所得的近似词汇作为一个词汇单元。
3.如权利要求2所述的方法,其特征在于,所述解析所述输入信息中包括的至少一个词汇单元之后,还包括:
若输入信息的词汇单元中存在指向性动词,则根据指向性动词的主语和谓语确定指向性动词的指向,并根据指向性动词的指向关联相应的词汇单元。
4.如权利要求2所述的方法,其特征在于,所述解析所述输入信息中包括的至少一个词汇单元之后,还包括:
若输入信息的词汇单元中存在代词,则确定代词的指代对象,并将代词替换为相应指代对象对应的词汇单元。
5.如权利要求1至4中任一项所述的方法,其特征在于,所述基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画,包括:
基于所建立的词汇单元与手语词汇的对应关系,获取每一所述手语词汇的运动序列,并根据所述词汇单元与手语词汇的对应关系将所获取的手语词汇的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画。
6.如权利要求1所述的方法,其特征在于,所述获取输入信息的步骤包括:
获取用户输入的语音信号,并将所述语音信号转换为文本信息;或者
识别用户的手写输入并生成相应的文本信息;或者
获取用户导入的文本信息;
所述解析所述输入信息中包括的至少一个词汇单元,包括:
解析所述文本信息中包括的至少一个词汇单元。
7.一种手语转换装置,其特征在于,包括:
输入模块,用于获取输入信息;
自然语言处理模块,用于解析所述输入信息中包括的至少一个词汇单元,并建立所述词汇单元与手语词汇的对应关系;
演示模块,用于基于所建立的词汇单元与手语词汇的对应关系,生成所述输入信息对应的手语动画;
在所述输入信息包括至少两个所述词汇单元的情况下,所述演示模块,包括:
获取子模块,用于根据所述输入信息中包括的词汇单元的排列顺序获取与所述词汇单元相对应的手语词汇的排列顺序;
计算子模块,用于根据手语词汇的排列顺序计算相邻两个手语词汇的手语运动序列之间的衔接点;
生成子模块,用于根据所述手语词汇的排列顺序,生成所述输入信息对应的手语动画,其中,相邻两个所述手语词汇的手语动画在所计算的衔接点处衔接;
计算子模块,具体用于获取相邻两个手语词汇的运动序列,并计算相邻两个手语词汇的运动序列的衔接插值;
生成子模块,具体用于根据所计算的衔接插值,整合各手语词汇的运动序列,并将所整合的运动序列映射至演示模型,以通过所述演示模型演示输入信息对应的手语动画;所述计算相邻两个手语词汇的运动序列的衔接插值,包括:
提取前一运动序列的最后k帧数据,并提取后裔运动序列的前k帧数据,并对前一运动序列和后一运动序列重叠的k帧运动序列进行插值,从而获得两段运动序列重叠出的k帧新运动序列,运动序列中每个关节的第i帧新运动序列的三维空间坐标T(i)为:
T(i)=α(i)PA(m-k+i)+(1-α(i))PB(i),i∈[1,2,...,k]
其中,α(i)为预设的系数函数,其函数值大于或等于0,且小于或等于1其中,当i的取值逐渐增大时,α(i)的函数值逐渐减小,PA(x)和PB(x)分别为运动序列A和运动序列B的运动函数。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的手语转换方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811177577.4A CN109166409B (zh) | 2018-10-10 | 2018-10-10 | 一种手语转换方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811177577.4A CN109166409B (zh) | 2018-10-10 | 2018-10-10 | 一种手语转换方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109166409A CN109166409A (zh) | 2019-01-08 |
CN109166409B true CN109166409B (zh) | 2021-02-12 |
Family
ID=64877822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811177577.4A Active CN109166409B (zh) | 2018-10-10 | 2018-10-10 | 一种手语转换方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109166409B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022254432A1 (en) * | 2021-06-01 | 2022-12-08 | Livne Nimrod Yaakov | A sign language translation method and system thereof |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110598576B (zh) * | 2019-08-21 | 2023-06-23 | 腾讯科技(深圳)有限公司 | 一种手语交互方法、装置及计算机介质 |
CN111369652B (zh) * | 2020-02-28 | 2024-04-05 | 长沙千博信息技术有限公司 | 一种基于多个单独手语动作产生连续手语动作的方法 |
CN112329451B (zh) * | 2020-12-03 | 2024-02-02 | 云知声智能科技股份有限公司 | 手语动作视频生成方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10215449A (ja) * | 1997-01-30 | 1998-08-11 | Hitachi Ltd | 信号処理装置 |
JP2003032666A (ja) * | 2001-07-16 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 画像処理装置および方法 |
CN1464433A (zh) * | 2002-06-17 | 2003-12-31 | 中国科学院计算技术研究所 | 通过中间模式语言进行手语翻译的方法 |
EP2093711A3 (en) * | 2008-02-19 | 2010-05-26 | Sony Corporation | Iimage processing apparatus and image processing method, and program |
CN101727766A (zh) * | 2009-12-04 | 2010-06-09 | 哈尔滨工业大学深圳研究生院 | 基于虚拟人的手语新闻播报方法 |
CN103116901A (zh) * | 2013-01-28 | 2013-05-22 | 大连大学 | 基于运动特征的人体运动插值计算方法 |
CN104331164A (zh) * | 2014-11-27 | 2015-02-04 | 韩慧健 | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 |
CN104732590A (zh) * | 2015-03-09 | 2015-06-24 | 北京工业大学 | 一种手语动画的合成方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040012643A1 (en) * | 2002-07-18 | 2004-01-22 | August Katherine G. | Systems and methods for visually communicating the meaning of information to the hearing impaired |
CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 进行手语合成与显示的***和方法 |
CN102497513A (zh) * | 2011-11-25 | 2012-06-13 | 中山大学 | 一种面向数字电视的视频虚拟人手语*** |
US9076258B2 (en) * | 2013-03-14 | 2015-07-07 | Pixar | Stylizing animation by example |
KR20150068895A (ko) * | 2013-12-12 | 2015-06-22 | 한국전자통신연구원 | 삼차원 출력 데이터 생성 장치 및 방법 |
CN103956167A (zh) * | 2014-05-06 | 2014-07-30 | 北京邮电大学 | 一种基于Web的可视化手语翻译方法及设备 |
CN108615009B (zh) * | 2018-04-24 | 2019-07-23 | 山东师范大学 | 一种基于动态手势识别的手语翻译交流*** |
-
2018
- 2018-10-10 CN CN201811177577.4A patent/CN109166409B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10215449A (ja) * | 1997-01-30 | 1998-08-11 | Hitachi Ltd | 信号処理装置 |
JP2003032666A (ja) * | 2001-07-16 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 画像処理装置および方法 |
CN1464433A (zh) * | 2002-06-17 | 2003-12-31 | 中国科学院计算技术研究所 | 通过中间模式语言进行手语翻译的方法 |
EP2093711A3 (en) * | 2008-02-19 | 2010-05-26 | Sony Corporation | Iimage processing apparatus and image processing method, and program |
CN101727766A (zh) * | 2009-12-04 | 2010-06-09 | 哈尔滨工业大学深圳研究生院 | 基于虚拟人的手语新闻播报方法 |
CN103116901A (zh) * | 2013-01-28 | 2013-05-22 | 大连大学 | 基于运动特征的人体运动插值计算方法 |
CN104331164A (zh) * | 2014-11-27 | 2015-02-04 | 韩慧健 | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 |
CN104732590A (zh) * | 2015-03-09 | 2015-06-24 | 北京工业大学 | 一种手语动画的合成方法 |
Non-Patent Citations (1)
Title |
---|
《一种用于图像拼接的改进BRISK算法》;陈思聪,刘晶红,何林阳,周前飞;《液晶与显示》;20160315;第31卷(第3期);324-330 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022254432A1 (en) * | 2021-06-01 | 2022-12-08 | Livne Nimrod Yaakov | A sign language translation method and system thereof |
Also Published As
Publication number | Publication date |
---|---|
CN109166409A (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166409B (zh) | 一种手语转换方法及装置 | |
CN110531860B (zh) | 一种基于人工智能的动画形象驱动方法和装置 | |
Farooq et al. | Advances in machine translation for sign language: approaches, limitations, and challenges | |
US20090012788A1 (en) | Sign language translation system | |
CN109409255A (zh) | 一种手语场景生成方法及装置 | |
TW200416567A (en) | Multimodal speech-to-speech language translation and display | |
CN110968736A (zh) | 视频生成方法、装置、电子设备及存储介质 | |
CN117055724B (zh) | 虚拟教学场景中生成式教学资源***的工作方法 | |
Sonawane et al. | Speech to Indian sign language (ISL) translation system | |
Rastgoo et al. | All you need in sign language production | |
CN112232066A (zh) | 一种教学纲要生成方法、装置、存储介质及电子设备 | |
Dhanjal et al. | An automatic conversion of Punjabi text to Indian sign language | |
Rastgoo et al. | A survey on recent advances in Sign Language Production | |
Baumgärtner et al. | Automated Sign Language Translation: The Role of Artificial Intelligence Now and in the Future. | |
JP2002244842A (ja) | 音声通訳システム及び音声通訳プログラム | |
López-Colino et al. | Spanish sign language synthesis system | |
Martin et al. | An Indian Sign Language (ISL) corpus of the domain disaster message using Avatar | |
Solina et al. | Multimedia dictionary and synthesis of sign language | |
San-Segundo et al. | Proposing a speech to gesture translation architecture for Spanish deaf people | |
AU2023219798A1 (en) | Tracking concepts within content in content management systems and adaptive learning systems | |
Alfonse et al. | Arabic sign language benchmark database for different heterogeneous sensors | |
Sagawa et al. | A teaching system of japanese sign language using sign language recognition and generation | |
López-Colino et al. | The Synthesis of LSE Classifiers: From Representation to Evaluation. | |
Gayathri et al. | Sign language recognition for deaf and dumb people using android environment | |
Guo et al. | Sign-to-911: Emergency Call Service for Sign Language Users with Assistive AR Glasses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |