CN101334704A

CN101334704A - 一种面向移动设备的多通道中文输入法

Info

Publication number: CN101334704A
Application number: CNA2008101157601A
Authority: CN
Inventors: 王宏安; 姜映映; 田丰; 戴国忠
Original assignee: Institute of Software of CAS
Current assignee: Institute of Software of CAS
Priority date: 2008-06-27
Filing date: 2008-06-27
Publication date: 2008-12-31
Anticipated expiration: 2028-06-27
Also published as: CN101334704B

Abstract

本发明属于人机交互领域，具体涉及一种面向移动设备的多通道中文输入方法。本发明提供一种移动设备上的中文输入方法，同时使用语音和键盘输入中文。键盘输入采用简拼方法或者简化的笔划输入方法，可以采用现有的技术；键盘输入转化为拼音表示，本发明在键盘输入的同时，用语音说出要输入的词语；语音识别结果同样转化为拼音，对键盘输入产生的大量输入候选排序；然后，使用键盘从重排序后的候选列表中选择最终的输入，通过语音与键盘输入的同步和多通道融合，提高输入的效率。

Description

一种面向移动设备的多通道中文输入法

技术领域

本发明属于人机交互领域，具体涉及一种面向移动设备的多通道中文输入法。

背景技术

移动设备，如手机等，输入主要依赖于键盘。在这些设备上，用户需要输入URL和查询内容，输入命令以及写邮件和消息等，文本输入是一个等待解决的难题。中文作为一种表意语言，它的输入给人机交互领域带来了新的挑战。中文与英文有着很大的差别。中文的基本单元是字符，字符是声音、结构和含义的混合体(参考文献：Lin，M.，and Sears，A.Graphics matter：a case study of mobile phone keypad design for Chinese input.Ext.Abstracts2005.ACM Press(2005)，1593-1596)。总体来说，中文输入方法可以被分成基于发音的、基于结构的以及基于其它编码的方法。目前，移动设备上的主要输入方法是基于发音的方法以及基于笔划的方法，“T9”。用户可以用键盘输入拼音或者汉字的笔划，然后从候选列表中选择要输入的字符。然而，移动设备上的按键往往比较小，并且每一个键对应3到4个拉丁字母，因此输入几个汉字都需要很多的按键次数。

语音输入和笔输入是移动设备上可能取代键盘的方法。尽管语音和笔更加自然和直观，但它们是基于识别的方法。识别错误往往是不可避免的，受限于移动设备的计算能力，这个问题变得更加严重。研究表明，多通道融合可以有效地减少识别错误和提高输入效率(参考文献：Oviatt，S.Ten Myths of Multimodal Interaction，Communications of the ACM，42，9(1999)，74-81)。对语音输入和键盘输入进行多通道融合，将会提高移动设备上的中文输入效率并拥有更低的错误率。

目前已经有一些工作研究多通道输入。研究表明，融合多种互补信息的***可以降低***识别的不确定性从而提高健壮性。Bo研究了移动设备上将语音和键盘结合用于文本输入的例子(参考文献：Hsu，B.J.，Mahajan，M.and Acero，A.Multimodal Text Entry on MobileDevices.IEEE Workshop on Automatic Speech Recognition and Understanding(ASRU)2005)。但***将语音作为主要的输入通道，将键盘作为确认或纠错通道。Speech Dasher用语音和手势输入文本，手势被用于确认或纠错(参考文献：Vertanen，K.Efficient Computer InterfacesUsing Continuous Gestures，Language Models，and Speech.M.Phil Thesis，University ofCambridge，2004)。Speech pen通过利用周围的多通道识别预测日文手写输入的内容，从而降低日文手写输入的负担(参考文献：Kurihara，K.，Goto，M.，Ogata，J.and Igarashi，T.Speech Pen：Predictive Handwriting based on Ambient Multimodal Recognition.In Proc.CHI2006.ACM Press(2006)，851-860)。Kaiser利用同时出现的相关联的手写输入和语音输入，可以识别不在词典(out-of-vocabulary)的词(参考文献：Kaiser，E.C.Using redundant speechand handwriting for learning new vocabulary and understanding abbreviations.In Proc ICMI2006.ACM Press(2006)，347-356)。Ao和Wang用语音来纠正手写中文识别中的错误(参考文献：Ao，X.，Wang，X.G.，Tian，F.，Dai，G.Z.and Wang，H.A.Crossmodal error dorrection ofcontinuous handwriting recognition by speech.In Proc.IUI 2007.ACM Press(2007)，243-250)。

移动设备的用户可以熟练的使用移动设备上的拼音输入法或者笔划输入法，不需要额外的学习。因此，将基于键盘的精确的输入方法与基于语音的模糊的输入方法结合，是解决移动设备上中文输入问题的一个有前途的方法。

发明内容

本发明的目的在于提供一种移动设备上的中文输入方法，同时使用语音和键盘输入中文，提高输入的效率。

键盘输入采用简拼方法或者简化的笔划输入方法。简拼方法输入一个词语只需输入词语中每个字的拼音的第一个字母，简化的笔划输入方法则需要用户输入要输入的词语中每个字的第一个笔划。它们可以采用现有的技术。键盘输入转化为拼音表示。本发明在键盘输入的同时，用语音说出要输入的词语。语音识别结果同样转化为拼音，对键盘输入产生的大量输入候选排序。然后，使用键盘从重排序后的候选列表中选择最终的输入。语音与键盘输入的同步和多通道融合是本发明的关键支撑技术。

本发明的输入法适用于各种支持语音输入和键盘输入的移动设备，如手机，PDA等。支持的输入范围为汉语中常出现的词语。单字可以被看成单字词。

基于语音和键盘的中文输入方法(如图2所示)，其步骤为：

1)移动设备接收语音输入和键盘输入；

2)同步语音和键盘输入；

3)识别语音输入，得到语音输入候选，根据按键得到键盘输入候选，并且将所有输入候选映射到拼音表示；

4)采用多通道融合方法对语音或键盘输入的候选融合，得到重排序后的候选列表；

5)将候选列表映射回汉字表示，从候选列表中选择最终的输入

所述同步语音输入与键盘输入用于获取有效的输入，其过程为：获取按键的时间以及语音的时间；计算有效的语音时间。

所述的有效语音时间为max{T(PreConfirmation)，T(FirstKeyPress)-Interval}与T(Confirmation)之间的时间。T(Confirmation)是当前输入的中文词语的确认时刻，T(PreConfirmation)是前一个中文词语的确认时刻。T(FirstKeyPress)是用于输入当前词语的第一个按键的时刻。Interval是一个常量，限制语音的有效输入时间。

所述输入候选到拼音的映射是将语音输入以及键盘输入转化为拼音表示。其中，键盘输入到拼音的映射具体步骤为：

对简拼输入来说，将按键对应的数字映射到拉丁字母，得到键盘输入对应的所有简拼表示，并得到简拼对应的所有词语；对简化的笔划输入来说，得到按键对应的所有词语；从而得到所有词语对应的拼音。

所述多通道融合方法利用语音输入对键盘输入候选进行排序，从而使得最接近实际要输入的中文位于输入候选列表的前面。其具体步骤为：

1)计算某一语音候选s_j与键盘候选k_i的相似度w(k_i，s_j)，相似度与s_j和k_i间的编辑距离(Vladimir Levenshtein 1965)相关；

2)计算给定语音输入s_j时，选择键盘输入k_i为最终输入的概率p(k_i|s_j)；

3)计算选择键盘输入k_i为最终输入的概率p(k_i)；

4)按p(k_i)降序的顺序对键盘输入候选排序，得到重排序后的候选列表，由用户使用键盘完成最终的输入结果。

本发明的优点和积极效果如下：

1.基于语音和键盘的多通道输入法可以在保持输入的自然性的同时提高输入的效率。

2.语音和键盘的结合是一种新颖的输入方法，结合两者的优点，可以提高语音的识别率

3.采用简拼或简化的笔划输入与语音输入相结合，易于学习和使用

附图说明

图1本发明中语音输入与键盘输入同步的原理图；

图2本发明中基于语音和键盘的中文输入方法的流程图；

图3简拼和语音结合的应用实例流程图；

图4简化的笔划输入和语音结合的应用实例流程图；

图5本发明中多通道融合方法的流程图；

图6计算键盘输入候选和语音输入候选的相似度的流程图；

图7计算给定语音输入选择某一键盘输入候选作为最终输入的概率的流程图；

图8计算某一键盘输入候选作为最终输入的概率的流程图；

图9拼音、笔划、汉字、简拼之间的转换关系。

具体实施方式

为了使本技术领域的人员更好的理解本发明，下面结合附图和实施方式对本发明作进一步的详细说明。

下面给出一个例子，使用本发明的方法输入中文词语“网络”的过程。用简拼输入法和语音结合输入中文词语“网络”的过程，如图3所示。步骤如下：

1)移动设备上，按数字键9和5的同时用语音说出“网络”；

2)从“网络、网罗、王罗”中选择“网络”作为最终的输入。

在移动设备上，9对应的拉丁字母为“WXYZ”，5对应的拉丁字母为“JKL”，“95”对应的所有简拼为“WJ，WK，WL，XJ，XK，XL，YJ，YK，YL，ZJ，ZK，ZL”，每个简拼对应所有可以用简拼表示的拼音。其中，“WL”对应的拼音为“wanliu，wangluo，weilai，weile，weili，wulun，wuli，wuliao”等，“WL”是“网络”的简拼；语音的前两个识别候选为“huangluo”和“wangluo”。融合后的候选拼音为“wangluo”。拼音映射到汉字为“网络、网罗、王罗”，即可进行中文输入。

用简化的笔划输入法和语音结合输入中文词语“网络”的过程，如图4所示。步骤如下：

1)移动设备上，按下数字键2和5的同时用语音说出“网络”；

2)选择“网络”作为输入。

其中，2对应“网”的第一个笔划“丨”，5对应“络”的第一个笔划。

本发明的具体实施方式如下：

1.移动设备读取键盘输入信息和语音输入信息；

2.首先对语音输入和键盘输入同步，如图1所示。语音的有效时间为处于max{T(PreConfirmation)，T(FirstKeyPress)-Interval}和T(Confirmation)之间的时间。

图1中第一个词的有效语音开始时刻为T(FirstKeyPress)-Interval，有效语音结束时刻为确认键按下的时刻，Interval的取值为1s。第二词的有效语音时间为max{T(PreConfirmation)，T(FirstKeyPress)-Interval}和T(Confirmation)之间的时间，T(PreConfirmation)为第一个词的确认键按下时刻，T(FirstKeyPress)为输入第二个词时第一个键的按下时刻，T(Confirmation)为第二个词的确认键按下的时刻。识别有效时间内的语音，得到语音识别的候选集合；同时，得到键盘输入的候选集合，语音识别的候选集合和键盘输入的候选集合均保存在移动设备上。将候选转化为拼音表示。拼音表示的语音识别候选集合为S，键盘输入候选集合为K。

3.将语音识别候选集合和键盘输入候选集合映射到拼音表示，如图9所示。

对简拼输入来说，键盘候选依据简拼(拼音)词语对应关系词典，得到汉字词语。之后依据汉字与拼音对应关系词典将词语转换为拼音表示。对简化的笔划输入来说，键盘候选依据笔划与汉字对应关系，得到汉字词语，之后转换为拼音表示。

所述简拼与词语对应关系词典，采用输入法中常用的简拼与词语、拼音与汉字的对照词典。

语音候选则根据语音识别结果的返回类型，映射到语音候选的拼音表示。

4.多通道融合方法融合语音识别候选集合S和和键盘候选集合K进行多通道融合。多通道融合的步骤如图5所示，其步骤如下：

假定K含M个输入候选，S含N个输入候选，k_i是键盘输入的第i个候选，s_j是语音输入的第j个候选；

1)计算k_i与s_j的相似度w(k_i，s_j)，如图6所示，其详细步骤如下：

计算k_i与s_j的编辑距离edit_distance(k_i，s_j)；

编辑距离与常量a的和为edit_distance(k_i，s_j)+a；

计算

得到k_i与s_j的相似度w(k_i，s_j)，其中，常量a保证相似度计算时分母取值不为0，且给出编辑距离在相似度计算中所占的比重。a的取值大于0，本实施例设置为1。

2)计算给定语音s_j时，选择键盘输入k_i作为输出的概率值p(k_i|s_j)；所述计算给定s_j选择k_i的概率p(k_i|s_j)，如图7所示，其详细步骤如下：

计算i取1到M时所有w(k_i，s_j)的和

表示为归一化因子Z′(j)；计算w(k_i，s_j)与Z′(j)的比值

从语音识别器(可采用微软的speech SDK5.1)读取语音识别的可信度(语音输入被识别为s_j的概率为p(s_j))，计算p(s_j)与的乘积

得到给定s_j选择k_i的概率p(k_i|s_j)。

3)计算选择k_i作为输入的概率p(k_i)，如图8所示，按照输入概率由高到低对K中的输入候选进行排序；其详细步骤如下：

计算常量b与k_i的频度freq(k_i)的乘积b×freq(k_i)，b给出频度在计算p(k_i)时所占比重，其限定设置为0到1之间；

计算j取1到N时p(k_i|s_j)的和

与b×freq(k_i)的和

计算i取1到M时

的和，有

Σ_{i = 1}^{M} (b \times freq (k_{i}) + Σ_{j = 1}^{N} p (k_{i} | s_{j})) = Z^{''};

计算

与Z″的比值，得到选择k_i作为输入的概率p(k_i)。

5.按照p(k_i)对候选输入列表进行重排序，优选的输入在候选输入列表的前面。将候选列表映射回汉字，拼音与汉字之间映射具体为：从拼音与汉字对应关系词典中得到拼音对应的汉字，从而得到汉字表示的输入候选列表，由用户使用键盘从重排序后的候选列表中选择最终输入内容。

尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种面向移动设备的多通道中文输入方法，其步骤如下：

1)在移动设备上同时用键盘和语音输入信息；获取按键时间和语音输入的时间，记录每个输入中文词语的第一个键和确认键按下时刻，计算有效语音时间；

2)读取有效语音时间内的键盘输入信息和语音识别信息，得到键盘输入候选集合和语音识别候选集合；

3)对上述语音识别候选集合和键盘输入候选集合采用多通道融合方法融合，按照某个键盘输入候选的输入概率重排序候选集合，并将重排序后的候选集合映射回汉字，由用户选择最终输入。

2.如权利要求1所述的一种面向移动设备的多通道中文输入方法，其特征在于，所述有效语音时间为max{T(PreConfirmation)，T(FirstKeyPress)-Interval}与T(Confirmation)之间的时间；其中T(Confirmation)是当前输入的中文词语的确认时刻，T(PreConfirmation)是前一个输入的中文词语的确认时刻；T(FirstKeyPress)是当前输入的中文词语的第一个按键的时刻；所述Interval是限制语音的有效输入时间的一个常量。

3.如权利要求1所述的一种面向移动设备的多通道中文输入方法，其特征在于，所述步骤4)中的多通道融合方法如下：

1)计算语音候选s_j与键盘候选k_i的相似度w(k_i，s_j)；

3)计算选择键盘输入k_i为最终输入的概率p(k_i)；

4)按p(k_i)降序的顺序对键盘输入候选排序，得到重排序后的候选列表。

4.如权利要求3所述一种面向移动设备的多通道中文输入方法，其特征在于：所述相似度

w (k_{i}, s_{j}) = \frac{1}{edit_dis \tan ce (k_{i}, s_{j}) + a},

其中edit_distance(k_i，s_j)为k_i与s_j之间的编辑距离，a大于0。

5.如权利要求4所述一种面向移动设备的多通道中文输入方法，其特征在于：所述

p (k_{i} | s_{j}) = p (s_{j}) \times \frac{w (k_{i}, s_{j})}{Z^{'} (j)},

其中，

Z^{'} (j) = Σ_{i = 1}^{M} w (k_{i}, s_{j}),

p(s_j)由识别器获得，M表示键盘输入候选集合中的输入候选个数。

6.如权利要求5所述一种面向移动设备的多通道中文输入方法，其特征在于：所述

p (k_{i}) = \frac{b \times freq (k_{i}) + Σ_{j = 1}^{N} p (k_{i} | s_{j})}{Σ_{i = 1}^{M} (b \times freq (k_{i}) + Σ_{j = 1}^{N} p (k_{i} | s_{j}))},

其中freq(k_i)表示k_i的频度，b的取值范围为0到1，N表示语言识别候选集合中的输入候选个数。

7.如权利要求1所述的一种面向移动设备的多通道中文输入方法，其特征在于，所述键盘输入是简拼输入或简化的笔划输入。

8.如权利要求1所述的一种面向移动设备的多通道中文输入方法，其特征在于，所述移动设备是支持数字键盘输入和语音输入的移动设备。