CN103500067B - 一种点击、滑动、手势识别与语音结合的触摸屏交互*** - Google Patents

Abstract

一种点击、滑动、手势识别与语音结合的触摸屏交互***，通过屏幕左端自上而下滑动，获取目录页中节点信息，语音播报输出；通过在屏幕上自左向右滑动，并滑至屏幕右端，实现选中节点的开启或选中目录节点的页面切换，同时得到语音播报的位置信息；通过在屏幕上滑动并画出规定手势符号，实现规定手势符号代表的操作或开启相应功能，得到操作的语音提示信息；所有目录节点设计为滑动开关，并定义固定的手势符号对应常规的用户操作，通过在屏幕上滑动手指，用户可实现“打开”、“输入”、“拨号”、“返回”、“撤销”等操作，所有手势符号均设计为“一笔画”输入，同时每个操作及输入过程伴随有语音辅助提示，保证用户精准、快捷的操作使用设备。

Description

一种点击、滑动、手势识别与语音结合的触摸屏交互***

技术领域

本发明涉及一种智能触屏终端设备，特别是涉及一种针对于视障人士（特别是盲人）的触屏终端设备交互***，以帮助视障人士更为快捷、精准的操作并使用智能触屏终端设备。

背景技术

目前，视障人群特别是盲人所使用的手机主要分为两大类：一是专门为盲人设计生产的“盲人手机”，该手机将所有的输出信息通过语音的形式传达给盲人使用者，同样通过语音提示盲人做出相应的操作；另一种是在某些装有智能手机***的普通手机上通过安装屏幕语音辅助软件，让盲人能够在语音提示的帮助下完成操作。后者由于手机样式新颖，且支持安装个人需要的软件应用而更受盲人欢迎。

公开号为CN101909100A的中国专利申请公开了“一种盲文手机”，其特征为：将盲文设置于手机按键上并设置专门的“紧急拨打按键”。但是该文献公开的只是普通的按键手机。

当前，如：智能手机、平板电脑等移动终端设备，大多使用触摸屏幕进行输入，相比于键盘输入方式，触屏输入更为方便、自然。但是，当前的触屏输入方式对于视障人士（特别是盲人）来说，十分困难。若单单采用语音输入输出的交互方式，又会在公共场所遇到不方便等问题。

发明内容

本发明技术解决问题：为克服视障人士（特别是盲人）在使用现有技术时遇到的困难，提供一种点击、滑动、手势识别与语音结合的触摸屏交互***，解决了视障人士（特别是盲人）在使用触屏设备时的快速定位、精准输入和快捷操作的问题。

本发明提供的交互方式用于视障人士（特别是盲人）使用的通过触摸屏幕输入的智能终端设备，通过如下技术方案实现。

交互***，包括：拨号模块、通讯录模块、通话记录模块和紧急呼叫模块。四个模块共享一份数据库表，拨号模块中生成的信息被通话记录模块使用查询；通讯录模块对数据库表项进行增、删、改操作，修改更新后的信息被拨号模块和紧急呼叫模块查询使用；

拨号模块，实现“手写拨号”和“语音拨号”两大功能。手写拨号，捕捉用户输入手势符号，与***定义的16种手势符号对照匹配，匹配成功触发相应操作，最终调用设备通讯模块实现号码拨出。语音拨号，捕捉用户语音，对照语音库识别用户语音，返回对应字符串信息；返回字符串与数据库表项查找匹配，取得相应表项中号码字段信息，最终调用设备通讯模块实现号码拨出；通讯录模块，实现用户联系人信息的存储功能。该模块分两种情况分别实现。联系人号码信息，使用“手写拨号”功能中的原理，对用户手势符号捕捉、识别，匹配手势库，返回对应操作。联系人姓名等信息，使用语音识别技术，捕捉用户语音，识别翻译为字符串信息，记录数据库表中；

通话记录模块，实现最近通话的查询、快速重拨功能。该模块的设计与菜单界面类似，使用“点击、滑动”方式，用滑动按钮代表通话记录项，***捕捉触摸点位置，返回相应记录的语音信息，语音播报出来；***跟踪每个滑动按钮的移动位置，当按钮位置到达触摸屏幕右端边界，出发对当前记录中号码信息的拨叫；

紧急呼叫模块，实现报警号码、急救号码和自定义紧急联系人号码的快速拨叫功能。该模块采用使用“点击、滑动”方式，用滑动按钮代表每条紧急号码，报警号码、急救号码为固定写入***的号码信息，自定义紧急联系人号码根据数据库表中记录查询得到，该记录可被通讯录模块修改。***捕捉触摸点位置，返回相应记录的语音信息；***跟踪每个滑动按钮的移动位置，当按钮位置到达触摸屏幕右端边界，出发对当前记录中号码信息的拨叫，同时在数据库中增加此次通话记录。

所述拨号模块实现过程：

（1）捕捉用户手势；

（2）捕捉手势与***手势符号库匹配，返回手势对应操作信息；

（3）判别该操作是否为数字输入操作，若为真则记录该数字于输入框中，继续监听用户手势；

（4）判别该操作是否为拨打操作，若为真则检查输入框中信息，不为空则调用设备拨号模块拨出号码，为空则语音播报错误信息；

（5）判别该操作是否为语音拨号操作，若为真则开启语音拨号功能，监听捕捉用户语音，识别信息后查找数据库，返回相应号码信息，调用设备拨号模块，拨出号码；

（6）判别该操作是否为返回操作，若为真则***返回至上层菜单目录，结束当前模块。

所述通讯录模块实现过程：

一次通讯录存储包含对三个关键信息输入的识别和存储操作。

（1）输出提示信息，帮助用户完成对“联系人姓名”、“号码”和“紧急呼叫标记”的输入。

（2）“号码”信息的输入。采用手势识别的方式，***捕捉用户手势，提取手势信息存储于输入框中，等待用户完成输入；当***捕获到“确定手势”，提取当前输入框中信息，存储于数据库中“联系人表”；

（3）“姓名”信息的输入。采用语音识别技术，***捕捉用户语音，匹配语音库，识别信息，识别结果存储于数据库中“联系人表”；

（4）“紧急呼叫标记”信息的输入。语音播报提示信息，捕捉用户手势，捕捉结果与手势库匹配，返回bool类型常量存储在数据库中“联系人表”，返回上级菜单目录，结束当前模块。

所述通话记录模块实现过程：

（1）语音输出当前位置信息；

（2）监听捕捉触摸点位置，返回当前位置对应记录内容，语音播报记录信息；

（3）监听捕捉滑动按钮移动轨迹位置，若到达指定终点（屏幕一侧边界），触发对当前记录号码的拨叫；

（4）拨叫结束，记录本次通话于数据库中，自动返回上级菜单目录，结束当前模块。

所述紧急呼叫模块实现过程：

（1）语音输出当前位置信息；

（2）查询数据库中紧急呼叫标记为true的前两个信息，提取号码字段；

（3）监听捕捉触摸点位置，返回当前位置对应号码，语音合成信息并播报；

（4）监听捕捉滑动按钮移动轨迹位置，若到达指定终点（屏幕右侧边界），触发对当前号码的拨叫；

（5）拨叫结束，记录本次通话于数据库中，自动返回上级菜单目录，结束当前模块。

本发明与现有技术相比的优点在于：

（1）本发明提出并使用“点击、滑动”的交互方式，使用滑动按钮表示菜单目录中的节点，通过滑动节点按钮到指定位置实现打开或功能开启，降低了视觉障碍人士因勿触碰而产生的误操作率；

（2）本发明使用手势识别技术，设计实现多种手势符号（本实施例中给出16种），并提出了以“手写拨号”代替“虚拟按键拨号”的拨号通话方式，降低了视觉障碍人士在使用触屏智能手机拨号时的误操作率；

（3）本发明中包含紧急呼叫功能，针对视觉障碍人士设计，满足特殊人群在紧急时刻的快速求助需要。

附图说明

图1为本发明的组成框图；

图2为图1中拨号模块的实现流程图；

图3为图1中通讯录模块的实现流程图；

图4为图1中通话记录模块的实现流程图；

图5为图1中紧急呼叫模块的实现流程图；

图6为本发明交互***菜单界面；

图7为本发明中部分手势符号对照图。

具体实施方式

如图1所示，本发明交互***包括四个功能模块：拨号模块、通讯录模块、通话记录模块和紧急呼叫模块，以及一个引擎控制模块。拨号模块和通讯录模块对现有数据库中信息进行增删改查等操作，通话记录模块和紧急呼叫模块对数据库信息进行查询。所有对数据库的操作中均经过引擎控制模块的协调控制，该模块同时还负责四个功能模块间的切换工作。

如图2所示，本发明中拨号模块具体实现如下：

（1）捕捉用户手势；

（2）捕捉手势与***手势符号库中的匹配，返回手势对应操作信息；

（3）判别该操作是否为数字输入操作，若为真则记录该数字于输入框中，继续监听用户手势；

（4）判别该操作是否为拨打操作，若为真则检查输入框中信息，不为空则调用拨号模块拨出号码，为空则语音播报错误信息；

（5）判别该操作是否为语音拨号操作，若为真则开启语音拨号功能，监听捕捉用户语音，识别信息后查找数据库，返回相应号码信息，调用拨号模块拨出号码；

（6）判别该操作是否为返回操作，若为真则***返回至上层菜单目录，结束当前模块。

本发明预先设计了使用的16中手势（用户可以根据自己的情况设计），其中数字手势10个，功能手势6个。实现对数字0-9和六种功能手势的一笔输入、识别。

（1）使用Android手势识别技术，对数字手势和功能手势进行定义；

（2）导出生成的手势对应表，并导入到***数据库中；

（3）拨号模块和通讯录模块使用、查询手势对应表。

如图3所示，本发明中通讯录模块具体实现如下：

（1）输出提示信息，帮助用户完成对“联系人姓名”、“号码”和“紧急呼叫标记”的输入。

（2）“号码”信息的输入。采用手势识别的方式，捕捉用户手势，提取手势信息存储于输入框中，等待用户完成输入；当捕获到“确定手势”，提取当前输入框中信息，存储于数据库中“联系人表”；

（3）“姓名”信息的输入。采用语音识别技术，捕捉用户语音，匹配语音库，识别信息，识别结果存储于数据库中“联系人表”；

（4）“紧急呼叫标记”信息的输入。语音播报提示信息，捕捉用户手势，捕捉结果与手势库匹配，返回bool类型常量存储在数据库中“联系人表”，返回上级菜单目录，结束当前模块。

如图4所示，本发明中通话记录模块具体实现如下：

（1）语音输出当前位置信息；

（2）监听捕捉触摸点位置，返回当前位置对应记录内容，语音播报记录信息；

（3）监听捕捉滑动按钮移动轨迹、位置，若到达指定终点（屏幕右侧边界），触发对当前记录号码的拨叫；

（4）拨叫结束，记录本次通话于数据库中，自动返回上级菜单目录，结束当前模块。

如图5所示，本发明中紧急呼叫模块具体实现如下：

（1）语音输出当前位置信息；

（2）查询数据库中紧急呼叫标记为true的前两个信息，提取号码字段；

（3）监听捕捉触摸点位置，返回当前位置对应号码，语音合成信息并播报；

（4）监听捕捉滑动按钮移动轨迹位置，若到达指定终点（屏幕右侧边界），触发对当前号码的拨叫；

（5）拨叫结束，记录本次通话于数据库中，自动返回上级菜单目录，结束当前模块。

如图6所示，交互***菜单界面由五个滑动按钮组成，按钮1、按钮2、按钮3和按钮4分别对应拨号模块、通讯录模块、通话记录模块和紧急呼叫模块的入口，***监听触摸位置和按钮位置，触发对按钮信息的语音合成和模块功能开启。

如图7所示，本发明共定义使用16中手势，其中数字手势10个，功能手势6个。实现对数字0-9和六种功能手势的一笔输入、识别。

本发明未详细阐述部分属于本领域公知技术。

以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种点击、滑动、手势识别与语音结合的触摸屏交互***，其特征在于包括：拨号模块、通讯录模块、通话记录模块和紧急呼叫模块四个模块；所述四个模块共有一个***数据库，共享一份数据库表；其中：

拨号模块，实现“手写拨号”和“语音拨号”两个功能；对于“手写拨号”，捕捉用户输入手势符号，与手势符号库预先设计的多种手势符号对照匹配，匹配成功则触发相应操作，最终调用通讯模块实现号码拨出；对于“语音拨号”，捕捉用户语音，对照语音库识别用户语音，返回对应字符串信息；将返回的对应字符串与数据库表项查找匹配，取得相应表项中号码字段信息，最终调用通讯模块实现号码拨出，拨号模块中生成的通话记录信息被通话记录模块使用查询；通讯录模块，实现用户联系人信息的存储功能，对数据库表项进行增、删、改操作，修改更新后的信息被拨号模块和紧急呼叫模块查询使用；该模块分两种情况分别实现，联系人号码信息，使用“手写拨号”功能，对用户手势符号捕捉、识别，匹配手势库，返回对应操作；联系人姓名信息，使用语音识别技术，捕捉用户语音，识别翻译为字符串信息，并将该字符串信息记录数据库表中；

通话记录模块，实现最近通话的查询、快速重拨功能；该模块的设计与菜单界面类似，使用“点击、滑动”方式，用滑动按钮代表通话记录项，捕捉触摸点位置，返回相应记录的语音信息，语音播报出来；跟踪每个滑动按钮的移动位置，当按钮位置到达触摸屏幕右端边界，发出对当前记录中号码信息的拨叫；该模块从拨号模块获得通话记录信息，取得的信息与通讯录中修改、添加的信息匹配对照，返回联系人姓名和号码字段并进行语音合成输出；

紧急呼叫模块，实现报警号码、急救号码和自定义紧急联系人号码的快速拨叫功能；该模块使用“点击、滑动”方式，滑动按钮触发紧急号码拨号，报警号码、急救号码为固定写入***的信息，自定义紧急联系人号码从***的数据库表中提取得到，该信息对应通讯录模块中增添、修改的信息；***捕捉触摸点位置，查询数据库后返回相应姓名、号码字段信息，语音合成输出；***跟踪滑动按钮的移动位置，按钮位置到达触摸屏幕右端边界，触发记录号码的快速拨叫，同时在数据库中增加此次通话记录；

引擎控制模块，实现对拨号模块、通讯录模块、通话记录模块、紧急呼叫模块和***数据库间的数据查询、增添、修改、删除、同步工作及四个功能模块间的切换操作；该模块可以是现有的智能手机操作***的控制模块，也可以是单独编码完成的控制引擎；该模块从通讯录模块中获取联系人信息，记录在***数据库中，从拨号模块、紧急呼叫模块中获取通话记录信息，记录在***数据库中；得到通话记录模块、紧急呼叫模块的信息请求后，从数据库中查找相应联系人信息字段或通话记录信息字段，返回给请求模块使用。

2.根据权利要求1所述的一种点击、滑动、手势识别与语音结合的触摸屏交互***，其特征在于：所述拨号模块，实现“手写拨号”和“语音拨号”两个功能的具体过程如下：

对于手写拨号功能：

(1)捕捉用户手势；

(2)将捕捉的用户手势与***手势符号库进行匹配，返回手势对应的操作信息；

(3)判别该操作是否为数字输入操作，若为真则记录该数字于输入框中，继续监听用户手势；

(4)判别该操作是否为拨打操作，若为真则检查输入框中信息，不为空则调用拨号模块拨出号码，为空则语音播报错误信息；

(5)判别该操作是否为返回操作，若为真则***返回至上层菜单目录，结束；

对于语音拨号功能：

(1)捕捉用户手势；

(2)判别该操作是否为语音拨号操作，若为真则开启语音拨号功能，监听捕捉用户语音，识别语音后返回字符串信息，并查找匹配数据库中的联系人姓名字段，返回相应联系人的号码信息字段，调用拨号模块，拨出号码；

(3)判别该操作是否为返回操作，若为真则***返回至上层菜单目录，结束。

3.根据权利要求1所述的一种点击、滑动、手势识别与语音结合的触摸屏交互***，其特征在于：所述通讯录模块实现过程：为一次通讯录存储包含对三个关键信息输入的识别和存储操作，具体为：

(1)输出提示信息，帮助用户完成对“联系人姓名”、“号码”和“紧急呼叫标记”的输入；

(2)信息录入，该步骤分两种情况分别实现：

联系人“号码”信息，采用手势识别的方式，捕捉用户手势，提取手势信息存储于输入框中，等待用户完成输入；当捕获到“确定手势”，提取当前输入框中信息，存储于数据库中“联系人表”；

联系人“姓名”信息，采用语音识别技术，***捕捉用户语音，匹配语音库，识别信息，识别结果存储于数据库中“联系人表”；

(3)“紧急呼叫标记”信息的输入，语音播报提示信息，捕捉用户手势，捕捉结果与手势库匹配，返回bool类型常量存储在数据库中“联系人表”，返回上级菜单目录，结束。

4.根据权利要求1所述的一种点击、滑动、手势识别与语音结合的触摸屏交互***，其特征在于：所述通话记录模块实现过程：

(1)语音输出当前位置信息；

(2)监听捕捉触摸点位置，返回当前位置对应记录内容，语音播报记录信息；

(3)监听捕捉滑动按钮移动轨迹、位置，若到达指定终点，触发对当前记录号码的拨叫；

(4)拨叫结束，记录本次通话于数据库中，自动返回上级菜单目录，结束。

5.根据权利要求1所述的一种点击、滑动、手势识别与语音结合的触摸屏交互***，其特征在于：所述紧急呼叫模块具体实现过程：

(1)语音输出当前位置信息；

(2)查询数据库中紧急呼叫标记为true的前两个信息，提取号码字段；

(3)监听捕捉触摸点位置，返回当前位置对应号码，语音播报号码信息；

(4)监听捕捉滑动按钮移动轨迹位置，若到达指定终点即屏幕一侧边界，触发对当前号码的拨叫；

(5)拨叫结束，记录本次通话于数据库中，自动返回上级菜单目录，结束。