CN109215650A - 一种基于终端界面识别的语音控制方法、***及智能终端 - Google Patents

一种基于终端界面识别的语音控制方法、***及智能终端 Download PDF

Info

Publication number
CN109215650A
CN109215650A CN201811082204.9A CN201811082204A CN109215650A CN 109215650 A CN109215650 A CN 109215650A CN 201811082204 A CN201811082204 A CN 201811082204A CN 109215650 A CN109215650 A CN 109215650A
Authority
CN
China
Prior art keywords
terminal
interface
phonetic order
current interface
action event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811082204.9A
Other languages
English (en)
Inventor
王子
梁博
杨扬
杨楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201811082204.9A priority Critical patent/CN109215650A/zh
Publication of CN109215650A publication Critical patent/CN109215650A/zh
Priority to PCT/CN2019/097800 priority patent/WO2020057255A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本领域涉及用户界面技术领域，具体涉及一种基于终端界面识别的语音控制方法、***及智能终端。所述方法包括：获取和识别当前界面的内容；根据预先制定的策略生成与当前界面中操作事件对应的语音指令；将语音指令叠加显示在当前界面上；用户通过输入对应的语音指令对终端进行事件操作。各应用界面详细操作可以通过语音控制，用户可以快速了解和记住各类操作的语音指令，语音指令与界面操作的详细位置实现一一对应，其识别准确度会很大程度的提高，同时提升了用户体验。

Description

一种基于终端界面识别的语音控制方法、***及智能终端
技术领域
本领域涉及用户界面技术领域，具体涉及一种基于终端界面识别的语音控制方法、***及智能终端。
背景技术
当前的很多软件采取图形用户界面(GUI，Graphical User Interface)的形式，允许用户通过鼠标、键盘、触摸屏等与GUI交互。随着计算机技术的飞速发展，各种便携式可视装备不断涌现，如智能眼镜、智能手表等等。其中，很多装备是不方便用手操作的，语音控制是一种很好的替代方案。
传统的软件用户界面仅考虑可视表现而开发，对于有助于语音交互的界面开发细节关注不够。目前存在各种技术以提供更好的语音人机交互，其中很多注重于创建可结合的更易于语音输入交互的新交互风格，如CommandTalk、ATIS、ELVIS、SUITEKeys等等。SUITEKeys直接模拟用手移动鼠标并且按各个键的交互。这些***侧重于提供用于口头人机交互的改进型模型，从而在根本上改变交互风格。
随着通讯技术的不断发展，终端的控制方式越来越丰富，也越来越智能，其中，语音控制即一种应用广泛、技术较成熟的控制方式。但是现有技术中的语音***，仍存在各应用界面详细操作无法使用语音控制，用户无法了解和记住各类操作的语音指令，语音指令与界面操作的详细位置无法一一对应的问题，其识别准确度会很大程度的降低，造成不良的用户体验。
发明内容
为解决各应用界面详细操作无法使用语音控制，用户无法了解和记住各类操作的语音指令，语音指令与界面操作的详细位置无法一一对应的问题，本发明提供了一种基于终端界面识别的语音控制方法、***及智能终端。
为了解决上述技术问题，本发明实施例采用如下技术方案：
一方面，本发明实施例提供了一种基于终端界面识别的语音控制方法，所述方法包括：获取和识别当前界面的内容；根据预先制定的策略生成与当前界面中操作事件对应的语音指令；将语音指令叠加显示在当前界面上；用户通过输入对应的语音指令对终端进行事件操作；
进一步的，预先对应用程序各界面中的操作事件进行语音指令标注，应用程序界面打开界面时根据标注的策略自动生成语音指令，在当前界面上显示；
进一步的，识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令；
进一步的，控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种；
进一步的，所述操作事件包括编辑、滑动、点击和长按操作中的一种或多种；
进一步的，所述语音指令叠加显示于操作事件对应的操作区域上。
第二方面，本发明实施例还提供了一种基于终端界面识别的语音控制***，包括：获取模块，用于获取和识别当前界面的内容；生成模块，根据预先制定的策略生成与当前界面中操作事件对应的语音指令；显示模块；将语音指令叠加显示在当前界面上；执行模块，执行用户输入的语音指令对终端进行事件操作；
进一步的，所述生成模块包括判断单元，用于判断当前界面中是否存在控件信息；
进一步的，所述生成模块包括存储单元，用于存储与操作事件对应的语音指令，供生成模块调用。
第三方面，本发明实施例提供了一种智能终端，所述智能终端上设有上述语音控制***，所述智能终端上设有唤醒装置、显示器、语音接收模块，所述唤醒装置用于唤醒智能终端，所述显示器用于当前界面的显示，所述语音接收模块用于接收用户输入的语音指令；
进一步的，所述唤醒装置包括实体按键和/或虚拟触摸按键。
本发明的基于终端界面识别的语音控制方法、***及智能终端具有以下有益效果：获取和识别当前界面的内容；根据预先制定的策略生成与当前界面中操作事件对应的语音指令；将语音指令叠加显示在当前界面上；用户通过输入对应的语音指令对终端进行事件操作。各应用界面详细操作可以通过语音控制，用户可以快速了解和记住各类操作的语音指令，语音指令与界面操作的详细位置实现一一对应，其识别准确度会很大程度的提高，同时提升了用户体验。
附图说明
图1为本发明实施例中一种基于终端界面识别的语音控制方法的流程图；
图2为本发明实施例中一种基于终端界面识别的语音控制***的示意图；
图3为本发明实施例中一种智能终端的示意图；
图4为本发明实施例中一种智能终端的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。
本发明实施例公开了文件下载行为的分析方法及智能终端，该方法的流程图如图1所示，包括：
S1：用户唤醒智能终端语音识别功能；
智能终端上设有唤醒装置、显示器、语音接收模块，所述唤醒装置用于唤醒智能终端，所述显示器用于当前界面的显示，所述语音接收模块用于接收用户输入的语音指令；唤醒装置包括实体按键和/或虚拟触摸按键；用户通过按键唤醒或语音唤醒等唤醒方式打开智能终端的语音识别功能；
S2：智能终端获取和识别当前界面的内容；
唤醒智能终端的语音识别功能后，智能终端对当前界面的内容进行信息获取和识别，获取和识别的主要信息包括界面组成结构级，各类控件，并提取控件信息；
识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令；控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种；操作事件包括编辑、滑动、点击和长按操作中的一种或多种，如图3所示；
S3：根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
预先对应用程序各界面中的操作事件进行语音指令标注，应用程序界面打开界面时根据标注的策略自动生成语音指令，在当前界面上显示；通过读取当前界面的底层信息，获知当前界面的可操作按键或者图标，并在上述按键或者图标上生成对应的语音指令；
在一些实施例中，对当前界面中操作事件生成语音指令的方法为手动设置，具体来说，包括：获取当前界面中操作事件，例如长按或者双击屏幕的设定区域，或者触发屏幕上设定的虚拟按键，或者在设置菜单中选择相关的按键选项。进入手动设置模式；在该模式下，当用户点击按键或者图标时，不会触发按键或者图标，仅会对按键或者图标设置语音指令；选择智能终端当前界面中操作事件，并手动设置语音指令；记忆所述操作事件与语音指令的对应关系；
在一些实施例中，对当前界面中操作事件生成语音指令的方法为自动生成，具体来说，包括：通过读取智能终端当前界面的控件信息，判断是否存在操作事件，若有则自动生成与操作事件对应的语音指令；
S4：将语音指令叠加显示在当前界面上；
智能终端根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，语音指令叠加显示于操作事件对应的操作区域上；如图4所示，在当前界面的返回按钮位置上叠加显示语音指令返回；
S5：用户通过输入对应的语音指令对终端进行事件操作；
智能终端根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，语音指令叠加显示于操作事件对应的操作区域上；用户通过输入对应的语音指令对终端进行事件操作；如图4所示，用户输入语音指令返回，智能终端执行返回的操作；
根据图2所示，本发明实施例公开了一种基于终端界面识别的语音控制***，包括：获取模块1、生成模块2、显示模块3及执行模块4；
获取模块1，用于获取和识别当前界面的内容；获取模块对当前界面的内容进行信息获取和识别，获取和识别的主要信息包括界面组成结构级，各类控件，并提取控件信息；识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令；控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种；操作事件包括编辑、滑动、点击和长按操作中的一种或多种；
生成模块2，根据预先制定的策略生成与当前界面中操作事件对应的语音指令；生成模块2包括判断单元21和存储单元22，判断单元21用于判断当前界面中是否存在控件信息；存储单元22用于存储与操作事件对应的语音指令，供生成模块2调用；
显示模块3；将语音指令叠加显示在当前界面上；生成模块2根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，显示模块3将语音指令叠加显示于操作事件对应的操作区域上；
执行模块4，执行用户输入的语音指令对终端进行事件操作；生成模块2根据预先制定的策略生成与当前界面中操作事件对应的语音指令，并激活语音识别功能后，显示模块3将语音指令叠加显示于操作事件对应的操作区域上；用户通过输入对应的语音指令，执行模块4执行用户输入的语音指令对终端进行事件操作。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (11)

1.一种基于终端界面识别的语音控制方法，其特征在于，所述方法包括：
获取和识别当前界面的内容；
根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
将语音指令叠加显示在当前界面上；
用户通过输入对应的语音指令对终端进行事件操作。
2.根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：预先对应用程序各界面中的操作事件进行语音指令标注，应用程序界面打开界面时根据标注的策略自动生成语音指令，在当前界面上显示。
3.根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：识别当前界面中的控件信息，判断是否存在操作事件，若有则生成与操作事件对应的语音指令。
4.根据权利要求4所述的基于终端界面识别的语音控制方法，其特征在于：控件信息包括ImageView、Buttom、ListView、TextView和EditView中的一种或多种。
5.根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：所述操作事件包括编辑、滑动、点击和长按操作中的一种或多种。
6.根据权利要求1所述的基于终端界面识别的语音控制方法，其特征在于：所述语音指令叠加显示于操作事件对应的操作区域上。
7.一种基于终端界面识别的语音控制***，其特征在于：包括
获取模块，用于获取和识别当前界面的内容；
生成模块，根据预先制定的策略生成与当前界面中操作事件对应的语音指令；
显示模块；将语音指令叠加显示在当前界面上；
执行模块，执行用户输入的语音指令对终端进行事件操作。
8.根据权利要求7所述的一种基于终端界面识别的语音控制***，其特征在于：所述生成模块包括判断单元，用于判断当前界面中是否存在控件信息。
9.根据权利要求7或8所述的一种基于终端界面识别的语音控制***，其特征在于：所述生成模块包括存储单元，用于存储与操作事件对应的语音指令，供生成模块调用。
10.一种智能终端，其特征在于，所述智能终端上设有权利要求7-9任一所述的语音控制***，所述智能终端上设有唤醒装置、显示器、语音接收模块，所述唤醒装置用于唤醒智能终端，所述显示器用于当前界面的显示，所述语音接收模块用于接收用户输入的语音指令。
11.根据权利要求10所述的智能终端，其特征在于：所述唤醒装置包括实体按键和/或虚拟触摸按键。
CN201811082204.9A 2018-09-17 2018-09-17 一种基于终端界面识别的语音控制方法、***及智能终端 Pending CN109215650A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811082204.9A CN109215650A (zh) 2018-09-17 2018-09-17 一种基于终端界面识别的语音控制方法、***及智能终端
PCT/CN2019/097800 WO2020057255A1 (zh) 2018-09-17 2019-07-26 基于终端界面识别的语音控制方法、***及智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811082204.9A CN109215650A (zh) 2018-09-17 2018-09-17 一种基于终端界面识别的语音控制方法、***及智能终端

Publications (1)

Publication Number Publication Date
CN109215650A true CN109215650A (zh) 2019-01-15

Family

ID=64984339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811082204.9A Pending CN109215650A (zh) 2018-09-17 2018-09-17 一种基于终端界面识别的语音控制方法、***及智能终端

Country Status (2)

Country Link
CN (1) CN109215650A (zh)
WO (1) WO2020057255A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109979460A (zh) * 2019-03-11 2019-07-05 上海白泽网络科技有限公司 可视化语音信息交互方法及装置
WO2020057255A1 (zh) * 2018-09-17 2020-03-26 珠海格力电器股份有限公司 基于终端界面识别的语音控制方法、***及智能终端
CN112102823A (zh) * 2020-07-21 2020-12-18 深圳市创维软件有限公司 一种智能终端的语音交互方法、智能终端及存储介质
CN114895999A (zh) * 2022-03-31 2022-08-12 思必驰科技股份有限公司 基于交互界面的对话方法及模型

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060026159A (ko) * 2004-09-20 2006-03-23 주식회사 대우일렉트로닉스 카오디오용 음성 인식 핸즈프리 장치 및 이를 구비하는카오디오
US20130080178A1 (en) * 2011-09-26 2013-03-28 Donghyun KANG User interface method and device
KR20140061134A (ko) * 2012-11-13 2014-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN104899003A (zh) * 2015-06-12 2015-09-09 广州视源电子科技股份有限公司 终端控制方法和***
CN105575390A (zh) * 2014-10-23 2016-05-11 中兴通讯股份有限公司 语音控制方法及装置
CN105957530A (zh) * 2016-04-28 2016-09-21 海信集团有限公司 一种语音控制方法、装置和终端设备
CN107967055A (zh) * 2017-11-16 2018-04-27 深圳市金立通信设备有限公司 一种人机交互方法、终端及计算机可读介质
CN108279839A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 基于语音的交互方法、装置、电子设备及操作***
CN108364647A (zh) * 2018-02-09 2018-08-03 智慧海派科技有限公司 基于语音识别的应用程序显示方法及移动终端
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
KR102022318B1 (ko) * 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
CN103853355A (zh) * 2014-03-17 2014-06-11 吕玉柱 电子设备操作方法及其操控设备
CN106131173A (zh) * 2016-07-01 2016-11-16 北京奇虎科技有限公司 移动终端和移动终端远程协助与受助方法、装置
CN106484270A (zh) * 2016-09-12 2017-03-08 深圳市金立通信设备有限公司 一种语音操作事件添加方法及终端
CN109215650A (zh) * 2018-09-17 2019-01-15 珠海格力电器股份有限公司 一种基于终端界面识别的语音控制方法、***及智能终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060026159A (ko) * 2004-09-20 2006-03-23 주식회사 대우일렉트로닉스 카오디오용 음성 인식 핸즈프리 장치 및 이를 구비하는카오디오
US20130080178A1 (en) * 2011-09-26 2013-03-28 Donghyun KANG User interface method and device
KR20140061134A (ko) * 2012-11-13 2014-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN105575390A (zh) * 2014-10-23 2016-05-11 中兴通讯股份有限公司 语音控制方法及装置
CN104899003A (zh) * 2015-06-12 2015-09-09 广州视源电子科技股份有限公司 终端控制方法和***
CN105957530A (zh) * 2016-04-28 2016-09-21 海信集团有限公司 一种语音控制方法、装置和终端设备
CN108279839A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 基于语音的交互方法、装置、电子设备及操作***
CN107967055A (zh) * 2017-11-16 2018-04-27 深圳市金立通信设备有限公司 一种人机交互方法、终端及计算机可读介质
CN108364647A (zh) * 2018-02-09 2018-08-03 智慧海派科技有限公司 基于语音识别的应用程序显示方法及移动终端
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020057255A1 (zh) * 2018-09-17 2020-03-26 珠海格力电器股份有限公司 基于终端界面识别的语音控制方法、***及智能终端
CN109979460A (zh) * 2019-03-11 2019-07-05 上海白泽网络科技有限公司 可视化语音信息交互方法及装置
CN112102823A (zh) * 2020-07-21 2020-12-18 深圳市创维软件有限公司 一种智能终端的语音交互方法、智能终端及存储介质
CN112102823B (zh) * 2020-07-21 2024-06-21 深圳市创维软件有限公司 一种智能终端的语音交互方法、智能终端及存储介质
CN114895999A (zh) * 2022-03-31 2022-08-12 思必驰科技股份有限公司 基于交互界面的对话方法及模型
CN114895999B (zh) * 2022-03-31 2023-09-19 思必驰科技股份有限公司 基于交互界面的对话方法及***

Also Published As

Publication number Publication date
WO2020057255A1 (zh) 2020-03-26

Similar Documents

Publication Publication Date Title
CN109215650A (zh) 一种基于终端界面识别的语音控制方法、***及智能终端
CN104090652B (zh) 一种语音输入方法和装置
CN104885050B (zh) 用于确定是滚动还是选择内容的设备、方法和图形用户界面
CN108174612A (zh) 用于利用基于先前输入强度的强度阈值对触摸输入进行处理和消除歧义的设备和方法
CN103870356B (zh) 一种信息处理方法及电子设备
CN106528859A (zh) 一种数据推送***及方法
CN106681503A (zh) 一种显示控制方法、终端及显示装置
CN106463110A (zh) 信息处理设备、信息处理方法和程序
CN112817443A (zh) 基于手势的显示界面控制方法、装置、设备及存储介质
CN108762512A (zh) 人机交互装置、方法及***
CN109803050A (zh) 一种适用于盲人操作手机的全屏引导点击方法
CN107491283A (zh) 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
CN106126090B (zh) 一种电子设备的控制方法及电子设备
CN106126161A (zh) 一种移动终端的语音播放控制方法、装置和移动终端
CN106980428A (zh) 应用程序切换方法及装置
CN106648054A (zh) 一种基于RealSense的陪伴机器人的多模式交互方法
CN104080026B (zh) 一种信息处理的方法及一种线控耳机
CN110349577A (zh) 人机交互方法、装置、存储介质及电子设备
JP2008146455A (ja) 機器操作支援装置及びその方法並び機器操作支援プログラム
CN109550232A (zh) 触控设备及其响应方法、装置
CN107179835A (zh) 一种输入方法和装置、一种用于输入的装置
CN103135910A (zh) 编辑联系人信息的方法及装置
CN102946492B (zh) 终端和拨号方法
WO2013163910A1 (zh) 一种列表项的操作方法和装置
CN109343783A (zh) 一种方便改变文本属性的输入方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190115