CN101557432B - 移动终端及其菜单控制方法 - Google Patents
移动终端及其菜单控制方法 Download PDFInfo
- Publication number
- CN101557432B CN101557432B CN2008101279100A CN200810127910A CN101557432B CN 101557432 B CN101557432 B CN 101557432B CN 2008101279100 A CN2008101279100 A CN 2008101279100A CN 200810127910 A CN200810127910 A CN 200810127910A CN 101557432 B CN101557432 B CN 101557432B
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- menu
- voice command
- user
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
Abstract
一种移动终端包括:输入单元,其被配置成接收输入以激活移动终端上的语音识别功能;存储器,其被配置成存储与移动终端的菜单和操作有关的多个域。它还包括控制器,其被配置成基于所接收的用于激活所述语音识别功能的输入访问包括在所述存储器中的多个域中的特定域,以基于所访问的域的语言模型和声学模型识别用户语音,并基于所访问的特定域和所识别的用户语音确定所述移动终端的至少一个菜单和操作。
Description
发明背景
1.技术领域
本发明涉及移动终端,以及相应的能够通过将用于语音识别的域设置成与特定菜单或服务有关的信息来提高语音识别率的方法。
2.背景技术描述
除基本的通话服务外,现在移动终端还提供很多附加服务。例如,用户现在可访问因特网、玩游戏、观看视频、听音乐、捕捉图像和视频、记录音频文件等。移动终端现在还提供广播节目,使得用户可观看电视节目、体育节目、视频等。
此外,因为移动终端包括的功能已经显著增加,所以用户界面也已经变得更加复杂。例如,现在用户界面包括使用户能触摸并选择具体项或菜单选项的触摸屏。移动终端还包括使用户能执行初步功能的非常有限的语音识别功能。然而,在确定用户语音指令的含义时的差错率非常高,因此用户一般不使用终端上的有限的语音识别功能部件。
发明内容
因此,本发明的一个目的是解决以上指出的问题及其它问题。
本发明的另一个目的是提供一种移动终端,以及相应的通过基于背景和内容识别语音命令的含义来控制与其特定功能或服务有关的菜单的方法。
本发明的又一个目的是提供一种移动终端以及相应的通过将用于语音识别的域指定为与特定菜单或服务有关的域来显著提高语音识别率的方法。
本发明的再一个目的是提供一种移动终端以及相应的通过在激活语音识别功能的同时应用其一个或多个用户界面(UI)以便检测用户操纵来控制与特定功能或服务有关的菜单的方法。
本发明的又一个目的是提供一种移动终端和相应的方法,用于通过根据移动终端的操作状态或操作模式提供关于语音命令的输入的帮助信息,甚至由初学用户经由他或她的语音命令,来控制与特定功能或服务有关的菜单。
为了实现这些或其它优点并根据本发明的目的,如本文具体表达和广泛描述的,在一个方面中提供了一种移动终端,包括:输入单元,其被配置成接收用于激活移动终端上的语音识别功能的输入;存储器,其被配置成存储与移动终端的菜单和操作有关的多个域;以及控制器,其被配置成基于所接收的用于激活语音识别功能的输入访问包括在该存储器中的多个域中的特定域,以基于所访问的域的语言模型和声学模型识别用户语音,并基于所访问的特定域和所识别的用户语音确定移动终端的至少一个菜单和操作。
在另一方面,本发明提供了一种控制移动终端的方法。该方法包括:接收用于激活移动终端上的语音识别功能的输入;基于所接收的用于激活语音识别功能的输入,访问包括在移动终端的存储器中所存储的多个域中的特定域;基于所访问的域的语言模型和声学模型识别用户语音;以及基于所访问的特定域和所识别的用户语音输出移动终端的至少一个菜单和操作。
本发明的适用性的进一步的范围将在下文给出的详细描述中变得显而易见。然而,应当理解,详细描述和特定例子尽管指示了本发明的较佳实施例但仅作为说明给出,因为在本发明的精神和范围内的各种变化和修改对本领域的技术人员来说在阅读详细描述之后是显而易见的。
附图简要说明
从下文给出的详细描述和附图将更全面地理解本发明,该详细描述和附图仅作为说明给出,因此不是对本发明的限制,在附图中:
图1是根据本发明的实施例的移动终端的框图;
图2是根据本发明的实施例的移动终端的前侧立体图;
图3是图2中所示的移动终端的后侧立体图;
图4是可在本发明的移动终端上操作的通信***的概观;
图5是示出根据本发明的一个实施例的通过语音命令的移动终端菜单控制方法的流程图;
图6A是示出根据本发明的一个实施例的激活移动终端的语音识别功能的方法的概观;
图6B和6C是示出根据本发明的一个实施例的输出移动终端的帮助信息的方法的概观;
图7A是示出根据本发明的一个实施例的识别移动终端的语音命令的方法的流程图;
图7B是示出根据本发明的一个实施例的识别移动终端的语音命令的方法的概观;
图8是示出根据本发明的一个实施例的用于显示移动终端的语音识别率的菜单的方法的概观;
图9是示出根据本发明的另一个实施例的识别移动终端的语音命令的方法的概观;
图10是根据本发明的一个实施例的用作移动终端的语音命令识别的基准的数据库配置的概观;
图11是示出根据本发明的一个实施例的移动终端的语音识别功能正被执行的状态的概观;
图12是示出根据本发明的一个实施例的在移动终端中通过语音命令处理与特定菜单有关的子命令的方法的概观;
图13是示出根据本发明的一个实施例的在移动终端中通过语音命令搜索地铁地图的方法的概观;
图14是示出根据本发明的一个实施例的在移动终端中通过语音命令再现多媒体文件的方法的概观;
图15是示出根据本发明的一个实施例的在移动终端中通过语音命令发送电子邮件的方法的概观;
图16是示出根据本发明的一个实施例的在移动终端中通过语音命令进行电话呼叫的方法的概观;
图17是示出根据本发明的一个实施例的在移动终端中通过语音命令使用电话簿信息的方法的概观;
图18是示出根据本发明的一个实施例的在移动终端中通过语音命令改变背景屏幕的方法的概观;
图19是示出根据本发明的一个实施例的在移动终端中通过语音命令再现多媒体文件的方法的概观。
具体实施方式
下面将详细参考本发明的较佳实施方式,其具体示例图示于附图中。
图1是根据本发明的实施例的移动终端100的框图。如图所示,移动终端100包括无线通信单元110,该无线通信单元110具有允许在移动终端100与该移动终端所在的无线通信***或网络之间进行无线通信的一个或多个组件。
例如,无线通信单元110包括经由广播频道从外部广播管理实体接收广播信号和/或广播关联信息的广播接收模块111。广播频道可包括卫星频道和地面频道。
此外,广播管理实体通常是指发送广播信号和/或广播关联信息的***。广播关联信息的示例包括与广播频道、广播节目、广播服务提供商等相关联的信息。例如,广播关联信息可包括数字多媒体广播(DMB)的电子节目指南(EPG)和手持数字视频广播(DVB-H)的电子服务指南(ESG)。
此外,广播信号可被实现为TV广播信号、无线电广播信号以及数据广播信号等。广播信号还可包括与TV或无线电广播信号组合的广播信号。
广播接收模块111还被配置成接收从各种类型广播***发送的广播信号。例如,这种广播***包括地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、手持数字视频广播(DVB-H)***、称为媒体单一前向链路()的数据广播***和地面综合业务数字广播(ISDB-T)等。接收多播信号也是有可能的。此外,由广播接收模块111接收的数据可被存储在诸如存储器160的合适设备中。
无线通信单元110还包括移动通信模块112,它向一个或多个网络实体(例如基站、节点-B)发送无线信号或从其接收无线信号。这些信号可表示音频、视频、多媒体、控制信令和数据等。
还包括的是无线因特网模块113,它支持移动终端的因特网接入。该模块113可内置或外置地耦合到终端上。无线通信单元110还包括短距离通信模块114,其有助于相对较短距离的通信。实现该模块的合适技术包括例如在网络技术中通常称为蓝牙和ZigBee的射频标识(RFID)、红外数据关联(IrDA)以及超宽带(UWB),谨此略举几例。
定位模块115也被包括在无线通信单元110中,并标识或以其它方式获得移动终端100的位置。该定位模块115可用与相关联的卫星、网络组件及其组合协作的全球定位***(GPS)组件实现。
此外,如图1所示,移动终端100还包括音频/视频(A/V)输入单元120,它向移动终端100提供音频或视频信号。如图所示,A/V输入单元120包括相机121和话筒122。相机121接收并处理静止图片或视频的图像帧。
此外,在便携式设备处于诸如电话呼叫模式、记录模式和语音识别模式之类的特定模式下时,话筒122接收外部音频信号。所接收的音频信号然后被处理并转换成数字数据。同样,该便携式设备,尤其是A/V输入单元120,通常包括用于去除在接收外部音频信号过程中生成的噪声的混杂噪声去除算法。此外,由A/V输入单元120生成的数据可存储在存储器160中、由输出单元150使用、或者经由通信单元110的一个或多个模块发送。如果需要的话,可使用两个或更多话筒和/或相机。
移动终端100还包括用户输入单元130,它响应于用户对一个或多个关联输入设备的操纵而生成输入数据。这种设备的示例包括键盘、按键开关、触摸板(例如静态压力/电容)、转动轮和转动开关。具体示例是用户输入单元130被配置成与触摸屏显示器协作的触摸板的终端,这将在以下更详细描述。
感测单元140也被包括在移动终端100中,并提供对移动终端100的各个方面的状态测量。例如,感测单元140可检测移动终端100的开/关状态、移动终端100的组件(例如显示器和键区)的相对定位、移动终端100或移动终端100的组件的位置变化、用户与移动终端100接触与否、移动终端100的取向或加速/减速等。
作为示例,当移动终端100是滑盖型移动终端时,感测单元140可感测移动终端100的滑动部分是打开还是关闭。其它示例包括感测单元140感测电源190是否提供功率、接口单元170和外部设备之间是否存在耦合或其它连接。
此外,接口单元170往往实现成将移动终端与外部设备耦合。典型的外部设备包括有线/无线头戴受话机、外部充电器、电源、用于存储数据(例如音频、视频、图片等)的存储设备、耳机和话筒等。此外,接口单元170可用有线/无线数据端口、卡插槽(例如,用于耦合到储存卡、客户识别模块(SIM)卡、用户识别模块(UIM)卡、可移动用户识别模块(RUIM)卡等)、音频输入/输出端口和视频输入/输出端口。
输出单元150通常包括支持移动终端100输出要求的各种组件。移动终端100还包括显示器151,它以可视方式显示与移动终端100相关联的信息。例如,如果移动终端100运行于电话呼叫模式,则显示器151通常提供包括与呼出、进行和终止电话呼叫相关联的信息的用户界面或图形用户界面。作为另一示例,如果移动终端100处于视频呼叫模式或照相模式下,则显示器151可附加地或替代地显示与这些模式相关联的图像。
此外,显示器151较佳地还包括与诸如触摸板之类的输入设备协同工作的触摸屏。该配置允许显示器151同时充当输出设备和输入设备。此外,显示器151可用包括例如液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器和三维显示器的显示技术实现。
移动终端100还可包括一个或多个这样的显示器。双显示器实施例的示例是一个显示器被配置成内部显示器(当终端处于打开位置时可以查看)以及第二显示器被配置成外部显示器(在打开和关闭位置都可以查看)。
图1还示出具有支持移动终端100的音频输出需要的音频输出模块152的输出单元150。音频输出模块152通常用一个或多个扬声器、蜂鸣器、其它音频产生设备及其组合来实现。此外,音频输出模块152可在包括呼叫接收模式、呼叫进行模式、记录模式、语音识别模式和广播接收模式在内的各种模式中运行。在运行过程中,音频输出模块152输出与特定功能(例如,呼叫接收、消息接收和错误)相关的音频。
此外,图中的输出单元150还具有用于发出信号或以其它方式标识发生了与移动终端100相关联的特定事件的警报器153。警报事件包括收到呼叫、收到消息和收到用户输入。这种输出的示例包括向用户提供触觉感知(例如振动)。例如,警报器153可被配置成响应于移动终端100接收到呼叫或消息而振动。
作为另一示例,可由警报器153响应于在移动终端100处收到用户输入而提供振动,因而提供一种触觉反馈机制。另外,由输出单元150的组件提供的各种输出可独立实现,或者这种输出可用这些组件的任意组合实现。
此外,存储器160被用于存储各种类型的数据以支持移动终端100的处理、控制和存储需要。这些数据的示例包括在移动终端100上操作的应用程序的程序指令、呼叫历史、联系人数据、电话簿数据、消息、图片、视频等。
此外,在图1中示出的存储器160可用任何类型(或组合)的合适易失性和非易失性存储器或存储设备来实现,包括随机存取存储器(RAM)、静态随机存取存储器(SRAM)、电可擦可编程只读存储器(EEPROM)、可擦可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁性存储器、闪存、磁盘或光盘、卡式存储器、或其它类似存储器或数据存储设备。
终端100还包括控制器180,它通常控制移动终端100的总体操作。例如,控制器进行与语音呼叫、数据通信、即时消息通信、视频呼叫、相机操作和记录操作相关联的控制和处理。如图1所示,控制器180可包括提供多媒体回放功能的多媒体模块181。多媒体模块181可被配置成控制器180的一部分,或者该模块可被实现为独立组件。
此外,电源190提供便携式设备的各个组件所需的电力。所提供电力可以是内部电力、外部电力或其组合。
接下来,图2是根据本发明的实施例的移动终端100的前侧视图。如图2所示,移动终端100包括配置成与第二机身205滑动配合的第一机身200。图1中所述的用户输入单元130可包括诸如功能键210之类的第一输入单元和诸如键区215之类的第二输入单元以及诸如侧键245之类的第三输入单元。
功能键210与第一机身200相关联,而键区215与第二机身205相关联。键区包括使用户能够呼出电话、准备文本或多媒体消息、或以其它方式操作移动终端100的各种键(例如数字、字符和符号)。
此外,第一机身200相对于第二机身205在打开和关闭位置之间滑动。在关闭位置时,第一机身200以这种方式在第二机身205上定位:键区215基本上或完全被第一机身200遮蔽。在打开位置时,用户访问键区215以及显示器151和功能键210成为可能。功能键方便用户输入诸如开始、停止和滚动的命令。
此外,移动终端100可在待机模式(例如,能够接收呼叫或消息、接收和响应网络控制信令)或活动呼叫模式下工作。通常,移动终端100在处于关闭位置时在待机模式下运行,而在打开位置时在活动模式下运行。然而,该模式配置可按要求或需要更改。
此外,第一机身200由第一外壳220和第二外壳225形成,而第二机身205由第一外壳230和第二外壳235形成。各第一和第二外壳通常由诸如注入成型塑料之类的适当刚性(ridge)材料来形成,或者用诸如不锈钢(STS)和钛(Ti)的金属材料形成。
如果需要,可在第一和第二机身200、205之一或两者的第一和第二外壳之间设置一个或多个中间外壳。此外,第一和第二机身200、205的大小被调整成可容纳用于支持移动终端100的操作的电子组件。
第一机身200还包括相机121和被配置成相对于显示器151定位的扬声器的音频输出单元152。相机121还可以这种方式构成:它可相对于第一机身200选择性地定位(例如,转动、旋转等)。
此外,功能键210靠近显示器151的下侧定位。如上所述,显示器151被实现为LCD或OLED。显示器151还可被配置成具有响应于用户接触(例如,手指、输入笔等)触摸屏而生成信号的底层触摸板的触摸屏。
第二机身205还包括与键区215相邻定位的话筒122和侧键245,该侧键245是沿第二机身205的侧面定位的一类用户输入单元。较佳地,侧键245可被配置成热键,使得侧键245与移动终端100的特定功能相关联。如图所示,接口单元170与侧键245相邻定位,而电池形式的电源190位于第二机身205的下部。
图3是图2中所示的移动终端的后侧视图。如图3所示,第二机身205包括相机121、以及相关联的闪光灯250和反射镜255。闪光灯250结合第二机身205的相机121操作,反射镜255用于帮助用户在自拍模式中定位相机121。此外,第二机身205的相机121朝向与图2所示的第一机身200的相机121所朝向的方向相反的方向。
此外,第一和第二机身的相机121各自可具有相同或不同的能力。例如,在一实施例中,第一机身200的相机121以比第二机身205的相机121相对较低的分辨率操作。这一安排在例如其中反向链路带宽能力受到限制的视频会议通话期间十分有效。此外,第二机身205(图3)的相机的相对较高分辨率对获取较高质量图片以备后续使用而言十分有用。
第二机身205还包括配置成位于第二机身205上侧的扬声器的音频输出模块152。第一和第二机身200、205的音频输出模块还可协作提供立体声输出。此外,这些音频输出模块的任意一个或两者可被配置成充当扬声器电话。
终端100还包括广播信号接收天线260,它位于第二机身205的上端。天线260与广播接收模块111(图1)协作运行。如果需要的话,天线260可以是固定的,或是配置成缩回第二机身205中。此外,第一机身200的背侧包括与位于第二机身205前侧的相应滑动模块可滑动地耦合的滑动模块265。
此外,第一和第二机身200、205的各种组件的所示安排可按要求和需要进行更改。通常,一个机身的组件中的一部分或全部能够可替换地在另一机身上实现。此外,这些组件的位置和相对定位可以定位在不同于代表性附图所示的位置上。
此外,图1-3的移动终端100可被配置成在经由帧或分组发送数据的通信***中操作,包括无线、有线通信***和基于卫星的通信***。这些通信***使用不同的空中接口和/或物理层。
由通信***使用的这种空中接口的示例包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动电信***(UMTS)、UMTS的长期演进(LTE)以及全球移动通信***(GSM)。仅作为非限制性示例,进一步的描述将涉及CDMA通信***,但是这些教导同样地适用于其它***类型。
接下来,图4示出具有多个移动终端100、多个基站270、多个基站控制器(BSC)275和移动交换中心(MSC)280的CDMA无线通信***。
MSC 280配置成与公共交换电话网(PSTN)290接口,且MSC 280还被配置成与BSC 275接口。此外,BSC 275经由回程线路耦合到基站270。此外,回程线路可根据若干公知接口中的任一种来配置,包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL、或xDSL。此外,***可包括两个以上的BSC 275。
每个基站270还可包括一个或多个扇区,每个扇区具有全向天线或指向径向远离基站270的特定方向的天线。或者,每个扇区可包括用于分集接收的两个天线。此外,每个基站270可被配置成支持多个频率分配,并且各个频率分配具有特定频谱(例如,1.25MHz、5MHz)。
扇区和频率分配的交集被称为CDMA信道。基站270还可被称为基站收发机子***(BTS)。在一些情形中,术语“基站”可用于通指BSC 275、以及一个或多个基站270。
基站还可表示成“小区站点(cell site)”。或者,给定基站270的各个扇区可被称为小区站点。另外,地面数字多媒体广播(DMB)发射机295被示为向工作在该***中的移动终端100广播。
此外,移动终端100的广播接收模块111(图1)通常被配置成接收由DMB发射机295发射的广播信号。如上所述,可对其它类型的广播和多播信令实现类似的安排。
图4还示出了若干全球定位***(GPS)卫星300。这些卫星有助于定位一部分或者所有移动终端100的位置。在图4中示出了两个卫星,但是,可使用更多或更少的卫星来获取定位信息。
另外,移动终端100的定位模块115(图1)通常被配置成与卫星300协作以获得期望的位置信息。然而,或者也可以实现其它类型的位置检测技术,比如可添加到或替代GPS定位技术的定位技术。一部分的或者全部的GPS卫星300可选择性地或附加地配置成提供卫星DMB传送。
此外,在无线通信***的典型操作期间,基站270从各个移动终端100接收多组反向链路信号。移动终端100进行呼叫、收发消息、以及其它通信。
另外,在基站270内处理由给定基站270接收到的每个反向链路信号,且所得数据被转发到相关联的BSC 275。BSC提供呼叫资源分配以及包括基站270之间的软切换的移动性管理功能。
此外,BSC 275还将收到的数据路由至MSC 280,MSC 280提供附加路由服务用于与PSTN 290接口。类似地,PSTN与MSC 280接口,并且MSC 280与BSC 275接口。BSC 275还控制基站270,向移动终端100发送多组前向链路信号。
在以下的描述中,参照各实施例解释适用于以上配置的移动终端100的控制方法。然而,以下的实施例可单独实现或通过其组合实现。此外,在以下的描述中,假设显示器151包括触摸屏。另外,触摸屏或其屏幕可由附图标记‘400’指示。
在本发明的实施例中,一种终端将用作语音命令识别基准的数据库的域(或信息搜索范围)指定为与特定菜单或服务有关的域。因此,语音命令的识别率提高,且由移动终端使用的资源总量减少。
此外,用作语音识别的基准的数据库的域可通过移动终端的环境设置菜单来指定。同样,一旦语音识别功能被激活,指定的域被自动应用。
在下文中,假设用于语音命令识别的数据库的预置域包括与当前显示器151上显示的菜单有关的信息,或与诸菜单之一的子菜单有关的信息。
接下来,图5是示出根据本发明的一个实施例的通过语音命令的移动终端菜单控制方法的流程图。在以下的描述中还将参考图1。如图5所示,控制器180确定语音识别功能是否已经被激活(S101)。
此外,语音识别功能可通过用户选择移动终端上的硬件按钮或显示模块151上的软触摸按钮来激活。用户还可通过操纵显示器151上显示的特定菜单来激活语音识别功能。语音识别功能还可通过用户生成特定声音或声音效果、通过短距离或长距离无线信号或通过诸如手势或体态之类的用户肢体信息来激活。
更详细地,特定声音或声音效果可包括具有比特定级别高的级别的撞击声。此外,特定声音或声音效果可利用声级检测算法来检测。另外,声级检测算法较佳地比语音识别算法更简单,因此消耗较少的移动终端资源,同样,声级检测算法(或电路)可由语音识别算法或电路单独地实现,或可被实现为指定语音识别算法的部分功能。
另外,无线信号可通过无线通信单元110来接收,而用户的手势或体态可通过感测单元140来接收。因此,在本发明的实施例中,无线通信单元110、用户输入单元130和感测单元140可被称为信号输入单元。此外,语音识别功能还可以以类似的方式终止。
使用户以物理方式激活语音识别功能是特别有利的,因为用户更能意识到他们将要使用语音命令来控制终端。即,因为用户需要首先执行对终端的物理操纵,所以他或她直观地意识到他们将输入语音命令或指令至终端,因此说得更清楚或更慢从而激活特定功能。因此,例如,因为用户说得更清楚或更慢,准确识别语音指令的概率增加。即,在本发明的实施例中,语音识别功能的激活由终端上按钮的物理操纵来执行,而不是通过对终端讲话来激活语音识别功能。
此外,控制器180可基于用户触摸特定按钮或触摸屏的部分的次数、用户触摸特定按钮或触摸屏的部分的时间长度等来开始或终止语音识别功能的激活。用户还可设置控制器180如何利用由本发明提供的适当菜单选项来激活语音识别功能。例如,用户可选择终端上的菜单选项,其包括1)基于语音激活按钮被选择的次数X设置语音识别的激活、2)基于语音激活按钮被选择的时间量X设置语音识别的激活、3)当按钮X和Y被选择时设置语音识别的激活等。用户于是可输入X和Y的值,以便可改变地设置控制器180如何确定语音激活功能被激活。因此,根据本发明的实施例,用户积极地使用其移动终端的语音识别功能,这增加了控制器180确定与用户语音指令相对应的正确功能的概率,这也允许用户根据他或她的需要修改语音激活功能。
控制器180还可在指定的按钮被触摸或选择的同时维持语音识别功能的激活状态,并在指定的按钮被放开时停止语音识别功能。或者,控制器180可在指定按钮被触摸或选择后将语音识别功能的激活维持预定的时间间隔,并在预定时间间隔结束时停止或终止语音识别功能。在又一个实施例中,控制器180可将所接收的语音指令存储在存储器160中,同时将语音识别功能维持为激活状态。
另外,如图5所示,用作识别语音命令的含义的基准的数据库的域被指定给与终端上的特定功能或菜单有关的信息(S102)。例如,数据库的特定域可以是与当前显示器151上显示的菜单有关的信息,或与所显示的菜单之一的子菜单有关的信息。另外,因为数据库的域被指定,所以输入语音命令的识别率提高。域的例子包括电子邮件域、所接收的呼叫域和多媒体域等。
同样,与子菜单有关的信息可被配置为数据库中的数据。例如,信息可被配置成关键词的形式,且多个信息可对应于一个功能或菜单。另外,根据信息的特征,数据库可以是多个数据库,且可被存储在存储器160中
此外,数据库中的信息可通过学习过程有利地更新或翻新。相应数据库的各个域也可被指定为与当前正被输出的功能或菜单有关的域,以便提高语音命令的识别率。该域也可随着菜单步骤继续前进而改变。
一旦语音识别功能被激活(S101中的是)且域已被指定(S102),控制器180就确定用户是否已经输入语音命令(S103)。当控制器180确定用户已经输入了语音命令(S103中的是)时,控制器180基于特定的数据库分析通过话筒122输入的语音命令或指令的背景和内容,从而判断语音命令的含义(S104)。
此外,控制器180可基于所访问的域的语言模型和声学模型确定语音指令或命令的含义。更详细地,语言模型涉及词本身,而声学模型对应于说出词的方式(例如,所说词或短语的频率组分)。将语言和声学模型与特定域和移动终端100的状态一起使用,控制器180可高效率地确定输入语音指令或命令的含义。
此外,当控制器180将输入语音命令存储在存储器160中时,控制器180可在用户解除语音识别功能的激活时立即开始判断输入语音命令的含义的过程,或者可在语音命令被输入时同时执行语音激活功能。
另外,如果语音命令还未被完全输入(S103中的否),则控制器180还可执行其它功能。例如,如果用户通过触摸菜单选项等执行另一个动作,或按下终端上的按钮(S109中的是),则控制器180执行相对应的所选功能(S110)。
此外,在控制器180在步骤S104确定输入语音命令的含义之后,控制器180输出含义的结果值(S105)。即,结果值可包括用于执行与对应于所确定含义的功能或服务有关的菜单、用于控制移动终端的特定组件等的控制信号。结果值还可包括用于显示与所识别的语音命令有关的信息的数据。
控制器还可请求用户确认输出结果值是否正确(S106)。例如,当语音命令具有低识别率或被确定具有多个含义时,控制器180可输出与相应含义有关的多个菜单,然后执行由用户选择的菜单(S107)。同样,控制器180可询问用户是否要执行具有高识别率的特定菜单,然后根据用户的选择或响应执行或显示相应的功能或菜单。
另外,控制器180还可输出语音消息,以请求用户选择具体菜单或选项,譬如“您想要执行相册菜单吗?回答是或否”。然后,控制器180基于用户响应执行或不执行对应于具体菜单或选项的功能。如果用户在具体的时间间隔(例如,5秒)中不响应,则控制器180也可立即执行具体的菜单或选项。即,如果没有来自用户的响应,则控制器180可通过将无响应判断为肯定回答来自动执行功能或菜单。
此外,用户可利用他或她的语音(例如,是或否)或经由诸如硬件或软件按钮、触摸板等其它输入单元回答来自控制器180的问题。另外,在步骤S106,如果有来自用户的否定回答(S106中的否),即,如果语音命令的含义未被准确地判断,则控制器180可执行附加的差错处理步骤(S108)。
即,差错处理步骤可通过再次接收语音命令的输入来执行,或可通过显示具有高于特定级别的识别率的多个菜单或可被判断为具有类似含义的多个菜单来执行。然后用户可选择多个菜单之一。同样,当具有高于特定级别的识别率的功能或菜单的数量小于预定数量(例如,2)时,控制器180可自动执行对应的功能或菜单。
接下来,图6A是示出根据本发明的一个实施例的激活移动终端的语音识别功能的方法的概观。如显示屏410所示,用户可通过触摸软按钮411来激活语音识别功能。用户还可通过放开软按钮411来终止语音识别功能。更具体地,用户可通过触摸软按钮411来激活语音识别功能,并继续触摸软按钮411或硬按钮412直到完成语音指令。即,当已完成语音指令时用户可放开软按钮411或硬按钮412。因此控制器180知道何时语音指令要被输入以及何时语音指令已完成。如上所述,因为用户直接参与该确定,所以输入语音命令的解释的准确度增加。
控制器180还可被配置成例如在用户第一次触摸软按钮411时识别语音激活功能部件的启动,然后在用户再次触摸软按钮411时识别语音指令已经完成。其它的选择方法也是可能的。另外,如图6A中的显示屏410所示,除使用软按钮411外,语音激活和停用可通过操纵终端上的硬按钮412来执行。
另外,显示屏410中所示的软按钮411可以是用户按下或放开以激活/停用语音识别功能的单个软按钮,或者可以是在被选择时产生诸如“1.开始语音激活和2.停止语音激活”的菜单列表的菜单按钮。例如,软按钮411还可以在待机状态期间显示。
在另一个例子中,如显示屏420所示,用户还可通过触摸屏幕的任意位置来激活和停用语音识别功能。显示屏430示出又一个例子,其中用户通过产生高于特定级别的特定声音或音效来激活和停用语音识别功能。例如,用户可拍手以产生这一撞击声。
因此,根据本发明的一个实施例,语音识别功能可按两种模式来实现。例如,语音识别功能可被实现成用于检测具体声音或音效高于某一级别的第一模式、以及用于识别语音命令并确定语音命令的含义的第二模式。如果在第一模式中声音或音效高于某一级别,则第二模式被激活从而识别语音命令。
显示屏440示出用户激活和停用语音识别功能的又一种方法。在该例子中,控制器180被配置成解释用户的肢体运动来开始或停止语音激活功能。例如,如显示屏440所示,控制器180可被配置成将用户向显示器移动手解释为要激活语音识别功能的指令,并将用户将手从显示器移开解释为要终止语音识别功能的指令。近程或远程无线信号也可用于启动和停止语音识别功能。
因此,根据本发明的实施例,因为语音激活功能被启动和停止,所以语音识别功能未被连续执行。即,当语音识别功能被连续保持为激活状态时,与本发明的实施例相比移动终端上的资源的量增加。
此外,如以上参考图5所讨论的,当语音识别功能被激活时,控制器180将用作语音命令识别的基准的特定数据库的域指定为与显示器151上的菜单列表有关的域。然而,如果从菜单列表中选择或执行特定的菜单,则数据库的域可被指定为与特定菜单的所选菜单或子菜单有关的信息。
此外,当通过语音命令或触摸输入选择或执行特定菜单时,控制器180可以以语音消息或弹出窗口或气球的形式输出与特定菜单的子菜单有关的帮助信息。例如,如图6B所示,当用户经由触摸或语音操作选择“多媒体菜单”时,控制器180将与“多媒体菜单”的子菜单(例如,广播、照相机、文本浏览器、游戏等)有关的信息显示为气球形状的帮助信息441。或者,控制器180可输出包括帮助信息的语音信号442。用户然后可利用语音命令或通过触摸操作选择所显示的帮助选项之一。
图6C示出用户利用他或她的肢体运动(在该例子中为用户的手势)选择菜单项的实施例。更具体地,当用户将他或她的手指移到更靠近菜单项443时,控制器180显示与菜单443有关的子菜单444。例如,控制器180可经由感测单元140识别用户的肢体移动信息。此外,所显示的帮助信息可被显示成具有根据用户的距离控制的透明度或亮度。即,随着用户的手越来越接近,所显示的项可被进一步突出显示。
如上所讨论的,控制器180可被配置成基于各种不同的方法确定语音识别功能的启动和停止。例如,用户可选择/操纵软或硬按钮,触摸触摸屏上的任意位置等。控制器180还可将语音识别功能的激活保持预定的时间量,然后在预定时间量的结束处自动终止激活。同样,控制器180可仅在执行特定按钮或触摸操作时保持激活,然后在输入被解除时自动终止激活。控制器180还可在不再输入语音命令达一定时间量时终止激活过程。
接下来,图7A是示出根据本发明的一个实施例的识别移动终端中的语音命令的方法的流程图。参考图7A,当语音识别功能被激活时,控制器180将可用作语音命令识别基准的数据库的域指定为与显示器151上显示的菜单或该菜单的子菜单有关的域(S201)。用户还利用准确的菜单名称或利用自然语言(例如,英语口语)输入语音命令(S202)。
控制器180然后将输入的语音命令存储在存储器160中(S203)。此外,当在所指定的域下输入语音命令时,控制器180通过使用语音识别算法基于所指定的域分析语音命令的背景和内容。同样,语音命令可被转换成文本类信息以供分析(S204),然后存储在存储器160的特定数据库中。然而,可省略将语音命令变换成文本类信息的步骤。
然后,为了分析语音命令的背景和内容,控制器180检测语音命令的特定词或关键词(S205)。基于所检测的词或关键词,控制器180分析语音命令的背景和内容,并通过参照特定数据库中所存储的信息确定或判断语音命令的含义。
此外,如以上所讨论的,用作基准的数据库包括特定域,且与基于数据库判断的语音命令的含义相对应的功能或菜单被执行(S207)。同样,因为用于语音识别的数据库被指定为与特定菜单有关的各个信息,所以识别率和识别语音命令的速度提高,且终端上所使用的资源量减小,此外,识别率指示与特定菜单的预置名称的匹配度。
输入语音命令的识别率还可根据与语音命令的特定功能或菜单有关的多个信息来判断。因此,当信息准确匹配包括在语音命令中的特定功能或菜单(例如,菜单名)时,输入语音命令的识别率提高。
更详细地,图7B是示出根据本发明的一个实施例的识别移动终端的语音命令的方法的概观。如图7B所示,用户输入由六个单词组成的作为自然语言的语音命令“I want to see my pictures(我想看我的图片)”。在这个例子中,识别率可基于与特定菜单(例如,相册)有关的多个有意义单词(例如,see、picture)来判断。此外,控制器180可基于存储在数据库中的信息确定包括在语音命令中的单词是否是与特定功能或菜单有关的有意义的单词。例如,包括在自然语音语音命令中、与特定菜单无关的无意义的单词可以是主语(I),介词(to)和所有格代名词(my)。
同样,自然语言是由人们通用的语言,且具有与人工语言相反的概念。此外,自然语言可利用自然语言处理算法来处理。自然语言可以包括或可以不包括与特定菜单有关的精确名称,这有时会导致在完全精确地识别语音命令时的困难。因此,根据本发明的实施例,当语音命令具有比某一级别(例如,80%)高的识别率时,控制器180判断该识别是精确的。
此外,当控制器180判断多个菜单具有类似的含义时,控制器180显示该多个菜单,且用户可选择所显示的菜单之一以使其功能被执行。此外,可首先显示具有相对较高的识别率的菜单或与其它菜单相比有区别地显示。
例如,图8是示出根据本发明的一个实施例的用于显示移动终端的语音识别率的菜单的方法的概观。如图8所示,具有较高识别率的菜单图标被显示在显示屏510的中心部分,或者如显示屏520中所示地以较大的尺寸或较暗的颜色显示。还可首先显示具有较高识别率的菜单图标,然后依次或按照顺序是较低识别率菜单。
此外,控制器180可通过改变菜单的大小、位置、颜色、亮度中的至少一个或通过以较高识别率的顺序突出显示来有区别地显示多个菜单。菜单的透明度也可被适当地改变或控制。
此外,如图8的下部所示,具有较高用户选择率的菜单可被更新或设置成具有识别率。即,控制器180存储用户选择的历史(S301)并执行学习过程(S302),从而更新被用户选择的次数比其它菜单选项多的菜单选项的具体识别率(S303)。因此,频繁使用菜单被用户选择的次数可被应用到菜单的识别率。因此,根据用户选择具体菜单的次数,以发音或内容相同或类似的方式输入的语音命令可具有不同的识别率。
此外,控制器180还可存储用户执行具体功能的时间。例如,用户可在周一至周五醒来时检查电子邮件或错过的消息。该时间信息也可用于提高识别率。终端的状态(例如,待机模式等)也可用于提高识别率。例如,当第一次打开它们的移动终端时,当该终端从关闭位置打开时等等,用户可检查电子邮件或错过的消息。
接着,图9是示出根据本发明的另一个实施例的识别移动终端的语音命令的方法的概观。如图9所示,用户激活语音识别功能,并输入语音命令“I want to see my pictures(我想看我的图片)”。控制器180然后将用于语音命令识别的数据库的域指定为与所显示的子菜单有关的域。在该例子中,控制器180然后解释语音命令(S401),显示具有大于具体值(80%)的概率的多个菜单(S402)。如图9中的显示屏610所示,控制器显示四个多媒体菜单。
控制器180还有区别地显示具有最高概率的菜单(例如,在该例子中的“相册”菜单选项621)。用户然后可选择所显示菜单中的任一个以执行对应于所选菜单的功能。在图9所示的例子中,用户选择相册菜单选项621,且控制器180显示所选相册中的图片,如显示屏620所示。
同样,如图9下部中的步骤S402所示,当只有单个菜单被确定为高于预定概率时,控制器180还可立即执行功能。即,当相册菜单选择621被确定为是具有高于预定阈值的识别率或概率的唯一菜单时,用户不必选择菜单相册菜单选项621控制器180就立即显示相册中的图片,如显示屏620所示。此外,即使菜单具有诸如“相册”之类的明确名称,存储器160也可存储与该菜单有关的多个信息,诸如“照片、图片、相册”。
此外,如以上参考图6B所讨论的,当特定的菜单根据操作状态或模式(例如,用于指示语音识别功能的模式)通过语音命令或触摸输入被选择或执行时,控制器180还可将帮助信息输出给用户。此外,用户可利用设置在环境设置菜单中的适当菜单选项来设置操作模式,用于输出帮助。因此,用户可在不需要或不具有高级技能的情况下操作本发明的终端。即,很多老人可能没有体验过操作终端中设置的多个不同的菜单。然而,利用本发明的终端,一般不熟悉终端设置的错综复杂的用户界面的用户可容易地操作该移动终端。
此外,当控制器180将语音命令识别为具有多个含义时(即,当自然语言语音命令不包括明确的菜单名时,诸如当菜单包括在“多媒体”范畴内但不具有“相机”、“相册”和“视频”之一的明确名称时),控制器180显示具有高于某一值(例如,80%)的识别率的多个菜单。
接下来,图10是根据本发明的一个实施例由控制器180用于识别移动终端的语音命令的多个数据库的概观。在该实施例中,数据库存储控制器180用于判断语音命令的含义的信息,且根据信息特征可以是任何数量的数据库。此外,根据信息特征配置的相应数据库可在控制器180的控制下通过连续的学习过程来更新。
例如,学习过程试图将用户的语音与相应的词相匹配。例如,当由用户说出来的韩语“Saeng-il”(指“生日”)被误解为“Saeng-hwal”(指“生活”)时,用户将该词“Saeng-hwal”修改为“Saeng-il”。因此,后来由用户输入的相同发音将被识别为“Saeng-il”。
如图10所示,根据信息特征的相应数据库包括第一数据库161、第二数据库162、第三数据库163和第四数据库164。在该实施例中,第一数据库161以音位、音节或词素为单位存储用于识别通过话筒输入的语音的语音信息。第二数据库162存储基于所识别的语音信息判断语音命令的整体含义的信息(例如,语法、发音精确度、句子结构等)。第三数据库163存储与移动终端的功能或服务的菜单有关的信息,而第四数据库164存储从移动终端输出的消息或语音信息,以便于接收关于语音命令所判断含义的用户确认。
此外,可根据为语音命令识别预置的域,将第三数据库163指定为与特定范畴的菜单有关的信息。同样,相应的数据库还可存储声音(发音)信息、以及与发音信息相对应的音位、音节、词素、单词、关键词或句子。因此,控制器180可通过使用多个数据库161至164中的至少一个来确定或判断语音命令的含义,并执行与对应于语音命令所判断的含义的功能或服务有关的菜单。
接下来,图11是示出根据本发明的一个实施例的移动终端的语音识别功能正在被执行的状态的概观。如图所示,当控制器180执行语音识别功能时,控制器180显示特定指示符或图标500,它通知用户语音识别功能正在被执行。控制器180还可输出声音或消息,以通知用户语音识别功能正在被执行。
此外,上述的实施例涉及识别用户的语音指令。然而,本发明还适用于用户在语音指令正在被识别的同时执行附加输入功能。例如,语音识别和触摸输入、语音识别和按钮输入、或语音识别或触摸/按钮输入可同时执行。
此外,控制器180可防止语音识别功能以特定模式或菜单或在特定操作状态下执行。另外,音频信息(例如,语音通知或指导信息)或指示语音识别功能正在被应用的视频信息(例如,图11中的指示符500)可在语音识别模式、菜单或操作状态下显示。同样,可将正在应用语音识别功能的信息通过输出帮助信息来提供给用户。
图12是示出根据本发明的一个实施例的通过语音命令处理与移动终端的特定菜单有关的子命令的方法的概观。在该实施例中,假设用户已经激活语音识别功能。
然后,如图12的左侧所示,用户触摸闹钟/日程表图标,且控制器180显示弹出帮助菜单,其列出可用功能(例如,1)闹钟,2)日程表,3)计划任务以及4)备忘录)。然后,用户输入语音命令“计划任务”,且控制器180解释语音命令的含义并显示被确定为对应于语音命令的多个菜单,如显示屏611所示。
即,如显示屏611所示,控制器180显示与计划任务功能有关的四个事件。用户然后输入语音命令“选择第2”,且控制器180选择第2选项(会议1)。用户然后输入语音命令“我想删除它”。控制器180然后显示弹出菜单613,请求用户关于删除条目确认是或否。然后用户输入语音命令“是”,控制器180然后删除条目,如图12的显示屏616所示。
此外,如果没有来自用户的响应,则控制器180可通过将响应判断为肯定回答来自动执行子命令。控制器180还输出语音命令615,通知用户该项被删除。同样,除了通过触摸菜单选择第一菜单闹钟/日程表外,用户可发出另一语音命令作为代替。同样,当用户首先选择闹钟/日程表图标来通知用户相应的任务将被执行时,控制器180可发出语音消息617。
此外,如以上所讨论的,当特定菜单被执行时,控制器180将用作语音命令识别基准的数据库的域指定为与所执行的菜单有关的域。即,该域包括与特定菜单的子菜单有关的信息,或与从特定菜单执行的子命令有关的信息。
接下来,图13是示出根据本发明的一个实施例的在移动终端中通过语音命令搜索地铁地图的方法的概观。在该例子中,再次假设用户已经激活语音识别功能。此外,还假设控制器180基于用户的语音命令或利用其它输入单元的操纵来执行与显示地铁地图有关的特定菜单。
即,控制器180如显示屏621所示显示地铁地图。如以上所讨论的,当特定菜单被执行时,控制器180可将用作语音命令识别基准的数据库的域指定为与所执行菜单有关的域(例如,地铁站的名称、各站之间的距离(时间)信息)。此外,该域包括与特定菜单的子菜单有关的信息,或与可从特定菜单执行的子命令有关的域。
控制器180然后发出语音命令626,请求用户输入起始或终点站。用户然后在显示屏621上选择两个站。即,控制器180从所显示的地铁地图接收两个站622和623,用户想知道经过这两个站所需的时间量。当由终端(即,说出起始和终点站)或通过触摸两个站622和623提示时,用户可利用语音命令选择两个站。选择两个站的其它方法也是可能的。在用户选择两个站之后,控制器180输出语音消息624,它包括经由扬声器选择的两个站(即,ISU和Seoul站被选择)。同样,除输出语音消息外,控制器180可显示带有所请求或输入信息的弹出窗口作为代替。
此外,当两个站被选择时,控制器180还可输出帮助信息。例如,如图13中的显示屏621所示,控制器显示列出站名和地铁线路颜色的帮助弹出气球窗口。用户然后请求经过两个所选站所需的时间。用户可通过输入语音指令“我想知道从ISU到Seoul站将用多长时间”来请求该信息。
控制器180然后检测与域内处理地铁地图信息有关的有意义的词(例如,多长时间、用、Isu、Seoul站),以便分析语音命令的背景和内容。基于所分析的信息,控制器180确定语音命令具有请求两个地铁站Isu和Seoul站之间的时间信息的含义。
此外,当控制器180判断语音指令的含义时,控制器180可首先请求用户确认所判断的语音命令的含义是否准确。控制器180然后在地铁地图上显示这两个站,连通两站之间的距离(或时间)、两站之间的站数等等,并输出语音消息627,通知用户有关如图13中的显示屏625所示的结果。此外,如上所述,如果用户在具体时间间隔内不对确认请求作出响应,则控制器180可将其解释为肯定回答并提供所请求服务的结果。
接下来,图14是示出根据本发明的一个实施例的在移动终端中通过语音命令再现多媒体文件的方法的概观。此外,以下的描述假设用户已经输入激活控制信号,且控制器180开始激活语音识别功能。还假设控制器180已通过接收语音命令的输入或利用其它输入单元的用户操纵来执行与多媒体再现菜单有关的特定菜单。
即,如显示屏631所示,控制器180显示用户可选择播放的歌曲列表。因此,在本发明中,用户期望的多媒体文件可通过语音命令直接搜索,并由此再现。更具体地,一旦执行多媒体再现菜单,控制器180就将用作语音命令识别基准的数据库的域指定为与所执行菜单有关的域。
如上所述,域包括与多媒体再现菜单的子菜单有关的信息、与可从多媒体再现菜单执行的子命令有关的信息、或与多媒体文件有关的信息(例如,文件名、再现时间、版权所有者等)。
此外,控制器180可通过接收语音命令的输入或利用其它输入单元的用户操纵来显示多媒体文件列表。在图14的例子中,如显示屏631所示,在从文件列表中选择一个文件的状态下,用户输入其自然语言语音命令(例如,让我们播放这首歌吧)。
一旦语音命令被输入,控制器180就检测与子菜单或子命令有关的有意义的词(例如,播放、这首歌),用于在域内处理所选菜单。此外,控制器180通过分析所检测到的词与语音命令的整体背景和内容来判断语音命令的含义。
一旦判断语音命令的含义,控制器180就接收用户关于所判断的语音命令的含义是否准确的确认。例如,如图13所示,控制器180显示弹出窗口633,请求用户关于所选歌曲的播放说“是”或“否”。控制器还可输出语音消息632,询问用户歌曲2是否是要播放的歌曲。用户然后可说“是”,控制器180于是输出所示的歌曲,如显示屏634所示。
或者,控制器180可自动播放所选的歌曲,而不请求用户确认选择。用户还可使用适当的菜单选项,来将控制器180请求关于所选任务的确认或不请求确认设置为默认。此外,如果没有来自用户的响应,则控制器180可通过将响应判断为肯定回答来自动执行所判断的语音命令。
因此,在该实施例中,选择要再现的文件,并通过语音命令输入所选文件的再现命令。然而,当用户已知文件名时,可通过语音命令将文件名从上层菜单中直接输入。
接下来,图15是示出根据本发明的一个实施例的在移动终端中通过语音命令发送电子邮件或文本消息的方法的概观。再次假设已经输入激活控制信号,控制器180开始激活语音识别功能,且控制器180通过接收语音命令的输入或利用其它输入单元的用户操纵来执行特定菜单(例如,邮件/消息发送/接收菜单)来描述本实施例。。
更具体地,一旦执行邮件(或消息)发送/接收菜单,控制器180就将用作语音命令识别基准的数据库指定为与所执行的菜单有关的域。该域包括与邮件/消息发送/接收菜单的子菜单有关的信息、与可从邮件/消息发送/接收菜单执行的子命令有关的信息、与发送/接收邮件/消息有关的信息(例如,发送器、接收器、发送/接收时间、标题等)。
控制器180还通过接收语音命令的输入或利用其它输入单元的用户操纵来显示邮件/消息发送/接收列表。如显示屏641中所示,用户输入语音指令“我想要回复”。控制器180然后显示所接收的用户可回复的消息,如显示屏645所示。在该例子中,如显示屏645所示,在从邮件/消息列表中选择一个邮件/消息的状态下,用户使用其自然语言(例如,回复该消息)。
另外,一旦语音命令被输入,控制器180就检测与对域内所选邮件/消息的回复处理有关的有意义的词(例如,回复、该消息)。然后,控制器180通过分析所检测的词和语音命令的整体背景和上下文来判断语音命令的含义(执行邮件/消息回复菜单)。
一旦判断语音命令的含义,控制器180就可接收用户关于所判断的语音命令的含义是否准确的确认。例如,为了用户的确认,可输出语音消息642,或者可输出文本类消息643。当输出针对用户确认的消息时,用户可通过语音或其它输入单元回复。如果没有来自用户的响应,则控制器180可通过将响应判断为肯定回答来自动执行与所判断的含义对应的功能。然后,当执行邮件/消息回复菜单时,控制器180在邮件/消息写入窗口644中自动输入所选呼叫方的地址/电话号码。
因此,在该实施例中,首先选择要回复的邮件/消息,并利用语音命令输入所选邮件/消息的回复命令。然而,当用户知道关于呼叫方的信息时,对呼叫方的邮件/消息回复可通过语音命令直接输入。
此外,图15所示的实施例可被修改以对应于发送文本消息。更具体地,控制器180包括将用户的语音转换成文本的软件,使得用户可告诉终端他或她想说什么,且控制器180将输入语音转换成文本消息。控制器180还可向用户显示经转换的文本,因此用户可确认该转换是可接受的。然后用户可请求终端将文本消息发送给期望用户。
经修改的实施例是特别有利的,因为用手输入文本消息是非常费力且乏味的过程。由于很多不同的原因,很多用户想要发送文本消息而不是呼叫用户,但不想要经历手动选择多个键来发送单个文本消息的费力过程。本发明的经修改的实施例使用户能利用其语音输入期望的文本信息,然后将该文本消息发送到期望方。
图16是示出根据本发明的一个实施例的在移动终端中通过语音命令进行电话呼叫的方法的概观。类似于以上的实施例,该实施例也假设用户已经输入激活控制信号,控制器180已经激活语音识别功能,且控制器180已经通过接收语音命令的输入或利用其它输入单元的用户操作来执行与电话呼叫有关的特定菜单(例如,关于最近接收呼叫的电话号码簿或菜单列表)。
一旦关于电话呼叫的菜单被执行,控制器180将用作语音命令识别的基准的数据库的域指定为与电话呼叫有关的域。此外,该域包括与发起呼叫、呼入、错过呼叫等有关的信息,以及每一个电话相关信息(例如,发起时间、呼入时间、发送器、接收器、呼叫持续时间、呼叫频率等)。
此外,控制器180通过接收语音命令的输入或利用其它输入单元的用户操纵来显示电话呼叫列表。即,用户使用他或她的自然语言输入语音命令(例如,我想要看所接收的电话呼叫),如显示屏711所示。
一旦输入语音命令,控制器180就检测与域内的电话呼叫有关的有意义的词(例如,看、接收的、电话、呼叫),并通过分析所检测的词和语音命令的整体背景和内容来判断语音命令具有“输出所接收的电话呼叫”的含义。一旦语音命令的含义被判断,控制器180就输出针对所接收的电话呼叫的列表,如显示屏712所示。
另外,用户然后在从输出列表中选择一项的状态下输入语音命令“呼叫该人”。结果,控制器180判断语音命令具有“呼叫所选择的已接收呼叫的对方”的含义。然后,控制器180接收用户关于所判断的语音命令的含义是否准确的确认。即,控制器180可输出语音消息713或文本类消息715。
用户还可通过语音或其它输入单元回复。如上所述,如果没有来自用户的响应,则控制器180可通过将响应判断为肯定回答来自动执行与所判断的含义对应的功能。控制器180还输出指示呼叫连接正在进行的消息714。
因此,在该实施例中,从电话呼叫列表中选出呼叫方,并通过语音命令输入对所选呼叫方的呼叫命令。然而,当用户已经知道关于呼叫方的信息时,可通过语音命令直接执行对该人的呼叫。
接下来,图17是示出根据本发明的一个实施例的在移动终端中通过语音命令使用电话簿信息的方法的概观。在这里的描述中作出与以上其它实施例中描述相同的假设。即,假设一旦输入激活控制信息,控制器180就开始激活语音识别功能,且控制器180通过接收语音命令输入或利用其它输入单元的用户操纵来选择或执行特定菜单(例如,电话簿菜单),如显示屏720所示。
一旦执行电话簿菜单,控制器180就将用作语音命令识别基准的数据库的域指定成与可从电话簿菜单执行的电话簿菜单的子菜单或子命令有关的域。此外,域被指定以便提高识别率,但并非必须指定。
此外,在待机状态或与电话簿有关的菜单被选择的状态下,用户以其自然语言输入语音命令(例如,编辑James,添加James,查找James,呼叫James,我想发消息给James)。一旦输入语音命令,控制器180就检测域内与电话呼叫有关的有意义的词,并通过分析检测的词和语音命令的整体背景和内容来判断语音命令的各自含义。
一旦判断语音命令的各自含义,控制器180就执行与相应语音命令对应的功能或菜单,如显示屏722至724所示。此外,在执行之前,控制器180可接收用户的关于所判断的语音命令含义是否准确的确认。如上所述,为了用户的确认,可输出语音消息或文本类消息。
此外,当输出针对用户确认的消息时,用户可通过语音或其它输入单元回复。如果没有来自用户的响应,则控制器180可通过将响应判断为肯定回答来自动执行与所判断含义对应的功能。
接下来,图18是示出根据本发明的一个实施例的在移动终端中通过语音命令改变背景屏幕的方法的概观。该描述再次假设:一旦输入激活控制信息控制器180就开始激活语音识别功能,并通过接收语音命令的输入或利用其它输入单元的用户操纵执行特定菜单(例如,相册菜单)。
相册菜单可通过语音命令的输入或利用其它输入单元的多步骤子菜单来执行。同样,相册菜单可由自然语言语言命令直接执行(例如,我想看我的相册),如显示屏731所示。根据语音命令的判断含义,控制器180通过执行相册菜单输出照片列表,如显示屏732所示。然后,控制器180接收从输出的相册列表中选出的一张照片。
在此状态下,如果输入用户语音命令(例如,用该图片改变我的壁纸),则控制器180检测与所执行菜单的子菜单或子命令有关的有意义信息(例如,改变、壁纸)。然后,控制器180通过分析检测到的词和语音命令的整体背景和内容来判断语音命令的含义。即,控制器180判断语音命令具有“将背景屏幕变成所选照片”的含义。
一旦判断语音命令的含义,控制器180就显示与所选照片对应的背景屏幕,并接收用户关于所判断的语音命令的含义是否准确的确认。在这里,为了用户确认,可输出语音消息733,或者可输出文本类消息734。所判断的语音命令还可根据高识别率或预定的环境设置菜单在没有用户确认的情况下直接执行。
当输出用于用户确认的消息时,用户可通过语音或其它输入单元回复。如果没有来自用户的响应,则控制器180可通过将响应判断为肯定回答来自动执行与所判断的语音命令对应的功能。
为了改变背景屏幕,可不必首先执行相册菜单,如本发明的实施例所示。相反,在执行背景屏幕菜单之后,可搜索用户期望的照片以用于改变。
图19是示出根据本发明的一个实施例的在移动终端中通过语音命令再现多媒体文件的方法的概观。类似于以上的实施例,该描述假设:一旦输入激活控制信号,控制器180就开始激活语音识别功能,并通过接收语音命令的输入或利用其它输入单元的用户操纵来执行特定菜单(例如,多媒体再现菜单)。
为了通过用户再现多媒体文件,执行特定菜单,特定菜单的子菜单之一被选择以显示文件列表,并从文件列表中选出一个文件由此再现。然而,在本发明中,可通过语音命令直接搜索用户期望的多媒体文件由此再现。
例如,如果在语音识别功能被激活后输入特定的语音命令(例如,移至Beatles相册),则控制器180通过分析语音命令的整体背景和内容来判断语音命令的含义,如显示屏741所示。基于所分析的信息,控制器180执行特定功能或菜单,或通过移至特定文件夹显示文件列表,如显示屏742所示。
当从文件列表选出一个文件后输入语音命令(例如,播放这首歌或播放第3)时,控制器180通过分析语音命令的整体背景和内容判断语音命令的含义。另外,与语音命令的含义对应的功能或菜单可根据高识别率或预定的环境设置菜单直接执行。
一旦判断语音命令的含义,控制器180就接收用户关于所判断的语音命令的含义是否准确的确认。在这里,为了用户的确认,可输出文本类消息或语音消息743。当输出针对用户确认的消息时,用户可通过语音或其它输入单元回复。如果没有来自用户的响应,则控制器180可通过将响应判断为肯定回答来自动执行所判断的语音命令的功能。控制器18然后执行并播放所选的歌曲,如显示屏744所示。
因此,在该实施例中,选择要再现的文件,通过语音命令输入对所选文件的再现命令。然而,当用户知道文件名时,可通过语音从上级菜单直接输入文件名以用于再现。
因此,根据本发明的各个实施例,在语音识别功能被激活的状态下,将输入语音命令转换成特定形式,并将其背景和内容与指定为用作基准的域的数据库进行比较。另外,将与语音命令所判断的含义相对应的结果值输出到移动终端的特定组件。
本发明的移动终端可通过基于背景和内容判断输入语音命令的含义来控制与其特定功能或服务有关的菜单。另外,本发明的移动终端可通过根据其操作状态或操作模式将用于语音识别的域指定为与特定菜单或服务有关的域来提高语音识别率。
同样,本发明的移动终端可通过应用其一个或多个用户界面(UI),甚至在语音识别功能被激活时,同时选择或执行与特定功能或服务有关的菜单,以便于检测用户的操纵。另外,本发明的移动终端可根据其操作状态或操作模式通过提供关于语音命令的输入的帮助信息经由语音命令控制与特定功能或服务有关的菜单,而不管用户的技巧如何。
另外,多个域可包括以下域中的至少两个域:对应于移动终端上发送和接收的电子邮件的电子邮件域、对应于分配在移动终端上的日程安排事件的日程安排任务域、对应于移动终端上的联系人的联系人域、对应于存储在移动终端上的电话号码的电话簿域、对应于由移动终端提供的地图信息的地图域、对应于存储在移动终端上的照片的照片域、对应于移动终端上发送和接收的消息的消息域、对应于移动终端上执行的多媒体功能的多媒体域、对应于移动终端可连接至的外部设备的外部设备域、对应于移动终端上发送和接收的呼叫的呼叫历史域、以及对应于移动终端上执行的设置功能的设置域。
另外,可由移动终端的制造商或由移动终端的用户设置识别率的预定阈值。
此外,以上各个实施例可使用例如计算机软件、硬件、或其某种组合而在计算机可读介质中实现。对于硬件实现,上述实施例可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计成执行本文所述功能的其它电子单元、或其选择性组合内实现。
对于软件实现,本文所述的实施例可通过诸如程序和函数的独立软件模块实现,每个软件模块实现本文所述的功能和操作中的一个或多个。软件代码可通过以任何合适编程语言编写的软件应用程序实现,并且可被存储在存储器(例如,存储器160)中,而且可由控制器或处理器(例如,控制器180)执行。
另外,移动终端100可以以各种不同配置实现。这些配置的示例包括翻盖式、滑盖型、直板型、旋转型、回转型及其组合。
本领域内技术人员可以理解,可对本发明作出各种修改和变化而不脱离本发明的精神或范围。因此,本发明旨在涵盖本发明的所有这些修改和变形,只要它们落在所附权利要求书及其等价技术方案的范围中即可。
Claims (18)
1.一种移动终端,其包括:
输入单元,其被配置成接收输入以激活所述移动终端上的语音识别功能;
显示单元,其被配置为显示菜单或该菜单的子菜单;
存储器,其被配置成存储与所述移动终端的菜单和操作有关的数据库的多个域;以及
控制器,其被配置成:
当所述语音识别功能被激活时,将可被用作语音命令识别基准的数据库的域指定为和所述显示单元上所显示的菜单或子菜单相关联的域;
检测经由所述输入单元所接收到的语音命令的至少一个关键词;
基于经检测到的所述至少一个关键词,分析所述语音命令的内容和背景;
通过参照存储在所述数据库中的信息来确定所述语音命令的含义;以及
执行对应于所述语音命令的、和所述菜单或子菜单相关联的功能。
2.如权利要求1所述的移动终端,其特征在于,所述菜单包括多媒体菜单或操作、联系人菜单或操作、消息收发菜单或操作、声音菜单或操作、组织器菜单或操作、屏幕菜单或操作、实用工具菜单或操作、相机菜单或操作以及设置菜单或操作中的至少一个。
3.如权利要求1所述的移动终端,其特征在于,所述控制器还被配置成确定所确定的菜单和操作准确地对应于所述语音命令的识别率。
4.如权利要求3所述的移动终端,其特征在于,所述控制器还被配置成基于所述功能先前被以正确方式选择的次数来调节所述功能的识别率。
5.如权利要求1所述的移动终端,其特征在于,所述输入单元包括以下单元中的至少一个:1)被触摸以激活所述语音识别功能的触摸软按钮,2)被按下或操纵以激活所述语音识别功能的硬按钮,3)包括在所述输入单元中的触摸屏的被触摸以激活所述语音识别功能的任意位置,4)被输入以激活所述语音识别功能的撞击声,5)本地区域无线电信号或远程区域无线电信号,以及6)来自用户的肢体信息信号。
6.如权利要求1所述的移动终端,其特征在于,还包括:
第一数据库,配置成存储由所述控制器用来识别所述语音命令的语音或发音信息;
第二数据库,配置成存储由所述控制器用来识别所述语音命令的词、关键词或句子信息;
第三数据库,配置成存储与所述移动终端的功能或菜单有关的信息;以及
第四数据库,配置成存储将被输出以通知用户所述控制器正试图确定所述语音命令的含义的帮助信息。
7.如权利要求1所述的移动终端,其特征在于,所述控制器还被配置成输出指示所述语音识别功能处于激活状态的音频或视频信息。
8.如权利要求1所述的移动终端,其特征在于,所述多个域包括以下域中的至少两个域:对应于所述移动终端上发送和接收的电子邮件的电子邮件域、对应于分配在所述移动终端上的日程安排事件的日程安排任务域、对应于所述移动终端上的联系人的联系人域、对应于存储在所述移动终端上的电话号码的电话簿域、对应于由所述移动终端提供的地图信息的地图域、对应于存储在所述移动终端上的照片的照片域、对应于所述移动终端上发送和接收的消息的消息域、对应于所述移动终端上执行的多媒体功能的多媒体域、对应于所述移动终端可连接的外部设备的外部设备域、对应于所述移动终端上发送和接收的呼叫的呼叫历史域、以及对应于所述移动终端上执行的设置功能的设置域。
9.一种控制移动终端的方法,其特征在于,所述方法包括:
接收用于激活所述移动终端上的语音识别功能的输入;
接收到用于激活所述语音识别功能的输入时,将可被用作语音命令识别基准的数据库的域指定为和所述显示单元上所显示的菜单或子菜单相关联的域;
检测所接收到的语音命令的至少一个关键词;
基于经检测到的所述至少一个关键词,分析所述语音命令的内容和背景;
通过参照存储在所述数据库中的信息来确定所述语音命令的含义;以及
执行对应于所述语音命令的、和所述菜单或子菜单相关联的功能。
10.如权利要求9所述的方法,其特征在于,所述具体菜单或操作包括多媒体菜单或操作、联系人菜单或操作、消息收发菜单或操作、声音菜单或操作、组织器菜单或操作、屏幕菜单或操作、实用工具菜单或操作、相机菜单或操作以及设置菜单或操作中的至少一个。
11.如权利要求9所述的方法,其特征在于,所述确定语音命令的步骤还包括:
在所述移动终端的显示单元上输出所述移动终端的属于所述特定域且被确定为具有高于预定阈值的识别率的所有菜单或子菜单。
12.如权利要求11所述的方法,其特征在于,还包括:
接收用于选择所述所有菜单或子菜单之一的语音输入命令;
识别所述输入语音命令;以及
输出询问有关所识别的输入语音命令是否准确的信息。
13.如权利要求11所述的方法,其特征在于,还包括:
在所述显示单元上,输出所述移动终端的属于所访问的特定域的,且以较高识别率至较低识别率的顺序将语音命令和高于预定阈值的识别率相匹配的所述所有菜单或子菜单。
14.如权利要求11所述的方法,其特征在于,所述预定阈值由移动终端的制造商或由所述移动终端的用户设置。
15.如权利要求11所述的方法,其特征在于,还包括:
通过控制所述菜单或操作的大小、位置、颜色、亮度和突出显示中的至少一个,在所述显示单元上可分辨地显示所述所有菜单或子菜单中具有最高识别率的特定菜单或子菜单。
16.如权利要求9所述的方法,其特征在于,还包括:
基于所述功能先前曾被以正确方式选择的次数来调节所述功能的识别率。
17.如权利要求9所述的方法,其特征在于,还包括:
输出指示所述语音识别功能处于激活状态的音频或视频信息。
18.如权利要求9所述的方法,其特征在于,所述多个域包括以下域中的至少两个域:对应于所述移动终端上发送和接收的电子邮件的电子邮件域、对应于分配在所述移动终端上的日程安排事件的日程安排任务域、对应于所述移动终端上的联系人的联系人域、对应于存储在所述移动终端上的电话号码的电话簿域、对应于由所述移动终端提供的地图信息的地图域、对应于存储在所述移动终端上的照片的照片域、对应于所述移动终端上发送和接收的消息的消息域、对应于所述移动终端上执行的多媒体功能的多媒体域、对应于所述移动终端可连接的外部设备的外部设备域、对应于所述移动终端上发送和接收的呼叫的呼叫历史域、以及对应于所述移动终端上执行的设置功能的设置域。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080032841 | 2008-04-08 | ||
KR1020080032841A KR20090107364A (ko) | 2008-04-08 | 2008-04-08 | 이동 단말기 및 그 메뉴 제어방법 |
KR1020080032843 | 2008-04-08 | ||
KR10-2008-0032841 | 2008-04-08 | ||
KR1020080032843A KR101521908B1 (ko) | 2008-04-08 | 2008-04-08 | 이동 단말기 및 그 메뉴 제어방법 |
KR10-2008-0032843 | 2008-04-08 | ||
KR1020080033350 | 2008-04-10 | ||
KR1020080033350A KR101521909B1 (ko) | 2008-04-10 | 2008-04-10 | 이동 단말기 및 그 메뉴 제어방법 |
KR10-2008-0033350 | 2008-04-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101557432A CN101557432A (zh) | 2009-10-14 |
CN101557432B true CN101557432B (zh) | 2013-06-19 |
Family
ID=41175373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101279100A Active CN101557432B (zh) | 2008-04-08 | 2008-07-02 | 移动终端及其菜单控制方法 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20090107364A (zh) |
CN (1) | CN101557432B (zh) |
Families Citing this family (144)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
CN102056021A (zh) * | 2009-11-04 | 2011-05-11 | 李峰 | 一种基于中英文命令的人机交互***和方法 |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US9413869B2 (en) | 2010-02-10 | 2016-08-09 | Qualcomm Incorporated | Mobile device having plurality of input modes |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
CN101931701A (zh) * | 2010-08-25 | 2010-12-29 | 宇龙计算机通信科技(深圳)有限公司 | 一种通话过程中联系人信息的提示方法、***及移动终端 |
CN102467336B (zh) * | 2010-11-19 | 2013-10-30 | 联想(北京)有限公司 | 电子设备及其对象选择方法 |
CN102685307A (zh) * | 2011-03-15 | 2012-09-19 | 中兴通讯股份有限公司 | 命令信息处理方法、装置及*** |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US20130143525A1 (en) * | 2011-12-02 | 2013-06-06 | The Boeing Company | Point of Use Verified Aircraft Assembly Time Collection |
US8793136B2 (en) * | 2012-02-17 | 2014-07-29 | Lg Electronics Inc. | Method and apparatus for smart voice recognition |
KR101889836B1 (ko) * | 2012-02-24 | 2018-08-20 | 삼성전자주식회사 | 음성인식을 통한 단말기의 잠금 상태 해제 및 조작 방법 및 장치 |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
CN103366743A (zh) * | 2012-03-30 | 2013-10-23 | 北京千橡网景科技发展有限公司 | 操作语音命令的方法和装置 |
KR102652437B1 (ko) | 2012-05-11 | 2024-03-27 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 전자 기기, 기억 매체, 프로그램, 및 표시 방법 |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
CN103514882B (zh) * | 2012-06-30 | 2017-11-10 | 北京百度网讯科技有限公司 | 一种语音识别方法及*** |
US9093072B2 (en) * | 2012-07-20 | 2015-07-28 | Microsoft Technology Licensing, Llc | Speech and gesture recognition enhancement |
CN103593134B (zh) * | 2012-08-17 | 2018-01-23 | 上海博泰悦臻电子设备制造有限公司 | 车载设备和语音功能的控制方法 |
CN103593081B (zh) * | 2012-08-17 | 2017-11-07 | 上海博泰悦臻电子设备制造有限公司 | 车载设备和语音功能的控制方法 |
KR102070196B1 (ko) | 2012-09-20 | 2020-01-30 | 삼성전자 주식회사 | 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치 |
US10042603B2 (en) | 2012-09-20 | 2018-08-07 | Samsung Electronics Co., Ltd. | Context aware service provision method and apparatus of user device |
KR102012774B1 (ko) * | 2012-11-19 | 2019-08-21 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 방법 |
CN103885661A (zh) * | 2012-12-20 | 2014-06-25 | 联想(北京)有限公司 | 控制方法和控制装置 |
CN103064530B (zh) * | 2012-12-31 | 2017-03-08 | 华为技术有限公司 | 输入处理方法和装置 |
KR102516577B1 (ko) | 2013-02-07 | 2023-04-03 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
KR102057629B1 (ko) | 2013-02-19 | 2020-01-22 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
US9691382B2 (en) | 2013-03-01 | 2017-06-27 | Mediatek Inc. | Voice control device and method for deciding response of voice control according to recognized speech command and detection output derived from processing sensor data |
CN104049722B (zh) * | 2013-03-11 | 2017-07-25 | 联想(北京)有限公司 | 一种信息处理方法以及电子设备 |
CN104077105B (zh) * | 2013-03-29 | 2018-04-27 | 联想(北京)有限公司 | 一种信息处理方法以及一种电子设备 |
US20140337031A1 (en) * | 2013-05-07 | 2014-11-13 | Qualcomm Incorporated | Method and apparatus for detecting a target keyword |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
KR101816375B1 (ko) * | 2013-06-08 | 2018-01-08 | 애플 인크. | 제한된 주의 산만 및 비제한된 주의 산만 컨텍스트에 대해 상이한 사용자 인터페이스를 제공하는 애플리케이션 게이트웨이 |
KR101922663B1 (ko) | 2013-06-09 | 2018-11-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
CN103699293A (zh) * | 2013-12-02 | 2014-04-02 | 联想(北京)有限公司 | 一种操作方法和电子设备 |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
KR102218906B1 (ko) | 2014-01-17 | 2021-02-23 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
CN103885596B (zh) * | 2014-03-24 | 2017-05-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
CN104239043B (zh) * | 2014-09-04 | 2017-10-31 | 百度在线网络技术(北京)有限公司 | 指令的执行方法和装置 |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
CN104715754A (zh) * | 2015-03-05 | 2015-06-17 | 北京华丰亨通科贸有限公司 | 一种快速响应语音命令的方法及装置 |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
KR102344045B1 (ko) * | 2015-04-21 | 2021-12-28 | 삼성전자주식회사 | 화면을 표시하는 전자 장치 및 그 제어 방법 |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
CN105094331B (zh) * | 2015-07-27 | 2018-08-07 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105208204A (zh) * | 2015-08-27 | 2015-12-30 | 北京羽乐创新科技有限公司 | 一种通话业务处理方法及装置 |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
CN105573582A (zh) * | 2015-12-14 | 2016-05-11 | 魅族科技(中国)有限公司 | 一种显示方法以及终端 |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
CN105679315A (zh) * | 2016-03-22 | 2016-06-15 | 谢奇 | 一种语音控制且可语音编程的控制方法和*** |
CN105976157A (zh) * | 2016-04-25 | 2016-09-28 | 中兴通讯股份有限公司 | 任务的创建方法及装置 |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
CN106683675A (zh) * | 2017-02-08 | 2017-05-17 | 张建华 | 一种控制方法及语音操作*** |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
CN107544827A (zh) * | 2017-08-23 | 2018-01-05 | 金蝶软件(中国)有限公司 | 一种功能调用的方法及相关装置 |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
CN109658926B (zh) * | 2018-11-28 | 2021-03-23 | 维沃移动通信有限公司 | 一种语音指令的更新方法及移动终端 |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
CN109976702A (zh) * | 2019-03-20 | 2019-07-05 | 青岛海信电器股份有限公司 | 一种语音识别方法、装置及终端 |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
CN111078175A (zh) * | 2019-12-25 | 2020-04-28 | 上海擎感智能科技有限公司 | 一种邮件处理方法、移动终端及计算机存储介质 |
CN111968637B (zh) * | 2020-08-11 | 2024-06-14 | 北京小米移动软件有限公司 | 终端设备的操作模式控制方法、装置、终端设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1346566A (zh) * | 1999-02-08 | 2002-04-24 | 高通股份有限公司 | 用于电话手机的语音识别用户接口 |
US7280970B2 (en) * | 1999-10-04 | 2007-10-09 | Beepcard Ltd. | Sonic/ultrasonic authentication device |
-
2008
- 2008-04-08 KR KR1020080032841A patent/KR20090107364A/ko not_active Application Discontinuation
- 2008-07-02 CN CN2008101279100A patent/CN101557432B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1346566A (zh) * | 1999-02-08 | 2002-04-24 | 高通股份有限公司 | 用于电话手机的语音识别用户接口 |
US7280970B2 (en) * | 1999-10-04 | 2007-10-09 | Beepcard Ltd. | Sonic/ultrasonic authentication device |
Also Published As
Publication number | Publication date |
---|---|
CN101557432A (zh) | 2009-10-14 |
KR20090107364A (ko) | 2009-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101557432B (zh) | 移动终端及其菜单控制方法 | |
US9900414B2 (en) | Mobile terminal and menu control method thereof | |
CN101605171B (zh) | 移动终端及其中的文本校正方法 | |
CN101557651B (zh) | 移动终端及其菜单控制方法 | |
EP2747389B1 (en) | Mobile terminal having auto answering function and auto answering method for use in the mobile terminal | |
RU2412463C2 (ru) | Терминал мобильной связи и способ управления его меню | |
KR101462930B1 (ko) | 이동 단말기 및 그 화상통화 제어방법 | |
KR101466027B1 (ko) | 이동 단말기 및 그 통화내용 관리 방법 | |
US8428654B2 (en) | Mobile terminal and method for displaying menu thereof | |
US9111538B2 (en) | Genius button secondary commands | |
CN101604521B (zh) | 移动终端和用于识别其语音的方法 | |
CN101971250B (zh) | 具有活动语音识别的移动电子设备 | |
CN104978868A (zh) | 到站提醒方法及装置 | |
CN108509107A (zh) | 应用功能信息显示方法、装置及终端设备 | |
CN101714057A (zh) | 用于便携式装置的触摸输入装置和方法 | |
KR20150086030A (ko) | 이동 단말기 및 이의 제어 방법 | |
CN105354017B (zh) | 信息处理方法及装置 | |
KR20090115599A (ko) | 이동 단말기 및 그 정보 처리방법 | |
JP2016526358A (ja) | 携帯端末の音声エモーティコン制御方法 | |
KR101521909B1 (ko) | 이동 단말기 및 그 메뉴 제어방법 | |
CN104794074B (zh) | 外接设备识别方法及装置 | |
CN104660819B (zh) | 移动设备以及访问移动设备中文件的方法 | |
CN107124512A (zh) | 音频播放模式的切换方法和装置 | |
CN105338163B (zh) | 一种实现通信的方法、装置及多卡手机 | |
CN106528886A (zh) | 信息处理方法、装置及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |