CN104796527B - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN104796527B
CN104796527B CN201510025713.8A CN201510025713A CN104796527B CN 104796527 B CN104796527 B CN 104796527B CN 201510025713 A CN201510025713 A CN 201510025713A CN 104796527 B CN104796527 B CN 104796527B
Authority
CN
China
Prior art keywords
touch
mobile terminal
controller
icon
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510025713.8A
Other languages
English (en)
Other versions
CN104796527A (zh
Inventor
金錀禧
金永于
金钟勋
崔晋海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104796527A publication Critical patent/CN104796527A/zh
Application granted granted Critical
Publication of CN104796527B publication Critical patent/CN104796527B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供了一种移动终端及其控制方法。利用该移动终端及其控制方法能够基于语音命令来操作移动终端。本发明包括:无线通信单元,其被构造为执行无线通信;麦克风,其被构造为接收声音;触摸屏,其被构造为接收触摸输入;以及控制器,其被构造为,如果指点器触摸了触摸屏,则在指点器触摸触摸屏的同时控制麦克风以被激活,设置由经由麦克风接收的第一用户语音指示的目标,并且如果指点器被从触摸屏释放或者在第一方向上拖拽以移动,则控制将要在特定应用上处理的目标。

Description

移动终端及其控制方法
技术领域
本发明涉及一种移动终端,并且更具体地,涉及一种移动终端及其控制方法。虽然本发明适合于广范围的应用,但是其特别适合于基于用户语音操作移动终端。
背景技术
移动终端是可以被构造为执行各种功能的装置。这样的功能的示例包括数据和语音通信、经由摄像头捕获图像和视频、记录音频、播放音乐文件和经由扬声器***输出音乐以及在显示器上显示图像和视频。
一般来说,终端可以根据有无移动性而分类为移动终端和固定终端。并且,移动终端能够根据可否手持携带而进一步分类为手持终端和车载终端。
一直在努力支持和增加移动终端的功能性。这样的努力包括软件和硬件改进以及形成移动终端的结构组件的改变和改进。
配备有触摸屏的移动终端可基于通过触摸屏接收的触摸输入来操作。例如,用户能够通过触摸在触摸屏上显示的虚拟键盘来将文本输入到移动终端。然而,如果触摸屏的尺寸较小但是指点器的尺寸较大,则用户可能难以适当地操作虚拟键盘。
近来,对于可通过语音命令控制的移动终端的需求日益增加。然而,语音命令的问题的在于要求分析用户语音的大量时间。如果语音命令被不正确地识别,则会引起执行与用户想要的操作不同的操作的问题。
为了解决这些问题,本发明公开了一种可通过语音命令操作的移动终端,并且意在讨论缩短分析用户的语音所花费的时间并且改进用户语音的识别率的方法。
发明内容
因此,本发明的实施方式涉及一种移动终端及其控制方法,其基本上避免了由于现有技术的限制和缺点导致的一个或多个问题。
本发明的目的在于提供一种移动终端及其控制方法,从而能够增强用户的便利性。
特别地,本发明的一个目的在于提供一种移动终端及其控制方法,通过其减少了语音命令的长度,以缩短语音分析时间并且改进了语音识别率。
更特别地,本发明的一个目的在于提供了一种移动终端及其控制方法,通过其能够基于触摸输入和用户语音的组合,来确定将要运行的应用和将要在应用上处理的目标。
在这里的公开以及附图中将会阐述本发明的额外的优点、目的和特征。本领域技术人员也可以基于这里的公开而了解这些方面。
为了实现这些目的和其它优点并且根据本发明的目的,如在此具体实施并广泛描述的,根据本发明的一个实施方式的移动终端可以包括:麦克风、触摸屏和控制器,该控制器被构造为响应于在触摸屏处接收的第一触摸输入来激活麦克风,在触摸屏处保持第一触摸输入的同时响应于经由激活的麦克风接收的第一音频输入来设置目标,以及在第一触摸输入之后响应于第一触摸输入从触摸屏输入的释放或者在第一方向上的拖拽来执行与所设置的目标关联的特定应用。
在本发明的另一方面,根据本发明的一个实施方式的移动终端可以包括:麦克风、触摸屏、被构造为检测姿势输入的传感器、以及控制器,该控制器被构造为响应于在传感器处接收的预置姿势输入来激活麦克风,响应于经由激活的麦克风接收的音频输入来设置目标,以及执行与所设置的目标关联的特定应用。
在本发明的又一方面,根据本发明的一个实施方式的控制移动终端的方法可以包括:响应于在触摸屏处接收的触摸输入来激活麦克风,响应于经由激活的麦克风接收的音频输入来设置目标,以及在触摸输入之后响应于触摸输入从触摸屏的释放或者在特定方向上的拖拽来执行与所设置的目标关联的特定应用。
在本发明的又一方面,根据本发明的一个实施方式的控制移动终端的方法可以包括:响应于在传感器处接收的预置姿势输入来激活麦克风,响应于经由激活的麦克风接收的音频输入来设置目标,以及执行与所设置的目标关联的特定应用。
可从本发明获得的效果可以不受到上述效果的限制。并且,本发明所属技术领域的技术人员能够根据下面的描述而清楚地理解其它未提及的效果。
应该理解,本发明前面的总体描述和下面的具体描述都是示例性和说明性的,并且旨在对要求保护的本发明提供进一步说明。
附图说明
附图被包括进来以提供对本发明的进一步的理解,并且附图被并入而构成本申请的一部分,附图示出了本发明的各个实施方式,并与说明书一起用于解释本发明的原理。结合附图考虑优选实施方式的下面的描述,本发明的上述和其它方面、特征和优点将变得更加明显。在附图中:
图1是根据本发明的一个实施方式的移动终端的框图;
图2是根据本发明的一个实施方式的移动终端的前透视图;
图3是根据本发明的一个实施方式的移动终端的后透视图;
图4A、图4B和图4C是描述对特定对方拨打电话的用户输入的一个示例的图;
图5是描述触摸了电话图标的情况下的移动终端的操作的流程图;
图6A、图6B和图6C是通过显示单元显示弹出窗口的一个示例的图;
图7A、图7B和图7C是将由用户语音指示的人物确定为呼叫目标的一个示例的图;
图8A、图8B、图8C、图8D和图8E是描述指点器离开电话图标的情况下的移动终端的操作的示例的图;
图9是描述在触摸电话簿图标时的移动终端的操作的流程图;
图10A、图10B和图10C是通过显示单元来显示弹出窗口的一个示例的图;
图11A、图11B和图11C是描述将由用户语音指示的人物确定为搜索目标的一个示例的图;
图12A、图12B、图12C、图12D和图12E是描述指点器离开电话簿图标的情况下的移动终端的操作的示例的图;
图13A、图13B、图13C、图13D、图13E、图13F、图13G和图13H是指点器被拖拽移动到的每个位置的移动终端的操作的示例的图;
图14是描述在触摸消息图标的情况下的移动终端的操作的流程图;
图15A、图15B和图15C是通过显示单元来显示弹出窗口的一个示例的图;
图16A、图16B和图16C是描述将由用户语音指示的人物确定为消息将被发送到的目标的一个示例的图;
图17A、图17B、图17C、图17D和图17E是描述指点器离开消息图标的情况下的移动终端的操作的示例的图;
图18A、图18B、图18C、图18D和图18E是描述指点器离开麦克风按钮的情况下的移动终端的操作的示例的图;
图19A、图19B和图19C是在触摸互联网图标的情况下的移动终端的操作的一个示例的图;
图20A、图20B和图20C是在触摸告警图标的情况下的移动终端的操作的一个示例的图;
图21A、图21B和图21C是在触摸音乐图标的情况下的移动终端的操作的一个示例的图;
图22A、图22B和图22C是显示针对每个应用不同的触摸区域被指派到的弹出窗口的一个示例的图;
图23A、图23B、图23C、图24A、图24B、图24C和图24D是根据用户输入的类型来运行不同应用的示例的图;
图25A、图25B、图26A、图26B、图27A和图27B是响应于由语音指示的目标的属性来改变将要运行的应用的类型的示例的图;
图28A和图28B是以被强调的方式来显示支持语音命令的应用的图标的一个示例的图;
图29A、图29B和图29C是描述确定将要分享内容所利用的媒介的处理的一个示例的图;
图30A和图30B是在输入了拨打电话的姿势的情况下的移动终端的操作的一个示例的图;以及
图31A和图31B是在输入了发送消息的姿势的情况下的移动终端的操作的一个示例的图。
具体实施方式
在下面的详细描述中,参照构成说明书一部分的附图,并通过示例示出了本发明的具体实施方式。本领域技术人员应该理解,可以采用其它实施方式,并且可以在不脱离本发明范围的情况下对结构、电气以及过程进行改变。在可能的情况下,在整个附图中将使用相同的附图标记来表示相同或类似的部件。
如这里所使用的,针对元件使用后缀“模块”、“单元”和“部件”仅为了便于理解本公开。因此,没有对这些后缀本身赋予重要含义或作用,并且应该理解,“模块”、“单元”和“部件”能一起使用或者互换使用。
本发明可以应用于各种类型的终端。这些终端的示例包括移动电话、用户设备、智能电话、数字广播接收器、个人数字助理、膝上计算机、便携式多媒体播放器(PMP)、导航仪等等。
但是,对于本领域技术人员来说显而易见的是,根据本申请中公开的实施方式的构造可应用于诸如数字电视、台式计算机等等这样的固定终端以及移动终端。
图1是根据本发明的实施方式的移动终端100的框图。图1示出了根据本发明的一种实施方式的移动终端100包括:无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源单元190等。图1示出了具有各种部件的移动终端100,但是应该理解是,不要求实现示出的所有部件。可以替选地实现更多或更少的部件。
在以下描述中,对移动终端100的上述部件依次进行解释。
首先,无线通信单元110通常包括如下的一个或更多部件,所述一个或更多部件使得在移动终端100和该移动终端100所在的无线通信***或网络之间能够进行无线通信。例如,无线通信单元110可以包括:广播接收模块111、移动通信模块112、无线网络模块113、短距离通信模块114、位置定位模块115等。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。可以为移动终端100提供至少两个广播接收模块111,以使得能够同时接收至少两个广播信道或便于进行广播信道切换。
广播管理服务器通常是指生成并发送广播信号和/或广播相关信息的服务器,或者是指提供有预先生成的广播信号和/或广播相关信息、然后将所提供的信号或信息发送给终端的服务器。该广播信号可以实现为电视广播信号、无线电广播信号和数据广播信号等。如果需要,广播信号还可以包括与电视广播信号或无线电广播信号相结合的广播信号。
广播相关信息包括与广播信道、广播节目或广播服务供应商等相关的信息。并且,可以经由移动通信网提供广播相关信息。在这种情况下,可以由移动通信模块112接收广播相关信息。
广播相关信息可以以多种形式实现。例如,广播相关信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)和手持数字视频广播(DVB-H)的电子服务指南(ESG)。
广播接收模块111可以被构造为接收从多种类型的广播***发送的广播信号。作为非限制性的示例,这样的广播***包括:地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、手持数字视频广播(DVB-H)、广播和移动服务融合(DVB-CBMS)、开放移动联盟广播(OMA-BCAST)、***多媒体广播(CMMB)、移动广播业务管理***(MBBMS)、被已知为仅媒体前向链路()的数据广播***、以及综合业务地面数字广播(ISDB-T)。可选地,可以将广播接收模块111构造为既适用于上述数字广播***,也适用于其它广播***。
由广播接收模块111接收到的广播信号和/或广播相关信息可以存储在诸如存储器160这样的适当设备中。
经由诸如GSM(全球移动通信***)、CDMA(码分多址)、WCDMA(宽带CDMA)等这样的移动网络,移动通信模块112向/从一个或更多个网络实体(例如基站、外部终端、服务器等)发送/接收无线信号。这样的无线信号可以表示根据文本/多媒体消息收发的音频、视频和数据等。
无线互联网模块113支持移动终端100接入互联网。该模块可以从内部或外部地耦接(couple)到移动终端100。在这种情况下,无线互连网技术能包括:WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、GSM、CDMA、WCDMA、LTE(长期演进)等。
经由移动通信网络实现利用Wibro、HSPDA、GSM、CDMA、WCDMA、LTE等等的无线互联网接入。在该方面,被构造为经由移动通信网络执行无线互联网接入的无线互联网模块113能够被理解为移动通信模块112的一种。
短程通信模块114相对地便于进行短距离通信。用于实现该模块的合适技术包括:射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)以及通常被称为蓝牙(Bluetooth)和ZigBee的联网技术等。
位置定位模块115识别或者另外获得移动终端100的位置。如果需要,可以利用全球定位***(GPS)模块来实现该模块。根据当前的技术,GPS模块115能够通过计算来自至少三个卫星的距离信息和准确的时间信息并且然后对于计算出的信息应用三角测量,基于经度、纬度和方向(或取向)中的至少一个,来准确地计算当前的三维位置。当前,使用三个卫星来计算位置和时间信息,并且然后使用另一个卫星来修正计算出的位置和时间信息的误差。此外,GPS模块115能够通过连续地计算实时当前位置来计算速度信息。
参照图1,音频/视频(A/V)输入单元120被构造为向移动终端100提供音频或视频信号输入。如图所示,A/V输入单元120包括摄像头121和麦克风122。在视频呼叫模式或拍摄模式下,摄像头121接收并处理由图像传感器获得的静态图像或视频的图像帧。并且,处理后的图像帧可以显示在显示器151上。
经摄像头121处理后的图像帧可以存储在存储器160中,或者可以经由无线通信单元110向外部发送。可选地,根据使用环境,可以为移动终端100提供至少两个摄像头121。
麦克风122在便携式设备处于特定模式(例如,电话呼叫模式、录制模式和语音识别)时接收外部音频信号。该音频信号被处理并被转换为电音频数据。处理后的音频数据被转换成在呼叫模式的情况下可以经由移动通信模块112发送到移动通信基站的格式。麦克风122通常包括配套的噪声消除算法,以消除在接收外部音频信号的过程中产生的噪声。
用户输入单元130响应于用户对相关联的(单个/多个)输入装置的操作而生成输入数据。这些装置的示例包括设置到移动终端100的前面/后面/侧面的按钮136和触摸传感器(恒压式/静电式)137,并且可以进一步包括键盘、薄膜开关、拨轮(jog wheel)、拨动开关等(图中未示出)。
感测单元140使用移动终端各方面的状态测量结果,来提供用于控制移动终端100的操作的感测信号。例如,感测单元140可以检测移动终端100的打开/闭合状态、移动终端100的部件(例如,显示屏和键盘)的相对定位、移动终端100或者移动终端100的部件的位置变化、用户与移动终端100之间是否存在接触、移动终端100的取向或加速/减速。通过非限制性示例,这样的感测单元140包括陀螺仪传感器、加速度传感器、地磁传感器。
作为示例,考虑被构造为滑盖式移动终端的移动终端100。在这种构造中,感测单元140可以感测移动终端的滑动部是打开还是闭合。其它示例包括如下的感测单元140,该感测单元140感测是否存在由电源190提供的电力、接口单元170与外部装置之间是否存在耦接或者其它连接。并且,感测单元140可以包括接近传感器141。
输出单元150生成与视觉、听觉、触觉等有关的输出。并且,输出单元150包括显示器151、音频输出模块152、告警单元153、触觉模块154等。
显示器151通常实现为可视地显示(输出)与移动终端100相关联的信息。例如,如果移动终端工作在电话呼叫模式下,则显示器通常将提供如下用户接口(UI)或图形用户接口(GUI),该用户接口(UI)或图形用户接口(GUI)包括与发起(placing)电话呼叫、执行电话呼叫和终止电话呼叫相关联的信息。作为另一示例,如果移动终端100处于视频呼叫模式或拍照模式,则显示器151可以另外地或另选地显示与这些模式、UI或GUI相关联的图像。
可以使用公知的显示技术来实现显示模块151,公知的显示技术例如包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器和三维显示器。移动终端100可以包括这些显示器中的一个或更多个。
上述显示器中的一些可以被实现为透明型或光透射型,其可被称为透明显示器。作为透明显示器的典型示例,存在TOLED(透明OLED)等。显示器151的后部构造也能实现为光透射型。在这种构造中,用户能够穿过由终端机体的显示器151所占的区域看到位于终端机体背后的对象。
根据移动终端100的实现构造,可以为移动终端100提供至少两个显示器151。例如,可以按照彼此间隔开或者一体设置的方式来将多个显示器布置在移动终端100的单个面上。另选地,可以将多个显示器设置在移动终端100的不同面上。
在显示器151与触摸传感器137构成共同的层结构(在下文中称为“触摸屏”)的情况下,可以将显示器151用作输入装置以及输出装置。在这种情况下,能将触摸传感器构造为触摸膜、触摸片、触摸板等。
触摸传感器137可以被构造为将施加到显示器151的特定部分的压力或从显示器151的特定部分产生的电容变化转换为电输入信号。此外,能够将触摸传感器137构造为检测触摸压力以及触摸位置或大小。
如果对触摸传感器137进行了触摸输入,则对应于该触摸的信号被传送到触摸控制器。触摸控制器对该信号进行处理,然后将处理后的信号传送到控制器180。因此,控制器180能够知道是否触摸了显示器151的规定部分。
参照图2,能将接近传感器(141)设置到移动终端100的由触摸屏包围或在触摸屏周围的内部区域。接近传感器是如下的传感器,该传感器不进行机械接触而使用电磁场强度或红外线,来检测是否有正在接近规定检测表面的对象或是否有存在于接近传感器周围的对象。因此,接近传感器的寿命比接触式传感器更长,并且还具有比接触式传感器更广泛的应用。
接近传感器可以包括如下各项中的一种:透射光电传感器、直接反射光电传感器、镜面反射光传感器、射频振荡接近传感器、静电电容接近传感器、磁接近传感器、红外接近传感器等传感器。在触摸屏包括静电电容接近传感器的情况下,其被构造为利用根据指点器的接近的电场变化来检测指点器的接近。在这种情况下,可以将触摸屏(触摸传感器)归类为接近传感器。
为了下面描述的清楚和方便起见,当指点器接近但不接触触摸屏时,如果指点器被察觉为位于触摸屏上方,则这样的动作应称作“接近触摸”。如果指点器实际接触触摸屏,则这样的动作应称作“接触触摸”。触摸屏上方的使用指点器的接近触摸位置可以表示:当触摸屏与指点器进行接近触摸时指点器与触摸屏垂直相对的位置。
接近传感器检测接近触摸和接近触摸模式(例如,接近触摸距离、接近触摸持续时间、接近触摸位置、接近触摸位移(shift)状态等)。并且,可以将与检测到的接近触摸动作和检测到的接近触摸模式相对应的信息输出到触摸屏。
音频输出模块152可以在包括呼叫接收模式、呼叫发起模式、录制模式、语音识别模式、广播接收模式等多种模式下发挥作用,以输出从无线通信单元110接收或存储在存储器160中的音频数据。在操作时,音频输出模块152输出与特定功能(例如,呼叫接收、消息接收等)相关的音频。通常使用一个或更多个扬声器、蜂鸣器、其它音频产生设备及其组合来实现音频输出模块152。
告警单元153输出用于通知发生了与移动终端100相关联的特定事件的信号。典型事件包括呼叫接收事件、消息接收事件和触摸输入接收事件。告警单元153能够通过振动以及视频信号或音频信号来输出用于通知事件发生的信号。视频信号或音频信号能经由显示器151或音频输出单元152输出。因此,可以将显示器151或音频输出模块152视为告警单元153的一部分。
触觉模块154生成用户可以感测的各种触觉效果。振动是由触觉模块154生成的触觉效果的一个代表。由触觉模块154生成的振动的强度和模式是可控制的。例如,不同振动可以以合成在一起的方式输出,或者依次输出。
触觉模块154能够生成多种触觉效果以及振动。例如,触觉模块154生成归于相对于接触皮肤表面垂直移动的针列的效果、通过归于喷孔/吸孔的空气喷力/吸力的效果、归于掠过皮肤表面的效果、归于接触电极的效果、归于静电力的效果、归于利用吸热或放热装置再现冷/热感的效果等。
触觉模块154可被实现为使得用户能够通过手指、手臂等的肌觉(muscle sense)来感觉触觉效果,以及通过直接接触传递触觉效果。可选地,根据移动终端100的相应构造类型,可以为移动终端100提供至少两个触觉模块154。
存储单元160通常用于存储各种类型的数据,以支持移动终端100的处理、控制和存储需求。这些数据的示例包括在移动终端100上运行的应用的程序指令、联系人数据、电话簿数据、消息、音频、静止图像(或照片)、运动图像等。并且,可以将各种数据的最近使用历史或累计使用频率(例如,各个电话薄、各个消息或各个多媒体的使用频率)存储在存储单元160中。此外,可以将用于在触摸输入到触摸屏的情况下输出的多种模式的振动和/或声音的数据存储在存储单元160中。
存储器160可以利用任意类型的合适的易失性和非易失性存储器或者存储设备或它们的组合来实现,这些存储器或存储设备包括:硬盘、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘、多媒体卡微型存储器、卡式存储器(例如,SD存储器、XD存储器等)或其它类似的存储器或数据存储设备。并且,移动终端100能够与用于在网络上执行存储器160的存储功能的网络存储器相关联地进行工作。
接口单元170通常实现为将移动终端100与外部装置耦接。接口单元170从外部装置接收数据,或被提供电力,然后将数据或电力传送到移动终端100的各个元件,或使得移动终端100内的数据可以传送到外部装置。可以使用有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于耦接到具有识别模块的设备的端口、音频输入/输出端口、视频输入/输出端口、耳机端口等来构造接口单元170。
识别模块是用于存储用于认证移动终端100的使用权限的各种信息的芯片,并且可以包括用户识别模块(UIM)、订户识别模块(SIM)、通用订户识别模块(USIM)等。具有识别模块的装置(在下文中称为“识别装置”)可以制造为智能卡。因此,该识别装置可以经由相应的端口连接到移动终端100。
当移动终端110连接到外部托架(cradle)时,接口单元170成为用于从托架向移动终端100提供电力的通路,或用于将用户从托架输入的各种命令信号传送给移动终端100的通路。从托架输入的各种命令信号中的每一个或电力可以被用作使移动终端100能够确认其已经正确地装载在托架中的信号。
控制器180通常控制移动终端100的总体操作。例如,控制器180执行与语音呼叫、数据通信、视频呼叫等相关联的控制和处理。控制器180可以包括提供多媒体回放的多媒体模块181。多媒体模块181可以构造为控制器180的一部分,或实现为独立的部件。
此外,控制器180可以执行用于将在触摸屏上进行的写入输入和画图输入分别识别为字符或图像的图案(或图像)识别处理。
电源单元190向移动终端100提供各个部件所需的电力。电力可以是内部电力、外部电力或其组合。
电池可以包括内置可再充电电池,并且可以可拆卸地附接到终端机体,以进行充电等等。连接端口可以被构造为经由其电连接用于提供电池充电的电力的外部充电器的接口170的一个示例。
这里描述的各种实施方式可以例如使用计算机软件、硬件或它们的某些组合在计算机可读介质中实现。
对于硬件实现,这里描述的实施方式可以在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计为执行在此描述的功能的其它电子单元、或其选择性组合之中实现。这些实施方式还可以由控制器180来实现。
对于软件实现,在此描述的实施方式可以利用独立软件模块(例如,过程和函数)来实现,每个软件模块都执行在此描述的一个或更多个功能和操作。软件代码可以用以任意合适的编程语言编写的软件应用程序来实现,并且可以存储在存储器(例如,存储器160)中,并由控制器或处理器(例如,控制器180)执行。
图2是根据本发明的一种实施方式的移动终端的正视立体图。
图中所示的移动终端100具有直板式(bar-type)终端机体。不过,可以利用多种不同的构造来实现移动终端100。这些构造的示例包括折叠式(folder-type)、滑盖式(slide-type)、旋转式(rotational-type)、旋盖式(swing-type)及其组合。出于清楚的目的,以下公开将主要涉及直板式移动终端100。然而,这些方案也同样适用于其它类型的移动终端。
参照图2,移动终端100包括形成其外表(exterior)的壳体(101、102、103)。在本实施方式中,可以将壳体划分为前壳体101和后壳体102。在前壳体101与后壳体102之间的空间中装载了各种电气/电子部件。
可选地,电子部件能够安装在后壳体102的表面上。安装在后壳体102的表面上的电子部件可以包括诸如电池、USIM卡、存储卡等这样的可拆卸部件。因此,后壳体102可以进一步包括背盖103,其被构造为覆盖后壳体102的表面。特别地,背盖103具有方便用户的可拆卸构造。如果背盖103从后壳体102卸下,则露出后壳体102的表面。
参考图2,如果背盖103附接到后壳体102,则可以部分地露出后壳体102的侧面。如果背盖103的尺寸减小,则可以部分地露出后壳体102的后面。如果背盖103覆盖后壳体102的整个后面,则其可以包括被构造为将摄像头121'或音频输出单元152'暴露到外部的开口103'。
壳体101、102和103例如通过合成树脂的注塑成型(injection molding)来形成,或可以由诸如不锈钢(STS)、钛(Ti)等这样的金属材料形成。
可以在壳体101或102设置显示器151、音频输出单元152、摄像头121、用户输入单元130/131和132、麦克风122、接口170等。
显示器151占据了前壳体101的大部分主面。音频输出单元152和摄像头121设置在与显示器151的两个端部中的一个端部相邻的区域,而用户输入单元131和麦克风122设置在与显示器151的另一端部相邻的另一区域。用户输入单元132和接口170可以设置在前壳体101和后壳体102的侧面。
输入单元130***纵为接收用于控制终端100的操作的命令。并且,输入单元130可以包括多个操纵单元131和132。操纵单元131和132可称作操纵部,并且可以采用使得用户能够通过触觉感受而执行操纵动作的任何触觉方式的机制。
可以将由第一操纵单元131或第二操纵单元132输入的内容设置为互不相同。例如,将诸如开始、结束、滚动等这样的命令输入到第一操纵单元131。并且,可以将用于对从音频输出单元152等等输出的声音进行音量调整的命令输入到第二操纵单元132,可以将用于切换到显示器151等等的触摸识别模式的命令输入到第二操纵单元132。
图3是在图2中示出的终端的后侧的立体图。
参照图3,摄像头121’可以附加地设置到在终端机体的后侧,并且更具体地,可以设置到后壳体102上。摄像头121’具有与图2中所示的前述摄像头121基本上相反的拍摄方向,并且可以具有与前述摄像头121不同的像素。
例如,优选地,前述摄像头121具有足以拍摄并发送用于视频呼叫的用户脸部图像的低像素,而后述摄像头121’具有用于拍摄普通摄影对象而不发送所拍摄对象的高像素。并且,摄像头121和摄像头121’中的每个可以按照可以旋转或弹出的方式安装在终端机体上。
在摄像头121’的附近附加地设置闪光灯123和镜124。当使用摄像头121’拍摄对象时,闪光灯123向对象投射光。在用户试图使用摄像头121’为该用户拍照(自拍)的情况下,镜124使用户能够看到由镜124反射的用户的脸部。
在终端机体的后侧可以设置附加的音频输出单元152’。附加的音频输出单元152’与图2中所示的前述音频输出单元152一起可以实现立体声功能,并且可以用于在通过终端通话时实现免提模式(speakerphone mode)。
在终端机体的侧面可以附加地设置广播信号接收天线116以及用于通信的天线等。构成图1所示的广播接收模块111一部分的天线116可以可伸缩地设置到终端机体上。
为了下面的描述的清楚和方便起见,假设在下面的描述中提及的移动终端100包括图1中所示的组件中的至少一个。特别地,假设根据本发明的移动终端100包括无线通信单元110、麦克风122、显示单元151、存储器160和控制器180。在一些情况下,假设根据本发明的移动终端100可以进一步包括感测单元140和音频输出模块152。
如果显示单元151包括触摸屏,则能够进一步有利于本发明的实施。因此,在下面的描述中,假设显示单元151包括触摸屏。如果显示单元151包括触摸屏,则显示单元151能够用作:用于显示诸如应用图标、应用小插件等等的显示装置,以及用作用于接收来自用户的触摸输入的输入装置。此外,在下面的描述中,通过显示单元151输出为图标、按钮、文本、指示符等等的这种视觉可识别信息将统称为“对象”。
一般来说,用户能够通过触摸显示单元151来适合地控制移动终端100的操作。例如,图4是用于描述对于特定对方发起电话呼叫的用户输入的一个示例的图。
参考图4,为了对于特定对方发起电话呼叫,用户能够通过适当地运行电话簿应用和电话应用来对想要的特定对方发起电话呼叫。例如,如果触摸了电话簿应用图标,则参考图4A,控制器180运行电话簿应用,并且还能够控制在存储器160中保存的电话簿(即,联系人列表)来进行显示。接下来,用户能够通过对搜索窗口410输入想要的对方的名称或者施加滚动输入,来找到对方。根据图4B中所示的示例,当对方的名称“Jane”被输入到搜索窗口410时,用户找到要对其发起电话呼叫的对方。
之后,如果用于呼叫所找到的对方的电话按钮420被触摸,则参考图4C,控制器180能够通过无线通信单元110对所找到的对方发起电话呼叫。
此外,如果用于向所找到的对方发送消息的消息按钮被触摸,则控制器180可以控制用于编写将要发送给所找到的对方的消息的消息编写画面,来进行显示(图中未示出)。
如参考图4在上面所描述的,为了用户对想要的对方发起电话呼叫或者发送消息,需要从电话簿找到想要的对方。然而,该方法需要施加用于搜索想要的对方的额外的触摸输入(例如,滚动联系人列表的输入、对搜索窗口输入想要的对方的名字的触摸输入等等)以及用于运行电话簿应用的触摸输入。当由于接收额外的触摸输入所花费的时间而延迟了对想要的对方的搜索时,上述方法并不适合于用户快速地查找想要的对方。
为了解决上述问题,某个移动终端提供了一种通过语音命令来发起电话呼叫(或发送消息)的方法。例如,如果运行了语音命令应用(例如,可在安卓OS(操作***)上运行的LG的Q语音、三星的S语音、可在Windows 8OS上运行的Cortana、可在iOS上运行的Siri等等),控制器180能够基于通过麦克风122输入的语音命令来控制移动终端100。
例如,如果输入了语音命令“呼叫妈妈”,则控制器180从单词“呼叫”识别出应该运行电话应用,从电话簿提取被认为是呼叫对象的人物“妈妈”的联系人,并且对所提取的联系人发起电话呼叫。
然而,由于上述语音命令应用需要用于从由用户输入的语音命令分离指示将要运行的应用的单词和指示对应于通信目标的人物的单词的处理,则会产生由于分析关于发起电话呼叫的语音命令所花费的时间而导致的延迟。此外,由于用户必须说出将要运行的应用以及作为通信目标的所有字符,因此,语音命令的长度自然地增加,这会称为劣化了语音命令的准确识别的原因之一。
因此,本发明提供了一种移动终端100,其能够在没有用户额外的触摸输入的情况下通过语音快速地搜索想要的对方,并且本发明意在公开一种移动终端100,其能够通过减少语音命令的长度而增加语音命令的识别率,并且减少分析语音命令所花费的时间。在下面的描述中,参考所附的操作流程图来详细解释根据本发明的移动终端100。
首先,在显示单元151上,可以显示:运行用于对规定的对方发起电话呼叫的电话应用的电话图标、运行用于将消息发送给规定对方的消息应用的消息图标、运行电子邮件应用的电子邮件图标、搜索规定对方的联系人的电话簿图标等等。在该情况下,消息图标可以包括用于发送文本消息(例如,SMS、LMS、MMS等等)的文本消息图标以及用于发送即时消息的即时消息图标中的至少一个。
根据本发明的移动终端100通过触摸上述图标中的一个来确定将要运行的图标,并且还通过语音来选择要在将要运行的应用上处理的目标。特别地,根据本发明,用户不需要说出指示将要运行的应用的单词(例如,“呼叫妈妈”)以及用于选择将要在将要运行的应用上处理的目标的单词(例如,“妈妈”)。由于通过用户的触摸输入来指示将要运行的应用,因此,用户仅说出选择将要在将要运行的应用上处理的目标的单词(例如,“妈妈”)就足够了。因此,由于减少了用户的语音命令的长度,因此能够减少分析语音花费的时间并且还能够增加语音识别率。
下面参考附图对利用指点器触摸的每种类型的图标来详细描述根据本发明的移动终端100。
图5是描述在触摸了电话图标的情况下的移动终端的操作的流程图
参考图5,在利用指点器触摸了电话图标(S501)之后,如果对于电话图标的触摸被保持了规定时间(S502),则控制器180能够激活麦克风122(S503)。另一方面,如果对于电话图标的触摸没有被保持规定时间(S502),而是指点器立即从电话图标离开,则控制器180可以能够运行电话应用(S504)。
控制器180能够仅在保持指点器对电话图标的触摸的情况下将麦克风122控制为处于激活状态。特别地,如果对于电话图标或消息图标的触摸被释放,或者指点器离开了触摸电话图标的位置,则控制器180能够去激活麦克风122。
当麦克风122被激活时,控制器180能够控制显示弹出窗口,以便于向用户通知麦克风122被激活,并且指示认为是由用户通过语音输入的字段值。
例如,图6A至图6C是通过显示单元显示弹出窗口的一个示例的图。参考图6A,在已经触摸了电话图标602之后,如果对于电话图标602的触摸被保持规定时间,则控制器180能够控制显示用于指导用户通过语音输入通话对方的名称的弹出窗口610。例如,图6A中所示的弹出窗口610指示用户应该通过语音来输入通话对方的联系人。
控制器180可以控制用于介绍将要运行的功能的指示符620与指示认为是由用户通过语音输入的字段值的弹出窗口610一起显示。与图6B中所示的示例类似地,控制器180能够控制用于介绍估计将要运行的应用的指示符620与指示认为是由用户通过语音输入的字段值的弹出窗口610一起显示。参考图6B,在电话图标602旁边显示具有与电话图标602相同的形状的指示符620。因此,用户可以能够预期到能够对通过语音指定的对方发起电话呼叫。
此外,为了引导用户通过语音输入将要通话的对方的名称,控制器180能够控制指示麦克风122被激活的指示符630。例如,参考图6C,在由指点器触摸的电话图标602上显示指示麦克风122被激活的麦克风形状的指示符630。
当指点器对电话图标的触摸被保持时,如果输入了用户语音(S505),则控制器180能够通过分析用户语音来确定通话对方(S506)。特别地,如果在电话簿中登记了匹配用户语音的人物,则控制器180能够将对应的人物的电话号码确定为通话对方。又如,如果用户语音仅指示了数字,则控制器180能够将用户语音到文本的转换结果确定为将要拨打的电话号码。
例如,图7A至图7C是将用户语音指示的人物确定为通话目标的一个示例的图。参考图7A,当指点器720对电话图标710的触摸被保持时,如果通过麦克风122输入了用户语音“Jane”,则控制器180能够检查人物“Jane”是否登记在电话簿中。参考图7B,如果人物“Jane”登记在电话簿中,则控制器180能够控制使得来自用户语音到文本或对应的人物的信息(例如,对应的人物的名称、对应的人物的电话号码、对应的人物的照片等等)的转换的结果显示在弹出窗口730上。用户能够通过检查显示在弹出窗口730上的信息来确认是否正确地识别了用户语音。
如果匹配用户语音的人物没有登记在电话簿中,则参考图7C,控制器180能够控制通过弹出窗口730来显示指示没有找到匹配人物的文本。
当指点器对电话图标的触摸被保持时,用户可以利用语音说出多个人物的名称。在该情况下,控制器180从电话簿中检查由用户语音指示的多个人物,并且然后能够将被确认登记在电话簿中的所有人物确定为通话对方。
如果用户连续地说出多个人物的名称,则控制器180会难以准确地区分出用户说出了单个人物的名称还是多个人物的名称。例如,如果用户说出“Jane Simpson”,则可能不清楚的是,对应的用户语音是指示单个人物“Jane Simpson”还是指示两个人物“Jane”和“Simpson”。因此,如果在用户语音中包括了用于将人物彼此区分的预置单词,则根据本发明的移动终端100能够使用预置的单词作为边界来区分多个人物中的每个人物。
例如,如果预置单词是“和”并且用户语音是“Jane和Simpson”,则控制器180参考预置单词“和”来将用户语音分离为单词“Jane”和单词“Simpson”,并且然后能够从电话簿提取人物“Jane”的联系人和人物“Simpson”的联系人。
之后,如果指点器对电话图标的触摸被释放(或取消)或者接收到指点器的第一拖拽(S507),则控制器180能够对被确定要呼叫的对方发起电话呼叫(S508)。另一方面,如果接收到指点器的第二拖拽输入(S507),则控制器180取消该确定(即,将由语音命令指示的人物确定为要呼叫的对方),并且可以不对对应的对方发起电话呼叫(S509)。
因此,第一拖拽输入可以包括:将指点器从电话图标拖拽到预置第一区域的动作;或者在第一方向上移动指点器的动作。第二拖拽输入可以包括:将指点器从电话图标拖拽到预置第二区域的动作;或者在第二方向上移动指点器的动作。
例如,图8A至图8E是描述指点器离开电话图标的情况下的移动终端的操作的示例的图。
参考图8A至图8C,当确定了待呼叫的对方时,如果指点器820从具有电话图标810的联系人释放(图8A)或者接收到第一拖拽输入(例如,在第一方向上拖拽指点器820的输入等等)(图8B),则控制器180能够对待呼叫的对方发起电话呼叫(图8C)。
另一方面,参考图8D和图8E,当确定了待呼叫的对方时,如果接收到第二拖拽输入(例如,在第二方向上拖拽指点器820的输入等等)(图8D),则控制器180能够去激活麦克风122而没有对待呼叫的对方发起电话呼叫(图8E)。
特别地,如果用户确定待呼叫的对方被正确地确定,则用户能够通过利用触摸屏将指点器820从联系人释放或者施加第一拖拽输入,来对所确定的对方发起电话呼叫。另一方面,如果用户确定待呼叫的对方由于语音识别错误而被错误地确定,则用户能够通过施加第二拖拽输入来避免对错误确定的对方发起电话呼叫。
当多个人物被确定为待呼叫的对方时,如果指点器与联系人的接触被释放或者接收到第一拖拽输入,则控制器180能够尝试对所述多个对方发起多用户通话(会议通话)。
根据图8A至图8E中所示的示例,第一拖拽输入是以在第一方向上移动指点器820的拖拽动作,并且第二拖拽是以在第二方向上移动指点器820的拖拽动作。根据这些示例,第一方向包括上方向,并且第二方向包括右方向。第一方向和第二方向不受到图8A至图8E中所示的方向的限制。并且,第一方向和第二方向可以被设置为不同于对应的附图中所示的方向。
此外,如前述描述中所提及的,第一拖拽输入可以包括将指点器移动到预置第一区域的动作,并且第二拖拽输入可以包括将指点器移动到预置第二区域的动作。例如,如果第一区域是图6B中所示的电话指示符620的显示区域,并且第二区域是除了该显示区域之外的区域,则第一拖拽输入可以包括将指点器从电话图标拖拽到电话指示符的动作,并且第二拖拽输入可以包括将指点器从电话图标拖拽到电话指示符之外的区域的动作。
此外,当还没有确定待呼叫的对方时,如果使指点器与联系人的接触释放,或者离开电话图标,则控制器180确定用户没有想要发起电话呼叫,并且然后能够去激活麦克风122(附图中未示出)。
图9是描述当触摸电话簿图标时移动终端的操作的流程图。
参考图9,在利用指点器触摸了电话簿图标(S901)之后,如果对电话簿图标的触摸被保持规定时间(S902),则控制器180能够激活麦克风122(S903)。另一方面,如果对电话簿图标的触摸没有被保持规定时间(S902)而是指点器立即从电话簿图标释放,则控制器180可以能够运行电话簿应用(S904)。
控制器180能够仅在指点器对电话簿图标的触摸被保持的情况下控制麦克风122处于激活状态。
当麦克风122被激活时,控制器180能够控制弹出窗口以进行显示,以便于向用户通知麦克风被激活并且指示用户想要通过语音输入的字段值。
例如,图10A至图10C是通过显示单元显示弹出窗口的一个示例的图。参考图10A,在电话簿图标1002被触摸之后,如果对电话簿图标102的触摸被保持规定时间,则控制器180能够控制用于引导用户输入想要由用户通过语音输入的字段值的弹出窗口1010以进行显示。例如,图10A中所示的弹出窗口1010指示:想要由用户通过语音输入的字段值为规定的对方的名称。
控制器180可以控制用于介绍将要运行的功能的指示符与指示想要由用户通过语音输入的字段值的弹出窗口1010一起显示。与图10B中所示的示例类似地,控制器180能够控制用于介绍估计将要运行的功能(即,联系人显示)的指示符与指示想要由用户通过语音输入的字段值的弹出窗口1010一起显示。参考图10B,在电话簿图标1002附近显示具有与电话簿图标1002相同形状的指示符1020。因此,用户可以能够预期:能够显示通过语音指定的对方的联系人。
此外,为了引导用户通过语音输入将要呼叫的对方的名称,控制器180能够控制指示麦克风122被激活的指示符以进行显示。例如,参考图10C,指示麦克风122被激活的麦克风形状的指示符显示在用指点器触摸的电话簿图标1002上。
当指点器对电话簿图标的触摸被保持时,如果输入了用户语音(S905),则控制器180能够通过分析用户语音来确定在电话簿中将要搜索的对方(S906)。特别地,如果由用户语音指示的人物被登记在电话簿,则控制器180能够将由用户语音指示的对应的人物确定为在电话簿中将要搜索的对方。
例如,图11A至图11C是将用户语音指示的人物确定为搜索目标的一个示例的图。参考图11A,当指点器1120对电话簿图标1110的触摸被保持时,如果输入了用户语音“Jane”,则控制器180能够检查人物“Jane”是否登记在电话簿。参考图11B,如果人物“Jane”登记在电话簿,则控制器180能够控制来自用户语音到文本或对应的人物的信息(例如,对应的人物的名称、对应的人物的电话号码、对应的人物的照片等等)的转换的结果显示在弹出窗口1130上。用户能够通过检查显示在弹出窗口1130上的信息来确认是否正确地识别了用户语音。
如果由用户语音指示的人物没有登记在电话簿中,则参考图11C,控制器180能够控制指示没有找到匹配人物的文本通过弹出窗口1130进行显示。
如前面的描述中提及的,当指点器对电话簿图标的触摸被保持时,用户能够利用语音说出多个人物的名称。
之后,如果指点器对电话簿图标的触摸被释放(或取消)或者接收到指点器的第一拖拽输入(S907),则控制器180能够控制被确定为要显示的搜索目标的对方的联系人信息进行显示(S908)。另一方面,如果接收到指点器的第二拖拽输入(S907),则控制器180取消该确定(即,将语音命令指示的人物确定为搜索目标),并且可以不显示对应的对方的联系人信息(S909)。
由于在触摸电话图标的情况下在实施方式的前面的描述中提及了第一拖拽输入和第二拖拽输入,因此,在下面的描述中将省略其细节。
例如,图12A至图12E是描述在指点器离开电话簿图标的情况下的移动终端的操作的示例的图。
参考图12A至图12C,当确定了将要在电话簿中搜索的对方时,如果指点器1220与电话簿图标1210的接触被释放(图12A),或者接收到第一拖拽输入(例如,在第一方向上拖拽指点器1220的输入等等)(图12B),则控制器180能够控制包括将要在电话簿中搜索的对方的联系人信息的弹出窗口1230,以通过显示单元151进行显示(图12C)。在该情况下,联系人信息可以包括包括在电话簿中登记的对方的名称、电话号码和电子邮件地址等等。
与图12C中所示的示例类似地,控制器180可以控制进一步显示电话按钮1242、消息按钮1244、电子邮件按钮1246等等。在该情况下,电话按钮1242用于对对方的电话号码发起电话呼叫,消息按钮1244用于向对方的电话号码发送消息,并且电子邮件按钮1246用于将电子邮件发送给对方的电子邮件地址。因此,能够根据对方的电话号码或电子邮件地址是否登记在电话簿中来调整可显示的按钮的类型。例如,如果对方的电话号码没有登记在电话簿中,则可以不显示电话按钮1242和消息按钮1244。如果对方的电子邮件地址没有登记在电话簿中,则可以不显示电子邮件按钮1246。
此外,如果电话按钮1242被触摸,则可以对对方的电话号码发起电话呼叫(附图中未示出)。如果消息按钮1244被触摸,则可以显示用于编写消息以发送到对方的电话号码的消息编写画面(附图中未示出)。如果电子邮件按钮1246被触摸,则可以显示用于编写要发送到对方的电子邮件地址的电子邮件的电子邮件编写画面(附图中未示出)。
另一方面,参考图12D和图12E,当确定了将要在电话簿中搜索的对方时,如果接收到第二拖拽输入(例如,在第二方向上拖拽指点器1220的输入等等)(图12D),则控制器180能够去激活麦克风122而没有显示将要在电话簿中搜索的对方的联系人信息(图12E)。
特别地,如果用户确定正确地确定了将要在电话簿中搜索的对方,则用户能够通过使指点器与触摸屏的接触释放或者施加第一拖拽输入,来控制所确定的对方的联系人信息以进行显示。另一方面,如果用户确定由于语音识别错误而错误地确定了将要在电话簿中搜索的对方,则用户能够通过施加第二拖拽输入来避免显示错误地所确定的对方的联系人信息。
当多个人物被确定为将要针对其搜索电话簿的对方时,如果与指点器的接触释放或者接收到第一拖拽输入,则控制器180可以控制使得多个对方中的每一个的联系人信息通过显示单元151来进行输出。
此外,当还没有确定将要针对其搜索电话簿的对方时,如果指点器与触摸屏的接触释放或者离开电话簿图标,则控制器180确定用户不想要在电话簿中搜索随机人物的联系人信息,并且然后能够去激活麦克风122(附图中未示出)。
根据图9中所示的示例,如果与指点器的触摸被释放或者施加了指点器的第一拖拽输入(S907),则显示被确定为搜索目标的对方的联系人信息(S908)。另一方面,根据本发明的移动终端100能够在确认由用户语音指示的人物登记在电话簿中时立即显示联系人信息。如前面参考图12C的描述中提及的,能够将电话按钮、消息按钮、电子邮件按钮等等与联系人信息一起显示。
因此,控制器180能够响应于指点器拖拽位置来确定用于与所找到的对方通信的手段。将参考下面的图13A至图13H进行详细描述。
图13A至图13H是在指点器被拖拽移动到的每个位置的移动终端的操作的示例的图。
参考图13A和图13B,如果指点器1320被从电话簿图标1310拖拽移动到电话按钮1342(图13A),则控制器180能够对对方的电话号码发起电话呼叫(图13B)。
另一方面,参考图13C和图13D,如果指点器1320被从电话簿按钮1310拖拽移动到消息按钮1344(图13C),则控制器180能够控制使得显示用于编写要发送到对方的消息的消息编写画面(图13D)。
又如,参考图13E和图13F,如果指点器1320被从电话簿按钮1310拖拽移动到电子邮件按钮1346(图13E),则控制器180能够控制使得显示用于编写要发送到对方的电子邮件的电子邮件编写画面(图13F)。
又如,参考图13G和图13H,如果指点器1320被从电话簿图标1310拖拽移动到包括联系人信息的弹出窗口1330(图13G),则控制器180能够控制使得显示对方的详细联系人信息(图13H)。
此外,如果指点器1320被拖拽移动到除了用于显示诸如按钮1342、1344和1346这样的对象、弹出窗口1330等等的区域之外的区域,则控制器180通过确定用户语音被错误地识别,来停止显示按钮1342、1344和1346、弹出窗口1330等等,并且可以能够去激活麦克风122(图中未示出)。
当消息图标被触摸时,如下地参考附图来详细描述移动终端100的操作。
图14是描述在触摸消息图标的情况下的移动终端的操作的流程图。在下面的示例的描述中,消息图标可以包括:用于将文本消息发送给特定电话号码的文本消息图标,或者用于将即时消息发送给特定昵称(或ID)的即时消息图标。
参考图14,在用指点器触摸了消息图标之后(S1401),如果对消息图标的触摸被保持了规定时间(S1402),则控制器180能够激活麦克风122(S1403)。另一方面,如果对消息图标的触摸没有被保持规定时间(S1402)而指点器立即从消息图标释放,则控制器180可以能够运行消息应用(S1404)。
控制器180能够仅在指点器对消息图标的触摸被保持的情况下控制麦克风122保持在激活状态。
当麦克风122被激活时,控制器180能够控制使得显示弹出窗口,以便于向用户通知麦克风122被激活,并且指示想要由用户通过语音输入的字段值。
例如,图15A至图15C是用于通过显示单元显示弹出窗口的一个示例的图。参考图15A,在消息图标1502被触摸之后,如果对消息图标1502的触摸被保持规定时间,则控制器180能够控制使得显示用于引导用户输入想要由用户通过语音输入的字段值的弹出窗口1510。例如,图15A中所示的弹出窗口指示:将要由用户通过语音输入的字段值是规定对方的联系人。
控制器180可以控制使得:用于介绍将要运行的功能的指示符与指示将要由用户通过语音输入的字段值的弹出窗口1510一起显示。与图15B中所示的示例类似地,控制器180能够控制使得:用于介绍估计将要运行的功能(即,消息发送)的指示符与指示将要由用户通过语音输入的字段值的弹出窗口1510一起显示。参考图15B,在消息图标1502旁边显示具有与消息图标1502相同的形状的指示符1520。因此,用户可以能够预期到能够对通过语音指定的对方发送消息。
此外,为了引导用户通过语音输入将要通话的对方的联系人,控制器180能够显示指示麦克风122被激活的指示符1530。例如,参考图15C,在指点器触摸的消息图标1502上显示指示麦克风122被激活的麦克风形状的指示符1530。
当指点器对消息图标的触摸被保持时,如果输入了用户语音(S1405),则控制器180能够通过分析用户语音来确定消息将要发送到的对方(S1406)。特别地,在想要发送使用电话号码作为媒介发送的文本消息的情况下(即,在触摸文本消息图标的情况下),可以能够通过检查匹配用户语音的人物是否登记在电话簿中来确定消息发送到的对方。在想要发送使用在消息服务器中登记的昵称(或ID)作为媒介发送的即时消息的情况下(即,在触摸即时消息图标的情况下),可以能够通过检查用户语音指示的人物是否登记在用户的聊天列表中来确定消息将发送到的对方。在该情况下,可以通过无线通信单元110从消息服务器接收用户的聊天列表。
又如,如果用户语音仅指示数字,则控制器180能够将来自用户语音到文本的转换的结果确定为消息将要发送到的电话号码。
例如,图16A至图16C是将由用户语音指示的人物确定为消息将要发送到的目标的一个示例的图。参考图16A,当指点器1620对消息图标1610的触摸被保持时,如果输入了用户语音“Jane”,则控制器180能够检查人物“Jane”是否登记在电话簿或消息服务器中。参考图16B,如果人物“Jane”登记在电话簿或消息服务器中,则控制器180能够控制使得来自用户语音到文本或信息(例如,对应的人物的名称、对应的人物的昵称、对应的人物的ID、对应的人物的电话号码、对应的人物的照片等等)的转换的结果显示在弹出窗口1630上。用户能够通过检查显示在弹出窗口1630上的信息来确认是否正确地识别了用户语音。
如果用户语音指示的人物没有登记在电话簿或消息服务器中,则参考图16C,控制器180能够控制使得通过弹出窗口1630来显示指示没有找到匹配人物的文本。
如前面对于保持指点器对电话图标的触摸的情况下的实施方式的描述中所提及的,当指点器对消息图标的触摸被保持时,用户能够利用语音说出多个人物的名称。
之后,如果指点器对电话图标的触摸被释放(或取消)或者接收到指点器的第一拖拽输入(S1407),则控制器180能够控制使得显示用于编写要发送给被确定为消息的接收方的对方的消息的任务窗口(S1408)。另一方面,如果接收到指点器的第二拖拽输入(S1407),则控制器180可以取消消息到对方的发送(S1409)。
因此,由于在前面对在触摸电话图标的情况下的实施方式的描述中提及了第一和第二拖拽输入,因此将在下面的描述中省略其详细描述。
例如,图17A至图17E是描述在指点器离开消息图标的情况下的移动终端的操作的示例的图。
参考图17A至图17C,当确定了消息将要发送到的对方时,如果接收到第一拖拽输入(例如,在第一方向上拖拽指点器1720的输入等等)(图17A),则控制器180能够控制使得显示用于编写针对对方的消息的任务窗口1730(图17B)。
另一方面,参考图17D和图17E,当确定了消息将要发送到的对方时,如果接收到第二拖拽输入(例如,在第二方向上拖拽指点器1720的输入等等)(图17D),则控制器180能够去激活麦克风122而没有显示任务窗口1730(图17E)。
特别地,如果用户确定了消息将要发送到的对方被不正确地确定,则用户能够通过使指点器1720与触摸屏的接触释放或者施加第一拖拽输入,来控制使得显示用于输入要发送到所确定的对方的消息的任务窗口1730。另一方面,如果用户确定由于语音识别错误而使得消息将要发送到的对方被错误地确定,则用户能够通过施加第二拖拽输入来控制消息不被发送到错误确定的对方。
当多个人物被确定为消息将要发送到的对方时,如果释放了指点器1720的触摸或者接收到第一拖拽输入,则控制器180将多个对方指定为接收方,并且还控制使得显示用于编写将要发送给多个对方的消息的任务窗口。
此外,当还没有确定消息将要发送到的对方时,如果使指点器与触摸屏的接触释放或者指点器离开消息图标,则控制器180确定用户不想将消息发送给任意对方,并且然后能够去激活麦克风122(图中未示出)。
参考图17C,用于显示由用户输入的文本的编辑区域1732和用于激活麦克风122的麦克风按钮1734能够被包括在任务窗口1730中。如果麦克风按钮1734被触摸(S1410),则控制器180将在对麦克风按钮1734的触摸期间输入的用户语音转换为文本(即,STT(语音到文本)转换),并且能够在编辑区域上显示转换后的文本(S1411)。特别地,如果麦克风按钮1734被触摸,则用户能够输入将要发送给对方的消息内容。
之后,如果指点器对麦克风按钮1734的触摸被释放或者施加了指点器的第一拖拽输入(S1412),则控制器180能够将包括至此输入的文本的消息发送给对应的对方(S1413)。另一方面,如果施加了指点器的第二拖拽输入,则控制器180能够取消消息编写(S1414)。
例如,图18A至图18E是描述指点器离开麦克风按钮的情况下的移动终端的操作的示例的图。
参考图18A至图18C,当输入了将要发送给对方的消息时,如果指点器1820与麦克风按钮1810的接触被释放(图18A)或者接收到第一拖拽输入(例如,在第一方向上拖拽指点器1820的动作等等)(图18B),则控制器180能够控制将消息发送给对方(图18C)。
另一方面,参考图18D和图18E,当输入了将要发送给对方的消息时,如果接收到第二方向上的第二拖拽输入(例如,在第二方向上拖拽指点器1820的动作等等)(图18D),则控制器180能够控制使得删除通过语音输入的文本(图18E)。
特别地,如果用户想要的文本显示在编辑区域上,则用户能够通过使指点器与触摸屏的接触释放或者施加第一拖拽输入来将消息发送给对方。另一方面,如果由于语音识别错误使得与用户的意图不同的文本显示在编辑区域上,则用户施加第二拖拽输入,从而从编辑区域删除对应的文本,并且暂停将消息发送给对方的操作。
根据图14中所示的示例,仅在任务窗口的麦克风按钮被触摸(S1410)的情况下,通过麦克风按钮122输入的语音才能够被转换为文本(S1411)。又如,如果离开消息图标以显示任务窗口的指点器再次触摸了消息图标,则控制器180可以控制使得通过麦克风122输入的语音被转换为文本。特别地,虽然没有显示单独的麦克风按钮,但是能够通过触摸消息图标来控制是否激活麦克风122。
此外,当然的是,将发送给对方的消息不仅能够通过语音来编写,而且能够通过键盘(例如,物理键盘、虚拟键盘等等)(图中未示出)来编写。
根据图14中所示的示例,在用户语音被转换为文本之后,包括转换后的消息的消息被发送给对方。替代将用户语音转换为文本,控制器180记录用户语音,将记录的用户语音文件附于消息,并且然后能够将附有文件的消息发送给对方。
参考图14描述的实施方式可同样应用于电子邮件图标的情况。特别地,控制器180将在指点器对电子邮件图标的触摸被保持的情况下输入的用户语音所指示的人物,确定为整个电子邮件将被发送给的对方。如果指点器离开电子邮件图标,则控制器180能够控制使得显示用于编写将要发送给所确定的对方的电子邮件的任务窗口。此外,控制器180将在指点器对任务窗口的麦克风图标(或电子邮件图标)的触摸期间输入的语音转换为文本。如果指点器离开麦克风按钮(或电子邮件按钮),则控制器180能够将包括转换后的文本的电子邮件发送给对方
如前面参考图5、图9和图14的描述中提及的,根据本发明的移动终端100通过用户的触摸输入来确定将要运行的应用,并且能够控制使得通过语音来确定将要在应用上处理的目标。
虽然分别采用了电话应用、电话簿应用和消息应用作为参考图5、图9和图14描述的示例,但是根据本发明的移动终端100可应用于除了上述应用之外的其它应用。
例如,图19A至图19C是在触摸互联网图标的情况下的移动终端的操作的一个示例的图。
参考图19A至图19C,互联网图标1902可以表示用于运行网络浏览器的图标1902。如果指点器1920触摸了互联网图标1902打规定时间(如图19A中所示的示例那样),则控制器180能够控制使得显示介绍将要由用户通过语音输入的紫电纸的弹出窗口1910。根据图19A中所示的示例,将要由用户输入的字段是将应用于网络的搜索词。控制器180通过STT将在指点器1920触摸互联网图标1902时输入的语音转换为文本,并且然后能够将转换后的文本确定为将使用搜索引擎(例如,如谷歌、必应、雅虎、Naver等等的对关键词提供搜索结果的门户网站)寻找的目标。根据图19B中所示的示例,单词“韩国”被设置为搜索词。之后,如果对互联网图标1902的触摸被释放或者接收到第一拖拽输入,则参考图19C,控制器180能够显示通过搜索引擎对搜索词的搜索结果。
此外,在接收到第二拖拽输入的情况下,控制器180可以能够去激活麦克风122而没有单独的搜索处理(图中未示出)。
图20A至图20C是在触摸了告警图标的情况下的移动终端的操作的一个示例的图。
参考图20A至图20C,告警图标2002可以表示如下的图标2002,该图标2002用于运行用于在当前时间达到对其设置了告警的时间的情况下输出告警声音(或振动)的告警应用。如果指点器2020触摸了告警图标2002达规定时间,则如图20A中所示的示例那样,控制器180能够控制使得显示介绍将要由用户通过语音输入的字段值的弹出窗口2010。根据图20A中所示的示例,将要由用户输入的字段是对其设置了告警的时间。控制器180通过STT将在指点器2020触摸告警图标2002时输入的语音转换为文本,并且然后能够将转换后的文本确定为告警设置时间。根据图20B中所示的示例,告警时间被设置为8PM。之后,如果对告警图标2002的触摸被释放或者接收到第一拖拽输入,则参考图20C,控制器180能够添加对应于所设置的时间的新告警。
此外,在接收到第二拖拽输入的情况下,控制器180可以能够去激活麦克风122而没有添加告警(图中未示出)。
图21A至图21C是触摸了音乐图标的情况下的移动终端的操作的一个示例的图。
参考图21A至图21C,音乐图标2102可以表示用于播放音乐文件的图标2102。如果指点器2120触摸了音乐图标2102达规定时间,则如图21A中所示的示例那样,控制器180能够控制使得显示介绍将要由用户通过语音输入的字段值的弹出窗口2110。根据图21A中所示的示例,将要由用户输入的字段是歌曲标题或歌手名称。如果在指点器2120触摸音乐图标2102时输入的语音所指示的音乐文件存储在存储器160中,则控制器180能够将对应的音乐文件确定为播放目标。根据图21B中所示的示例,具有标题“abc”的音乐文件被确定为播放目标。之后,如果对音乐图标2102的触摸被释放或者接收到第一拖拽输入,则参考图21C,控制器180能够播放被确定为播放目标的音乐文件。如果由用户输入的语音指示歌手的名称,则控制器180可以能够控制使得播放由用户语音指示的歌手所演唱的歌曲。
此外,在接收到第二拖拽输入的情况下,控制器180可以能够去激活麦克风122而没有播放音乐(图中未示出)。
根据前面描述中提及的实施方式,用户触摸将要运行的应用的图标,并且然后能够通过语音输入将在将要运行的应用上处理的目标。
又如,根据本发明的移动终端100可以通过针对每个应用不同的触摸区域被指派到的弹出窗口,来确定将处理所输入的语音的应用。
图22A至图22C是显示针对每个应用不同的触摸区域被指派到的弹出窗口的一个示例的图。
参考图22A,在弹出窗口2210中总共包括了5个区域。如果这5各区域按照从上到下的顺序分别被命名为第一至第五区域I至V,则第一区域I可以被视为对应于用于执行电话呼叫的电话应用的区域,第二区域II可以被视为对应于用于发送消息的消息应用的区域,第三区域III可以被视为对应于用于播放音乐文件的音乐应用的区域,第四区域IV可以被视为对应于用于添加告警的告警应用的区域,并且第五应用V可以被视为对应于用于执行网络搜索的互联网应用的区域。
各区域分别示出将要由用户通过语音输入的字段值的细节。第一区域I示出应通过语音输入对其发起电话呼叫的目标(Whom)。第二区域II示出应通过语音输入对其发送消息的目标(Whom)。第三区域III示出应通过语音输入待播放的音乐的标题(歌曲标题)。第四区域IV示出应通过语音输入对其设置了告警的时间(时间)。并且,第五区域V示出应通过语音输入通过搜索引擎搜索的关键字(搜索词)。
如果第一至第五区域I至V中的任一个被触摸,则控制器180能够激活麦克风122。当指点器对触摸屏的触摸被保持时,如果输入了语音,则控制器180能够基于语音来确定将要在对应于指点器触摸的区域的应用上处理的目标。
例如,当第一区域I被触摸时,假设用户输入了语音“Jane”,则参考图22B,控制器180能够控制使得由用户输入的语音指示的目标仅显示在第一区域I上。
之后,如果指点器与第一区域I的接触被释放或者输入了第一拖拽,则参考图22C,控制器180可以能够通过对应于第一区域I的电话应用来对人物“Jane”发起电话呼叫。此外,如果对应于消息应用的第二区域II被触摸,则控制器180可以控制使得显示用于由语音指示的人物的消息编写画面(图中未示出)。如果对应于音乐应用的第三区域III被触摸,则控制器180可以控制使得显示由语音指示的音乐文件(图中未示出)。如果对应于告警应用的第四区域IV被触摸,则控制器180可以添加用于由语音指示的时间的告警(图中未示出)。如果对应于互联网应用的第五区域V被触摸,则控制器180可以显示由通过搜索引擎搜索由语音指示的搜索词而获得的页面(图中未示出)。
此外,如果接收到第二拖拽输入,则控制器可以控制使得麦克风122去激活,并且没有发起电话呼叫(图中未示出)。
特别地,根据本发明的移动终端100显示其中具有针对每个应用划分的触摸区域的弹出窗口,并且然后能够将对应于弹出窗口内的指点器的触摸位置的应用确定为将要运行的应用。
图22A至图22C中所示的弹出窗口2210可以被作为小插件布置在主画面上。例如,仅在接收到预置用户输入的情况下,控制器180才可以控制使得显示图22A至图22C中所示的弹出窗口2210。在该情况下,预置用户输入可以包括如下各种输入类型中的一个:例如利用单个指点器或多个指点器(例如,两个指点器等等)点击触摸屏幕一次或多次(例如,两次等等)的输入、利用指点器抓擦触摸屏的输入等等。此外,预置用户输入可以包括如下各项中的至少一项:适当地操作物理键(例如,音量调节键、电源开关键等等)的动作、操作软键(例如,主页键等等)的动作等等。
当显示单元151处于节电状态(即,不显示任何信息的状态)时,如果输入了预置输入,则控制器180控制显示单元151以离开节电模式,并且还能够控制使得弹出窗口2210通过显示单元151输出。
根据本发明的移动终端100确定对应于每个应用的用户输入,并且然后能够根据施加的用户输入的类型来确定用于处理通过语音指示的目标的应用。
例如,图23A至图23C和图24A至图24D是用于根据用户输入的类型来运行不同应用的示例的图。为了下面描述的清楚起见,假设第一用户输入对应于电话应用。假设第二用户输入对应于消息应用。假设第一用户输入包括以利用两个指点器点击显示单元151的方式施加的触摸输入。并且,假设第二用户输入包括以利用单个指点器抓擦显示单元151的方式施加的触摸输入。
参考图23A至图23C,如果施加了第一用户输入(图23A),则控制器180显示用于引导通过语音来输入将在电话应用上处理的目标(即,待呼叫的对方)的弹出窗口2310,并且还能够控制使得麦克风122被激活(图23B)。之后,如果输入了用户语音,则控制器180检查由用户语音指示的人物是否登记在电话簿中。如果对应的人物被登记在电话簿中,则参考图23C,控制器180能够对所找到的人物发起电话呼叫。
参考图24A至图24D,如果施加了第二用户输入(图24A),则控制器180显示用于引导通过语音来输入将在消息应用上处理的目标(即,待接收消息的对方)的弹出窗口2410,并且还能够控制使得麦克风122被激活(图24B)。之后,如果输入了用户语音,则控制器180检查由用户语音指示的人物是否登记在电话簿或消息服务器中。如果对应的人物登记在电话簿或消息服务器中,则参考图24C,控制器180能够控制用于编写将发送给所找到的人物的消息的任务窗口2420。如果用户通过任务窗口2420输入了将发送给对方的文本,则控制器180可以能够将包括所编写的文本的消息发送给对应的对方。
根据本发明的移动终端100能够控制使得显示用于确定消息的类型的按钮。例如,参考图24D,控制器180能够显示:用于确定当前编写的消息是文本消息的第一按钮、以及用于确定当前编写的消息是即时消息的第二按钮。当第一按钮被选择时,如果消息被发送,则所发送的消息可以包括具有设置为对方的电话号码的目的地的文本消息类型。当第二按钮被选择时,如果消息被发送,则所发送的消息可以包括具有被设置为在消息服务器中登记的对方的ID的目的地的即时消息类型。
根据图23A至图23C以及图24A至图24D中所示的示例,施加第一用户输入和第二用户输入中的每个,麦克风122被立即激活。又如,在施加了第一或第二用户输入之后,如果利用指点器再次触摸显示单元151(例如,触摸了弹出窗口),则控制器180能够使得控制麦克风122被激活。在该情况下,控制器180可以仅在指点器对显示单元151的触摸被保持的情况下保持麦克风122被激活。
此外,如果接收到对应于互联网应用的用户输入,则控制器180可以显示通过搜索引擎来对由用户语音指示的关键字进行搜索的搜索结果。如果接收到对应于音乐应用的用户输入,则控制器180可以通过音乐应用来播放由用户语音指示的音乐文件。如果接收到对应于告警应用的用户输入,则控制器180可以添加用于由用户输入指示的时间的告警。
特别地,替代接收到对特定应用的图标的触摸输入,如果接收到对应于特定应用的用户输入,则根据本发明的移动终端100能够确定将要运行的应用。
基于由语音指示的目标的属性,根据本发明的移动终端100可以确定用于处理由语音指示的目标的应用。特别地,如果由语音指示的目标是登记在电话簿中的人物,则所指示的目标被控制为在诸如电话应用、消息应用、电子邮件应用等等的应用上处理。如果由语音指示的目标匹配歌曲标题,则所指示的目标能够被控制为在音乐应用上处理。此外,如果由语音指示的目标是特定时间,则控制器180可以控制使得告警被添加到告警应用上的所指示的时间。
例如,图25至图27是响应于由语音指示的目标的属性来改变将要运行的应用的类型的示例的图。
参考图25A和图25B,如果麦克风122被激活,则控制器180将通过麦克风输入的语音转换为文本,并且然后能够检查对应于所转换的文本的人物是否登记在电话簿中,对应于所转换的文本的音乐文件是否存在,或者所转换的文本是否指示特定时间。在该情况下,参考图25A,如果麦克风按钮2502被触摸,则能够激活麦克风122。如前面的描述中所提及的,控制器180能够仅在麦克风按钮2502保持被触摸的情况下才将麦克风122控制为处于激活状态。此外,一旦麦克风按钮2502被触摸,则如图25A中所示的示例那样,控制器180能够控制使得显示用于介绍将要由用户输入的字段值的弹出窗口2520。
虽然所转换的文本指示音乐文件或特定时间,但是如果对应于所转换的文本的人物登记在电话簿中,则参考图25B,控制器180输出关于对应的人物的信息2530(例如,对应的人物的名称、对应的人物的电话号码、对应的人物的照片等等),并且能够控制使得显示能够执行与对应的人物的通信的应用的图标。根据图25B中所示的示例,在麦克风按钮2502附近显示电话图标2542、消息图标2544和电子邮件图标2546。
之后,控制器180可以能够基于指点器2510的拖拽位置来确定用于与对应的人物通信的媒介。特别地,如果指点器2510被拖拽移动到电话图标2542,则控制器180可以能够对对应的人物发起电话呼叫。另一方面,如果指点器2510被拖拽移动到消息图标2544或电子邮件图标2546,则控制器180可以控制使得显示用于编写将发送给对应的人物的消息或电子邮件的编写画面。
特别地,如果控制器180确定用户语音指示人物,则控制器180确定用户想要运行的应用将执行与对应的人物的通信(例如,电话应用、消息应用、电子邮件应用等等中的一个),并且然后能够控制使得显示用于运行对应的应用的图标。
虽然对应于所转换的文本的人物没有登记在电话簿中,并且未能指示特定时间,但是如果对应于所转换的文本的音乐文件存在,则控制器180可以控制播放对应的音乐文件。例如,参考图26A和图26B,当输入了指示“abc”的用户语音(图26A)时,虽然人物“abc”没有登记在电话簿中并且没有被确定为指示特定时间,但是如果具有标题“abc”的音乐文件存在,则控制器180能够播放具有标题“abc”的音乐文件(图26B)。
特别地,如果控制器180确定用户语音指示音乐文件,则控制器180确定用户想要运行的应用是音乐应用,并且然后能够控制使得通过音乐应用来播放由用户语音指示的音乐文件。
虽然对应于所转换的文本的人物没有登记在电话簿中,并且对应于所转换的文本的音乐文件不存在,但是如果所转换的文本指示特定时间,则控制器180能够添加用于对应的时间的告警设置。例如,参考图27A和图27B,如果输入了指示诸如“下午8点”的特定时间的语音(图27A),则控制器180能够添加用于由语音指示的时间(即,8PM)的告警设置(图27B)。
特别地,如果控制器180确定用户语音指示特定时间,则控制器180确定用户想要运行的应用是告警应用,并且然后能够控制使得通过告警应用来设置用于由语音指示的时间的告警。
意外地,用户语音可能指示能够在多个应用上处理的目标。例如,人物“妈妈”登记在电话簿中,并且可以保存有标题为“妈妈”的音乐文件。在该情况下,控制器180列出能够处理由语音指示的目标的所有应用。如果用户从所列出的应用中选择了特定应用,则控制器180可以控制使得通过所选择的应用来处理所指示的目标。
为了应用参考图5、图9和图14描述的实施方式,用户需要预先识别与语音命令可兼容的应用的类型。例如,如果用户触摸的图标对应于与语音命令不可兼容的应用,则即使用户触摸了对应的图标达规定时间,则麦克风也不会被激活。然而,用户难以识别出多个应用中的规定一个与语音命令可兼容。
因此,如果接收到预置触摸输入,则根据本发明的移动终端100能够控制使得以被强调的方式来显示在当前通过显示单元输出的图标中对应于与语音命令可兼容的应用的规定图标。
例如,图28A和图28B是通过强调来显示支持语音命令的应用的图标的一个示例的图。参考图28A和图28B,当通过显示单元151显示多个图标时,如果接收到预置用户输入(例如,利用两个指点器触摸显示单元151的输入)(图28A),则控制器180能够控制使得以被强调的方式来显示在当前显示的图标中支持语音命令的图标(图28B)。根据图28B中所示的示例,电话图标和消息图标被以放大为比其余图标大的强调方式来显示。
如图28B中那样,通过显示支持语音命令的强调后的图标,用户能够准确地识别出支持语音命令的应用。
根据图28A中所示的示例,预置用户输入包括利用两个指点器触摸显示单元151的触摸输入。然而,当然的是,预置用户输入可以包括各种输入类型中的一种。此外,预置用户输入可以包括适当地操作物理键(例如,音量调节键、电源开关键等等)的动作、操作软键(例如,主屏按钮等等)的动作等等中的至少一个。
根据图5、图9和图14中所示的示例,仅在触摸图标的情况下,才激活用于接收用户语音的麦克风122。然而,根据本发明的另一示例,如果内容被触摸,则也能够激活用于接收用户语音的麦克风122。在该情况下,该内容可以包括图像、视频、音乐、文档、其缩略图等等中的一个。
在内容已经被触摸之后,如果对内容的触摸被保持达规定时间,则控制器180能够激活麦克风122。之后,如果通过麦克风122接收到语音,则控制器180能够基于用户语音来确定用于分享内容的媒介或者用于与其分享内容的对方。如下参考图29A至图29C来详细进行描述。
图29A至图29C是描述确定用于分享内容的媒介的处理的一个示例的图。为了下面的描述的清楚起见,假设当前通过显示单元151来显示图像列表。
参考图29A至图29C,如果指点器触摸了在图像列表中包括的规定图像2910达规定时间(图29A),则控制器激活麦克风122并且能够控制使得显示用于引导用户通过语音来输入用于分享所选择的内容2910的手段的弹出窗口2920(图29B)。例如,根据图29B中所示的示例,提供文本消息(例如,MMS)、即时消息(例如,What's app)、SNS(例如,Facebook、Twitter等等)作为用于分享内容的手段。
之后,如果通过麦克风122输入了用户语音,则控制器180能够控制使得对应的内容通过由用户语音指示的手段来分享。例如,由于用户语音指示Facebook(图29C),则控制器180能够将所选择的内容2910上传到用户的预先登记的Facebook账号。
此外,控制器180可以能够通过用户语音来确定与其分享所选择的内容的对方(图中未示出)。例如,如果选择了应该对其指定接收方的分享手段(例如,文本消息、即时消息等等),并且接收到额外的用户输入,则控制器180可以能够通过额外的用户输入来确定将接收所选择的内容的对方。
根据前面的描述中提及的实施方式,通过用户的触摸输入来确定想要运行的应用。然而,根据本发明的移动终端100检测用户的姿势,并且然后能够将对应于检测到的姿势的应用确定为想要运行的应用。
例如,图30A和图30B是在输入了用于发起电话呼叫的姿势的移动终端的操作的一个示例的图。
参考图30A,如果用户做出了将移动终端100拿到用户的耳朵的姿势,则控制器180确定用户想要发起电话呼叫,并且然后能够激活麦克风122。当用户把移动终端拿到他的耳朵时,如果用户说出了将要呼叫的对方的名称,则控制器180能够检查由用户语音指示的人物是否登记在电话簿中。如果由用户语音指示的人物登记在电话簿中,则参考图30B,控制器180能够对对应的人物发起电话呼叫。
然而,如图30A和图30B中所示的示例那样,如果用户将移动终端100拿到他的耳朵,则用户不能够通过显示单元来检查输出。因此,会引起如下问题:尽管成功地进行了语音识别,但是用户难以检查用户是否对想要的对象发起了电话呼叫。
因此,在对由语音指示的对方发起电话呼叫之前,控制器180通过音频输出模块152来输出由语音指示的对方的名称,从而用户能够检查将要对其发起电话呼叫的对方。
又如,图31A和图31B是在输入了用于发送消息的姿势的情况下的移动终端的操作的一个示例的图。
参考图31A,如果用户做出了用双手抓握移动终端100的姿势,则控制器180确定用户想要发送消息,并且然后能够激活麦克风122。当用户用双手抓握移动终端时,如果用户说出了将要对其发送消息的对方的名称,则控制器180能够检查由用户语音指示的人物是否登记在电话簿中。如果由用户语音指示的人物被登记在电话簿中,则参考图31B,控制器180能够控制使得显示用于编写将发送给对应的人物的消息的编写画面。因此,用户能够使用麦克风按钮3120通过语音来编写将要发送给对方的消息。
根据图30A和图30B、图31A和图31B中所示的示例,如果检测到预置姿势,则控制器180能够控制使得通过对应于检测到的姿势应用来处理由用户语音指示的目标。基于感测单元140的感测信号(例如,检测移动终端100的运动的信号、用于检测用户是否接近移动终端的信号、用于检测是否用双手抓握移动终端100的信号等等),控制器180可以能够确定是否输入了预置姿势。
因此,本发明的实施方式提供了各种效果和/或特征。
首先,本发明能够提供一种用于增强用户的方便性的移动终端。
其次,本发明减少了语音命令的长度,从而缩短了语音分析时间并且改进了语音识别率。
本领域技术人员将了解的是,在不偏离本发明的精神或范围的情况下,本发明能够以其它形式来实施。
另外,上述方法能够在程序记录介质中实施为处理器可读代码。该处理器可读介质可以包括其中存储有处理器可读的数据的所有种类的记录装置。处理器可读介质可以包括例如ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等等,并且还包括载波类型的实施(例如,经由互联网的传输)。
本领域技术人员将了解的是,在不偏离本发明的精神或范围的情况下,能够在本发明中做出各种修改和变化。因此,想要的是,本发明涵盖本发明的修改和变化,只要它们落入了所附权利要求及其等同物的范围内。

Claims (12)

1.一种移动终端,所述移动终端包括:
麦克风;
无线通信单元;
触摸屏;以及
控制器,所述控制器被构造为:
响应于在所述触摸屏处接收的第一触摸输入来激活所述麦克风;
在所述触摸屏处保持所述第一触摸输入的同时,响应于经由激活的麦克风接收的第一音频输入来设置目标;以及
在所述第一触摸输入之后,响应于所述第一触摸输入从所述触摸屏的释放或者在第一方向上的拖拽,来执行与所设置的目标关联的特定应用,
其中:
所述特定应用包括消息收发应用,
所述控制器被进一步构造为:
使得所述触摸屏显示用于编写将要发送给所述目标的消息的任务窗口;
在显示所述任务窗口的同时,响应于在所述触摸屏处接收的第二触摸输入来激活所述麦克风,所述麦克风在所述第二触摸输入被在所述触摸屏处保持的同时被激活;
将经由激活的麦克风接收的第二音频输入转换为文本;以及
使得所述无线通信单元将包括所转换的文本的消息发送给所述目标。
2.根据权利要求1所述的移动终端,其中,所述控制器被进一步构造为响应于在第二方向上的拖拽来取消所述目标的设置。
3.根据权利要求1所述的移动终端,其中,所述控制器被进一步构造为在设置所述目标之前响应于所述第一触摸输入从所述触摸屏的释放,来去激活所述麦克风。
4.根据权利要求1所述的移动终端,其中,所述特定应用对应于接收所述第一触摸输入的图标。
5.根据权利要求1所述的移动终端,其中:
所述控制器被进一步构造为使得所述触摸屏显示多个图标,每个图标对应于不同的应用;以及
所述特定应用对应于所述多个图标中的接收所述第一触摸输入的一个图标。
6.根据权利要求1所述的移动终端,所述移动终端进一步包括无线通信单元,其中:
在对应于电话应用的图标处接收所述第一触摸输入;以及
所述控制器被进一步构造为,响应于所述第一触摸输入从所述图标的释放或者从所述图标在所述第一方向上的拖拽,通过经由所述无线通信单元连接到所设置的目标,来执行所述电话应用。
7.根据权利要求6所述的移动终端,所述移动终端进一步包括被构造为存储电话簿的存储器,其中,所述控制器被进一步构造为从所述电话簿获得所述目标,所述目标对应于所述第一音频输入。
8.根据权利要求1所述的移动终端,其中,所述控制器被进一步构造为从接收自消息收发应用服务器的聊天列表中获得所述目标,所述目标对应于所述第一音频输入。
9.根据权利要求1所述的移动终端,其中:
在对应于音乐应用的图标处接收所述第一触摸输入;以及
所述控制器被进一步构造为,响应于所述第一触摸输入从所述图标的释放或者在所述第一方向上从所述图标的拖拽,来播放被设置为所述目标的音乐文件。
10.根据权利要求1所述的移动终端,其中:
在对应于互联网应用的图标处接收所述第一触摸输入;以及
所述控制器被进一步构造为,响应于所述第一触摸输入从所述图标的释放或者在所述第一方向上从所述图标的拖拽,使用所述目标作为搜索查询来执行网络搜索。
11.根据权利要求1所述的移动终端,其中,根据所述目标的属性来确定所述特定应用。
12.一种控制移动终端的方法,所述方法包括:
响应于在触摸屏处接收的触摸输入来激活麦克风;
响应于经由激活的麦克风接收的音频输入来设置目标,在所述触摸屏处保持所述触摸输入的同时接收所述音频输入;以及
在所述触摸输入之后,响应于所述触摸输入从所述触摸屏的释放或者在特定方向上的拖拽,来执行与所设置的目标关联的特定应用;
使得所述触摸屏显示用于编写将要发送给所述目标的消息的任务窗口;
在显示所述任务窗口的同时,响应于在所述触摸屏处接收的第二触摸输入来激活所述麦克风,所述麦克风在所述第二触摸输入被在所述触摸屏处保持的同时被激活;
将经由激活的麦克风接收的第二音频输入转换为文本;以及
使得无线通信单元将包括所转换的文本的消息发送给所述目标,
其中,所述特定应用包括消息收发应用。
CN201510025713.8A 2014-01-17 2015-01-19 移动终端及其控制方法 Expired - Fee Related CN104796527B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0006142 2014-01-17
KR1020140006142A KR102218906B1 (ko) 2014-01-17 2014-01-17 이동 단말기 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
CN104796527A CN104796527A (zh) 2015-07-22
CN104796527B true CN104796527B (zh) 2017-08-11

Family

ID=52391774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510025713.8A Expired - Fee Related CN104796527B (zh) 2014-01-17 2015-01-19 移动终端及其控制方法

Country Status (4)

Country Link
US (1) US9578160B2 (zh)
EP (2) EP3591952A1 (zh)
KR (1) KR102218906B1 (zh)
CN (1) CN104796527B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924603B1 (en) * 2014-03-01 2021-02-16 sigmund lindsay clements Phone map used to find and operate multiuser devices
US9185062B1 (en) * 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
KR20160008920A (ko) * 2014-07-15 2016-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6349030B2 (ja) 2014-09-02 2018-06-27 アップル インコーポレイテッド アラートを管理するための小型インターフェース
CN105472111A (zh) * 2014-09-03 2016-04-06 中兴通讯股份有限公司 一种触屏终端的按键功能切换方法及装置
CN112152909B (zh) 2015-02-16 2022-11-01 钉钉控股(开曼)有限公司 用户消息提醒方法
USD782512S1 (en) 2015-06-07 2017-03-28 Apple Inc. Display screen or portion thereof with graphical user interface
CN106921377B (zh) * 2015-12-24 2020-06-02 小米科技有限责任公司 触控按键模组、按键图标显示方法及装置
CN105681056B (zh) 2016-01-13 2019-03-19 阿里巴巴集团控股有限公司 对象分配方法及装置
CN107305459A (zh) * 2016-04-25 2017-10-31 阿里巴巴集团控股有限公司 语音和多媒体消息的发送方法及装置
CN107368995A (zh) 2016-05-13 2017-11-21 阿里巴巴集团控股有限公司 任务处理方法及装置
US10333998B1 (en) * 2016-12-27 2019-06-25 Amazon Technologies, Inc. Managing connection requests for multiple devices
US10057421B1 (en) * 2016-12-27 2018-08-21 Amazon Technologies, Inc. Utilizing virtual user records for device management
JP7026338B2 (ja) * 2018-04-04 2022-02-28 パナソニックIpマネジメント株式会社 電動工具
CN109343756B (zh) * 2018-09-21 2021-05-07 武汉华中时讯科技有限责任公司 一种在安卓***中通过手势触摸与滑动操作控制录音及变声的方法、存储器及终端
JP7520483B2 (ja) 2018-12-27 2024-07-23 キヤノン株式会社 情報処理システム、情報処理装置、制御方法、プログラム
CN109979463B (zh) * 2019-03-31 2022-04-22 联想(北京)有限公司 一种处理方法和电子设备
US11838459B2 (en) * 2019-06-07 2023-12-05 Canon Kabushiki Kaisha Information processing system, information processing apparatus, and information processing method
CN112786036B (zh) * 2019-11-04 2023-08-08 海信视像科技股份有限公司 显示设备与内容显示方法
CN111599360B (zh) * 2020-05-12 2022-11-29 Oppo广东移动通信有限公司 唤醒控制方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557432A (zh) * 2008-04-08 2009-10-14 Lg电子株式会社 移动终端及其菜单控制方法
CN101557651A (zh) * 2008-04-08 2009-10-14 Lg电子株式会社 移动终端及其菜单控制方法
CN102422547A (zh) * 2009-05-07 2012-04-18 三星电子株式会社 通过输入信号的类型激活用户功能的方法及适应于该方法的便携式终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972903B2 (en) * 2010-07-08 2015-03-03 Apple Inc. Using gesture to navigate hierarchically ordered user interface screens
US20120280915A1 (en) * 2011-05-02 2012-11-08 Nokia Corporation Method and apparatus for facilitating interacting with a multimodal user interface
US20130053007A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
KR101871714B1 (ko) * 2012-04-02 2018-06-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2657827A3 (en) * 2012-04-26 2016-08-03 Acer Incorporated Touch detection method and touch control device using the same
WO2013170383A1 (en) * 2012-05-16 2013-11-21 Xtreme Interactions Inc. System, device and method for processing interlaced multimodal user input
KR102087005B1 (ko) * 2013-01-31 2020-03-11 삼성전자 주식회사 페이지 검색 방법 및 이를 지원하는 단말기
KR102124476B1 (ko) * 2013-06-03 2020-06-19 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US20150044653A1 (en) * 2013-08-06 2015-02-12 ArchieMD, Inc. Systems and methods of training and testing medical procedures on mobile devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557432A (zh) * 2008-04-08 2009-10-14 Lg电子株式会社 移动终端及其菜单控制方法
CN101557651A (zh) * 2008-04-08 2009-10-14 Lg电子株式会社 移动终端及其菜单控制方法
CN102422547A (zh) * 2009-05-07 2012-04-18 三星电子株式会社 通过输入信号的类型激活用户功能的方法及适应于该方法的便携式终端

Also Published As

Publication number Publication date
US20150207924A1 (en) 2015-07-23
EP2903249A1 (en) 2015-08-05
EP2903249B1 (en) 2019-12-18
EP3591952A1 (en) 2020-01-08
KR20150086030A (ko) 2015-07-27
CN104796527A (zh) 2015-07-22
KR102218906B1 (ko) 2021-02-23
US9578160B2 (en) 2017-02-21

Similar Documents

Publication Publication Date Title
CN104796527B (zh) 移动终端及其控制方法
CN104427047B (zh) 移动终端及其控制方法
US9247146B2 (en) Mobile terminal and control method thereof
US9665268B2 (en) Mobile terminal and control method thereof
US10241743B2 (en) Mobile terminal for matching displayed text with recorded external audio and method of controlling the mobile terminal
US8423087B2 (en) Mobile terminal with touch screen and method of processing message using the same
CN104423581B (zh) 移动终端及其控制方法
US9632651B2 (en) Mobile terminal and control method thereof
CN101668055B (zh) 具有触敏用户界面的便携式终端
CN104750354B (zh) 电子设备及其控制方法
CN103491225B (zh) 移动终端及其控制方法
US8103296B2 (en) Mobile terminal and method of displaying information in mobile terminal
CN104679402B (zh) 移动终端及其控制方法
US9380433B2 (en) Mobile terminal and control method thereof
CN104580686B (zh) 移动终端及其控制方法
CN104284013A (zh) 电子装置及其控制方法
US9600143B2 (en) Mobile terminal and control method thereof
CN103811005A (zh) 移动终端及其控制方法
CN101593076A (zh) 移动终端和用于修正其文本的方法
CN101604521A (zh) 移动终端和用于识别其语音的方法
CN104463092B (zh) 移动终端及其控制方法
US8180370B2 (en) Mobile terminal and method of display position on map thereof
CN103581432B (zh) 图像显示装置及其控制方法
KR101559772B1 (ko) 단말기 및 그 제어 방법
KR20150085749A (ko) 이동 단말기 및 이의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170811

Termination date: 20210119