CN103716454A - 利用语音识别执行预设操作模式的方法和设备 - Google Patents

利用语音识别执行预设操作模式的方法和设备 Download PDF

Info

Publication number
CN103716454A
CN103716454A CN201310463866.1A CN201310463866A CN103716454A CN 103716454 A CN103716454 A CN 103716454A CN 201310463866 A CN201310463866 A CN 201310463866A CN 103716454 A CN103716454 A CN 103716454A
Authority
CN
China
Prior art keywords
voice
text
predetermined registration
registration operation
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310463866.1A
Other languages
English (en)
Inventor
元诚骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103716454A publication Critical patent/CN103716454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供一种利用语音识别执行预设操作模式的方法和设备。所述方法包括：在预设操作模式下根据键输入或触摸输入执行预设操作模式的预设操作；在执行预设操作模式的预设操作期间识别输入语音，并根据识别的语音帮助执行所述预设操作。

Description

利用语音识别执行预设操作模式的方法和设备
技术领域
本发明总体上涉及一种用于终端的语音识别技术，更具体地讲，涉及一种利用语音识别执行预设操作模式的方法和设备，其中，所述语音识别对输入的语音命令进行识别以执行终端的预设操作模式。
背景技术
近来，终端的功能变得多样化，因此终端被实现为具有复杂功能（诸如，拍摄照片或视频、再现音乐或视频文件、玩游戏、接收广播和执行应用）的多媒体装置。另外，诸如智能电话和平板PC的终端设置有触摸屏以通过经由触摸输入、滚动和拖曳输入文本来执行终端的各种功能。
在执行终端的各种功能时，用户偏好简单的控制，因此目前已做出各种硬件或软件方面的尝试来考虑用户的偏好实现终端。
这些各种尝试之一通过将语音识别技术应用于终端来帮助终端功能的执行，并且语音识别终端正被积极地研究和开发。
第2009-0020265号韩国专利公布公开了这样的功能：对应用了语音信号的消息进行修改，例如通过语音识别对消息进行输入、移动、删除、修改和搜索。另外，第2010-0064875号韩国专利公布公开了以下功能：通过语音识别将用户的语音转换为文本，然后显示文本的功能、以及通过对待修改的部分的触摸从显示的命令列表选择用户的语音、触摸或键输入来执行文本修改操作的功能。
在现有技术中，利用了语音识别，通过语音识别执行操作。高级语音识别技术仍在研究当中，但还没有能够精确识别语音的完美语音识别技术。因此，当通过应用语音识别执行预设主操作时，有时由于不正确地识别的语音而未执行操作，这些错误使用户感到不便。也就是说，当与主操作对应的语音识别中产生错误时，可能需要更多的控制步骤，因此，花费大量时间来正确地执行操作。因此，当将通过应用语音识别技术来执行主操作时，在某种程度上可能难以方便且广泛地应用语音识别。
发明内容
提出本发明以至少解决上述问题和/或缺点，并至少提供下述优点。
因此，本发明一方面在于提供一种利用语音识别执行预设操作模式的方法和设备，其可减少由于在将通过应用语音识别来执行主动作时可产生的语音识别错误而引起的不方便。
根据本发明的一方面，提供一种利用语音识别执行预设操作的方法。所述方法包括：在预设操作模式下根据键输入或触摸输入执行预设操作模式的预设操作；在执行预设操作模式的预设操作期间识别输入语音，并根据识别的语音帮助执行所述预设操作。
根据本发明的另一方面，提供一种利用语音识别执行预设操作的设备，所述设备包括：输入/输出模块，其包括被配置为接收用户的控制输入的至少一个按钮和物理或虚拟键区、以及从用户接收输入语音的麦克风；触摸屏，其被配置为接收用户的控制输入，并显示应用程序的执行图像、操作状态和菜单状态；控制器，其被配置为控制输入/输出模块和触摸屏，所述控制器包括用于识别用户通过输入/输出模块的麦克风输入的语音的语音识别模块，所述控制器还被配置为根据来自触摸屏的键输入或触摸输入执行预设操作，并应用从语音识别模块接收的识别的用户的语音以帮助执行所述预设操作。
附图说明
从下面结合附图进行的详细描述，本发明的上述和其他方面、特征和优点将更明显，其中：
图1是根据本发明的移动装置的框图；
图2是示出根据本发明实施例的应用利用语音识别的预设操作模式的执行的处理的流程图；
图3是示出根据本发明第一实施例的利用语音识别修改文本并帮助预设操作的处理的流程图；
图4A至图4C示出根据本发明第一实施例的利用语音识别帮助文本修改的示例；
图5A至图5C示出根据本发明第二实施例的利用语音识别帮助预设操作的示例；
图6A至图6C示出根据本发明第三实施例的利用语音识别帮助预设操作的示例；
图7是示出根据本发明第二实施例的利用语音识别帮助预设操作和文本修改的处理的流程图；
图8是示出根据本发明第三实施例的利用语音识别帮助文本修改的处理的流程图；
图9是示出根据本发明第四实施例的利用语音识别帮助列表菜单中的输入操作的处理的流程图；
图10A至图10C示出根据本发明第四实施例的利用语音识别帮助列表菜单中的输入操作的示例；
图11A至图11C示出根据本发明第五实施例的利用语音识别帮助列表菜单中的输入操作的示例；
图12A至图12C示出根据本发明第六实施例的利用语音识别帮助列表菜单中的输入操作的示例；
图13是示出根据本发明第五实施例的利用语音识别帮助主屏幕编辑的处理的流程图；
图14A至图14E示出根据本发明第七实施例的利用语音识别帮助主屏幕编辑的示例。
具体实施方式
以下，将参照附图描述本发明的各种实施例。在下面的描述中，提供并描述具体实施例，但提供它们仅是为了帮助本发明的整体理解。因此，对于本领域技术人员而言将明显的是，在不脱离本发明的范围的情况下，可改变或修改这些具体实施例。
图1是根据本发明实施例的移动装置的框图。
参照图1，装置100包括显示单元190和显示控制器195。另外，装置100可包括控制器110、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170、存储单元175和电源180。子通信模块130包括无线LAN模块131和近场通信(NFC)模块132中的至少一个，多媒体模块140包括广播通信模块141、音频再现模块142和视频再现模块143中的至少一个。相机模块150包括第一相机151和第二相机152中的至少一个。以下，将作为示例描述显示单元190和显示控制器195分别为触摸屏和触摸屏控制器的情况。
控制器110控制移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170、存储单元175、电源180、触摸屏190和触摸屏控制器195。另外，控制器110包括语音识别模块111，其识别来自输入/输出模块160的麦克风162的语音输入。另外，控制器110接收来自输入/输出模块160或触摸屏190的用户控制以执行预设操作，并通过从语音识别模块111接收用户的语音并应用识别出的语音来帮助执行所述预设操作。来自输入/输出模块160的用户控制可由控制器110通过键区166来接收。
移动通信模块120根据控制器110的控制利用一个或多个天线（未示出）将移动通信装置100与外部装置连接。移动通信模块120与电话号码输入至装置100的移动电话（未示出）、智能电话（未示出）、平板PC或者另一装置（未示出）发送/接收用于语音呼叫、视频呼叫、短消息服务(SMS)、或多媒体消息服务(MMS)的无线电信号。
子通信模块130的无线LAN模块131在安装有无线接入点(AP)（未示出）的地方可根据控制器110的控制被连接到互联网。无线LAN模块131支持电气和电子工程师协会的无线LAN标准（IEEE802.11x）。NFC模块132可根据控制器110的控制在便携式终端100与成像设备（未示出）之间无线地执行近场通信。
装置100包括移动通信模块120、无线LAN模块131和NFC模块132中的至少一个。例如，装置100根据容量包括移动通信模块120、无线LAN模块131和NFC模块132的组合。
多媒体模块140包括音频再现模块142和视频再现模块143，并且可包括或可不包括广播通信模块141。另外，多媒体模块140的音频再现模块142或视频再现模块143可包括在控制器110中。
输入/输出模块160包括多个按钮161、麦克风162和键区166。按钮161可形成在移动装置100的外壳上。麦克风162根据控制器110的控制接收语音或声音以产生电信号。
扬声器163可输出与移动通信模块120、子通信模块130、多媒体模块140或相机模块150的各种信号相应的声音输出到装置100的外部。扬声器163可输出与由移动装置100执行的功能相应的声音。一个扬声器或多个扬声器163可被形成在装置100的外壳的一合适的位置或多个合适的位置上。
振动马达164可根据控制110的控制将电信号转换为机械振动。例如，当振动模式下的装置100从另一装置（未示出）接收到语音通话通信时，振动马达164***作。一个振动马达164或多个振动马达164可被形成在装置100的外壳内。振动马达164可响应于对显示单元190进行触摸的用户的触摸操作以及显示单元190上的连续的触摸操作来进行操作。
连接器165可用作用于将装置100和外部装置（未示出）、移动装置100和电源（未示出）连接的接口。可根据控制器110的控制通过连接到连接器165的有线线缆将存储在装置100的存储单元175中的数据发送到外部装置或可从外部装置（未示出）接收数据。可通过连接到连接器165的有线线缆从电源（未示出）输入电力，或可对电池（未示出）进行充电。
键区166从用户接收用于控制装置100的键输入。键区166包括形成在装置100中的物理键区（未示出）或者显示在显示单元190上的虚拟键区（未示出）。根据装置100的性能或结构，可不包括形成在装置100中的物理键区（未示出）。
耳机（未示出）被***到耳机连接孔167，从而耳机连接孔167可与装置100连接。
存储单元175可存储根据如下单元的操作输入/输出的信号或数据：移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170和显示单元190。存储单元175可存储用于控制装置100或控制器110的控制程序和应用。
术语“存储单元”包括存储单元175、控制器110内的ROM和RAM（未示出），或者安装在装置100中的存储卡（未示出）（例如，SD卡和记忆棒）。存储单元可包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。
触摸屏190接收用户的控制，并显示应用程序的执行图像、运行状态和菜单状态。
触摸屏190向用户提供与各种服务（例如，电话通信、数据传输、广播、拍摄照片等）对应的用户界面。触摸屏190将与输入至用户界面的至少一个触摸对应的模拟信号发送给触摸屏控制器195。触摸屏190通过用户的身体部位（例如，包括拇指在内的手指）或可触摸输入装置接收至少一个触摸。另外，触摸屏190接收至少一个触摸当中的一个触摸的连续动作。触摸屏190将与输入的触摸的连续动作对应的模拟信号发送给触摸屏控制器195。
例如，触摸屏190可实现为电阻型、电容型、红外线型、或声波型。
触摸屏控制器195将从触摸屏190接收的模拟信号转换为数字信号（例如，X坐标和Y坐标），然后将所述数字信号发送给控制器110。控制器110利用从触摸屏控制器195接收的数字信号来控制触摸屏190。例如，控制器110可允许显示在触摸屏190上的快捷图标（未示出）响应于触摸而被选择或执行。另外，触摸屏控制器195可包括在控制器110中。
触摸屏190可包括至少两个触摸屏面板，其检测用户身体部位或可触摸输入装置的触摸或接近，以便同时接收用户身体部位和可触摸输入装置的输入。所述至少两个触摸屏面板向触摸屏控制器195提供不同的输出值，触摸屏控制器195不同地识别从所述至少两个触摸屏面板输入的值，以确定来自触摸屏的输入是用户身体部位的输入，还是可触摸输入装置的输入。
根据本发明的利用语音识别在预设操作模式下执行预设操作的方法可分为如下所述的两个处理。第一处理是执行主操作的处理，其中，在预设操作模式下根据键输入或触摸输入执行操作模式的预设操作。第二处理是帮助主操作的处理，其中，识别在第一处理中执行操作模式的预设操作期间输入的语音，然后根据识别出的语音帮助第一处理的操作。
图2是示出根据本发明特性的利用语音识别在预设操作模式下执行预设操作的处理的流程图。
参照图2，在步骤200中，通过利用输入/输出模块160的按钮161、键区166和麦克风162中的一个或触摸屏190输入的用户控制从装置100的多个预设操作模式选择预设操作，然后执行选择的预设操作模式。在执行装置100的预设操作模式之后，在步骤202，执行用于执行预设操作模式的预设操作的用户的键输入或触摸输入。在步骤204，执行根据步骤202中的触摸输入的预设操作。
在步骤206中，在执行预设操作的同时通过麦克风162从用户接收语音。随后，在步骤208，执行通过应用语音识别模块111的语音识别来识别接收的语音并利用识别出的语音帮助执行预设操作的操作。
同时，预设操作模式包括通过用户的控制输入执行的各种操作模式，例如，文本书写模式、列表菜单执行模式和主屏幕执行模式。另外，预设操作包括文本输入、触摸输入以及应用触摸输入的滚动和拖曳。
术语“触摸”表示用户利用身体部位或可触摸输入装置接触触摸屏的特定区域，然后移开接触所述特定区域的身体部位或可触摸输入装置的操作，或者用户利用身体部位或可触摸输入装置接触触摸屏的特定区域，然后在终端上在移动方向上移开身体部位或可触摸输入装置的轻弹动作。
下面将通过下述实施例更详细地描述根据本发明的利用语音识别执行预设操作的方法。
将描述根据本发明的在文本书写模式（预设操作模式之一）下利用语音识别执行预设操作的方法。图3是示出根据本发明第一实施例的利用语音识别修改文本并帮助预设操作的处理的流程图。将描述在文本书写模式下同时输入文本和语音并利用输入的语音帮助修改输入文本的操作。
参照图3，步骤300至306是图2的第一处理中的在预设操作模式下根据键输入或触摸输入执行预设操作的步骤，其中，描述执行文本书写模式并将输入文本显示在预设文本显示窗口上的主操作。
首先，在步骤300，通过用户的控制输入执行文本书写模式，并在步骤302，激活语音识别模块111的语音识别功能。此时，语音识别模块111的语音识别功能可与文本书写模式的执行同时地被自动激活，或者可通过用户的选择被激活。随后，在步骤304，根据键输入或触摸输入确定文本是否通过物理或虚拟键区166被输入。在步骤306，当文本被输入时，如图4A所示，将输入的文本显示在预设文本显示窗口(i)上。如果没有，则在步骤308，检查是否存在语音输入。
剩余步骤对应于图2的第二处理，即，识别在执行图2的第一处理的预设操作模式的预设操作期间输入的语音以根据识别出的语音帮助执行第一处理的操作。
在步骤308，确定是否语音通过麦克风162被输入。在文本书写模式下语音可在所有情况下（例如，文本未被输入、文本正在被输入、或者文本被输入然后被显示）被输入。以下，在文本书写模式下文本未被输入、文本正在被输入、或者文本被输入然后被显示的所有这些情况下，将参照文本正在被输入的情况描述所述处理。当在文本书写模式下在文本正在被输入的同时语音从用户被输入时，在步骤310，激活的语音识别模块111识别输入的语音。如果语音没有被输入，则在步骤319，由用户确定文本书写模式是否应该结束。
步骤311至318描述帮助修改文本的操作。也就是说，在步骤311，在用户大声地读出显示的文本（通过麦克风162输入）时，将显示的文本与识别的语音进行比较。当显示的文本与识别的语音不相同时，在步骤312，确定显示的文本有错误。当显示的文本有错误时，在步骤314，将识别的语音转换为文本，以帮助修改显示的文本。当显示的文本与识别的语音相同时，在步骤312，确定显示的文本没有错误。
作为在步骤312中确定输入文本是否有错误的结果，当显示的文本有错误时，在步骤314，将识别的语音转换为文本，并在步骤315，如图4A所示将语音所转换的文本显示在预设语音帮助窗口(j)上。语音帮助窗口(j)被设定为与文本显示窗口(i)相区别，并与文本显示窗口(i)相邻地被定位并显示在上侧、下侧、左侧或右侧。
随后，用户识别文本显示窗口(i)的内容和语音帮助窗口(j)的内容，并在步骤317中确定是否将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容。当用户期望将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容时，在步骤318，用户通过经用户的控制应用将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容的预设功能，来将显示在文本显示窗口(i)上的文本转换为显示在语音帮助窗口(j)上的语音所转换的文本。将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容的所述预设功能可被设置为文本书写模式下的项、触摸屏190上的弹出窗口、或者利用麦克风162的预设语音命令的输入。如果所述功能被设定为文本书写模式下的项或弹出窗口，则用户利用键区166的按钮161输入命令。
然后，在步骤319，用户选择是否结束文本书写模式。当用户不期望结束文本书写模式时，文本书写模式不结束，处理返回至步骤304。当用户选择结束文本书写模式时，文本书写模式结束。
在步骤312，如果输入的文本与识别的语音相同，即，不存在错误，则执行步骤320至324，这些步骤描述预设操作命令的执行。也就是说，作为步骤312中确定输入文本是否有错误的结果，当显示的文本没有错误，并且识别的语音是预设操作命令时，步骤320至324描述通过应用识别的语音的预设操作命令的执行。
当在步骤312显示的文本没有错误时，在步骤320确定识别的语音是不是预设操作命令。当识别的语音是预设操作命令是，在步骤322通过应用识别的语音来执行所述预设操作命令。当完全执行所述预设操作命令时，在步骤324输出操作的结果。此时，操作命令的执行不应中断文本的进一步输入和输入文本的显示。也就是说，可与语音输入和输入语音的识别同时地执行文本输入。另外，当在执行输入和识别的语音的预设操作命令的同时输入文本时，可显示该文本。另外，在步骤320，在应用语音识别时，不应用与显示的文本以及预设操作命令没有相似性的识别的语音的无意义的语音。
在步骤324之后，在步骤319用户选择是否结束文本书写模式。如果在步骤320识别的语音与显示的文本和预设操作命令没有相似性，则在步骤319用户也选择是否结束文本书写模式。当用户不期望结束文本书写模式时，文本书写模式不结束，处理返回至步骤304。当用户选择结束文本书写模式时，文本书写模式结束。
图4A至图4C示出根据本发明第一实施例的利用语音识别帮助文本书写以用于修改文本的示例。
假设用户期望输入文本“Damian's got a new pair of Nike's”，首先通过用户的控制执行文本书写模式。图4A示出包括文本显示窗口(i)和语音帮助窗口(j)的终端的图像。文本显示窗口(i)显示输入文本和执行文本书写操作的结果。另外，语音帮助窗口(j)将输入语音转换为文本并显示转换后的文本，并且显示操作状态。
在执行文本书写模式之后，通过物理或虚拟键区166输入文本。与文本输入同时或在其之后，大声读出文本的用户通过麦克风162输入具有与文本相同的内容的语音。在图4B中，输入文本显示在文本显示窗口(i)上，输入语音被转换为文本并显示在语音帮助窗口(j)上。显示在语音帮助窗口(j)上的文本与通过经语音识别对输入语音进行识别，将语音转换为文本，然后将文本显示在语音帮助窗口(j)上而产生的图像对应。在用户输入语音的同时输入的文本可被预设为被突出显示，或者输入文本可被预设为通过下划线或突出显示来与用户的语音相区别。
随后，当用户期望将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容时，用户可通过经用户的选择应用预设功能来将显示在文本显示窗口(i)上的文本改变为显示在语音帮助窗口(j)上的语音所转换的文本。所述预设功能可以是允许用户选择将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容的应用的预设项，所述预设功能可被设置为作为弹出窗口显示在触摸屏190上，或者所述预设功能可以是预设语音命令。图4C示出通过将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容而产生的图像。
图5A至图5C示出根据本发明第二实施例的利用语音识别帮助预设操作的示例。将参照图5详细描述在文本输入期间利用语音识别帮助执行预设操作的操作。
假设用户在输入文本的同时期望识别他/她的当前位置，用户首先通过用户的控制选择并执行文本书写模式。图5A示出在输入语音之前的包括文本显示窗口(i)和语音帮助窗口(j)的终端上的图像。
在执行文本书写模式之后，通过物理或虚拟键区166将文本输入到终端。与文本输入同时，用户输入语音命令“附上我的当前位置”，这是通过麦克风162输入的预设操作命令。如图5B所示，示出通过将输入文本“Damian's gota new pair of Nike's”显示在文本显示窗口(i)上，通过识别输入的语音来将表示操作命令的执行的文本“附上你的当前位置”显示在语音帮助窗口(j)上而产生的图像。
此时，用户可继续输入文本。当完成通过语音输入的预设操作命令的执行时，作为***操作的结果，通过存储在终端中的位置相关应用或者通过执行示出用户的位置的导航应用，来输出用户的位置。用户的位置可由图1的GPS模块155来确定。图5C示出通过执行示出用户位置的地图而产生的显示的结果图像的示例，所述结果图像为在完全执行预设操作命令之后显示在文本显示窗口(i)上的输出结果。
图6A至图6C示出根据本发明第三实施例的利用语音识别帮助预设操作的示例。将参照图6详细描述在输入文本的同时利用语音识别帮助预设操作的操作。
图6A示出作为如图5C所示的结果图像的通过执行示出用户位置的地图而产生的显示的结果图像的示例。首先，如图6A所示，用户通过麦克风162输入与预设操作命令“将光标移到‘store’后面”对应的语音命令。该命令用于将文本中的光标移到文本显示窗口(i)中所示的文本中的单词“store”后面的位置。
随后，利用语音识别来识别输入的语音，根据识别的语音“将光标移到‘store’后面”执行操作命令。图6B示出通过根据识别的语音“将光标移到‘store’后面”的操作命令移动光标位置而产生的图像。
接下来，用户输入与预设操作命令对应的语音命令“输入‘right now’”，利用语音识别来识别输入的语音，并根据识别的语音执行操作命令。图6C示出显示通过根据识别的操作命令“输入‘right now’”在光标所在的位置输入文本“right now”而产生的结果的图像。
另外，文本书写模式下的预设操作命令可被设置为通过输入语音运行针对终端预设的功能，例如，再现音乐或视频、搜索互联网以及执行特定应用。另外，操作结果可直接显示在文本窗口上，或者可作为弹出窗口出现。
图7是示出根据本发明第二实施例的利用语音识别帮助预设操作和文本修改的处理的流程图。将描述在文本书写模式下同时输入语音和文本，利用输入的语音执行预设操作并利用输入的语音帮助修改输入的文本的操作。
参照图7，步骤400至406是图2的第一处理的在预设操作模式下根据键输入或触摸输入执行预设操作的步骤，其描述执行文本书写模式并将输入文本显示在预设文本显示窗口上的操作。
首先，在步骤400，通过用户的控制输入执行文本书写模式，并在步骤402，激活语音识别模块111的语音识别功能。此时，语音识别模块111的语音识别功能可与文本书写模式的执行同时地被自动激活，或者可通过用户的选择被激活。随后，在步骤404，根据键输入或触摸输入确定文本是否通过物理或虚拟键区166被输入。当文本被输入时，在步骤406，将输入的文本显示在预设文本显示窗口(i)上。如果没有，则在步骤408，确定语音输入。
剩余步骤是与图2的第二处理(即，如图2中所述，识别在执行预设操作模式的预设操作期间输入的语音以根据识别的语音帮助执行第一处理的操作)对应的处理。
在步骤408，确定语音是否通过麦克风162被输入。此时可在所有情况下进行语音输入，例如在文本书写模式下文本未被输入、文本正在被输入、或者文本被输入然后被显示的情况。以下，将参照文本正在被输入的情况描述在文本书写模式下文本未被输入、文本正在被输入、或者文本被输入然后被显示的所有这些情况。当在文本书写模式下文本正在被输入的同时语音从用户被输入时，在步骤410，激活的语音识别模块111识别输入的语音。如果没有语音输入，则在步骤418，用户确定是否结束文本书写模式。
步骤412至416描述预设操作命令的执行。当识别的语音是预设操作命令时，通过应用识别的语音执行所述预设操作命令。
在步骤412，确定识别的语音是不是预设操作命令。当识别的语音是预设操作命令时，在步骤414，通过应用识别的语音来执行所述预设操作命令。当完成预设操作命令的执行时，在步骤416输出所述操作的执行结果。此时，操作命令的执行不应中断文本的输入和输入文本的显示。也就是说，可与语音输入和输入语音的识别同时地执行文本输入。另外，当在执行输入并识别的语音的预设操作命令的同时输入文本时，可显示该文本。
在步骤418，用户选择是否结束文本书写模式。当用户不期望结束文本书写模式时，处理返回至步骤404。当用户选择结束文本书写模式时，文本书写模式结束。
步骤420至429描述帮助修改文本的操作。也就是说，在步骤412，如果确定识别的语音不是预设操作命令，则在步骤420，通过将显示的文本与识别的语音进行比较来分析输入文本中出现错误的可能性。当显示的文本与识别的语音不相同时，确定显示的文本有错误，因此将识别的语音转换为文本，并帮助修改显示的文本。
随后，在步骤422，确定输入文本是否有错误。也就是说，当通过显示的文本与识别的语音之间的比较，显示的文本与识别的语音不相同时，确定显示的文本有错误。当显示的文本有错误时，在步骤424将识别的语音转换为文本，并在步骤426将语音所转换的文本显示在预设语音帮助窗口(j)上。随后，用户识别文本显示窗口(i)的内容和语音帮助窗口(j)的内容，并在步骤428确定是否将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容。当用户期望将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容时，在步骤429，用户通过经用户的控制输入（这可通过按钮161、键区166或经麦克风162输入的语音命令来实现）应用将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容的预设功能，来将显示在文本显示窗口(i)上的文本转换为显示在语音帮助窗口(j)上的语音所转换的文本。将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容的所述预设功能可被设置为文本书写模式中的项、触摸屏190上的弹出窗口、或预设语音命令的输入。另外，在应用语音识别时，不应用与显示的文本以及预设操作命令没有相似性的识别的语音的无意义的语音。
在步骤429之后，在步骤418用户选择是否结束文本书写模式。当用户不期望结束文本书写模式时，处理返回至步骤404。当用户选择结束文本书写模式时，文本书写模式结束。
另外，在步骤422，如果文本中没有错误，则在步骤418，用户选择是否结束文本书写模式。另外，在步骤428，如果用户决定不将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容，则在步骤418，用户选择是否结束文本书写模式。
图8是示出根据本发明第三实施例的利用语音识别帮助文本修改的处理的流程图。将描述在文本书写模式下同时输入文本和语音，并利用输入的语音帮助输入文本的错误修改的操作。
图8的操作与图3的在文本书写模式下利用输入语音帮助修改输入文本的操作相同。因此，将简要描述利用语音识别帮助修改文本的操作。
首先，在步骤500通过用户控制输入执行文本书写模式，并在步骤502激活语音识别模块111的语音识别功能。随后，在步骤504，确定文本是否根据键输入或触摸输入通过物理或虚拟键区166被输入。当文本被输入时，在步骤506，将输入的文本显示在预设文本显示窗口(i)上。如果没有，则在步骤508，确定语音输入。
随后，在步骤508，确定语音是否通过麦克风162被输入。当在文本书写模式下文本正在被输入的同时语音被输入时，在步骤510，激活的语音识别模块111识别输入的语音。如果没有语音输入，则在步骤520，用户确定是否结束文本书写模式。
接下来，在步骤511通过将显示的文本与识别的语音进行比较来分析输入文本的错误的可能性，并在步骤512确定输入文本是否有错误。也就是说，当通过显示的文本与识别的语音之间的比较，显示的文本与识别的语音不相同时，确定显示的文本有错误。当显示的文本与识别的语音相同时，确定显示的文本没有错误，并且在步骤520，用户确定是否结束文本书写模式。
作为步骤512确定输入文本是否有错误的结果，当显示的文本有错误时，在步骤514将识别的语音转换为文本，并在步骤515将语音所转换的文本显示在预设语音帮助窗口(j)上。用户识别文本显示窗口(i)的内容和语音帮助窗口(j)的内容，并在步骤517确定是否将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容。当用户期望将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容时，在步骤519，如上所述，用户通过经用户的控制输入应用将文本显示窗口(i)的内容改变为语音帮助窗口(j)的内容的预设功能，来将显示在文本显示窗口(i)上的文本转换为显示在语音帮助窗口(j)上的语音所转换的文本。
随后，在步骤520，用户选择是否结束文本书写模式。当用户不期望结束文本书写模式时，文本书写模式不结束，处理返回至步骤504。当用户选择结束文本书写模式时，文本书写模式结束。
将描述根据本发明的在执行列表菜单（一种用户操作模式）时利用语音识别帮助执行操作的方法。
图9是示出根据本发明第四实施例的利用语音识别帮助列表菜单中的输入操作的处理的流程图。将描述在显示列表的屏幕中同时输入预设操作命令和语音并利用输入的语音帮助执行预设操作命令的操作。
参照图9，步骤600至603是图2的第一处理中的在预设操作模式下根据键输入或触摸输入执行操作模式的预设操作的步骤。
首先，在步骤600通过用户的控制输入执行列表菜单，并在步骤601中显示执行的列表菜单。此时，语音识别模块111的语音识别功能可被自动激活，或者可利用按钮161、键区166或麦克风162通过用户的选择被激活。随后，在步骤602，确定触摸屏190上是否有触摸输入。如果没有，则在步骤604，确定语音是否被输入。当触摸屏190上有触摸输入时，在步骤603，执行该触摸输入的操作。此时的触摸输入是与轻弹操作的输入对应的滚动触摸输入，其中，在轻弹操作中，用户利用身体部位或可触摸输入装置接触显示的列表的特定区域，然后将身体部位或可触摸输入装置在移动方向上从所述特定区域移开。此时，显示的列表可根据滚动方向在向上、向下、向左或向右方向上滚动。
剩余步骤对应于图2的第二处理，即，识别在执行图2的第一处理的操作模式的预设操作期间输入的语音，其中，在剩余的步骤中描述了帮助列表菜单中的触摸操作输入的操作。
在步骤604，确定语音是否通过麦克风162被输入。如果没有，则在步骤609，用户确定是否结束列表菜单模式。此时可在所有情况下输入语音，例如在显示列表菜单的列表时未输入触摸、正在输入触摸、以及在触摸输入期间正在执行预设操作命令的情况下。以下，将参照正在执行触摸操作的情况描述在显示列表菜单的列表时未输入触摸、正在输入触摸、以及在触摸输入期间正在执行预设操作命令的所有这些情况。当在显示列表的状态下执行触摸操作的滚动操作的同时，用户输入语音时，在步骤605，激活的语音识别模块111识别输入的语音。
在步骤606，确定识别的语音是不是预设操作命令。如果不是，则在步骤609，用户确定是否结束列表菜单模式。不应用与预设操作命令没有相似性的识别的语音。当识别的语音是预设操作命令时，在步骤607在执行触摸操作期间执行识别的语音的预设操作命令，并在步骤608输出操作命令的执行结果。预设操作命令可以是被设置为在预设的向上、向下、向左或向右方向上自动执行从显示列表到期望位置的滚动操作的命令。另外，被设置为自动执行从列表到期望位置的滚动操作的命令可包括被设置为将滚动操作自动执行到一个或多个单词、字符串或短语的位置、所有列表的一部分的位置以及各国家的语言的位置的命令。
随后，在步骤609，通过用户的选择确定是否结束列表菜单。当用户期望继续执行操作时，列表菜单不结束，处理返回至步骤602。当通过用户的选择结束列表菜单时，显示列表菜单的屏幕结束。
图10至图12分别是根据本发明第四、第五和第六实施例的利用语音识别帮助列表菜单中的输入操作的示例。将参照图10至图12详细描述利用语音识别的列表菜单中的输入操作的执行。
首先，通过用户的选择执行列表菜单，并显示执行的列表菜单的列表。图10A、图11A和图12A是列表菜单被执行并然后列表被显示的屏幕图像。
当显示列表时，通过用户的轻弹输入在图10A、图11A和图12A中的箭头所示的方向上执行滚动操作。图10B、图11B和图12B是当显示的列表被滚动时的显示特定图像的屏幕图像。
在滚动操作期间通过输入预设命令的语音来执行预设命令。图10C示出当输入预设命令的语音“直到J”时，在列表上将滚动操作执行到列表中以字母J开头的项开始的部分的情况下的屏幕图像。另外，图11C示出当输入预设命令的语音“直到列表的一半”时，将滚动操作执行到整个列表的中心开始的部分的情况下的屏幕图像。另外，图12C是当输入预设命令的语音“直到韩语开始”时，将滚动操作执行到整个列表中以韩语存在的列表项开始的部分的情况下的屏幕图像。
将描述根据本发明的在编辑主屏幕（用户操作模式之一）时利用语音识别帮助执行操作的方法。
图13是示出根据本发明第五实施例的利用语音识别帮助主屏幕编辑的流程图。描述在执行的主屏幕中同时输入预设操作命令和语音并利用输入的语音帮助执行预设操作命令的操作。
参照图13，步骤700至703是图2的第一处理中的在预设操作模式下根据键输入或触摸输入执行操作模式的预设操作的步骤。
首先，在步骤700中通过用户的控制输入执行主屏幕，并在步骤701中显示执行的主屏幕的一页。主屏幕被预设为包括预设主屏幕页，所述主屏幕页包括预设项，其中，一个或多个主屏幕页可被预设。另外，语音识别模块111的语音识别功能可自动被激活，或者可利用按钮161、键区166或麦克风162通过用户的选择来激活。随后，在步骤702，确定触摸屏190上是否存在触摸输入。当触摸屏190上存在触摸输入时，在步骤703，执行该触摸输入的操作。如果没有，则处理结束。
此时的触摸输入是与轻弹操作输入对应的拖曳触摸输入，其中，在轻弹操作中，用户利用身体部位或可触摸输入装置接触显示的主屏幕页中的一个或多个特定项，然后在移动方向上从接触的特定项移开身体部位或可触摸输入装置。此时，可根据拖曳方向通过在向上、向下、向左或向右方向上拖曳来将项从一个主屏幕页移至另一主屏幕页。
剩余步骤对应于图2的第二处理，即，识别在执行图2的第一处理的操作模式的预设操作期间输入的语音。
在步骤704，确定语音是否通过麦克风162被输入。可在显示主屏幕时未输入触摸、正在输入触摸、以及在触摸输入期间正在执行预设操作命令的所有情况下通过麦克风162输入语音。以下，在显示主屏幕时未输入触摸、正在输入触摸、以及在触摸输入期间正在执行预设操作命令的所有这些情况中，将参照正在执行触摸操作的情况进行描述。当在显示主屏幕时执行触摸操作的同时，用户输入语音时，在步骤705，激活的语音识别模块111识别输入的语音。如果没有语音输入，则处理结束。
随后，在步骤706，确定识别的语音是不是预设操作命令。此时，不应用与预设操作命令没有相似性的识别的语音。如果识别的语音不是预设操作命令，则处理结束。
将详细描述步骤706中的识别的语音是不是预设操作命令的确定。首先，当通过对预设项应用触摸来对另一预设主屏幕页执行拖曳时，确定该主屏幕页中是否存在能够放置拖曳的项的空间。当通过触摸输入移动项，并且在触摸结束时存在放置该项的空间时，“拖曳项”表示“放置项”。当不存在放置该项的空间时，“拖曳项”表示“将项放回原始位置”。当主屏幕页中不存在放置拖曳的项的空间时，确定在拖曳状态下识别的语音是不是预设操作命令。当识别的语音是预设操作命令时，在步骤707在执行触摸操作期间执行识别的语音的预设操作命令，并且在步骤708输出操作命令的执行结果。预设操作命令可以是将预设主屏幕页的预设项移到另一页的预设操作命令。另外，预设操作命令可以是产生新的主屏幕页的预设命令。作为执行识别的语音的预设操作命令的结果，当存在放置项的空间时，通过从该项移开用户的身体部位或可触摸输入装置的操作来结束应用的触摸，该项被放置在结束触摸的主屏幕页中。
随后，在步骤709，基于是否执行了用户的触摸输入，当用户期望继续执行操作时可再次执行自步骤702的操作，当用户不执行触摸输入时主屏幕编辑结束。
图14A至图14E示出根据本发明第七实施例的利用语音识别帮助主屏幕编辑的示例。
首先，当通过用户的控制输入执行主屏幕时，显示执行的主屏幕。图14A示出执行主屏幕然后显示主屏幕的屏幕图像，图14B示出当输入触摸并保持触摸状态时的主屏幕的编辑模式屏幕的图像。假设图14A和图14B的主屏幕为页1。
当显示主屏幕时，通过用户的触摸输入将主屏幕上的项拖曳到另一主屏幕页。图14C示出在通过用户的触摸输入将主屏幕上的项拖曳到另一主屏幕页时的图像。假设图14C的主屏幕为页3，并且页3的屏幕中不存在放置新项的空间。如图14C所示，当项被拖曳至的主屏幕页中不存在放置新项的空间时，在屏幕上显示通知用户没有空间的消息，或者通过语音通知用户没有空间的事实，通过该消息或语音用户可认识到没有空间。用户在拖曳操作状态下通过语音输入预设操作命令，终端通过识别输入的语音来执行该预设操作命令。例如，用户可通过语音命令“将所有其他项移到下一页”将页3中的所有项移到另一主屏幕页。图14D示出执行预设操作命令并且将页3中的所有项移到另一主屏幕页的触摸并拖曳状态下的图像。图14E示出触摸结束，图标被放置在触摸结束的位置，并且编辑模式结束的触摸并拖曳状态下的图像。
另外，主屏幕中的预设操作命令可被设置为执行诸如删除和复制项的功能，或者被设置为当用户期望移动项时仅移动用户所选择的一些项。
可理解，本发明的实施例可以软件、硬件或其组合来实现。任何这样的软件可如上所述存储在例如诸如ROM的易失性或非易失性存储装置、诸如RAM、内存芯片、内存装置或内存IC的内存、或者诸如CD、DVD、磁盘或磁带的可记录光学或磁介质中（无论其能够被擦除还是能够被重记录）。还可理解，包括在移动终端中的内存是适合于存储包括指令的程序的机器可读装置的一个示例，所述指令由处理或装置执行从而实现本发明的实施例。因此，本发明的实施例提供一种包括用于实现权利要求书中的任何权利要求中所要求保护的***或方法的代码的程序以及用于存储这样的程序的机器可读装置。另外，此程序可通过任何介质，例如经由有线或无线连接传输的通信信号，来电子输送，本发明的实施例适当地包括其等同物。
尽管已参照本发明的特定实施例示出并描述了本发明，本领域技术人员将理解，在不脱离权利要求书中所限定的本发明的精神和范围的情况下，可对其进行各种形式和细节上的改变。

Claims (15)

1.一种利用语音识别执行预设操作的方法，所述方法包括：
在预设操作模式下根据键输入或触摸输入执行预设操作模式的预设操作；
在执行预设操作模式的预设操作期间识别输入语音，并根据识别的语音帮助执行所述预设操作。
2.根据权利要求1所述的方法，其中，所述预设操作模式对应于文本书写模式，
执行预设操作的步骤包括在文本书写模式下根据键输入或触摸输入将输入文本显示在文本显示窗口上，
帮助预设操作的步骤包括在根据键输入或触摸输入将输入文本显示在文本显示窗口上的同时识别输入语音，将显示的文本与识别的语音进行比较，当显示的文本与识别的语音不相同时确定显示的文本有错误，当显示的文本与识别的语音相同时确定显示的文本没有错误，并且当确定显示的文本有错误时将识别的语音转换为文本并修改显示的文本，
当确定显示的文本没有错误时，
确定识别的语音是不是预设操作命令；
当识别的语音是预设操作命令时通过应用识别的语音来执行预设操作。
3.根据权利要求1所述的方法，其中，所述预设操作模式是文本书写模式，
执行预设操作的步骤包括在文本书写模式下根据键输入或触摸输入将输入文本显示在文本显示窗口上，
帮助预设操作的步骤包括在根据键输入或触摸输入在文本显示窗口上显示输入文本的同时识别输入语音，确定识别的语音是不是预设操作命令，当识别的语音是预设操作命令时通过应用识别的语音来执行预设操作，当识别的语音不是预设操作命令时将显示的文本与识别的语音进行比较，当显示的文本与识别的语音不相同时确定显示的文本有错误，当显示的文本与识别的语音相同时确定显示的文本没有错误，并且当确定显示的文本有错误时将识别的语音转换为文本并修改显示的文本。
4.根据权利要求2或3所述的方法，其中，修改显示的文本的步骤包括：
将识别的语音转换为文本并将语音所转换的文本显示在语音帮助窗口上；
当应用将文本显示窗口的内容改变为语音帮助窗口的内容的预设功能时，将文本显示窗口上显示的文本改变为显示的语音所转换的文本。
5.根据权利要求2或3所述的方法，其中，执行预设操作的步骤包括：
当识别的语音是预设操作命令时，执行预设操作；
当所述预设操作的执行完成时，输出执行结果，
其中，在执行所述预设操作期间不中断根据键输入或触摸输入将输入文本显示在文本显示窗口上。
6.根据权利要求1所述的方法，其中，所述预设操作模式是显示预设列表菜单的列表的状态，
执行预设操作的步骤包括根据显示的列表上的触摸输入执行显示的列表的滚动操作，
帮助预设操作的步骤包括在执行显示的列表的滚动操作时识别输入语音，并且当识别的语音是预设操作命令时通过应用识别的语音来执行预设操作。
7.根据权利要求6所述的方法，其中，所述触摸输入是滚动触摸输入，所述预设操作命令是被设置为在显示的列表上将滚动操作自动执行到期望位置的命令，被设置为在显示的列表上将滚动操作自动执行到期望位置的所述命令包括被设置为将滚动操作自动执行到一个或多个单词、字符串或短语的位置、所有列表的一部分的位置以及各国家的语言的位置的命令。
8.根据权利要求1所述的方法，其中，所述预设操作模式是显示包括预设项的预设主屏幕页之一的状态，
执行预设操作的步骤包括执行当显示一个主屏幕页时根据触摸输入选择所述一个主屏幕页的一个或多个项，然后将选择的项移到另一主屏幕页的操作，
帮助预设操作的步骤包括在执行将选择的项移到另一主屏幕页的操作时识别输入语音，并且当识别的语音是预设操作命令时通过应用识别的语音来根据所述预设操作命令执行预设操作。
9.根据权利要求8所述的方法，其中，所述触摸输入是拖曳触摸输入，
拖曳操作包括存在将移动的项放置到触摸结束的位置的空间时放置所述项，当不存在空间时将所述项放回原始位置的操作，
所述预设操作命令包括被设置为将主屏幕页中的一个或多个项自动移到另一主屏幕页的命令，
确定识别的语音是不是预设操作命令的步骤包括当通过对主屏幕页中的一个或多个项应用触摸将所述项拖曳至另一主屏幕页时，确定所述另一主屏幕页中是否存在放置拖曳的项的空间，当不存在放置拖曳的项的空间时，当通过对所述项应用触摸来拖曳所述项时，确定识别的语音是不是预设操作命令，
根据识别的语音的预设操作命令执行预设操作的步骤包括当识别的语音是预设操作命令时执行预设操作命令，并且当存在放置拖曳的项的空间时，结束对拖曳的项应用的触摸并将拖曳的项放置在触摸结束的主屏幕页中，
其中，所述预设操作命令包括被设置为产生新的主屏幕页的命令。
10.一种利用语音识别执行预设操作的设备，所述设备包括：
输入/输出模块，其包括接收用户的控制输入的至少一个按钮和物理或虚拟键区、以及从用户接收输入语音的麦克风；
触摸屏，其接收用户的控制输入，并显示应用程序的执行图像、操作状态和菜单状态；
控制器，其控制输入/输出模块和触摸屏，并且其包括用于识别通过输入/输出模块输入的语音的语音识别模块，根据来自触摸屏的键输入或触摸输入执行预设操作，并应用从语音识别模块接收的识别的用户的语音以帮助执行所述预设操作。
11.根据权利要求10所述的设备，其中，为了应用识别的语音以帮助执行所述预设操作，所述控制器将从输入/输出模块接收的文本显示在触摸屏的文本显示窗口上，识别从输入/输出模块接收的语音，将显示的文本与识别的语音进行比较，当显示的文本与识别的语音不相同时确定显示的文本有错误，当显示的文本有错误时将识别的语音转换为文本并修改显示的文本。
12.根据权利要求10所述的设备，其中，为了应用识别的语音以帮助执行所述预设操作，所述控制器将从输入/输出模块接收的文本显示在触摸屏的文本显示窗口上，识别从输入/输出模块接收的语音，确定识别的语音是不是预设操作命令，当识别的语音是预设操作命令时执行预设操作，将显示的文本与识别的语音进行比较，当显示的文本与识别的语音不相同时确定显示的文本有错误，当显示的文本有错误时将识别的语音转换为文本并修改显示的文本。
13.根据权利要求11或12所述的设备，其中，为了修改显示的文本，所述控制器将识别的语音转换为文本，将语音所转换的文本显示在触摸屏的语音帮助窗口上，并选择将文本显示窗口的内容改变为语音帮助窗口的内容，并且当用户选择将文本显示窗口的内容改变为语音帮助窗口的内容时，将文本显示窗口上显示的文本改变为显示的语音所转换的文本。
14.根据权利要求10所述的设备，其中，所述预设操作是列表菜单模式下的滚动操作，并且为了通过应用识别的语音根据预设操作命令执行预设操作，所述控制器在触摸屏上在列表菜单模式的预设列表屏幕中根据用于执行滚动操作的触摸输入执行滚动操作的同时输入语音时，通过应用语音识别模块来识别语音，并且当识别的语音是预设操作命令时，在执行滚动操作的同时根据所述预设操作命令执行预设操作。
15.根据权利要求10所述的设备，其中，所述预设操作是编辑主屏幕操作，并且为了通过应用识别的语音根据预设操作命令执行预设操作，所述控制器在一个或多个预设项从多个主屏页中的一个主屏幕页被拖曳至另一主屏幕页时，确定在所述项被拖曳至的触摸屏的预设主屏幕页中是否存在放置项的空间，在通过触摸拖曳所述项时通过应用语音识别模块来识别语音，当识别的语音是预设操作命令时根据所述预设操作命令执行预设操作，当存在放置所述项的空间时将所述项放置在触摸结束的主屏幕页的位置中并且对所述项应用的触摸结束，当不存在放置所述项的空间时将所述项放回原始位置并且对所述项应用的触摸结束。
CN201310463866.1A 2012-10-08 2013-10-08 利用语音识别执行预设操作模式的方法和设备 Pending CN103716454A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0111402 2012-10-08
KR1020120111402A KR102009423B1 (ko) 2012-10-08 2012-10-08 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치

Publications (1)

Publication Number Publication Date
CN103716454A true CN103716454A (zh) 2014-04-09

Family

ID=49303887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310463866.1A Pending CN103716454A (zh) 2012-10-08 2013-10-08 利用语音识别执行预设操作模式的方法和设备

Country Status (8)

Country Link
US (2) US20140100850A1 (zh)
EP (1) EP2717259B1 (zh)
JP (1) JP6347587B2 (zh)
KR (1) KR102009423B1 (zh)
CN (1) CN103716454A (zh)
AU (1) AU2013237690B2 (zh)
BR (1) BR102013025963A2 (zh)
RU (1) RU2013144921A (zh)

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252285A (zh) * 2014-06-03 2014-12-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN106020434A (zh) * 2015-03-26 2016-10-12 联想（新加坡）私人有限公司 人机接口设备输入融合的方法、设备及产品
CN106940595A (zh) * 2017-03-16 2017-07-11 北京云知声信息技术有限公司 一种信息编辑方法及装置
CN107949823A (zh) * 2015-09-08 2018-04-20 苹果公司 零延迟数字助理
CN108509175A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种语音交互方法及电子设备
CN109361814A (zh) * 2018-09-25 2019-02-19 联想(北京)有限公司 一种控制方法及电子设备
CN112634883A (zh) * 2019-09-24 2021-04-09 音频分析有限公司 控制用户界面
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198831A (zh) * 2013-04-10 2013-07-10 威盛电子股份有限公司 语音操控方法与移动终端装置
CN105573534A (zh) * 2014-10-09 2016-05-11 中兴通讯股份有限公司 操作对象的处理方法及装置
KR102302721B1 (ko) 2014-11-24 2021-09-15 삼성전자주식회사 복수의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US10726197B2 (en) * 2015-03-26 2020-07-28 Lenovo (Singapore) Pte. Ltd. Text correction using a second input
KR101632534B1 (ko) * 2015-04-06 2016-06-21 주식회사 카카오 오타 처리 방법 및 그 방법을 수행하는 사용자 단말
WO2017018736A1 (en) * 2015-07-24 2017-02-02 Samsung Electronics Co., Ltd. Method for automatically generating dynamic index for content displayed on electronic device
JP6760394B2 (ja) 2016-12-02 2020-09-23 ヤマハ株式会社 コンテンツ再生機器、収音機器、及びコンテンツ再生システム
JP6862952B2 (ja) 2017-03-16 2021-04-21 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
JP7047592B2 (ja) * 2018-05-22 2022-04-05 コニカミノルタ株式会社 操作画面の表示装置、画像処理装置及びプログラム
KR102136463B1 (ko) * 2018-07-27 2020-07-21 (주)휴맥스 스마트 디바이스 및 그 제어 방법
KR20200099380A (ko) * 2019-02-14 2020-08-24 삼성전자주식회사 음성 인식 서비스를 제공하는 방법 및 그 전자 장치
US11838459B2 (en) 2019-06-07 2023-12-05 Canon Kabushiki Kaisha Information processing system, information processing apparatus, and information processing method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US20030216913A1 (en) * 2002-05-14 2003-11-20 Microsoft Corporation Natural input recognition tool
CN1602461A (zh) * 2001-12-13 2005-03-30 皇家飞利浦电子股份有限公司 带语音控制***的ui
US20050159948A1 (en) * 2001-09-05 2005-07-21 Voice Signal Technologies, Inc. Combined speech and handwriting recognition
WO2008064137A2 (en) * 2006-11-17 2008-05-29 Rao Ashwin P Predictive speech-to-text input
US20090214117A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Handwriting symbol recognition accuracy using speech input
US20100295789A1 (en) * 2009-05-19 2010-11-25 Samsung Electronics Co., Ltd. Mobile device and method for editing pages used for a home screen

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1867068A (zh) * 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视***及其方法
DE60020504T2 (de) * 1999-07-08 2006-05-04 Koninklijke Philips Electronics N.V. Anpassung eines spracherkenners an korrigierte texte
US20030061053A1 (en) 2001-09-27 2003-03-27 Payne Michael J. Method and apparatus for processing inputs into a computing device
JP2003195939A (ja) 2001-12-26 2003-07-11 Toshiba Corp プラント監視制御システム
US6895257B2 (en) * 2002-02-18 2005-05-17 Matsushita Electric Industrial Co., Ltd. Personalized agent for portable devices and cellular phone
CN1864204A (zh) * 2002-09-06 2006-11-15 语音信号技术有限公司 用来完成语音识别的方法、***和程序
GB2433002A (en) * 2003-09-25 2007-06-06 Canon Europa Nv Processing of Text Data involving an Ambiguous Keyboard and Method thereof.
US7574356B2 (en) * 2004-07-19 2009-08-11 At&T Intellectual Property Ii, L.P. System and method for spelling recognition using speech and non-speech input
US8942985B2 (en) * 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
PL1900103T3 (pl) * 2005-06-16 2011-10-31 Firooz Ghassabian System wprowadzania danych
US7941316B2 (en) * 2005-10-28 2011-05-10 Microsoft Corporation Combined speech and alternate input modality to a mobile device
US8219406B2 (en) * 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
KR20090020265A (ko) 2007-08-23 2009-02-26 삼성전자주식회사 휴대 단말기 및 그 메시지 작성 방법
US7877700B2 (en) 2007-11-20 2011-01-25 International Business Machines Corporation Adding accessibility to drag-and-drop web content
US8958848B2 (en) * 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US20090326938A1 (en) * 2008-05-28 2009-12-31 Nokia Corporation Multiword text correction
KR100988397B1 (ko) 2008-06-09 2010-10-19 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
KR101502003B1 (ko) * 2008-07-08 2015-03-12 엘지전자 주식회사 이동 단말기 및 그 텍스트 입력 방법
US20110115702A1 (en) * 2008-07-08 2011-05-19 David Seaberg Process for Providing and Editing Instructions, Data, Data Structures, and Algorithms in a Computer System
KR101513635B1 (ko) 2008-12-05 2015-04-22 엘지전자 주식회사 단말기 및 그 제어 방법
US8661369B2 (en) * 2010-06-17 2014-02-25 Lg Electronics Inc. Mobile terminal and method of controlling the same
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
KR101718027B1 (ko) * 2010-09-09 2017-03-20 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법
US8836638B2 (en) * 2010-09-25 2014-09-16 Hewlett-Packard Development Company, L.P. Silent speech based command to a computing device
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP6024675B2 (ja) * 2014-01-17 2016-11-16 株式会社デンソー 音声認識端末装置、音声認識システム、音声認識方法
US9606716B2 (en) 2014-10-24 2017-03-28 Google Inc. Drag-and-drop on a mobile device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US20050159948A1 (en) * 2001-09-05 2005-07-21 Voice Signal Technologies, Inc. Combined speech and handwriting recognition
CN1602461A (zh) * 2001-12-13 2005-03-30 皇家飞利浦电子股份有限公司 带语音控制***的ui
US20030216913A1 (en) * 2002-05-14 2003-11-20 Microsoft Corporation Natural input recognition tool
WO2008064137A2 (en) * 2006-11-17 2008-05-29 Rao Ashwin P Predictive speech-to-text input
US20090214117A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Handwriting symbol recognition accuracy using speech input
US20100295789A1 (en) * 2009-05-19 2010-11-25 Samsung Electronics Co., Ltd. Mobile device and method for editing pages used for a home screen

Cited By (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
CN104252285B (zh) * 2014-06-03 2018-04-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104252285A (zh) * 2014-06-03 2014-12-31 联想(北京)有限公司 一种信息处理方法及电子设备
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10146355B2 (en) 2015-03-26 2018-12-04 Lenovo (Singapore) Pte. Ltd. Human interface device input fusion
CN106020434B (zh) * 2015-03-26 2021-07-20 联想（新加坡）私人有限公司 人机接口设备输入融合的方法、设备及产品
CN106020434A (zh) * 2015-03-26 2016-10-12 联想（新加坡）私人有限公司 人机接口设备输入融合的方法、设备及产品
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
CN107949823A (zh) * 2015-09-08 2018-04-20 苹果公司 零延迟数字助理
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
CN106940595A (zh) * 2017-03-16 2017-07-11 北京云知声信息技术有限公司 一种信息编辑方法及装置
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
CN108509175A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种语音交互方法及电子设备
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
CN109361814A (zh) * 2018-09-25 2019-02-19 联想(北京)有限公司 一种控制方法及电子设备
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN112634883A (zh) * 2019-09-24 2021-04-09 音频分析有限公司 控制用户界面
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
BR102013025963A2 (pt) 2018-06-26
KR102009423B1 (ko) 2019-08-09
US20190147879A1 (en) 2019-05-16
AU2013237690A1 (en) 2014-04-24
AU2013237690B2 (en) 2018-07-05
RU2013144921A (ru) 2015-04-20
EP2717259A2 (en) 2014-04-09
US20140100850A1 (en) 2014-04-10
KR20140045181A (ko) 2014-04-16
JP6347587B2 (ja) 2018-06-27
JP2014078007A (ja) 2014-05-01
US10825456B2 (en) 2020-11-03
EP2717259A3 (en) 2014-04-30
EP2717259B1 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
CN103716454A (zh) 利用语音识别执行预设操作模式的方法和设备
US9411512B2 (en) Method, apparatus, and medium for executing a function related to information displayed on an external device
KR102141155B1 (ko) 모바일 장치의 상태에 대응하는 변경된 숏컷 아이콘을 제공하는 모바일 장치 및 그 제어 방법
US20170185373A1 (en) User terminal device, and mode conversion method and sound system for controlling volume of speaker thereof
EP2753065B1 (en) Method and apparatus for laying out image using image recognition
US9927962B2 (en) Apparatus and method for displaying menu in mobile device
CN110069203B (zh) 电子设备和操作电子设备的方法
JP2013143151A (ja) 音声認識を使用してユーザ機能を行う方法及び装置
KR20140143555A (ko) 휴대 장치의 잠금 화면 상에서 빠른 어플리케이션 실행 방법 및 이를 위한 휴대 장치
KR20120020853A (ko) 이동 단말기 및 그 제어방법
JP2014044725A (ja) ユーザインターフェース提供方法、機械可読保存媒体及び携帯端末
CN101714057A (zh) 用于便携式装置的触摸输入装置和方法
CN102782631A (zh) 具有多个触摸屏幕的移动终端的屏幕控制方法和设备
CN103716451A (zh) 图像显示控制设备、图像显示设备以及图像显示控制方法
EP2743816A2 (en) Method and apparatus for scrolling screen of display device
US10739907B2 (en) Electronic apparatus and operating method of the same
CN103135760A (zh) 用于数据的多记录的便携式装置和方法
CN103324409A (zh) 在电子装置中提供快捷服务的设备和方法
KR102186815B1 (ko) 컨텐츠 스크랩 방법, 장치 및 기록매체
CN101369213B (zh) 便携式电子设备以及控制该便携式电子设备的方法
KR20160090709A (ko) 이동단말기 및 그 제어방법
US20150185988A1 (en) Method, apparatus and recording medium for guiding text editing position
US10423327B2 (en) Method and apparatus for processing key pad input received on touch screen of mobile terminal
KR101671013B1 (ko) 터치 기반의 텍스트 편집 방법 및 이를 구현한 단말기
EP2806364B1 (en) Method and apparatus for managing audio data in electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140409

WD01 Invention patent application deemed withdrawn after publication