CN1602461A - 带语音控制***的ui - Google Patents

带语音控制***的ui Download PDF

Info

Publication number
CN1602461A
CN1602461A CNA028247442A CN02824744A CN1602461A CN 1602461 A CN1602461 A CN 1602461A CN A028247442 A CNA028247442 A CN A028247442A CN 02824744 A CN02824744 A CN 02824744A CN 1602461 A CN1602461 A CN 1602461A
Authority
CN
China
Prior art keywords
option
user
equipment
pattern
options
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028247442A
Other languages
English (en)
Inventor
Y·E·斯特伊恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1602461A publication Critical patent/CN1602461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种具有用于提供第一用户可选选项的UI的电子设备。当选择第一选项的特定选项时可获得第二用户可选选项。当显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率。此外，用于从第一选项进行选择的与UI的用户交互的第一模式、不同于从第二选项进行选择的与UI的用户交互的第二模式。

Description

带语音控制***的UI
发明领域
本发明涉及一种用户界面(UI)，具体来讲，涉及一种用于具有小屏幕尺寸的设备的多模式UI，所述小屏幕设备诸如手持信息设备(掌上型电脑、电子手表、管理器、移动电话、Web板(Web pads)、遥控装置、PDA的或者笔记本计算机等等)。
背景技术以及发明概要
目前趋势表明，到2002年为止，全世界会有10亿的移动电话订购者。到2004年为止，使用中的移动电话将会多于PC。
移动电话已经成为私人、可信赖设备。诸如由Philips Electronics生产的Genie的移动电话，通常具有作为用户界面部分的LCD，并且存在提供甚至更多插件级的软件服务的趋势。所述电话还具有语音控制能力。
诸如个人数字助理(PDA)的手提计算装置，例如由3COM生产的Palm或者基于Windows CE的iPAQ手持设备，可以经由无线调制解调器、或者2.5G(例如GPRS)或者3G(例如DoCoMo)服务连接到网络中。因此，经由互联网的普遍存在的信息访问已经成为现实。近来的服务使设备能够始终保持连接，并且能够访问诸如电子邮件、瞬时消息、IP电话、音频/视频以及个人日程表或者日历之类的信息。诸如802.11b和蓝牙之类的无线LAN及PAN连通性标准，使PDA和移动电话能够与位于各个网络的各种信息内容进行交互。为不同网络之间的无缝漫游提供了GPRS和802.11b连通性的组合，所述不同网络为：广域网(WAN)、局域网(LAN)以及个人局域网(PAN)。研究还表明：PDA以及移动电话的功能已经开始集中，并且移动信息社会正在不断发展。将会出现专用设备。PDA正是目前所涉及到的工作。在不久的将来，PDA将成为始终和用户在一起的个性化计算机。PDA将会变得能量更多、尺寸更小，并且能够容纳更多且更通用的功能。大多数的连接装置可以经由UI、通过利用触摸屏选择图标、菜单项或者列表项来得以控制，或者通过语音、使用语音识别软件和硬件选择项目来控制，又或者通过使用诸如按钮、滚轮等等的专用硬件接口来控制。
便利和用户友好被认为是限制移动电话、掌上型电脑、PDA或者电子表的可用性和实用性的因素。具体来讲，用于连接个人设备的UI和服务可接入性已经成为能否被市场接受的关键性因素。具体来讲，如果用户界面技术使用户能够采用最佳选项来与各式各样的数字内容和通信选项进行交互，那么电子商业或者电子售货可以受益于个人通信装置的普遍存在。
本发明特此致力于通过向用户提供多个接口模式来提供一种简化用户访问信息、控制和通信选项的方法和设备，其中每个接口模式是最适用于特定的多级任务的。本发明的另一方面涉及一种能够根据信息分辨率为特定的信息访问、控制或者通信任务进行模式选择的方法和设备。本发明的又一方面能够使UI模式选择定制。
在此文本中使用的术语“信息分辨率”具体指的是、但是不是专指：当通过视觉、听觉、触觉或者其他感官手段进行感知时、确定用户在不同项目之间进行区分的能力的信息项集合的属性。例如，所述分辨率与所选项目或所起作用项目之间的相对距离相关联，例如当在显示监视器上显示(空间距离)时、由麦克风捕获或者经由扩音器播出(时间距离)时。适当的分辨率或者分辨率间隔可以取决于单个用户、UI模式、设备能力、环境条件以及其他因素。例如，SungChoi以及Janvan Ee发表的美国专利6,211,856(代理人编号PHA 23,387)涉及一种用于显示电子设备可控功能的图形用户界面触摸屏，将该篇专利引用于此，以供参考。将所述功能以图标方式并且以缩放尺寸显示出来，其中用户可识别所述功能，但是其太小以至于无法轻易地访问功能特征。当用户触摸图标区域时，可以提供该图标至少一个区域的放大版本。在上述例子中，第一信息分辨率对于用户来说太低，以至于无法影响对其结果有高度的信心的所要求的任务，例如按键。放大的版本通过提高表示相应动作的每个图标的尺寸来提高信息分辨率，尤其在其控制方面。在那种情况下，通过将最初不足的尺寸提高到可接受的程度、来直接在相同的逻辑维数(图解表示法)中提高信息分辨率。
发明者知道通过使用特定的UI模式显示用户感知的信息可影响信息分辨率。作为选择的UI模式可用于提供不同的信息分辨率范围。术语“模式”指的是一个或多个特定的感觉方式，或者指涉及用户与UI进行交互的一个或多个特定的感官知觉(例如，听觉、视觉、运动觉)和/或相应的生理学过程(例如，语音输入输出、听觉反馈、图形输入/反馈、触觉输入/反馈)。在UI中可以明确地(例如，用图表表示，听觉)或者内隐地(例如，直观地清晰的出现，或者凭经验，或者通过助记符号表明)表现信息项。
据此，本发明涉及具有UI的电子设备。所述UI提供第一用户可选选项。当选择第一选项的特定选项时，可得到第二用户可选选项。显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率。从第一选项中选出的与UI的用户交互的第一模式，不同于从第二选项中选出的与UI的用户交互的第二模式。优选的是，至少第一模式或者第二模式可以依照UI的结构模式进行编程。以这样的方式，用户可以配置这样一种方式，其中例如根据他/她的偏好或者菜单中处于不同级的信息分辨率来与UI进行交互。例如，在多层的菜单中，一层包括大量的第一选项，而其它层包括少量的第二个选项。例如使用触摸屏从第一选项当中进行选择，并且使用语音输入从第二选项中进行选择可能会更加便利。
优选的是，与UI的用户交互的其他模式也适用于从至少第一或者第二选项中进行选择。在本发明的实施例中，所述设备包括通信功能，例如电话、瞬时消息器或者电子邮件处理器等。
在其他的实施例中，所述设备具有触摸屏以及用于语音输入的麦克风。第一和第二模式之一涉及触摸所述触摸屏，而第一和第二模式的另一种涉及语音输入。
在本发明其它实施例中，所述设备包括用于显示至少一些第一选项的显示监视器；能够使用户将所显示的第一选项的每个相应选项与多个预定属性的相应属性进行关联的第一装置；以及用于通过相关联的属性选择所显示的第一选项的特定选项的第二装置。
本发明还涉及用于提供UI能够选择设置在第一和第二层中的选项的方法。当在UI中进行显示时的第一层中的选项，具有不同于在UI中显示时的第二层中选项的信息分辨率。所述方法包括提供第一模式以便在第一层的选项中选择第一选项，并且第一模式不同于在第二层的选项中选择第二选项的第二模式。本发明例如还可以利用网站来提供用户友好的或者定制的界面。
本发明还涉及在电子设备上使用的软件，用于生成提供第一用户可选选项以及第二用户可选选项的UI，其中所述第二用户可选选项当选择第一选项的特定选项时获得，其中，当显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率，并且其中用于从第一选项中选择的与UI的用户交互的第一模式、不同于用于从第二选项中选择的与UI的用户交互的第二模式。诸如膝上型电脑、PDA或者移动通信设备的电子设备由此可以被更新以便适合用户的需要以及偏好。
附图简述
下面将通过举例并且参照附图来更加详细地解释本发明，其中：
图1-3是具有示出了菜单中的连续层的UI的设备图；
图4是用于电子地址薄的图形辅助语音控制***的框图；以及
图5是用于标识内容(HTML、XML)表示接口的图形辅助语音控制***的框图。
贯穿整个附图，相同的参考标记表明相应或者相似的特征。
详细的实施例
其中，设备UI的用户友好性取决于与UI的用户交互的模式、在UI中显示时与其交互的项目的信息分辨率以及环境影响。可以认为分辨率取决于以下因素的一些或全部：用户交互的模式、显示的特定项目集、环境影响以及设备应该执行的任务。例如，可以在触摸屏上用图形显示电话号码薄中的名称集，并且用户可以通过在已经显示出的特定名称的位置触摸屏幕来从所述集合中选择特定名称。特定名称的选择还可以使用语音识别来执行。然而，通常将名称按字母顺序来设置，并且所显示的集合可能包括以相同文本字符开始的名称，并因此具有相同的音素。这样使得语音模式的分辨率十分低。此外，如果存在环境噪声，那么会妨碍语音或者语音识别，由此对语音模式的分辨率产生了不利影响。
更具体地说，考虑依照本发明的设备的以下例子：基于电话的电子地址薄，其中可以通过触摸屏幕GUI上的其图像来选择特定地址集，或者作为选择，使用语音识别***通过说出人名来选择。地址簿提供用于向个人进行呼叫或者发电子邮件或者发送瞬时消息的选项。然后，为了向所选的那个人发电子邮件，用户要么触摸相应的电子邮件图标，要么说出选项名称(“电子邮件”)。用于在第一步中选择特定名称的语音接口的信息分辨率、因所列名称之间语音的相似性而可以相当低。此外，一般的语音识别***需要进行训练，从而适用于单个用户。另一方面，由于相关选项的有限数目以及预定字符，说出“电子邮件”将会是访问第二功能的更快且更精确的选项。即使没有打开第二GUI也可以实现。为了能够使用户在每一步都利用最佳UI选项，***可以确定最佳模式并且提供模式提示，例如图标或者推荐的模式的其它表示。在上述电话簿的例子中，***可以在第一步上示出“指示笔”图标，并且在第二步上示出“语音”图标。作为选择，所推荐的模式还能够在访问下一个UI模块以前、加速特定功能的访问。例如，例如通过使用滚轮在屏幕上高亮显示收件人之后，用户能够使用例如“callhome”的语音命令来激活与所述项目相关联的特定功能，而不是明确地表现出来。这种交互在单手操作中尤其有用。在此环境中，例如参见由Willem Bulthuis及其他人、于12/16/99申请的序列号为09/464,855(代理人编号为PHA 23,875)的名为“HAND-EAR USERINTERFACE FOR HAND-HELD DEVICE”的美国专利，将该篇申请引用于此，以供参考。此专利文献涉及一种手持设备，该设备能够使用户仅仅利用单手并且在无需看着该设备的情况下、从菜单中选择选项。所述设备包括用于与设备进行用户交互的用户接口。所述用户接口具有能够为用户在选项集中导航的导航输入端；当用户被导航时、向用户提供关于选项的相应可选选项的相应听觉反馈的反馈输出端；以及能够使用户根据所述反馈选择当前选项的确认输入端。优选的是，诸如移动电话的设备的手持版本具有拇指轮或者其它单步调试部件，用于让用户扫视选项的线性或者环形阵列。每个相应的选项由相应的音频输出表示，所述音频输出当将滚轮的凹口卷起或放下时进行播出。这样能够使用户利用单手并且在无需看着设备的情况下来选择选项。由于不需要小键盘通过个性化目录输入数字以进行呼叫，所以这样还可以允许形状音素小于传统的移动电话。
对于本发明来说，可以增加高分辨率的信息维数，以便进一步简化选择过程。在上述地址薄的例子中，将属性列添加到当前地址列表页中。地址簿包含例如与正在显示的记录相关的视觉上的不同形状。所述形状还可以是不同颜色的，以便进一步提高可得到的组合的信息分辨率和数目。所述形状和/或颜色不与数据库中的特定项相关联，例如收件人名称，而是与屏幕上特定项的位置相关联，例如线。当用户上卷或者下卷所述列表时，属性列中的项基本上保持相同。用户通过说出形状和/或其颜色的名称来访问个体记录，其中所述形状和/或颜色当前与所显示的记录相关联。例如，短语“蓝色圆圈”将选择在属性列中以相应形状/颜色组合标记的记录。选择语音上基本不同的形状和颜色的名称，以便降低翻译概率。这对于解决发音彼此非常相似或者发音不是很清楚的项、例如人名称，是尤其有用的。用户能够以他/她的判断来启用上述例子中的图形辅助语音接口，例如通过按电钮来实现。作为选择，能够以地址簿外壳上的固定按钮的方式来实现形状和颜色。用户能够通过按下按钮的确定组合来访问记录。
在另外的例子中，将信息分辨率渐近(information resolutionapproach)用于带有互联网访问(浏览器)和显示器显示的手持信息处理设备，诸如PDA、掌上型电脑、web pads、使用WAP(无线应用协议)、蓝牙，802.11等技术的移动电话。这种设备可以使用浏览器通过互联网进行检索和导航网页，但是它们无法在不丢失信息的情况下显示整体页面。然而，页面图像的布局和一般外貌表明例如包含超链接的部分表明是否为用户感兴趣的。为了简化访问页面的特定部分，诸如“图像”、“文本”、“段”的高级HTML标识可用于表现页面的概观。也可以使用最高层XML标识。所述***能够响应表明页面特定部分的语音命令，例如“图像”。如果在页面上显示出多个图像，那么可以按照数目、颜色、特殊符号等来表示。所述***能够响应表明信息项属性的命令。例如，在彩色荧光屏上，蓝色条表示第一图像，而绿色条表示其它图像，以便命令“蓝色图像”能够使用户放大第一图像。在黑白屏幕上，可以由具有明显区别形状的符号来表示信息项，例如星形、圆圈、矩形等。因此，所述***能够响应诸如“星图像”、“圆圈文本”以及其他等等的命令。
本发明的***优选的是，为多层菜单中的各级向用户提供定制选项，诸如其它的访问模式偏好，例如语音、指示/触摸、按钮等。基于PC或互联网服务器的软件可以指导用户按结构级来选择信息单位、模式、选项表示，例如形状、颜色、语言、发音等。例如，用户能够选择形状的任取其一的分类，诸如几何图形、水果、动物、数字等。用户还能够通过计算机下载图形集和/或绘图软件，例如通过网络服务器、PC、PDA。
图1、2和3是具有电子地址薄的通信装置100的UI中的连续层的图。在此例子中，设备100是无线设备，并且例如包括手机功能、电子邮件功能和SMS功能。地址簿具有设备100的操作模式中的菜单，以便使用户选择收件人的名称，以及对此收件人待执行的通信动作，例如开始呼叫、发送瞬时消息、发送电子邮件、发送SMS消息等。在此作为特定入口的姓“Shteyn”通过选择适当的名称集而选出，例如经由滚动按钮(未示出)或者表明字母“S”的软TAB键，或者通过发音“S”、经由语音输入来实现，其中所述发音“S”由麦克风106采集并且由语音识别***108等来处理。然后，用户触摸显示在设备触摸屏104上的第一层菜单的名称图形表示102(例如字母数字表示、图标或者图像等)。作为选择，通过向与语音识别***108相耦合的麦克风106说出相关人的名称，可以选择特定入口。为了在第一步中选择特定名称的语音接口的信息分辨率，由于所列名称之间语音的相似性而可以相对低。另一个缺点在于：语音识别***108通常必须为每一单个用户的地址簿的每个个人名称入口进行训练。因此，更为方便的是进行语音控制，以便使当前显示在显示器104上的每一个名称临时映射到预定属性的特定属性上，其中已经为所述属性进行了语音控制的预编程。这里将所述属性显示在列110中。向上或者向下滚动名称，以便将另一个名称子集显示出来。显示在显示器104上的每个子集能因此与同一预定义的属性相关联，以用于在操作使用期间选择。也就是说，当用户上卷或者下卷名称列表时，列110保持不变。在所示出的例子中，所述属性是几何形状。作为选择，其例如还可以是不同的颜色、数字等。在以当前名称子集所示的例子中，属性“圆圈”与名称“Shteyn”相关联；属性“三角形”与名称“Steen”相关联；属性“月形”与名称“Stein”相关联；属性“正方形”与名称“Steyn”相关联；名称“Stijn”与属性“三角形”相关联。例如在显示器104的独立窗口中显示显示板110中的属性，或者作为设备100上的硬按钮等等。显示推荐的模式提示110，以表明语音识别***被激活。通过视觉上将所显示的信息项“Shteyn”与图形符号“圆圈”相关联，并且说出词“圆圈”，或者通过触摸触摸屏104上的圆圈，经由语音输入来实现收件人“Shteyn”的选择。据此，选择机制利用名称“Shteyn”的语义内容到(摘要)属性上的视觉映射，这里所述属性是“圆圈”，并且说出后者名称。选择由此涉及视觉方面和语音方面的混合组合。当选择收件人的名称“Shteyn”时，菜单进入到图2中所示的下一个状态。
图2示出了一经选择入口、这里是收件人的姓“Shteyn”的显示器104。地址簿的菜单示出了此选择存在四个可能的选项：“Eugene”、“Svetlana”、“Vladimir”和“Alice”。用户想要给Alice Shteyn打电话。为了选择入口“Alice”，可以使用图1的属性映射。然而，由于信息分辨率足以高到可以使用语音输入的级别可获得的选项的数目有限，所以经由***108进行语音输入更为方便。用户说单词“Alice”以选择此收件人。当选择“Alice”时，菜单可以图形地进入下一级，并列出与Alice有联系的选项：她的电话号码、她的电子邮件地址、她的寻呼机号、或者表示这些相关信息项的图标等等，参见图3的图表。应该注意的是，在操作模式中，因为用户只对以确定通信方式经由设备100开始联络感兴趣，而不需要对用于其的确切联系信息感兴趣，所以无须显示号码或者电子邮件地址。当用户说出“呼叫”或者“电话”时，甚至可以完全省略因Alice而列出的通信选项的显示。由于代表遍及地址簿的所有收件人的通信方式是有限的，所以用户在此例子中说“呼叫”或者“电话”。应该注意的是，当用户说出“Alice”之后立即说出“呼叫”或者“电话”时，甚至可以完全省略因Alice列出的通信选项的显示，从而图2的菜单级成为选择过程的结束。于是，设备拨打所列出的Alice Shteyn私人手机的号码，并且开始呼叫。
图4是举例说明利用依照本发明的设备或者***进行用户交互的过程的流程图，其中所述设备或者***允许语音输入以及用于用户交互的其他模式。在步骤402中，确定环境噪声级并且在步骤404中与阈级相比。如果所述环境噪声级不低于确定阈值，那么在步骤406中激活触摸屏访问模式。所述设备在步骤408中还选择适当的访问模式提示，以通知用户所选择的访问模式，例如图形模式，并且在步骤410中向用户呈现该模式。然后，用户经由触摸屏提供输入。如果所述环境噪声级低于阈值，那么在步骤414中***设备初始化图形辅助语音控制***。在步骤416中，例如通过***自动地或者人工地或者由用户经由语音输入来选择图形集。图形集包括图标或者符号集合，例如显示在显示监视器上的由参考标记110表明的集合。在步骤418中建立捆绑机制，以便一方面在图标或符号与图形地表示的信息项之间创建关联，例如图1中的名称。在步骤420中，产生合并的GUI，例如以所显示的名称和图标在图1所示出的那样。在步骤422中，激活语音控制访问模式，并且如在上述步骤408下解释的那样来选择访问模式提示。
图5是举例说明依照本发明的图形辅助语音控制***的标识内容(例如HTML、XML)显示接口的流程图。在步骤502中，用户设备或者享有其利益的代理设备、从服务器接收用户所请求的HTML文件。所述HTML文件可以表示网页、用户接口表示，例如UPnP设备接口等。在步骤504中，例如以像素为单位来估算页面显示大小。HTML页面大小的确定在现有技术中是被人们所熟知的。例如，可以在互联网上，例如从www.mozilla.org中获得Netscape web browser的源代码。在步骤506中，将所要求的显示大小与实际设备显示大小或者用于显示的有效区域相比较，以便确定分辨率阈值是否低于所要求的阈值。所述阈值例如可以由所要求的页面大小和实际有效的屏幕大小之间的比率来表示。设备的图像缩放能力也可以被考虑。如果显示要求超过阈值，那么在步骤508中，激活全触摸屏访问模式。否则，在步骤516中，初始化图形辅助语音控制***。所述初始化步骤可以涉及载入存储器程序指令和/或涉及下一步过程的过程数据段。所述数据段可以驻留在设备自身或者其他设备上，例如个人计算机或者互联网服务器。在后者的情况下，将设备经由有线或者无线网络连接。在步骤518中，选择显示标记集。在所给出的实现方式中，所述标记集包括HTML标识名列表，例如IMG、FORM、TABLE等等，以及选择性地包括它们表示的元件的阈值像素尺寸。所述标识可以表示HTML文档的标准属性，和/或与特定文件类型相关的专有扩展名。在此处所述的实现方式中，所述HTML文档表示在互联网上利用以及被称为“标记语言”的方式来写的超媒体内容的实例。SGML就是这种语言之一，用于描述文档结构并且用于描述标记方案，以便描绘文本中的结构。HTML、XML、XHTML是SGML的子集，其被广泛用于文档表示以及文档通信。在步骤520中，分析HTML文件以提取由所述标识表示的信息，其中所述标识在步骤518中所选的标记集合中列出。当准备显示所提取的信息时，例如通过除去不适合所选择的标记集合的标记数据、可以存储原始文件以便备查或者将其清除。在步骤522中选择图形集来表示在显示器上所识别的、标记的信息。所述图形集可以包括图标、几何图形、标识名称等集合。在步骤524中，将所标记的信息段映射到所述图形集，以便在两者之间建立视觉和音频通信。在步骤526中，产生合并的GUI以允许原始HTML文件的显示表示。所述组合可以作为HTML文件来实现，所述HTML文件具有标记的信息段以及在步骤522中选择的图形集元件。在那种情况下，根据***配置由诸如IMG、FONT的HTML标识来表示图形集元件。在步骤528中，激活语音控制访问模式以允许“收听”并且提取与所述图形集相关联的语音命令。在步骤510中，选择访问模式提示以便向用户提供优选的访问模式的指示。在步骤512中，将提示呈现给用户，并且在步骤514中，将***设置为等待用户输入。如上所述的过程可以在显示设备本身上实现，或者在分布式或客户-服务器环境内、以及它们的组合中实现。例如，对于具有不足的计算资源的设备、例如移动电话来说，代理服务器可以执行从步骤504到步骤526的操作。在后者的情况下，将结果产生的HTML文件或者具有更喜欢的交互模式的指示的其压缩图像发送到所述设备。在另外的实现方式中，将显示的标识集和图形集作为用户偏好数据库的一部分存储在服务器上。

Claims (10)

1.一种具有UI的电子设备，其中：
所述UI提供第一用户可选选项以及第二用户可选选项，所述第二用户可选选项当选择第一选项的特定一个选项时获得；
显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率；以及
从第一选项中进行选择的与UI的用户交互的第一模式，不同于从第二选项中选出的与UI的用户交互的第二模式。
2.如权利要求1所述的设备，其中至少第一模式或者第二模式可以依照UI的配置模式进行编程。
3.如权利要求1所述的设备，其中与UI的用户交互的附加模式可用于从至少第一或者第二选项中进行选择。
4.如权利要求1所述的设备，包括通信功能。
5.如权利要求1所述的设备，其中：
所述设备具有触摸屏；
所述设备具有用于语音输入的麦克风；
第一和第二模式之一涉及触摸所述触摸屏；
第一和第二模式的另一个涉及语音输入。
6.如权利要求1所述的设备，包括：
显示监视器，用于显示至少一些第一选项；
第一装置，用于使用户能够将所显示的第一选项的每个相应选项与多个预定属性的相应属性进行关联；以及
第二装置，用于经由相关联的属性选择所显示的第一选项的特定一个选项。
7.用于提供UI以便能够选择布置在第一和第二层中的选项的方法，其中：
当在UI中显示时、第一层中的选项具有不同于在UI中显示时的第二层中选项的信息分辨率；并且
所述方法包括提供在第一层中选择第一选项之一的第一模式，它不同于在第二层中选择第二选项之一的第二模式。
8.如权利要求7所述的方法，其中第一和第二模式之一涉及触摸屏，并且其中其它的第一和第二选项涉及语音输入。
9.在电子设备上使用的软件，用于生成提供第一用户可选选项以及第二用户可选选项的UI，其中所述第二用户可选选项当选择第一选项的特定选项时获得，其中，当显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率，并且其中用于从第一选项中选择的与UI的用户交互的第一模式、不同于用于从第二选项中选择的与UI的用户交互的第二模式。
10.如权利要求9所述的软件，其中第一和第二模式之一涉及触摸屏，并且其中其它的第一和第二选项涉及语音输入。
CNA028247442A 2001-12-13 2002-11-20 带语音控制***的ui Pending CN1602461A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/017,067 US6791529B2 (en) 2001-12-13 2001-12-13 UI with graphics-assisted voice control system
US10/017,067 2001-12-13

Publications (1)

Publication Number Publication Date
CN1602461A true CN1602461A (zh) 2005-03-30

Family

ID=21780532

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028247442A Pending CN1602461A (zh) 2001-12-13 2002-11-20 带语音控制***的ui

Country Status (7)

Country Link
US (1) US6791529B2 (zh)
EP (1) EP1459163A2 (zh)
JP (1) JP2005512226A (zh)
KR (1) KR20040063170A (zh)
CN (1) CN1602461A (zh)
AU (1) AU2002351018A1 (zh)
WO (1) WO2003050668A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096541B (zh) * 2009-12-10 2013-02-06 腾讯科技（深圳）有限公司 多媒体播放器界面操作控制装置及方法
CN103716454A (zh) * 2012-10-08 2014-04-09 三星电子株式会社 利用语音识别执行预设操作模式的方法和设备
CN103870160A (zh) * 2014-03-26 2014-06-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN105100460A (zh) * 2015-07-09 2015-11-25 上海斐讯数据通信技术有限公司 一种声音操控智能终端的方法及***
CN110060679A (zh) * 2019-04-23 2019-07-26 诚迈科技（南京）股份有限公司 一种全程语音控制的交互方法和***

Families Citing this family (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US20030172299A1 (en) * 2002-03-05 2003-09-11 Gunter Carl A. Method and system for maintaining secure access to web server services using permissions
KR100457509B1 (ko) * 2001-07-07 2004-11-17 삼성전자주식회사 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법
US7246063B2 (en) * 2002-02-15 2007-07-17 Sap Aktiengesellschaft Adapting a user interface for voice control
EP1337093B1 (en) * 2002-02-19 2006-08-23 Nokia Corporation Method for enabling a communication via a mobile phone and mobile phone enabling a communication
US7296243B2 (en) 2002-03-19 2007-11-13 Aol Llc Animating display motion
US7155382B2 (en) * 2002-06-03 2006-12-26 Boys Donald R Audio-visual language instruction system without a computer
US20050003870A1 (en) * 2002-06-28 2005-01-06 Kyocera Corporation Information terminal and program for processing displaying information used for the same
US7251683B1 (en) * 2002-10-25 2007-07-31 Sandeep Shah Information handling system including arrangements for initiating an application in response to usage of cross reference between information and for initiating usage of a workflow flow chart associated with and information work
US20040103153A1 (en) * 2002-11-21 2004-05-27 Chang Tsung-Yen Dean Apparatus and method for providing smart network appliances
US7607100B2 (en) * 2003-05-29 2009-10-20 International Business Machines Corporation Method, system and program product for display management of web page phone/fax numbers by a data processing system
JP3728304B2 (ja) * 2003-07-10 2005-12-21 キヤノン株式会社 情報処理方法、情報処理装置、プログラム、及び記憶媒体
US7613467B2 (en) * 2003-10-31 2009-11-03 The Boeing Company Geo-cast systems and methods
KR100593982B1 (ko) * 2003-11-06 2006-06-30 삼성전자주식회사 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체
US20050192808A1 (en) * 2004-02-26 2005-09-01 Sharp Laboratories Of America, Inc. Use of speech recognition for identification and classification of images in a camera-equipped mobile handset
US20050229112A1 (en) * 2004-04-13 2005-10-13 Clay Timothy M Method and system for conveying an image position
DE102004021454A1 (de) * 2004-04-29 2005-11-24 Volkswagen Ag Verfahren und Vorrichtung für einen akustischen Zugang zu einem Anwendungsrechner
JP4855653B2 (ja) * 2004-05-25 2012-01-18 ソニー株式会社 放送番組提供システム，放送受信端末装置，閲覧端末，操作端末およびコンピュータプログラム
JP2008504607A (ja) * 2004-06-22 2008-02-14 ヴォイス シグナル テクノロジーズ インコーポレーティッド 拡張可能な音声コマンド
US20070130078A1 (en) * 2005-12-02 2007-06-07 Robert Grzesek Digital rights management compliance with portable digital media device
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070088549A1 (en) * 2005-10-14 2007-04-19 Microsoft Corporation Natural input of arbitrary text
US20070124507A1 (en) 2005-11-28 2007-05-31 Sap Ag Systems and methods of processing annotations and multimodal user inputs
US8055707B2 (en) * 2005-11-30 2011-11-08 Alcatel Lucent Calendar interface for digital communications
US8280742B2 (en) * 2005-12-16 2012-10-02 Panasonic Corporation Input device and input method for mobile body
US20070205991A1 (en) * 2006-03-06 2007-09-06 Samsung Electronics Co., Ltd. System and method for number dialing with touch sensitive keypad
US20070205993A1 (en) * 2006-03-06 2007-09-06 Samsung Electronics Co., Ltd. Mobile device having a keypad with directional controls
US20070205992A1 (en) * 2006-03-06 2007-09-06 Samsung Electronics Co., Ltd. Touch sensitive scrolling system and method
US20070205989A1 (en) * 2006-03-06 2007-09-06 Samsung Electronics Co., Ltd. Camera with a touch sensitive keypad
KR101246293B1 (ko) * 2006-04-24 2013-03-21 삼성전자주식회사 홈 네트워크에서 사용자 인터페이스 방법 및 장치와 그전자기기 및 저장 매체
JP5247700B2 (ja) * 2006-08-25 2013-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ サマリーを生成する方法および装置
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8620315B1 (en) * 2006-09-29 2013-12-31 Yahoo! Inc. Multi-tiered anti-abuse registration for a mobile device user
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE102007024110A1 (de) * 2007-05-22 2008-12-11 Deutsche Telekom Ag Verfahren zur Beeinflussung der Interpretation multimodaler Eingaben
US20080317219A1 (en) * 2007-06-21 2008-12-25 Siemens Communications, Inc. Method and apparatus for context based voice dialing
US20090024664A1 (en) * 2007-06-29 2009-01-22 Alberto Benbunan Garzon Method and system for generating a content-based file, and content-based data structure
DE102007037567A1 (de) * 2007-08-09 2009-02-12 Volkswagen Ag Verfahren zur multimodalen Bedienung mindestens eines Gerätes in einem Kraftfahrzeug
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8751947B2 (en) 2008-02-29 2014-06-10 Adobe Systems Incorporated Visual and functional transform
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
KR101560183B1 (ko) * 2008-04-17 2015-10-15 삼성전자주식회사 사용자 인터페이스를 제공/수신하는 방법 및 장치
KR20090110202A (ko) 2008-04-17 2009-10-21 삼성전자주식회사 개인화된 사용자 인터페이스를 디스플레이하는 방법 및 장치
KR101545137B1 (ko) * 2008-04-17 2015-08-19 삼성전자주식회사 사용자 인터페이스를 생성하는 방법 및 장치
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
KR101488726B1 (ko) * 2008-05-27 2015-02-06 삼성전자주식회사 위젯 창을 표시하는 디스플레이 장치 및 이를 포함하는디스플레이 시스템과 그 디스플레이 방법
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
DE102009024693B4 (de) * 2009-06-12 2019-07-11 Volkswagen Ag Infotainmentsystem für ein Fahrzeug und Verfahren zum Darstellen von Informationen
DE102009025530B4 (de) * 2009-06-19 2019-05-23 Volkswagen Ag Verfahren zur Bedienung eines Fahrzeugs mittels eines automatisierten Sprachdialogs sowie entsprechend ausgestaltetes Sprachdialogsystem und Fahrzeug
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9183834B2 (en) * 2009-07-22 2015-11-10 Cisco Technology, Inc. Speech recognition tuning tool
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
CN102782733B (zh) 2009-12-31 2015-11-25 数字标记公司 采用配备有传感器的智能电话的方法和配置方案
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
WO2011128293A2 (en) * 2010-04-12 2011-10-20 Aktiebolaget Electrolux A control interface for household appliances
US9329767B1 (en) * 2010-06-08 2016-05-03 Google Inc. User-specific customization based on characteristics of user-interaction
US20110307252A1 (en) * 2010-06-15 2011-12-15 Microsoft Corporation Using Utterance Classification in Telephony and Speech Recognition Applications
WO2012043168A1 (ja) * 2010-09-29 2012-04-05 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音声変換装置、携帯電話端末、音声変換方法および記録媒体
JP5576257B2 (ja) * 2010-12-13 2014-08-20 トヨタ自動車株式会社 制御装置
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
KR101295711B1 (ko) * 2011-02-15 2013-08-16 주식회사 팬택 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9002703B1 (en) * 2011-09-28 2015-04-07 Amazon Technologies, Inc. Community audio narration generation
US9082403B2 (en) 2011-12-15 2015-07-14 Microsoft Technology Licensing, Llc Spoken utterance classification training for a speech recognition system
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9691377B2 (en) 2013-07-23 2017-06-27 Google Technology Holdings LLC Method and device for voice recognition training
US8977555B2 (en) 2012-12-20 2015-03-10 Amazon Technologies, Inc. Identification of utterance subjects
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和***
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
US9548047B2 (en) 2013-07-31 2017-01-17 Google Technology Holdings LLC Method and apparatus for evaluating trigger phrase enrollment
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
WO2015144536A1 (en) * 2014-03-27 2015-10-01 Sony Corporation Electronic device and method for identifying input commands of a user
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
EP3163457B1 (en) * 2014-06-30 2018-10-10 Clarion Co., Ltd. Information processing system, and vehicle-mounted device
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
JP6423673B2 (ja) * 2014-09-26 2018-11-14 京セラ株式会社 通信端末およびその制御方法
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9576575B2 (en) * 2014-10-27 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Providing voice recognition shortcuts based on user verbal input
CN104601651A (zh) * 2014-11-18 2015-05-06 浪潮(北京)电子信息产业有限公司 NaaS的多级插件***
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
JP6380091B2 (ja) 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9959129B2 (en) * 2015-01-09 2018-05-01 Microsoft Technology Licensing, Llc Headless task completion within digital personal assistants
CN104635927A (zh) * 2015-01-27 2015-05-20 深圳富泰宏精密工业有限公司 互动显示***及方法
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10733235B2 (en) * 2015-06-09 2020-08-04 Patricia Henery Aid for dyslexic readers
US20160366264A1 (en) * 2015-06-12 2016-12-15 International Business Machines Corporation Transferring information during a call
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP6932917B2 (ja) * 2016-11-30 2021-09-08 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
EP3583481B1 (en) * 2018-05-07 2021-02-17 Google LLC Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices
KR20210015348A (ko) 2019-08-01 2021-02-10 삼성전자주식회사 대화 관리 프레임워크에 기반한 대화 관리 방법 및 그 장치
US20220093098A1 (en) * 2020-09-23 2022-03-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11630644B2 (en) 2021-05-27 2023-04-18 Bank Of America Corporation Service for configuring custom software

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566272A (en) 1993-10-27 1996-10-15 Lucent Technologies Inc. Automatic speech recognition (ASR) processing using confidence measures
JP3267047B2 (ja) 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
FI97508C (fi) * 1995-01-09 1996-12-27 Nokia Mobile Phones Ltd Pikavalinta henkilökohtaisessa matkaviestimessä
US5956035A (en) * 1997-05-15 1999-09-21 Sony Corporation Menu selection with menu stem and submenu size enlargement
US6211856B1 (en) 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
US6369803B2 (en) * 1998-06-12 2002-04-09 Nortel Networks Limited Active edge user interface
US6269335B1 (en) * 1998-08-14 2001-07-31 International Business Machines Corporation Apparatus and methods for identifying homophones among words in a speech recognition system
US6259436B1 (en) * 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6765557B1 (en) 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US7143043B1 (en) * 2000-04-26 2006-11-28 Openwave Systems Inc. Constrained keyboard disambiguation using voice recognition

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096541B (zh) * 2009-12-10 2013-02-06 腾讯科技（深圳）有限公司 多媒体播放器界面操作控制装置及方法
CN103716454A (zh) * 2012-10-08 2014-04-09 三星电子株式会社 利用语音识别执行预设操作模式的方法和设备
US10825456B2 (en) 2012-10-08 2020-11-03 Samsung Electronics Co., Ltd Method and apparatus for performing preset operation mode using voice recognition
CN103870160A (zh) * 2014-03-26 2014-06-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN103870160B (zh) * 2014-03-26 2018-03-23 联想(北京)有限公司 一种信息处理方法及电子设备
US10055118B2 (en) 2014-03-26 2018-08-21 Beijing Lenovo Software Ltd. Information processing method and electronic device
CN108469937A (zh) * 2014-03-26 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN108469937B (zh) * 2014-03-26 2020-11-20 联想(北京)有限公司 一种信息处理方法及电子设备
CN105100460A (zh) * 2015-07-09 2015-11-25 上海斐讯数据通信技术有限公司 一种声音操控智能终端的方法及***
CN110060679A (zh) * 2019-04-23 2019-07-26 诚迈科技（南京）股份有限公司 一种全程语音控制的交互方法和***
CN110060679B (zh) * 2019-04-23 2022-02-11 诚迈科技（南京）股份有限公司 一种全程语音控制的交互方法和***

Also Published As

Publication number Publication date
KR20040063170A (ko) 2004-07-12
WO2003050668A2 (en) 2003-06-19
WO2003050668A3 (en) 2004-02-26
US20030117365A1 (en) 2003-06-26
AU2002351018A1 (en) 2003-06-23
JP2005512226A (ja) 2005-04-28
US6791529B2 (en) 2004-09-14
AU2002351018A8 (en) 2003-06-23
EP1459163A2 (en) 2004-09-22

Similar Documents

Publication Publication Date Title
CN1602461A (zh) 带语音控制***的ui
US6731316B2 (en) Graphical layout and keypad response to visually depict and implement device functionality for interactivity with a numbered keypad
CN102640101B (zh) 用于提供用户接口的方法及装置
US8108776B2 (en) User interface for multimodal information system
KR100796044B1 (ko) 인물 이미지에 대한 태깅 방법
US20070079383A1 (en) System and Method for Providing Digital Content on Mobile Devices
US20070002077A1 (en) Methods and System for Providing Information Services Related to Visual Imagery Using Cameraphones
JP2013502861A (ja) 連絡先情報入力方法及びシステム
MXPA04010107A (es) Entrada multimodal secuencial.
WO2001037165A9 (en) An apparatus and method for simple wide-area network navigation
JP5140759B2 (ja) 通信端末装置及びこれを用いた通信システム
CN107734189A (zh) 界面展示方法及装置
KR20090111826A (ko) 문서 내 링크들을 표시하기 위한 방법 및 시스템
CN107895006B (zh) 音频播放方法、装置、存储介质及电子设备
CN107797729A (zh) 界面展示方法及装置
CN102663055A (zh) 浏览器导航的实现方法、装置及浏览器
US20110126087A1 (en) Graphical user interface for non mouse-based activation of links
CN1245312A (zh) 显示万维网文档的***和方法
JP2007080257A (ja) 携帯型の営業活動支援装置
JP2001357309A (ja) 日記型嗜好情報収集方法
JP4734199B2 (ja) 端末装置及びプログラム
JP2005115757A (ja) 受注システム、受注システムの制御方法、通信端末、情報処理装置、通信端末の制御方法、情報処理装置の制御方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
WO2003000001A2 (en) Graphic user interface with remote configuration to access computer network
KR20060098791A (ko) 웹브라우저에서 탭 기능을 제공하는 방법 및 그 장치
KR101212943B1 (ko) 브라우저에서 키 이벤트 발생에 따른 최상위 페이지 제공 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication