CN106164904A - 客户端侧个人语音web导航 - Google Patents

客户端侧个人语音web导航 Download PDF

Info

Publication number
CN106164904A
CN106164904A CN201580017955.0A CN201580017955A CN106164904A CN 106164904 A CN106164904 A CN 106164904A CN 201580017955 A CN201580017955 A CN 201580017955A CN 106164904 A CN106164904 A CN 106164904A
Authority
CN
China
Prior art keywords
webpage
user
mobile device
screen
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580017955.0A
Other languages
English (en)
Inventor
C-Y·严
D·利德尔
K·瑞纳瑞斯
C·莫里斯
D·林德尔
T·萨蒂
M·斯蒂芬斯
E·特荣格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106164904A publication Critical patent/CN106164904A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

在诸如智能电话之类的移动设备上运行的***被配置为展现用户界面(UI)来允许用户指定能够被钉到设备的开始屏幕的网页。一旦被钉住，用户可以通过语音命令从UI上的任何位置处或从当前在设备上正被支持的任何体验中启动网页。这样，用户可以进行与朋友的关于新视频游戏讨论的呼叫，并随后使用语音命令来在移动设备上启动web浏览器应用，该web浏览器应用导航到具有关于该游戏的发行日期的信息的被钉住的网页。可以通过UI很容易地从开始屏幕钉住或取消钉住网页。当网页从开始屏幕被取消钉住时，***禁止对其的语音web导航。

Description

客户端侧个人语音WEB导航
背景
移动设备正在利用高级移动运营商(MO)网络上的新的通信服务，这些网络提供了语音和数据服务以支持丰富的用户体验，例如在因特网上的网站浏览。尽管这样的设备和网络在许多应用中都能令人满意地执行，但期望有更多的改进来允许为移动设备用户提供附加特征和体验。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
在诸如智能电话之类的移动设备上运行的***被配置为展现用户界面(UI)来允许用户指定能够被钉到设备的开始屏幕的网页。一旦被钉住，用户可以通过语音命令从UI上的任何位置处或从当前在设备上正被支持的任何体验中启动网页。这样，例如，用户可以进行与朋友的关于新视频游戏讨论的呼叫，并随后使用语音命令来在移动设备上启动web浏览器应用，该web浏览器应用导航到具有关于该游戏的发行日期的信息的被钉住的网页。可以通过UI很容易地从开始屏幕钉住或取消钉住网页。当网页从开始屏幕被取消钉住时，***禁止对其的语音web导航。
在各种说明性示例中，移动设备配备有触摸屏，这样当在浏览器上查看网页时，用户可以调用应用菜单，该应用菜单展示了用户可以轻击以将该网页钉到开始屏幕的控件。所述***将把一个名字分配给一个标记以表示该网页并将其放置在开始屏幕上以向用户指示它能够通过使用所分配的名字的语音命令被启动。所述***整合有虚拟个人助理，该虚拟个人助理展示了响应于语音命令的自然语言接口。因此，例如，当用户说出“open liveXbox(打开live Xbox)”时，所述***将触发web浏览器应用以导航到live.xbox.com网页。所述***展示了另一个允许用户轻击并将网页标记保持在开始屏幕上以取消其钉住的控件。
有利地，所述***为用户提供了一种快速、简单且一致的方式来从任何体验中仅通过两步就选择并启动网页—启动虚拟个人助理并随后说出命令以按名字导航到所选择的网页。这两个步骤通常可以独立于用户已经钉到开始屏幕的网页的数量来被使用。另外，不像一些传统方案，用于语音web导航的本***不使用外部服务器执行web搜索以按名字导航到网页。通过消除这种中间搜索步骤，移动设备的资源，包括电力和网络带宽使用，可以被保存，同时增强了整体用户体验。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。将理解，上述主题可被实现为计算机控制的装置、计算机进程、计算***或诸如一个或多个计算机可读存储介质之类的制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。
附图描述
图1示出说明性电信环境，其中具有电话能力的设备在移动运营商网络上通信；
图2示出支持硬件层、操作***层和应用层的说明性构架；
图3示出包括展现自然语言接口的虚拟个人助理的说明性的移动设备；
图4示出由虚拟个人助理所支持的功能的说明性分类；
图5是藉此用户可使用语音命令导航到被钉住的网页的说明性方法的流程图；
图6-15描述了在移动设备上展示的各种用户界面的说明性屏幕捕捉；
图16是可部分地实现本语音web导航的说明性计算***(诸如个人计算机(“PC”))的简化框图；
图17示出可部分地实现本语音web导航的说明性设备的框图；以及
图18是说明性移动设备的框图。
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
图1示出了说明性的电信环境100，其中各个用户105使用在移动运营商(MO)网络115上通信的相应设备110。设备110提供语音电话能力并且除了各种其他特征之外通常还支持数据消费应用(诸如因特网浏览和多媒体(例如，音乐、视频等)消费)。设备110可包括例如用户经常用于做出和接收语音和/或多媒体呼叫、发送和接收文本/视频消息和电子邮件并利用基于数据的服务来实现各种用户体验的用户装备、移动电话、蜂窝电话、以及智能电话。
然而，替代类型的电子设备也被设想可用于电信环境100内，只要它们配备有通信能力并且可连接到MO网络115。这类替代设备分别包括手持式计算设备、PDA(个人数字助手)、便携式媒体播放器、可穿戴计算设备、导航设备(诸如GPS(全球定位***)***)、膝上型PC(个人计算机)、台式计算机、多媒体控制台、游戏***、或诸如此类。在以下的讨论中，对术语“移动设备”的使用旨在覆盖配备有通信能力并且能够无线连通到MO网络115的所有设备。
每个移动电话110将通常具有与MO网络115的预布置关联。例如，用户105将通常是蜂窝服务计划的订户，使得用户的移动电话110可作为通常针对语音和数据服务的有效和经认证的用户装备来访问MO网络。在该说明性示例中的MO网络115包括具有支持通过设备110对MO核心网络125的访问的数个宏蜂窝的无线电接入网络120。MO网络115的后端通常包括支持到包括公共交换电话网(PSTN)130的网络基础架构的连接的接口。通常还支持到因特网140的连接，使得移动设备110可以访问由一个或多个web内容供应商145所提供的内容。如下更加详细地描述，外部服务供应商150在MO网络115上也是可访问的。
在替换实现中，一个或多个移动设备110可以被配置为与兼容IEEE 802.11的Wi-Fi接入点155对接以便访问通常包括语音和/或数据服务的各种服务。Wi-Fi接入点可在操作上耦合到MO核心网络125或其它网络，例如IP(网际协议)网络、VoIP(网际协议语音)网络和/或其它网络类型或网络的组合，如由附图标记160所典型示出的。
图2示出可在给定移动电话110(图1)上被实例化的功能组件的说明性架构200。架构200通常以软件来实现，但是在一些情况下，也可采用软件、固件、和/或硬件的组合来实现。架构200被布置成多层，并且包括应用层205、OS(操作***)层210、以及硬件层215。硬件层215向其上的各层提供由移动设备110(例如，输入和输出设备、联网硬件等)使用的各种硬件的抽象。
在本示例中，应用层205支持web浏览器应用220，该web浏览器应用被配置为从基于web的资源(例如由图1中的供应商145所展示的那些)检索、呈现和遍历信息。支持各种其它用户体验的其它应用225也在应用层205中被支持。应用225通常使用本地执行代码来实现。然而，在一些情况中，应用225可以依赖于由远程服务器或其它计算平台所提供的服务和/或远程代码执行，例如外部服务供应商150所支持的那些。
在本示例中，所述OS层210支持虚拟个人助理230和其它OS组件235。由OS组件235自身或在某些情况下结合虚拟个人助理230在移动设备110上实现如在此所述的用于提供语音web导航的***240。另外，所述***240可以与在应用和/或硬件层中的组件互操作，例如以展示包括各种用户控件的UI或实现可能是支持语音web导航所需的其它功能。使用在应用层205和/或硬件层215中运行的代码或方法和/或使用在移动设备110远程执行的代码或方法，***240和虚拟个人助理230也可以被整体或部分地支持。例如，支持***240和虚拟个人助理230的远程代码或方法可以在服务器上或由外部服务供应商150所支持的其它计算设备上执行(如在图2中的虚线245所示)。
如图3所示，虚拟个人助理230使用自然语言UI 305，该自然语言UI 305可以将语音命令310作为来自用户105的输入。语音命令310可以被用于调用移动设备上的各种动作、特征和功能，将输入提供到***和应用等等。在一些情况中，语音命令310可以在对特定用户体验的支持中独立地被使用，但是在其它情况中所述语音命令可以结合其它非语音命令或输入(例如使用移动设备上的物理控件或在UI上实现的虚拟控件实现的那些)被使用。
图4示出由虚拟个人助理230所支持的功能400的说明性分类。到虚拟个人助理230的输入通常可以包括用户输入405、来自内部源的数据410以及来自外部源的数据415。例如，来自内部源的数据410可以包括由移动设备110上的GPS(全球定位***)组件或某种其它知晓位置的组件所报告的该设备的当前地理位置。外部源的数据415包括例如由外部***、数据库、服务等等(例如外部服务供应商150(图1))提供的数据。
如所示，功能400包括与用户420(例如通过自然语言UI和其它图形UI)交互；执行任务425(例如在用户日历上做约会记录、发送文本消息和电子邮件等)；提供服务430(例如回答来自用户的问题、绘制到目的地的路线等)；收集信息435(例如查找由用户请求的关于书籍或电影的信息、定位最近的意大利餐馆等)；操作移动设备440(例如设定偏好、调整屏幕亮度、开启和关闭无线连接(例如Wi-Fi和蓝牙)等)；以及执行各种其它功能445。功能400的列表不旨在排他性的，并且当语音web导航的特定实现可能需要时，可以由虚拟个人助理提供其它功能。
图5是藉此用户105(图1)可使用语音命令导航到被钉住的网页的说明性方法500的流程图。步骤505-540描述了用户105(图1)如何将网页钉住和取消钉住到开始屏幕。步骤545-560描述了用户105与虚拟个人助理230(图2)交互以使用语音命令导航到被钉住的网页。除非明确说明，否则图5中的流程图中所示并且在伴随的文本中描述的方法或步骤不限于特定的次序或序列。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行，并且一些方法或步骤可以是可选地被使用。
在步骤505中，用户105调用web浏览器220并导航到感兴趣的某个网页。图6示出了当用户导航到具有URL(统一资源定位符)www.live.xbox.com的网页时由web浏览器在移动设备110的显示屏610上所示的说明性UI 600的屏幕捕捉。在该示例中，以及针对随后在图7-15中的屏幕捕捉，在移动设备110上的显示屏610被配置为触摸屏。如在图6中所示，UI600展示出用户可以调用以导航到由网站所支持的各种用户体验的若干个用户控件615(例如按钮)。地址栏620示出当前页面的网址。
返回到图5中的流程图，在步骤510，***240展示了允许用户105将当前显示的网页(即如图6中所示的)钉到可以由移动设备110显示的开始屏幕的控件。通常，用户可以通过调用应用菜单或从浏览器内调用类似菜单来显现控件。在本示例中，按钮705如在图7中的UI 700中所示被显示在显示屏的底部处并包括文本“钉到开始。”。用户105轻击按钮705以将当前显示的网页钉到开始菜单，如在图5中的步骤515所示。
图8描述了示出典型的开始屏幕805的说明性UI 800。所示的开始屏幕旨在是说明性的，并且可以使用其它布局和配置来满足特定实现的需求。开始屏幕805可以被配置为例如通过按下移动设备上的物理按钮、操控虚拟按钮或在一些情况下发出语音命令而被调用。开始屏幕805通常用作移动设备110上的用于显示和启动安装的应用、控制面板设置、联系人、游戏、音乐专辑、视频、地图和链接等等的主UI组件。
在开始屏幕上的项由图块表示。在该示例中，示出7个图块。所述图块中的一些包括图形(例如符号、图标、字形、图片、标志等)，如由附图标记810所典型指示的。在开始屏幕805上的其它图块包括文本，如由附图标记815所典型指示的，并且一些图块同时使用图形和文本，如由附图标记820所典型指示的。可以期望被显示在给定开始屏幕上的图块类型的混合根据用户和移动设备而改变，并且用于任何给定图块的特定图形/文本通常是由内容供应商或应用开发者做出的关于设计选择的问题。
在典型的实现中开始屏幕805可以实际上大于移动设备上的显示屏的物理尺寸，并且在这样的情况下用户可以滚动该开始屏幕以显现其它图块。开始屏幕805被配置为可由用户105定制以在典型实现中反映特定偏好。例如，用户可以通常相对于彼此选择图块的位置，并且在一些情况中选择图块的尺寸、颜色方案等等。
在UI 800的左下处的图块是表示被钉住的网页的标记825。被钉住的网页可以通过语音命令被启动，因此，通过将网页钉到开始屏幕805，用户选择使该特征被启动。通常对可以被钉到开始屏幕的网页的数目没有限制。当网页被钉住时，***240可以依据给定实现的需求以任意各种不同的位置将标记放置在开始屏幕上。例如，新钉住的标记可以被放置在开始屏幕的首页(即开始屏幕的在该屏幕首先被调用时所显示的所述部分)，这样用户无需滚动来查看该标记。这种技术允许用户在无需额外的UI交互的情况下快速验证网页已经被钉住。或者，所述***可以将标记放置在开始屏幕中的可用空白空间中，或将标记放置在最后被添加的图块附近。在一些情况中，用户可以表述将钉住的标记显示在开始屏幕上的何处和如何显示的偏好。
回到图5，在步骤520中，当在步骤525将标记钉到开始屏幕时，***将一个名字应用到标记825(图8)。所述名字由图8中的附图标记830指示，在本示例中为“live.xbox.com”。标记名字830可以被用户105用作语音命令的一部分以导航到相关联的网页。***240通常将开发者指定的标签用作标记名字。因此，在本示例中，网站的开发者指定了名字“live.xbox.com”。在开发者没有指定标记的名字的情况下，解析网页的URL以找出用于标记的唯一的名字。所述解析可以例如由在服务器或外部服务供应商150(图1)所支持的其它平台上执行的过程来执行。
在一些实现中，步骤520可以包括***展示允许用户105提供标记的名字的UI或其它控件。在一些情况中，UI还可以为用户提供选择和/或改变标记的图形外观的选项。以此方式，用户可以行使对如何由移动设备110上的***240支持基于语音和视觉的体验的控制，并且个性化该体验以满足用户偏好。
在步骤530，***240展示了允许用户105从开始屏幕取消钉住网页的控件。在步骤535，***240响应于用户对该控件的调用从开始屏幕取消钉住并移除该页相关联的标记，并在步骤540禁止针对取消钉住的网页的语音web导航。如在图9中的UI 900中所示，在本示例中的控件包括用户对标记825轻击并保持直到它从开始屏幕消失，如在图10中的UI 1000所示。
回到图5，当用户希望使用到被钉住的网页的语音web导航时，用户在步骤545启动虚拟个人助理230(图2)。虚拟个人助理通常被配置为从设备上的任意UI内的任意位置或从任意当前用户体验中被启动。例如，用户105可以在进行电话呼叫、浏览web、观看视频或聆听音乐并同时从这些体验的任何一个中启动虚拟个人助理。在一些情况中，通过对物理或虚拟用户控件的操纵或在其它情况下通过语音命令可以启动虚拟个人助理。
还可以从开始屏幕启动虚拟个人助理230。在图11中的UI 1100中示出了说明性开始屏幕1105，该开始屏幕示出了网页标记825和名字830。当用户启动虚拟个人助理时，包括文本串1205的UI 1200被示出在移动设备110上，该文本串询问用户是否需要什么。在替换实现中，文本到语音的转换可以被使用，使得可以播放音频消息来取代文本串1205或对其进行补充。需要强调的是针对虚拟个人助理所显示的特定UI可以根据特定实现的需求而与所示的不同。如所示，UI包括框1210，该框被配置为示出所接收的语音命令的文本表示。
在图5的步骤550中，用户使用句法“open[token name](打开[标记名字])”来发出语音命令，在本示例中该句法是“open live Xbox(打开live Xbox)”。***240可以被配置为在一些情况下识别句法中的变化并对其消除歧义。例如，在一些实现中，命令“open livedot xbox dot com(打开live点xbox点com)”将实现与“open xbox(打开xbox)”和“openxbox live(打开xbox live)”相同的结果。语音命令由***接收并被作为文本串1305显示在文本框1210中，如在图13中的UI 1300中所示。如图14所示，当语音命令被处理时，由移动设备显示屏上的虚拟个人助理显示过渡UI 1400。UI 1400示出导航要被执行到的网页的URL(如附图标记1405所示)以及取消按钮1410，用户可以使用触摸屏操控它或通过另一个语音命令来停止到被钉住的网页的导航。
在图5中的步骤555中，响应于语音命令，***240启动web浏览器220(图2)，该浏览器随后导航到与由用户在步骤560中所选的被钉住的标记825(图8)相关联的目标网页。目标网页、live.xbox.com被示出在图15中的UI 1500中。
步骤560可以包括提供可选使用的宣读模式。在此，web浏览器220被配置用于支持文本到语音的功能，使得在目标网页上的各种文本内容部分可以被转换成在被耦合到移动设备的音频终端(例如内部扬声器、外部听筒或耳机等)上播放的语音。在一些实现中，web浏览器可以与外部服务供应商交互以便实现支持宣读模式所需的一些或全部功能。宣读模式在许多应用中是期望有利的，因为它为用户提供了一种与移动设备110交互并在无需阅读内容的情况下消费该内容的方式。
图16是可用来在一些应用中实现个人语音web导航的诸如个人计算机(PC)、客户端机器或服务器之类的说明性计算机***1600的简化框图。计算机***1600包括处理器1605、***存储器1611以及将包括***存储器1611的各种***组件耦合至处理器1605的***总线1614。***总线1614可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、***总线、或局部总线。***存储器1611包括只读存储器(ROM)1617和随机存取存储器(RAM)1621。基本输入/输出***(BIOS)1625被存储在ROM 1617中，该基本输入/输出***包含诸如在启动期间帮助在计算机***1600内的元件之间传输信息的基本例程。计算机***1600还可包括对内置硬盘(未示出)读写的硬盘驱动器1628、对可移动磁盘1633(例如，软盘)读写的磁盘驱动器1630、以及对诸如CD(压缩盘)、DVD(数字多功能盘)或其它光学介质等可移动光盘1643读写的光盘驱动器1638。硬盘驱动器1628、磁盘驱动器1630，以及光盘驱动器1638分别通过硬盘驱动器接口1646、磁盘驱动器接口1649，以及光盘驱动器接口1652连接到***总线1614。驱动器及其相关联的计算机可读存储介质为计算机***1600提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失性存储。虽然这个说明性的示例包括硬盘、可移动磁盘1633以及可移动光盘1643，但是其它类型的可存储可被诸如磁带盒、闪存卡、数字视频盘、数据磁带、随机存取存储器(“RAM”)、只读存储器(“ROM”)等访问的数据的计算机可读存储介质也可在本呼叫切换发起的一些应用中使用。此外，如在此使用的，术语计算机可读介质包括媒体类型的一个或多个实例(例如，一个或多个磁盘、一个或多个CD等)。出于本说明书和权利要求书的目的，短语“计算机可读存储介质”及其变型不包括波、信号和/或其他瞬态和/或无形通信介质。
多个程序模块可被储存在硬盘1628、磁盘1633、光盘1643、ROM 1617、或RAM 1621上，包括操作***1655、一个或多个应用程序1657、其它程序模块1660、以及程序数据1663。用户可通过诸如键盘1666和如鼠标等定点设备1668等的输入设备向计算机***1600中输入命令和信息。其它输入设备(未显示)可包括话筒、操纵杆、游戏垫、圆盘式卫星天线、扫描仪、跟踪球、触摸垫、触摸屏、触敏设备、语音命令模块或设备、用户运动或用户姿势捕捉设备等。这些及其他输入设备常常通过耦合到***总线1614的串行端口接口1671连接到处理器1605，但是，但也可以通过其他接口，如并行端口、游戏端口或通用串行总线(USB)端口、来进行连接。监视器1673或其他类型的显示设备也可以通过诸如视频适配器1675之类的接口，连接到***总线1614。除监视器1673以外，个人计算机通常包括如扬声器和打印机等其它***输出设备(未示出)。图16中显示的说明性示例还包括主机适配器1678、小型计算机***接口(SCSI)总线1683以及连接到SCSI总线1683的外置存储设备1676。
计算机***1600可使用到诸如远程计算机1688等一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机1688可以被选为另一台个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并通常包括以上对计算机***1600描述的许多或所有元件，虽然在图16中只示出单个代表性远程存储器/存储设备1690。图16中所描绘的逻辑连接包括局域网(LAN)1693和广域网(WAN)1695。此类联网环境通常被部署在例如办公室、企业范围的计算机网络、内联网和因特网中。
当在LAN联网环境中使用时，计算机***1600通过网络接口或适配器1696连接到局域网1693。当在WAN联网环境中使用时，计算机***1600通常包括宽带调制解调器1698、网络网关或用于通过诸如因特网等广域网1695建立通信的其它装置。或为内置或为外置的宽带调制解调器1698经由串行端口接口1671连接到***总线1614。在联网环境中，与计算机***1600有关的程序模块或其部分可被储存在远程存储器存储设备1690中。注意，图16中显示的网络连接是说明性的，并且取决于本语音web导航的应用的具体要求，用于建立计算机之间的通信链路的其它手段可被使用。
图17示出能够执行此处所描述的用于提供本语音web导航的各个组件的设备的说明性架构1700。因此，由图17例示出的架构1700示出如下架构：该架构可被适配成用于服务器计算机、移动电话、PDA(个人数字助理)、智能电话、台式计算机、上网本计算机、平板计算机、GPS(全球定位***)设备、游戏控制台和/或膝上型计算机。架构1700可用于执行本文所呈现的组件的任何方面。
图17中例示的架构1700包括CPU 1702、***存储器1704(包括RAM 1706和ROM1708)以及将存储器1704耦合至CPU 1702的***总线1710。基本输入/输出***被存储在ROM 1708中，该***包含帮助诸如在启动期间在架构1700中的元件之间传递信息的基本例程。架构1700还包括用于存储被用于实现应用、文件***和操作***的软件代码或其它被计算机执行的代码的大容量存储设备1712。
大容量存储设备1712通过连接至总线1710的大容量存储控制器(未示出)连接至CPU 1702。大容量存储设备1712及其相关联的计算机可读存储介质为架构1700提供非易失性的存储。
虽然对此处包含的计算机可读存储介质的描述引用了诸如硬盘或CD-ROM驱动等大容量存储设备，但本领域的技术人员应当理解，计算机可读存储介质可以是可由架构1700访问的任何可用的存储介质。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质包括，但不限于，RAM、ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或其他固态存储器技术，CD-ROM、DVD、HD-DVD(高清晰度DVD)、蓝光或其他光学存储，磁带盒、磁带、磁盘存储或其他磁存储设备，或可以用来存储所需信息并可由架构1700访问的任何其他介质。
根据各实施例，架构1700可以使用通过网络至远程计算机的逻辑连接在联网环境中操作。架构1700可以通过连接至总线1710的网络接口单元1716来连接到网络。应当理解，网络接口单元1716还可以被用来连接到其他类型的网络和远程计算机***。架构1700还可以包括用于接收和处理来自数个其他设备的输入的输入/输出控制器1718，这些设备包括键盘、鼠标或者电子指示笔(未在图17中示出)。类似地，输入/输出控制器1718可向显示屏、打印机、或者其他类型的输出设备(在图17中也未示出)提供输出。
应当理解，本文所描述的软件组件在被加载到CPU 1702中并被执行时可以将CPU1702和总体架构1700从通用计算***变换成为方便本文所提出的功能而定制的专用计算***。CPU 1702可以用任意数量的晶体管或其他分立的电路元件(它们可以分别地或共同地呈现任意数量的状态)构建。更具体而言，CPU 1702可以响应于包含在本文所公开的软件模块中的可执行指令而作为有限状态机来操作。这些计算机可执行指令可以通过指定CPU1702如何在各状态之间转换来变换CPU 1702，由此变换了构成CPU 1702的晶体管或其它分立硬件元件。
对本文所提出的软件模块的编码也可变换本文所提出的计算机可读存储介质的物理结构。在本说明书的不同实现中，物理结构的具体变换可取决于各种因素。这样的因素的示例可以包括，但不仅限于：用于实现计算机可读存储介质的技术、计算机可读存储介质被表征为主存储器还是辅存储器等等。例如，如果计算机可读存储介质被实现为基于半导体的存储器，则本文所公开的软件可以通过变换半导体存储器的物理状态而在计算机可读存储介质上编码。例如，软件可以变换构成半导体存储器的晶体管、电容器或其它分立电路元件的状态。软件还可变换这些组件的物理状态以在其上存储数据。
作为另一示例，本文所公开的计算机可读存储介质可以使用磁或光技术来实现。在这些实现中，本文所提出的软件可以在磁或光介质中编码了软件时变换所述磁或光介质的物理状态。这些变换可以包括改变给定磁性介质内的特定位置的磁性。这些变换还可以包括改变给定光学介质内的特定位置的物理特征或特性来改变这些位置的光学特性。在没有偏离本说明书的范围和精神的情况下，物理介质的其他变换也是可以的，前面提供的示例只是为了便于此讨论。
鉴于以上内容，应当理解，在架构1700中发生许多类型的物理变换以便存储并执行本文所提出的软件组件。还应当理解，架构1700可以包括其它类型的计算设备，包括：手持式计算机、嵌入式计算机***、智能电话、PDA、以及本领域技术人员已知的其它类型的计算设备。还可构想架构1700可以不包括图17所示的全部组件，可以包括未在图17中明确示出的其它组件，或者可利用完全不同于图17所示的架构。
图18是诸如移动电话或智能电话的说明性移动设备110的功能框图，其包括各种任选的硬件和软件组件，在1802处概括地示出。移动设备中的任何组件1802可与任何其他组件通信，但出于容易例示的目的而未示出所有连接。该移动设备可以是各种计算设备(例如，蜂窝电话、智能电话、手持式计算机、PDA等)中的任一个，并且可允许与诸如蜂窝或卫星网络的一个或多个移动通信网络1804进行无线双向通信。
所示移动设备110可包括用于执行如信号编码、数据处理、输入/输出处理、电源控制和/或其他功能等任务的控制器或处理器1810(例如，信号处理器、微处理器、微控制器、ASIC(专用集成电路)、或其他控制和处理逻辑电路)。操作***1812可控制对组件1802的分配和使用(包括功率状态、上锁状态、以及解锁状态)，并提供对一个或多个应用程序1814的支持。应用程序可包括公共移动计算应用(例如，图像捕捉应用、电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)、或任何其他计算应用。
图示的移动设备110可以包括存储器1820。存储器1820可以包括不可移动存储器1822和/或可移动存储器1824。不可移动存储器1822可以包括RAM、ROM、闪存、硬盘或者其他公知的存储器存储技术。可移动存储器1824可包括闪存或订户身份模块(SIM)卡，其在GSM(全球移动通信***)***中是众所周知的，或者其他众所周知的存储器存储技术，诸如“智能卡”。存储器1820可用于存储数据和/或用于运行操作***1812和应用程序1814的代码。示例数据可以包括要经由一个或多个有线或无线网络被发送至和/或接收自一个或多个网络服务器或其他设备的网页、文本、图像、声音文件、视频数据或者其他数据集。
存储器1820还可被布置为或包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的一个或多个计算机可读存储介质。例如，计算机可读存储介质包括，但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术，CD-ROM(紧致盘ROM)、DVD(数字多功能盘)、HD-DVD(高清晰度DVD)、蓝光或其他光学存储，磁带盒、磁带、磁盘存储或其他磁存储设备，或可以用来存储所需信息并可由架构110访问的任何其他介质。
存储器1820可用于存储订户标识符和设备标识符，所述订户标识符诸如国际移动订户身份(IMSI)，所述设备标识符诸如国际移动设备标识符(IMEI)。这种标识符可以被发射至网络服务器以标识用户和设备。移动设备110可支持一个或多个输入设备1830；诸如触摸屏1832；用于实现用于语音识别、语音命令等的语音输入的实现的话筒1834；相机1836；物理键盘1838；轨迹球1840；和/或邻近度传感器1842；以及一个或多个输出设备1850，诸如扬声器1852以及一个或多个显示器1854。在一些情况下，还可采用使用姿势识别的其它的输入设备(未示出)。其他可能的输出设备(未示出)可包括压电或触觉输出设备。一些设备可以用于多于一个输入/输出功能。例如，触摸屏1832和显示器1854可被组合在单个输入/输出设备内。
无线调制解调器1860可被耦合到天线(未示出)，并可支持处理器1810和外部设备之间的双向通信，如本领域中清楚理解的。调制解调器1860被一般性地示出，并且可以包括用于与移动通信网络1804的蜂窝调制解调器和/或其它基于无线电的调制解调器(例如蓝牙1864或Wi-Fi 1862)。无线调制解调器1860一般被配置成与一个或多个蜂窝网络(诸如GSM网络)通信，用于单个蜂窝网络内、多个蜂窝网络之间、或者在移动设备和公共交换电话网(PSTN)之间的数据和语音通信。
移动设备可进一步包括至少一个输入/输出端口1880、电源1882、卫星导航***接收机1884，诸如全球定位***(GPS)接收机、加速计1886、陀螺仪(未示出)和/或物理连接器1890，它可以是USB端口、IEEE 1394(火线)端口、和/或RS-232端口。图示的组件1802不是必须的或全包含的，因为任何组件可以被删除且其他组件可以被添加。
基于上述内容，应当理解，本文已经公开了用于语音web导航的技术。虽然用计算机结构特征、方法和变换动作、特定计算机器、以及计算机可读存储介质专用的语言描述了本文中所描述的主题，但是应当理解，所附权利要求书中所定义的本发明不必限于本文中所描述的具体特征、动作、或介质。相反，这些具体特征、动作和介质是作为实现权利要求的示例形式来公开的。
以上所述的主题仅作为说明提供，并且不应被解释为限制。可对本文中所描述的主题作出各种修改和改变，而不必遵循示出和描述的示例实施例和应用且不背离所附权利要求书中所阐述的本发明的真正精神和范围。

Claims (10)

1.一种移动设备，包括：
一个或多个处理器；
支持图形用户界面(GUI)的显示器；
支持对网络的访问的网络接口，所述网络包括Wi-Fi网络或移动运营商网络之一；以及
存储计算机可读指令的存储器设备，当由所述一个或多个处理器执行所述计算机可读指令时，执行一种方法，包括：
从用户接收导航到web浏览器上的网页的输入，
展示允许所述用户将所述网页钉到在UI上被支持的开始屏幕的控件，
响应于对所述控件的用户操作，将所选网页钉到所述开始屏幕，
在所述开始屏幕上显示用于表示被钉住的网页的标记，所显示的标记包括基于文本的名字，以及
处理来自所述用户的语音命令以在所述web浏览器上使用语音web导航来导航到所述被钉住的网页，所述语音命令使用包括在所述开始屏幕上显示的所述标记的基于文本的名字的句法。
2.如权利要求1所述的移动设备，其特征在于，还包括触摸屏以支持所述GUI。
3.如权利要求1所述的移动设备，其特征在于，进一步包括展示用于允许所述用户从所述开始屏幕取消钉住所述网页的第二控件。
4.如权利要求3所述的移动设备，其特征在于，进一步包括当从所述开始屏幕取消钉住所述网页时，禁止语音web导航。
5.如权利要求1所述的移动设备，其特征在于，进一步包括将由与所述网页相关联的应用开发者所提供的名字用于所显示的标记或将由所述用户选择的名字用于所显示的标记。
6.如权利要求1所述的移动设备，其特征在于，进一步包括解析与所述网页相关联的URL(统一资源标识符)以选择所显示的标记的名字。
7.如权利要求1所述的移动设备，其特征在于，进一步包括启动虚拟个人助理，所述虚拟个人助理适用于通过语音命令与所述用户交互和响应于所述语音命令触发动作。
8.如权利要求1所述的移动设备，其特征在于，进一步包括允许所述用户仅针对被钉到所述开始屏幕的网页选择语音web导航。
9.如权利要求1所述的移动设备，其特征在于，进一步包括依据语音命令直接导航到所选择的网页，而无需发起在远程服务上的中间搜索。
10.如权利要求7所述的移动设备，其特征在于，进一步包括与外部服务供应商通信以接收由所述虚拟个人助理所使用的数据。
CN201580017955.0A 2014-03-31 2015-03-26 客户端侧个人语音web导航 Pending CN106164904A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/231,570 US9547468B2 (en) 2014-03-31 2014-03-31 Client-side personal voice web navigation
US14/231,570 2014-03-31
PCT/US2015/022603 WO2015153241A1 (en) 2014-03-31 2015-03-26 Client-side personal voice web navigation

Publications (1)

Publication Number Publication Date
CN106164904A true CN106164904A (zh) 2016-11-23

Family

ID=52829383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017955.0A Pending CN106164904A (zh) 2014-03-31 2015-03-26 客户端侧个人语音web导航

Country Status (5)

Country Link
US (1) US9547468B2 (zh)
EP (1) EP3127011A1 (zh)
KR (1) KR20160140665A (zh)
CN (1) CN106164904A (zh)
WO (1) WO2015153241A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247718A (zh) * 2016-12-19 2017-10-13 北京四维图新科技股份有限公司 一种地图数据的更新方法和装置、导航***及服务器
WO2018197939A1 (en) * 2017-04-24 2018-11-01 International Business Machines Corporation Adding voice commands to invoke web services
CN109392309A (zh) * 2017-06-13 2019-02-26 谷歌有限责任公司 建立与非注册资源的基于音频的网络会话
CN115022267A (zh) * 2022-05-06 2022-09-06 网易（杭州）网络有限公司 一种信息交互方法及终端设备

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7516190B2 (en) * 2000-02-04 2009-04-07 Parus Holdings, Inc. Personal voice-based information retrieval system
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US11599709B2 (en) * 2016-05-19 2023-03-07 Palo Alto Research Center Incorporated Natural language web browser
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10685656B2 (en) * 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9900438B1 (en) * 2016-09-29 2018-02-20 Genesys Telecommunications Laboratories, Inc. Pinning in an interactive media/voice response system
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10796698B2 (en) 2017-08-10 2020-10-06 Microsoft Technology Licensing, Llc Hands-free multi-site web navigation and consumption
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10789957B1 (en) * 2018-02-02 2020-09-29 Spring Communications Company L.P. Home assistant wireless communication service subscriber self-service
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN109847348B (zh) * 2018-12-27 2022-09-27 努比亚技术有限公司 一种操作界面的操控方法及移动终端、存储介质
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
KR20210087710A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 운송 장치, 통신 시스템 및 이를 이용한 통신 방법
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11463444B2 (en) 2020-06-11 2022-10-04 Microsoft Technology Licensing, Llc Cloud-based privileged access management
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065386A1 (en) * 2006-09-11 2008-03-13 Cross Charles W Establishing a Preferred Mode of Interaction Between a User and a Multimodal Application
US20090178006A1 (en) * 2008-01-06 2009-07-09 Apple Inc. Icon Creation on Mobile Device
US20120016678A1 (en) * 2010-01-18 2012-01-19 Apple Inc. Intelligent Automated Assistant
CN102629246A (zh) * 2012-02-10 2012-08-08 北京百纳信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
US20130347094A1 (en) * 2012-06-25 2013-12-26 Appthority, Inc. In-line filtering of insecure or unwanted mobile device software components or communications

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893063A (en) * 1997-03-10 1999-04-06 International Business Machines Corporation Data processing system and method for dynamically accessing an application using a voice command
US7653544B2 (en) * 2003-08-08 2010-01-26 Audioeye, Inc. Method and apparatus for website navigation by the visually impaired
US7421390B2 (en) * 2002-09-13 2008-09-02 Sun Microsystems, Inc. Method and system for voice control of software applications
US7461352B2 (en) * 2003-02-10 2008-12-02 Ronald Mark Katsuranis Voice activated system and methods to enable a computer user working in a first graphical application window to display and control on-screen help, internet, and other information content in a second graphical application window
WO2004109471A2 (en) * 2003-06-06 2004-12-16 The Trustees Of Columbia University In The City Of New York System and method for voice activating web pages
US8694322B2 (en) * 2005-08-05 2014-04-08 Microsoft Corporation Selective confirmation for execution of a voice activated user interface
US20090106704A1 (en) * 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Method, apparatus, and consumer product for creating shortcut to interface element
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
US10241752B2 (en) * 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US8423911B2 (en) * 2010-04-07 2013-04-16 Apple Inc. Device, method, and graphical user interface for managing folders
US8671384B2 (en) * 2010-06-11 2014-03-11 Microsoft Corporation Web application pinning including task bar pinning
US9164671B2 (en) 2010-06-11 2015-10-20 Microsoft Technology Licensing, Llc Web application navigation domains
US8285258B2 (en) 2010-07-07 2012-10-09 Research In Motion Limited Pushed content notification and display
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
CN102541574A (zh) * 2010-12-13 2012-07-04 鸿富锦精密工业（深圳）有限公司 应用程序开启***及方法
KR101295711B1 (ko) * 2011-02-15 2013-08-16 주식회사 팬택 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법
US20130219277A1 (en) * 2012-02-21 2013-08-22 Mobotap Inc. Gesture and Voice Controlled Browser
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
US9292253B2 (en) * 2012-08-02 2016-03-22 Nuance Communications, Inc. Methods and apparatus for voiced-enabling a web application
KR102058990B1 (ko) * 2012-09-19 2019-12-24 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
US20140173521A1 (en) * 2012-12-17 2014-06-19 Apple Inc. Shortcuts for Application Interfaces
CN113744733B (zh) * 2013-02-07 2022-10-25 苹果公司 数字助理的语音触发器
US9112984B2 (en) * 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9384732B2 (en) * 2013-03-14 2016-07-05 Microsoft Technology Licensing, Llc Voice command definitions used in launching application with a command
US9292254B2 (en) * 2013-05-15 2016-03-22 Maluuba Inc. Interactive user interface for an intelligent assistant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065386A1 (en) * 2006-09-11 2008-03-13 Cross Charles W Establishing a Preferred Mode of Interaction Between a User and a Multimodal Application
US20090178006A1 (en) * 2008-01-06 2009-07-09 Apple Inc. Icon Creation on Mobile Device
US20120016678A1 (en) * 2010-01-18 2012-01-19 Apple Inc. Intelligent Automated Assistant
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理
CN102629246A (zh) * 2012-02-10 2012-08-08 北京百纳信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
US20130347094A1 (en) * 2012-06-25 2013-12-26 Appthority, Inc. In-line filtering of insecure or unwanted mobile device software components or communications

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247718A (zh) * 2016-12-19 2017-10-13 北京四维图新科技股份有限公司 一种地图数据的更新方法和装置、导航***及服务器
CN107247718B (zh) * 2016-12-19 2020-09-08 北京四维图新科技股份有限公司 一种地图数据的更新方法和装置、导航***及服务器
WO2018197939A1 (en) * 2017-04-24 2018-11-01 International Business Machines Corporation Adding voice commands to invoke web services
US10574517B2 (en) 2017-04-24 2020-02-25 International Business Machines Corporation Adding voice commands to invoke web services
CN109392309A (zh) * 2017-06-13 2019-02-26 谷歌有限责任公司 建立与非注册资源的基于音频的网络会话
CN115022267A (zh) * 2022-05-06 2022-09-06 网易（杭州）网络有限公司 一种信息交互方法及终端设备
CN115022267B (zh) * 2022-05-06 2024-05-14 网易（杭州）网络有限公司 一种信息交互方法及终端设备

Also Published As

Publication number Publication date
EP3127011A1 (en) 2017-02-08
WO2015153241A1 (en) 2015-10-08
US20150277846A1 (en) 2015-10-01
KR20160140665A (ko) 2016-12-07
US9547468B2 (en) 2017-01-17

Similar Documents

Publication Publication Date Title
CN106164904A (zh) 客户端侧个人语音web导航
CN106134167B (zh) 混合电信网络连接指示符
US10855615B2 (en) Device and method for sharing content using the same
CN107209781B (zh) 使用自然语言的上下文搜索
RU2702049C2 (ru) Совместное использование в реальном времени во время телефонного вызова
CN102640101B (zh) 用于提供用户接口的方法及装置
CN103959745B (zh) 监视应用程序资源消耗的方法和设备
US9274666B2 (en) Method and apparatus for providing chatting service
US9442709B1 (en) Transition experience during loading and updating an interface and applications pack
US10466859B2 (en) Method and system for creating a site on a user terminal
CN104077026B (zh) 显示用于执行应用的服务页的方法和设备
CN107209624A (zh) 用于设备个性化的用户交互模式提取
CN104885044B (zh) 便携信息终端
CN106164857A (zh) 可缩放用户界面显示
KR20160141838A (ko) 확장가능한 애플리케이션 표시
EP2375685A2 (en) Method of and system for providing application store service
CN107004413A (zh) 扩展数字个人助理动作提供者
CN106133826A (zh) 用于语言模型自定义的灵活模式
CN109101248A (zh) 计算机应用促进
KR20160140932A (ko) 확장 가능한 애플리케이션 표시 및 콘텐트 전송
CN103955482B (zh) 一种在移动终端中调用服务的方法和设备
CN110036401A (zh) 用于简档管理的交互式用户界面
CN109891828A (zh) 用于协作工作空间环境的上下文画布
US20110238586A1 (en) System, method and computer program for registering, tracking and communicating with real estate clients
CN104272254A (zh) 用户界面web服务

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161123

WD01 Invention patent application deemed withdrawn after publication