CN104170397A - 用于娱乐***的用户界面 - Google Patents

用于娱乐***的用户界面 Download PDF

Info

Publication number
CN104170397A
CN104170397A CN201380014806.XA CN201380014806A CN104170397A CN 104170397 A CN104170397 A CN 104170397A CN 201380014806 A CN201380014806 A CN 201380014806A CN 104170397 A CN104170397 A CN 104170397A
Authority
CN
China
Prior art keywords
content
search
electronic equipment
data source
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380014806.XA
Other languages
English (en)
Other versions
CN104170397B (zh
Inventor
H·杨
S·哈奇
Y-K·琼
T·I·可文那米
T·A·托诺那
J·可维可
T·J·金那恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuance Communications Inc
Original Assignee
Nuance Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/587,353 external-priority patent/US9106957B2/en
Priority claimed from US13/587,234 external-priority patent/US9497515B2/en
Priority claimed from US13/587,222 external-priority patent/US8799959B2/en
Priority claimed from US13/587,300 external-priority patent/US9026448B2/en
Priority claimed from US13/587,260 external-priority patent/US20140052450A1/en
Priority claimed from US13/587,280 external-priority patent/US9031848B2/en
Priority to CN201710977995.0A priority Critical patent/CN107613353B/zh
Application filed by Nuance Communications Inc filed Critical Nuance Communications Inc
Publication of CN104170397A publication Critical patent/CN104170397A/zh
Application granted granted Critical
Publication of CN104170397B publication Critical patent/CN104170397B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7343Query language or query format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/72Systems specially adapted for using specific information, e.g. geographical or meteorological information using electronic programme guides [EPG]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于提供用于电子设备的搜索界面的方法和装置(100),所述电子设备包括被配置为调谐所述电子设备以接收安排的的节目内容(124)的调谐器(112)。接收包括搜索查询的语音输入(104),至少部分地基于所述搜索查询搜索包括关于媒体内容的信息的一个或多个数据源(124)。将搜索的结果呈现在电子设备的用户界面(122)上。

Description

用于娱乐***的用户界面
背景技术
一些可用来访问娱乐内容(例如音频和/或视频内容)的电子设备包括或者连接到调谐器,调谐器使得电子设备能够接收和显示安排的节目内容,诸如电视、电台或其他媒体节目。为了选择特定的节目用于在电子设备上查看,用户一般使用遥控设备以输入与特定节目(例如广播)相关联的频道的数字。一些可调谐电子设备还允许用户使用遥控设备以使用电子节目指南(EPG)搜索和选择内容,EPG是以基于时间的网格格式显示用于安排的当前和未来节目内容的安排信息的用户界面。用户通常通过按下遥控设备上的按钮而导航通过在EPG中显示的安排的节目内容条目,遥控设备使用五向导航命令***(左、右、上、下和选择)。一旦用户已经在EPG上突出显示特定的节目,则可以通过按下遥控设备上的选择按钮,在电子设备上显示对应的内容,在这之后,电子设备被调谐到所选的频道。
发明内容
一个实施例针对一种在电子设备上呈现搜索结果的方法,其中所述电子设备包括被配置为调谐所述电子设备以接收安排的节目的调谐器。所述方法包括:接收包括搜索查询的语音输入;至少部分地基于所述搜索查询,用至少一个处理器搜索至少一个数据源;和使用基于时间的轴和与时间无关的轴来呈现搜索的结果。
在一个方面,与时间无关的轴基于与所述搜索查询中的一个或多个项的相关度来对所述结果进行排序。
在另一方面,搜索至少一个数据源包括搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源。
在另一方面,所述结果包括在所述至少一个安排的节目内容数据源中所标识的安排的节目内容和在所述至少一个捆绑服务内容数据源中所标识的捆绑服务内容。
在另一方面,所述结果包括捆绑服务内容,当所述捆绑服务内容被选择时,显示来自与所选择的捆绑服务内容相关联的至少一个捆绑服务内容数据源的多个结果。
在另一方面,基于时间的轴区分当前能用于回放的第一内容与当前不能用于回放的第二内容。
在另一方面,沿着基于时间的轴呈现的所述结果只包括安排的节目内容。
另一实施例针对一种电子设备,包括:被配置为调谐所述电子设备以接收安排的节目的调谐器;和至少一个处理器,所述至少一个处理器被编程为:接收包括搜索查询的语音输入;至少部分地基于所述搜索查询,搜索至少一个数据源;和使用基于时间的轴和与时间无关的轴来呈现搜索的结果。
在一个方面,与时间无关的轴基于与所述搜索查询中的一个或多个项的相关度来对所述结果进行排序。
在另一方面,所述电子设备还包括:语音输入接口,被配置为接收所述搜索查询作为语音输入。
在另一方面,搜索至少一个数据源包括搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源。
在另一方面,所述结果包括捆绑服务内容,当所述捆绑服务内容被选择时,显示来自与所选择的捆绑服务内容相关联的至少一个捆绑服务内容数据源的多个结果。
在另一方面,基于时间的轴区分当前能用于由所述电子设备回放的第一内容与当前不能用于由所述电子设备回放的第二内容。
另一实施例针对一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种方法,所述方法包括:接收包括搜索查询的语音输入;至少部分地基于所述搜索查询,搜索至少一个数据源;和使用基于时间的轴和与时间无关的轴来呈现搜索的结果。
在一个方面,与时间无关的轴基于与所述搜索查询中的一个或多个项的相关度来对所述结果进行排序。
另一实施例针对一种在被配置为显示安排的节目内容的数字式可调谐的电子设备的视觉用户界面上呈现搜索结果的方法,所述方法包括:接收搜索查询;至少部分地基于对所述搜索查询的自然语言理解分析,搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源;和在该用户界面上呈现搜索的结果,其中搜索的所述结果组合对应于安排的节目内容的至少一个第一结果和对应于捆绑服务内容的至少一个第二结果。
在一个方面,所述至少一个第二结果包括至少一个捆绑服务结果,当所述至少一个捆绑服务结果被选择时,显示来自对应的捆绑服务数据源的多个结果。
在另一方面,所述至少一个捆绑服务数据源包括用于基于web的服务的数据源。
在另一方面,所述至少一个捆绑服务数据源包括与所述电子设备相关联的本地数据源。
在另一方面,所述至少一个捆绑服务数据源包括经由网络连接的多个数据源。
在另一方面,所述至少一个捆绑服务数据源包括点播内容的数据源。
在另一方面,呈现搜索的所述结果包括呈现与搜索的所述结果中的至少一个对应的图像。
另一实施例针对一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种在被配置为显示安排的节目内容的数字式可调谐的电子设备的视觉用户界面上呈现搜索结果的方法,所述方法包括:接收搜索查询;至少部分地基于对所述搜索查询的自然语言理解分析,搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源;和在该用户界面上呈现搜索的结果,其中搜索的所述结果组合对应于安排的节目内容的至少一个第一结果和对应于捆绑服务内容的至少一个第二结果。
在一个方面,呈现搜索的所述结果包括呈现与搜索的所述结果中的至少一个对应的图像。
另一实施例针对一种被配置为显示安排的节目内容的数字式可调谐的电子设备,所述电子设备包括:至少一个处理器,所述至少一个处理器被编程为:接收搜索查询;至少部分地基于对所述搜索查询的自然语言理解分析,搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源;和在用户界面上呈现搜索的结果,其中搜索的所述结果组合对应于安排的节目内容的至少一个第一结果和对应于捆绑服务内容的至少一个第二结果。
在一个方面,所述至少一个第二结果包括至少一个捆绑服务结果,当所述至少一个捆绑服务结果被选择时,显示来自对应的捆绑服务数据源的多个结果。
在另一方面,所述至少一个捆绑服务数据源包括用于基于web的服务的数据源。
在另一方面,所述至少一个捆绑服务数据源包括与所述电子设备相关联的本地数据源。
在另一方面,所述至少一个捆绑服务数据源包括经由网络连接的多个数据源。
在另一方面,所述至少一个捆绑服务数据源包括点播内容的数据源。
另一实施例针对一种提供用于数字式可调谐的电子设备的用户界面的方法,所述电子设备被配置为显示安排的节目内容,所述方法包括:在所述用户界面上显示多个与内容无关的标签,所述多个与内容无关的标签包括与内容无关的第一标签,该与内容无关的第一标签标识从搜索返回的第一内容单元;和响应于接收到对应于与内容无关的第一标签的第一输入,执行与第一内容单元有关的至少一个动作,其中第一输入包括第一语音输入,并且其中与内容无关的第一标签被配置为对第一语音输入进行响应。
在一个方面,所述方法还包括:接收第二输入,其中所述多个与内容无关的标签中的与内容无关的第二标签被配置为对第二输入进行响应;和其中执行与第一内容单元有关的所述至少一个动作包括至少部分地基于第二输入来执行所述至少一个动作。
在另一方面,第二输入是第二语音输入,并且其中与内容无关的第二标签被配置为对第二语音输入进行响应。
在另一方面,接收第一输入和接收第二输入包括在接收第一输入之前接收第二输入。
在另一方面,所述方法还包括:基于第一输入选择第一内容单元。
在另一方面,执行与第一内容单元有关的至少一个动作包括将所述电子设备调谐到频道以显示用于第一内容单元的安排的节目。
在另一方面,第一内容单元对应于包括多个搜索结果的捆绑服务内容单元,其中执行与第一内容单元有关的至少一个动作包括显示所述多个搜索结果。
在另一方面,所述方法还包括:将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作,并且其中第一语音命令和第二语音命令由所述电子设备识别,而不考虑在所述用户界面上显示的特定屏幕。
另一实施例针对一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种提供用于数字式可调谐的电子设备的用户界面的方法,所述电子设备被配置为显示安排的节目内容,所述方法包括:在所述用户界面上显示多个与内容无关的标签,所述多个与内容无关的标签包括与内容无关的第一标签,该与内容无关的第一标签标识从搜索返回的第一内容单元;和响应于接收到对应于与内容无关的第一标签的第一输入,执行与第一内容单元有关的至少一个动作,其中第一输入是第一语音输入,并且其中与内容无关的第一标签被配置为对第一语音输入进行响应。
另一实施例针对一种被配置为显示安排的节目内容的数字式可调谐的电子设备,所述电子设备包括:至少一个处理器,所述至少一个处理器被编程为:在用户界面上显示多个与内容无关的标签,所述多个与内容无关的标签包括与内容无关的第一标签,该与内容无关的第一标签标识从搜索返回的第一内容单元;和响应于接收到对应于与内容无关的第一标签的第一输入,执行与第一内容单元有关的至少一个动作,其中第一输入是第一语音输入,并且其中与内容无关的第一标签被配置为对第一语音输入进行响应。
在一个方面,所述至少一个处理器还被编程为:接收第二输入,其中所述多个与内容无关的标签中的与内容无关的第二标签被配置为对第二输入进行响应;和其中执行与第一内容单元有关的所述至少一个动作包括至少部分地基于第二输入来执行所述至少一个动作。
在另一方面,所述执行与第一内容单元有关的至少一个动作包括将所述电子设备调谐到频道以显示用于第一内容单元的安排的节目。
在另一方面,第一内容单元对应于包括多个搜索结果的捆绑服务内容单元,其中执行与第一内容单元有关的至少一个动作包括显示所述多个搜索结果。
另一实施例针对一种数字式可调谐的电子设备,包括至少一个处理器,所述至少一个处理器被编程为:提供用户界面,所述用户界面使得所述电子设备能够接收搜索查询而不管当所述搜索查询被接收到时多个屏幕中的哪个被显示在所述用户界面上,其中所述搜索查询包括对要在所述数字式可调谐的电子设备上显示和/或回放的内容的搜索;接收包括所述搜索查询的语音输入;和响应于接收到所述搜索查询,启动对应于所述搜索查询的对内容的搜索。
在一个方面,启动对内容的搜索包括将对内容的查询发送到通过一个或多个网络连接到所述电子设备的至少一个数据源。
在另一方面,所述至少一个处理器还被编程为:在所述用户界面上显示一个或多个图标,所述一个或多个图标指示用户能用来启动对内容的搜索的输入。
在另一方面,所述至少一个处理器还被编程为:将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作。
在另一方面,第一动作和/或第二动作对应于启动对内容的搜索。
另一实施例针对一种计算机实现的方法,包括:提供用户界面,所述用户界面使得电子设备能够接收搜索查询而不管当所述搜索查询被接收到时多个屏幕中的哪个被显示在所述用户界面上,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的内容的搜索;接收包括所述搜索查询的语音输入;和响应于接收到所述搜索查询,启动对应于所述搜索查询的对内容的搜索。
在一个方面,启动对内容的搜索包括将对内容的查询发送到通过一个或多个网络连接到所述电子设备的至少一个数据源。
在另一方面,所述计算机实现的方法还包括:在所述用户界面上显示一个或多个图标,所述一个或多个图标指示用户能用来启动对内容的搜索的输入。
在另一方面,所述计算机实现的方法还包括:将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作。
在另一方面,第一动作和/或第二动作对应于启动对内容的搜索。
另一实施例针对一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种方法,所述方法包括:提供用户界面,所述用户界面使得电子设备能够接收搜索查询而不管当所述搜索查询被接收到时多个屏幕中的哪个被显示在所述用户界面上,其中所述搜索查询包括对要在数字式可调谐的电子设备上显示和/或回放的内容的搜索;接收包括所述搜索查询的语音输入;和响应于接收到所述搜索查询,启动对应于所述搜索查询的对内容的搜索。
在一个方面,启动对内容的搜索包括将对内容的查询发送到通过一个或多个网络连接到所述电子设备的至少一个数据源。
在另一方面,所述方法还包括:在所述用户界面上显示一个或多个图标,所述一个或多个图标指示用户能用来启动对内容的搜索的输入。
在另一方面,所述方法还包括:将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作。
在另一方面,第一动作和/或第二动作对应于启动对内容的搜索。
另一实施例针对一种数字式可调谐的电子设备,包括至少一个处理器,所述至少一个处理器被编程为:接收第一输入;响应于识别到第一输入而进入监听模式;确定在当所述电子设备处于所述监听模式中时的特定时间量期间是否接收到第二输入,其中第一输入和/或第二输入是语音输入;和响应于确定在所述特定时间量期间没有接收到第二输入而退出所述监听模式。
在一个方面,第二输入是退出所述监听模式的显式命令;并且所述至少一个处理器还被编程为响应于接收到第二输入而退出所述监听模式。
在另一方面,所述至少一个处理器还被编程为响应于退出所述监听模式而对第一输入进行监测。
在另一方面,所述电子设备还包括至少一个显示器,并且所述至少一个处理器还被编程为在所述至少一个显示器上显示对所述电子设备当前是否处于监听模式中的指示。
在另一方面,所述指示包括一个或多个选择标签和/或图标。
在另一方面,所述至少一个处理器还被编程为:确定所述电子设备是否处于监听模式中;和响应于确定所述电子设备处于监听模式中而显示与内容无关的多个语音标签。
在另一方面,所述至少一个处理器还被编程为:响应于确定所述电子设备不处于所述监听模式中而隐藏所述与内容无关的多个语音标签。
另一实施例针对一种计算机实现的方法,包括:接收第一输入;响应于识别到第一输入,使得电子设备进入监听模式;确定在当所述电子设备处于所述监听模式中时的特定时间量期间是否接收到第二输入,其中第一输入和/或第二输入是语音输入;和响应于确定在所述特定时间量期间没有接收到第二输入而退出所述监听模式。
在另一方面,第二输入是退出所述监听模式的显式命令;并且所述方法还包括响应于接收到第二输入而退出所述监听模式。
在另一方面,所述电子设备包括至少一个显示器,并且所述方法还包括在所述至少一个显示器上显示对所述电子设备当前是否处于监听模式中的指示。
在另一方面,所述指示包括一个或多个选择标签和/或图标。
在另一方面,所述方法还包括:确定所述电子设备是否处于监听模式中;响应于确定所述电子设备处于监听模式中而显示与内容无关的多个语音标签;和响应于确定所述电子设备不处于所述监听模式中而隐藏所述与内容无关的多个语音标签。
另一实施例针对一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种方法,所述方法包括:接收第一输入;响应于识别到第一输入,使得电子设备进入监听模式;确定在当所述电子设备处于所述监听模式中时的特定时间量期间是否接收到第二输入,其中第一输入和/或第二输入是语音输入;和响应于确定在所述特定时间量期间没有接收到第二输入而退出所述监听模式。
在一个方面,所述电子设备包括至少一个显示器,并且所述方法还包括:在所述至少一个显示器上显示对所述电子设备当前是否处于监听模式中的指示。
在另一方面,所述指示包括一个或多个选择标签和/或图标。
在另一方面,所述方法还包括:确定所述电子设备是否处于监听模式中;响应于确定所述电子设备处于监听模式中而显示与内容无关的多个语音标签;和响应于确定所述电子设备不处于所述监听模式中而隐藏所述与内容无关的多个语音标签。
另一实施例针对一种对要在数字式可调谐的电子设备上显示和/或回放的内容进行搜索的方法,所述电子设备被配置为显示安排的节目内容。所述方法包括:从用户接收包括搜索查询的语音输入,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的所述内容的搜索;基于所述搜索查询确定用户想要执行的动作;至少部分地基于用户想要执行的所述动作,确定要搜索一个或多个数据源;和至少部分地基于所述搜索查询,在所述一个或多个数据源中搜索要在所述电子设备上显示和/或回放的所述内容。
在一个方面,确定用户想要执行的所述动作包括:确定用户想要收听媒体内容,并且确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为音乐数据源。
在另一方面,确定用户想要执行的所述动作包括:确定用户想要观看媒体内容,并且确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为至少一个安排的节目内容源。
在另一方面,所述方法还包括:存储一个或多个规则,所述一个或多个规则将特定类型的输入与用于搜索所述一个或多个数据源的特定顺序相关联;和其中搜索所述一个或多个数据源包括:根据所述一个或多个规则来搜索所述一个或多个数据源。
在另一方面,搜索所述一个或多个数据源包括搜索所有可用的数据源。
在另一方面,所述方法还包括:从所述一个或多个数据源接收搜索结果;和在用户界面上呈现所述搜索结果。
另一实施例针对一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种对要在数字式可调谐的电子设备上显示和/或回放的内容进行搜索的方法,所述电子设备被配置为显示安排的节目内容。所述方法包括:从用户接收包括搜索查询的语音输入,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的所述内容的搜索;基于所述搜索查询确定用户想要执行的动作;至少部分地基于用户想要执行的所述动作,确定要搜索一个或多个数据源;和至少部分地基于所述搜索查询,在所述一个或多个数据源中搜索要在所述电子设备上显示和/或回放的所述内容。
在一个方面,确定用户想要执行的所述动作包括:确定用户想要收听媒体内容,并且确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为音乐数据源。
在另一方面,确定用户想要执行的所述动作包括:确定用户想要观看媒体内容,并且确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为至少一个安排的节目内容源。
在另一方面,所述方法还包括:存储一个或多个规则,所述一个或多个规则将特定类型的输入与用于搜索所述一个或多个数据源的特定顺序相关联;和搜索所述一个或多个数据源包括:根据所述一个或多个规则来搜索所述一个或多个数据源。
另一实施例针对一种被配置为显示安排的节目内容的数字式可调谐的电子设备,所述电子设备包括:至少一个处理器,所述至少一个处理器被编程为:从用户接收包括搜索查询的语音输入,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的所述内容的搜索;基于所述搜索查询确定用户想要执行的动作;至少部分地基于用户想要执行的所述动作,确定要搜索一个或多个数据源;和至少部分地基于所述搜索查询,在所述一个或多个数据源中搜索要在所述电子设备上显示和/或回放的所述内容。
在一个方面,确定用户想要执行的所述动作包括:确定用户想要收听媒体内容,并且确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为音乐数据源。
在另一方面,确定用户想要执行的所述动作包括:确定用户想要观看媒体内容,并且确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为至少一个安排的节目内容源。
在另一方面,所述至少一个处理器还被编程为存储一个或多个规则,所述一个或多个规则将特定类型的输入与用于搜索所述一个或多个数据源的特定顺序相关联;和搜索所述一个或多个数据源包括:根据所述一个或多个规则来搜索所述一个或多个数据源。
在另一方面,搜索所述一个或多个数据源包括搜索所有可用的数据源。
应当理解,下面更详细地讨论的前述概念和另外的概念的所有组合(如果这样的概念不是相互不一致的话)被认为是这里所公开的本发明主题的一部分。
附图说明
附图不旨在按比例绘制。在附图中,在各图中示出的每个相同或近乎相同的组件用相同的数字标号表示。为清楚起见,可能不是每个组件在每张附图中均被标记。在附图中:
图1是包括本发明的一些实施例的与用于娱乐***的搜索界面有关的组件的示例性***;
图2是根据本发明的一些实施例的用于在用户界面上呈现对内容查询的结果的处理;
图3是根据本发明的一些实施例的用于显示对内容查询的结果的用户界面的部分的示意图;
图4是根据本发明的一些实施例的用于显示对内容查询的混合结果的用户界面的部分的示意图;
图5是根据本发明的一些实施例的显示用户可使用输入而与之交互的语音标签的用户界面的部分的示意图;
图6是根据本发明的一些实施例的用于使用监听模式对输入监测的示例性处理;和
图7是可用于实现本发明的一些实施例的示例性计算机***。
具体实施方式
本发明人已经认识到并理解,可以改善对在电子设备上查看的内容的搜索,该电子设备包括用于显示安排的节目内容的调谐器。上述类型的电子节目指南(EPG)常用于搜索并选择安排的节目内容以在可调谐电子设备上查看,并且使用与安排的节目内容可用于查看的时间相对应的网格样的显示格式被配置。EPG显示的网格格式被设计以接收来自使用五向导航命令***的遥控设备的输入以移动光标至网格中的不同条目。本发明人已经认识到,使用常规EPG显示的导航是麻烦的。为了使用五向导航命令***来导航通过常规网格样的EPG显示中的条目,可能要求用户提供一系列的导航命令(例如,“下-下-下-右-选择”),这没有产生对于选择特定节目的用户的高效或直观的体验。
本发明人已经认识到,常规EPG搜索***的显示是“视觉第一”的用户界面,其中该界面的主要焦点是以在视觉上一致的盒子显示安排的节目内容。本发明人已经理解,用于搜索内容的其他技术是可行的,这些技术不需要被安排节目内容的严格视觉呈现,因为用户并不局限于使用五向导航命令***来导航被显示的条目。为此,本发明的一些实施例针对用于改进的视觉搜索界面的方法和装置。特别地,在本发明的一些实施例中,视觉用户界面被设计为鼓励“自然语言第一”的输入,使得界面被配置为鼓励用户说出或以其他方式按照自然的方式提供输入到搜索***。
一些实施例鼓励使用语音输入作为主要输入形态,以用户界面的视觉方面作为对语音输入的补充。但是,应当理解,可以说出的任何输入可以另选地经由另一类型的输入形态(例如,用键盘的文本输入)被提供。因此,尽管以下描述的实施例将语音的使用描述为输入形态,但是可以使用其他形态以允许用户提供和通过语音所提供的相同类型的下述实施例中描述的输入。
图1示出了用于根据本发明的一些实施例而使用的示例性***100。***100包括电子设备102,其可以是电视、计算机、便携式电子设备(诸如智能电话、或被配置为接收和显示安排的节目内容的任何其他可调谐电子设备)。电子设备102可被配置为从用户接收搜索和选择内容以在电子设备上查看的输入,其中使用一种或多种输入形态接收该输入。在一些实施例中,电子设备102包括语音输入接口104,诸如麦克风和被配置为接收输入的一个或多个其他输入接口106。其他输入接口106可以包括但不限于键盘接口(例如QWERTY键盘)、鼠标接口、遥控接口、或使得用户能够搜索内容以在电子设备102上查看的任何其他合适的接口。
经由语音输入接口104接收的语音输入可以被发送到自动语音识别(ASR)引擎108,用于自动语音识别以识别所接收语音输入的内容。尽管ASR引擎108在图1中示出为被包括作为电子设备102的一部分,但是ASR引擎108可以另选地从电子设备102远程地定位,并且可以使用任何合适的通信介质(例如一个或多个网络)而与电子设备102通信。在一些实施例中,电子设备102可与一个或多个本地ASR引擎108以及一个或多个远程定位的ASR引擎相关联,由此至少一些接收到的语音输入由所述一个或多个本地ASR引擎处理,至少一些接收到的语音输入由所述一个或多个远程定位的ASR引擎处理。这种分布式ASR***的例子是本领域技术人员已知的。使用一个或多个连接电子设备102和ASR引擎的通信介质(例如一个或多个网络)被发送到所述一个或多个远程ASR引擎用于识别的语音输入可以使用相同或不同的通信介质而从远程定位的ASR引擎返回到电子设备102。
在一些实施例中,ASR引擎108可以与存储一个或多个语音命令的一个或多个语音命令数据源110通信。ASR引擎108可以将所接收的语音输入匹配到存储在所述一个或多个语音命令数据源110中的所述一个或多个语音命令,并返回一个或多个匹配的语音命令到一个或多个处理器114,处理器114被编程为执行对应于所述一个或多个匹配的语音命令的至少一个动作。在一些实施例中,ASR引擎108的输出可以使用自然语言理解(NLU)引擎被分析,NLU引擎使用任何合适的基于NLU技术,其例子是本领域已知的。NLU输出可以至少部分地用于将语音命令与所接收的语音输入相关联。在一些实施例中,电子设备102可以被配置为响应于以下而将语音输入解译为语音命令:输入信号的激活(例如,用户按下遥控器或键盘上的按键),或者接收到对应于“唤醒”话语的语音输入,当对应于“唤醒”话语的语音输入被接收时指示跟随该输入信号的语音输入应当被解译为语音命令。另选地,语音输入可被解译为命令而不需要经由输入信号(例如按键按下或唤醒话语)的命令启动,因为本发明的实施例在这方面不受限制。
一个或多个语音命令数据源110所存储的语音命令的集合可以包括用于搜索和选择内容以在电子设备102上查看的任何合适的命令。在一些实施例中,语音命令的集合可以包括控制电子设备102本身的功能的命令,其例子包括在常规遥控设备上经常找到的命令,诸如“静音”、“打开电源”以及“音量”。下面的表1中示出了用于控制电子设备102的说明性的电子设备命令的集合,但应当理解的是,提供这些命令仅作为示例,这里所描述的实施例不限于使用这些特定的命令。
表1:说明性的电子设备命令
语音命令的集合还可以包括用于搜索和/或选择安排的节目内容以在电子设备102上显示的调谐器命令,诸如“示出<频道名称>、“下一频道”以及“示出<节目名称>”。下面的表2中示出了说明性的调谐器命令的集合,但应当理解的是,提供这些命令仅作为示例,这里所描述的实施例不限于使用这些特定的命令。
表2:说明性的调谐器命令
语音命令的集合可以还包括用于与电子设备102上的一个或多个客户端应用交互的应用命令,所述客户端应用执行许多功能中的任何功能,包括提供对许多服务的访问。例如,用户可使用应用命令以使用执行呼叫(例如SkypeTM)的客户端应用来启动语音呼叫会话、搜索天气信息、或执行许多其他动作中的任何动作。下面的表3中示出了说明性应用命令的集合。
表3:说明性的应用命令
在表3中所描述的说明性应用命令包括控制示例性客户端应用的命令,这些客户端应用包括TwitterTM、YouTubeTM、和SkypeTM。然而,应当理解,本发明的实施例可以包括用于任何其他客户端应用的语音命令,并且在这方面不受局限。例如,也可以包括用于包括但不限于GmailTMHuluTM和MySpaceTM的客户端应用的语音命令。一些客户端应用(包括许多上面列出的那些)可以是可以要么经由电子设备上的专用应用要么经由设备上的web浏览器被访问的基于web的服务或应用,并且本发明的实施例不限制客户端应用被访问的方式。
语音命令的集合还可以包括动作命令,每个动作命令用于执行与搜索结果列表中的一个或多个项目有关的动作。下面的表4描述了说明性动作命令的列表。
表4:说明性的动作命令
在一些实施例中,语音命令的集合还可以包括用于与EPG显示交互的EPG命令。与使用和遥控设备一起使用的常规五向导航命令***来限制用户通过EPG条目的导航相反,EPG命令的集合可以提供附加的语音功能性以增强用户的浏览体验。下面的表5描述了说明性的EPG命令的集合。
表5:说明性的EPG命令
在一些实施例中,电子设备102还包括调谐器112,调谐器112配置为使得电子设备102能够调谐到特定的频道以在电子设备102上显示安排的节目内容。例如,调谐器112可以使得电子设备能够从经由网络120连接到电子设备102的一个或多个安排的节目内容源124接收安排的节目内容。安排的节目内容源124可以寻找针对这些时间安排的媒体内容的来源,所述媒体内容包括但不限于存储的内容(例如电视节目和电影)和实况媒体内容。存储和/或传送安排的节目内容到电子设备(例如通过诸如有线或卫星网络的通信介质)的安排的节目内容源124是已知的。一些实施例可以包括被配置为从多个内容源接收安排的节目内容的调谐器,以及/或者可以包括多个调谐器,其每一个被配置为从不同内容源接收安排的节目内容。
电子设备102还可以包括网络接口118,其被配置为经由一个或多个网络120与一个或多个存储和/或处理设备通信。如上面所描述的,网络接口118可以用于传送语音输入到一个或多个远程ASR引擎和从所述一个或多个ASR引擎接收语音识别结果。电子设备102可以采用单个网络接口118或者多于一个的网络接口118,以使得电子设备102能够连接到多于一种类型的网络(例如以执行不同的功能)。
一种示例性电子设备102是电视***。电视***通常包括调谐器,其使得电视***能够显示由连接到电视的机顶盒所接收的安排的节目内容。机顶盒是调谐器112的例子,其经由网络接口118接收安排的节目内容并解码所接收的内容以使得电子设备在显示器122上显示该内容。经由网络120接收到的安排的节目内容或任何其他内容可以在连接到电子设备102的显示器122上显示。在一些实施例中,显示器122可以集成作为电子设备102的部分,并且在其他实施例中,显示器122可以经由一个或多个有线或无线连接而连接到电子设备102。显示器122也可以是单个显示器或多个显示器,本发明的实施例在这方面不受限制。
在一些实施例中,电子设备102还可以与本地内容数据源116相关联,本地内容数据源116可以被配置为存储一个或多个电视节目、一个或多个电影、或任何其他适于在电子设备上回放的内容。例如,在一些实施例中,本地内容数据源116可以是数字视频录制器(DVR),其被配置为存储录制的安排的节目内容。本地内容数据源116可以被配置为存储和关联于电子设备102的一个或多个本地客户端应用有关的内容,所述本地客户端应用包括但不限于存储和/或管理图片文件、音乐文件和/或视频文件的一个或多个应用。
根据一些实施例,当搜索内容以在电子设备102上查看和/或回放时,可以从本地内容数据源116和/或从电子设备102远程定位、并通过网络120连接到电子设备102的一个或多个数据源(例如安排的内容数据源124、捆绑服务内容数据源124)检索内容。被搜索的特定源可以至少部分地取决于搜索查询。当从多个源返回结果时,搜索结果可以至少部分地基于与搜索结果相对应的内容的源而被排序。在一些实施例中,用户能够基于期望包括在搜索结果中的内容的源和/或内容的类型来限制对内容的搜索,如下面更详细地描述的。
一些实施例针对在显示器122上显示的语音可控视觉搜索界面,并且被配置为允许用户搜索内容以使用电子设备102进行查看和/或回放。用户能够与搜索界面进行交互来搜索安排的节目内容,如上面所描述的。安排的节目内容包括但不限于诸如电视和电台节目的广播内容。
另外,一些实施例可以使得用户能够搜索捆绑服务内容,捆绑服务内容例如由一个或多个连接网络的捆绑服务数据源124和/或本地内容数据源116存储。不同于只可以用于在特定时间(例如当该内容被安排用于广播时)查看的安排的节目内容,捆绑服务内容可以用于在任何时间查看/回放。捆绑服务内容可以包括但不限于来自基于web的服务的内容(例如)、来自存储媒体内容的本地或远程数据源的内容(例如DVR内容、来自服务提供商的点播内容等)、以及与关联于电子设备102的一个或多个客户端应用(例如)相关联的内容。如下面更加详细描述的,根据一些实施例的对内容的搜索可以允许用户在单个搜索中搜索安排的节目内容、捆绑服务内容、或者安排的节目内容和捆绑服务内容两者。
图2示出了根据本发明的一些实施例的用于处理搜索查询的示例性方法。在步骤210中,电子设备102接收对内容搜索以在电子设备102上查看和/或回放的搜索查询。例如,搜索查询可以包括一个或多个语音命令,如上面所描述的。为了将所接收的语音输入解译为一个或多个语音命令,语音输入可以由一个或多个本地和/或远程ASR引擎处理用于识别。在一些实施例中,可以至少部分地基于语音输入的类型确定是经由本地ASR引擎还是远程ASR引擎或者经由这两者来处理语音输入。例如,在一个实现中,对应于固定形式设备命令(例如“静音”、“关闭电源”、“音量增加”)的语音输入可由本地ASR引擎处理,而包括自由形式输入(例如“搜索”、“查找”等)的命令可由一个或多个远程定位的(例如“云”)ASR引擎处理。例如,由于固定形式命令可以与有限的语法相关联,可以更容易识别它们,本地ASR引擎可以足够用于语音识别并且和将输入发送到远程ASR引擎相比更快。然而,自由形式的输入可能更难以识别,因此为了可接受的识别性能,可能需要将输入发送到更鲁棒的ASR引擎。而且,与远程ASR引擎相关联的语言模型可以定期地更新以便反映流行文化的变化,电影、演员、书籍的名称等,相反这些对于本地ASR引擎可能是难以识别的。在一些实施例中,语音输入的至少第一部分可以由本地ASR引擎处理,并且语音输入的至少第二部分可以由远程定位的ASR引擎处理,而且本地和远程ASR引擎的任何组合可以用来识别所接收的语音输入。
处理接着进入步骤220中,其中至少部分地基于所识别的对应于搜索查询的语音输入来搜索一个或多个数据源。所述一个或多个数据源可以以任何顺序被搜索,并且任何特定的数据源(包括少于全部的可用数据源)可以被搜索。由搜索返回的结果可以以任何合适的方式来确定。在一些实施例中,可以至少部分地基于用户想要执行的特定动作来确定搜索哪些数据源。例如,如果用户说“听Bob Seger”,则***可以确定用户想要听音乐,因此只有本地音乐数据源而不是与EPG相关联的数据源可以被搜索。另选地,如果用户说“观看ModernFamily”,则可以确定用户想要观看电视秀。相应地,与EPG相关联的数据源以及与录制的电视内容相关联的一个或多个数据源可以被搜索,但是本地音乐数据源可能不被搜索。通过选择性地搜索少于全部的可用数据源,本发明的一些实施例可以通过减少返回搜索结果的时间量而以更高效的方式返回相关的搜索结果。然而,并非所有的实施例被限制为只搜索可用源的子集,因为对于一些搜索可以搜索所有的可用源。
在一些实施例中,可以至少部分地基于将特定命令(或所确定的用户意图)与用于搜索和/或呈现搜索结果的特定顺序相关联的一个或多个规则来确定数据源被搜索的顺序和/或搜索结果被呈现的顺序。例如,如果用户说“观看Modern Family”,则对语音命令“观看”的识别(或预期动作,如果没有采用特定命令的话,如下面所讨论的)可以导致电子设备首先从与EPG相关联的数据源搜索并返回结果,其次从与本地内容相关联的数据源搜索并返回结果,再次从与客户端应用(例如YouTubeTM)相关联的数据源搜索并返回结果。应当理解,描述这种用于搜索和返回与“观看”命令相关联的搜索结果的特定顺序仅仅是用于说明性目的,另选地可以使用任何其他所期望的顺序。
另外,一些实施例可以不包括固定命令语法,而是可以以一些其他方式从所接收的输入来确定用户的意图,诸如通过监测自由形式输入中的特定话语来确定用户的意图,并且响应于确定用户的意图来执行动作。例如,如果用户在自由形式输入中使用“播放”命令或使用“播放”一词,则***可以识别出该播放命令或“播放”一词的使用可以暗示用户访问总是可访问的内容(要么本地存储的要么点播可用的)的意图。可以使用一个或多个优先级规则来确定播放什么媒体内容。例如,可以首先确定EPG是否具有与语音输入相匹配的当前可用于播放的任何媒体内容(例如广播内容、点播内容等)。如果从EPG确定没有当前可用的内容,则接下来可以确定是否有任何录制的媒体内容(例如DVR内容)与语音输入匹配。如果多于一个的录制媒体内容段与语音输入相匹配,则所述一个或多个优先级规则可以指定所有匹配的内容被显示,使得用户可以在其中选择。另选地,在一些实施例中,电子设备可以自动回放匹配内容的所选择的一个(例如最旧未观看(或部分观看)的录制的内容被选择并在电子设备上回放),而不是向用户显示多个搜索结果。尽管上述示例涉及使用特定优先级规则的集合来播放媒体内容,但是应当理解,这些规则只是说明性的,可以使用任何合适的优先级规则的集合以用于任何语音输入,因为本发明的实施例在这方面并不受限。
回到图2的处理,在步骤220中已经搜索了所述一个或多个数据源之后,处理进入步骤222,其中响应于从所述一个或多个数据源搜索到与搜索查询相匹配的内容,在与电子设备102相关联的用户界面上显示一个或多个结果。搜索结果可以以任何合适的方式显示,包括使用语音使能(voice-enabled)的搜索结果界面,如下面将更详细地描述的。如上面所描述的,显示结果可以包括直接呈现与用户输入相匹配的内容段。
图3示出了根据本发明的一些实施例的视觉搜索界面的部分。具体地,图3示出了说明性的结果屏幕300,用于显示从用户启动的对在电子设备上查看和/或播放的内容的搜索返回的搜索结果。在一些实施例中,结果屏幕300被配置为沿着至少两个轴显示搜索结果。在一个说明性实施例中,一个轴在搜索界面的前景中,并且一个或多个其他轴在搜索界面的背景中,但是可以响应于命令(例如语音命令)而被带到搜索界面的前景。在再一些其他实施例中,仅在前景中的轴上显示的内容完全聚焦(in focus),并且其他轴部分地脱焦(out of focus)以将用户的注意力吸引到前景轴。然而,并非使用前景和背景轴的所有实施例在这方面受限制,因为一些实施例可以呈现两个或更多个轴完全聚焦。
在一些实施例中,用于显示搜索结果的第一轴可以是与时间无关的轴310。当对应于搜索结果的内容可用于查看和/或回放时,可以使用任何合适的与时间无关的度量来沿着与时间无关的轴310来排序搜索结果。例如,在一个非限制性的示例中,可以至少部分地基于与产生结果的搜索查询的相关度来沿着与时间无关的轴来排序搜索结果。在一些实施例中,沿着与时间无关的轴显示的内容可以被限制为在当前时间可用的内容,而在其他实施例中,其可以包括当前不可用的内容。对于基于与搜索查询的相关度来排序所返回的搜索结果的实施例,可以以任何合适的方式使用任何合适的算法(例如,包括对当前可用于查看的内容给出较高的相关度)来确定相关度,因为本发明的实施例在这方面不受限制。应当理解的是,与搜索查询的相关度仅是沿着与时间无关的轴对结果进行排序的一种方式,并且任何其他合适的度量可以被用来代替或加之于与搜索查询的相关度来使用。例如,可以至少部分地基于内容的类型、内容的源或任何其他因素或者因素的组合来对搜索结果进行排序。
在一些实施例中,搜索结果也可以沿着第二轴被组织,第二轴是基于时间的并且被配置为显示可用于在不同时间查看的搜索结果。例如,结果屏幕300的前景可以显示用于当前可用内容的搜索结果,而仅在将来时间可用的内容可以显示在背景320中,如图3所示。
尽管结果屏幕300包括显示在仅两个轴上的搜索结果,但是应当理解,搜索结果可以显示在任何数目的轴上,因为本发明的实施例在这方面不受限制。例如,在一些实施例中,用于在当前时间可用、但在查看内容之前可能需要支付订阅费或一些其他费用的捆绑服务内容的搜索结果可以沿着单独的轴(未示出)显示,以指示该内容仅在已经支付可适用的付款之后才可以被查看。
结果屏幕300还可以包括描述部分330,其包括关于当前选择的搜索结果的信息。描述部分330还可以包括其他信息,其他信息使得用户能够从在结果屏幕300上显示的搜索结果中做出明智的选择。例如,描述部分330可以包括与当前所选择的搜索结果相关联的内容的描述,并且该描述可以基于对在结果屏幕300上显示的不同搜索结果的选择而改变。
在一些实施例中,比从搜索处理返回的全部搜索结果少的搜索结果可以显示在结果屏幕300上以使显示的拥挤最小化。在一些实施例中,用户可以与一个或多个语音标签交互(如下面更详细描述的),以查看另外的搜索结果。结果屏幕300还可以包括发现字段340,其使得用户能够基于在结果屏幕300上显示的搜索结果中的一个或多个而进行附加的搜索。例如,发现字段340当由用户选择时,可以启动对和关联于当前所选择的搜索结果的内容相似的内容的搜索。相似度可以用任何合适的使用任何合适的算法的方法来确定,因为本发明的实施例在这方面不受限制。例如,至少部分地基于内容所检索自的内容源、与内容段相关联的一个或多个内容标签(例如电影的家长分级)、内容的类型、或者这些或其他因素的任何组合来确定相似度。
在一些实施例中,结果屏幕300可以包括工具条350,其包括便利于与搜索屏幕300的用户交互的信息。例如,工具条350可以包括一个或多个图标、文本或其他指示器,所述其他指示器解释用户可用于与结果屏幕300交互的特定于屏幕的或全局的输入(例如语音命令)。
根据本发明的一些实施例,搜索结果可以包括混合的搜索结果,其包括不同类型的内容。例如,如上面所讨论的,搜索结果可以包括与安排的节目内容和捆绑服务内容相对应的结果。图4示出了说明性的结果屏幕400,其中在结果屏幕400上显示的搜索结果包括混合的搜索结果,即,搜索结果中的至少两个与不同类型的内容相关联。混合的搜索结果可以包括从一个或多个安排的节目内容数据源返回的第一结果和从一个或多个捆绑服务内容数据源返回的第二结果。在结果屏幕400上显示的搜索结果包括搜索结果410、412和414,它们可以是从一个或多个安排的节目内容数据源返回的结果,还包括搜索结果420和422,它们可以是从一个或多个捆绑服务内容数据源返回的结果。
如图4所示,从安排的节目内容数据源返回的搜索结果和从捆绑服务内容数据源返回的搜索结果可以混合在一起并且使用任何合适的度量或度量的组合沿着与时间无关的轴排序,这些度量包括但不限于与搜索查询的相关度、内容的类型和内容的源。与结果屏幕300一样,结果屏幕400可以包括描述部分430,其包括和在结果屏幕400上显示的搜索结果中的一个或多个有关的信息。
在一些实施例中,在结果屏幕400上显示的搜索结果可以沿着包括与时间无关的轴和基于时间的轴的至少两个轴被排序。在一些实施例中,在搜索界面的背景部分中显示的搜索结果可以仅包括安排的节目内容而不包括捆绑服务内容。例如,因为一些捆绑服务内容可以总是可访问的,在一些实施例中,对应于这样的捆绑服务内容的搜索结果可以总是显示在搜索界面的前景部分中,以指示其可用于立即的查看和/或播放。然而,应当理解,这仅仅是使用两个轴来组织内容的一个说明性的方式,内容的其他组织也是可能的。
如上面所讨论的,一些捆绑服务内容只有一经支付费用才可以立即被访问。例如,来自在线音乐商店(诸如)的歌曲只有一经购买该歌曲才可以立即被访问。在一些实施例中,尽管在图4中未示出,与在变得可用于在电子设备上查看和/或回放之前需要支付的内容相对应的搜索结果可能不与其他搜索结果混合,而是可以出现在搜索结果界面的不同部分中。
在一些实施例中,根据本发明的一些实施例的搜索界面可以包括一个或多个选择标签,这些标签便利于用户与搜索界面的一个或多个组件之间的交互。图5示出了包括多个选择标签的示例性的结果屏幕500。如图5所示,搜索结果中的一个或多个可以与选择标签510相关联,其指示用户可提供(例如经由口语输入、键盘或小键盘等)以选择特定的搜索结果的输入。在示例性的结果屏幕500中,对于采用语音接口的实施例,如果用户想要选择左下角中的第一搜索结果,则用户可以说“选择1”。另选地,如果用户想要选择显示在右下角上的搜索结果,则用户可以说“选择4”。
结果屏幕500还可以包括其他类型的选择标签,诸如一个或多个图标520,其使得用户能够使用选择命令来执行与关联于该图标的内容有关的一个或多个动作。例如,图标520可以包括但不限于向用户指示它们可以查看特定内容、录制特定内容、或执行与关联于图标的特定内容相关联的一些其他动作的图标。用户可以将动作与选择标签的标识相组合来执行对所选择内容的动作。例如,用户可以通过说“查看1”来查看与在图5的左下角中的搜索结果相关联的内容。
在一些采用语音接口的实施例中,取决于语音命令何时是激活的,与视觉搜索界面的语音交互可以被归类为不同类型的语音命令。例如,一些语音命令可以被分类为与屏幕无关的命令,这些命令独立于在任何特定屏幕上显示的内容,并且总是激活的而不管当前正在显示器上呈现的是什么特定屏幕。与屏幕无关的命令的一些非限制性实例包括但不限于诸如音量控制、频道控制、屏幕亮度和菜单访问命令的命令。在一些实施例中,与屏幕无关的命令的集合和常规上由遥控设备控制的功能性基本上重叠。与屏幕无关的命令可以与一个或多个标记相关联,所述标记是用于在搜索界面上显示、以向用户提醒这些命令的存在的选择标签的,或者在一些实施例中,假设用户知道这些总是可用的命令并且可以被调用,使得不显示选择标签或图标。在一些实施例中,在搜索界面屏幕上显示的工具条中可以包括用于全局命令中的一个或多个的图标以及/或者响应于触发事件(诸如求助、按下输入设备上的热键或者以一些其他的方式)可以访问全局命令的列表。
一些语音交互可以关联于与屏幕相关的动作,与屏幕相关的动作使得用户能够只在用户界面的特定屏幕内执行动作。例如,在图5所示的结果屏幕500中,选择标签510可以允许用户选择特定的搜索结果(如上面所描述的),并且响应于选择了特定的搜索结果,与所选择的搜索结果相关联的内容的描述可以在搜索界面上被更新以向用户提供信息,该信息可以帮助用户决定是否对与所选择的搜索结果相关联的内容执行动作(例如观看、购买、录制)。
其他与屏幕相关的动作可以与搜索界面的一个或多个导航功能相关联,导航功能使得用户能够在特定的结果屏幕内导航以及/或者更新结果屏幕的内容。例如,搜索界面可以显示语音使能(voice-enabled)的标记,其允许用户查看当前不在搜索界面上显示的附加的搜索结果,例如通过说出“下一结果”或一些其他命令短语或自由形式的输入来更新结果屏幕以包括附加的结果。
搜索界面可以进一步配置有关联于与屏幕相关的动作的用户交互功能性,以允许用户在以多轴显示的不同水平呈现的搜索结果之间切换。例如,在搜索结果沿着与时间无关的轴和基于时间的轴显示的实施例中,用户可以使用语音(或其他形式的)输入以切换沿着基于时间的轴的哪些结果当前被聚焦并且可以被选择。例如,用户可以说“稍后”(或一些其他话语或短语)以选择与在用户界面的背景中沿着所显示搜索结果的基于时间的轴显示的搜索结果相关联的内容。这可以是有用的,例如,允许用户采取和在稍后的时间可用的安排节目内容有关的动作(例如录制)。为了执行该动作,用户可以说“稍后”(或一些其他话语或短语),这可以切换在前景中所显示的搜索结果和在背景中所显示的搜索结果,以使得用户能够选择内容只在将来可用的项目。
图形图标520可以表示另一种类的用户交互,这些用户交互使得用户能够执行特定的动作,诸如录制、查看或回放与搜索结果相关联的内容。在一些实施例中,图形图标也可以对应于附加的增值动作,这些增值动作使得用户能够执行其他“次要”的功能,例如发帖子到执行TwitterTM上的动作、或与另一客户端应用服务或网站进行交互。
虽然上述说明性的例子讨论了三种不同类型的用户交互(即与屏幕无关的命令、与屏幕相关的动作以及图形图标动作),但应当清楚,可以使用任何数目类型的用户交互,因为本发明的实施例在这方面不受限制。
在一些支持语音接口的实施例中,在搜索界面上显示的选择标签和/或其他图标的存在或不存在可以至少部分地基于是否已激活语音交互以用于搜索界面来确定。确定语音交互是否激活以用于搜索界面可以以任何合适的方式进行,包括例如确定麦克风是否激活、确定语音识别软件是否在电子设备上执行、确定用户是否已经发出语音命令以在搜索界面上显示语音标签、或者其他合适的方式。
在一些实施例中,电子设备可以接收使得电子设备进入“监听模式”的输入,在“监听模式”期间电子设备期待来自用户的进一步输入以执行动作。相反,当电子设备不处于监听模式时,电子设备默认地可以不将所接收的输入解译为表示用户的执行特定动作的意图,而是可以正在监测触发进入到监听模式的输入。图6示出了根据本发明的一些实施例的用于包括监听模式的电子设备的说明性处理。在操作610中,确定是否已经接收到将使得电子设备进入监听模式的第一输入。例如,在包括语音接口的实施例中,第一输入可以与证明用户的执行动作的意图的语音命令或一些其他语音输入相对应,如上面所描述的。另选地,第一输入可以是使得电子设备进入监听模式的任何其他合适的输入,包括但不限于按下键盘或小键盘上的特定按键。
如果在步骤610中确定没有接收到第一输入,则处理继续监测接收到的第一输入。否则,如果已经接收到第一输入,则处理进入步骤612,其中响应于识别第一输入使得电子设备进入监听模式。在处于监听模式时,处理进入步骤614,其中确定是否已接收到第二输入。如果确定在监听模式中已经接收到第二输入,则处理进入步骤620,其中执行对应于第一和/或第二输入的一个或多个动作。在从步骤620中执行了一个或多个动作后,如果期待附加的输入,则处理可以可选地返回到步骤612以进入监听模式。例如,第二输入可以是“今晚的HBO喜剧清单上有什么?”,并且在步骤620中执行的动作可以是打开当天的HBO喜剧清单。因为期待附加的输入,所有处理可以进入步骤612以进入监听模式,等待附加的输入(例如下一个、前一个、退出等)。然而,如果在从步骤620中执行一个或多个动作之后没有附加的输入被预期,则处理可以结束。
如果在步骤614中确定没有接收到第二输入,则处理进入步骤616,其中确定自从进入监听模式是否已经经过了特定的时间量(例如5秒)。如果在步骤616中确定还没有经过特定的时间量,则处理继续监测第二输入。否则,如果确定已经过去了特定的时间量,则处理进入步骤618,其中使得电子设备退出监听模式,并且处理返回到步骤610以监测第一输入。在上面描述的实施例中,在进入监听模式后,电子设备在已经过去了特定的时间量之后退出监听模式。然而,应当清楚,在一些实施例中,可以以其他方式另选地退出监听模式。例如,一些实施例可以使得用户能够通过提供指引电子设备退出监听模式的输入来显式地退出监听模式。该显式的输入可以采取任何适合的形式,包括但不限于语音命令(或确定的用户意图)、或者按下键盘或小键盘上的按键。
在一些实施例中,当使得电子设备进入监听模式时,这可以在电子设备所显示的用户界面上以某种方式被注意到。例如,一经进入监听模式,一个或多个选择标签和/或图标可以出现在用户界面上以通知用户已经进入收听模式。应当理解,可以以任何方式执行反映电子设备的模式状态的用户界面变化,显示或隐藏选择标签和/或图标的例子只是指示状态的一种方式,并且其他方式也是可行的。
在一些实施例中,可以分层级地表示捆绑服务内容搜索结果。例如,如果特定的捆绑服务包括一个或多个与搜索查询相匹配的内容段,则可以最初通过在搜索结果中包括捆绑服务的标识符而不是对应的内容段来表示它们,并且接着从搜索结果中选择捆绑服务可以使得对应的内容段示出在用户界面上。例如,与捆绑服务内容搜索结果相关联的应用可以示出为用于应用的图像或图标,该图像或图标被用户识别为表示该应用。例如,捆绑服务搜索结果可以对应于电影流处理(streaming)服务,诸如(例如由图标示出),并且响应于通过例如说出选择第二搜索结果(例如搜索结果)的“选择2”而选择电影流处理服务,可以显示应用内的搜索结果。
在说明性的例子中,用户可以搜索对应于“Yankees”的内容,响应于该搜索所返回的搜索结果可以包括用于New York Yankees棒球赛的安排的节目内容、来自用于和New York Yankees有关的电影的电影流处理服务的捆绑服务内容、与乐队“Damn Yankees”有关的音乐内容、以及用于Mark Twain的电子图书“A Connecticut Yankeein King Arthur’s Court”的电子图书内容。与显示捆绑服务所包括的、与Yankees有关的所有电影相反,搜索结果可以最初示出用于电影流处理服务的图像,该电影流处理服务包括与搜索项“Yankees”有关的多个电影。一经通过使用例如与该图像相关联的选择语音标签而选择用于该电影流处理服务的图像,从该流处理服务可用并对应于搜索项“Yankees”的一部或多部电影可以显示在搜索结果中。分层级呈现的搜索结果可以具有任何数目的分层级的水平,因为本发明的实施例在这方面不受限制。
另一个可以分层级表示的内容的说明性实例是音乐库中的歌曲。例如,用户可能想要播放Metallica的歌曲,但可能不记得该歌曲的名称。为了搜索该歌曲,用户可以启动对“Metallica”的搜索,所返回的搜索结果可以包括本地存储在与电子设备相关联的本地数据源上的多个Metallica的专辑,以及/或者包括来自Metallica的音乐的一个或多个网络连接的音乐数据源(例如数据库)。在一些实施例中,搜索结果可以呈现为用于Metallica不同专辑的专辑封面的一系列图像,并且可以提示用户从搜索结果中选择专辑中的一张(例如通过使用与每个专辑图像相关联的选择语音标签)。一经选择专辑中的一张,所选择的专辑可以展开以展示对于与专辑相关联的歌曲中的一首或多首的搜索结果,并且用户可以选择专辑上的歌曲之一进行回放。因此,在这方面,搜索结果可以以分层级的方式呈现,使得对搜索结果的顺序选择可以允许用户导航通过搜索结果以辨识用户想要在电子设备上回放的内容。
在一些实施例中,可以采用指引用户如何与用户界面的不同组件交互的语音标签。内容中立的语音标签是与语音标签所标识的内容无关的标记。内容中立的语音标签的例子是图5中所示的选择语音标签(1,2,3,4),它们允许用户选择搜索结果之一而不必说出标识搜索结果的内容的名称。因此,内容中立的语音标签不标识与它们相关联的内容本身,而是仅仅标识内容被分配到的搜索结果的空档(slot)或位置。通过使用内容中立的语音标签,向用户提供了语音标签的集合,它们有利于当与视觉搜索界面交互时的一致的用户体验。另外,使用内容中立的语音标签允许用户使用相比在语音标签是至少部分地基于该标签所标识的内容而创建的情况下将需要的更少的语音来调用命令。使用内容中立的语音标签还允许使用固定的语法(例如数字、字母),这可以针对可能具有唯一的名称等的内容产生更精确的ASR。
在一些实施例中,用户能够提供引起多于一种类型的命令或交互的激活的输入(例如经由语音)。例如,用户可以说“观看1”。作为响应,发生两个交互:(1)搜索结果中的第一项目可以被选择和(2)所选择的项目可以被播放。这样,单个输入可导致多个命令或交互被执行而无需用户必须发出单独的命令。这种***使得用户能够使用自然输入(例如语音)以控制电子设备。
上面描述了可以针对任何类型的内容执行的搜索,包括对YouTubeTM、HuluTM或任何其他视频共享网站或web服务上的视频剪辑的搜索。另外,如上所述,用户可以搜索本地存储在一个音乐库中或可经由网络(例如因特网)访问的音乐内容。用户可以具有将搜索限制于特定类型的内容(诸如音乐、视频或安排的节目内容)的能力,使得搜索结果只包括用户期望搜索的特定类型的内容。为此,搜索界面可以与高级搜索能力相关联,高级搜索能力可使用语音输入和/或其他输入形态被配置。
在一些实施例中,在搜索结果中显示的内容段可以包括多个标签(例如语音标签),其中一个标签标识内容,另一标签指示用内容执行的动作(例如观看、录制或购买内容)。对于搜索界面,与搜索结果相关联的标签的数量不是本发明实施例的限制。
图7示出了可与本文所描述发明的任何实施例结合使用的计算机***700的说明性的实现。计算机***700可以包括一个或多个处理器710和一个或多个计算机可读非易失性存储介质(例如存储器720和一个或多个非易失性存储介质730)。处理器710可以以任何适当的方式对向存储器720和非易失性存储设备730写数据以及从它们读取数据进行控制,因为本文所描述的本发明的各方面在这一点上并不受限制。为了执行本文所描述的任何功能性,处理器710可以执行存储在一个或多个计算机可读存储介质(例如存储器720)中的一个或多个指令,所述一个或多个计算机可读存储介质可充当用于存储由处理器710执行的指令的非易失性计算机可读存储介质。
本发明的上述实施例可以用多种方式中的任何一种来实现。例如,实施例可以使用硬件、软件或其组合来实现。当用软件实现时,软件代码可以在任何合适的处理器或处理器集上执行,无论是设置在单个计算机中还是分布在多个计算机之间。应当理解,执行上述功能的任何组件或组件集可以一般地被视为是控制上述功能的一个或多个控制器。所述一个或多个控制器可以以多种方式实现,诸如用使用微代码或软件被编程以执行上述功能的通用硬件(例如一个或多个处理器)或专用硬件。
在这方面,应当清楚,本发明的实施例的一个实现包括至少一个非易失性计算机可读存储介质(例如计算机存储器、软盘、光盘、磁带等),其用计算机程序(即多个指令)编码,当所述计算机程序在处理器上执行时,执行本发明的实施例的上述功能。计算机可读存储介质可以是可传送的,使得其上所存储的程序可被加载到任何计算机资源上以实现本文所讨论的本发明的各方面。此外,应当理解,所参考的当被执行时执行上述功能计算机程序不局限于在主机计算机上运行的应用程序。相反,在此使用术语计算机程序以在一般意义上指可被用于编程处理器以实现本发明的上述各方面的任何类型的计算机代码(例如软件或微代码)。
本发明的各种方面可以单独使用、组合使用或者以未在前述实施例中具体讨论的多种多样的布置来使用,因此本发明的各种方面并不将它们的应用限制于在上述说明中所阐述的或在附图中所描述的组件的布置和细节。例如,一个实施例中所描述的各方面可以以任何方式与其他实施例中所描述的各方面相组合。
而且,本发明的实施例可以实现为一个或多个方法,已经提供了其示例。作为方法的部分所执行的动作可以以任何合适的方式来排序。因此,可以构造在其中以与所示的顺序不同的顺序来执行动作的实施例,其可包括同时执行一些动作,即使在说明性实施例中被示出为顺序动作。
在权利要求中使用诸如“第一”、“第二”“第三”等的序数词来修改权利要求元素本身并不意味着一个权利要求要素相对于另一权利要求要素的任何顺序、先后次序或优先,也不意味着方法的动作被执行的时间顺序。这些术语仅用作标记来区分具有某一名称的一个权利要求要素与具有相同名称(除使用序数词外)的另一个要素。
在此使用的措辞和术语用于描述的目的,不应被视为是限制。在此使用的“包括”、“包含”、“具有”“包含”“涉及”及其变型意在包括其后列出的项目及另外的项目。
已经详细描述了本发明的几个实施例,本领域的技术人员可容易地想到各种修改和改进。这些修改和改进旨在属于本发明的精神和范围。因此,上述说明书仅仅是示例性的,而非旨在限制。本发明仅被限制为如权利要求及其等同物所限定的那样。

Claims (89)

1.一种在电子设备上呈现搜索结果的方法,其中所述电子设备包括被配置为调谐所述电子设备以接收安排的节目的调谐器,所述方法包括:
接收包括搜索查询的语音输入;
至少部分地基于所述搜索查询,用至少一个处理器搜索至少一个数据源;和
使用基于时间的轴和与时间无关的轴来呈现搜索的结果。
2.根据权利要求1所述的方法,其中与时间无关的轴基于与所述搜索查询中的一个或多个项的相关度来对所述结果进行排序。
3.根据权利要求1所述的方法,其中搜索至少一个数据源包括搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源。
4.根据权利要求3所述的方法,其中所述结果包括在所述至少一个安排的节目内容数据源中所标识的安排的节目内容和在所述至少一个捆绑服务内容数据源中所标识的捆绑服务内容。
5.根据权利要求1所述的方法,其中所述结果包括捆绑服务内容,当所述捆绑服务内容被选择时,显示来自与所选择的捆绑服务内容相关联的至少一个捆绑服务内容数据源的多个结果。
6.根据权利要求1所述的方法,其中基于时间的轴区分当前能用于回放的第一内容与当前不能用于回放的第二内容。
7.根据权利要求1所述的方法,其中沿着基于时间的轴呈现的所述结果只包括安排的节目内容。
8.一种电子设备,包括:
被配置为调谐所述电子设备以接收安排的节目的调谐器;和
至少一个处理器,被编程为:
接收包括搜索查询的语音输入;
至少部分地基于所述搜索查询,搜索至少一个数据源;和
使用基于时间的轴和与时间无关的轴来呈现搜索的结果。
9.根据权利要求8所述的电子设备,其中与时间无关的轴基于与所述搜索查询中的一个或多个项的相关度来对所述结果进行排序。
10.根据权利要求8所述的电子设备,还包括:
语音输入接口,被配置为接收所述搜索查询作为语音输入。
11.根据权利要求8所述的电子设备,其中搜索至少一个数据源包括搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源。
12.根据权利要求8所述的电子设备,其中所述结果包括捆绑服务内容,当所述捆绑服务内容被选择时,显示来自与所选择的捆绑服务内容相关联的至少一个捆绑服务内容数据源的多个结果。
13.根据权利要求8所述的电子设备,其中基于时间的轴区分当前能用于由所述电子设备回放的第一内容与当前不能用于由所述电子设备回放的第二内容。
14.一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种方法,所述方法包括:
接收包括搜索查询的语音输入;
至少部分地基于所述搜索查询,搜索至少一个数据源;和
使用基于时间的轴和与时间无关的轴来呈现搜索的结果。
15.根据权利要求14所述的计算机可读存储介质,其中与时间无关的轴基于与所述搜索查询中的一个或多个项的相关度来对所述结果进行排序。
16.一种在被配置为显示安排的节目内容的数字式可调谐的电子设备的视觉用户界面上呈现搜索结果的方法,所述方法包括:
接收搜索查询;
至少部分地基于对所述搜索查询的自然语言理解分析,搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源;和
在该用户界面上呈现搜索的结果,其中搜索的所述结果组合对应于安排的节目内容的至少一个第一结果和对应于捆绑服务内容的至少一个第二结果。
17.根据权利要求16所述的方法,其中所述至少一个第二结果包括至少一个捆绑服务结果,当所述至少一个捆绑服务结果被选择时,显示来自对应的捆绑服务数据源的多个结果。
18.根据权利要求16所述的方法,其中所述至少一个捆绑服务数据源包括用于基于web的服务的数据源。
19.根据权利要求16所述的方法,其中所述至少一个捆绑服务数据源包括与所述电子设备相关联的本地数据源。
20.根据权利要求16所述的方法,其中所述至少一个捆绑服务数据源包括经由网络连接的多个数据源。
21.根据权利要求16所述的方法,其中所述至少一个捆绑服务数据源包括点播内容的数据源。
22.根据权利要求16所述的方法,其中呈现搜索的所述结果包括呈现与搜索的所述结果中的至少一个对应的图像。
23.一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种在被配置为显示安排的节目内容的数字式可调谐的电子设备的视觉用户界面上呈现搜索结果的方法,所述方法包括:
接收搜索查询;
至少部分地基于对所述搜索查询的自然语言理解分析,搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源;和
在该用户界面上呈现搜索的结果,其中搜索的所述结果组合对应于安排的节目内容的至少一个第一结果和对应于捆绑服务内容的至少一个第二结果。
24.根据权利要求23所述的计算机可读存储介质,其中呈现搜索的所述结果包括呈现与搜索的所述结果中的至少一个对应的图像。
25.一种被配置为显示安排的节目内容的数字式可调谐的电子设备,所述电子设备包括:
至少一个处理器,被编程为:
接收搜索查询;
至少部分地基于对所述搜索查询的自然语言理解分析,搜索至少一个安排的节目内容数据源和至少一个捆绑服务内容数据源;和
在用户界面上呈现搜索的结果,其中搜索的所述结果组合对应于安排的节目内容的至少一个第一结果和对应于捆绑服务内容的至少一个第二结果。
26.根据权利要求25所述的数字式可调谐的电子设备,其中所述至少一个第二结果包括至少一个捆绑服务结果,当所述至少一个捆绑服务结果被选择时,显示来自对应的捆绑服务数据源的多个结果。
27.根据权利要求25所述的数字式可调谐的电子设备,其中所述至少一个捆绑服务数据源包括用于基于web的服务的数据源。
28.根据权利要求25所述的数字式可调谐的电子设备,其中所述至少一个捆绑服务数据源包括与所述电子设备相关联的本地数据源。
29.根据权利要求25所述的数字式可调谐的电子设备,其中所述至少一个捆绑服务数据源包括经由网络连接的多个数据源。
30.根据权利要求25所述的数字式可调谐的电子设备,其中所述至少一个捆绑服务数据源包括点播内容的数据源。
31.一种提供用于数字式可调谐的电子设备的用户界面的方法,所述电子设备被配置为显示安排的节目内容,所述方法包括:
在所述用户界面上显示多个与内容无关的标签,所述多个与内容无关的标签包括与内容无关的第一标签,该与内容无关的第一标签标识从搜索返回的第一内容单元;和
响应于接收到对应于与内容无关的第一标签的第一输入,执行与第一内容单元有关的至少一个动作,其中第一输入包括第一语音输入,并且其中与内容无关的第一标签被配置为对第一语音输入进行响应。
32.根据权利要求31所述的方法,还包括:
接收第二输入,其中所述多个与内容无关的标签中的与内容无关的第二标签被配置为对第二输入进行响应;和
其中执行与第一内容单元有关的所述至少一个动作包括至少部分地基于第二输入来执行所述至少一个动作。
33.根据权利要求32所述的方法,其中第二输入是第二语音输入,并且其中与内容无关的第二标签被配置为对第二语音输入进行响应。
34.根据权利要求32所述的方法,其中接收第一输入和接收第二输入包括在接收第一输入之前接收第二输入。
35.根据权利要求31所述的方法,还包括:
基于第一输入选择第一内容单元。
36.根据权利要求31所述的方法,其中执行与第一内容单元有关的至少一个动作包括将所述电子设备调谐到频道以显示用于第一内容单元的安排的节目。
37.根据权利要求31所述的方法,其中第一内容单元对应于包括多个搜索结果的捆绑服务内容单元,其中执行与第一内容单元有关的至少一个动作包括显示所述多个搜索结果。
38.根据权利要求31所述的方法,还包括:
将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作,并且其中第一语音命令和第二语音命令由所述电子设备识别,而不考虑在所述用户界面上显示的特定屏幕。
39.一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种提供用于数字式可调谐的电子设备的用户界面的方法,所述电子设备被配置为显示安排的节目内容,所述方法包括:
在所述用户界面上显示多个与内容无关的标签,所述多个与内容无关的标签包括与内容无关的第一标签,该与内容无关的第一标签标识从搜索返回的第一内容单元;和
响应于接收到对应于与内容无关的第一标签的第一输入,执行与第一内容单元有关的至少一个动作,其中第一输入是第一语音输入,并且其中与内容无关的第一标签被配置为对第一语音输入进行响应。
40.一种被配置为显示安排的节目内容的数字式可调谐的电子设备,所述电子设备包括:
至少一个处理器,被编程为:
在用户界面上显示多个与内容无关的标签,所述多个与内容无关的标签包括与内容无关的第一标签,该与内容无关的第一标签标识从搜索返回的第一内容单元;和
响应于接收到对应于与内容无关的第一标签的第一输入,执行与第一内容单元有关的至少一个动作,其中第一输入是第一语音输入,并且其中与内容无关的第一标签被配置为对第一语音输入进行响应。
41.根据权利要求40所述的数字式可调谐的电子设备,其中所述至少一个处理器还被编程为:
接收第二输入,其中所述多个与内容无关的标签中的与内容无关的第二标签被配置为对第二输入进行响应;和
其中执行与第一内容单元有关的所述至少一个动作包括至少部分地基于第二输入来执行所述至少一个动作。
42.根据权利要求40所述的数字式可调谐的电子设备,其中所述执行与第一内容单元有关的至少一个动作包括将所述电子设备调谐到频道以显示用于第一内容单元的安排的节目。
43.根据权利要求40所述的数字式可调谐的电子设备,其中第一内容单元对应于包括多个搜索结果的捆绑服务内容单元,其中执行与第一内容单元有关的至少一个动作包括显示所述多个搜索结果。
44.一种数字式可调谐的电子设备,包括:
至少一个处理器,被编程为:
提供用户界面,所述用户界面使得所述电子设备能够接收搜索查询而不管当所述搜索查询被接收到时多个屏幕中的哪个被显示在所述用户界面上,其中所述搜索查询包括对要在所述数字式可调谐的电子设备上显示和/或回放的内容的搜索;
接收包括所述搜索查询的语音输入;和
响应于接收到所述搜索查询,启动对应于所述搜索查询的对内容的搜索。
45.根据权利要求44所述的数字式可调谐的电子设备,其中启动对内容的搜索包括将对内容的查询发送到通过一个或多个网络连接到所述电子设备的至少一个数据源。
46.根据权利要求44所述的数字式可调谐的电子设备,其中所述至少一个处理器还被编程为:
在所述用户界面上显示一个或多个图标,所述一个或多个图标指示用户能用来启动对内容的搜索的输入。
47.根据权利要求44所述的数字式可调谐的电子设备,其中所述至少一个处理器还被编程为:
将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作。
48.根据权利要求47所述的数字式可调谐的电子设备,其中第一动作和/或第二动作对应于启动对内容的搜索。
49.一种计算机实现的方法,包括:
提供用户界面,所述用户界面使得电子设备能够接收搜索查询而不管当所述搜索查询被接收到时多个屏幕中的哪个被显示在所述用户界面上,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的内容的搜索;
接收包括所述搜索查询的语音输入;和
响应于接收到所述搜索查询,启动对应于所述搜索查询的对内容的搜索。
50.根据权利要求49所述的计算机实现的方法,其中启动对内容的搜索包括将对内容的查询发送到通过一个或多个网络连接到所述电子设备的至少一个数据源。
51.根据权利要求49所述的计算机实现的方法,还包括:
在所述用户界面上显示一个或多个图标,所述一个或多个图标指示用户能用来启动对内容的搜索的输入。
52.根据权利要求49所述的计算机实现的方法,还包括:
将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作。
53.根据权利要求52所述的计算机实现的方法,其中第一动作和/或第二动作对应于启动对内容的搜索。
54.一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种方法,所述方法包括:
提供用户界面,所述用户界面使得电子设备能够接收搜索查询而不管当所述搜索查询被接收到时多个屏幕中的哪个被显示在所述用户界面上,其中所述搜索查询包括对要在数字式可调谐的电子设备上显示和/或回放的内容的搜索;
接收包括所述搜索查询的语音输入;和
响应于接收到所述搜索查询,启动对应于所述搜索查询的对内容的搜索。
55.根据权利要求54所述的计算机可读存储介质,其中启动对内容的搜索包括将对内容的查询发送到通过一个或多个网络连接到所述电子设备的至少一个数据源。
56.根据权利要求54所述的计算机可读存储介质,其中所述方法还包括:
在所述用户界面上显示一个或多个图标,所述一个或多个图标指示用户能用来启动对内容的搜索的输入。
57.根据权利要求54所述的计算机可读存储介质,其中所述方法还包括:
将多个语音命令与所述用户界面相关联,其中所述多个语音命令包括第一语音命令和第二语音命令,其中第一语音命令调用第一动作并且第二语音命令调用第二动作。
58.根据权利要求57所述的计算机可读存储介质,其中第一动作和/或第二动作对应于启动对内容的搜索。
59.一种数字式可调谐的电子设备,包括:
至少一个处理器,被编程为:
接收第一输入;
响应于识别到第一输入而进入监听模式;
确定在当所述电子设备处于所述监听模式中时的特定时间量期间是否接收到第二输入,其中第一输入和/或第二输入是语音输入;和
响应于确定在所述特定时间量期间没有接收到第二输入而退出所述监听模式。
60.根据权利要求59所述的数字式可调谐的电子设备,其中第二输入是退出所述监听模式的显式命令;并且其中所述至少一个处理器还被编程为:
响应于接收到第二输入而退出所述监听模式。
61.根据权利要求59所述的数字式可调谐的电子设备,其中所述至少一个处理器还被编程为:
响应于退出所述监听模式而对第一输入进行监测。
62.根据权利要求59所述的数字式可调谐的电子设备,其中所述电子设备还包括至少一个显示器,并且其中所述至少一个处理器还被编程为:
在所述至少一个显示器上显示对所述电子设备当前是否处于监听模式中的指示。
63.根据权利要求62所述的数字式可调谐的电子设备,其中所述指示包括一个或多个选择标签和/或图标。
64.根据权利要求59所述的数字式可调谐的电子设备,其中所述至少一个处理器还被编程为:
确定所述电子设备是否处于监听模式中;和
响应于确定所述电子设备处于监听模式中而显示与内容无关的多个语音标签。
65.根据权利要求64所述的数字式可调谐的电子设备,其中所述至少一个处理器还被编程为:
响应于确定所述电子设备不处于所述监听模式中而隐藏所述与内容无关的多个语音标签。
66.一种计算机实现的方法,包括:
接收第一输入;
响应于识别到第一输入,使得电子设备进入监听模式;
确定在当所述电子设备处于所述监听模式中时的特定时间量期间是否接收到第二输入,其中第一输入和/或第二输入是语音输入;和
响应于确定在所述特定时间量期间没有接收到第二输入而退出所述监听模式。
67.根据权利要求66所述的计算机实现的方法,其中第二输入是退出所述监听模式的显式命令;并且其中所述方法还包括:
响应于接收到第二输入而退出所述监听模式。
68.根据权利要求66所述的计算机实现的方法,其中所述电子设备包括至少一个显示器,并且其中所述方法还包括:
在所述至少一个显示器上显示对所述电子设备当前是否处于监听模式中的指示。
69.根据权利要求68所述的计算机实现的方法,其中所述指示包括一个或多个选择标签和/或图标。
70.根据权利要求66所述的计算机实现的方法,还包括:
确定所述电子设备是否处于监听模式中;
响应于确定所述电子设备处于监听模式中而显示与内容无关的多个语音标签;和
响应于确定所述电子设备不处于所述监听模式中而隐藏所述与内容无关的多个语音标签。
71.一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种方法,所述方法包括:
接收第一输入;
响应于识别到第一输入,使得电子设备进入监听模式;
确定在当所述电子设备处于所述监听模式中时的特定时间量期间是否接收到第二输入,其中第一输入和/或第二输入是语音输入;和
响应于确定在所述特定时间量期间没有接收到第二输入而退出所述监听模式。
72.根据权利要求71所述的计算机可读存储介质,其中所述电子设备包括至少一个显示器,并且其中所述方法还包括:
在所述至少一个显示器上显示对所述电子设备当前是否处于监听模式中的指示。
73.根据权利要求72所述的计算机可读存储介质,其中所述指示包括一个或多个选择标签和/或图标。
74.根据权利要求71所述的计算机可读存储介质,还包括:
确定所述电子设备是否处于监听模式中;
响应于确定所述电子设备处于监听模式中而显示与内容无关的多个语音标签;和
响应于确定所述电子设备不处于所述监听模式中而隐藏所述与内容无关的多个语音标签。
75.一种对要在数字式可调谐的电子设备上显示和/或回放的内容进行搜索的方法,所述电子设备被配置为显示安排的节目内容,所述方法包括:
从用户接收包括搜索查询的语音输入,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的所述内容的搜索;
基于所述搜索查询确定用户想要执行的动作;
至少部分地基于用户想要执行的所述动作,确定要搜索一个或多个数据源;和
至少部分地基于所述搜索查询,在所述一个或多个数据源中搜索要在所述电子设备上显示和/或回放的所述内容。
76.根据权利要求75所述的方法,其中确定用户想要执行的所述动作包括:确定用户想要收听媒体内容,并且其中确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为音乐数据源。
77.根据权利要求75所述的方法,其中确定用户想要执行的所述动作包括:确定用户想要观看媒体内容,并且其中确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为至少一个安排的节目内容源。
78.根据权利要求75的方法,还包括:
存储一个或多个规则,所述一个或多个规则将特定类型的输入与用于搜索所述一个或多个数据源的特定顺序相关联;和
其中搜索所述一个或多个数据源包括:根据所述一个或多个规则来搜索所述一个或多个数据源。
79.根据权利要求75所述的方法,其中搜索所述一个或多个数据源包括搜索所有可用的数据源。
80.根据权利要求75所述的方法,还包括:
从所述一个或多个数据源接收搜索结果;和
在用户界面上呈现所述搜索结果。
81.一种以多个指令编码的计算机可读存储介质,当所述指令由至少一个计算机执行时,执行一种对要在数字式可调谐的电子设备上显示和/或回放的内容进行搜索的方法,所述电子设备被配置为显示安排的节目内容,所述方法包括:
从用户接收包括搜索查询的语音输入,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的所述内容的搜索;
基于所述搜索查询确定用户想要执行的动作;
至少部分地基于用户想要执行的所述动作,确定要搜索一个或多个数据源;和
至少部分地基于所述搜索查询,在所述一个或多个数据源中搜索要在所述电子设备上显示和/或回放的所述内容。
82.根据权利要求81所述的计算机可读存储介质,其中确定用户想要执行的所述动作包括:确定用户想要收听媒体内容,并且其中确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为音乐数据源。
83.根据权利要求81所述的计算机可读存储介质,其中确定用户想要执行的所述动作包括:确定用户想要观看媒体内容,并且其中确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为至少一个安排的节目内容源。
84.根据权利要求81所述的计算机可读存储介质,其中所述方法还包括:
存储一个或多个规则,所述一个或多个规则将特定类型的输入与用于搜索所述一个或多个数据源的特定顺序相关联;和
其中搜索所述一个或多个数据源包括:根据所述一个或多个规则来搜索所述一个或多个数据源。
85.一种被配置为显示安排的节目内容的数字式可调谐的电子设备,所述电子设备包括:
至少一个处理器,被编程为:
从用户接收包括搜索查询的语音输入,其中所述搜索查询包括对要在所述电子设备上显示和/或回放的所述内容的搜索;
基于所述搜索查询确定用户想要执行的动作;
至少部分地基于用户想要执行的所述动作,确定要搜索一个或多个数据源;和
至少部分地基于所述搜索查询,在所述一个或多个数据源中搜索要在所述电子设备上显示和/或回放的所述内容。
86.根据权利要求85所述的数字式可调谐的电子设备,其中确定用户想要执行的所述动作包括:确定用户想要收听媒体内容,并且其中确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为音乐数据源。
87.根据权利要求85所述的数字式可调谐的电子设备,其中确定用户想要执行的所述动作包括:确定用户想要观看媒体内容,并且其中确定要搜索的一个或多个数据源包括:确定所述一个或多个数据源为至少一个安排的节目内容源。
88.根据权利要求85所述的数字式可调谐的电子设备,其中所述至少一个处理器还被编程为:
存储一个或多个规则,所述一个或多个规则将特定类型的输入与用于搜索所述一个或多个数据源的特定顺序相关联;和
其中搜索所述一个或多个数据源包括:根据所述一个或多个规则来搜索所述一个或多个数据源。
89.根据权利要求85所述的数字式可调谐的电子设备,其中搜索所述一个或多个数据源包括搜索所有可用的数据源。
CN201380014806.XA 2012-08-16 2013-08-16 一种在电子设备上呈现搜索结果的方法和计算机存储介质 Expired - Fee Related CN104170397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710977995.0A CN107613353B (zh) 2012-08-16 2013-08-16 在电子设备上呈现搜索结果的方法、电子设备及计算机存储介质

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US13/587,280 2012-08-16
US13/587,234 US9497515B2 (en) 2012-08-16 2012-08-16 User interface for entertainment systems
US13/587,234 2012-08-16
US13/587,222 US8799959B2 (en) 2012-08-16 2012-08-16 User interface for entertainment systems
US13/587,300 US9026448B2 (en) 2012-08-16 2012-08-16 User interface for entertainment systems
US13/587,260 US20140052450A1 (en) 2012-08-16 2012-08-16 User interface for entertainment systems
US13/587,353 2012-08-16
US13/587,300 2012-08-16
US13/587,260 2012-08-16
US13/587,222 2012-08-16
US13/587,353 US9106957B2 (en) 2012-08-16 2012-08-16 Method and apparatus for searching data sources for entertainment systems
US13/587,280 US9031848B2 (en) 2012-08-16 2012-08-16 User interface for searching a bundled service content data source
PCT/US2013/055259 WO2014028797A1 (en) 2012-08-16 2013-08-16 User interface for entertainment systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710977995.0A Division CN107613353B (zh) 2012-08-16 2013-08-16 在电子设备上呈现搜索结果的方法、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN104170397A true CN104170397A (zh) 2014-11-26
CN104170397B CN104170397B (zh) 2017-10-24

Family

ID=49083777

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380014806.XA Expired - Fee Related CN104170397B (zh) 2012-08-16 2013-08-16 一种在电子设备上呈现搜索结果的方法和计算机存储介质
CN201710977995.0A Expired - Fee Related CN107613353B (zh) 2012-08-16 2013-08-16 在电子设备上呈现搜索结果的方法、电子设备及计算机存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710977995.0A Expired - Fee Related CN107613353B (zh) 2012-08-16 2013-08-16 在电子设备上呈现搜索结果的方法、电子设备及计算机存储介质

Country Status (4)

Country Link
EP (1) EP2803004A1 (zh)
KR (1) KR20150045404A (zh)
CN (2) CN104170397B (zh)
WO (1) WO2014028797A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093426A (zh) * 2017-04-26 2017-08-25 医惠科技有限公司 语音的输入方法、装置及***
CN107210035A (zh) * 2015-01-03 2017-09-26 微软技术许可有限责任公司 语言理解***和方法的生成
CN113301395A (zh) * 2021-04-30 2021-08-24 当趣网络科技(杭州)有限公司 在视频播放状态下结合用户等级的语音搜索方法

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9830321B2 (en) 2014-09-30 2017-11-28 Rovi Guides, Inc. Systems and methods for searching for a media asset
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR102376657B1 (ko) 2015-08-18 2022-03-21 엘지전자 주식회사 이동단말기
DK179690B1 (en) * 2015-09-08 2019-03-26 Apple Inc. Intelligent automated media search and playback assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
JP6834256B2 (ja) * 2016-08-30 2021-02-24 株式会社リコー 情報処理装置、情報処理システム、及びプログラム
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
CN109104631B (zh) * 2018-09-06 2021-09-28 网易传媒科技(北京)有限公司 视频显示方法和装置
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
CN109147801B (zh) * 2018-09-30 2021-08-10 深圳市元征科技股份有限公司 语音交互方法、***、终端及存储介质
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309256A (ja) * 2000-04-26 2001-11-02 Sanyo Electric Co Ltd デジタルテレビ放送受信機
US20070192310A1 (en) * 2006-02-13 2007-08-16 Sony Corporation Information processing apparatus and method, and program
CN102054014A (zh) * 2009-10-30 2011-05-11 索尼计算机娱乐公司 信息处理装置、调谐器及信息处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8200688B2 (en) * 2006-03-07 2012-06-12 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309256A (ja) * 2000-04-26 2001-11-02 Sanyo Electric Co Ltd デジタルテレビ放送受信機
US20070192310A1 (en) * 2006-02-13 2007-08-16 Sony Corporation Information processing apparatus and method, and program
CN102054014A (zh) * 2009-10-30 2011-05-11 索尼计算机娱乐公司 信息处理装置、调谐器及信息处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107210035A (zh) * 2015-01-03 2017-09-26 微软技术许可有限责任公司 语言理解***和方法的生成
CN107210035B (zh) * 2015-01-03 2020-10-23 微软技术许可有限责任公司 语言理解***和方法的生成
US10909969B2 (en) 2015-01-03 2021-02-02 Microsoft Technology Licensing, Llc Generation of language understanding systems and methods
CN107093426A (zh) * 2017-04-26 2017-08-25 医惠科技有限公司 语音的输入方法、装置及***
CN113301395A (zh) * 2021-04-30 2021-08-24 当趣网络科技(杭州)有限公司 在视频播放状态下结合用户等级的语音搜索方法

Also Published As

Publication number Publication date
CN107613353A (zh) 2018-01-19
EP2803004A1 (en) 2014-11-19
KR20150045404A (ko) 2015-04-28
WO2014028797A1 (en) 2014-02-20
CN107613353B (zh) 2020-10-16
CN104170397B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN104170397A (zh) 用于娱乐***的用户界面
US9066150B2 (en) User interface for entertainment systems
US9497515B2 (en) User interface for entertainment systems
US9031848B2 (en) User interface for searching a bundled service content data source
US9026448B2 (en) User interface for entertainment systems
US9106957B2 (en) Method and apparatus for searching data sources for entertainment systems
US20140052450A1 (en) User interface for entertainment systems
US20140006022A1 (en) Display apparatus, method for controlling display apparatus, and interactive system
US20140195244A1 (en) Display apparatus and method of controlling display apparatus
US20140244263A1 (en) Method and system for controlling a user receiving device using voice commands
US20110119715A1 (en) Mobile device and method for generating a control signal
US9230559B2 (en) Server and method of controlling the same
US20050278336A1 (en) Program information processing system, program information management server, program information operation terminal, and computer program
CN106489150A (zh) 用于识别和保存媒体资产的一部分的***和方法
US20230142720A1 (en) Smart interactive media content guide
US20150382077A1 (en) Method and terminal device for acquiring information
KR20160039830A (ko) 멀티미디어 장치 및 그의 음성 가이드 제공방법
JP2013085232A (ja) 複数の入力ソースに対する統合されたepg情報を提供する方法及び装置
CN112135170A (zh) 一种显示设备、服务器及视频推荐方法
EP3076678A1 (en) Display apparatus for searching and control method thereof
CN109792502A (zh) 信息处理设备、信息处理方法、程序和信息处理***
KR101511311B1 (ko) 셋탑박스 제어 기록 및 콘텐츠 검색 기록을 이용한 사용자 맞춤형 광고 제공 시스템 및 방법
US10057616B1 (en) Systems and methods for accessing bookmarked content
WO2014043987A1 (zh) 一种信息的传送方法、装置及***
US20150066887A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171024