CN105849758A - 多模式内容消费模型 - Google Patents

多模式内容消费模型 Download PDF

Info

Publication number
CN105849758A
CN105849758A CN201480068306.9A CN201480068306A CN105849758A CN 105849758 A CN105849758 A CN 105849758A CN 201480068306 A CN201480068306 A CN 201480068306A CN 105849758 A CN105849758 A CN 105849758A
Authority
CN
China
Prior art keywords
content
interactive module
user
preference
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480068306.9A
Other languages
English (en)
Other versions
CN105849758B (zh
Inventor
Z·刘
C·C（J）·许
J-Y·赵
C（H）·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105849758A publication Critical patent/CN105849758A/zh
Application granted granted Critical
Publication of CN105849758B publication Critical patent/CN105849758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了使得用户能够与显示的内容交互的方法、***和计算机程序产品。提供了可扩展的用户界面(UI)模型框架，使得用户设备能够同时提供多种内容反馈机制，如触摸、非触摸、运动、姿势、话音等。允许用户选择用户最舒服的方式来使用用户设备与显示的内容交互，并且交互的指示可被发送到内容提供者。内容提供者可基于接收到的反馈来提供内容供显示。用户设备可使得用户能够在任何时间使用一个或多个反馈机制，包括反馈机制的组合。附加的交互模块可被***，以实现任何数量的附加方式来在用户设备上与显示的内容进行交互。

Description

多模式内容消费模型
背景
当今，用户经由浏览器和其他应用消费在诸如因特网的网络上可访问的大量内容。这种内容的示例包括图像、文本、视频等等。频繁地，当内容以页面的形式显示在显示屏上(例如在网页上)时，多个内容项可在该页面上一起显示，其中每个内容项占据屏幕的一部分。
查看此类内容的用户可能想要提供反馈。存在用于在页面/屏幕层级上从用户处获取关于内容的反馈的技术。例如，内容提供者有时使用诸如喜欢/不喜欢按钮、反馈/调查表单或评论提交框的技术以在当前页面/屏幕上获取用户反馈。一般而言，固定数目种反馈技术在特定设备上可用以供用户用来提供反馈。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
提供了使得用户能够与显示的内容交互的方法、***和计算机程序产品。提供了可扩展用户界面(UI)模型框架，使得用户设备能够同时提供多个内容反馈机制，如触摸、非触摸、运动、姿势、话音等。允许用户选择用户最舒服的方式来使用用户设备与显示的内容交互，交互的指示可由可扩展UI模型框架发送到内容提供者。内容提供者可基于接收到的反馈来提供内容供显示。用户设备可使得用户能够在任何时间使用一个或多个反馈机制，包括反馈机制的组合。附加的交互模块可被***到可扩展UI模型框架中，以使得能够在用户设备上与显示的内容进行任何数量的附加交互方式。
可允许用户与显示的内容交互以指示出各种偏好。这些偏好可包括指示出他们不喜欢该内容(例如“否”)、他们喜欢该内容并且想要额外的相似内容的提供(例如“更多”)、和/或他们喜欢该内容并且想要关于显示的内容的更多信息的提供(例如“深度”)。在第一种情形中，可提供并显示替换内容。在第二种情形中，可提供并显示与显示的内容相似的附加内容。在第三种情形中，可提供并显示提供关于显示的内容的附加信息的附加内容。替换/附加内容可替代显示的内容而被显示，或者可以其它方式显示。
例如，在一个实现中，提供了包括可扩展用户界面(UI)模块的用户设备。可扩展UI模块包括交互模块管理器，交互模块管理器包括交互模块接口、注册接口以及消息收发模块。交互模块接口被配置成与多个交互模块耦合。每个耦合的交互模块被配置成启用相应的内容交互技术，从相应的硬件接收交互信号，将交互信号转换成用户反馈指示，以及根据公共消息格式将用户反馈指示提供给交互模块管理器。注册接口被配置成使得交互模块能够各自向交互模块管理器注册。消息收发模块被配置成为每个用户反馈指示生成用户数据包以发送到服务器。
耦合于交互模块接口的交互模块被配置成允许与用户设备显示的内容相关联地提供内容反馈。该交互模块被配置成使得第一偏好指示显示的内容不被喜欢而应显示替换内容，使得第二偏好指示显示的内容被喜欢且应显示与显示的内容类似的附加内容，以及使得第三偏好指示显示的内容被喜欢且应显示提供关于显示的内容的附加信息的附加内容。
该交互模块可以是非触摸交互模块、触摸交互模块、姿势交互模块、运动感测交互模块、话音交互模块、或另一类型的交互模块。
在另一实现中，提供了用户设备中的方法。提供了交互模块接口使得多个交互模块能够与交互模块管理器耦合。每个耦合的交互模块被配置成启用相应的内容交互技术，从相应的硬件接收交互信号，将交互信号转换成用户反馈指示，以及根据公共消息格式通过交互模块接口提供用户反馈指示。交互模块各自被允许向交互模块管理器注册。为每个用户反馈指示生成用户数据包以发送到服务器。
本文中还揭示了一种存储有计算机程序指令的计算机可读存储介质，这些计算机程序指令根据本文中所述的各个实施例使得用户能够提供对显示内容的反馈，并使得下一内容能够基于该反馈来被选择。
下面将参考各个附图，详细描述本发明的进一步特点和优点，以及本发明的各实施例的结构和操作。值得注意的是，本发明不仅限于此处所描述的特定实施例。本文呈现这些实施例仅用于说明性的用途。基于本文所包含的描述，其它实施例对于相关领域的技术人员将是显而易见的。
附图说明
结合到本说明书并构成本说明书的一部分的附图示出了本发明的各个实施例，且与描述一起，进一步用于说明本发明的原理，并允许相关领域技术人员实施和使用这些实施例。
图1示出根据一示例实施例的通信***的框图，其中服务器设备与用户设备通信以响应于来自用户与用户设备处显示的内容的交互的反馈向用户设备提供新内容。
图2示出根据一示例实施例的提供使得用户能够直接对用户设备处显示的内容提供反馈的过程的流程图。
图3示出根据一示例实施例的提供用户能够指示关于显示的内容的各种偏好的过程的流程图。
图4示出根据一实施例的使得用户能够指示关于显示的内容的各种偏好的示例图形用户界面元素。
图5示出根据一示例实施例的服务器的框图，该服务器被配置成接收关于显示的内容的用户指示的偏好，并基于此选择新内容。
图6示出根据一示例实施例的在服务器处提供可响应于对显示的内容的类别的指示以及用户提供的关于显示的内容的偏好来选择和提供新内容的过程的流程图。
图7示出根据一示例实施例的在服务器处提供基于用户指示出不喜欢显示的内容来检索新内容的过程的流程图。
图8示出根据一示例实施例的在服务器处提供基于希望显示的内容的相似内容的用户指示来检索新内容的过程的流程图。
图9示出根据一示例实施例的在服务器处提供基于希望对显示的内容提供附加信息的内容的用户指示来检索新内容的过程的流程图。
图10示出根据一示例实施例的用于就对显示的内容提供的用户反馈执行机器学习的过程。
图11-24示出根据各实施例的显示的内容、用户与显示的内容的交互以提供反馈、以及基于反馈选择的新的显示的内容的示例。
图25示出根据各个实施例的配置成可扩展以实现与内容交互以提供反馈的各种方式的示例性用户设备的框图。
图26示出根据一示例实施例的提供在用户设备处用于提供可扩展界面以供接收对所显示内容的反馈的过程的流程图。
图27示出根据一示例实施例的交互模块管理器的框图，该交互模块管理器提供可扩展界面以供接收对所显示内容的反馈。
图28示出根据一示例实施例的提供在交互模块中用于接收对所显示内容的反馈的过程的流程图。
图29示出根据一个实施例的可扩展以实现与内容交互以提供反馈的多种方式的用户设备的框图。
图30示出根据一示例实施例的用于实现对所显示内容提供的反馈的各种示例机制的流程图。
图31示出其中可实现各个实施例的示例性用户设备的框图。
图32示出可被用来实现各个实施例的示例计算设备的框图。
当结合其中相同的附图标记标识对应的元素的附图时，本发明的特征和优点将从以下阐述的详细描述中变得更加显而易见。在附图中，相同的参考标号一般指相同的、功能上相似的和/或结构上相似的元素。其中元素第一次出现的附图由对应的参考标号中最左侧的数字指示。
具体实施方式
I.介绍
本说明书公开了包括本发明的各特征的一个或多个实施例。所公开的实施例只例示了本发明。本发明的范围不仅限于所公开的实施例。本发明由所附的权利要求进行限定。
说明书中对“一个实施例”、“实施例”、“示例实施例”等等的引用表示所描述的实施例可包括特定特征、结构或特性，但是，每一个实施例可不必包括该特定特征、结构，或特征。此外，这些短语不一定指相同的实施例。此外，当关于某一实施例描述特定特征、结构或特性时，不管是否被明确描述，关于其他实施例来实现该特征、结构或特性被认为是在本领域技术人员的知识范围内。
以下描述多个示例性实施例。应当理解，在此提供的任何章节/子章节标题不旨在限制。本文档中描述了各实施例，并且任何类型的实施例可被包括在任何章节/子章节下。此外，在任何章节/子章节中公开的各实施例可与在相同章节/子章节和/或不同章节/子章节中描述的任何其它实施例以任何方式组合。
II.示例实施例
当今，用户消费在诸如因特网的网络上可访问的大量内容。这些内容的示例包括图像、文本、视频等。频繁地，当内容以页面的形式显示在显示屏上(例如在网页上)时，多个内容项可在该页面上一起显示，其中每个内容项占据屏幕的一部分。查看此类内容的用户可能需要对所显示内容提供反馈。当前用于从用户处获取对内容的反馈的技术倾向于在页面/屏幕层级获取反馈。例如，诸如喜欢/不喜欢按钮、反馈/调查表单或评论提交框的技术可被呈现以在当前页面/屏幕上获取用户反馈。cookie也被用来收集来自用户的遥测数据，并且推断用户的偏好。也可呈现预定义链接，用户可点击这些预定义链接以进入在不同内容页面上显示的内容。
然而，并不存在用于允许用户(作为消费者)表达其对页面/屏幕内特定内容项的偏好的直观且简单的技术。此外，不存在用于允许用户将在屏幕的一部分上显示的特定内容改变成一些其它内容的技术。
例如，在页面/屏幕层级提供的反馈机制(诸如喜欢/不喜欢按钮、反馈/评论表单、cookie等)不会容易地提供对内容层级精确性的分解。当用户点击URL(统一资源定位符)链路或进入应用的下一屏幕时，不存在关于用户有关先前显示内容的偏好的知识。例如，用户是否点击离开页面不指示用户喜欢还是不喜欢刚刚离开的页面上的内容。此外，用户通常不得不在离开页面/屏幕进入下一页面/屏幕前完成对整个页面/屏幕的读取。在不离开的情况下，该用户不能立即改变所显示页面/屏幕的一部分。
更进一步地，可用的当前设备旨在向终端用户提供一种或仅若干种交互技术。这样，用户可能并不总是能够选择其最舒适的方式来表达对内容的反馈，因为其喜欢的技术可能不可用。此外，当前设备允许交互技术的数种组合(如果有的话)。例如，对于特定内容，用户设备可能使得反馈能够由触摸屏上的虚拟键盘、基于手的动作等的虚拟键盘等之一(但并非必然是这些技术的组合)提供。
因此，当前用户设备不易被扩展至更多数目的交互技术。此外，这些交互技术在多种技术可用时倾向于彼此独立，由此对特定设备不能同时使用。再进一步地，对于残障人士而言，使得无障碍工具能够与用户设备交互是不容易的。
本文中描述了克服这些限制的各个实施例。例如，描述使用户能够使用可配置技术在内容层级提供反馈的各个实施例。提供使用户设备能同时提供多种内容交互机制的可扩展用户界面(UI)模型框架。一个或多个附加的交互模块可被***到可扩展UI模型框架中，以实现在用户设备上与所显示内容的更多交互方式。这样，使得用户能够选择最舒服的方式来使用用户设备与所显示内容交互，并且交互的指示可由可扩展UI模型框架发送到内容提供者。
用户所提供的反馈可使得该特定内容项被不同内容替换。基于用户反馈是指示用户不偏好所显示内容项(“否”)，指示用户的确偏好所显示内容项并且想要显示相似内容(“更多”)，还是指示用户的确偏好所显示内容项并且想要显示关于所显示内容项的更多详细信息(“深度”)，可选择不同内容。可替代所显示内容项显示不同内容，或者可以其它方式显示。
相应地，在一实施例中，呈现允许用户通过与内容提供者的交互获取偏好内容的新UI模型。例如，用户可能能够通过经由从内容提供者处选择文本(例如，关键字、句或段落)、图像形式的内容和/或另一种形式的内容指示其请求来快速获取所需内容。关于该内容，用户可能能够指示以下的一种或多种：“否”－用新(可能不同类型)的内容替换此类型的内容；“更多”－用户喜欢此类内容并且想要获得关于该类内容的更多相关内容(例如，相同主题的不同照片或新闻剪辑)；以及“深度”－用户喜欢该内容并且想要关于该内容的更深度或更详细的信息，和/或想要引发对当前内容项的更多动作。例如，如果内容项是广告，则用户对“深度”的选择可指示购买行为(例如，用户可能对购买与内容项相关的东西感兴趣)。在另一示例中，如果内容项是新闻剪辑，则用户对“深度”的选择可触发反馈输入，或者该新闻剪辑的新闻的完整新闻报道的显示。
多个示例实施例在以下子章节中描述，包括用于使用户能直接提供对所显示内容的反馈的实施例、用于基于反馈选择和显示下一内容的实施例、以及用于示例性反馈机制的实施例。
A.示例内容消费***实施例
各个实施例可在设备和服务器中以各种方式实现。例如，图1示出根据一示例实施例的通信***100的框图，其中服务器104与用户设备102通信以响应于用户对在用户设备102上显示的内容的反馈提供所选择的用于在用户设备102上显示的内容。如图1所示，用户设备102包括网络接口106、动作解释器108以及显示屏110。服务器104包括网络接口112和内容选择器114。服务器104包括内容存储116或耦合至内容存储116。以下更详细地描述用户设备102和服务器104。
用户设备102可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，设备、个人数字助理(PDA)、膝上型计算机、笔记本计算机、诸如Apple iPadTM的平板计算机、上网本等)、移动电话(例如，手机，诸如Microsoft电话、Apple iPhone、实现AndroidTM操作***的电话、设备、RIM设备等的智能电话)、可佩戴的计算设备(例如，智能手表、诸如GlassTM的智能眼镜等)、或其它类型的移动设备(例如，汽车)、或诸如桌面计算机或PC(个人计算机)的静止计算设备。服务器104可在一个或多个计算机***(例如服务器)中实现，并且可以是移动的(例如手持式)或静止的。服务器104可被视为“基于云”的服务器，可被包括在私用或其它网络，或者可被视为以另一方式可接入网络。
如图1所示，内容存储116包括诸如第一至第三内容124a-124c的内容。所存储内容的每一项目可以是任何类型的内容，诸如文本内容(字、短语、句子、段落、文本等)或图像内容(例如图像或照片、视频等)。所存储内容的每一项目可包含任何形式的内容，诸如广告、新闻项等。内容存储116可包括存储文件形式或其它形式的内容的任何类型的存储机构中的一个或多个，包括磁盘(例如，在硬盘驱动器中)、光盘(例如，在光盘驱动器中)、磁带(例如，在磁带驱动器中)、诸如RAM设备、ROM设备等的存储器设备、和/或任何其他合适类型的存储介质。
服务器104的网络接口112使得服务器104能够经由一个或多个网络通信，并且用户设备102的网络接口106使得用户设备102能够经由一个或多个网络通信。这些网络的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、或诸如因特网的通信网络的组合。网络接口106和114各自可包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、BluetoothTM接口、近场通信(NFC)接口等等。
用户设备102的显示屏110可以是任何类型的显示屏，诸如LCD屏(液晶显示屏)、诸如有机LED屏的LED(发光二极管)屏、等离子体显示屏、或者其它类型的显示屏。显示屏110可被集成在用户设备102的单个外壳中，或者可以是单独显示器。如图1所示，显示屏110可被用来在用户设备102处显示内容。例如，用户设备102的用户可与用户设备102的用户界面交互以浏览内容，并且使得内容被显示屏110显示。例如，内容可被诸如web浏览器所渲染的网页的页面118中所包含的显示屏110显示，或者内容可被另一应用以其它形式显示。如图1所示，显示屏110可显示所显示内容126和其它内容128。所显示内容126和其它内容128可每个包括文本内容或图像内容形式的一个或多个内容项。在图1的示例中，根据一实施例，所显示内容126被配置成能够与用户设备102的用户交互以对所显示内容126提供反馈。例如，如图1所示，所显示内容126可包括反馈界面130，该反馈界面130使用户能通过鼠标点击(例如点击所显示的弹出菜单、一个或多个虚拟按钮等)、通过触摸显示屏110、通过运动感测、通过语音识别、和/或通过其它用户界面交互，来提供对所显示内容126的反馈。其它内容128可任选地存在，并且还可被配置成与用户交互以提供对其的反馈，或者不可被配置成提供反馈。
动作解释器108被配置成解释用户使用反馈界面130对所显示内容126提供的反馈。例如，如本文中其它地方所述，用户可以不偏好显示内容126(例如，不想要查看所显示内容126，但是想要显示替代内容)的形式提供对所显示内容126的反馈，本文中称为“否”的反馈选择；
偏好所显示内容126并且想要查看附加相似内容，本文中称为“更多”的反馈选择；以及偏好所显示内容126并且想要查看对所显示内容126有更多描述的附加内容，本文中称为“深度”的反馈选择。动作解释器108被配置成接收用户提供给反馈界面130的反馈，并且向网络接口106提供要传送给服务器104的反馈。
这样，在一实施例中，用户设备102可根据图2操作。图2示出根据示例实施例的提供使得用户能够直接对用户设备处的所显示内容提供反馈的过程的流程图200。流程图200描述如下。基于以下描述，其他结构及操作的实施例对于相关领域的技术人员将是显而易见的。
流程图200开始于步骤202。在步骤202，提供内容以供显示。例如，如图1所示，用户设备102的显示屏110可显示所显示内容126，并且任选地可显示诸如其它内容128的进一步内容。这种内容可在页面118中或以其它形式显示。
在步骤204，关联于所显示内容实现内容反馈。例如，如上所述，用户设备102可关联于所显示内容126提供反馈界面130以使用户设备102的用户能够提供对所显示内容126的反馈。这种反馈可通过动作解释器108接收。
图3示出根据示例实施例的提供其中用户能够指示关于所显示内容的各种偏好的过程的流程图300。例如，流程图300可作为图2中流程图200的步骤204的示例来执行。流程图300描述如下。基于以下描述，其他结构及操作的实施例对于相关领域的技术人员将是显而易见的。
流程图300开始于步骤302。在步骤302，使得用户能够与所显示内容交互以指示不偏好所显示内容且要用替换内容的显示来替换的第一偏好。例如，如以上参照图1所述，可使得用户设备102的用户能够与反馈界面130交互以指示关于所显示内容126的“否”偏好。
在步骤304，使得用户能够与所显示内容交互以指示偏好所显示内容且要显示关于与所显示内容相同的主题的附加内容的第二偏好。例如，如上所述，可使得用户设备102的用户能够与反馈界面130交互以指示关于所显示内容126的“更多”偏好。
在步骤306，使得用户能够与所显示内容交互以指示偏好所显示内容且要显示提供与所显示内容相关的附加信息的附加内容的第三偏好。例如，如上所述，可使得用户设备102的用户能够与反馈界面130交互以指示关于所显示内容126的“深度”偏好。
如上所述，反馈界面130可被配置成使得用户能够以任何适当形式提供其反馈，包括鼠标点击、触摸、运动、语音等的一个或多个。例如，图4示出根据一实施例的使得用户能够指示关于所显示内容的各种偏好的示例图形用户界面(GUI)元素400。如图4所示，GUI元素400可以是当用户与图1的所显示内容126交互时存在的列表或弹出菜单。例如，当用户将鼠标指针悬停在所显示内容126上、触摸显示屏110上的所显示内容126、作出特定的预定手部运动、说出预定的一个或多个字、或者以另一方式经由反馈接口130与所显示内容126交互时，GUI元素400可毗邻显示屏110中的所显示内容126或在其上显示。然后用户可提供一后续动作，诸如点击、触摸、运动或说出适当的字，以指示其“否”、“更多”或“深度”(或者在GUI元素400中提供的其它适当标签)之一的反馈。注意，GUI元素400是出于说明目的示出的，并且在其它实施例中可具有其它适当形式，这对相关领域技术人员而言是基于本文中示教(例如，单选按钮、下拉菜单等)显而易见的。
如图1所示，用户设备102的网络接口106可向服务器104传送内容反馈信号120，该信号指示用户对所显示内容126提供的且由动作解释器108接收的反馈。内容反馈信号120还可包括标识所显示内容120的信息。如图1所示，服务器104的网络接口112可接收内容反馈信号120。服务器104处的内容选择器114被配置成基于在内容反馈信号120中接收到的反馈来选择要针对所显示内容126显示的下一内容。
例如，如果内容反馈信号120指示用户不偏好所显示内容126(例如“否”)，则内容选择器114可选择与所显示内容126不相关的内容(例如，内容的不同类别和/或主题)。如果内容反馈信号120指示用户的确偏好所显示内容126，并且由此需要附加的类似显示内容(例如“更多”)，则内容选择器114可选择与所显示内容126相关的内容(例如，分类到相同类别、并且任选地分类到相同主题)。如果内容反馈信号120指示用户的确偏好所显示内容126，并且由此需要对所显示内容126有更多描述的内容(例如，“深度”)，则内容选择器114可选择与所显示内容126紧密相关的内容(例如，分类到相同类别，以及相同类别下相同主题的内容)。
内容选择器114可从内容存储116检索所选下一内容(例如，内容124a-124c的一个或多个和/或储存在内容存储116中的其它内容)，并且向网络接口112提供所选下一内容以传送至用户设备102。如图1所示，网络接口112传送来自服务器104的所选下一内容信号122，其包括由内容选择器114响应于内容反馈信号120选择的下一内容。用户设备102的网络接口106可接收所选择的下一内容信号122。在所选择的下一内容信号122中接收到的所选择的下一内容可通过显示屏110在页面118中显示以供用户查看。在一实施例中，所选择的下一内容可替代所显示内容126以所显示内容126显示的相同尺寸和在页面118中的相同位置在页面118中显示。
以此方式，使得用户设备102的用户能够对在屏幕/页面中可与其它内容并排显示的内容提供内容特定的反馈。此外，该反馈不仅仅是喜欢/不喜欢内容的类型，而是还指示用户可能想要显示的更多的内容的类型(例如，不同内容、相似内容、更多描述的内容等等)。更进一步地，响应于反馈选择的内容可替代针对其提供该反馈的所显示内容来显示。由此，所显示的页面/屏幕的一部分可基于用户反馈改变，而该页面/屏幕的其余部分不改变。
在各个实施例中，服务器104可以以各种方式来配置以执行其功能。图5示出根据一示例实施例的服务器500的框图，该服务器500被配置成接收关于所显示内容的用户指示偏好、并基于其选择新内容。服务器500是图1所示的服务器104的一示例。如图5所示，服务器500包括web服务502、判定支持***504、以及内容存储116。此外，判定支持***504包括机器学习逻辑506和判定逻辑508。
为便于说明，服务器500参考图6来描述。图6示出根据一示例实施例的提供其中响应于关于所显示内容提供的类别和反馈选择并提供新内容的过程的流程图600。在一实施例中，服务器500可根据流程图600来操作。流程图600和服务器500描述如下。基于以下描述，其他结构及操作的实施例对于相关领域的技术人员将是显而易见的。
流程图600开始于步骤602。在步骤602，从用户设备处接收包，该包标识所显示内容并包括用户偏好指示，该用户偏好指示基于用户与所显示内容的交互确定的用户关于所显示内容的偏好。例如，如图5所示，web服务502从用户设备102处接收内容反馈信号120。内容反馈信号120可包括标识所显示内容126、并指示由用户提供的对所显示内容126的反馈的用户数据包。
所显示内容126可以各种方式在包中标识，诸如通过一个或多个标识符(例如，数字、字母数字等)和/或其它标识信息。例如，在一实施例中，每个内容项可被归类到一类别的主题中，其中可能存在多个类别，并且每个类别包括多个主题。由此，诸如所显示内容126、内容124a、内容124b、内容124c等的每个内容项可按类别和主题分类。例如，在一实施例中，每个内容项可具有相关联的指示该内容项类别的类别标识符，可具有相关联的指示该内容项主题的主题标识符，并且可具有相关联的特别地(例如唯一地)标识该内容项本身的内容标识符。
相应地，内容反馈信号120可包括以下的指示：第一类别标识符，指示所显示内容126的类别；第一主题标识符，指示所显示内容126的主题；第一项标识符，标识所显示内容126；以及作为用户提供的对所显示内容126的反馈提供的用户偏好指示。
类别、主题和内容可以任何方式分层次组织，其中类别在顶部(最广)而内容在底部(最具体)。可存在任何数量的不同类型的类别和主题。类别的示例可包括新闻、消费产品、汽车、技术等等。新闻类别下主题的示例可包括娱乐、政治、体育等等。消费产品类别下主题的示例可包括奢侈品、衣服等等。汽车类别下主题的示例可包括福特、雷克萨斯、本田、跑车等等。由此，主题是作为类别的子集分层次分类的。福特主题下内容的示例可包括福克斯(Focus)汽车、蒙迪欧(Fusion)汽车、爱仕(Escape)汽车(和/或福特汽车公司制造的更多车型)。由此，内容是作为主题的元素分层次分类的。
注意，在其它实施例中，分层结构可包括比本示例中三层(例如，类别、主题、项目)更多或更少的分层层级。由此，内容项可通过比类别标识符、主题标识符和项目标识符更多或更少的标识符定义。
注意，特定内容项的类别标识符、主题标识符和项目标识符可在任何时间确定并分配给该内容项。例如，在被传送以供用户设备显示之前，内容124a、内容124b以及内容124c各自可具有分配给它们、并在内容存储116中与之相关联(例如通过图5的web服务502或其它实体)的相应项目标识符。这种项目标识符可被储存在内容项的元数据中，或者可以其它方式与内容项相关联。
此外，在被传送以供用户设备显示之前，内容124a、内容124b以及内容124c各自可具有分配给它们、并在内容存储116中与之相关联(例如通过图5的web服务502、内容开发者或其它实体自动关联)的相应类别标识符和/或主题标识符。替代地，类别标识符和/或主题标识符可在被传送至用户设备之后分配和关联至内容项，由此可由用户设备(例如，由图1的动作解释器108或其它实体)分配。
例如，页面118可具有储存在页面118的代码(例如，HTML代码、XML代码等等)的相关联的类别标识符和主题标识符。例如，类别标识符和主题标识符可被指示为标记，可被包括在标题信息中，或者可以其它方式被包括在页面118中。当在页面118中显示诸如所显示内容126的特定内容时，该特定内容可具有所分配的内容标识符，并且可采用页面118的类别和主题标识符。
在另一实施例中，特定内容可在服务器104(例如通过web服务502)或用户设备102(例如，通过动作解释器108)处分析以确定该内容所属的类别和主题，且由此选择该内容的相应类别标识符和主题标识符。例如，在一示例中，所显示内容126可包括文本，诸如一个或多个字、句子或段落。可使用相关领域技术人员已知的一种或多种关键词解析技术针对一个或多个关键词来解析该文本。关键词可被应用于将类别列于一轴而将关键词列于另一轴的第一表格。通过对第一表格的分析确定的包括在经解析文本中找到的大多数关键词的列(或行)的类别可被选择为所显示内容126的类别。由此，所选择类别的类别标识符可与所显示内容126相关联。类似地，使用将主题列于一轴而将关键词列于另一轴的第二表格可被用来确定所显示内容126的主题，由此确定其主题标识符。在其它实施例中，不同于表格的其它类型的数据结构可被用来确定内容的类别和主题标识符，诸如数组、数据图等。
在另一示例中，所显示内容126可包括一个或多个图像(例如，包括作为图像流的视频)。以与如上所述相似的方式，可针对关键词和/或物体(例如，人、树、衣服、汽车、消费产品、奢侈品物件等)分析图像，并且可将所确定的关键词和/或物体与一个或多个数据结构比较以确定所显示内容126的类别和主题标识符。
这种确定可在用户设备102和/或服务器104处执行。所确定的类别标识符和主题标识符可被储存在内容项的元数据中，或者可以其它方式与内容项相关联。
再参看图6，在流程图600的步骤604中，要在用户设备处显示的下一内容基于标识出的所显示内容和用户偏好指示来确定。参看图5，在一实施例中，判定逻辑508可被配置成基于标识出的所显示内容和用户偏好指示来确定要在用户设备上显示的下一内容。
例如，如图5所示，判定逻辑508从web服务502处接收用户数据包510。用户数据包510指示对其提供反馈的内容(例如，图1的所显示内容126)，并指示该反馈。在一实施例中，用户数据包510可包括所显示内容126的类别标识符、主题标识符以及项目标识符作为标识信息。此外，用户数据包510可包括通过用户与所显示内容126的交互提供的“否”、“更多”或“深度”或其它适当反馈的指示。判定逻辑508可基于标识符和反馈确定要显示的下一内容，该下一内容可从内容存储116中检索。如图5所示，判定逻辑508产生指示所确定的下一内容的所选内容指示512。
例如，如果接收到“否”的指示，则判定逻辑508可选择与所显示内容126无关的新内容来显示。例如，判定逻辑508可从与所显示内容126不同的类别中选择新内容。如果接收到“更多”的指示，则判定逻辑508可选择与所显示内容126相关的新内容来显示。判定逻辑508可从与所显示内容126类别相同、但与所显示内容126主题相同或不同的内容中选择新内容。如果接收到“深度”的指示，则判定逻辑508可选择与所显示内容126紧密相关的新内容来显示。例如，判定逻辑508可从与所显示内容126类别相同且主题相同的内容中选择新内容。
再参看图6，在步骤606，下一内容被提供给用户设备。例如，如图5中示例所示，web服务502从判定逻辑518处接收所选择的内容指示512。web服务502被配置成从内容存储116检索所选择的内容指示512中指示的下一内容。web服务502可发出标识下一内容的内容检索请求514。内容存储116接收内容检索请求514，并且作为对其响应，访问存储中的下一内容，并向web服务502提供下一内容作为所选内容516。web服务502可传送来自服务器500的所选择的下一内容信号122，该信号122包括响应于内容反馈信号120选择的下一内容。如上所述，用户设备(例如，图1的用户设备102)接收所选择的下一内容信号122并将其中所包含的下一内容显示给用户。
在各个实施例中，判定逻辑508可以各种方式操作以执行流程图600中的步骤604(图6)。在一示例实施例中，判定逻辑508可根据图7-9操作，图7-9示出用于基于接收到的内容标识符和用户反馈来选择下一内容的流程图。图7-9描述如下。
例如，图7示出根据一实施例的在服务器处提供其中基于用户指示不偏好所显示内容来检索新内容的过程的流程图700。例如，用户数据包510可包括指示用户不偏好所显示内容126(例如，反馈为“否”)的用户偏好指示。在这一情形中，在流程图700的步骤702中，当用户偏好指示指示用户不偏好所显示内容时选择第二类别标识符、第二主题标识符、以及第二项目标识符。在一示例中，用户数据包510中接收到的类别、主题和项目标识符可被表示为(其中“n”是索引)：
CID(n)＝当前类别标识符
TID(n)＝当前主题标识符
IID(n)＝当前项目标识符
如果用户偏好指示指示用户不偏好所显示内容126，则每个标识符可被重新计算为下一值，表示如下：
CID(n+1)＝Next(CID(n))
TID(n+1)＝Next(TID(n))
IID(n+1)＝Next((IID(n))
其中：
Next()＝由判定逻辑508实现的选择下一内容的判定算法
以此方式，下一内容可按照类别、主题和项目标识符的新值来标识。
在步骤704，下一内容根据第二类别标识符、第二主题标识符以及第二项目标识符来检索。从步骤702继续该示例，在一实施例中，判定逻辑508可在所选择的内容指示512中向web服务502提供新的类别、主题和项目标识符，并且web服务502可从内容存储116中检索由新的类别、主题和项目标识符标识出的下一内容项。
图8示出根据一示例实施例的在服务器处提供基于希望显示的内容的相似内容的用户指示来检索新内容的过程的流程图。例如，用户数据包510可包括指示用户的确偏好所显示内容126并且想要相似内容(例如，反馈为“更多”)的用户偏好指示。在此情形中，在流程图800的步骤802中，当用户偏好指示指示用户偏好所显示内容且需要显示具有与所显示内容相同类别的附加内容时，选择第二主题标识符和第二项目标识符。在此示例中，主题和项目标识符可被重新计算为下一值，而类别标识符不变，表示如下：
CID(n+1)＝CID(n)
TID(n+1)＝Next(TID(n))
IID(n+1)＝Next((IID(n))
以此方式，下一内容可按照主题和项目标识符的新值以及相同的不变的类别标识符来标识。
在步骤804，下一内容根据第一类别标识符、第二主题标识符以及第二项目标识符来检索。从步骤802继续该示例，在一实施例中，判定逻辑508可在所选择的内容指示512中向web服务502提供不变的类别标识符、以及新的主题和项目标识符，并且web服务502可从内容存储116中检索由这些标识符标识出的下一内容项。
图9示出根据一示例实施例的在服务器处提供基于希望对显示的内容提供附加信息的内容的用户指示来检索新内容的过程的流程图。例如，用户数据包510可包括指示用户的确偏好所显示内容126并且想要对所显示内容有更多描述的内容(例如，反馈为“深度”)的用户偏好指示。在此情形中，在流程图900的步骤902中，当用户偏好指示指示用户偏好所显示内容且需要显示提供关于所显示内容的附加信息的附加内容时，选择第二项目标识符。在此示例中，项目标识符的索引可被重新计算为下一值，而类别和主题标识符不变，表示如下：
CID(n+1)＝CID(n)
TID(n+1)＝TID(n)
IID(n+1)＝Next((IID(n))
以此方式，下一内容可按照项目标识符的新值以及相同的不变类别和主题标识符来标识。
在步骤904，下一内容根据第一类别标识符、第二主题标识符以及第二项目标识符来检索。从步骤902继续该示例，在一实施例中，判定逻辑508可在所选择的内容指示512中向web服务502提供不变的类别和主题标识符、以及新的项目标识符，并且web服务502可从内容存储116中检索由这些标识符标识出的下一内容项。
注意，在一实施例中，可执行机器学习和/或其它学习技术以改进判定逻辑508作出的判定。例如，如图5所示，机器学习逻辑506可接收用户数据包510。机器学习逻辑506可使用用户数据包510的内容改进判定逻辑506使用的判定算法以选择下一内容。例如，机器学习逻辑506可使用机器学习来将判定算法逐步调节成更为精确。
机器学习逻辑506可根据图10操作。图10示出根据示例实施例的提供用于执行针对用户对所显示内容提供的反馈执行机器学习的过程的步骤1002。在步骤1002，对用户数据包和用户偏好指示执行机器学习以调节用来执行步骤604的判定算法。
如图5所示，机器学习逻辑506可输出判定逻辑508所接收的经修改的判定算法518。经修改的判定算法518可被用来执行将来对下一内容的确定。
B.示例内容反馈界面实施例
如上所述，使得用户能够对所显示内容直接提供反馈以使附加内容被选择和显示。用于对所显示内容提供反馈以使附加内容被选择和显示的示例技术如下所述。例如，图11-24示出根据各个实施例的所显示内容、用于提供反馈的用户与所显示内容的交互、以及基于反馈选择的新的显示内容的示例。图11-24是出于示例性目的示出的，并且并非是旨在限制性的。可显示内容，并且可由用户以任何适当的方式对该内容提供反馈，如相关技术人员根据本文中示教显而易见的。图11-24描述如下。
在一示例集中，图11-17各自示出页面1100，其中平板式计算机的图像1102在左侧示出，而文本的第一和第二段落1104和1106在右侧示出。在图11中，用户与界面设备(例如，触摸面板、鼠标等)交互以将指针移到第二段落1106中的文本/关键字“Surface Pro”上来和键盘交互。例如，用户可使用界面设备执行点击以使弹出菜单1108相关于关键字呈现在页面1100上。弹出菜单1108与图4的GUI元素400相似，并且使用户能相关于关键字“Surface Pro”指示其“否”、“更多”或“深度”之一的反馈。例如，如图11所示，如果用户选择(例如点击、悬停、或以其它方式交互)弹出菜单1108中“否”的选项，指示其不偏好“Surface Pro”的内容，则可呈现第二弹出菜单1100(或其它UI元素)，该第二弹出菜单1100使得用户能够选择“Surface Pro”的替代内容以供显示。在此示例中，“Surface Pro”可被归类到计算机类别以及平板计算机的子类/主题下。由此，判定逻辑508(图5)可选择在计算机类别下但与不同于平板机的其它主题相关的关键字以供显示。在图11的示例中，判定逻辑508可选择诸如“膝上型计算机”、“超极本”、“台式计算机”等的关键字以供显示，这些关键字可各自由用户选择以使附加内容显示。
在图12中，作为对选择“否”的替代，用户可在弹出菜单1108中选择“更多”的选项，指示其的确偏好内容“Surface Pro”，并且想要看到相似的关键字。这样，可呈现第三弹出菜单1202，其使得用户能够选择“Surface Pro”的相关内容以供显示。在此示例中，判定逻辑508可选择在计算机类别下且包括在平板计算机主题中的关键字以供显示。例如，判定逻辑508可选择诸如“安卓平板机”、“三星平板机”等的关键字以供显示，这些关键字可各自由用户选择以使附加内容显示。
在图13中，用户可改为在弹出菜单1108中选择“深度”的选项，指示其的确偏好内容“Surface Pro”，并且想要看到关于“Surface Pro”有更多描述的关键字。这样，可呈现第四弹出菜单1302，其使得用户能够选择对“Surface Pro”有更多描述的内容以供显示。在此示例中，判定逻辑508可选择在计算机类别、平板计算机主题以及对“Surface Pro”有更多描述下的关键字以供显示。例如，判定逻辑508可选择诸如“Surface Pro价格”、“Surface Pro传闻”等的关键字以供显示，这些关键字可各自由用户选择以使附加内容显示。
在图14-16的示例中，用户与图像1102交互以通过将指针移到图像1102上来提供反馈。例如，用户可使用界面设备执行点击以使弹出菜单1108相关于图像1102呈现在页面1100上。在图14中，用户选择弹出菜单1108中的“否”选项，指示其不偏好图像1102的内容。这样，可呈现第二弹出菜单1110，其使得用户能够选择图像1102的替代内容以供显示。在此示例中，图像1102示出Surface ProTM计算设备，并且由此图像1102可被归类在计算机类别和平板计算机的子类/主题下。由此，判定逻辑508(图5)可选择在弹出菜单1110中列出的在计算机类别下但与不同于平板机的其它主题相关的其它计算机。在图14的示例中，判定逻辑508可选择诸如“膝上型计算机”、“超极本”、“台式计算机”等以供显示，这些关键字可各自由用户选择以使附加内容显示。
在图15中，用户可改为在弹出菜单1108中选择“更多”的选项，指示其的确偏好图像1102并且想要看到相似内容。这样，可呈现第三弹出菜单1202，其使得用户能够选择图像1102的相关内容以供显示。在此示例中，判定逻辑508可选择在计算机类别下且包括在平板计算机主题中的图像或其它内容以供显示。例如，判定逻辑508可列出诸如“安卓平板机”、“三星平板机”等内容的名称以供显示，这些名称可各自由用户选择以使附加内容显示。
在图16中，用户可改为在弹出菜单1108中选择“深度”的选项，指示其的确偏好图像1102并且想要看到关于图像1102的更多描述性内容。这样，可呈现第四弹出菜单1302，其使得用户能够选择对图像1102有更多描述的内容以供显示。在此示例中，判定逻辑508可选择在计算机类别、平板计算机主题以及对图像1102有更多描述下的图像或其它内容以供显示。例如，判定逻辑508可选择具有诸如“Surface Pro价格”、“Surface Pro传闻”等名称的内容以供显示，这些名称可各自由用户选择以使附加内容显示。
在图17中，用户与第一段落1104交互以通过将指针移到第一段落1104上来提供反馈。用户可使用界面设备执行点击以使弹出菜单1108相关于第一段落1104呈现在页面1100上。在图14中，用户在弹出菜单1108中选择“深度”的选项，指示其的确偏好第一段落1104并且想要看到关于第一段落1104的更多描述性内容。这样，可呈现第五弹出菜单1702，其使得用户能够选择对第一段落1104有更多描述的内容以供显示。在此示例中，web服务502、判定逻辑508、动作解释器108或其它实体可分析第一段落1104的文本(诸如通过如上所述地解析文本)来确定第一段落1104的类别和主题。例如，计算机可被确定为第一段落1104的类别，且SurfaceTM可被确定为第一段落1104的主题。这样，判定逻辑508可选择在计算机类别、SurfaceTM主题以及对第一段落1104有更多描述下的图像或其它内容以供显示。例如，判定逻辑508可选择具有诸如“Microsoft Surface微博”、“Apple MicrosoftSurface”等名称的内容以供显示，这些名称可各自由用户选择以使附加内容显示。
以与以上所述相似的方式，可在图17中的弹出菜单1108中选择“否”和“更多”选项以使附加内容被选择以供显示。
在另一示例集中，图18-24各自示出其中呈现包括文本和图像的各种形式内容的页面1800。第一图像1802在页面1800的左上角呈现，其示出鲨鱼的图片并包括“Surprise！Why you shouldn’t pose for a selfie with a‘dead’shark(惊愕！你为什么不该与‘死’鲨鱼在一起自拍)”的文本注释。图18-24示出与图像1802交互以提供反馈的示例，以及基于该反馈选择的下一内容的示例。图18-22涉及用于提供反馈的非触摸实施例，图23和24涉及用于提供反馈的触摸实施例。
在图18中，用户与界面设备(例如触摸板、鼠标等)交互以在图像1802上移动指针，从而对图像1802提供反馈。例如，用户可使用界面设备执行点击以使弹出菜单1804相关于图像1802呈现在页面1800上。弹出菜单1804与图4的GUI元素400相似，并且使用户能相关于图像1802指示其“否”、“更多”或“深度”之一的反馈。例如，如图18所示，如果用户在弹出菜单1804中选择“否”的选项，指示其不偏好图像1802的内容，则可自动选择图像1802的替换内容并替代图像1802显示。在此示例中，图像1802可被归类到新闻类别、海洋生活子类/主题下。由此，判定逻辑508(图5)可选择在新闻类别下但与不同于海洋生活的其它主题相关的内容以供显示。例如，图19示出其中图像1902替代图像1802显示的页面1800。图像1902在页面1800中显示在与图像1802相同的位置，且具有与图像1802相同的大小。然而，图像1902被归类到新闻类别和国际主题(显示西班牙国王)下，由此相关于与图像1802不同的主题。
替代地，在图18中，用户可在弹出菜单1802中选择“更多”的选项，指示其的确偏好图像1802并且想要看到相似内容。这样，与图像1802相似的内容可被自动选择并替代1802显示。由此，判定逻辑508(图5)可选择归类在新闻类别和海洋生活主题下的内容以供显示。例如，图20示出其中图像2002替代图像1802显示的页面2000。图像2002在页面1800中显示在与图像1802相同的位置，且具有与图像1802相同的大小。图像2002被归类在新闻类别和海洋生活(示出了旗鱼)下，由此相关于与图像1802相同的主题。
在另一情形中，用户可在弹出菜单1802中选择“深度”的选项，指示其的确偏好图像1802并且想要看到更多描述性内容。这样，对图像1802有更多描述的内容可被自动选择并替代1802显示。由此，判定逻辑508(图5)可选择归类在新闻类别和海洋生活主题下，并对图像1802的内容有描述的内容以供显示(例如鲨鱼)。例如，图21示出其中图像2102替代图像1802显示的页面2100。图像2102在页面1800中显示在与图像1802相同的位置，且具有与图像1802相同的大小。图像2102归类在新闻类别和海洋生活主题(示出鲨鱼)下，由此示出对图像1802的内容有描述的内容。
注意，在替代实施例中，所选内容不替代所显示内容显示，而是可显示在另一位置，包括与所显示内容的页面不同的页面。例如，当用户选择图18中弹出菜单1804中“深度”选项时，可显示图22中示出的新页面2200，其示出归类在新闻类别和海洋生活主题下且对图像1802的内容有描述的所选内容。页面2200示出与摆好姿势和鲨鱼合影的人相关的图像和文本，且由此示出对图像1802的内容有描述的内容。
此外，注意，可使用触摸、动作感测、语音识别或其它反馈界面技术来执行有或无弹出菜单1804情况下与图像1802的交互。例如，图23示出用户在页面1800中图像1802的一位置处触摸显示屏以提供对图像1802的反馈，如图23中的透明手部所示。用户可根据任何模式以任何方式触摸屏幕以传递相关于图像1802对“否”、“更多”或“深度”的选择。例如，用户可触摸页面1800中图像1802的上部以指示“否”，可触摸页面1800中图像1802的左侧部分以指示“更多”，或者可触摸页面1800中图像1802的中部以指示“深度”。在触摸实施例中，可使用包括手指触摸/点击、手指拖曳/滑扫、双击或附加点击等的任意触摸组合来指示用户的选择。
例如，图24示出在页面1800上手指在内容1802上向下拖曳以指示“否”的示例。类似地，手指在内容1802上的右拉可指示“更多”，而对内容1802的点击可指示“深度”。
由此，可以各种方式并且使用反馈技术的任意组合，包括触摸、非触摸、姿势的运动感测、语音等的组合，来提供用户对内容的反馈。
在非触摸示例中，“否”和“更多”可通过在指针悬停在内容上时显示可点击按钮来表示，并且“深度”可通过对内容的鼠标点击来表示。
在触摸示例中，“否”可通过上/下滑扫表示，“更多”可通过左/右滑扫表示，而“深度”可通过点击内容来表示。
在运动示例(例如使用KinectTM设备)中，“否”可通过上/下挥手表示，“更多”可通过左/右挥手表示，而“深度”可通过握拳表示。
在姿势示例(例如使用KinectTM设备)中，“否”可通过用户摇头表示，“更多”可通过用户点头表示，而“深度”可通过用户微笑表示。
在语音示例中，“否”可通过用户说“否”表示，“更多”可通过用户说“更多”表示，而“深度”可通过用户说“深度”来表示。
在组合交互示例中，“否”可通过用户摇头(姿势)表示，“更多”可通过用户说“更多”(语音)表示，而“深度”可通过用户点击所显示内容(触摸)来表示。
注意，这些示例出于说明的目的而提供，并不旨在限制。对相关领域技术人员基于本文中示教显而易见的是，可使用任何提供反馈的方式及其组合。
C.用于提供的可扩展用户界面的示例实施例
反馈
如上所述，用户设备102可使用户能够与内容交互从而以各种方式提供反馈。例如，用户可能能够以非触摸方式、通过触摸、通过运动、通过姿势、通过语音等来提供反馈。在一实施例中，用户设备102可被配置成可扩展以使用于对内容提供反馈的不同技术可被添加或者从用户设备102处移除。用于提供反馈的不同技术可单独地或一起使用。这样，用户设备102的用户可选择最为舒适的方式以供用户与用户设备102交互。用户所提供的反馈的指示可被传送给内容提供者以使新内容被传送给用户设备102以供显示。
用户设备102可以各种方式配置成是可扩展的。例如，图25示出根据各个实施例的可扩展以实现与内容交互以提供反馈的多种方式的用户设备2500的框图。用户设备2500是图1示出的用户设备102的示例。如图25所示，用户设备2500包括网络接口106、一个或多个输入设备2502、以及可扩展的用户界面(UI)模块2504。输入设备2502包括显示屏110、输入硬件2506以及输入硬件的可任选其它实例。可扩展UI模块2504是图1的动作解释器108的示例。如图25所示，可扩展UI模块2504包括第一交互模块(IM)2508、第二IM 2510、可任选的一个或多个其它IM、以及IM管理器2512。下面描述了用户设备2500。
与以上参照用户设备102(图1)提供的描述相似地，用户设备2500的用户可与用户设备2500的用户界面交互以浏览内容并使内容通过显示屏110显示。例如，内容可被诸如web浏览器所渲染的网页的页面118中所包含的显示屏110显示，或者内容可被另一应用以其它形式显示。如图25所示，显示屏110可显示所显示内容126和其它内容128。
用户可与输入设备2502中所包括的一个或多个输入接***互以提供反馈。例如，取决于用户设备2500中存在的硬件，用户可以触摸或非触摸方式与显示屏110交互、可提供运动和/或姿势、可提供语音、和/或可以另一方式与用户设备2500交互。显示屏110是可能存在的硬件的一个示例，其可以触摸方式与用户交互。输入硬件2506是存在的硬件的另一示例，并且可能存在输入硬件的一个或多个其它实例。这种输入硬件的实例包括用来与显示屏110所显示的图形用户界面(GUI)、键盘、运动传感器、姿势传感器、用于语音输入的话筒等交互。
可扩展UI模块2504被配置成提供一种或多种形式的输入硬件和服务器(例如图1的服务器104)之间的接口以将用户交互转换成可由服务器处理的反馈。例如，IM模块2508和2510各自可被配置为***模块，这些***模块可被包括在可扩展UI模块2504中以使用户能够通过输入设备2502中的相应输入设备提供反馈。例如，如果需要使用户能够使用触摸提供对所显示内容的反馈，则交互模块2508可被***可扩展UI模块2504以使得触摸反馈能够在显示屏110与内容提供者之间通过接口传送。在另一示例中，如果需要使用户能够通过语音提供对所显示内容的反馈，则交互模块2510可被***可扩展UI模块2504以使得语音反馈能够在输入设备2502的话筒与内容提供者之间通过接口传送。交互模块2508可将从输入设备2502的硬件接收的反馈转换成通用格式，并且可将经转换的反馈提供给IM管理器2512。IM管理器2512可生成消息来通过网络接口106传送至服务器(例如图1的服务器104)(例如，作为图1的内容反馈信号120)。作为响应，内容提供者可提供下一内容以供用户设备2500在显示屏110中显示。下一内容可任选地替代所显示内容126在页面118中显示。
IM管理器2512可以各种方式配置以执行其功能，并且可以各种方式执行其功能。例如，图26示出根据一示例实施例的提供在用户设备上用于提供可扩展界面以供接收对所显示内容的反馈的过程的流程图2600。在一实施例中，流程图2600可由图25的IM管理器2512来执行。为了说明的目的，流程图2600相关于图27来描述。图27示出根据示例实施例的IM管理器2512的框图。如图27所示，IM管理器2512包括IM接口2702、注册接口2704、以及消息收发模块2706。流程图2700和IM管理器2512描述如下。注意，在所有实施例中并非都需要执行流程图2700中的所有步骤，并且流程图2700中的步骤可以与图26所示不同的替代次序执行。基于以下描述，其他结构及操作的实施例对于相关领域的技术人员将是显而易见的。
流程图2600开始于步骤2602。在步骤2602，提供了接口使得多个交互模块能够与交互模块管理器耦合。例如，在一实施例中，IM接口2702可作为交互模块耦合至(即“***”至)IM管理器2512的接口来提供。IM接口2702可被配置成与任何数量的一个或多个交互模块(包括图25的交互模块2508和交互模块2510)、以及任何数量的附加交互模块耦合。每一交互模块被配置成使得反馈能够由相应的输入设备/硬件提供。相应地，IM接口2702使得图25的可扩展UI模块2504可扩展至任何数量的内容交互/反馈机制。
在各个实施例中，特定交互模块可以各种方式与IM接口2702通过接口相连。例如，在一示例中，用户界面可由图25的用户设备2500(例如通过显示屏110)显示，用户可与之交互以选择要安装的特定交互模块(例如，根据所附连的存储设备、经由网络等等)，包括通过IM接口2702***IM管理器2512。在另一实施例中，当特定输入设备/硬件耦合至用户设备2500(例如，添加话筒、安装运动感测功能等等)时，相应的交互模块可被自动安装，由此通过IM接口2702***可扩展UI模块2504，而用户无需特别配置交互模块的安装。在其它实施例中，交互模块可以其它方式被耦合至IM接口。在一实施例中，可扩展UI模块2504可包括下载模块，该下载模块使得交互模块能够经由通信链路或网络下载并安装在用户设备2500上以实现附加内容交互技术。
再参看图26，在步骤2604，使得每个交互模块能够向交互模块管理器注册。在一实施例中，图27的注册接口2704可被配置成使交互模块能够向IM管理器2704注册。例如，特定交互模块的标识符、连同特定交互模块与之通过接口连接以接收反馈的一个或多个输入设备的指示可由注册模块2704记录在数据结构中(储存在存储中)。如相关领域技术人员根据本文中示教显而易见的，IM标识符和输入设备可一起储存在数据结构(例如文件、数据库、阵列等)中作为键和值对，或者以任何其它方式储存。
此外，可任选地，可周期性地请求每个相耦合的交互模块提供相应输入设备/硬件的健康状态。例如，注册模块2704可向诸如图25所示的交互模块2508的交互模块提供硬件健康状态请求。这样的请求可在任何时间(诸如每当IM管理器2512被初始化时)、根据有规律时间表、和/或在任何其它时间或频率提供。包括交互模块2508的所有交互模块可使用由IM管理器2512实现的通用健康检查接口，由此可以关于健康状态检查的通用格式与注册模块2508通信。响应于该请求，交互模块2508可确定其相关联输入硬件(诸如显示屏110或输入硬件2506)的健康。例如，交互模块2508可向其相关联输入硬件传送健康请求信号，可针对适当功能监视其相关联输入硬件的输出信号，和/或可以另一方式确定其相关联输入硬件的健康。基于对其相关联输入硬件的健康的确定(例如，从输入硬件接收健康指示信号、对照适当健康指示符匹配所监视的输出信号等等)，交互模块2508可向注册模块2704提供输入硬件的健康状态指示。
结果，对于对其输入硬件提供健康的健康状态(例如指示该输入硬件可操作)的所有相耦合交互模块，注册模块2704可使那些交互模块能够接受用户与健康的输入硬件的交互以及来自健康的输入硬件的用户反馈。否则，对于对其输入硬件提供不健康的健康状态(例如，该输入硬件不可操作，或者没有在期望容差内工作)的所有相耦合交互模块，注册模块2704可禁止那些交互模块接受用户与不健康的输入硬件的交互以及来自不健康的输入硬件的反馈。
再参看图26，在步骤2606，针对每个用户反馈指示生成用户数据包以便于传送至服务器。在一实施例中，消息收发模块2706(图27)可被配置成针对从交互模块接收的每个用户反馈指示生成用户数据包。例如，消息收发模块2706可生成包括在内容反馈信号120(图1)中的用户数据包。如以上进一步所述地，用户数据包可标识所显示内容126并指示用户提供的对所显示内容126的反馈。在各个实施例中，消息收发模块2706可被配置成在经由IM接口2702耦合至IM管理器2512的所有交互模块提供对内容的反馈时针对这些交互模块生成用户数据包。以此方式，消息收发模块2706可存在并且能够生成被“***”的任何数量的交互模块的用户数据包。
相应地，通过与IM管理器2512耦合，交互模块可提供输入设备与内容提供者之间的接口以提供用户对所显示内容的反馈。这种交互模块可以各种方式操作。例如，图28示出根据一示例实施例的提供在交互模块中用于接收对所显示内容的反馈的过程的流程图2800。在各个实施例中，图25的交互模块2508和2510以及存在的任何其它交互模块各自可根据流程图2800操作。流程图2800描述如下。
流程图2800开始于步骤2802。在步骤2802，启用相应的内容交互技术。例如，图25的交互模块2508和2510以及存在的任何其它交互模块各自可通过被配置成与根据特定交互技术实现用户交互的输入硬件通信来启用相应的交互技术。
在步骤2804，从相应硬件接收交互信号。在各个实施例中，图25的交互模块2508和2510以及存在的任何其它交互模块各自可被配置成接收指示与其相应输入硬件的交互的信号。例如，出于说明目的参照交互模块2508，交互模块2508可以是与显示屏110通信的触摸交互模块。交互模块2508可从显示屏110接收指示应用于显示屏110的触摸模式的交互信号。
在步骤2806，交互信号被转换成用户反馈指示。在各个实施例中，图25的交互模块2508和2510以及存在的任何其它交互模块各自可被配置成将接收自其相应输入硬件的信号转换成用户反馈指示。例如，继续当前示例，交互模块2508可将接收自显示屏110的指示触摸模式的交互信号转换成“否”、“更多”或“深度”的用户反馈指示之一。
在步骤2808，用户反馈指示根据通用消息格式通过交互模块接口被提供给交互模块管理器。在各个实施例中，图25的交互模块2508和2510以及存在的任何其它交互模块各自可被配置成将接收到的交互信号的转换传送至IM管理器2512。交互模块都可被配置成以跨这些交互模块的通用格式向IM管理器2512的IM接口2702(图27)提供其经转换的用户反馈指示，该通用格式使得交互模块能够更容易地***。例如，继续当前示例，交互模块2508可以预定数据值或代码的通用格式(例如，“0”＝“否”、“1”＝“更多”、“2”＝“深度”)或以IM管理器2512识别的另一通用格式向IM管理器2512提供“否”、“更多”或“深度”的用户反馈指示。作为响应，IM管理器2512可向服务器(例如经由图27的消息收发模块2706)传送用户反馈指示，以使内容提供者可提供下一内容以供显示。
相应地，各个实施例提供可扩展界面以供用户与所显示内容交互来提供反馈。用户可通过用可用输入硬件设备的动作之一或组合来表达其偏好。一个或多个相应的交互模块从输入硬件设备接收交互信号，并将这些信号转换成用户偏好信息。任何数量类型的交互模块可存在，包括不可触摸的、可触摸的、姿势感测、运动感测、语音等等。可添加(***)或去除(解耦或拔出)交互模块以实现或禁止相应输入硬件设备的使用。IM管理器可存在以收集由交互模块接收的用户偏好数据，并且向服务器侧发送消息以查询接着要显示的内容。服务器返回下一内容，并且新内容在用户设备的显示屏上显示。
图29示出根据示例实施例的配置成实现与内容交互以提供反馈的多种方式的用户设备2900的框图。图29作为图25的用户设备2500的示例提供，并且并非旨在限制。在各个实施例中，用户设备可包括用于提供对内容的反馈的输入设备和接口模块的任何数量和组合。如图29所示，用户设备2900包括网络接口106、输入设备2502、以及可扩展的用户界面(UI)模块2504。输入设备2502包括显示屏110、非触摸输入接口2902、姿势传感器2904、运动传感器2906以及话筒2908。可扩展UI模块2504包括触摸IM 2910、非触摸IM 2912、姿势IM 2914、运动IM 2916、语音IM 2918以及IM管理器2512。下面描述了用户设备2900。
与以上参照用户设备2500(图25)提供的描述相似地，用户设备2900的用户可与用户设备2900的用户界面交互以浏览内容并使内容通过显示屏110显示。例如，内容可被诸如web浏览器所渲染的网页的页面118中所包含的显示屏110显示，或者内容可被另一应用以其它形式显示。如图29所示，显示屏110可显示所显示内容126和其它内容128。
为了提供对内容的反馈，用户可与显示屏110、非触摸输入接口2902、姿势传感器2904、运动传感器2906以及话筒2908的一个或多个交互。为了说明目的，图29的输入设备参照图30描述。图30示出根据一示例实施例的提供用于实现对所显示内容的反馈的过程的流程图3000。注意，在所有实施例中并非都需要执行流程图3000的所有步骤，并且流程图3000中被执行的步骤取决于所存在和***的输入设备和交互模块。基于以下描述，其他结构及操作的实施例对于相关领域的技术人员将是显而易见的。
流程图3000开始于步骤3002。在步骤3002，显示图形用户界面元素，其包括可与之交互以指示第一偏好的第一选项，可与之交互以指示第二偏好的第二选项，以及可与之交互以指示第三偏好的第三选项。在一实施例中，显示屏110可以诸如图形用户界面的形式(诸如图4的GUI元素400)显示反馈界面130，用户可与之交互以如上所述地提供反馈。例如，在一实施例中，非触摸输入接口2902可存在以使用户能够选择一选项以对所显示内容提供反馈。例如，非触摸输入接口2902可包括鼠标指针、操纵杆或用于选择(例如通过移动指针和进行“点击”等)GUI显示的选项(包括诸如“否”、“更多”或“深度”的选项)的其它非触屏机制。
如图29所示，非触摸输入接口2902生成非触摸交互信号2922，其包括以与非触摸输入接口2902交互的形式(例如，指针运动模式、鼠标点击等等)提供的反馈。非触摸IM 2912可任选地***IM管理器2512以使得非触摸输入接口2902与IM管理器2512通过接口连接。根据流程图2800(图28)，非触摸IM 2912接收非触摸交互信号2922并将其转换成通用消息格式的用户反馈指示(例如“否”、“更多”或“深度”)。例如，非触摸IM 2912可包括用于非触摸输入接口2902的驱动器(例如，鼠标指针驱动器等)，其被配置成解释信号2922中指示的用户交互。非触摸IM 2912将用户交互转换成用户反馈指示，其作为用户反馈指示2932(以通用消息格式)被提供给IM管理器2512。
再参看图30，在步骤3004，使第一偏好能够被第一触摸模式指示，使第二偏好能够被第二触摸模式指示，以及使第三偏好能够被第三触摸模式指示。在一实施例中，显示屏110可包括用户可通过触摸与之交互的触摸接口形式的反馈接口130。可使得用户能够通过提供触摸模式(例如，由一个或多个手指提供)指示相关于所显示内容的偏好。通过使用相应的触摸模式，可使得用户能够选择可用选项的每一个，包括诸如“否”、“更多”或“深度”的选项。
如图29所示，显示屏110生成包括以与显示屏110交互的形式(例如触摸模式)提供的反馈的触摸交互信号2920。触摸IM 2910可任选地***IM管理器2512以使得显示屏110与IM管理器2512通过接口连接。根据流程图2800(图28)，触摸IM 2910接收触摸交互信号2920并将其转换成通用消息格式的用户反馈指示(例如“否”、“更多”或“深度”)。例如，触摸IM 2910可包括显示屏110的驱动器，其被配置成解释信号2920中所指示的触摸模式。触摸IM 2910将触摸模式转换成用户反馈指示，其作为用户反馈指示2930(以通用消息格式)被提供给IM管理器2512。
再参看图30，在步骤3006，使第一偏好能够被第一姿势指示，使第二偏好能够被第二姿势指示，以及使第三偏好能够被第三姿势指示。在一实施例中，姿势传感器2904可存在以使用户能够通过提供姿势(例如由一只或两只手、脸部等提供)指示相关于所显示内容的偏好。姿势传感器2904可与显示屏110分开或集成在显示屏110中。姿势传感器2904可包括一个或多个相机、热量传感器(例如IR传感器)、接线手套或用于捕捉用户作出的姿势的其它姿势感测机制，并且可使用姿势识别技术来解释该姿势。通过使用相应的姿势模式(例如，通过指点、在空中画形状、使用手语、提供脸部表情等)，可使用户能够选择可用选项之一，包括诸如“否”、“更多”或“深度”的选项。
如图29所示，姿势传感器2904生成包括以与姿势传感器2904交互的形式(例如姿势)提供的反馈的姿势交互信号2924。姿势IM 2914可任选地***IM管理器2512以使得姿势传感器2904与IM管理器2512通过接口连接。根据流程图2800(图28)，姿势IM 2914接收姿势交互信号2924并将其转换成通用消息格式的用户反馈指示(例如“否”、“更多”或“深度”)。例如，姿势IM 2914可包括姿势传感器2904的驱动器，其被配置成解释信号2924中所指示的姿势。姿势IM 2914将姿势转换成用户反馈指示，其作为用户反馈指示2934(以通用消息格式)被提供给IM管理器2512。
再参看图30，在步骤3008，使第一偏好能够被第一运动模式指示，使第二偏好能够被第二运动模式指示，以及使第三偏好能够被第三运动模式指示。在一实施例中，运动传感器2906可存在以使用户能够通过提供运动(例如移动诸如用户设备2900的物体)指示相关于所显示内容的偏好。运动传感器2906可包括一个或多个加速计、陀螺仪或其它运动感测机制来捕捉运动，并且可使用运动识别技术来解释该运动。通过使用相应的运动模式(例如，画圆、左右、上下或在另一方向或一系列方向上移动物体等)，可使用户能够选择可用选项中的每一个，包括诸如“否”、“更多”或“深度”的选项。
如图29所示，运动传感器2906生成包括以与运动传感器2906交互的形式(例如运动)提供的反馈的运动交互信号2926。运动IM 2916可任选地***IM管理器2512以使得运动传感器2906与IM管理器2512通过接口连接。根据流程图2800(图28)，运动IM 2916接收运动交互信号2926并将其转换成通用消息格式的用户反馈指示(例如“否”、“更多”或“深度”)。例如，运动IM 2916可包括运动传感器2906的驱动器，其被配置成解释信号2926中所指示的运动。运动IM 2916将运动转换成用户反馈指示，其作为用户反馈指示2936(以通用消息格式)被提供给IM管理器2512。
再参看图30，在步骤3010，使第一偏好能够被第一口述模式指示，使第二偏好能够被第二口述模式指示，以及使第三偏好能够被第三口述模式指示。在一实施例中，话筒2908可作为声音传感器存在以使用户能够通过说出一个或多个字(“口述模式”)来指示相关于所显示内容的偏好。话筒2908可包括用于捕捉语音的一个或多个话筒(例如，话筒阵列)。通过使用相应的口述模式(例如，词“否”、“更多”、“深度”等等)，可使得用户能够选择可用选项的每一个，包括诸如“否”、“更多”或“深度”的选项。
如图29所示，话筒2908生成包括以与话筒2908交互的形式(例如讲话)提供的反馈的语音交互信号2928。语音IM 2918可任选地***IM管理器2512以使得话筒2908与IM管理器2512通过接口连接。根据流程图2800(图28)，语音IM 2918接收语音交互信号2928并将其转换成(例如使用语音识别技术)通用消息格式的用户反馈指示(例如“否”、“更多”或“深度”)。例如，语音IM 2918可包括话筒2908的驱动器，其被配置成解释信号2928中所指示的语音。语音IM 2918将讲话转换成用户反馈指示，其作为用户反馈指示2938(以通用消息格式)被提供给IM管理器2512。
如以上参照流程图2600所述，IM管理器2512的注册接口2704可注册触摸IM 2910、非触摸IM 2912、姿势IM 2914、运动IM 2916、语音IM 2918和/或其它交互模块的一个或多个。经注册的接口模块可与IM接口2702耦合。通过IM接口2702，IM管理器2512被配置成接收由经注册的交互模块提供的所有反馈指示，诸如用户反馈指示2930、2932、2934、2936以及2938中的一个或多个。如上所述，IM管理器2512的消息收发模块2706被配置成向服务器(例如图1的服务器104)传送接收到的用户反馈指示，以使得下一内容被选择以供由用户设备2900显示。
III.示例用户设备和服务器实施例
用户设备102、服务器104、服务器500、动作解释器108、内容选择器114、web服务502、判定支持***504、机器学习逻辑506、判定逻辑508、用户设备2500、可扩展用户UI模块2504、交互模块2508、交互模块2510、交互模块管理器2512、交互模块接口2702、注册接口2704、消息收发模块2706、用户设备2900、触摸IM 2910、非触摸IM 2912、姿势IM 2914、运动IM 2916、语音IM 2918、流程图200、流程图300、流程图600、流程图700、流程图800、流程图900、步骤1002、流程图2600、流程图2800以及流程图3000可用硬件、或组合有软件和/或固件的硬件来实现。例如，用户设备102、服务器104、服务器500、动作解释器108、内容选择器114、web服务502、判定支持***504、机器学习逻辑506、判定逻辑508、用户设备2500、可扩展用户UI模块2504、交互模块2508、交互模块2510、交互模块管理器2512、交互模块接口2702、注册接口2704、消息收发模块2706、用户设备2900、触摸IM 2910、非触摸IM 2912、姿势IM 2914、运动IM 2916、语音IM 2918、流程图200、流程图300、流程图600、流程图700、流程图800、流程图900、步骤1002、流程图2600、流程图2800和/或流程图3000可被实现为计算机程序代码/指令，其被配置成在一个或多个处理器中执行且储存在计算机可读存储介质中。替代地，动作解释器108、内容选择器114、web服务502、判定支持***504、机器学习逻辑506、判定逻辑508、可扩展用户UI模块2504、交互模块2508、交互模块2510、交互模块管理器2512、交互模块接口2702、注册接口2704、消息收发模块2706、触摸IM 2910、非触摸IM 2912、姿势IM 2914、运动IM 2916、语音IM 2918、流程图200、流程图300、流程图600、流程图700、流程图800、流程图900、步骤1002、流程图2600、流程图2800和/或流程图3000可被实现为硬件逻辑/电路***。
例如，在一实现中，动作解释器108、可扩展用户UI模块2504、交互模块2508、交互模块2510、交互模块管理器2512、交互模块接口2702、注册接口2704、消息收发模块2706、用户设备2900、触摸IM 2910、非触摸IM 2912、姿势IM 2914、运动IM 2916、语音IM 2918、流程图200、流程图300、流程图2600、流程图2800和/或流程图3000的一个或多个可在片上***(SoC)中一起实现。相似地，内容选择器114、web服务502、判定支持***504、机器学习逻辑506、判定逻辑508、流程图600、流程图700、流程图800、流程图900和/或步骤1002可在SoC中一起实现。SoC可包括集成电路芯片，该集成电路芯片包括以下一个或多个：处理器(如中央处理单元(CPU)、微控制器、微处理器、数字信号处理器(DSP)等等)、存储器、一个或多个通信接口、和/或用于执行其功能的更多的电路和可任选的嵌入的固件。
图31示出了示例性移动设备3100的框图，该移动设备3100包括概括地示为组件3102的各种任选硬件和软件组件。例如，移动设备3100的组件3102是可被包括在移动设备实施例中的用户设备102(图1)、用户设备2500(图25)以及用户设备2900(图29)内的组件的示例，但是为便于说明在相应附图中并未示出。组件3102的特征/要素的任何数量和组合以及附加和/或替代特征/要素可被包括在移动设备实施例中，如相关领域技术人员所知的。注意，组件3102中的任一组件可与组件3102中的任何其他组件通信，尽管为了便于说明并未示出所有连接。移动设备3100可以是本文中其它地方所述或提及的、或者以其它方式已知的各种移动设备(例如，蜂窝电话、智能电话、手持式计算机、个人数字助理(PDA)等)中的任一种，并且可允许经由诸如蜂窝或卫星网络等一个或多个通信网络3104或通过局域网或广域网进行与一个或多个移动设备的无线双向通信。
所示移动设备3100可包括用于执行如信号编码、数据处理、输入/输出处理、电源控制和/或其他功能等任务的控制器或处理器3110(例如，信号处理器、微处理器、ASIC、或其他控制和处理逻辑电路)。操作***3112可控制对组件3102的分配和使用，并支持一个或多个应用程序3114(也称为应用、“app”等)。应用程序3114可包括公共移动计算应用程序(例如，电子邮件应用程序、日历、联系人管理器、web浏览器、消息收发应用程序)、或任何其他计算应用(例如字处理应用、地图应用、媒体播放器应用)。
如所示地，移动设备3100可包括存储器3120。存储器3120可包括不可移动存储器3122和/或可移动存储器3124。不可移动存储器3122可包括RAM、ROM、闪存、硬盘、或其他众所周知的存储器存储技术。可移动存储器3124可包括闪存或在GSM通信***中公知的订户身份模块(SIM)卡，或者诸如“智能卡”的其他公知存储器存储技术。存储器3120可用于存储数据和/或用于运行操作***3112和应用3114的代码。示例数据可包括经由一个或多个有线或无线网络发送给和/或接收自一个或多个网络服务器或其他设备的网页、文本、图像、声音文件、视频数据、或其他数据集。存储器3120可用于存储诸如国际移动订户身份(IMSI)等订户标识符，以及诸如国际移动设备标识符(IMEI)等设备标识符。可将此类标识符传送给网络服务器以标识用户和设备。
多个程序模块可被储存在存储器3120中。这些程序包括操作***3112、一个或多个应用程序3114、以及其他程序模块和程序数据。这种应用程序或程序模块的示例可包括例如用于实现用户设备102、动作解释器108、用户设备2500、可扩展用户UI模块2504、交互模块2508、交互模块2510、交互模块管理器2512、交互模块接口2702、注册接口2704、消息收发模块2706、用户设备2900、触摸IM 2910、非触摸IM 2912、姿势IM 2914、运动IM 2916、语音IM 2918、流程图200、流程图300、流程图2600、流程图2800以及流程图3000(包括流程图200、300、2600、2800和3000的任何步骤)、和/或本文中所述的其它实施例的计算机程序逻辑(例如计算机程序代码或指令)。
移动设备3100可支持诸如触摸屏3132、话筒3134、相机3136、物理键盘3138、和/或跟踪球3140的一个或多个输入设备3130，以及诸如扬声器3152和显示器3154的一个或多个输出设备3150。诸如触摸屏3132的触摸屏可以不同方式检测输入。例如，电容式触摸屏在物体(例如，指尖)使流过表面的电流变形或中断时检测到触摸输入。作为另一示例，触摸屏可使用光学传感器，在来自光学传感器的光束被中断时检测到触摸输入。不需要与屏幕表面的物理接触来使输入被某些触摸屏检测到。例如，如本领域公知地，触摸屏3132可被配置成使用电容感测支持手指悬停检测。可使用如以上已经描述的其它检测技术，包括基于相机的检测和基于超声波的检测。为了实现手指悬停，用户的手指通常在触摸屏上方预定间隔距离内，诸如在0.1至0.25英寸之间、或0.25至0.5英寸之间、或0.5至0.75英寸之间、或0.75至1英寸之间、或1至1.5英寸之间等等。
为了说明目的，触摸屏3132被视为包括控制界面3192。控制界面3192被配置成控制与显示在触摸屏3132上的虚拟元素相关联的内容。在一示例实施例中，控制界面3192被配置成控制由一个或多个应用程序3114提供的内容。例如，当移动设备3100的用户利用应用时，控制界面3192可在触摸屏3132上被呈现给用户以使用户能够访问控制这种内容的控件。控制界面3192的呈现可基于(例如触发于)距触摸屏3132指定距离内的运动的检测、或者没有此类运动。用于基于运动或没有运动使控制界面(例如控制界面3192)呈现在触摸屏(例如触摸屏3132)上的示例实施例在以下更具体地描述。
其他可能的输出设备(未示出)可包括压电或其他触觉输出设备。一些设备可服务一个以上的输入/输出功能。例如，触摸屏3132和显示器3154可被组合在单个输入/输出设备中。输入设备3130可包括自然用户界面(NUI)。NUI是使得用户能够以“自然”方式与设备交互而无需由诸如鼠标、键盘、遥控等强加的人为约束的任何接口技术。NUI方法的示例包括依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、嗓音和语音、视觉、触摸、姿势、以及机器智能的那些方法。NUI的其它示例包括使用加速计/陀螺仪、脸部识别、3D显示、头、眼以及凝视跟踪、身临其境的增强现实和虚拟现实***的运动姿势检测(所有这些都提供更为自然的接口)，以及用于通过使用电场感测电极(EEG和相关方法)感测脑部活动的技术。由此，在一特定示例中，操作***3112或应用程序3114可包括作为允许用户经由语音命令来操作设备3100的语音控制界面的一部分的语音识别软件。此外，设备3100可包括允许经由用户的空间姿势进行用户交互(诸如检测和解释姿势以向游戏应用提供输入)的输入设备和软件。
无线调制解调器3160可被耦合至天线(未示出)，并且可支持处理器3110与外部设备间的双向通信，如本领域中充分理解的那样。调制解调器3160被一般性地示出，并且可包括用于与移动通信网络3104和/或其它基于无线电的调制解调器(例如，蓝牙3164和/或Wi-Fi 3162)进行通信的蜂窝调制解调器3166。蜂窝调制解调器3166可被配置成根据任何适当的通信标准或技术(诸如GSM,3G,4G,5G等)实现电话呼叫(以及可任选地传送数据)。无线调制解调器3160的至少之一通常被配置用于与一个或多个蜂窝网络(诸如，用于在单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络(PSTN)之间的数据和语音通信的GSM网络)进行通信。
移动设备3100还可包括至少一个输入/输出端口3180、电源3182、诸如全球定位***(GPS)接收机之类的卫星导航***接收机3184、加速计3186、和/或物理连接器3190，该物理连接器3190可以是USB端口、IEEE 1394(火线)端口、和/或RS-232端口。所示的组件3102并非是必需或者涵盖全部的，因为如本领域技术人员所理解地，任何组件可不存在且附加地其它组件可存在。
此外，图32示出其中可实现各实施例的计算设备3200的示例性实现。例如，用户设备102、用户设备2500、用户设备2900、服务器104或服务器500可在与静态计算机实施例中的计算设备3200相似的一个或多个计算设备中实现，包括计算设备3200的一个或多个特征和/或替代特征。此处所提供的对计算机3200的描述只是为了说明，并不是限制性的。实施例也可以在相关领域的技术人员所知的其它类型的计算机***中实现。
如图32所示，计算设备3200包括一个或多个处理器3202、***存储器3204，以及将包括***存储器3204的各种***组件耦合到处理器3202的总线3206。总线3206表示若干类型的总线结构中的任何一种总线结构的一个或多个，包括存储器总线或存储器控制器、***总线、加速图形端口，以及处理器或使用各种总线体系结构中的任何一种的局部总线。***存储器3204包括只读存储器(ROM)3208和随机存取存储器(RAM)3210。基本输入/输出***3212(BIOS)储存在ROM 3208中。
计算***3200还具有一个或多个以下驱动器：用于读写硬盘的硬盘驱动器3214、用于读或写可移动磁盘3218的磁盘驱动器3216、以及用于读或写诸如CD ROM、DVD ROM或其他光介质之类的可移动光盘3222的光盘驱动器3220。硬盘驱动器3214、磁盘驱动器3216，以及光驱动器3220分别通过硬盘驱动器接口3224、磁盘驱动器接口3226，以及光学驱动器接口3228连接到总线3206。驱动器以及它们相关联的计算机可读介质为计算机提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失存储器。虽然描述了硬盘、可移动磁盘和可移动光盘，但是，也可以使用诸如闪存卡、数字视频盘、随机存取存储器(RAM)、只读存储器(ROM)等等之类的其他类型的计算机可读存储介质来储存数据。
数个程序模块可被储存在硬盘、磁盘、光盘、ROM或RAM上。这些程序包括操作***3230、一个或多个应用程序3232、其他程序模块3234以及程序数据3236。
应用程序3232或程序模块3234可包括例如用于实现用户设备102、服务器104、服务器500、动作解释器108、内容选择器114、web服务502、判定支持***504、机器学***板、用于接收语音输入的语音识别***、用于接收手势输入的手势识别***、诸如此类。这些及其他输入设备常常通过耦合到总线3206的串行端口接口3242连接到处理器3202，但是，也可以通过其他接口，诸如并行端口、游戏端口、通用串行总线(USB)端口，来进行连接。
显示屏3244也通过诸如视频适配器3246之类的接口连接到总线3206。显示屏3244可在计算设备3200外部或纳入其中。显示屏3244可显示信息，以及作为用于接收用户命令和/或其它信息(例如，通过触摸、手指姿势、虚拟键盘等等)的用户界面。除了显示屏3244之外，计算设备3200还可包括其他***输出设备(未示出)，如扬声器和打印机。
计算机3200通过适配器或网络接口3250、调制解调器3252、或用于通过网络建立通信的其他手段连接到网络3248(例如，因特网)。可以是内置的或外置的调制解调器3252可以经由串行端口接口3242连接到总线3206，如图32所示，或者可以使用包括并行接口的另一接口类型连接到总线3206。
如此处所用的，术语“计算机程序介质”、“计算机可读介质”以及“计算机可读存储介质”被用于泛指介质，诸如与硬盘驱动器3214相关联的硬盘、可移动磁盘3218、可移动光盘3222，存储器3120(包括不可移动存储器3122和可移动存储器3124)、闪存卡、数字视频盘、随机读取存储器(RAM)、只读存储器(ROM)以及其它类型的物理/有形存储介质等。这些计算机可读存储介质与通信介质(不包括通信介质)相区别且不重叠。通信介质通常在诸如载波等已调制数据信号中承载计算机可读指令、数据结构、程序模块或者其它数据。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如声学、RF、红外线的无线介质和其它无线介质以及有线介质。各个实施例也针对这些通信介质。
如上文所指示的，计算机程序和模块(包括应用程序3232及其他程序模块3234)可被储存在硬盘、磁盘、光盘、ROM或RAM上。这样的计算机程序也可以通过网络接口3250、串行端口接口3242或任何其他接口类型来接收。这些计算机程序在由应用程序执行或加载时使得计算设备3200能够实现此处所讨论的实施例的特征。因此，这些计算机程序表示计算设备3200的控制器。
这样，各个实施例还涉及包括储存在任何计算机可用存储介质上的计算机指令/代码的计算机程序产品。这样的代码/指令当在一个或多个数据处理设备中执行时，使数据处理设备如此处所描述的那样操作。可包括计算机可读存储介质的计算机可读存储设备的示例包括诸如RAM、硬盘驱动器、软盘驱动器、CD ROM驱动器、DVD DOM驱动器、压缩盘驱动器、磁带驱动器、磁性存储设备驱动器、光学存储设备驱动器、MEM设备、基于纳米技术的存储设备等的存储设备以及其它类型的物理/有形计算机可读存储设备。
IV.结语
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。那些精通有关技术的人员将理解，在不偏离如所附权利要求书所定义的本发明的精神和范围的情况下，可以在形式和细节方面进行各种修改。因此，本发明的范围不应该受到上述示例性实施例的任一个的限制，而只应根据下面的权利要求和它们的等效内容进行定义。

Claims (15)

1.一种用户设备，包括：
可扩展用户界面(UI)模块，包括：
交互模块管理器，包括：
交互模块接口，所述交互模块接口被配置成与多个交互模块耦合，每个耦合的交互模块被配置成启用相应的内容交互技术，从相应的硬件接收交互信号，将所述交互信号转换成用户反馈指示，以及根据公共消息格式通过所述交互模块接口将所述用户反馈指示提供给所述交互模块管理器，
注册接口，所述注册接口被配置成使得所述交互模块能够各自向所述交互模块管理器注册，以及
消息收发模块，所述消息收发模块被配置成为每个用户反馈指示生成用户数据包以发送到服务器。
2.如权利要求1所述的用户设备，其特征在于，所述可扩展用户界面(UI)模块进一步包括：
通过所述交互模块接口与所述交互模块管理器耦合的交互模块。
3.如权利要求2所述的用户设备，其特征在于，所述交互模块被配置成允许与所述用户设备显示的内容相关联的内容反馈，所述交互模块被配置成使得第一偏好指示显示的内容不被喜欢而应显示替换内容，使得第二偏好指示显示的内容被喜欢且应显示与显示的内容类似的附加内容，以及使得第三偏好指示显示的内容被喜欢且应显示提供关于显示的内容的附加信息的附加内容。
4.如权利要求3所述的用户设备，其特征在于，所述交互模块是非触摸交互模块，所述交互模块被配置成：显示第一图形用户界面(GUI)元素，所述第一GUI元素包括可与之交互以指示第一偏好的第一选项；显示第二GUI元素，所述第二GUI元素包括可与之交互以指示第二偏好的第二选项；以及显示第三GUI元素，所述第三GUI元素包括可与之交互以指示第三偏好的第三选项。
5.如权利要求3所述的用户设备，其特征在于，所述交互模块是触摸交互模块，所述交互模块被配置成：使得所述第一偏好能够由第一触摸模式来指示，使得所述第二偏好能够由第二触摸模式来指示，并且使得所述第三偏好能够由第三触摸模式来指示。
6.如权利要求3所述的用户设备，其特征在于，所述交互模块是姿势交互模块，所述交互模块被配置成：使得所述第一偏好能够由第一姿势来指示，使得所述第二偏好能够由第二姿势来指示，并且使得所述第三偏好能够由第三姿势来指示。
7.如权利要求3所述的用户设备，其特征在于，所述交互模块是运动感测交互模块，所述交互模块被配置成：使得所述第一偏好能够由第一运动模式来指示，使得所述第二偏好能够由第二运动模式来指示，并且使得所述第三偏好能够由第三运动模式来指示。
8.如权利要求3所述的用户设备，其特征在于，所述交互模块是话音交互模块，所述交互模块被配置成：使得所述第一偏好能够由第一口述模式来指示，使得所述第二偏好能够由第二口述模式来指示，并且使得所述第三偏好能够由第三口述模式来指示。
9.如权利要求1所述的用户设备，其特征在于，所述注册模块被配置成每当所述交互模块管理器被初始化时，请求每个相耦合的交互模块提供所述相应的硬件的健康状态。
10.如权利要求9所述的用户设备，其特征在于，所述注册模块被配置成使得所有提供健康的健康状态的相耦合的交互模块能够接受用户交互。
11.如权利要求1所述的用户设备，其特征在于，所述可扩展用户界面(UI)模块进一步包括：
通过所述交互模块接口与所述交互模块管理器耦合的第一交互模块，所述第一交互模块被配置成根据第一内容交互技术实现与所述用户设备所显示内容相关联的内容反馈；
通过所述交互模块接口与所述交互模块管理器耦合的第二交互模块，所述第二交互模块被配置成根据与所述第一内容交互技术不同的第二内容交互技术实现与所述用户设备所显示内容相关联的内容反馈；
通过所述交互模块接口与所述交互模块管理器耦合的第三交互模块，所述第三交互模块被配置成根据与所述第一内容交互技术和所述第二内容交互技术不同的第三内容交互技术实现与所述用户设备所显示内容相关联的内容反馈；
所述第一交互模块接收与所述用户设备所显示的第一内容相关联的、指示所述第一内容应当用替换内容的显示来替换的第一内容反馈；
所述第二交互模块接收与所述用户设备所显示的第二内容相关联的、指示应当显示与第二内容相似的附加内容的第二内容反馈；以及
所述第三交互模块接收与所述用户设备所显示的第三内容相关联的、指示应当显示提供与第三内容相关的附加信息的附加内容的第三内容反馈。
12.如权利要求1所述的用户设备，其特征在于，所述可扩展UI模块进一步包括：
下载模块，所述下载模块使得交互模块能够被下载并安装在所述用户设备上以实现附加内容交互技术。
13.一种用户设备中的方法，包括：
提供交互模块接口，所述交互模块接口使得多个交互模块能够与交互模块管理器耦合，每个耦合的交互模块被配置成启用相应的内容交互技术，从相应的硬件接收交互信号，将所述交互信号转换成用户反馈指示，以及根据公共消息格式通过所述交互模块接口来提供所述用户反馈指示，
使得所述交互模块能够各自向所述交互模块管理器注册，以及
为每个用户反馈指示生成用户数据包以传送到服务器。
14.如权利要求13所述的方法，进一步包括：
接收与所述交互模块管理器耦合的交互模块；
由所述相耦合的交互模块实现与所述用户设备处显示的内容相关联的内容反馈，包括：
使得第一偏好的指示能够由与所显示内容交互的用户来提供，所述第一偏好指示所显示内容应当用替换内容的显示来替换，
使得第二偏好的指示能够由与所显示内容交互的用户来提供，所述第二偏好指示应当显示关于与所显示内容相同的主题的附加内容，以及
使得第三偏好的指示能够由与所显示内容交互的用户来提供，所述第三偏好指示应当显示提供关于所显示内容的附加信息的附加内容。
15.一种计算机程序产品，包括其上记录有计算机程序逻辑的计算机可读介质，包括：
使得处理器能够执行权利要求13至14中任一项的计算机程序逻辑。
CN201480068306.9A 2013-12-12 2014-12-08 多模式内容消费模型 Active CN105849758B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/104,771 US9588635B2 (en) 2013-12-12 2013-12-12 Multi-modal content consumption model
US14/104,771 2013-12-12
PCT/US2014/068974 WO2015088926A1 (en) 2013-12-12 2014-12-08 Multi-modal content consumption model

Publications (2)

Publication Number Publication Date
CN105849758A true CN105849758A (zh) 2016-08-10
CN105849758B CN105849758B (zh) 2020-03-06

Family

ID=52355173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480068306.9A Active CN105849758B (zh) 2013-12-12 2014-12-08 多模式内容消费模型

Country Status (4)

Country Link
US (1) US9588635B2 (zh)
EP (1) EP3080767A1 (zh)
CN (1) CN105849758B (zh)
WO (1) WO2015088926A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087760B2 (en) 2016-12-30 2021-08-10 Google, Llc Multimodal transmission of packetized data
CN113345173A (zh) * 2021-05-21 2021-09-03 浪潮金融信息技术有限公司 一种按需调控的自助***、方法及介质
US11381609B2 (en) 2016-12-30 2022-07-05 Google Llc Multimodal transmission of packetized data
US11705121B2 (en) 2016-12-30 2023-07-18 Google Llc Multimodal transmission of packetized data

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150160830A1 (en) * 2013-12-05 2015-06-11 Microsoft Corporation Interactive content consumption through text and image selection
US20160092159A1 (en) * 2014-09-30 2016-03-31 Google Inc. Conversational music agent
CN107645715B (zh) * 2016-07-22 2021-02-09 华为终端有限公司 制定用户套餐的方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605201A (zh) * 2001-12-13 2005-04-06 皇家飞利浦电子股份有限公司 推荐媒体***中的媒体内容
CN1725854A (zh) * 2004-07-12 2006-01-25 阿尔卡特公司 个人化的视频娱乐***
US20070291736A1 (en) * 2006-06-16 2007-12-20 Jeff Furlong System and method for processing a conference session through a communication channel
CN201657189U (zh) * 2009-12-24 2010-11-24 深圳市同洲电子股份有限公司 电视购物***、数字电视接收终端及商品信息管理***
CN102301312A (zh) * 2008-12-01 2011-12-28 新加坡国立大学 用于娱乐、教育或通信的便携式引擎
CN103853761A (zh) * 2012-12-03 2014-06-11 腾讯科技（深圳）有限公司 网页内容的评论显示、添加方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014135A (en) * 1997-04-04 2000-01-11 Netscape Communications Corp. Collaboration centric document processing environment using an information centric visual user interface and information presentation method
US20030069874A1 (en) * 1999-05-05 2003-04-10 Eyal Hertzog Method and system to automate the updating of personal information within a personal information management application and to synchronize such updated personal information management applications
AU2002214682A1 (en) * 2000-11-01 2002-05-21 Mark Landesmann System and method for granting deposit-contingent e-mailing rights
US20020160757A1 (en) * 2001-04-26 2002-10-31 Moshe Shavit Selecting the delivery mechanism of an urgent message
US7003515B1 (en) * 2001-05-16 2006-02-21 Pandora Media, Inc. Consumer item matching method and system
US7240298B2 (en) * 2002-12-19 2007-07-03 Microsoft Corporation Contact page
US7127232B2 (en) * 2003-05-08 2006-10-24 Bell South Intellectual Property Corporation Multiple access internet portal revenue sharing
US9083798B2 (en) 2004-12-22 2015-07-14 Nuance Communications, Inc. Enabling voice selection of user preferences
US7805129B1 (en) * 2005-12-27 2010-09-28 Qurio Holdings, Inc. Using device content information to influence operation of another device
US8145493B2 (en) 2006-09-11 2012-03-27 Nuance Communications, Inc. Establishing a preferred mode of interaction between a user and a multimodal application
US7730216B1 (en) * 2006-12-14 2010-06-01 Qurio Holdings, Inc. System and method of sharing content among multiple social network nodes using an aggregation node
US9224427B2 (en) * 2007-04-02 2015-12-29 Napo Enterprises LLC Rating media item recommendations using recommendation paths and/or media item usage
US9164993B2 (en) * 2007-06-01 2015-10-20 Napo Enterprises, Llc System and method for propagating a media item recommendation message comprising recommender presence information
US9060034B2 (en) * 2007-11-09 2015-06-16 Napo Enterprises, Llc System and method of filtering recommenders in a media item recommendation system
US9369514B2 (en) * 2012-06-08 2016-06-14 Spotify Ab Systems and methods of selecting content items
US9280789B2 (en) * 2012-08-17 2016-03-08 Google Inc. Recommending native applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605201A (zh) * 2001-12-13 2005-04-06 皇家飞利浦电子股份有限公司 推荐媒体***中的媒体内容
CN1725854A (zh) * 2004-07-12 2006-01-25 阿尔卡特公司 个人化的视频娱乐***
US20070291736A1 (en) * 2006-06-16 2007-12-20 Jeff Furlong System and method for processing a conference session through a communication channel
CN102301312A (zh) * 2008-12-01 2011-12-28 新加坡国立大学 用于娱乐、教育或通信的便携式引擎
CN201657189U (zh) * 2009-12-24 2010-11-24 深圳市同洲电子股份有限公司 电视购物***、数字电视接收终端及商品信息管理***
CN103853761A (zh) * 2012-12-03 2014-06-11 腾讯科技（深圳）有限公司 网页内容的评论显示、添加方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087760B2 (en) 2016-12-30 2021-08-10 Google, Llc Multimodal transmission of packetized data
US11381609B2 (en) 2016-12-30 2022-07-05 Google Llc Multimodal transmission of packetized data
US11705121B2 (en) 2016-12-30 2023-07-18 Google Llc Multimodal transmission of packetized data
US11930050B2 (en) 2016-12-30 2024-03-12 Google Llc Multimodal transmission of packetized data
CN113345173A (zh) * 2021-05-21 2021-09-03 浪潮金融信息技术有限公司 一种按需调控的自助***、方法及介质

Also Published As

Publication number Publication date
US20150169138A1 (en) 2015-06-18
CN105849758B (zh) 2020-03-06
EP3080767A1 (en) 2016-10-19
US9588635B2 (en) 2017-03-07
WO2015088926A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
Benyon Designing user experience
US10353975B2 (en) Terminal, server and event suggesting methods thereof
CN105849758A (zh) 多模式内容消费模型
EP3022639B1 (en) Object based contextual menu controls
Emmanouilidis et al. Mobile guides: Taxonomy of architectures, context awareness, technologies and applications
WO2021232930A1 (zh) 应用分屏方法、装置、存储介质及电子设备
US20170344631A1 (en) Task completion using world knowledge
CN106104528A (zh) 用于屏幕上项目选择和消歧的基于模型的方法
CN110168530A (zh) 电子设备和操作该电子设备的方法
CN107251012A (zh) 话题知晓的字建议
CN107257950A (zh) 虚拟助理连续性
CN103797481B (zh) 基于手势的搜索
CN106164962A (zh) 基于用户的显式声明的个性化推荐
CN107066426A (zh) 在将数据变换成可消费内容时创建变型
CN105378728B (zh) 用于表示和操纵元数据的装置和方法
Sang et al. Interaction design for mobile visual search
CN102982016A (zh) 用于电子表格应用程序的快速分析工具
CN107710131A (zh) 内容浏览用户界面
EP3625680A1 (en) Format-specific data object passing between applications
US10719791B2 (en) Topic-based place of interest discovery feed
CN110489573A (zh) 界面显示方法及电子设备
US10845882B2 (en) Method, apparatus, and computer-readable medium for providing internet browsing service through tactile interface device
CN104778600A (zh) 用于用户交互和内容的激励机制
CN109891374A (zh) 与数字代理的基于力的交互
CN111936970B (zh) 交叉应用特征链接和教育消息传送

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant