CN105453070A

CN105453070A - 基于机器学习的用户行为表征

Info

Publication number: CN105453070A
Application number: CN201380078977.9A
Authority: CN
Inventors: R.费伦斯; G.卡姆希; A.莫兰
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2013-09-20
Filing date: 2013-09-20
Publication date: 2016-03-30
Anticipated expiration: 2033-09-20
Also published as: EP3047387A4; EP3047387A1; WO2015041668A1; US20150332166A1; CN105453070B

Abstract

本公开针对基于机器学习的用户行为表征。示例性***可包括一种设备，该设备包括用以向用户呈现内容并在内容呈现期间收集用户数据（例如，包括用户生物计量数据）的用户接口模块。该***还可包括用以基于用户数据而确定供在呈现内容时使用的参数的机器学习模块。例如，机器学习模块可基于用户数据将包括用户状态的行为模型公式化，用户状态与目标（例如，基于成本函数）和内容呈现参数设置相关。采用该行为模型，机器学习模块可基于用户数据来确定当前用户状态，并且可选择内容呈现参数设置以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

Description

基于机器学习的用户行为表征

发明人：

Ron FERENs，Gila KAMHI 和 Amit MORAN。

技术领域

本公开涉及在设备上呈现内容，并且更具体地涉及一种用于基于用户行为的分析来配置内容呈现的***。

背景技术

新兴的电子设备不断驱动着对点播内容递送的用户需求。例如，用户可能能够利用可访问无线局域网（WAN）（例如，因特网）的个人计算机、移动因特网连接设备（例如，智能电话）、因特网使能电视（例如，智能TV）等来访问各种内容。该内容可以由各种提供商递送，并且可跨越大量主题。例如，用户可能期望在排队等待、乘公共交通旅行或仅仅在家放松时听到/观看娱乐内容、玩视频游戏等。可以通过递送到“电子教室”的内容来教导学生。企业人员可以进行与其职业追求有关的举办会议、观看讲座等。内容的呈现在供应商之间也可以不同（例如，用来呈现内容的质量可以是可变的，内容可包括广告等）。点播内容的增加的可用性的结果是内容提供商必须使针对用户的体验质量最大化，因为现在对于用户而言如此容易选择替换内容，如果其兴趣开始减弱的话。

用来保持用户兴趣的传统方式是基于消费者的人口统计（demographic）来设计内容。例如，通过针对预期消费者的最大人口统计来为内容确定目标，内容提供商可以预期获得“最大的收益”。这种策略多年来已被诸如TV/电影工作室、游戏提供商等内容提供商采用。然而，这种策略的成功多少依赖于仅存在有限数目的可用于内容消费者的替换供应。通过新一代点播内容递送提出的问题是在任何给定时间存在大量的可用于内容消费者的替换内容选项，并且因此谋求对用户的最大人口统计有吸引力的东西可能不足以锁定用户注意力。内容的呈现必须在内容呈现开始时的短暂时间段期间吸引并留住用户的注意力。

附图说明

随着以下详细描述的进行且在参考附图时，要求保护的主题的各种实施例的特征和优点将变得显而易见，其中，相同的附图标记表示相同部分，并且在所述附图中：

图1图示出根据本公开的至少一个实施例的用于基于机器学习的用户行为表征的示例性***；

图2图示出用于根据本公开的至少一个实施例可使用的设备的示例性配置；

图3图示出根据本公开的至少一个实施例的示例性用户数据和内容参数；

图4图示出根据本公开的至少一个实施例的成本函数、可改变参数和用户数据收集的示例性图表；

图5图示出根据本公开的至少一个实施例的基于用户数据的用户状态确定的示例；

图6图示出根据本公开的至少一个实施例的使用户状态、成本函数和可改变参数相关的示例；

图7图示出根据本公开的至少一个实施例的示例性行为模型；以及

图8图示出根据本公开的至少一个实施例的用于基于机器学习的用户行为表征的示例性操作。

虽然以下详细描述将在参考说明性实施例的情况下继续进行，但其许多替换、修改和变更对于本领域的技术人员而言将是显而易见的。

具体实施方式

本公开针对基于机器学习的用户行为表征。一种***可以包括例如包括用以向用户呈现内容并在内容呈现期间收集用户数据（例如，可能包括用户生物计量数据）的用户接口模块的设备。该***还可包括机器学习模块，其可位于呈现设备或另一设备（例如，可经由类似于因特网的WAN访问的至少一个计算设备）中。该机器学习模块可基于所收集用户数据而确定供在呈现内容时使用的参数。例如，机器学习模块可基于用户数据将包括用户状态的行为模型公式化，用户状态与目标（例如，以成本函数的形式）和内容呈现参数设置相关。采用该行为模型，机器学习模块可基于用户数据来确定当前用户状态，并且可选择内容呈现参数设置以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

在一个实施例中，一种***可包括例如设备和机器学习模块。该设备可包括用以向用户呈现内容并在内容呈现期间收集与用户有关的数据的至少一个用户接口模块。机器学习模块可用以产生至少包括观察用户状态的用户行为模型，并使用该行为模型和内容呈现参数来确定观察用户状态与至少一个目标之间的对应关系。机器学习模块还可用以利用行为模型基于用户数据来确定当前观察用户状态，并利用该行为模型至少基于当前观察用户状态来确定内容呈现参数设置。

可以用随机化内容呈现参数设置基于在内容呈现期间收集的用户数据来生成行为模型。在一个实施例中，所述设备还可包括用以在内容呈现期间从用户收集生物计量数据的传感器模块，该用户数据至少包括生物计量数据。机器学习模块还可用以将该生物计量数据输入到行为模型以确定当前观察用户状态。可基于成本函数在行为模型中定义所述至少一个目标，该至少一个目标用以使成本函数最大化。所述对应关系可包括使每个观察用户状态与用于成本函数的值相关联。另外，该对应关系还可包括将内容呈现参数设置关联以便使观察用户状态之间的移动偏置。用以确定内容呈现参数设置的机器学习模块可包括用以选择内容呈现参数设置的机器学习模块以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

在相同或不同实施例中，所述设备还可包括用以从机器学习模块接收内容呈现参数设置并基于该内容呈现参数设置来确定用于促使用户接口模块改变内容呈现的内容呈现参数更新的应用程序。机器学习模块可位于设备可经由广域网访问的至少一个位于远处的计算设备中。符合本公开的示例性方法可包括生成至少包括观察用户状态的用户行为模型、使用该行为模型和内容呈现参数来确定观察用户状态与至少一个目标之间的对应关系、收集用户数据、利用行为模型基于该用户数据来确定当前观察用户状态、利用行为模型来至少基于当前观察用户状态而确定内容呈现参数设置并基于内容呈现参数设置促使内容被呈现。

图1图示出根据本公开的至少一个实施例的用于基于机器学习的用户行为表征的示例性***。***100可包括例如至少一个设备102。设备102的示例可包括但不限于移动通信设备，诸如基于Android®操作***（OS）、iOS®、Windows® OS、Blackberry® OS、Palm® OS、Symbian® OS等的蜂窝式手机或智能电话；移动计算设备，诸如类似于iPad®、Surface®、Galaxy Tab®、Kindle Fire®等平板计算机、包括由英特尔公司制造的低功率芯片组的Ultrabook®、上网本、笔记本、膝上型计算机、掌上型计算机等；固定计算设备，诸如台式计算机、机顶设备、智能电视（TV）等。设备102可包括例如至少用户接口模块104和应用程序106。用户接口模块104可被配置成在110处如所示地向用户呈现内容并收集用户数据114。内容可包括各种多媒体信息（例如，文本、音频、视频和/或触觉信息），诸如但不限于音乐、电影、短节目（例如，TV节目、用于网上分销制作的视频等）、教学讲座/课程、视频游戏、应用程序、广告等。用户数据114可包括在内容呈现110期间收集的关于用户的信息（例如，包括生物计量数据112，在图3中进一步讨论了其示例）。应用程序106可包括软件，其被配置成促使用户接口模块104在110处如所示地至少呈现内容。应用程序106的示例可包括用于呈现存储或流式传输内容的音频和/或视频播放器、网络浏览器、视频游戏、教育软件、合作软件（例如，音频/视频会议软件）等。

***100还可包括机器学习模块108。在一个实施例中，可将机器学习模块结合在设备102内。替换地，可将机器学习模块108中的一些或全部分布在各种设备之间。例如，由机器学习模块108执行的一些或所有功能可被远程资源处理，该远程资源诸如在“云”计算型架构中可经由类似于因特网的WAN访问的至少一个计算设备（例如，服务器）。设备102然后可经由有线和/或无线通信与远程资源相交互。在其中例如设备102可能未包括足以执行与机器学习模块108相关联的功能的资源的情况下可采用分布式架构。在一个实施例中，机器学习模块108可包括可向其中输入用户数据114的行为模型。用户数据114可包括生物计量数据112，但是还可包括关于用户的其它数据，诸如人口统计数据、兴趣数据等。机器学习模块108可在确定参数设置116时采用用户数据114。例如，如在图3-8中进一步公开的，机器学习模块108可基于用户数据114来确定对应于用户的当前用户状态，并且然后可确定参数设置116，其可促使当前用户状态朝着期望用户状态（例如，对应于由成本函数定义的目标）转换。

机器学习模块108然后可将参数设置116提供给设备102中的应用程序106。应用程序106可在确定参数更新118时使用参数设置116。参数更新118可包括例如可基于当前用户状态和满足成本函数所需的用户状态目标而对内容呈现110进行的改变。参数更新118然后可促使用户接口模块104改变内容呈现110。用户接口模块104然后可通过收集用户数据114（例如，包括生物计量数据112）以确定当前用户状态来重新发起操作。

图2图示出用于根据本公开的至少一个实施例可使用的设备的示例性配置。特别地，虽然设备102'可执行诸如在图1中公开的示例性功能，但设备102'仅仅意图作为符合本公开的实施例可使用的设备的示例，并且并不意图使这些不同实施例局限于任何特定的实现方式。例如，如先前所阐述的，机器学习模块108可常驻于单独设备中，诸如在包括经由类似于因特网的WAN可访问的至少一个计算设备的基于云的资源中。

设备102'可包括用以管理设备操作的***模块200。***模块200可包括例如处理模块202、存储器模块204、电源模块206、用户接口模块104'和通信接口模块208。设备102'还可包括用以与至少用户接口模块104'相交互的机器学习模块108'和用以与至少通信接口模块208相交互的通信模块210。虽然与***模块200分开地示出了机器学习模块108'和通信模块210，但此布置仅仅是为了本文中的说明。还可将与机器学习模块108'和/或通信模块210相关联的一些或所有功能结合在***模块200内。

在设备102'中，处理模块202可包括位于单独组件中的一个或多个处理器或者替换地连同处理器相关支持电路（例如，桥接接口等）一起用单个组件（例如，用片上***（SoC）配置）体现的一个或多个处理核。示例性处理器可包括但不限于可从英特尔公司获得的各种基于x86的微处理器，包括奔腾（Pentium）、至强（Xeon）、安腾（Itanium）、赛扬（Celeron）、凌动（Atom）、酷睿（Core） i系列产品家族中的那些、高级RISC（例如，精简指令集计算）机器或“ARM”处理器等。支持电路的示例可包括被配置成提供接口的芯片组（例如，可从英特尔公司获得的北桥（Northbridge）、南桥（Southbridge）等），处理模块202通过该接口可与设备102'中的可以以不同速度、在不同总线上等操作的其它***组件相交互。还可将一般地与支持电路相关联的一些或所有功能包括在与微处理器相同的物理封装中（例如，在类似于可从英特尔公司获得的沙桥（Sandy Bridge）集成电路之类的SoC封装中）。

处理模块202可被配置成在设备102'中执行各种指令。指令可包括被配置成促使处理模块202执行与读取数据、写入数据、处理数据、将数据格式化、转换数据、变换数据等有关的活动。可将信息（例如，指令、数据等）存储在存储器模块204中。存储器模块204可包括采取固定或可移动格式的随机存取存储器（RAM）和/或只读存储器（ROM）。RAM可包括被配置成在设备102'的操作期间保持信息的存储器，诸如例如静态RAM（SRAM）或动态RAM（DRAM）。ROM可包括诸如被配置成以基本输入输出***（bios）、统一可扩展固件接口（UEFI）等形式在设备102'激活时提供指令的基本输入输出***存储器、诸如电子可编程ROM（EPROMS）之类的可编程存储器、闪存等存储器。其它固定和/或可移动存储器可包括诸如例如软盘、硬盘驱动器等磁性存储器、诸如固态闪存（例如，嵌入式多媒体卡（eMMC）等）、可移动存储器或记忆棒（例如，微型存储设备（uSD）、USB等）之类的电子存储器、诸如基于紧凑式磁盘的ROM（CD-ROM）等光学存储器。电源模块206可包括内部电源（例如，电池）和/或外部电源（例如，机电或太阳能发电机、电力网、燃料电池等）以及被配置成向设备102'供应进行操作所需的电力的相关电路。

用户接口模块104'可包括被配置成允许用户与设备102'相交互的电路，诸如各种输入机构（例如，麦克风、开关、按钮、旋钮、键盘、扬声器、触敏表面、被配置成捕捉图像和/或感测接近度、距离、运动、手势等的一个或多个传感器）和输出机构（例如，扬声器、显示器、有灯/闪烁指示器、用于振动、运动等的机电组件）。通信接口模块208可被配置成处理用于通信模块210的分组路由及其它控制功能，其可包括被配置成支持有线和/或无线通信的资源。有线通信可包括串行和并行有线介质，诸如例如以太网、通用串行总线（USB）、火线（Firewire）、数字视频接口（DVI）、高清晰度多媒体接口（HDMI）等。无线通信可包括例如紧密接近无线介质（例如，诸如基于近场通信（NFC）标准、红外（IR）、光学字符识别（OCR）、磁性字符感测等的射频（RF））、近程无线介质（例如，蓝牙、无线局域网（WLAN）、Wi-Fi等）和远程无线介质（例如，蜂窝式广域无线电通信技术、卫星技术等）。在一个实施例中，通信接口模块208可被配置成防止通信模块210中的活动的无线通信相互干扰。在执行此功能时，通信接口模块208可基于例如等待传送的消息的相对优先级来调度用于通信模块210的活动。

在图2中所示的实施例中，机器学习模块108'可与至少用户接口模块104'相交互。例如，机器学习模块108'可从用户接口模块104'接收至少生物计量数据112。生物计量数据112可被包括在机器学习模块108'可在确定参数设置116时利用的用户数据114中。此外，机器学习模块108'还可向用户接口模块104'（例如，经由应用程序106）提供参数设置116以供在确定可被用来改变内容呈现110的参数更新118时使用。

图3图示出根据本公开的至少一个实施例的示例性用户数据和内容参数。虽然图3公开了根据本公开的实施例的各种数据类型和参数，但在图3中提出的示例在本文中仅仅用于说明而不意图是排他性或限制性的。示例性用户数据114'可包括用户相关数据和生物计量数据112。示例性用户相关数据可包括参与内容呈现110的用户数目、内容用户的兴趣、关于用户周围的环境的数据（例如，地理位置、照明、温度等）等。生物计量数据112可包括例如用户注意力水平数据、用户姿势数据、用户手势数据、声音数据等。用于感测用户注意力水平的示例性数据可包括用户眼睛跟踪数据（例如，瞳孔扩张、屏幕光栅图案、注视平均值和方差等）和用户面部运动捕捉数据，可能包括面部表情识别和表情强度确定。可以用被结合在用户接口模块104中或被至少耦合到用户接口模块104的图像捕捉组件（例如，照相机）来感测所有上述生物计量数据114'。声音数据可包括例如用户话音捕捉，其可被处理以确定用于所捕捉话音的特性。可利用被结合在用户接口模块104中或被至少耦合到用户接口模块104的声音捕捉设备（例如，麦克风）来感测声音数据。

在分析用户数据114'（例如，使用行为模型）时，机器学***衡等）等。内容的示例性组成可包括人相关调整（例如，数目、性别、年龄、民族等）、动物相关调整（例如，动物的数目、动物的类型等）、对象相关调整（例如，被呈现的对象的较高或较低密度、对象的类型、对象的色彩等）等。内容的示例性主题可包括主题调整（例如，新闻、戏剧、喜剧、体育等）、用以增加/减少内容呈现110中的动作和/或会话的量的动作/会话调整、环境调整（例如，内容中的光的量、内容中的天气、内容中的背景噪音/活动的量等）等。

图4图示出根据本公开的至少一个实施例的成本函数、可改变参数和用户数据收集的示例性图表。图表400针对某一时间段内的当前内容呈现参数404的图和用户数据114''的图描绘成本函数402。在一个实施例中，成本函数402可包括与在内容呈现110期间期望被最大化的目标相对应的至少一个可测量的量。成本函数402的示例可包括用户收听/观看/播放时间、用户焦点、在内容呈现110期间用户保持在某个状态（例如，开心、兴奋等）的时间等。图4中的内容呈现参数404的图包括屏幕亮度、屏幕变化和正面面积（例如，基于面部捕捉的在内容上的面部集中）。图4中的用户数据114''的图包括注意力水平、瞳孔扩张、光栅扫描、表情强度水平和表情类型。在图4中公开的示例性关系可被用来基于如由用户数据114''所展示的具有某些参数404的内容呈现110对用户的影响以及该影响如何在成本函数402中表示来将行为模型公式化。

图5图示出根据本公开的至少一个实施例的基于用户数据的用户状态确定的示例。在一个实施例中，用户状态的确定可以是将行为模型公式化中的初始步骤。图表400'包括示例性用户数据114''。可以如图表500中所示地分析示例性用户数据114''以确定各种用户状态。用户状态可包括例如由用户数据114''中的特定条件的分组定义的用户的不同情绪状态。例如，可将瞳孔扩张、表情类型和强度水平等某些值分组以表征不同的用户状态。可对应于用户状态的示例性情绪包括但不限于开心、兴奋、生气、无聊、专心、不关心等。

行为模块中的用户状态的数目可取决于例如呈现的内容的类型、收集用户数据114''的能力等。在图5中公开了三个示例性状态。例如，状态A 502可对应于期望状态，而状态B 504和状态C 506可对应于不那么期望的用户状态。状态A 502可包括长面部捕捉持续时间、期望表情和/或具有指示用户注意或兴奋的良好瞳孔响应的眼睛聚焦时间的组合。状态B 504可包括指示减少的对内容呈现110的兴趣的用户数据114''，而状态C 506可包括可反映用户对内容呈现110的不喜欢或厌恶的用户数据114''。

图6图示出根据本公开的至少一个实施例的使用户状态、成本函数和可改变参数相关的示例。在图6中，可以使来自成本函数402、当前内容参数404和用户数据114''的某些量与不同时间602的用户状态相关。例如，在时间1和5之间的图表600中阐述的用户数据114''可与用户状态C 506'相关。每当收集落在此区域中所阐述的值范围内的用于用户数据114''的值时，可将用户确定为处于用户状态C 506'。类似地，5和9之间的区域可包括对应于用户状态B 504'的数据值且11和15之间的区域可对应于用户状态A 502'。此外，还可以使用于成本函数402的值与用户状态相关以确定例如当用户处于特定状态时对成本函数402的影响（例如，对要实现的目标的影响）。还可以使当前内容参数406相关以确定改变内容参数设置116如何使用户状态的变化朝着期望状态偏置并因此帮助实现目标。

图7图示出根据本公开的至少一个实施例的示例性行为模型。行为模型700表示用户状态502''、504''和506''、可促使用户从一个用户状态移动至另一个的参数设置116''以及每个用户状态如何满足成本函数402（例如，内容创作者、提供商等追求的目标）之间的相互关系。例如，状态A 502''可对应于期望用户状态，因为状态A 502''可促使成本函数402 A被最大化（例如，用户完全集中于内容呈现110）。状态B 504''可对应于中间状态，其中，成本函数402B的结果稍微低于状态A 502''（例如，用户稍微集中于内容呈现110）。状态C 506''可对应于其中成本函数402C基本上低于状态A 502''（例如，用户对内容呈现110完全不感兴趣）的用户状态。

参数设置116'可使用户状态之间的转换偏置。例如，行为模型可预测在给定用户被确定为处于状态B 504''的情况下，可存在参数设置116''将促使用户从用户状态B 504''转换至用户状态A 502''的30%概率和用户将从状态B 504''转换至状态C 506''的70%概率。同样地，给定参数设置116''，存在用于用户从用户状态C 506''转换至用户状态B 504''的85%概率和从用户状态C 506''转换至用户状态A 502''的15%概率。当处于用户状态A 502''时，可存在转换到用户状态B 504''的40%概率和转换到用户状态C 506''的60%概率。给定图7中的示例性参数设置116''，模型700中的概率指示与保持在不那么期望的状态相比从用户状态B 504''或用户状态C 506''转换到用户状态A 502''（例如，用以实现最大化成本函数402A的期望状态）将更加困难，可要求新的参数设置116''。重要的是认识到在图7中提供的百分比概率仅仅是用于说明，并且可在用来教导模型700用户状态与参数设置116''之间的相互关系的过程期间凭经验确定。例如，可用基于各种（例如，随机化）参数设置给用户的内容呈现110来执行用于模型的初始学习。随着参数设置116''改变，模型700可获悉各种参数设置116''如何与用户状态502''、504''和506''相关，以及用户状态502''、504''和506''中的每一个如何满足成本函数402。

图8图示出根据本公开的至少一个实施例的用于基于机器学习的用户行为表征的示例性操作。在操作800中，可基于用户数据（例如，包括生物计量数据）来确定用户状态。例如，可收集用户数据（例如，由呈现内容的设备中的用户接口模块），并且可使用用户数据的分组或趋势来确定用户状态（例如，由机器学习模块）。然后可以在操作802中将行为模型公式化。例如，可以使用户状态与目标（例如，基于成本函数定义）相关，其中，可确定至少一个用户状态以实现该目标（例如，使成本函数最大化），并且可基于内容参数设置来确定用于使各种用户状态之间的用户转换偏置的概率（例如，通过确定内容参数如何影响用户状态的学习算法）。

在操作804中，可获得已更新用户数据。可在操作806中利用行为模型来分析已更新用户数据。例如，可使用已更新用户数据来确定当前用户状态。如果当前用户状态并未实现行为模型的目标，则可选择参数设置以基于在行为模型中阐述的概率使当前用户状态的转换向实现目标的用户状态偏置。在操作808中，可将该新参数设置提供给应用程序。例如，应用程序可基于参数设置来确定参数更新。在操作810中，应用程序然后可例如促使设备中的用户接口模块基于参数更新来呈现内容。可选地，在操作812中，可进行关于内容呈现是否完成的确定。如果在操作812中确定内容呈现未完成，则在操作804中可收集已更新用户数据。如果在操作812中确定内容呈现完成，则操作812后面可以是返回到操作800以准备确定新的用户状态（例如，用于新的内容呈现）。

虽然图8图示出根据实施例的操作，但应理解的是并非在图8中描绘的所有操作对于其它实施例而言都是必需的。事实上，在本文中完全设想的是在本公开的其它实施例中，可以用在任何图中未具体地示出但仍完全符合本公开的方式将图8中描绘的操作和/或在本文中描述的其它操作组合。因此，针对在一个图中未完全示出的特征和/或操作的权利要求被认为在本公开的范围和内容内。

如在本申请和权利要求中所使用的被术语“和/或”连接的项目列表可以意指所列项目的任何组合。例如，短语“A、B和/或C”可以意指A；B；C；A和B；A和C；B和C；或A、B和C。如在本申请和权利要求中所使用的被术语“中的至少一个”连接的项目列表可以意指所列项目的任何组合中的至少一个。例如，短语“A、B或C中的至少一个”可以意指A；B；C；A和B；A和C；B和C；或A、B和C。

如在本文中的任何实施例中使用的术语“模块”可指代被配置成执行任何上述操作的软件、固件和/或电路。可将软件体现为记录在非临时计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。可将固件体现为被硬编码在（例如，非易失性）存储器设备中的代码、指令或指令集和/或数据。如在本文中的任何实施例中使用的“电路”可包括例如单独的或以任何组合方式的硬接线电路、诸如包括一个或多个单独指令处理核的计算机处理器之类的可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可共同地或单独地被体现为形成较大***的一部分的电路，所述较大***例如集成电路（IC）、片上***（SoC）、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。

可在包括具有单独地或以组合方式存储在其上面的指令的一个或多个存储介质（例如，非临时存储介质）的***中实现本文所述的任何操作，所述指令在被一个或多个处理器执行时执行所述方法。在这里，处理器可包括例如服务器CPU、移动设备CPU和/或其它可编程电路。并且，意图在于本文所述的操作可以跨多个物理设备分布，诸如在超过一个不同物理位置处的处理结构。存储介质可包括任何类型的有形介质，例如任何类型的磁盘，包括硬盘、软盘、光盘、紧凑式磁盘只读存储器（CD-ROM）、可重写紧凑式磁盘（CD-RW）以及磁光盘、半导体器件，诸如只读存储器（ROM）、随机存取存储器（RAM），诸如动态和静态RAM、可擦可编程只读存储器（EPROM）、电可擦可编程只读存储器（EEPROM）、闪存、固态盘（SSD）、嵌入式多媒体卡（eMMC）、安全数字输入/输出（SDIO）卡、磁卡或光卡或适合于存储电子指令的任何类型的介质。可将其它实施例实现为由可编程控制设备执行的软件模块。

因此，本公开针对基于机器学习的用户行为表征。示例性***可包括一种设备，该设备包括用以向用户呈现内容并在内容呈现期间收集用户数据（例如，包括用户生物计量数据）的用户接口模块。该***还可包括用以基于用户数据而确定供在呈现内容时使用的参数的机器学习模块。例如，机器学习模块可基于用户数据将包括用户状态的行为模型公式化，用户状态与目标（例如，基于成本函数）和内容呈现参数设置相关。采用该行为模型，机器学习模块可基于用户数据来确定当前用户状态，并且可选择内容呈现参数设置以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

以下示例涉及其它实施例。本公开的以下示例可包括主题材料，诸如设备、方法、用于存储在被执行时促使机器执行基于所述方法的动作的指令的至少一个机器可读介质、用于基于所述方法而执行动作的装置和/或用于基于机器学习的用户行为表征的***，如下面提供的。

示例1

根据本实施例，提供了一种***。该***可包括一种设备，该设备至少包括用以向用户呈现内容并在内容呈现期间收集与用户有关的数据的用户接口模块；以及和机器学习模块，所述机器学习模块用以生成至少包括观察用户状态的用户行为模型，使用行为模型和内容呈现参数来确定观察用户状态与至少一个目标之间的对应关系，利用行为模型基于该用户数据来确定当前观察用户状态，并且利用行为模型至少基于当前观察用户状态来确定内容呈现参数设置。

示例2

本示例包括示例1的要素，其中，用随机化内容呈现参数设置基于在内容呈现期间收集的用户数据来生成所述行为模型。

示例3

本示例包括示例2的要素，其中，基于用随机化内容呈现参数设置确定在内容呈现期间收集的用户数据中的值的集中度来确定行为模型中的观察用户状态。

示例4

本示例包括示例1至3中的任一项的要素，其中，所述设备还包括用以在内容呈现期间从用户收集生物计量数据的传感器模块，该用户数据至少包括生物计量数据。

示例5

本示例包括示例4的要素，其中，所述生物计量数据与用户注意力水平、用户姿势、用户手势或用户产生的声音中的至少一个有关。

示例6

本示例包括示例4至5中的任一项的要素，其中，所述机器学习模块还将该生物计量数据输入到行为模型以确定当前观察用户状态。

示例7

本示例包括示例1至6中的任一项的要素，其中，基于成本函数在行为模型中定义所述至少一个目标，该至少一个目标用以使成本函数最大化。

示例8

本示例包括示例7的要素，其中，所述对应关系包括使每个观察用户状态与用于成本函数的值相关联。

示例9

本示例包括示例8的要素，其中，观察用户状态中的一个与成本函数的最大化值相关联。

示例10

本示例包括示例9的要素，其中，所述对应关系还包括将内容呈现参数设置关联以便使观察用户状态之间的移动偏置。

示例11

本示例包括示例10的要素，其中，所述偏置是基于与当某些内容呈现参数设置被用于内容呈现时在每个观察用户状态之间转换相关联的百分比概率。

示例12

本示例包括示例10至11中的任一项的要素，其中，用以确定内容呈现参数设置的机器学习模块包括用以选择内容呈现参数设置的机器学习模块以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

示例13

本示例包括示例1至12中的任一项的要素，其中，所述设备还包括用以从机器学习模块接收内容呈现参数设置并基于该内容呈现参数设置来确定用于促使用户接口模块改变内容呈现的内容呈现参数更新的应用程序。

示例14

本示例包括示例1至13中的任一项的要素，其中，所述内容参数设置控制内容呈现特性、内容组成或内容主题中的至少一个。

示例15

本示例包括示例1至14中的任一项的要素，其中，所述机器学习模块位于设备可经由广域网访问的至少一个位于远处的计算设备中。

示例16

本示例包括示例1至15中的任一项的要素，其中，所述设备还包括用以在内容呈现期间从用户收集生物计量数据的传感器模块，该用户数据至少包括生物计量数据，该机器学习模块还将向行为模型输入生物计量数据以确定当前观察用户状态。

示例17

本示例包括示例1至16中的任一项的要素，其中，基于成本函数在行为模型中定义所述至少一个目标，该至少一个目标用以使成本函数最大化。

示例18

本示例包括示例17的要素，其中，所述对应关系包括将每个观察用户状态与用于成本函数的值相关联并将内容呈现参数设置关联以便使观察用户状态之间的移动偏置。

示例19

根据本实施例，提供了一种方法。该方法可包括生成至少包括观察用户状态的用户行为模型，使用行为模型和内容呈现参数来确定观察用户状态与至少一个目标之间的对应关系，收集用户数据，利用行为模型基于该用户数据来确定当前观察用户状态，利用行为模型至少基于当前观察用户状态来确定内容呈现参数设置，并且基于内容呈现参数设置促使内容被呈现。

示例20

本示例包括示例19的要素，其中，用随机化内容呈现参数设置基于在内容呈现期间收集的用户数据来生成所述行为模型。

示例21

本示例包括示例20的要素，其中，基于用随机化内容呈现参数设置确定在内容呈现期间收集的用户数据中的值的集中度来确定行为模型中的观察用户状态。

示例22

本示例包括示例19至21中的任一项的要素，其中，所述用户数据包括在内容呈现期间从用户收集的生物计量数据。

示例23

本示例包括示例22的要素，其中，所述生物计量数据与用户注意力水平、用户姿势、用户手势或用户产生的声音中的至少一个有关。

示例24

本示例包括示例22至23中的任一项的要素，还包括向行为模型输入生物计量数据以确定当前观察用户状态。

示例25

本示例包括示例19至24中的任一项的要素，其中，基于成本函数在行为模型中定义所述至少一个目标，该至少一个目标用以使成本函数最大化。

示例26

本示例包括示例25的要素，其中，所述对应关系包括使每个观察用户状态与用于成本函数的值相关联。

示例27

本示例包括示例26的要素，其中，观察用户状态中的一个与成本函数的最大化值相关联。

示例28

本示例包括示例27的要素，其中，所述对应关系还包括将内容呈现参数设置关联以便使观察用户状态之间的移动偏置。

示例29

本示例包括示例28的要素，其中，所述偏置是基于与当某些内容呈现参数设置被用于内容呈现时在每个观察用户状态之间转换相关联的百分比概率。

示例30

本示例包括示例28至29中的任一项的要素，其中，确定内容呈现参数设置包括选择内容呈现参数设置以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

示例31

本示例包括示例18至30中的任一项的要素，其中，促使内容被呈现包括基于内容呈现参数设置来确定用于促使内容呈现被改变的内容呈现参数更新。

示例32

本示例包括示例18至31中的任一项的要素，其中，所述内容参数设置控制内容呈现特性、内容组成或内容主题中的至少一个。

示例33

本示例包括示例18至32中的任一项的要素，其中，所述用户数据包括在内容呈现期间从用户收集的生物计量数据，所述方法还包括向行为模型输入生物计量数据以确定当前观察用户状态。

示例34

本示例包括示例18至33中的任一项的要素，其中，基于成本函数在行为模型中定义所述至少一个目标，该至少一个目标用以使成本函数最大化。

示例35

本示例包括示例34的要素，其中，所述对应关系包括将每个观察用户状态与用于成本函数的值相关联并将内容呈现参数设置关联以便使观察用户状态之间的移动偏置。

示例36

根据本示例，提供了一种至少包括一种设备的***，该***被布置成执行上述示例19至35中的任一项的方法。

示例37

根据本示例，提供了被布置成执行上述示例19至35中的任一项的方法的芯片组。

示例38

根据本示例提供了包括多个指令的至少一个机器可读介质，所述多个指令响应于在计算设备上被执行而促使计算设备执行根据上述示例19至35中的任一项所述的方法。

示例39

根据本示例提供了被配置成用于基于机器学习的用户行为表征的至少一个设备，所述至少一个设备被布置成执行上述示例19至35中的任一项的方法。

示例40

根据本示例提供了具有用以执行上述示例19至35中的任一项的方法的装置的至少一个设备。

在本文中已采用的术语和措辞被用作描述而非限制性的术语，并且在此类术语和措辞的使用中并不意图排除所示和所述特征（或其各部分）的任何等价物，并且应认识到在权利要求的范围内可以有各种修改。因此，权利要求意图涵盖所有此类等价物。

Claims

1.一种***，包括：

设备，其至少包括用以向用户呈现内容并在内容呈现期间收集与用户有关的数据的用户接口模块；以及

机器学习模块，其用以：

生成至少包括观察用户状态的用户行为模型；

使用行为模型和内容呈现参数来确定观察用户状态与至少一个目标之间的对应关系；

利用行为模型基于该用户数据来确定当前观察用户状态；以及

利用行为模型至少基于当前观察用户状态来确定内容呈现参数设置。

2.权利要求1的***，

其中，用随机化内容呈现参数设置基于在内容呈现期间收集的用户数据来生成所述行为模型。

3.权利要求1的***，

其中，所述设备还包括用以在内容呈现期间从用户收集生物计量数据的传感器模块，该用户数据至少包括生物计量数据。

4.权利要求3的***，

其中，所述机器学习模块还用以将该生物计量数据输入到行为模型以确定当前观察用户状态。

5.权利要求1的***，

其中，基于成本函数在行为模型中定义所述至少一个目标，该至少一个目标用以使成本函数最大化。

6.权利要求5的***，

其中，所述对应关系包括使每个观察用户状态与用于成本函数的值相关联。

7.权利要求6的***，

其中，所述对应关系还包括将内容呈现参数设置关联以便使观察用户状态之间的移动偏置。

8.权利要求7的***，

其中，用以确定内容呈现参数设置的机器学习模块包括用以选择内容呈现参数设置的机器学习模块以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

9.权利要求1的***，

其中，所述设备还包括应用程序，其用以：

从机器学习模块接收内容呈现参数设置；以及

确定用于促使用户接口模块基于内容呈现参数设置来改变内容呈现的内容呈现参数更新。

10.权利要求1的***，

其中，所述机器学习模块位于设备可经由广域网访问的至少一个位于远处的计算设备中。

11.一种方法，包括：

生成至少包括观察用户状态的用户行为模型；

收集用户数据；

利用行为模型基于该用户数据来确定当前观察用户状态；

利用行为模型至少基于当前观察用户状态来确定内容呈现参数设置；以及

基于内容呈现参数设置促使内容被呈现。

12.权利要求11的方法，

13.权利要求11的方法，

其中，所述用户数据包括在内容呈现期间从用户收集的生物计量数据。

14.权利要求13的方法，还包括：

向行为模型输入生物计量数据以确定当前观察用户状态。

15.权利要求11的方法，

16.权利要求15的方法，

17.权利要求16的方法，

18.权利要求17的方法，

其中，确定内容呈现参数设置包括选择内容呈现参数设置以使当前观察用户状态的移动朝着与最大化成本函数相关联的观察用户状态偏置。

19.权利要求11的方法，

其中，促使内容被呈现包括基于内容呈现参数设置来确定用于促使内容呈现被改变的内容呈现参数更新。

20.一种至少包括设备的***，该***被布置成执行权利要求11至19中的任一项的方法。

21.一种芯片组，该芯片组被布置成执行权利要求11至19中的任一项的方法。

22.包括多个指令的至少一个机器可读介质，所述多个指令响应于在计算设备上被执行而促使计算设备执行根据权利要求11至19中的任一项所述的方法。

23.被配置成用于基于机器学习的用户行为表征的至少一个设备，所述至少一个设备被布置成执行权利要求11至19中的任一项的方法。

24.至少一个设备，其具有用以执行权利要求11至19中的任一项的方法的装置。