CN113383295A - 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法 - Google Patents

Abstract

一种具体实施在设备的显示器上显示与对象相关联的视觉特征，并利用所述设备的传感器来获取与用户对所述视觉特征的瞳孔响应相关联的生理数据。所述设备基于所述获取的生理数据来调整所述视觉特征，以增强所述用户对所述对象的瞳孔响应，并向所述用户显示调整后的视觉特征。例如，可以基于先前识别的所述用户对特定视觉特征的瞳孔响应来选择所述调整后的视觉特征。

Description

调节数字内容以激发更大的瞳孔半径响应的生物反馈方法

技术领域

本公开一般涉及利用电子设备显示对象，尤其涉及用于调整与对象相关联的视觉特征以增强用户的瞳孔响应的***、方法以及设备。

背景技术

电子设备在查看电子内容和与电子内容进行交互方面具有不同的能力。多种输入机制已被结合到多种用户设备中以提供功能性和用户交互(例如，键盘、鼠标、触摸屏、按钮、用于语音命令的麦克风、光学传感器等)。例如，触摸屏已被结合到移动电话(例如，智能电话)、平板计算机、可穿戴设备(例如，手表、眼镜、头戴式设备等)和其他计算设备中，从而允许软件开发者针对娱乐、生产率、健康等等来创建引人入胜的软件应用程序(“app”)。在一些情况下，触摸屏结合多种其他输入机制工作以与设备(例如，光学传感器、按钮、用于语音命令的麦克风等)交互。

然而，由于设备尺寸限制、显示器尺寸约束、操作约束等，许多设备可能具有有限的设备交互和控制能力，例如，小型或薄的用户设备可能具有有限数量的用于接收用户输入的物理按钮。类似地，小型用户设备可能具有用于提供视觉按钮或其他视觉用户接口元件的空间受限的触摸屏。此外，一些设备可能具有按钮或其他交互元件，在某些状况或某些操作条件下，它们使用起来不自然、麻烦或者令人不适。例如，使用双手与设备进行交互可能是麻烦的(例如，一只手拿着设备，同时另一只手使用接口元件)。又如，在用户的手以其他方式被占用或不能使用时(例如，在戴手套、拿东西、牵着孩子的手、开车等时)，可能难以按下小按钮或使用触摸屏功能。在其他示例中，设备交互可能以多种其他方式受到限制。

发明内容

本文所公开的各种具体实施包括调整与对象(例如，按钮、UI图标等)相关联的视觉特征(例如，色调、饱和度、尺寸、形状、空间频率、运动、突出显示等)的设备、***和方法，以增强用户对对象的显示的瞳孔响应。该设备(例如，手持式设备、膝上型计算机、台式计算机，或头戴式设备(HMD))在显示器上向用户显示与对象相关联的视觉特征，并利用传感器获取与用户对视觉特征的响应相关联的生理数据(例如，瞳孔扩张)。基于获取的生理数据，该设备调整视觉特征，以增强用户对对象的瞳孔响应。

在一些具体实施中，该设备评估期望在与用户界面中的对象进行交互之后界面反馈的用户的生理响应。可以使用多个替代的界面反馈特征将该生理响应与期望界面反馈的用户相关联。在一个示例中，希望基于当用户打算选择按钮时用户的瞳孔扩张来在用户选择按钮之前预测用户选择按钮的意图。为了促进此类预测，可能希望配置按钮，包括与对按钮的选择相关联的反馈，以提供显著的或最佳的选择前瞳孔扩张变化，例如，当用户打算作出选择并在选择之后期望某些反馈时，确定用户的选择前瞳孔扩张是良好或最佳的。为此，该设备可以评估各种替代的反馈特征(例如，在用户点击按钮之后，按钮应改变为多种颜色中的哪一种)，以将反馈的特征识别为相对于选择前瞳孔扩张而言是合适的或最佳的。设备可以估计当用户期望每个界面反馈特征时(例如，对象在被点击后变成粉红色、对象在被点击后变成橙色等)，用户在点击对象之前眼睛扩张了多少。在一些具体实施中，该设备基于评估生理数据来选择替代的界面反馈特征中的一个界面反馈特征。例如，该设备可以基于确定用户的眼睛在期望对象变成粉色时比在期望对象变成橙色时扩张地更大来选择粉红色作为理想的界面反馈特征。

一旦选择了对象特征，就可以应用该特征以促进意图检测(例如，基于用户的眼睛扩张，在用户选择按钮之前检测到用户打算选择按钮)。例如，在一些具体实施中，该设备显示对象，以使选择显示的对象可使用所选的界面反馈特征提供界面反馈。例如，在训练之后，可以使用粉红色界面反馈将对象显示在应用程序中。当用户使用用户界面并选择对象时，该界面的用户将观察到粉红色的界面反馈。在反馈的一次或多次出现中，用户将期望粉色界面反馈，并且通常将呈现出与期望粉红色界面反馈相关联的选择前瞳孔扩张。因此，在一些具体实施中，该设备在所显示的对象被选择之前获取对该对象的生理响应诸如瞳孔扩张，并基于所获取的生理响应来确定用户与该对象交互的意图。基于所确定的用户与对象交互的意图，设备可以发起与对象的交互(例如，选择)。在该示例中，该设备能够在用户选择对象之前，基于用户的生理响应(例如，瞳孔扩张)检测用户选择对象的意图。此外，由于对象被智能地配置为提供合适的或最佳的生理响应，所以该设备可能够比其原来更准确地识别此类意图(例如，可更准确地预测用户选择按钮的意图，因为用户界面反馈是粉红色而不是橙色)。

在一些具体实施中，设备通过获取与视觉特征的多个变型(例如，红色突出显示、蓝色突出显示和绿色突出显示)相对应的瞳孔扩张数据来调整视觉特征，然后基于瞳孔扩张数据来选择视觉特征的变型。如本文所用，短语“优化的”通常指例如通过选择视觉特征的特定变体来选择视觉特征，该方式以相对于视觉特征的至少一个其他变体有利的任何方式来选择。例如，该设备可以基于从瞳孔扩张数据得出的关于用户的眼睛对绿色的响应优于对红色的响应的确定，为优化的视觉特征选择绿色突出显示。此外，基于确定用户对绿色的响应更好，该设备随后可以调整视觉特征并以绿色突出显示来显示对象。在一些具体实施中，该设备对与瞳孔直径数据中的瞳孔直径变化相对应的外源信号作出解释，该瞳孔直径变化是由环境光变化、色度变化、眼睛适应、内容照明变化、周期性瞳孔扩张、环境噪声的变化、设备的运动的变化、场景的亮度、认知负荷或用户摄入的咖啡因引起。

在一些具体实施中，该设备获取与用户对调整后的视觉特征的显示的响应相关联的生理数据(例如，瞳孔数据)，并基于所获取的生理数据(例如，检测到的瞳孔扩张图案)来确定用户与对象交互的意图。在一些具体实施中，该设备可以识别用户的生理数据的变化与用户对特定视觉特征将被显示的期望之间的相关性。例如，确定用户选择对象的意图可以包括识别用户的期望，即对选择的反馈将具有调整后的视觉特征。此外，在一些具体实施中，确定用户的意图包括应用经训练的机器学习技术以识别生理数据中与用户意图或用户期望相对应的图案。在一些具体实施中，检测瞳孔扩张图案可能包括：对与瞳孔直径数据中的瞳孔直径变化相对应的外源信号作出解释，该瞳孔直径变化是由环境光变化、色度变化、眼睛适应、内容照明变化、周期性瞳孔扩张、环境噪声的变化、设备的运动的变化、场景的亮度、认知负荷或用户摄入的咖啡因引起。

根据一些具体实施，非暂态计算机可读存储介质中存储有计算机可执行的指令，这些指令用于执行或促使执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的显示对象并从用户获取生理数据的设备。

图2示出了根据一些具体实施的图1的用户的瞳孔，其中瞳孔的直径随时间变化。

图3是用于调整视觉特征以增强用户的瞳孔响应的方法的流程图表示。

图4是用于选择并显示界面反馈特征以增强与期望所选择的界面反馈特征的用户相关联的生理响应的方法的流程图表示。

图5是示出训练过程的图表，其中估计了多个替代的界面反馈以选择一个界面反馈。

图6是示出图5中所选择的界面反馈的应用的图表。

图7是示出根据一些具体实施的在一段时间内的所获取的生理数据(包括意图时刻)的图表。

图8A是示出根据一些具体实施的生理数据图案的检测的图表。

图8B是示出根据一些具体实施的生理数据和外源信号的图表。

图9是示出根据一些具体实施的示例性设备的设备部件的框图。

图10是根据一些具体实施的示例性头戴式设备(HMD)的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了现实世界环境5，其包括具有显示器15的设备10。在一些具体实施中，设备10向用户25显示对象20，并且视觉特征30与对象20相关联。例如，对象20可以是按钮、用户界面图标、文本框、图形等。在一些具体实施中，与对象20相关联的视觉特征30包括诸如色调、饱和度、尺寸、形状、空间频率、运动、突出显示等的视觉特征。例如，对象20可以被显示为具有覆盖或围绕对象20的绿色突出显示的视觉特征30。

设备10经由传感器35从用户25获取生理数据(例如，瞳孔数据)。尽管本文讨论的该示例和其他示例示出了现实世界环境5中的单个设备10，但是本文公开的技术适用于多个设备以及其他现实世界环境。例如，设备10的功能可由多个设备执行。

在一些具体实施中，如图1所示，设备10是手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是膝上型计算机或台式计算机。在一些具体实施中，设备10具有触控板，并且在一些具体实施中，设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中，设备10是可穿戴头戴式显示器(“HMD”)。

在一些具体实施中，设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪***。例如，眼睛跟踪***可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近红外(NIR)照相机)和向用户25的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备10的照明源可发射NIR光以照明用户25的眼睛，并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪***捕获的图像以检测用户25的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外，从眼睛跟踪图像估计的注视点可使得能够与设备10的近眼显示器上示出的内容进行基于注视的交互。

在一些具体实施中，设备10具有图形用户界面(GUI)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中，用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。

在一些具体实施中，设备10采用各种生理传感器、检测或测量***。检测的生理数据可包括但不限于：脑电图(EEG)、心电图(ECG)、肌电图(EMG)、功能近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应。此外，设备10可同时检测多种形式的生理数据，以便受益于生理数据的同步采集。此外，在一些具体实施中，生理数据表示非自愿数据，即，不受意识控制的响应。例如，瞳孔响应可表示非自愿移动。

在一些具体实施中，用户25的一只或两只眼睛45(包括用户25的一个或两个瞳孔50)以瞳孔响应的形式呈现生理数据。用户25的瞳孔响应经由视神经和动眼神经颅神经导致瞳孔50的尺寸或直径的变化。例如，瞳孔响应可包括收缩响应(瞳孔缩小)，即，瞳孔变窄，或扩张响应(瞳孔散大)，即，瞳孔加宽。在一些具体实施中，设备10可检测表示时变瞳孔直径的生理数据的图案。

图2示出了图1的用户25的瞳孔50，其中瞳孔50的直径随时间变化。如图2所示，与过去的生理状态(例如，过去的瞳孔直径60)相比，当前生理状态(例如，当前瞳孔直径55)可以变化。例如，当前生理状态可包括当前瞳孔直径，并且过去的生理状态可包括过去的瞳孔直径。

生理数据可随时间变化，并且设备10可使用生理数据来测量用户对视觉特征30的生理响应或用户与对象20交互的意图中的一者或两者。例如，当由设备10呈现诸如文件列表的对象20时，用户25可以选择对象20而无需用户25完成物理按钮按下。在一些具体实施中，生理数据包括经由眼睛跟踪技术测量的用户25扫视对象20后瞳孔50的半径的响应。

可以调整与对象20相关联的视觉特征30以驱动或增强用户25的生理响应。此类调整可以在与对象的特定用户交互期间或在未来与对象交互期间针对对象实现。例如，对象20可在用户注视时以红色突出显示，然后以绿色突出显示，然后以黄色突出显示，并且基于检测到用户对绿色的响应最佳，对象可以在交互的其余时间保持绿色。又如，基于确定用户对绿色有反应，视觉特征可相应地会随时间变化。例如，可以在用户交互过程中逐渐调整对象20周围的绿色突出显示，以不断引起更大的响应。在一些具体实施中，动画处理对象使亮度对比度变暗、变亮或改变，改变色调、改变空间图案或以某种方式移动而驱动瞳孔50的调节。此外，在一些具体实施中，例如在执行移动或意图的“时刻”之前改变与对象20相关联的视觉特征30，以使用户建立期望，即交互将导致与对象20相关联的视觉特征30发生改变(例如，动画)。

图3是根据一些具体实施的用于调整与对象(例如，对象20)相关联的视觉特征以增强用户(例如，用户25)的瞳孔响应的方法300的流程图表示。在一些具体实施中，方法300由一个或多个设备(例如，设备10)执行。方法300可在移动设备、HMD、台式计算机、膝上型计算机或服务器设备上执行。方法300可在具有用于显示3D图像的屏幕或用于观看立体图像的屏幕的HMD上执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框310处，方法300在设备的显示器上向用户显示与对象相关联的视觉特征。在一些具体实施中，对象是按钮、用户界面图标、文本框或图形。此外，在一些具体实施中，与对象相关联的视觉特征是色调、饱和度、尺寸、形状、空间频率、运动或突出显示。

在框320处，方法300获取与用户对框310处显示的视觉特征的瞳孔响应相关联的生理数据。在一些具体实施中，在一段时间内测量瞳孔的直径。在一些具体实施中，方法300通过向用户呈现各种视觉特征并分别记录与对各种视觉特征的瞳孔响应相关联的生理数据来执行训练功能。因此，方法300能够“学习”用户的瞳孔最能响应的视觉特征的特定变型。在一些具体实施中，方法300对可能影响瞳孔响应的任何外源信号作出解释。例如，增加的环境光可导致影响瞳孔响应的外源信号。

在框330处，方法300基于在框320处获取的生理数据来调整视觉特征，以增强用户对对象的瞳孔响应。在一些具体实施中，改变视觉特征以提供增大的瞳孔响应。例如，视觉特征可包括特定颜色的突出显示；视觉特征的调整可包括将突出显示的颜色改变为确定的颜色，使得相对于对视觉特征的原始颜色的瞳孔响应，该颜色引起增强的瞳孔响应。

在框340处，方法300显示具有增强的视觉特征的对象。在一些具体实施中，方法300基于检测所获取的生理数据中的图案来识别用户对对象的兴趣。在一些具体实施中，基于用户对增强的视觉特征的瞳孔响应，确认当前对意图的兴趣。

图4是根据一些具体实施的用于选择并显示界面反馈特征以增强与期望所选择的界面反馈特征的用户相关联的生理响应的方法400的流程图表示。在一些具体实施中，方法400由一个或多个设备执行。方法400可在移动设备、HMD、台式计算机、膝上型计算机或服务器设备上执行。方法400可在具有用于显示3D图像的屏幕或用于观看立体图像的屏幕的HMD上执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框410处，方法400使用多个替代的界面反馈特征获取与期望在与用户界面中的对象交互之后界面反馈的用户相关联的生理响应。在一些具体实施中，方法400向用户多次呈现特定界面反馈并且，在一些实施方式中，可以向用户反复呈现特定界面反馈，直到用户对对象的呈现的生理响应示出用户期望该特定界面反馈将在与对象交互之后发生。例如，用户可以看到按钮并且可以表现出2mm的基线或“原始”瞳孔直径。在与对象交互之后，用户可能会对按钮颜色的彩色变化(例如，颜色从蓝色变为粉色)的界面反馈感到惊讶。与对象交互多次后(例如，对生理数据进行统计学上有意义的采样，或者直到生理数据稳定)，用户可能期望界面反馈，并且当用户看到该按钮时，例如，当用户打算与按钮交互时但在与按钮交互之前，可能会表现出4mm的兴奋瞳孔直径。此外，在一些具体实施中，可以向用户呈现附加的界面反馈特征，以使所获取的用户生理响应反映用户对多个不同界面反馈特征的响应(例如，颜色改变为不同的颜色、突出显示、音频反馈等)。

在框420处，方法400评估在框410处获取的期望界面反馈的用户的生理响应。在一些具体实施中，方法400基于每个不同的界面反馈特征或基于获取的针对每个不同反馈特征的生理响应的数量来估计生理响应。例如，当用户期望对象在被点击之后变成粉红色时，方法400可以估计用户在点击对象之前眼睛的扩张程度，并且当用户期望对象在被点击之后变成橙色时，方法400可以估计用户在点击对象之前眼睛扩张了多少。此外，方法400可以基于一个或多个因素(例如，收集到的稳定响应所需的生理响应的数量)来估计用户习惯于期望每个反馈特征有多快。

在框430处，方法400基于在框420处执行的生理数据评估来选择替代的界面反馈特征中的一个界面反馈特征。在一些具体实施中，方法400寻求将当用户期望界面反馈时用户对对象的呈现的生理响应与用户对对象的呈现的原始生理响应之间的差异最大化。例如，当用户期望对象在被点击之后变成粉红色时，方法400可估计在用户点击对象之前用户的眼睛相对于用户的基线或原始瞳孔直径扩张了多少，并且可将粉红色变化估计与当用户期望对象在被点击后变为橙色时对在点击对象之前用户的眼睛扩张了多少的估计相比较等。此外，方法400可以确定粉色的变化评估可以引起在用户的原始/基线瞳孔直径和当用户期望对象变成粉红色时用户的瞳孔直径之间最大的瞳孔直径变化。因此，方法400可以选择粉红色作为理想的界面反馈特征。

在框440处，方法400显示对象，以使选择显示的对象可使用在框430处所选的界面反馈特征提供界面反馈。例如，在用户或设备的训练之后，可以使用粉红色界面反馈将对象显示在应用程序中。在一些具体实施中，在使用所选的界面反馈特征提供界面反馈之前，方法400在显示的对象被选择之前获取用户对该对象的生理响应，基于获取的生理响应确定用户与该对象交互的意图，并基于确定用户与该对象交互的意图来发起与对象的交互(例如，选择)。

图5示出了训练过程，其中估计了多个替代的界面反馈以选择界面反馈。在一些具体实施中，当用户期望在与对象交互时获得界面反馈或刺激(例如，点击按钮)时，基于对用户对对象或刺激(例如，按钮)的呈现的生理响应的评估来选择界面反馈。例如，训练过程可能涉及针对每个替代的界面反馈执行一系列试验(例如，试验1至试验N)，其中该设备有效地学习用户的期望瞳孔直径对点击后界面反馈的响应程度。

在一些具体实施中，针对每个界面反馈条件执行包括多个试验的训练过程。例如，训练过程可包括识别理想颜色以在用户点击按钮之后改变按钮。因此，从试验1至试验N，按钮的界面反馈条件可以是从初始颜色(例如，纯蓝色)到另一种颜色(例如，纯粉色)的颜色变化，并且在另一组试验(例如，10次试验)中，界面反馈条件可包括按钮从初始颜色改变为一种不同颜色(例如，纯橙色)。当用户与每个试验(例如，试验1至试验N)中的对象(例如，按钮)进行交互(例如，点击)时，用户重复体验界面反馈条件并产生获得该界面反馈条件的期望。

在一些具体实施中，在试验过程中，当用户期望在与对象进行交互之后获得界面反馈时，设备确定用户在与对象进行交互之前用户的生理响应。例如，训练过程可在所获取的生理数据(例如瞳孔直径)与对与对象(例如，刺激，诸如按钮)相关联的视觉特征(例如，彩色反馈，诸如突出显示或颜色变化)的期望之间形成相关性。在一些具体实施中，用户习惯于期望与对象相关联的视觉特征的变化，并且设备基于该习惯的期望来检测用户的生理状态的变化。

如图5的示例所示，第一系列试验可向用户呈现蓝色按钮，该按钮在用户点击之后变为粉红色。在点击试验1中的按钮之前，用户可呈现基线生理特征(例如，2mm的原始瞳孔直径)。当用户执行附加的试验时，用户可产生对界面反馈条件的期望，并且在对象(例如，按钮)呈现时，用户可呈现反映对该界面反馈条件的期望的生理响应(例如，兴奋的或期望的瞳孔直径)。例如，在试验N中，由于用户期望按钮在点击后将变为粉红色，用户可在与按钮交互之前呈现4mm的兴奋瞳孔直径。

因此，在一些具体实施中，设备使用户习惯于在期待视觉特征时呈现突出的生理响应。如图5的试验N所示，在重复N次之后，用户已经习惯于期望该视觉特征，并且在获得刺激时，用户表现出期待与该刺激进行交互的突出的生理响应(例如，4mm的瞳孔直径)。

在一些具体实施中，执行附加的一系列试验以便确定哪个界面反馈特征引起来自期望与对象交互(例如，在与对象交互之前)的用户的显著或最佳生理特征响应。例如，可执行第二系列试验，其中在用户点击按钮之后该按钮从蓝色变为橙色，并且***可通过试验N确定用户在与该按钮进行交互之前呈现3mm的瞳孔直径。在一些具体实施中，在多个试验的过程中，设备经由训练过程学习以选择理想或最佳的界面反馈(例如，在与对象进行交互之前引起对对象的呈现的最强生理响应的界面反馈特征)。例如，通过将预期瞳孔直径(例如，对于从蓝色到粉红色的变化的4mm的瞳孔直径，和对于从蓝色到橙色的变化的3mm的瞳孔直径)进行比较，设备可确定对界面反馈使用粉红色突出显示，以引起用户的更大的预期瞳孔直径。

图6示出了图5中所选择的界面反馈的应用。在一些具体实施中，通过继续向用户呈现界面反馈，设备可基于用户对对象的呈现的生理响应来确定用户与对象进行交互的意图。例如，***可基于用户是否呈现与将发生界面反馈条件的用户期望相关联的生理特征来识别用户打算与对象进行交互。因此，在一些具体实施中，设备可基于识别的用户对界面反馈条件的期望而代表用户执行交互，而不是与对象物理地交互。

在一些具体实施中，当用户正在使用设备时，设备在用户与对象交互时继续使用所选择的界面反馈，并且还基于对向用户呈现的对象的生理响应(例如，兴奋瞳孔直径)来预测用户期望或打算与对象进行交互(例如，点击对象)。此外，通过利用界面反馈(例如，在期望界面反馈时引起最大瞳孔直径的界面反馈)，可增强设备识别预测的生理响应的能力。例如，一旦选择了按钮从蓝色变为粉红色的界面反馈，设备就可采用该界面反馈，使得在用户点击该按钮之后，该按钮从蓝色变为粉红色；然后，设备可测量用户的瞳孔直径以基于用户的预期瞳孔直径来预测按钮点击。

因此，通过识别与对视觉特征的期望相关联的生理数据，设备可在呈现刺激时识别用户的突出的生理状态并预测用户打算与该刺激进行交互。例如，用户可习惯于期望与对象20(例如，按钮)相关联的视觉特征的变化(例如，颜色的变化)，并且可基于该期望呈现生理状态的变化。此外，设备可响应于所识别的用户意图或期望而自动执行与对象的交互。又如，如果用户已习惯于期望他的电话上的拨号按钮在被点击之后从灰色变为绿色，并且该电话已识别用户在期望拨号按钮变为绿色时(例如，在选择拨号按钮之前)表现出3mm的兴奋瞳孔直径，则该电话可使用对3mm的兴奋瞳孔直径的检测来拨打电话并显示拨号按钮变为绿色的特征(例如，无需用户物理地点击拨号按钮)。

在一些具体实施中，该对象还包括听觉属性，这些听觉属性被调整以唤起更大的生理意图之类的响应，这些响应能够用来预测即将发生的刺激变化。例如，即使对象是可见的，它也可具有在选择(例如，发出声音特征、振动、特殊气味等)之后同样可改变的听觉特征(或其他感官特性诸如触觉、嗅觉等)。此外，由于对象是在空间上定义的，因此在一些具体实施中，使用空间音频渲染。

在一些具体实施中，设备基于识别用户与对象的典型交互来从用户获取生理数据。例如，设备可确定用户的瞳孔响应与与对象的交互相关联；然后，设备可调整对象的视觉特征以增强与与对象的将来交互相关联的瞳孔响应。此外，在一些具体实施中，在用户与对象进行交互之后改变视觉特征告知在与对象的后续交互中的用户的生理响应。例如，在视觉特征被改变之前，用户可呈现与视觉特征的变化相关联的预期生理响应。因此，在一些具体实施中，设备基于预期生理响应来识别用户与对象进行交互的意图。例如，设备可通过捕获或存储基于用户与对象的交互的用户的瞳孔响应(包括用户对对象的增强的视觉特征的响应)来适应或训练其自身，并且可通过识别用户在期待增强的视觉特征显示时(例如，在与对象的交互之前)的生理响应来检测用户与对象进行交互的将来意图。

在一些具体实施中，估计器或统计学习方法用于更好地理解或预测生理数据(例如，瞳孔直径)。例如，可通过利用替换来对数据集进行采样(例如，自助法)来估计瞳孔响应数据的统计。

图7是示出随时间推移的瞳孔响应的图表700，其包括生理数据的基线时变图案710，例如随时间(x轴)变化的自助瞳孔直径(y轴)。在一些具体实施中，设备10可调节与对象20相关联的视觉特征30被改变或调整的程度，以增加在交互开始时在瞳孔50的调节中发现的信噪比。例如，加强的瞳孔信号可通过二元分类器进行阈值处理或与基线瞳孔响应(例如，生理数据的基线时变图案710)进行比较，以检测针对特定项目或对象的意图。

在一些具体实施中，反馈随时间推移而持续变化，使得根据呈现的瞳孔直径55调节视觉特征30的强度，并且在一些具体实施中，连续反馈信号促进错误驱动学习以改善使用瞳孔50的意图控制。例如，可在初始化时提供一组预定义反馈参数，或者可在特定用户体验内训练设备10，其中确定预定义反馈参数以提供更显著的瞳孔响应。此外，可限定界限，这些界限将视觉特征30的视觉外观和感受保持在由设计者限定的可接受范围内，使得对象20或视觉特征30不进入不期望的反馈回路。例如，通过将不期望的视觉特征30与对象相关联，例如，快速闪烁或一些其他不希望的动画，限定的界限可防止设备10使瞳孔调节最大化。在一些具体实施中，可对设备10进行多组用户生理数据的训练，然后单独地适应于每个用户。

在一些具体实施中，在评估将视觉特征30调节或调整多少以增强用户25对视觉特征30的生理响应(例如，瞳孔响应)时，设备10还将对用户25的现实世界环境5(例如，视觉品质诸如亮度、对比度、语义背景)作出解释。如图7所示，生理数据的例示性时变图案730表现出与用户意图(例如，选择)的时刻720重合的峰750。例如，用户意图的时刻720可与由用户25进行的“点击”重合。同样，图7还包括生理数据的示例性时变图案740，其包括指示用户意图的时刻720的峰760。

此外，时变图案730表示对特定类型(例如，红色突出显示)的视觉特征30的用户响应，时变图案740表示对不同类型(例如，绿色突出显示)的视觉特征30的用户响应，使得检测到的与时变图案740相关联的生理数据大于与时变图案730相关联的生理数据，例如，用户在时变图案740中表现出比在时变图案730中更多的生理响应。例如，可响应于特定颜色(例如，绿色)的视觉特征而记录时变图案730，可响应于不同的颜色(例如，红色)的视觉特征而记录时变图案740。因此，不同的视觉特征可引起相对于基线生理响应的区别更大的生理响应。时变图案730和740还示出了在意图的时刻720之后的其中生理响应增加的时间段。在一些具体实施中，生理响应的这种增加基于对视觉特征30进行的改变、调整或增强，因此视觉特征30可用于驱动在时变图案(例如，时变图案730或时变图案740)中相对于基线响应(例如，基线时变图案710)的增加。如果先前已确定用户对绿色的响应最好，例如，通过逐渐地从黄色变为绿色，视觉特征可驱动用户瞳孔直径的增大。

如图8A和图8B所示，在一些具体实施中，生理数据可随时间变化，并且设备10可使用生理数据来检测图案。在一些具体实施中，图案是生理数据从一个时间到另一个时间的变化，并且在一些其他具体实施中，图案是一段时间内生理数据的一系列变化。基于检测到图案，设备10可识别用户25与对象20进行交互的兴趣或意图，并且可调整视觉特征30以进一步识别用户25的兴趣或意图。例如，可通过检测用户的瞳孔响应的图案来识别用户25选择对象20的意图，可调整与对象20相关联的视觉特征30(例如，将对象的背景从蓝色变为绿色)，并且用户对调整后的视觉特征30的瞳孔响应可用于确认用户选择对象20的意图。此外，设备10可识别和用户25与对象20的交互相关联的图案，并且可调整视觉特征30以便更好地促进将来识别和用户25与对象20的交互相关联的图案。

图8A是示出对生理数据的图案的检测的图表800。图表800示出了生理数据的时变图案805，例如瞳孔扩张(y轴)随时间(x轴)推移的量。基于与对象20相关联的所显示的视觉特征30，图案805可包括可被设备10解释为用户25对对象20的兴趣或意图的指示的峰图案810。在一些具体实施中，设备10利用经训练的模型以确定峰图案810指示用户25正在峰图案810的时间期间非自愿地发信号通知用户25的兴趣或意图，例如，基于用户在该时间段内正在观看或以其他方式体验到的东西。

在一些具体实施中，设备10利用训练或校准序列来适应特定用户25的特定生理特性。在一些具体实施中，设备10向用户25呈现训练场景，在该场景中指示用户25与屏幕项目(例如，对象20)进行交互。通过向用户25提供已知意图或感兴趣区域(例如，经由指令)，设备10可记录用户的生理数据(例如，瞳孔响应)并识别与用户的意图或兴趣40相关联的图案。在一些具体实施中，设备10改变与对象20相关联的视觉特征30，以便进一步适应用户25的独特生理特征。例如，设备10可指示用户在数到三时主观上选择屏幕中心的按钮，并记录用户的生理数据45以识别与用户的意图或兴趣40相关联的图案。此外，设备10可改变或变更与按钮相关联的视觉特征，以便识别与用户对变更的视觉特征的生理响应相关联的图案。在一些具体实施中，与用户25的生理响应相关联的图案被存储在与该用户相关联的用户配置文件中，并且可在将来的任何时间更新或重新校准该用户配置文件。例如，在用户体验期间可随时间推移自动修改用户配置文件以提供更个性化的用户体验。

在一些具体实施中，应用机器学习模型(例如，经训练的神经网络)来识别生理数据中的图案，包括识别对与对象20相关联的视觉特征30的生理响应。

此外，该机器学习模型可用于将这些图案与对应于用户25与对象20进行交互的兴趣或意图的指示相匹配。在一些具体实施中，设备10可学习特定于特定用户25的图案。例如，设备10可从确定峰图案810表示用户25响应于特定视觉特征30的兴趣或意图的指示开始学习，并且使用该信息以随后识别类似的峰图案820作为用户25的兴趣或意图的另一指示。这种学习可考虑到用户与多个视觉特征30的相对交互，以便进一步调整视觉特征30并增强用户的生理响应。

图8B是示出生理数据(例如，基于所测量的瞳孔扩张)和外源信号860(例如，设备10处的环境光的量度)的图表850。外源信号860对应于可能影响生理数据的任何因素的量度。例如，设备10处的环境光的量可导致用户眼睛的扩张量的变化，例如，环境光的减弱可导致眼睛的更多扩张等。

在一些具体实施中，基于外源信号860来调整或以其他方式解释生理数据。例如，对应于用户眼睛的扩张的峰图案810可被初步地解释为在给定视觉特征的情况下用户相对于对象的指示。由于外源数据860在峰810的时间段期间是水平的(例如，指示恒定的环境光水平)，因此接受应将该扩张解释为意图或兴趣的指示的确定。

相比之下，可类似地将对应于用户眼睛的扩张的峰图案890初步解释为意图或兴趣的指示，但该确定可被拒绝。在该示例中，外源信号860指示在与峰图案890相同的时间段内的增加870和之后的减少880。因此，外源信号可对应于导致峰图案890的外源因素(而不是用户25的兴趣或意图)。因此，设备10可拒绝将峰图案890的初步解释为意图或兴趣的指示。在一些具体实施中，使用模型来解释外源信号，例如，训练模型以解释生理数据中的在与外源信号中的图案相同的时间段期间出现的图案。

在一些具体实施中，对应于瞳孔直径变化的外源信号由环境光变化、色度变化、眼睛适应、内容照明变化、周期性瞳孔扩张、环境噪声的变化或设备的运动的变化引起。例如，环境光的增加可对应于瞳孔直径的减小。同样，内容照明的色变或变化可对应于瞳孔直径的增大或减小。此外，外源信号也可与毒品或药物的使用相关。例如，麻醉制剂或阿片类药物可与瞳孔的缩小相关联，并且***或***可与瞳孔的扩大相关联。在一些具体实施中，基于瞳孔响应，设备10检测对应于一个或多个外源因素的图案，例如，基于使用机器学习模型来学习此类图案。设备10可将对应于兴趣或意图的生理数据的图案与对应于外源因素的生理数据的图案区分开，例如，基于使用机器学习模型来学习这种区别。

在一些具体实施中，设备10检测用户25的眼睛45的位置和用户25的瞳孔50的位置，例如，通过处理和分析从一只或两只眼睛反射的光(通常是红外和/或由红-绿-蓝-加色模型产生的颜色)的图像，以便定位和测量瞳孔的直径。反射光可源自设备10的光投射源，或任何其他天然(例如，太阳光)或人造(例如，灯)光源。使用诸如检测瞳孔中心角膜反射(PCCR)的技术，设备10可处理和分析从眼睛45的元件(包括瞳孔50)反射的光的图像，以便确定瞳孔50的直径。另外，设备10可将从用户25的眼睛45反射的光(例如，来自设备上或其他地方的照明源)处理为闪光。

在一些具体实施中，用户25的头部27的位置和特征(例如，眼睛、鼻部或鼻孔的边缘)由设备10提取并且用于查找用户25的眼睛45的粗略位置坐标，从而简化精确眼睛45特征(例如，位置、注视方向等)的确定，并且使得瞳孔直径55测量更可靠和稳健。此外，设备10可容易地将头部27的3D部件的位置与通过眼睛部件图像分析获得的注视角度信息组合，以便识别用户25在任何给定时间观看到的给定屏幕对象。在一些具体实施中，使用3D标测结合注视跟踪允许用户25自由地移动其头部27和眼睛45，同时减少或消除使用头部27上的传感器或发射器主动跟踪头部27的需要。

通过跟踪眼睛45，一些具体实施减少了在用户25移动其头部27之后重新校准用户25的需要。在一些具体实施中，设备10使用深度信息来跟踪瞳孔50的移动，从而使得能够基于用户25的单次校准来计算可靠的呈现的瞳孔直径55。利用诸如瞳孔中心角膜反射(PCCR)、瞳孔跟踪和瞳孔形状的技术，设备10可从头部27的定点计算瞳孔直径55以及眼睛45的注视角度，并且使用头部27的位置信息以便重新计算注视角度。除了减少的重新校准之外，跟踪头部27的进一步有益效果可包括减少光投射源的数量并减少用于跟踪眼睛45的相机的数量。

因为在一些具体实施中，用户意图是基于用户25的眼睛45来自动确定的，所以可促进选择和其他交互而不一定需要用户25在物理输入设备上采取动作。.例如，通过向设备10提供用于在用户界面中进行导航的更快、更有效的方法和界面(例如，对象20可以是用户界面的可选按钮)，可以改进在用户界面中进行导航的常规方法。此外，此类方法和界面可减轻对用户25所造成的认知负担，并且产生更有效的人机界面。对于电池驱动的计算设备，此类方法和界面可节省功率，并且增大电池充电之间的时间间隔。此外，一些具体实施基于检测与生理数据相关联的图案来增强用户界面的导航。

根据一些具体实施，在设备10的屏幕上显示具有一个或多个可选对象的用户界面，并且用户25的兴趣或意图与这些可选对象中的一个相关联。此外，在一些具体实施中，用户25的兴趣或意图与选择可选对象中的一个相关联。在一些具体实施中，设备10收集对应于用户与对象20进行交互的兴趣或意图的生理数据。此外，设备10然后可增强与对象20相关联的视觉特征30。

在一些具体实施中，设备10将手势作为自愿数据(例如，用户25能够控制的行为)接收。例如，可基于用户的语音输入、手势、触摸输入、按键等来接收自愿数据。在一些具体实施中，用户与对象20进行交互的兴趣或意图与用户25和设备10通信的多种类型的输入(即，多模态)相关联。例如，不止一个低承诺自愿交互可组合地与用户25的兴趣或意图相关联。

为计算设备提供了更快、更高效的方法和界面以用于导航用户界面，从而提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于导航用户界面的常规方法。

在一些具体实施中，设备10使用检测的生理数据图案来控制设备10的功能。在一些具体实施中，设备10(例如，在用户注视方向的位置处)识别呈现在设备的显示器15上的特定对象20，并且基于识别的用户25的兴趣或意图来响应性地改变对象20的状态。

在一些具体实施中，改变给定交互式项目的状态包括执行与给定交互式项目相关联的操作。例如，交互式项目可包括菜单选项，用户25可选择该菜单选项以在显示器15上呈现特定内容(例如，电影或电视节目)。在一些具体实施中，设备10通过将从用户25接收到的输入导向给给定交互式项目来改变给定交互式项目的状态。在一些具体实施中，设备10基于其他数据来识别给定的交互式项目并且基于识别的用户兴趣或意图与交互式项目进行交互。例如，如果用户25正在注视可选按钮，则设备10可基于用户的注视来识别可选按钮，然后基于识别的用户兴趣或意图来选择可选按钮。

在一些具体实施中，设备10在用户注视方向上的位置处识别呈现在设备10的显示器15上的对象20。此外，设备10可响应于从用户25接收的口头言语命令以及识别的用户25的兴趣或意图来改变与对象20相关联的视觉特征30的状态。例如，对象20可以是与软件应用程序相关联的图标，并且用户25可注视该图标，说出单词“选择”以选择该应用程序，并且可对该图标应用突出显示效果。然后，设备10可响应于视觉特征30而使用其他生理数据来进一步将用户25的兴趣或意图识别为对用户的言语命令的确认。在一些具体实施中，设备10被配置为响应于用户注视的方向而识别给定交互式项目，并且响应于生理数据(例如，瞳孔数据)而操纵该给定交互式项目。然后，设备10可基于用生理数据进一步识别用户兴趣或意图来确认用户注视的方向。在一些具体实施中，设备10基于识别的兴趣或意图来移除交互式项目或对象。在其他具体实施中，在确定了用户25的兴趣或意图时，设备10自动捕获内容的图像。

在一些具体实施中，设备10被配置为提供渐进式界面。渐进式界面可帮助来自用户25的自愿输入与生理数据(例如，用户25的一个或多个非自愿特征)组合或由生理数据支持的可用性。例如，通过调整视觉特征30，设备10可向用户25提供关于识别的用户25的兴趣或意图的渐进式反馈，同时引起对视觉特征30的调整的增强的生理响应。在一些具体实施中，设备10响应于检测生理数据的图案或响应于接收自愿用户输入而开始与用户25进行低承诺交互。例如，响应于对与对象20进行交互的用户兴趣或意图的一个或多个低置信度检测，设备10可修改或调整与对象20相关联的视觉特征(例如，用最佳颜色突出显示对象)。在一些具体实施中，对视觉特征30的修改可指示用户25渐进地执行更高承诺动作以确认与对象20进行交互的用户兴趣或意图。例如，设备10可响应于来自用户25的进一步输入来执行或删除项目。

作为节电特征，设备10可检测用户25何时不观看显示器并且设备10可激活省电技术，例如，在用户25移开目光超过某个阈值时间段时禁用生理传感器。此外，在一些具体实施中，在用户25不观看显示器时，设备10使显示器变暗或完全变黑(例如，降低亮度)。在用户25再次观看显示器时，设备10可停用节电技术。在一些具体实施中，设备10使用第一传感器跟踪生理属性，然后基于该跟踪来激活第二传感器以获取生理数据。例如，设备10可使用相机来识别用户25正在朝着设备10的方向观看，然后在确定用户25正朝设备10的方向观看时激活眼睛传感器。

在一些具体实施中，确定用户意图和输入设备10的组合用于创建交互式用户界面，该交互式用户界面利用输入设备10来识别屏幕交互式项目并且确定用户在与屏幕交互式项目进行交互时的兴趣或意图。例如，用户25可使用鼠标基于用户所确定的兴趣或意图来选择屏幕上的交互式项目，例如，由确定用户的兴趣或意图而不是鼠标点击触发的“鼠标点击”类型事件。在一些具体实施中，确定用户意图和注视跟踪的组合用于创建交互式用户界面，该交互式用户界面可检测用户25正在观看(例如，注视跟踪)哪个屏幕交互式项目并且确定用户在与屏幕交互式项目进行交互时的兴趣或意图，从而避免对鼠标和/或键盘的需要。

此外，确定用户兴趣或意图与其他模态(诸如注视跟踪、面部手势检测、3D标测/手势检测和/或语音检测)的组合使得用户25能够在不使用鼠标或触摸屏的情况下完全控制屏幕对象。这样，用户25可执行全范围的指向和选择功能，包括搜索大量的信息项目和选择。组合的界面模式还可用于在某个交互式项目的上下文中搜索和执行控制功能，诸如在打开的文件内执行查找、剪切、复制和粘贴功能。在一些具体实施中，设备10识别第一兴趣或第一兴趣组，然后基于先前识别的兴趣渐进地识别第二兴趣或第二兴趣组。

在一些具体实施中，设备10利用训练或校准序列来适应特定用户25的特定生理特性。在一些具体实施中，设备10向用户25呈现训练场景，在该场景中指示用户25与屏幕项目进行交互。通过向用户25提供与已知对象20相关联的一个或多个已知视觉特征30，设备10可记录用户的生理数据并识别与用户的意图或兴趣相关联的图案。例如，设备10可指示用户25在数到三时聚焦在显示器15的中心的红色按钮上，并记录用户的生理数据以识别与在涉及绿色视觉特征30时的用户的意图或兴趣相关联的图案。然后，设备10可利用多个其他不同颜色的按钮重复相同的过程，以便识别引起用户25的最强生理响应的颜色。在一些具体实施中，与用户的意图或兴趣相关联的图案、与特定视觉特征30相关联的生理数据，或相对于用户25的特定视觉特征30的排名或分析被存储在与该用户相关联的用户配置文件中，并且该用户配置文件可在将来的任何时间更新或重新校准。例如，在用户体验期间可随时间推移自动修改用户配置文件以提供更个性化的用户体验。

图9是根据一些具体实施的设备10的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备10包括一个或多个处理单元902(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器906、一个或多个通信接口908(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口910、一个或多个显示器912、一个或多个面向内部和/或面向外部的图像传感器914、存储器920以及用于互连这些部件和各种其他部件的一条或多条通信总线904。

在一些具体实施中，一条或多条通信总线904包括互连和控制***部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器906包括以下项中的至少一个：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器912被配置为向用户25呈现用户体验。在一些具体实施中，一个或多个显示器912对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)、视网膜投影***和/或类似显示器类型。在一些具体实施中，一个或多个显示器912对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对用户25的每只眼睛的显示器，例如，HMD。在一些具体实施中，一个或多个显示器912能够呈现MR内容，包括VR或AR内容。

在一些具体实施中，一个或多个图像传感器***914被配置为获取与包括用户25的眼睛的用户25的面部的至少一部分对应的图像数据。例如，一个或多个图像传感器***914包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器***914还包括在用户25的面部的一部分上发射光的照明源，诸如闪光灯或闪光源。

存储器920包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器920包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920任选地包括远离一个或多个处理单元902定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。在一些具体实施中，存储器920或者存储器920的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作***920和用户体验模块940。

操作***930包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些具体实施中，用户体验模块940被配置为呈现用户体验，该用户体验利用生理数据经由一个或多个输入/输出(I/O)设备和传感器906经由对用户25进行情景感知动态失真校正来识别用户25的兴趣或意图。为此，在各种具体实施中，用户体验模块940包括生理特征跟踪单元942、呈现单元944和视觉特征调整单元946。

在一些具体实施中，生理特征跟踪单元942被配置为获取生理数据(例如，瞳孔扩张、脑电图等)并使用获取的生理数据来识别生理数据的图案。为此，在各种具体实施中，生理特征跟踪单元942包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，呈现单元944被配置为经由一个或多个显示器912呈现与视觉特征相关联的对象。为此，在各种具体实施中，呈现单元944包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，视觉特征调整单元946被配置为调整视觉特征以增强对调整后的视觉特征的生理响应(例如，瞳孔响应)。为此，在各种具体实施中，视觉特征调整单元946包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管生理特征跟踪单元942、呈现单元944和视觉特征调整单元946被示出为驻留在单个设备(例如，设备10)上，但是应当理解，在其他具体实施中，这些单元的任何组合可位于单独的计算设备中。

此外，图9更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图7中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图10示出了根据一些具体实施的示例性头戴式设备1000的框图。头戴式设备1000包括容纳头戴式设备1000的各种部件的外壳1001(或封装件)。外壳1001包括(或耦接到)设置在外壳1001的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备1000保持在用户25的面部上的适当位置(例如，围绕用户25的眼睛)。

外壳1001容纳显示器810，该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器1010通过具有一个或多个透镜1005的目镜发射光，该透镜折射由显示器1010发射的光，使显示器对用户25显示为比从眼睛到显示器1010的实际距离更远的虚拟距离。为了使用户25能够聚焦在显示器1010上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳1001还容纳跟踪***，该跟踪***包括一个或多个光源1022、相机1024和控制器1080。一个或多个光源1022将光发射到用户25的眼睛上，其反射为可由相机1024检测的光图案(例如，闪光圈)。基于该光图案，控制器880可确定用户25的眼睛跟踪特征。例如，控制器1080可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器1080可确定瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源1022发射，从用户25的眼睛反射，并且由相机1024检测。在各种具体实施中，来自用户25的眼睛的光在到达相机1024之前从热镜反射或通过目镜。

显示器1010发射第一波长范围内的光，并且一个或多个光源1022发射第二波长范围内的光。类似地，相机1024检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内约为400-700nm的波长范围)，第二波长范围是近红外波长范围(例如，近红外光谱内约为700-1400nm的波长范围)。

在各种具体实施中，眼睛跟踪(或者具体地讲，确定的注视方向)用于使用户能够进行交互(例如，用户25通过观看显示器1010上的选项来选择它)，提供有孔的渲染(例如，在用户25正在观看的显示器1010的区域中呈现更高的分辨率并且在显示器1010上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器1010上提供的图像)。

在各种具体实施中，一个或多个光源1022朝向用户25的眼睛发射光，该光以多个闪光的形式反射。

在各种具体实施中，相机1024是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。

在各种具体实施中，相机1024是在多个相应位置处包括多个光传感器(例如，光传感器矩阵)的事件相机，这些光传感器响应于特定光传感器检测到光强度变化而生成指示特定光传感器的特定位置的事件消息。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本发明技术的一个方面是收集和使用生理数据以改善用户在与电子内容进行交互方面的电子设备体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进电子设备的交互和控制能力。因此，使用此类个人信息数据使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥***来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问其存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他情况下，没有详细地介绍普通技术人员已知的方法、设备或***，以便避免使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个***不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机***，其访问存储的软件，该软件将计算***从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，尽管术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”(“a”“an”)和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“comprises”或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (25)

1.一种方法，所述方法包括：

在包括处理器、计算机可读存储介质、显示器和传感器的设备处：

在所述显示器上向用户显示与对象相关联的视觉特征；

使用所述传感器获取与所述用户对所述视觉特征的第一瞳孔响应相关联的第一生理数据；

基于获取的所述第一生理数据调整所述视觉特征，以增强所述用户对所述对象的瞳孔响应；以及

显示具有调整后的视觉特征的所述对象。

2.根据权利要求1所述的方法，还包括：

获取与所述用户对所述调整后的视觉特征的第二瞳孔响应相关联的第二生理数据；以及

基于获取的所述第二生理数据确定所述用户与所述对象交互的意图。

3.根据权利要求1至2中任一项所述的方法，其中所述第一生理数据包括所述用户的眼睛的瞳孔直径或所述用户的所述眼睛的所述瞳孔直径的变化。

4.根据权利要求1至3中任一项所述的方法，其中调整所述视觉特征包括：

获取与所述视觉特征的多种变型中的每个变型相对应的瞳孔扩张数据；以及

基于所述瞳孔扩张数据选择所述变型中的一个变型以调整所述视觉特征。

5.根据权利要求1至3中的任一项所述的方法，其中确定所述用户的所述意图包括检测瞳孔扩张图案。

6.根据权利要求5所述的方法，其中检测所述瞳孔扩张图案包括：对与所述瞳孔直径数据中的瞳孔直径变化相对应的外源信号作出解释，所述瞳孔直径变化是由环境光变化、色度变化、所述眼睛的适应、内容照明变化、周期性瞳孔扩张、环境噪声的变化、所述设备的运动的变化、场景的亮度、认知负荷或用户摄入的咖啡因引起。

7.根据权利要求1至6中任一项所述的方法，其中确定所述用户的所述意图包括应用经训练以识别生理数据中与用户意图相对应的图案的机器学习技术。

8.根据权利要求1至7中任一项所述的方法，其中确定所述用户的所述意图包括识别在特定时刻或在将来执行移动、作出决定或选择对象的意图。

9.根据权利要求1至8中任一项所述的方法，其中所述设备是手持设备、膝上型计算机，或台式计算机，或头戴式设备(HMD)。

10.根据权利要求1至9中任一项所述的方法，其中所述视觉特征是所述对象的颜色属性、所述对象的尺寸、所述对象的形状，或接近所述对象的内容的属性。

11.根据权利要求1至10中任一项所述的方法，其中所述第一生理数据是基于识别所述用户与所述显示的对象的交互而获取的。

12.一种***，包括：

具有显示器和传感器的设备；

处理器；以及

一种包括指令的计算机可读存储介质，所述指令在由所述处理器执行时使得所述***执行操作，所述操作包括：

在所述显示器上向用户显示与对象相关联的视觉特征；

使用所述传感器获取与所述用户对所述视觉特征的第一瞳孔响应相关联的第一生理数据；

基于获取的所述第一生理数据调整所述视觉特征，以增强所述用户对所述对象的瞳孔响应；以及

显示具有调整后的视觉特征的所述对象。

13.根据权利要求12所述的***，其中所述操作还包括：

获取与所述用户对所述调整后的视觉特征的第二瞳孔响应相关联的第二生理数据；以及

基于获取的所述第二生理数据确定所述用户与所述对象交互的意图。

14.根据权利要求12至13中任一项所述的***，其中所述第一生理数据包括所述用户的眼睛的瞳孔直径或所述用户的所述眼睛的所述瞳孔直径的变化。

15.根据权利要求12至14中任一项所述的***，其中调整所述视觉特征包括：

获取与所述视觉特征的多种变型中的每个变型相对应的瞳孔扩张数据；以及

基于所述瞳孔扩张数据选择所述变型中的一个变型以调整所述视觉特征。

16.根据权利要求12至14中的任一项所述的***，其中确定所述用户的所述意图包括检测瞳孔扩张图案。

17.根据权利要求16所述的***，其中检测所述瞳孔扩张图案包括：对与所述瞳孔直径数据中的瞳孔直径变化相对应的外源信号作出解释，所述瞳孔直径变化是由环境光变化、色度变化、所述眼睛的适应、内容照明变化、周期性瞳孔扩张、环境噪声的变化、所述设备的运动的变化、场景的亮度、认知负荷或用户摄入的咖啡因引起。

18.根据权利要求12至17中任一项所述的***，其中确定所述用户的所述意图包括应用经训练以识别生理数据中与用户意图相对应的图案的机器学习技术。

19.根据权利要求12至18中任一项所述的***，其中确定所述用户的所述意图包括识别在特定时刻或在将来执行移动、作出决定或选择对象的意图。

20.根据权利要求12至19中任一项所述的***，其中所述设备是手持设备、膝上型计算机，或台式计算机，或头戴式设备(HMD)。

21.根据权利要求12至20中任一项所述的***，其中所述视觉特征是所述对象的颜色属性、所述对象的尺寸、所述对象的形状，或接近所述对象的内容的属性。

22.根据权利要求12至21中任一项所述的***，其中所述第一生理数据是基于识别所述用户与所述显示的对象的交互而获取的。

23.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机可执行的程序指令以执行包括以下项的操作：

由包括显示器和传感器的设备显示与对象相关联的视觉特征；

使用所述传感器获取与用户对所述视觉特征的第一瞳孔响应相关联的第一生理数据；

由所述设备基于获取的所述第一生理数据调整所述视觉特征，以增强所述用户对所述对象的瞳孔响应；以及

由所述设备显示具有调整后的视觉特征的所述对象。

24.一种方法，所述方法包括：

在包括处理器、计算机可读存储介质、显示器和传感器的设备处：

评估期望在与用户界面中的对象交互之后界面反馈的用户的生理响应，使用多个替代的界面反馈特征来将所述生理响应与期望所述界面反馈的所述用户相关联；

基于评估所述生理数据，选择所述替代的界面反馈特征中的一个界面反馈特征；以及

显示所述对象，其中对显示的所述对象的选择使用所选择的所述界面反馈特征来提供所述界面反馈。

25.根据权利要求24所述的方法，还包括：

在对所显示的对象的选择之前获取对所述对象的生理响应；以及

基于所述获取的生理响应确定所述用户与所述对象交互的意图；以及

基于确定所述用户与所述对象交互的所述意图来启动与所述对象的交互。

Images