CN115334957A - 用于对瞳孔心理感觉反应进行光学评估的***和方法 - Google Patents

Abstract

本公开涉及用于测量和分析瞳孔心理感觉反应的***和方法。电子设备被配置为接收具有至少两个帧的视频数据。然后，该电子设备在视频数据中定位一个或多个眼睛对象，并且确定一个或多个眼睛对象的瞳孔尺寸和虹膜尺寸。该电子设备通过跟踪整个视频中瞳孔直径与虹膜直径的比率，来确定一个或多个眼睛对象的瞳孔心理感觉反应。可以确定瞳孔心理感觉反应的几种指标(例如，该比率的变化速度、该比率随时间推移的变化的峰间幅值，等等)。这些指标可以用作单个会话中个体的认知能力和精神健康的量度，或者在多个会话期间被跟踪。

Description

用于对瞳孔心理感觉反应进行光学评估的***和方法

相关申请的交叉引用

本申请要求获得2020年1月13日提交的美国临时申请号62/960,566的权益和优先权，该临时申请据此全文以引用方式并入本文。

技术领域

本公开涉及用于对心理感觉反应进行光学评估的***和方法，并且更具体地，涉及用于测量和分析瞳孔心理感觉反应的***和方法。

背景技术

响应于各种外部(如，光)和内部(如，认知/情感)刺激，瞳孔进行缩小和扩大。瞳孔反应主要是以瞳孔光反应(PLR)为背景，针对生理健康的许多方面使用常规测量方法来评估的，这些常规测量方法诸如定性测量(如临床医生用笔形电筒观察)或替代测量(如瞳孔计)。瞳孔计价格昂贵，高达4,500美元，主要用于医疗环境，且必须由经过培训的临床医生使用。除体现生理健康状况之外，个体的瞳孔反应还可以体现心理感觉，从而向观察者提供关于个体内在状态的附加信息。也就是说，瞳孔不仅响应于外部光而收缩和扩张(如就PLR而言)，而且还可以响应于认知和/或情绪刺激而扩张和收缩。瞳孔响应于认知和/或情绪刺激而扩张和收缩是瞳孔心理感觉反应。

发明内容

瞳孔心理感觉反应也难以检测，因为瞳孔的这种反应或瞳孔直径的最终百分比变化与瞳孔直径响应于光的变化相比更低。因此，以前需要使用常规的瞳孔计来检测心理感觉反应，这将要求患者或用户能够使用瞳孔计，并且通常会要求患者处于医疗保健环境中，从而限制了其应用。而且，这些常规的瞳孔***不是标准化的，需要刻意训练，并且观察者之间的可靠性或再现性很差。此外，这些常规***需要一对一的观察，并且需要：(1)适当的环境照明条件，(2)面部/眼睛的正确对准，(3)引起瞳孔反应的充分刺激，和/或(4)用于执行外部图像处理/特征提取的足够的处理能力。

因此，已经开发了使用本发明所公开的不需要瞳孔计的图像处理技术来评估瞳孔心理感觉反应的***和方法。所以，本发明所公开的这些***和方法可以处理图像数据并且检测响应于认知刺激的瞳孔直径变化。因此，这些***和方法可以有效地用于多种应用，包括测谎、认知努力检测，以及多种保健应用(例如，阿尔茨海默氏症或其他神经退行性疾病)。此外，本文所公开的数据说明，本发明所公开的技术以令人惊讶的准确度有效地评估瞳孔心理感觉反应。

根据一些具体实施，本公开提供了一种用于评估瞳孔心理感觉反应的电子设备。该电子设备包括处理器和其上存储有计算机可执行指令的非暂态计算机可读介质，使得当所述指令被执行时，该电子设备被配置为接收视频数据。视频数据包括至少两个帧。该电子设备被进一步配置为在至少两个帧的第一帧中定位一个或多个眼睛对象，并且在第一帧内针对一个或多个眼睛对象中的每个眼睛对象提取相应的虹膜对象。该电子设备被进一步配置为在第一帧内针对一个或多个眼睛对象中的每个眼睛对象提取相应的瞳孔对象。该电子设备被进一步配置为计算在第一帧中定位的一个或多个眼睛对象的第一组瞳孔-虹膜比率(PIR)，并且计算所述至少两个帧的后续帧的后续多组瞳孔-虹膜比率，所述后续多组瞳孔-虹膜比率中的每组比率与在第一帧中定位并且也在后续帧中的每个帧中定位的一个或多个眼睛对象有关。该电子设备被进一步配置为至少部分地基于第一组瞳孔-虹膜比率和后续多组瞳孔-虹膜比率来确定瞳孔心理感觉反应。

在一些具体实施中，该电子设备被进一步配置为使用包括机器学习、Haar级联或深度学习在内的一种或多种图像处理技术来在第一帧中定位一个或多个眼睛对象。

在一些具体实施中，该电子设备被进一步配置为在第一帧中定位一个或多个面部对象，其中一个或多个眼睛对象中的每个眼睛对象被包括在一个或多个面部对象中。

在一些具体实施中，该电子设备被进一步配置为在针对一个或多个眼睛对象中的每个眼睛对象提取相应的虹膜对象和相应的瞳孔对象之前，对一个或多个眼睛对象中的每个眼睛对象进行预处理。

在一些具体实施中，该电子设备被进一步配置为在针对一个或多个眼睛对象中的每个眼睛对象提取相应的虹膜对象和相应的瞳孔对象之前，裁剪出一个或多个眼睛对象中的每个眼睛对象。

在一些具体实施中，该电子设备被进一步配置为在针对一个或多个眼睛对象中的每个眼睛对象提取相应的瞳孔对象之前，针对一个或多个眼睛对象中的每个眼睛对象裁剪出相应的虹膜对象。

在一些具体实施中，该电子设备被进一步配置为计算在第一帧中定位的一个或多个眼睛对象中的每个虹膜对象的第一组虹膜表面面积；并且该电子设备被进一步配置为计算在第一帧中定位的一个或多个眼睛对象中的每个瞳孔的第一组瞳孔表面面积，其中，基于第一组虹膜表面面积和第一组瞳孔表面面积来计算一个或多个眼睛对象的第一组瞳孔-虹膜比率。如本文所用的瞳孔-虹膜比率是瞳孔直径与虹膜直径的比率。在一些具体实施中，一个或多个眼睛对象是属于至少两个个体的两个或更多个眼睛对象。如本文所用的表面面积是帧中虹膜或瞳孔的以像素计的面积。

在一些具体实施中，第一组瞳孔-虹膜比率和后续多组瞳孔-虹膜比率指示一个或多个眼睛对象中的第一眼睛对象的瞳孔-虹膜比率趋势。该电子设备被进一步配置为确定瞳孔心理感觉反应，其通过根据第一眼睛对象的瞳孔-虹膜比率趋势来确定，该瞳孔-虹膜比率趋势表示第一眼睛对象所属的个体经历了以下项中的至少一者：认知负荷、努力、压力、困倦、记忆负荷、强烈情绪、异常/高于平均水平的神经***处理，或者前述项的任何组合。在一些具体实施中，瞳孔-虹膜比率趋势指示，在第一帧和后续帧的至少一部分期间相应的瞳孔-虹膜比率增加描绘个体的心理感觉反应或认知负荷。在一些具体实施中，该电子设备被进一步配置为接收一个或多个客观标记，所述客观标记提供关于个体的附加信息和情境；以及进一步至少部分地基于所述一个或多个客观标记来确定瞳孔心理感觉反应，以便提供情境和附加信息。一个或多个客观标记包括以下项中的一者或多者：声音变化、面部潮红、事实核查、生理反应，或者前述项的任何组合。

在一些具体实施中，该电子设备是智能电话、增强现实或虚拟现实头戴式耳机、电视、计算机或计算机网络。在一些具体实施中，该电子设备还包括被配置为接收视频数据的摄像头。在一些具体实施中，视频数据由该电子设备从外部存储设备接收。

根据一些具体实施，本公开提供了一种用于评估瞳孔心理感觉反应的方法。该方法包括接收视频数据，其中该视频数据包括至少两个帧。该方法还包括在至少两个帧的第一帧中定位一个或多个眼睛对象；在第一帧内针对一个或多个眼睛对象中的每个眼睛对象提取相应的虹膜对象；以及在第一帧内针对一个或多个眼睛对象中的每个眼睛对象提取相应的瞳孔对象。该方法还包括计算在第一帧中定位的一个或多个眼睛对象的第一组瞳孔-虹膜比率；并且计算所述至少两个帧的后续帧的后续多组瞳孔-虹膜比率，所述后续多组瞳孔-虹膜比率中的每组比率与在第一帧中定位并且也在后续帧中的每个帧中定位的一个或多个眼睛对象有关。该方法还包括至少部分地基于第一组瞳孔-虹膜比率和后续多组瞳孔-虹膜比率来确定瞳孔心理感觉反应。

以上内容并不旨在代表本公开的每个实施例或每个方面。相反，前述内容仅提供本文阐述的一些新颖方面和特征的实例。结合附图和所附权利要求，下文通过对代表性实施例和实施本发明的方式进行详细描述，可以清楚地了解本公开的上述特征和优点，及其它特征和优点。

附图说明

附图举例说明了本发明的实施例，并与说明书共同用于解释和阐述本发明的原理。附图旨在以图解方式阐述示例性实施例的主要特征。附图并非旨在示实际实施例的每个特征或所示元素的相对尺寸，并且未按比例绘制。

图1示出了根据本公开的一个实施方案的示例性***100。

图2示出了根据本公开的一个实施方案的用于测量瞳孔反应的示例性***200。

图3示出了根据本公开的一个实施方案的用于评估瞳孔心理感觉反应的示例性方法300。

图4A示出了根据本公开的一个实施方案的示例性瞳孔反应，该瞳孔反应被分成多个子阶段。

图4B示出了根据本公开的一个实施方案的将健康受试者与不健康受试者进行比较的示例性瞳孔反应。

图5-1示出了根据本公开的一个实施方案的响应于言语提示的示例心理感觉反应。

图5-2A示出了在第一实验环境中在无认知负荷下的瞳孔反应的示例。

图5-2B示出了在图5-2A的实验环境中在认知负荷下的瞳孔反应。

图5-3A示出了在第二实验环境中在无认知负荷下的瞳孔反应的示例。

图5-3B示出了在图5-3B的实验环境中在认知负荷下的瞳孔反应。

图6A示出了根据本公开的一个实施方案的对认知负荷的示例性瞳孔反应。

图6B示出了根据本公开的一个实施方案的对认知负荷的示例性瞳孔反应。

图7示出了根据本公开的一个实施方案的随轻度认知障碍而变化的示例性瞳孔反应。

图8示出了根据本公开的一个实施方案的示例性瞳孔分割方法。

图9示出了根据本公开的一个实施方案的示例性瞳孔收缩。

图10示出了根据本公开的一个实施方案的自动检测正确放置的示例性软件应用程序具体实施。

图11示出了根据本公开的一个实施方案的示例性眼睛边界检测。

图12示出了根据本公开的一个实施方案的用于识别第二瞳孔反应的示例性方法。

图13示出了根据本公开的一个实施方案的利用不可见光测量瞳孔反应的示例性方法。

图14对根据本公开的一个实施方案的可见光和不可见光的瞳孔-虹膜分割的示例性数据进行了比较。

具体实施方式

参考附图，对本发明进行了说明。在所有附图中，使用相同的标号来表示相似或相同的元素。附图未按比例绘制，仅用于阐述本发明。下面参考实例应用，对本发明的几个方面进行了描述以进行阐述。应当理解，为了全面了解本发明，对大量具体细节、关系和方法进行了阐述。然而，对于相关领域的普通技术人员来说，很容易认识到可以在缺乏一个或多个具体细节的情况下，或通过其它方法，来实施本发明。在其它情况下，为避免混淆本发明，没有对已知结构或操作进行详细说明。本发明不限于所阐述的操作或事件的顺序，因为一些操作可能以不同的顺序发生，和/或与其它操作或事件同时发生。此外，对于实施根据本发明的方法来说，并非所有阐述的操作或事件是必需的。

概述

本公开涉及用于捕获和评估瞳孔心理感觉反应的***和方法。示例性***在电子设备上提供显示器和摄像头。在一些示例中，摄像头接收瞳孔反射的视频数据，显示器向用户提供输出界面，以观察瞳孔反射是否是由于心理感觉反应引起的。因此，根据本公开的示例性设备提供了一种可扩展(易得到、负担得起并且便捷的)且准确的(客观定量的)***，其可以由用户在各种环境中使用。

例如，从政治家到首席执行官(CEO)，都可能为个人利益而欺骗他人，而不会被揭穿。目前用于分析压力的方法要么是定性的(由心理学家实施)，要么是仅接触式的(通过测谎仪进行)。本公开的实施方案提供了一种定量地分析压力反应而不需要用户对受试者进行身体检查的非接触式方法。用户通过任何手段获得受试者的视频，然后分析该视频，仅仅这样就可以确定受试者的压力反应。

根据本公开的一些实施方案的非接触式压力分析可以用于各种场景。例如，可以联系语境分析政治家的视频，以确定政治家是否在特定的关键词或主题上撒谎。在另一个示例中，上市公司的盈利电话会议或CEO访谈在特定的主题或词语上显示一致的瞳孔心理感觉反应可以有助于更好地预测下个季度的收益。在另一个示例中，本公开让消费者能够在日常生活中使用，这样，一对夫妻在家中仅使用智能电话就能够在交谈期间实时地捕获对方的视频和音频。这款智能电话可以被改造为测谎设备，从而允许这对夫妻相互提问，并且实时地确定瞳孔心理感觉反应是否呈现他们真实的想法。

在一些实例中，所公开的***包括智能手机或其它手持计算设备。通过这样的***可进行频繁和准确的数据收集。在一些示例中，如本文进一步讨论的，本公开规定收集纵向健康数据，该数据可以用于为受试者创建基线瞳孔指标测量结果。因此，本公开提供了可以特定于某些个体的测量结果。例如，一些个体可能对光非常敏感，因此知道他们的基线瞳孔指标可以用于校准本发明所公开的***以获得更准确的结果。

本公开的一些示例还规定将不可见刺激用于图像捕获。使用不可见刺激避免了无意地刺激反射，这种反射将在所捕获的瞳孔反射数据中掺杂干扰数据。红外摄像头还可以提供高分辨率瞳孔图像，以用于有效的特征分割。使用红外光进行图像捕获可能是有利的，因为受试者的眼睛将不会对红外光做出反应。这样，消除了影响所捕获的瞳孔反射数据的环境光的变化造成的影响。

因此，本公开的实施方案提供了非接触式压力检查，从而为检查者提供对受试者的改进的访问方式，并且允许检查者使用计算设备同时分析多个受试者。本公开的实施方案还提供了优于常规方法的其他益处，因为不需要对受试者进行身体检测。如本公开中所讨论的非接触式解决方案比常规解决方案更具可扩展性。有更多可为公众获得的个人视频，特别是可为公众获得的CEO、广播名人或其他公众人物的视频以供分析。

本公开的实施方案利用了先前对于常规方法不可用的若干种技术。例如，高清晰度(HD)即4K及以上的高分辨率视频记录的出现使得能够利用商业级摄像机或消费级摄像机从远距离的高质量视频中提取特征。此外，中央处理单元(CPU)和图形处理单元(GPU)的进步允许实时计算和处理更高分辨率的视频数据。也就是说，可以实时地从较高分辨率的视频数据中提取特征。此外，人工智能(AI)和神经网络软件框架利用CPU/GPU性能的提高而产生的进步允许实现更准确的对象检测和分割。例如，可以识别瞳孔和虹膜。

本公开的实施方案提供了以下***和方法：其利用前面提到的进步来获得心理感觉反应指标，从而对视频数据进行去噪以除去诸如眨眼、镜面反射、运动等伪影。本公开的实施方案可以在商业应用中准确地评估心理感觉反应。

测量瞳孔指标的***

图1提供了根据本公开的一个实施方案的示例性***100。在一些实例中，***100为智能电话、智能手表、平板电脑、计算设备、头戴设备、耳机、虚拟现实设备、增强现实设备、或能够接收和解释物理信号的任何其它设备。***100包括外壳110、显示器112、摄像头114和传感器116。图1示出了***100的正面。

外壳110提供了容纳显示器112、摄像头114和传感器116的壳体。外壳110还包括***100的任何计算组件(未示出)，如处理器、存储器、无线通信元件、和本领域技术人员容易想到的任何其它元件。所述计算组件还包括用于实现下文所述过程的软件。

显示器112，例如，为智能手机、智能手表、光学耳机或任何其它设备的屏幕。在一些实例中，显示器112为LCD屏幕、OLED屏幕、LED屏幕或本领域已知的任何其它类型的电子显示器，用以显示图像、文本或其它类型的图形。例如，所述屏幕设有多个发光二极管或其它用于产生多个像素的装置。每个像素显示一个光刺激。在一些示例中，像素独立地起作用，每个像素提供与其他像素不同的光刺激；在其他示例中，像素协同地起作用以提供协调的光刺激。在一些示例中，一些像素协同地起作用，一些像素则独立地起作用。

显示器112用于发射可见光。在一些实例中，显示器112在其一部分表面区域上发光。在其它实例中，显示器112在其所有表面区域上发光。显示器112发出的光可被控制为自动发光，并可增加或减少可见刺激。在一些示例中，显示器112示出由摄像头114捕获的图像数据和/或视频数据。

摄像头114接收摄像头114前方视野的视频数据。在一些实例中，摄像头114接收照片和/或视频数据。在一些实例中，摄像头114接收连续的照片数据(例如，以秒、毫秒或微秒为间隔)。在一些实例中，摄像头114为可见光摄像头。在一些示例中，摄像头114为红外摄像头。在一些实例中，摄像头114基于检测到特定刺激(如，用户的面部、用户的眼睛、用户的瞳孔、和/或用户的虹膜)，自动启动图像数据捕获。

传感器116包括例如光传感器、环境传感器和/或红外传感器中的任何一种。在一些示例中，传感器116通信地耦接到摄像头114，并且被配置为启动和/或终止由摄像头114进行的图像数据捕获。如图所示，传感器116与摄像头114位于***100的同一侧。在一些实例中，传感器116设置于靠近摄像头114的位置。

在一些示例中，传感器116包括用于捕获声音的麦克风，使得由摄像头114捕获的图像可以与声音相关。在一些示例中，***100包括触摸传感器120作为显示器112的一部分。在一些示例中，***100包括用于播放声音的扬声器118。图1示出了其中多个部件被集成在单个外壳中的特定***具体实施。图2对图1的***100进行了概括，其中所捕获的视频和声音可以来自外部存储器或者可以由摄像头114捕获。

图2示出了根据本公开的一些具体实施的示例性***200，其被配置为接收一个或多个受试者的视频并且处理心理感觉反应。***200可以包括用于捕获视频的视频捕获设备202。视频捕获设备202可以是捕获视频的外部摄像头。视频捕获设备202可以向电子设备204提供所捕获的视频以供处理，或所捕获的视频可以被存储在储存库206中。***200包括电子设备204，并且可以包括储存库206。储存库206存储电子设备204在处理数据时可以使用的数据和其他参数。储存库206可以分布在多个位置，使得电子设备204可以从这些位置中的一个或多个位置检索所捕获的视频数据。也就是说，电子设备204可以访问存储在储存库206中的在线视频，或者可以实时接收视频(例如，网络会议或视频通话)。

在一些具体实施中，电子设备204可以包括视频捕获引擎212。引擎是被配置为执行特定功能的硬件和软件的组合。视频捕获引擎212可以是电子设备204内部的摄像头和存储器。例如，***100中的摄像头114捕获视频数据并将其存储在***100中，从而执行视频捕获引擎212的功能。电子设备204可以将所捕获的视频存储在视频捕获引擎212中，或者可以将所捕获的视频存储在储存库206中。

电子设备204还包括用于提取所捕获的视频中的特征的视频处理引擎214。例如，所捕获的视频可以被存储在视频捕获引擎212中、储存库206中，或者可以从视频捕获设备202接收。视频处理引擎214可以包括一个或多个CPU和/或GPU，用于提取所捕获的视频中的特征。例如，视频处理引擎214可以处理所捕获的视频以识别和隔离一个或多个受试者的面部、一个或多个受试者的虹膜，以及一个或多个受试者的瞳孔。

电子设备204还包括心理感觉判读引擎216，用于确定一个或多个受试者是否在一段时间内正经历心理感觉反应。心理感觉判读引擎216从视频处理引擎214获取虹膜和瞳孔的测量结果，并根据这些测量结果的变化来确定所述一个或多个受试者是否在这段时间内正经历心理感觉反应。心理感觉判读引擎216可以使用一个或多个传感器来确定客观标记，这些客观标记提供关于所述一个或多个受试者的附加信息和情境。客观标记可以包括声音变化、面部潮红、口语词、事实核查、生理反应，或者前述项的任何组合。心理感觉判读引擎216可以使用与所捕获的视频中的图像帧相关联的声音提示来确定心理感觉反应。心理感觉判读引擎216可以使用照明提示来排除在瞳孔反射更可能由环境光引起的情况下的心理感觉反应。

***200可以使用视觉提示来客观地测量受试者的心理感觉反应。瞳孔扩张受到自主神经***的控制，自主神经***还控制着心率，并且是测谎仪所监视的对象。通过识别瞳孔直径的变化，***200可以识别心理感觉自主刺激，诸如但不限于压力、认知负荷、努力、记忆负荷、强烈情绪、异常/高于平均水平的神经***处理，以及困倦。***200可以应用于公众人物和普通人的大量高分辨率视频，以便与话语、措辞、意见或讨论的话题相结合来客观地量化他们的压力水平、认知负荷水平、努力水平和困倦水平。例如，***200可以计算在公众人物公开发言的时间内的瞳孔-虹膜比率，然后提供显示何时存在相对于基线瞳孔-虹膜比率的偏差的索引。***200可以将该索引与其他客观标记(诸如但不限于声音变化、面部潮红，或者甚至是事实核查)相关联。如果由该索引指示的偏差经由这些其他方法在视频中的同一确切时间出现，则***200可以证实相关性，并且确认说话者正在经历瞳孔心理感觉反应，并且/或者说话者可能正在说谎/感到有压力。

分析瞳孔反应的方法

在一些实施方案中，智能电话不仅可以捕获显示瞳孔扩张和收缩的表型数据，而且还可以在本地实时地处理该数据。类似地，也可能在本地处理从眼部/面部测得的其它可量化特征的提取结果(如巩膜颜色和沉积物密度)。所述方法和***还可用于计算动态改变的瞳孔直径。该方法和***可以生成更稳定的基线，在该基线上检测实时检测统计偏差。此类偏差可能指示受试者中的异常情况，尤其是当受试者正在经历认知压力或其他神经***过程时。

本文所述的心理感觉反应测量结果可以在时间上和空间上与其他度量值结合，这些度量值包括但不限于：响应于言语提示或者当用户正在阅读时，用户眨眼速度的自主反射。阅读和理解时的认知努力可以影响眨眼，因为眨眼通过运动皮层被神经***加工，然后导致一只或两只眼睛的可测量的眨眼(其可以是在自主神经***通路中发生的生理变化的量度)。可以由用户在空间和时间可及的范围内有效地测量的这些特征可以在用户的生活环境(例如家庭或非医疗场所)里进行定量和纵向(随时间推移)测量并且以个体为基础建立基线，具有便捷、负担得起和易得到的特点。使用这种数据可以洞悉各种生理***(例如，神经***、心脏***等)的状态。

通过检查受试者的视频(或至少两个帧)来确定心理感觉反应。在一些具体实施中，识别受试者的眼睛。然后，使用计算机视觉图像处理来识别限定虹膜边界和瞳孔边界的形状(或近似圆形)。随后计算瞳孔圆直径与虹膜圆直径的比率。监测该比率随时间推移的变化。该比率从基线升高描绘了受试者的心理感觉反应。

在一些实施方案中，虹膜直径(其不变)被用作归一化器(即，在分母中用于归一化任何瞳孔直径测量结果)，因为其允许对照虹膜参考瞳孔变化。当受试者可能正在向/从摄像头移动时，这种归一化是有帮助的(即，存在固定的基准，并且瞳孔直径与虹膜直径之间的比率是作为时间的函数的无单位值)。

图3示出了可以根据本公开的各种实施例执行的示例性方法300。方法300可以在参考图1和图2所讨论的***100和***200上执行。

方法300开始于310，该步骤接收包括一个或多个个体的一个或多个眼睛对象的视频数据。视频由至少两个图像帧组成，并且对象是在帧的一部分上直观地表示的可识别实体。例如，眼睛对象是在视频的一个或多个帧的一部分上直观地表示的眼睛。如结合图2所讨论的，在310处接收的视频数据可以从视频捕获设备202接收、可以由视频捕获引擎212捕获、可以从储存库206检索，或者可以从电子设备204的内部存储装置或存储器检索。所述一个或多个眼睛对象可以属于一个或多个受试者。也就是说，所接收的视频数据可以在该视频数据的每个帧中包括多个个体。

方法300然后规定处理所接收的视频数据以识别一个或多个眼睛对象中的每个眼睛对象。视频处理引擎214可以在视频数据的每个帧中定位所述一个或多个眼睛对象。视频处理引擎214可以标记所定位的一个或多个眼睛对象中的每个眼睛对象，使得可以在整个视频数据中从一个帧到另一个帧按顺序跟踪相应的眼睛对象。视频处理引擎214可以应用图像处理技术、机器学习技术、深度学习技术等来定位一个或多个眼睛对象。例如，视频处理引擎214可以使用机器学习、Haar级联、深度学习或任何其他分类器来识别视频数据的每个帧中的一个或多个眼睛对象。

在一些示例中，视频处理引擎214在视频数据的每个帧中定位一个或多个面部对象。并且根据一个或多个面部对象，视频处理引擎214仅跟踪被包含在一个或多个面部对象内的一个或多个眼睛对象。也就是说，视频处理引擎214首先定位面部，然后识别所定位的面部内的眼睛，这些眼睛是正被跟踪的眼睛。

方法300然后规定从视频数据中提取瞳孔特征和虹膜特征。特征被广泛地使用，因为视频处理引擎214仅提取所识别的一个或多个眼睛对象的瞳孔对象和虹膜对象。特征可以包括颜色、形状、纹理、区别标记等。在一些具体实施中，不提取虹膜特征，而是仅提取瞳孔特征。

在一些示例中，在提取瞳孔特征和虹膜特征之前，视频处理引擎214确定只有一定数量的所定位的眼睛对象包括足够多的细节用于进一步处理。这样，视频处理引擎214可以丢弃并停止跟踪一个或多个眼睛对象。视频处理引擎214还可以在识别一个或多个眼睛对象中的每个眼睛对象之后修剪并组合结果，以保持眼睛对象具有最佳分辨率。

在一些示例中，视频处理引擎214可以裁剪和预处理一个或多个眼睛对象中的每个眼睛对象。下文将进一步讨论示例性类型的数据预处理。裁剪一个或多个眼睛对象允许更窄的焦点，并且可以节省计算能力，使得视频处理引擎214不是对整个帧进行处理，而仅对感兴趣的区域(在这种情况下是眼睛对象)进行处理。

在一些示例中，视频处理引擎214计算边缘以找到眼睛对象的虹膜对象，然后可以进一步裁剪虹膜。在找到虹膜对象并且通过裁剪虹膜进一步减小要处理的图像区域之后，视频处理引擎214可以计算边缘以找到与所找到的虹膜对象相关联的瞳孔对象。可以进一步修剪结果，以保持找到最佳建议瞳孔对象。例如，视频处理引擎214可以在整个视频数据中对瞳孔对象的边界作出最佳的猜测。视频处理引擎214可以基于正在处理的图像帧的分辨率来输出不同的答案。然后，视频处理引擎可以经由平均或平滑函数来组合不同的猜测，以除去异常值。

接着，方法300继续针对一个或多个眼睛对象中的每个眼睛对象确定索引，该索引在整个视频数据中相对于虹膜特征或距离跟踪瞳孔特征。由于视频数据可能包括走来走去并且未必始终与摄像头发生眼神接触的受试者，所以该索引应当能够提供该受试者是否正在移动的可操作信息。朝着摄像头移动的受试者将看起来具有较大的虹膜和瞳孔，而随着受试者移动离开摄像头，虹膜和瞳孔将看起来较小。

在一些示例中，基线瞳孔直径可以基于与摄像头的距离来确定。例如，这将基于智能电话上的红外深度传感器，或者面部附近的物理参考对象存在于视频中。知道与摄像头的距离并且使用该距离作为参考，可以计算瞳孔的物理直径，因此可以将该直径的任何变化返回给与摄像头的距离。瞳孔直径(例如，以毫米为单位测量)可以用作这些示例中的索引，并且虹膜测量不是必需的。

在一些示例中，瞳孔-虹膜比率被确定为索引。虹膜对象和瞳孔对象可以近似为同心圆。可以确定这些圆的表面面积，使得该比率可以表示为瞳孔对象的直径除以虹膜对象的直径。在一些具体实施中，该比率可以是平方值，以保持瞳孔对象相对于虹膜对象的面积比较。可以针对视频数据中的每个帧确定瞳孔-虹膜比率。

在一些示例中，移除其中受试者没有看向摄像头的帧。这样，可以进一步降低存储器使用率。

在一些实例中，308还用于确定在图像数据中检测到的瞳孔和虹膜区域的表面面积。例如，通过评估每个图像的经过时间，成像分析软件算法确定一系列记录图像的瞳孔大小参数，以确定瞳孔大小随时间变化的速率。

然后，方法300前进至310，以至少部分地基于308所确定的索引来确定一个或多个眼睛中的每个眼睛的瞳孔心理感觉反应。通过忽视环境光的变化等，心理感觉判读引擎216可以确定受试者是否已经经历或正在经历认知努力、压力、困倦、兴趣、药物使用、痴呆、抑郁、焦虑、行为障碍，或者前述项的任何组合。该索引在一段时间内上升表明受试者正在经历某种压力。心理感觉判读引擎216可以将这段时间内的压力与关于受试者的一个或多个客观标记相关联。例如，受试者可能受到言语提示的影响，该言语提示可能导致正在说话的受试者经历声音变化，或者导致该受试者经历面部潮红。在另一个示例中，受试者可能受到可以引起类似反应的视觉提示的影响。

尽管一个或多个索引被描述为比率，但是可以随时间推移跟踪这些比率以确定趋势。例如，对视频数据的多个帧上的索引的进一步分析可以提供附加信息，包括：(1)瞳孔反应潜伏期，其包括瞳孔对言语提示做出反应所花费的时间，例如以毫秒为单位；(2)最大直径，即观察到的最大瞳孔直径；(3)最小瞳孔直径，即观察到的最小直径；(4)扩张速度，即在总扩张期内观察到的平均速度；(5)平均直径，即时间序列中所有直径测量结果的平均值；(6)瞳孔逃避；(7)基线瞳孔幅值；(8)最大瞳孔直径；(9)如本领域已知的任何其他瞳孔反应测量结果；以及(10)前述项的任何组合。如先前所讨论的，前面提到的测量结果中的每一者均可以相对于虹膜直径被归一化。

例如，瞳孔反应潜伏期可以是扩张反应潜伏期(或收缩反应潜伏期)。扩张反应潜伏期被测量为扩张(t_{言语_提示})–扩张(t_初始)。例如，扩张速度是瞳孔扩张速率的量度，以虹膜直径/秒为单位。例如，扩张幅值被测量为(言语提示前的直径_min)-(言语提示后的直径_max)。例如，通过将扩张幅值当作直径_min的百分比，来测量扩张百分比。例如，扩张速度是瞳孔扩张速率的量度，以毫米/秒为单位。上述许多特征可通过评估第一个图像的瞳孔直径、第二个图像的瞳孔直径以及两个图像之间的时长得出，如本领域技术人员容易想到的那样。此外，本领域的技术人员将容易理解，收缩潜伏期、收缩速度、收缩幅值和收缩百分比可以基于在306处提供的数据类似地计算。

在一些示例中，可以使用各种模型来分析趋势。这些模型可以包括但不限于决策树、线性回归、随机森林或逻辑回归模型。此外，可以使用各种其他机器学习模型来确定趋势，包括用来自具有和不具有特定医疗状况的患者的数据训练的监督式机器学习模型。

在一些示例中，***可以基于前5秒、前10秒、前15秒、前20秒、前30秒、前40秒、前50秒或前60秒或者其他合适的时间帧的直径的量度来建立认知反应中的基线幅值，并且在基线之后捕获的帧中识别偏离基线的刺激。

在方法300的一些示例中，视频数据包括受试者双眼的数据。在306处，单独分析每个瞳孔的反射；但在310处，将两个瞳孔的特征一起分析，以确定瞳孔心理感觉反应。

示例的瞳孔反应曲线

众所周知，瞳孔对环境光有反应，因此，环境光的变化可以影响瞳孔直径的变化。图4A示出了示例性瞳孔反应曲线和可在曲线的不同点识别的各种特征。图4A展示当光刺激开启时，首先检测基线瞳孔直径；随后评估MCV、MCA和瞳孔逃避。当关闭光刺激时，可评估光照后瞳孔反应(PIPR)。

图4B示出了另一条示例性瞳孔光反射(PLR)曲线，包括：(1)潜伏期、(2)收缩速度、(3)收缩幅值、(4)收缩百分比和(5)扩张速度。与实线所示的正常PLR曲线相比，虚线显示了异常PLR曲线，其潜伏期延长、速度变慢、且幅度减小。

尽管图4A和图4B示出了瞳孔对光的反应，但是，当受试者处于认知压力下时观察到类似的效果。因此，当处于认知压力下时，瞳孔扩张，而当不存在认知压力时，瞳孔收缩。与引入光刺激类似，可以向受试者提供认知刺激。在提供认知刺激之前，可以在恒定光照下测量基线。然后可以提供认知刺激，以观察相对于基线的瞳孔扩张。一旦受试者停止考虑认知刺激，瞳孔就可以回缩至更小的直径。

实验结果

图5-1示出了使用被确定为处于高压力情形下的某人的瞳孔-虹膜比率的索引来评估瞳孔心理感觉反应的示例实验数据。曲线502提供了作为时间的函数的索引。当受试者倾听并开始回答问题时(曲线的左侧)，受试者产生心理感觉反应，这可能是由于与在数百万人观看的情况下思考和回答问题有关的压力和认知努力所引起的。此外，当压力消退时，一般会回到基线值。在该示例中，受试者接受多种内部刺激，这些刺激可以在没有身体接触的情况下从外部观察到。

图5-2A和图5-2B示出了根据本公开的一些具体实施的用于评估瞳孔心理感觉反应的示例实验数据。在图5-2A中，一名受试者被告知将会给他出一道数学题，并且他将有三秒钟来心算这道数学题的答案。从图5-2A中可以看出，右眼和左眼的瞳孔反应首先趋于向下，使得瞳孔收缩，然后从约T＝2开始，瞳孔反应对于左眼主要在3.75mm左右徘徊，对于右眼主要在3.06mm左右徘徊。在图5-2B中，该受试者被告知心算7×7×7。在图5-2B中，左眼和右眼都扩张，使得瞳孔反应趋于向上，直到约T＝3.5。

图5-3A和图5-3B分别示出与图5-2A和图5-2B类似的实验示例。图5-3A为基线，其中不存在认知负荷，并且受试者仅准备接收心算提问。图5-3B示出响应于在T＝0处接收到提问，左眼和右眼都扩张。

数据的预处理和处理

在302和306的一些示例中，对所接收的图像数据进行预处理。本文对示例性预处理技术进行了描述。

包括按顺序排列的图像帧的视频数据可以被平滑，以消除***中由于瞳孔内的自然波动以及由环境光的变化引起的不一致而产生的噪声。可使用高斯平滑算子轻微模糊化图像并减少噪声。二维高斯方程具有以下形式：

其中sigma为分布的标准偏差，可由下式表示：

其中x是第i个瞳孔反射测量结果，μ是平均瞳孔反射测量结果，并且N是瞳孔反射测量结果的总数。

在本公开的一些示例中，认知压力下的瞳孔扩张和收缩可以表示为平滑傅里叶变换。例如，当使用平滑灰度帧的直方图表示时，可通过阈值函数将图像二值化。可以通过直方图上暗像素和亮像素之间的区别来确定所述阈值函数。基于此，通过将图像的白色部分标记为1，将图像的黑色部分标记为0，可以对图像进行二值化，从而区分巩膜和瞳孔。从而有效地生成一个带有白色圆圈的黑色正方形，用以清楚地表示瞳孔以供分析。瞳孔的形状通常为椭圆形，但可通过平均轴线表示为圆形。可以以距离最远的两个白色像素之间的像素为单位对直径进行测量。可以通过使用靠近眼睛的、具有已知尺寸的基准，将该像素测量值转换为毫米。例如，可以使用智能手机中的点阵投射器，来确定智能手机距面部的深度。

在一些实例中，预处理包括裁剪片段使其包括每只眼睛的区域。这一点可以通过应用人脸已知结构的简易启发式解法来实现。然后，可以提交片段进行处理，包括，例如将接收到的视觉刺激解构为一系列图像以逐个处理。对图像进行处理，以消除图像捕获过程中眼镜、眨眼和手部小动作产生的像差。使用轮廓梯度熵的瞳孔边界检测可用于提取每个瞳孔的大小，并创建可视的系列数据。

在一些实施方案中，可以使用摄像头来捕获具有不同扩张程度的眼睛帧画面。用户可手动标记每帧的瞳孔直径。在使用标记的数据的情况下，可以使用标记的瞳孔来训练分割或检测模型。例如，可使用U-Net或类似服务来输出可以用于推断直径的形状。可以实施流水线，来处理记录的视频帧，并随时间绘制瞳孔扩大图。

在数据处理的一些实例中，使用色调、饱和度和亮度值对接收到的图像数据进行过滤。例如，如果像素的“V”值(表示亮度)大于60，则可能该像素会被过滤掉。在另一实例中，可以基于LAB值过滤像素，其中“L”代表像素的亮度，“A”和“B”代表颜色拮抗值。由于瞳孔是眼睛中最暗的特征，因此可以过滤掉“L”值大于50的像素，从而只留下相对较暗且更可能包括瞳孔的像素。这里提供的预处理方法仅仅是示例。可以根据需要使用其他预处理方法，例如，可以使用灰度形态滤波来最小化镜面反射伪影。

其它示例性处理步骤包括：(1)复制过滤后的图像，清除已过滤掉的内容以仅显示感兴趣区域(ROI)，(2)将过滤后的ROI像素转换为灰度，(3)根据亮度或强度值过滤灰度像素，例如，过滤L值高于45的像素，(4)扫描剩余像素的轮廓和凸形，(5)扫描像素以获取像素灰度值的增量梯度，(6)根据轮廓构造形状或构造由轮廓定义的形状，(7)根据大小和圆度过滤形状，(8)确定瞳孔区域和虹膜区域的表面积，以及(9)确定两个区域随时间的相对变化。

在基于圆度过滤的一些实例中，设备过滤掉圆度值不等于或不接近1.0的值。例如，圆形的圆度值等于或接近1.0，而细长的椭圆的圆度值可能约为0.25。

基于瞳孔特征预测心理感觉反应

图3的方法300的各个方面可以用于评估受试者是否正在经历心理感觉反应。受试者可能基于认知受损而具有不同的瞳孔反应，因此，受试者可以处于不同的基线。下面的图6A、图6B和图7展示对应于不同类型的个体在不同认知负荷下的瞳孔反应的示例性数据。

图6A至图6B示出了根据本公开的一个实施方案的对认知负荷的示例性瞳孔反应。图图6A-6B所示，心理感觉瞳孔反应与阿尔茨海默病相关。认知负荷是通过受试者能否回忆起3、6或9个数字来衡量的。图6A-6B表明，随着认知负荷的增加，与认知健康对照组(CN)相比，遗忘型单领域轻度认知障碍(S-MCI)组的瞳孔扩大程度更为明显。此外，在某些认知负荷下，与认知正常组和S-MCI组相比，多领域轻度认知障碍(M-MCI)组的扩大程度明显更低。这表明认知负荷远远超出了该组的能力。

图7示出了根据本公开的一个实施方案的随轻度认知障碍而变化的示例性瞳孔反应。例如，数据显示瞳孔扩大会随着由3位数负载变为6位数负载而增加，但一旦达到9位数负载时就会减小。因此，本公开设想，具有较低认知能力的个体在较低负荷下的瞳孔扩大程度大，而在较高负荷下瞳孔扩大程度小。这些结果可以有助于指出说话者是真的在考虑被问到的问题，还是仅仅在背诵已经学习过的材料。

瞳孔分割

瞳孔直径和虹膜直径可以在不进行正式分割的情况下直接测量，但是在一些具体实施中，可以在测量瞳孔直径和虹膜直径之前使用瞳孔分割方法。眼睛的图像数据可分为三个主要部分：瞳孔、虹膜和巩膜。图像分割算法可以用于提供期望的分割。

图8示出了示例性瞳孔分割过程。首先接收眼睛的灰度图像。然后，基于每个像素的灰度创建平衡直方图。例如，可能使用平衡直方图阈值化分割、K均值聚类或边缘检测以及区域填充。示例性平衡直方图分割算法为像素设置阈值灰度，以确定哪些像素对应于瞳孔。瞳孔对应的像素将是最暗的像素。

在一个实例中，K均值聚类选择k(例如，在本实例中k为4)个数据值作为初始聚类中心。确定每个聚类中心和每个数据值之间的距离。把每个数据值分配给最近的聚类中心。然后更新每个聚类中心的平均值并重复该过程，直到不再可能进行聚类。对每个聚类中心进行分析，确定哪个聚类中心包括瞳孔的像素，得到分割结果。该方法可用于根据眼睛中颜色不同的四个主要部分：黑色瞳孔、白色巩膜、彩色虹膜和皮肤背景，从背景中分割出感兴趣区域。

图8所示的方法还用于边缘检测和区域填充，从而增强图像并连接瞳孔的主要像素。对一定形状和大小的孔进行填充，得到最终的分割结果。因为仅关注瞳孔的直径，所以边缘检测和区域填充在瞳孔分割中不是必需的，因此可以跳过图8中所示的最后一步。

分割后，确定以像素为单位的瞳孔面积。在一些具体实施中，基于收集图像数据的摄像头的比例，将该像素量度转换为物理尺寸(例如，以毫米为单位)。在一些具体实施中，提供归一化像素量度，其中瞳孔直径相对于虹膜直径被归一化。这样，即使当摄像头角度改变或摄像头变焦改变时，瞳孔与虹膜之间的归一化比率也不会由于摄像头物理属性的改变而失真。

测量瞳孔直径

图9示出了示例性瞳孔直径的测量值。例如，912和922分别显示受试者910和920的基线瞳孔直径。受试者可以具有不同的基线瞳孔直径，还可以具有不同的瞳孔反应。MCV和MCA可根据本文所述的方法计算。

识别多个瞳孔反应

在本公开的一些实例中，提供了一种识别多个瞳孔反应的方法。例如，这种方法识别图像数据集是否掺杂了无意识的瞳孔刺激(例如，是否正在测量响应于环境光的变化的瞳孔反射，而不是瞳孔心理感觉反应)。图12示出了根据本公开的一个实施方案的用于识别和标记无意识的瞳孔反应的示例性方法1200。例如，方法1200可在图3的方法300之前、期间和/或之后执行。

首先，图12的方法1200在1210基于接收到的图像数据标记第一瞳孔反应。例如，所述第一瞳孔反应包括本文所述的任何瞳孔特征的变化。

然后，在1220，方法1200在最初接收的图像数据之后接收第二图像数据。

然后，方法1200在1230确定光照条件的变化。例如，基于在1210接收的图像数据和在1220接收的第二图像数据之间的亮度差，可确定光照条件的变化。

然后，方法1200在1240标记第二图像数据中的第二瞳孔反应。例如，如果第二图像数据是一系列图像，则在1240识别于光照条件变化后同时或在相近时间出现的一个或多个图像。在一些实例中，所识别的第二瞳孔反应为本文所述的任何一种瞳孔特征。

红外测量实施方式

本公开还规定使用不可见光和/或红外摄像头进行图像捕获。例如，图1的传感器116和/或显示器112可以提供不可见光刺激。在一些示例中，摄像头114为红外摄像头。图13示出了示例性方法1300，其可分别在图1和图2的***100和/或200上执行。

方法1300在1320处规定由显示器(例如，图1的显示器112或传感器116)发射不可见光刺激。不可见光刺激用于照亮用户的面部，从而产生足够高的图像对比度(足以进行瞳孔-虹膜分割)。因此，1320利用了基本上由红外光提供的高图像对比度。例如，在1320提供的不可见光刺激是波长为600-1000纳米的光刺激。

由于1320提供了足以提供足够高的图像对比度的照明，所以方法1300只需要较少的环境光。

进一步的，方法1300在1330接收用户眼睛对应的图像数据。在一些实例中，接收到的图像数据是一组图像或视频。在一些实例中，在一段时间(例如，超过一分钟、两分钟、三分钟)内，以固定间隔(例如，以秒、毫秒和/或微秒测量的间隔)收集图像集。在一些实例中，在1330接收的图像数据来自红外摄像头。

方法1300进一步在1340处规定处理图像数据以识别瞳孔特征和虹膜特征。例如，根据关于图3的方法300的304和306所讨论的任何方法来处理所接收的图像数据。方法1300然后在1350处规定基于瞳孔特征确定心理感觉反应，这类似于图3的方法300的310。由于瞳孔反应是动态的，所以本公开的一些具体实施可以用于第一认证阶段。例如，面部识别可以从在面部识别之前检查瞳孔反应开始。与瞳孔反应相比，深度感知和温度感测更容易操纵。

因此，方法1300避免了将瞳孔反应结果与其它意外的刺激相混淆。尽管使用来自用户一只眼睛的测量结果来描述方法1300，但是在一些具体实施中，独立地测量用户的两只眼睛。两个独立的测量结果允许比较来自两只眼睛的结果，从而可能对测量结果进行确认。

方法300和方法1300可以在各个时间点处(例如，数月、数天或数年)重复。在各个时间点上获得的心理感觉反应的特征或指标可以互相比较，以获得这些指标的趋势或关系。在回顾性分析中，趋势可以有助于告知疾病恶化或发作。在前瞻性分析中，趋势可以有助于预测未来表现或未来患病状态。如本文所用的时间点是指各个会话。会话可以跨越一段时间，因此，可以比较和对比来自不同会话的分析结果。

实验数据

图14示出了在可见光下拍摄的图像组(图像组1410和1430)与红外光下拍摄的图像组(图像组1420和1440)之间进行比较的示例性图像数据。与在可见光下拍摄的图像集1410和1430相比，在图像集1420和1440中，受试者的瞳孔和虹膜之间显示出更清晰的轮廓。特别地，图像集1430取自具有深色虹膜的受试者，由于瞳孔和虹膜颜色的相似性以及两者之间的低对比度，瞳孔分割几乎是不可能的。因此，图14展示了图13的方法1300的效果，该方法用不可见刺激收集图像数据。

本公开的实施方案提供了用于确定瞳孔心理感觉反应的***和方法。在一些具体实施中，瞳孔心理感觉反应可以用作药物使用和阿尔茨海默氏症的数字生物标记。例如，如图7所示，可以使用对照组来表征来自具有轻度认知障碍的其他组的测量结果。因此，瞳孔心理感觉反应具有检测认知和神经退化的潜力。认知障碍的确切原因可以使用提供附加信息的客观标记来确定。例如，药物使用和阿尔茨海默氏症通过不同的分子途径影响大脑，然而，这两者在表达时共用一种共同的表型(认知障碍)。如果检测到认知障碍，则可以使用附加的客观标记来确定认知障碍是由于药物使用还是其他因素造成的。

瞳孔心理感觉反应路径对应于瞳孔扩张路径，后者受到交感神经***的支配并受到瞳孔扩大肌的控制。瞳孔心理感觉反应具有广泛的应用范围，包括识别欺骗、认知负荷、压力、兴趣和强烈情绪。

此外，已经证实瞳孔反应体现了蓝斑核的活跃度，蓝斑核负责介导交感神经***，而在阿尔茨海默氏症的早期阶段就已经发现蓝斑核的退化。研究表明，tau蛋白错误折叠最初可能发生在蓝斑核中，并且缠结前病变的形成首先在其长突出部中出现，之后扩散到皮质。此外，蓝斑核细胞的异常丢失在阿尔茨海默氏症的整个进展过程中变得更加突出。蓝斑核退化的严重程度还与痴呆和认知障碍的严重程度相关。因此，在瞳孔心理感觉反应与蓝斑核***的功能之间存在已知的联系，并且在蓝斑核功能与阿尔茨海默氏症之间存在潜在的联系。所以，瞳孔心理感觉反应可以用作在阿尔茨海默氏症的最早阶段中受影响的脑***功能的数字生物标记。瞳孔反应可以用作蓝斑核功能障碍的代表，并且可以用作在显著的认知衰退之前的早期MCI和阿尔茨海默氏症风险的数字生物标记。

图15展示了可以在测量窗口中确定的具有不同指标的示例瞳孔心理感觉反应曲线。在给定受试者瞳孔的基线直径的情况下，直径可以随时间推移由于扩张或收缩而改变。图15示出了峰值扩张和峰值收缩。图15的瞳孔心理感觉反应可以提供能够观察到的不同指标，包括峰值扩张、峰值收缩、峰间差异(其衡量峰值扩张与峰值收缩之间的差异)和瞳孔心理感觉反应曲线下的面积。

认知负荷增加与扩张增加、峰间差异增加和峰值收缩减小显著相关。具有MCI的个体响应于认知负荷表现出显著降低的峰值扩张。响应于认知负荷的扩张减小可能与蓝斑核退化相关，而蓝斑核退化是阿尔茨海默氏症的一种已知迹象。患抑郁症的成年人响应于负面情绪刺激表现出瞳孔扩张增加。减小的瞳孔扩张到减弱的情绪表达，一直都与压力体验后抑郁风险升高有关。压力增大与瞳孔扩张增加相关联。疲劳个体的瞳孔扩张会减小。

图16示出了根据本公开的一些具体实施的针对同一个体在三个不同时间段随时间推移的瞳孔心理感觉反应图。第1年和第2年的幅值相当，第3年的幅值低于第1年和第2年的幅值。从第1年到第3年，幅值下降了约23％。使用本公开的一些实施方案，可以随时间推移捕获同一个体的瞳孔心理感觉反应以监测认知衰退。如上文所讨论的，瞳孔心理感觉反应随时间推移的最大峰间扩张减小可能与MCI相关联。

图17示出了根据本公开的一些具体实施的针对同一个体在两个不同时间段的两个瞳孔心理感觉反应图的叠加图。瞳孔扩张或收缩的速度可以作为速度参数来测量。最大速度从2008年的0.104下降到2016年的0.08，表明随时间推移认知衰退。

本公开的实施方案允许使用瞳孔心理感觉反应来执行回顾性纵向分析，以确定个体的认知能力。可以处理和分析先前在不同时间段(例如，图16和图17中所提供的不同年份)记录的该个体的视频。在一个远程医疗示例中，该个体可能被怀疑患上了痴呆症，因此该个体捕获她自己的视频。可以将所捕获的视频与该个体在先前5至10年的时间段内的视频进行比较。该个体可能在5至10年的时间段内捕获了她自己的5个视频。分析不同的视频以提取与痴呆症不断恶化相符的各种指标(例如，如图16所示，随时间推移峰间幅值不断减小)。

在一些具体实施中，可以使用瞳孔心理感觉反应来执行前瞻性纵向分析，以预测个体未来的认知能力。使用先前在不同时间点(例如，在5至10年的跨度上)获得的视频数据，可以针对不同时间点确定各种指标(例如，峰间幅值、最大速度等)。可以确定各种指标的趋势，并且该趋势可以用于预测个体未来的认知能力。

在一些具体实施中，仅对一个时间点进行瞳孔心理感觉反应分析。例如，刺激能够以数学问题的形式呈现给个体。刺激能够以视觉方式经由屏幕(例如，***100的显示器112)提供给个体，或者以听觉方式(例如，通过***100的扬声器)提供给个体。当个体正在解数学问题时，可以捕获该个体瞳孔的视频(例如，使用***100的摄像头114)。

在其他示例中，刺激可以是能够通过移动设备或其他设备呈现的多种基于音频、视觉或文本的刺激。例如，刺激可以是显示给用户(例如婴儿)的图像，并且***可以基于该图像确定认知反应。在一些示例中，刺激可以是音频刺激或提问。因此，该***可以协助用户与婴儿或其他用户交流。

在一些具体实施中，可以执行对瞳孔心理感觉反应的分析，以确定反应的变化是否在时间上接近设备呈现刺激的时间而发生。在一个示例中，***可以显示刺激、记录显示刺激的时间戳，并且比较瞳孔反应中的任何变化相对于刺激在时间上的接近度。例如，***可以基于示出瞳孔心理感觉反应的所捕获帧的时间戳，确定反应是否发生在呈现刺激之后的预期时间窗口内。

因此，可以将具有在呈现刺激后的期望时间窗口之外的时间戳(例如，显示数学问题或听觉刺激的时间戳)的帧中发生的反应过滤掉。

公开的计算机和硬件实施方式

首先，应理解本公开可以通过任何类型的硬件和/或软件来实现，也可以是预编程的通用计算设备。例如，该***可使用服务器、个人计算机、便携式计算机、瘦客户端或任何合适的一个或多个设备来实现。本公开和/或其组件可以是位于一个地点的单个设备，或位于一个或多个地点的多个设备，其通过任何适当的通信协议和通信介质(例如电缆、光纤电缆)或以无线方式连接在一起。

还应注意，本文所示和所述的公开具有执行特定功能的多个模块。应当理解，为了清楚起见，根据其功能对所述模块进行了示意性地说明，并不一定代表具体的硬件或软件。关于这一点，这些模块可以是用于充分地执行所述特定功能的硬件和/或软件。此外，在本公开中，可以将这些模块组合在一起，或者基于所需特定功能划分为附加模块。因此，本公开不应解释为用于限制本发明，而应理解为对一个示例性实施方式的说明。

计算***可包括客户端和服务器。通常，客户端和服务器彼此远离并通过通信网络进行交互。通过在各自的计算机上运行的、且具有客户端-服务器关系的计算机程序，客户端和服务器建立关系。在一些实施方式中，服务器将数据(例如，HTML页面)传输到客户端设备(例如，为了向与客户端设备交互的用户显示数据，并从其接收用户输入)。可以在服务器接收来自客户端设备的客户端设备生成的数据(例如，用户交互的结果)。

本说明书所述的主要内容的实施方式可以在计算***中实现，所述计算***包括：后端组件(例如，作为数据服务器)，或中间件组件(例如，应用服务器)，或前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过其与本说明书所述的主要内容的实施方式进行交互)，或一个或多个此类后端、中间件或前端组件的任意组合。***的组件可通过任何形式或媒介的数字数据通信互连，例如通信网络。通信网络的实例包括局域网(LAN)、广域网(WAN)、互联网(如，因特网)、和对等网络(例如，自组织对等网络)。

本说明书中所述的主要内容和操作的实施方式可在数字电子电路中实现，或在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等效物，或上述组件中的一种或多种的组合。本说明书中所述的主要内容的实施方式可作为一个或多个计算机程序来实现，即，一个或多个计算机程序指令模块，所述计算机程序指令编码在计算机存储介质上，用于由数据处理装置执行，或控制所述数据处理装置的操作。或者，或此外，可以将程序指令编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，所述信号用以编码传输到适当接收器装置的信息，以供数据处理装置执行。计算机存储介质可以是或包含在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或一个或多个上述设备的组合中。此外，虽然计算机存储介质不是传播信号，但计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目标。计算机存储介质也可以是或包含在一个或多个单独的物理组件或介质(如，多个CD、磁盘或其它存储设备)中。

本说明书中所述的操作的实现可以是由数据处理装置对存储在一个或多个计算机可读存储设备上、或从其它源接收的数据执行的操作。

术语“数据处理装置”涵盖用于处理数据的所有类型的装置、设备和机器，例如可编程处理器、计算机、片上***或前述的多个或组合。所述装置可包括专用逻辑电路，如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。除了硬件之外，所述装置还可包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、跨平台运行时环境、虚拟机或其中一个或多个的组合的代码。所述装置和执行环境可实现各种不同的计算模型基础设施，如Web服务、分布式计算和网格计算基础设施。

计算机程序(也称程序、软件、软件应用、脚本或代码)可以任何形式的编程语言编写，包括编译性或解释性语言、声明性或过程性语言，且可以任何形式部署，包括作为独立程序，或作为模块、组件、子程序、对象或其它适用于计算环境的单元。计算机程序可以但不必须对应于文件***中的文件。可以将程序存储在包含其它程序或数据的部分文件(例如，存储在标记语言文档中的一个或多个脚本)、专用于所述程序的单个文件、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署到一台或多台计算机上执行，所述多台计算机位于一个站点或分布在多个站点并通过通信网络互连。

可通过一个或多个可编程处理器执行一个或多个计算机程序，以对输入数据进行操作并生成输出，来执行本说明书中所述的过程和逻辑流程。也可以是，过程和逻辑流程由专用逻辑电路执行，装置实现为专用逻辑电路，如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。

适于执行计算机程序的处理器包括，例如，通用和专用微处理器，以及任何类型数字计算机的一个或多个处理器。通常，处理器从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本元件包括用于根据指令执行操作的处理器，以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还包括，或可操作地连接至，一个或多个用于存储数据的大容量存储设备(如，磁盘、磁光盘或光盘)，以接收数据和/或向其传输数据。当然，计算机不必须具有这样的设备。此外，可以把计算机嵌入到另一个设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位***(GPS)接收器、或便携式存储设备(如，通用串行总线(USB)闪存驱动器)，等等。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，例如半导体存储设备，如EPROM、EEPROM和闪存设备；磁盘，如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充，或结合在专用逻辑电路中。

结论

上述各种方法和技术提供了许多实施本发明的方法。当然，应当理解，并非根据本文所述的任何特定实施例都可实现描述的所有目标或优点。因此，例如，本领域的技术人员可认识到，执行所述方法可以实现或优化如本文提出或暗示的一个优点或一组优点，而不必同时实现如本文提出或暗示的其它目标或优点。本文提到了多种替代方案。应当理解，一些实施例具体地包括一个、另一个或几个特征，其它实施例具体地排除一个、另一个或几个特征，而还有一些实施例通过包含一个、另一个或几个有利特征，使某个特定特征变得不明显。

此外，本领域的技术人员可认识到不同实施例的各种特征的适用性。类似地，上述各种要素、特征和步骤，以及每个要素、特征或步骤的其它已知等效物，可由本领域普通技术人员进行各种组合使用，以根据本文描述的原理执行所述方法。在不同的实施例中，可具体地包括一些要素、特征和步骤而排除另一些。

尽管已在某些实施例和实例中公开了本申请，本领域技术人员可理解，本申请的实施例不限于具体公开的实施例，且可拓展至其它替代实施例、和/或其应用和修改、及其等效物。

在一些实施例中，在描述本申请的特定实施例的文中使用的术语“一个”、“所述”以及类似的引用(尤其是在以下某些权利要求中)，可以解释为包括单数和复数。本文中对于数值范围的叙述仅作为对该范围内的每个单独值的一种速记方法。除非在本文中另有说明，否则每个单独的值都如同在本文中被单独叙述过一样，包含在说明书中。除非本文另有说明或与上下文明显矛盾，否则可以以任何合适的顺序执行本文所述的所有方法。本文中的某些实施例中提出的任何和所有实例或示例性语言(如，“例如”)的使用，仅旨在更好地阐述本申请，而不对本申请要求保护的范围构成限制。本说明书中的任何语言都不应被解释为指示任何未要求保护的实施本申请必不可少的要素。

本文阐述了本申请的某些实施例。在阅读上述内容后，对于本领域的普通技术人员来说，这些实施例的变化是显而易见的。经考虑，熟练的技术人员可以采用这样的变化，并且以不同于本文具体描述的方式来实践本申请。因此，在适用法律允许的情况下，本申请的许多实施例包括在所附权利要求中叙述的主要内容的所有修改和等效物。此外，除非本文另有说明或与上下文明显矛盾，否则上述要素的所有可能变化的任何组合都包含在本申请中。

本文阐述了主要内容的某些实施方式。其它实施方式涵盖在以下权利要求的范围内。在某些情况下，权利要求中所述的操作可以以不同的顺序执行，并仍能达到期望的结果。此外，附图所示的过程不必按所示的特定顺序，或先后顺序执行以获得期望的结果。

所有专利、专利申请、专利申请出版物和其它材料，如本文引用的文章、书籍、规范、出版物、文件、事物和/或类似物，出于所有目的，通过引用将其整体并入本文，除了那些与这些材料相关的任何起诉文件历史、与本文件不一致或冲突的任何材料、或可能在现在或以后对本文件相关的权利要求的最广泛范围具有限制影响的任何材料。举例来说，如果在并入材料和本文件之间，存在任何不一致或冲突的描述、定义和/或与术语使用，以本文件中的描述、定义和/或术语使用为准。

最后，应当理解，本文公开的申请的实施例是对本申请实施例的原理的阐述。可采用的其它修改涵盖在本申请的范围内。因此，作为示例而非限制，可以根据本文所述的内容，使用本申请实施例的其它设置方式。因此，本申请的实施例不限于所示和所述的全部内容。

Claims (29)

1.一种用于评估瞳孔心理感觉反应的电子设备，所述电子设备包括处理器和其上存储有计算机可执行指令的非暂态计算机可读介质，使得当所述指令被执行时，所述电子设备被配置为：

接收视频数据，所述视频数据包括至少两个帧；

在所述至少两个帧的第一帧中定位一个或多个眼睛对象；

在所述第一帧内针对所述一个或多个眼睛对象中的每个眼睛对象提取相应的虹膜对象；

在所述第一帧内针对所述一个或多个眼睛对象中的每个眼睛对象提取相应的瞳孔对象；

计算在所述第一帧中定位的所述一个或多个眼睛对象的第一组索引，所述第一组索引是第一组瞳孔-虹膜比率；

计算所述至少两个帧的后续帧的后续多组瞳孔-虹膜比率，所述后续多组瞳孔-虹膜比率中的每组比率与在所述第一帧中定位并且也在所述后续帧中的每个帧中定位的所述一个或多个眼睛对象有关；以及

至少部分地基于所述第一组瞳孔-虹膜比率和所述后续多组瞳孔-虹膜比率来确定所述瞳孔心理感觉反应。

2.如权利要求1所述的电子设备，其被进一步配置为使用包括机器学习、Haar级联或深度学习在内的一种或多种图像处理技术来在所述第一帧中定位所述一个或多个眼睛对象。

3.如权利要求1所述的电子设备，其被进一步配置为：

在所述第一帧中定位一个或多个面部对象，其中所述一个或多个眼睛对象中的每个眼睛对象被包括在所述一个或多个面部对象中。

4.如权利要求1所述的电子设备，其被进一步配置为：

在针对所述一个或多个眼睛对象中的每个眼睛对象提取所述相应的虹膜对象和所述相应的瞳孔对象之前，对所述一个或多个眼睛对象中的每个眼睛对象进行预处理。

5.如权利要求1所述的电子设备，其被进一步配置为：

在针对所述一个或多个眼睛对象中的每个眼睛对象提取所述相应的虹膜对象和所述相应的瞳孔对象之前，裁剪出所述一个或多个眼睛对象中的每个眼睛对象。

6.如权利要求1所述的电子设备，其中至少部分地基于所述相应的瞳孔对象的直径和所述相应的虹膜对象的直径来计算所述第一组瞳孔-虹膜比率。

7.如权利要求1所述的电子设备，其被进一步配置为：

计算在所述第一帧中定位的所述一个或多个眼睛对象中的每个虹膜对象的第一组虹膜表面面积；以及

计算在所述第一帧中定位的所述一个或多个眼睛对象中的每个瞳孔对象的第一组瞳孔表面面积，其中，基于所述第一组虹膜表面面积和所述第一组瞳孔表面面积来计算所述一个或多个眼睛对象的所述第一组瞳孔-虹膜比率。

8.如权利要求1所述的电子设备，其被进一步配置为：

基于与捕获所述第一帧的摄像头的距离，计算在所述第一帧中定位的所述一个或多个眼睛对象中的每个瞳孔对象的第一组瞳孔直径。

9.如权利要求1所述的电子设备，其中所述一个或多个眼睛对象是属于至少两个个体的两个或更多个眼睛对象。

10.如权利要求1所述的电子设备，其中所述第一组瞳孔-虹膜比率和所述后续多组瞳孔-虹膜比率指示所述一个或多个眼睛对象中的第一眼睛对象的瞳孔-虹膜比率趋势，并且其中确定所述瞳孔心理感觉反应包括根据所述第一眼睛对象的所述瞳孔-虹膜比率趋势来确定，所述瞳孔-虹膜比率趋势表示所述第一眼睛对象所属的个体经历了以下项中的至少一者：认知努力、压力、困倦、兴趣、药物使用、痴呆、抑郁、焦虑、行为障碍，或者前述项的任何组合。

11.如权利要求10所述的电子设备，其中所述瞳孔-虹膜比率趋势指示，在所述第一帧和所述后续帧的至少一部分期间所述相应的瞳孔-虹膜比率增加描绘所述个体的心理感觉反应。

12.如权利要求10所述的电子设备，其被进一步配置为：

接收有关所述个体的一个或多个客观标记；以及

进一步至少部分地基于所述一个或多个客观标记来确定所述瞳孔心理感觉反应。

13.如权利要求1所述的电子设备，其中所述电子设备是智能电话、计算机或计算机网络。

14.如权利要求1所述的电子设备，其还包括被配置为接收所述视频数据的摄像头。

15.如权利要求1所述的电子设备，其中所述视频数据从外部存储设备接收。

16.如权利要求1所述的电子设备，其中所述确定所述瞳孔心理感觉反应包括确定与所述瞳孔心理感觉反应相关联的指标，所述指标包括以下项中的一者或多者：峰值扩张、峰值收缩、扩张速度或峰间差异。

17.一种用于评估瞳孔心理感觉反应的方法，其包括：

接收视频数据，所述视频数据包括至少两个帧；

在所述至少两个帧的第一帧中定位一个或多个眼睛对象；

在所述第一帧内针对所述一个或多个眼睛对象中的每个眼睛对象提取相应的虹膜对象；

在所述第一帧内针对所述一个或多个眼睛对象中的每个眼睛对象提取相应的瞳孔对象；

计算在所述第一帧中定位的所述一个或多个眼睛对象的第一组瞳孔-虹膜比率；以及

计算所述至少两个帧的后续帧的后续多组瞳孔-虹膜比率，所述后续多组瞳孔-虹膜比率中的每组比率与在所述第一帧中定位并且也在所述后续帧中的每个帧中定位的所述一个或多个眼睛对象有关；以及

至少部分地基于所述第一组瞳孔-虹膜比率和所述后续多组瞳孔-虹膜比率来确定所述瞳孔心理感觉反应。

18.一种用于评估多个会话的瞳孔心理感觉反应的方法，其包括：

接收所述多个会话的视频数据，所述多个会话中的每个会话的所述视频数据包括至少两个帧；

对于所述多个会话中的每个会话，计算在所述至少两个帧的第一帧中定位的一个或多个眼睛对象的第一组瞳孔-虹膜比率；以及

对于所述多个会话中的每个会话，计算所述至少两个帧的后续帧的后续多组瞳孔-虹膜比率，所述后续多组瞳孔-虹膜比率中的每组比率与在所述第一帧中定位并且也在所述后续帧中的每个帧中定位的所述一个或多个眼睛对象有关；以及

对于所述多个会话中的每个会话，至少部分地基于所述第一组瞳孔-虹膜比率和所述后续多组瞳孔-虹膜比率来确定所述瞳孔心理感觉反应。

19.如权利要求18所述的方法，其还包括：

至少部分地基于所述多个会话的所述瞳孔心理感觉反应来确定趋势。

20.如权利要求19所述的方法，其还包括：

至少部分地基于在所述多个会话期间峰间差异的幅值减小，来确定所述趋势指示在所述多个会话期间出现认知衰退。

21.如权利要求19所述的方法，其还包括：

至少部分地基于在所述多个会话期间峰间差异的幅值减小，来确定所述趋势指示不包括在所述多个会话中的未来会话将出现认知衰退。

22.如权利要求19所述的方法，其中所述多个会话跨越大于一年的时间段，并且所述趋势指示在所述时间段期间的认知表现。

23.如权利要求19所述的方法，其中使用包括以下项中的至少一者的模型来确定所述趋势：决策树、线性回归、随机森林或逻辑回归。

24.如权利要求19所述的方法，其还包括：

确定未来的预测日期，此时所述趋势将超过指示精神健康状态的变化的预定义阈值。

25.如权利要求19所述的方法，其中所述多个会话中的至少一个会话的所述瞳孔心理感觉反应包括在视频的最初5秒、10秒、15秒、20秒、25秒、30秒、35秒、40秒、45秒或更多秒内建立的基线上的扩张幅值的变化。

26.如权利要求18所述的方法，其中所述多个会话中的一个会话涉及连续视频捕获。

27.一种用于评估瞳孔心理感觉反应的电子设备，所述电子设备包括处理器和其上存储有计算机可执行指令的非暂态计算机可读介质，使得当所述指令被执行时，所述电子设备被配置为：

接收视频数据，所述视频数据包括至少两个帧；

在所述至少两个帧的第一帧中定位一个或多个眼睛对象；

在所述第一帧内针对所述一个或多个眼睛对象中的每个眼睛对象提取相应的虹膜对象；

在所述第一帧内针对所述一个或多个眼睛对象中的每个眼睛对象提取相应的瞳孔对象；

计算在所述第一帧中定位的所述一个或多个眼睛对象的第一组索引；

计算所述至少两个帧的后续帧的后续多组索引，所述后续多组索引中的每组索引与在所述第一帧中定位并且也在所述后续帧中的每个帧中定位的所述一个或多个眼睛对象有关；以及

至少部分地基于所述第一组索引和所述后续多组索引来确定所述瞳孔心理感觉反应。

28.如权利要求27所述的电子设备，其中所述第一组索引中的一个索引或者所述后续多组索引中的一个索引是选自由以下项组成的组中的一者：瞳孔直径与虹膜直径的比率、瞳孔直径，以及瞳孔面积与虹膜面积的比率。

29.如权利要求27所述的电子设备，其中与所述瞳孔心理感觉反应相关联的指标包括以下项中的一者或多者：相应的瞳孔对象的峰值扩张、所述相应的瞳孔对象的峰值收缩、所述相应的瞳孔对象的扩张速度，或者所述相应的瞳孔对象的峰值扩张与峰值收缩之间的峰间差异。

Images