CN115844427A - 眼睛检测方法和设备 - Google Patents
眼睛检测方法和设备 Download PDFInfo
- Publication number
- CN115844427A CN115844427A CN202211163306.XA CN202211163306A CN115844427A CN 115844427 A CN115844427 A CN 115844427A CN 202211163306 A CN202211163306 A CN 202211163306A CN 115844427 A CN115844427 A CN 115844427A
- Authority
- CN
- China
- Prior art keywords
- electrodes
- user
- signal
- examples
- electrode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及眼睛检测方法和设备。一种头戴式设备具有多个电极,该多个电极被配置为检测光学事件,诸如一只或多只眼睛的移动或粗略的眼睛姿态。在一些示例中,该一个或多个电极可耦接到介电弹性体材料,这些介电弹性体材料的形状可改变以改变该头戴式设备的用户和该一个或多个电极之间的接触,以确保有足够的接触和足够的电极信号质量。在一些示例中,该一个或多个电极可耦接到压力传感器和控制电路以监测和调整施加的压力。在一些示例中,这些光学事件可用作用于操作该设备(包括在操作功率模式之间转变)的触发项。在一些示例中,这些触发项可唤起该头戴式设备的更高分辨率感测能力。在一些示例中,这些电极可用作用于唤醒和/或解锁该设备的头上检测器。
Description
相关申请的交叉引用
本申请要求2021年9月24日提交的美国专利申请第17/448,873号的权益,该申请的内容全文以引用方式并入本文以用于所有目的。
背景技术
一些设备提供眼睛跟踪***以实现人类计算机交互。在一些用途中,设备可捕获用户的眼睛移动,使用该移动作为用于操作设备并唤起设备的特征的直观输入,从而允许更快且更高效的交互。期望存在减少用户和设备之间的交互冲突的设备。
发明内容
本公开的一些示例涉及头戴式设备,该头戴式设备具有多个电极,该多个电极被配置为检测光学事件,诸如一只或多只眼睛的移动或粗略的眼睛姿态。在一些示例中,该一个或多个电极可耦接到介电弹性体材料,这些介电弹性体材料的形状可改变以改变该头戴式设备的用户和该一个或多个电极之间的接触,以确保有足够的接触和足够的电极信号质量。在一些示例中,该一个或多个电极可耦接到压力传感器和控制电路以监测和调整施加的压力。在一些示例中,这些光学事件可用作用于操作该设备(包括在操作功率模式之间转变)的触发项。在一些示例中,这些触发项可唤起该头戴式设备的更高分辨率感测能力。在一些示例中,这些电极可用作用于唤醒和/或解锁该设备的头上检测器。
附图说明
图1示出了根据本公开的一些实施方案的用于检测眼事件的***的象征性硬件图。
图2示出了根据本公开的一些实施方案的用于检测眼事件的***的功能框图。
图3示出了根据本公开的示例的位于用户的面部和头部周围的位置处用于检测眼事件的多个电极。
图4示出了根据本公开的示例的示例性电极配置,该示例性电极配置包括弹簧针式元件以改善电极和组织之间的耦接。
图5A示出了根据本公开的示例的示例性电极配置,该示例性电极配置包括处于非活动状态的一个或多个元件,但是该一个或多个元件可被激活以改善电极和组织之间的耦接。
图5B示出了根据本公开的示例的图5A的示例性电极配置,该示例性电极配置包括处于激活状态以改善电极和组织之间的耦接的一个或多个元件。
图6A示出了根据本公开的示例的示例性电极配置,该示例性电极配置包括处于非活动状态的一个或多个元件,但是该一个或多个元件可被激活以改善电极和组织之间的耦接,除此之外,该示例性电极配置还包括与电极共同定位的压力传感器。
图6B示出了根据本公开的示例的图6A的示例性电极和压力传感器配置,该示例性电极和压力传感器配置处于激活状态以改善电极和组织之间的耦接。
图6C示出了根据本公开的一些示例的用于调节电极施加到组织的压力量的反馈控制***。
图7示出了根据本公开的一些实施方案的对电极信号的示例性信号处理。
图8示出了根据本公开的一些实施方案的用于处理电极信号的示例性电极和模拟前端。
图9示出了根据本公开的一些示例的与头戴式设备相关联的传感器数据的示例。
图10示出了根据本公开的一些示例的功率消耗减少的眼睛跟踪的方法。
具体实施方式
在以下对示例的描述中将参考形成以下描述的一部分的附图并且在附图中以举例的方式示出了可被实施的具体示例。应当理解,在不脱离所公开的示例的范围的情况下,可使用其他示例并且可进行结构性变更。
随着计算机输入技术继续发展,输入设备的各种进步允许用户与计算***更高效地交互。包括被配置为检测眼睛的移动的元件的头戴式设备是可进一步提高用户可与一个或多个计算***交互的速度、效率和便捷度的发明的一个示例。在一些实施方案中,可检测用户的目光以无缝地唤起设备的功能。例如,虽然用户的手部被另外占用,但是可监测一个或多个眼事件(例如,眨眼、眼睛聚焦和/或(眼睛)目光的移动)以唤醒和/或解锁设备。目光估计还可用于眼睛姿态识别,向各种用户界面提供输入(诸如,在设置之间进行选择或切换),并提供输入捷径。除此之外或另选地,目光的焦点和/或移动可用作用于将设备和/或***从更低功率操作模式转变为更高功率操作模式以降低计算复杂性并延长设备的电池寿命的触发项。如本文所提及的,眼事件可包括眼睛的一次或多次眨眼、注视和/或扫视。还应当理解,眼事件可包括一个或多个眼事件的序列(例如,某种组合中一次或多次眨眼、注视和/或扫视的序列)。对眼事件的检测的其他使用案例包括头上设备识别(例如,感测设备正佩戴在用户的头部上并打开该设备)、残疾人可用性和眼睛健康。
在一些实施方案中,头戴式设备可包括被配置为监测与眼事件对应的电脉冲的电极。例如,耦接到介电弹性体(DE)材料的电极可布置在身体的特征部周围,包括但不限于与鼻部接触和/或在鼻部上方,在耳部、太阳穴和/或适合于检测和捕获与一个或多个眼事件或其他脑部相关事件和神经活动相关联的电脉冲的任何其他位置后面和/或周围。
图1示出了根据本公开的一些实施方案的用于检测眼事件的***100的象征性硬件图。在一些实施方案中,***100可包括便携式设备102,该便携式设备可以是可穿戴设备,诸如眼镜、护目镜、遮阳板、面罩、头盔或其他头戴式设备。在一些实施方案中,设备102可通信地耦接到设备104,设备104可以是智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备、可穿戴主机设备等。在一些实施方案中,设备102可除此之外或另选地通信地耦接到一个或多个设备106,该一个或多个设备可以是附件设备诸如激光笔、手持式触摸控制器、手套等。在一些实施方案中,***100可仅包括单个设备102(和任选的附件设备106),其中设备102包括设备104的功能。
在一些实施方案中,多个电极和相关联的电路(未示出)可位于设备102上或该设备内,使得当该设备佩戴在用户的头部上时,电极与用户的头部的在眼睛、鼻部、太阳穴和/或耳部的选定区域接触。可测量电极之间的电压差以检测与一个或多个眼事件(诸如,用户的目光(用户眼睛聚焦的位置)的移动)相关联的电脉冲。当用户的目光与计算机生成环境或物理环境内的特定区域或对象相关,或者与计算机生成环境内的特定用户界面示能表示相关时,可启动特定操作。在各种实施方案中,计算机生成环境可呈现在设备102内的显示器或表面上(例如,眼镜或头戴式设备上)或设备104内的显示器或表面上(例如,计算设备的显示器上)。
图2示出了根据本公开的一些实施方案的用于检测眼事件的***200的功能框图。在一些实施方案中,***200可至少部分地合并到便携式设备202中,该便携式设备可以是可穿戴设备,诸如眼镜、护目镜、遮阳板、面罩、头盔或其他头戴式设备。多个电极208可位于设备202上以用于检测与一个或多个眼事件相关联的电脉冲。这些电脉冲可通过使用接收器216测量电极之间的电压差来检测,并且可经由模数转换器(ADC)220转换为数字信号。在一些实施方案中,多个弹性体210可附接到电极208以帮助电极与用户的皮肤更好地接触。在一个示例中,驱动器212可向弹性体210施加刺激电压(例如,DC、AC和/或它们的某种组合),这可使弹性体响应于施加的电场而变形,并且使电极208向用户的皮肤施加增加的压力。在一些实施方案中,可在电极208附近使用压力传感器214,以检测施加到用户的皮肤的压力。来自压力传感器214的电信号可由接收器218接收并经由ADC 222转换为数字信号。控制器226可耦接到一个或多个ADC 220和222以接收和/或处理来自电极208和压力传感器214的数字化信号。从压力传感器214接收到的压力信息可由控制器226处理,以确定将由驱动器212施加的更新电压。以此方式,可创建反馈回路以保持电极208对用户的压力适当。
在一些实施方案中,驱动器212、接收器216和218、ADC 220和222和控制器226可构成弹性体210、电极208和压力传感器214的模拟前端(AFE)224,并且可部分地或完全地合并到单个封装件中(例如,集成电路和/或片上***内)。然而,相对于前端电路描述的实施方案仅是示例性的并且不以任何方式进行限制。例如,上文所述部件不一定需要单个封装件。在一些实施方案中,控制器226可耦接到被配置为有助于发射和/或接收信号的一个或多个无线通信模块228(例如,蓝牙低功耗无线电模块、Zigbee模块)。通信模块228可除此之外耦接到一个或多个天线230和一个或多个电源,诸如电池290。在一些实施方案中,上文所述部件可部分地或完全地合并单个封装件中(例如,集成电路和/或片上***内)。
在一些实施方案中,设备202可通信地耦接到设备204,设备204可以是智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备、可穿戴主机设备、与设备202分开的其他设备。然而,在其他实施方案中,单个设备202可包括如图2中所示的设备204的功能。设备204中的通信电路232可任选地包括用于与电子设备(诸如设备202)、网络(诸如互联网、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN))通信的电路。通信电路232还可任选地包括用于使用近场通信(NFC)和/或短程通信诸如进行通信的电路。
设备204可任选地包括各种传感器234(例如,手部跟踪传感器、位置传感器、图像传感器、触敏表面、运动和/或定向传感器、眼睛跟踪传感器、麦克风或其他音频传感器等)、一个或多个显示生成部件(诸如显示器236)、一个或多个处理器238、一个或多个存储器240、输入设备242和其他部件。图2中未示出的一个或多个通信总线可任选地用于设备204的上文所提及部件之间的通信。
处理器238可任选地包括一个或多个通用处理器、一个或多个图形处理器和/或一个或多个数字信号处理器(DSP)。在一些实施方案中,存储器240可以是存储计算机可读指令的非暂态计算机可读存储介质(例如,闪存存储器、随机存取存储器、或其他易失性或非易失性存储器或存储装置),这些计算机可读指令被配置为由处理器238执行以执行本文所述的技术、过程和/或方法。在一些实施方案中,存储器240可包括非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行***、装置和设备使用或与其结合的任何介质(例如,不包括信号)。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。
显示器236可任选地包括单个显示器(例如,液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些实施方案中,显示器236可包括多个显示器。在一些实施方案中,显示器236可包括具有触敏表面(例如,触摸屏)、投影仪、全息投影仪、视网膜投影仪等的显示器。
在一些实施方案中,传感器234可包括被配置为接收用户输入(触摸和/或接近输入)(诸如,轻击输入和轻扫输入或其他手势)的触敏表面。在一些实施方案中,显示器236和触敏表面一起可形成触敏显示器(例如,与设备204集成或在设备204外部与设备204通信的触摸屏)。设备204还可任选地包括除了触敏表面之外的一个或多个输入设备242,诸如物理键盘、鼠标、触控笔和/或操纵杆(或任何其他合适的输入设备),并接收来自该一个或多个输入设备的输入。
传感器234还可包括图像传感器,这些图像传感器可任选地包括一个或多个可见光图像传感器(诸如电荷耦合器件(CCD)传感器)和/或可操作以从真实世界环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器可任选地包括一个或多个红外(IR)或近红外(NIR)传感器(诸如被动或有源IR或NIR传感器),以用于检测来自真实世界环境的红外或近红外光。例如,有源IR传感器可包括用于将红外光发射到真实世界环境中的IR发射器。图像传感器可任选地包括一个或多个相机,该一个或多个相机被配置为捕获物理对象在真实世界环境中的移动。图像传感器可任选地包括一个或多个深度传感器,该一个或多个深度传感器被配置为检测物理对象与设备204相距的距离。在一些实施方案中,来自一个或多个深度传感器的信息可以允许设备标识真实世界环境中的对象并且将其与真实世界环境中的其他对象区分开。在一些实施方案中,一个或多个深度传感器可以允许设备确定真实世界环境中的对象的纹理和/或形貌。
在一些实施方案中,设备204可以组合方式使用CCD传感器、事件相机和深度传感器来检测该设备周围的物理环境。在一些实施方案中,图像传感器可包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可一起工作,并且任选地可被配置为捕获真实世界环境中的物理对象的不同信息。在一些实施方案中,第一图像传感器可以是可见光图像传感器,并且第二图像传感器可以是深度传感器。在一些实施方案中,设备204可使用图像传感器来检测设备204和/或显示器236在真实世界环境中的位置和取向。例如,设备204可使用图像传感器来跟踪显示器236相对于真实环境中的一个或多个固定对象的位置和取向。在一些实施方案中,传感器诸如相机(例如,图像传感器)可用于捕获真实世界环境的图像。图像可由处理电路(一个或多个处理器238)处理以定位和测量光源。在一些实施方案中,可根据环境中的光源的反射和/或由环境中的光源投射的阴影来确定光。在一些实施方案中,深度学习(例如,监督)或其他人工智能或机器学习用于基于输入图像来估计光照特性。
在一些实施方案中,传感器234可任选地包括手跟踪传感器和/或眼睛跟踪传感器。手部跟踪传感器可被配置为跟踪用户的手部和/或手指相对于计算机生成环境、相对于显示器236和/或相对于另一坐标系的位置和/或运动。眼睛跟踪传感器(不同于也可用于眼睛跟踪的电极208)可被配置为跟踪用户的目光(眼睛、面部或头部,更一般地)相对于真实世界环境或计算机生成环境以及/或者相对于显示器236的位置和移动。用户的目光可包括眼睛被引导的方向、任选地与特定点或空间区域的相交点和/或与特定对象的相交点。在一些实施方案中,手部跟踪传感器和/或眼睛跟踪传感器可与显示器236一起实施(例如,在同一设备中)。在一些实施方案中,手部跟踪传感器和/或眼睛跟踪传感器可与显示器236分开实施(例如,在不同设备中)。
在一些实施方案中,手部跟踪传感器可使用从包括一只或多只手的真实世界捕获三维信息的图像传感器(例如,一个或多个IR相机、3D相机、深度相机等)。在一些示例中,可以用足够的分辨率来分辨手部,以区分手指及其相应的位置。在一些实施方案中,一个或多个图像传感器可相对于用户定位以限定图像传感器的视野和交互空间,在该交互空间中由图像传感器捕获的手指/手部位置、取向和/或移动被用作输入(例如,以与用户的闲置手部或真实世界环境中的其他人的其他手部进行区分)。跟踪用于输入的手指/手部(例如,手势)的有利之处可能在于,手指/手部用于输入提供了不需要用户触摸或握持输入设备的输入方式,并且使用图像传感器允许跟踪而不需要用户在手部/手指上佩戴信标或传感器等。
在一些实施方案中,眼睛跟踪传感器可包括一个或多个眼睛跟踪相机(例如,IR相机)和/或朝向用户的眼睛发射光的照明源(例如,IR光源/LED)。眼睛跟踪相机可指向用户的眼睛,以直接或间接地从眼睛接收来自光源的反射光。在一些实施方案中,通过相应的眼睛跟踪相机和照明源单独地跟踪两只眼睛,并且可通过跟踪两只眼睛来确定目光。在一些实施方案中,通过相应的眼睛跟踪相机/照明源来跟踪一只眼睛(例如,主眼)。
设备204可任选地包括麦克风或其他音频传感器。设备204可使用麦克风来检测来自用户和/或用户的真实世界环境的声音。在一些实施方案中,麦克风可包括任选地一起运行的麦克风阵列(例如,以识别环境噪声或定位真实世界环境的空间中的声源。在一些实施方案中,在电子设备的用户允许时,使用一个或多个音频传感器(例如,麦克风)捕获的音频和/或语音输入可用于与用户界面或计算机生成环境交互。
设备204可任选地包括被配置为检测设备204和/或显示器236的位置的位置传感器。例如,位置传感器可任选地包括从一个或多个卫星接收数据并允许设备204确定该设备在物理世界中的绝对位置的GPS接收器。设备204还可任选地包括被配置为检测设备204和/或显示器236的取向和/或移动的运动和/或取向传感器。例如,设备204可使用取向传感器来跟踪设备204和/或显示器236的位置和/或取向(例如,相对于真实世界环境中的物理对象)的变化。取向传感器可任选地包括一个或多个陀螺仪、一个或多个加速度计和/或一个或多个惯性测量单元(IMU)。
设备204或***200可支持可在计算机生成环境中显示的多种应用程序,诸如以下应用程序中的一者或多者:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、Web浏览应用程序、数字音乐播放器应用程序、电视频道浏览应用程序和/或数字视频播放器应用程序。
可使用设备202和204中的一者或两者(包括使用一个或多个显示生成部件)来显示计算机生成环境。计算机生成环境可任选地包括各种图形用户界面(“GUI”)和/或用户界面对象。如本文所述,可使用包括一个或多个显示生成部件的设备202或设备204来显示包括各种GUI的计算机生成环境。计算机生成环境可包括与应用程序相关联的一个或多个GUI。例如,计算机生成环境可显示菜单或可选选项,以使得启动或显示用于计算机生成环境中的应用程序的用户界面。类似地,计算机生成环境可显示菜单或可选选项,以执行关于在计算机生成环境中运行的应用程序的操作。
应当理解,图2的架构是示例性架构,但是设备202和设备204不限于图2的部件和配置。例如,设备202和204可包括处于相同或不同配置的更少、附加或其他部件。
图3示出了根据本公开的示例的位于用户的面部和头部周围的位置处用于检测眼事件的多个电极304。尽管在图3中未示出,但是在一个代表性的示例中,电极304可形成在结构(诸如眼镜)中、耦接到该结构或以其他方式设置在该结构上,并且在其他示例中,可形成在不同类型的头戴式设备的壳体中、耦接到该壳体或以其他方式设置在该壳体上,诸如一对护目镜、眼镜、面罩、头盔或遮阳板。在各种示例中,结构或设备可具有允许结构或设备部分地或完全地搁置在用户的面部上的形状因子。在一些示例中,结构或设备可包括一个或多个透明或几乎全部透明的透镜306。在一些示例中,透镜306可由被选择用于优化耐用性、可见度,降低眩光并且/或者投影或显示图像/视频(例如,以显示用户界面和对应元素)的合适材料形成。在一些实施方案中,一种或多种材料可部分地或完全地设置在透镜306的一个或多个面的表面上方,以实现上述光学和/或机械性质。
在一些实施方案中,电极304可充当传感器,这些传感器被配置为捕获与一个或多个眼事件相关联的生理信号。例如,与基于相机的***相比,使用电极304可提供用于执行眼睛跟踪的成本更低的具体实施。电极304可在眼睛的视角和输出信号的幅度之间具有线性或近似线性关系。通过在眼睛周围的不同位置布置多个电极,电极304可提取关于眼睛的方向、移动和/或注视的信息以供进一步处理。在一些实施方案中,电极可被配置为眼电描记(EOG)传感器,以提供对眼睛的电活动的测量。具体地,EOG传感器可检测眼睛的角膜和视网膜之间的电压差并且捕获EOG信号。例如,EOG传感器可被配置为提供对在眼睛的角膜和视网膜之间形成的偶极的指示。除此之外或另选地,电极可被配置为捕获EEG信号并且提供对用户的脑部的电活动的测量的脑电描记(EEG)传感器。除此之外或另选地,电极可被配置为捕获EMG信号并且提供对与眼睛相关联的肌肉和/或组织的电活动的测量的肌电描记(EMG)传感器。所有这些类型的传感器可用于捕获并解读设备300的穿戴者的意图。
本文主要描述包括被配置为检测EOG信号的传感器(例如,被称为EOG传感器)的实施方案;然而,应当注意,这种描述仅是示例性的并且不以任何方式进行限制。例如,EEG信号、EMG信号、它们的某种组合和/或与一个或多个眼事件相关联的任何合适的生理电信号可在适当的情况下与一个或多个EOG传感器一起使用和/或代替该一个或多个EOG传感器。类似地,描述EEG和/或EMG传感器的实施方案可在适当的情况下用EOG传感器来补充并且/或者被替换为EOG传感器。
在一些实施方案中,电极304可放置在结构的表面或设备的壳体内或上或它们的某种组合。例如,电极304可被放置成使得当结构或设备被穿戴时,在电极和用户的头部的优选地具有暴露的皮肤的一个或多个部分之间进行实质性接触。在各种示例中,电极304a可被配置为与用户的前额接触,电极304b和304c可被配置为与用户的鼻梁的相对侧接触,电极304d和304k可被配置为与耳部接触和/或与耳部周围接触,电极304e和304f可被配置为与用户的太阳穴周围接触,电极304g和304h可被配置为与用户的脸颊周围接触,并且电极304i和304j可被配置为与用户的眉毛周围接触。
在一些实施方案中,电极304可在数量上比所示出的更多和/或更少。例如,设备300可包括两个电极,这两个电极在感测时向设备提供对一个或多个眼事件的指示。除此之外或另选地,可引入比图3中所示的更多数量的电极以提供关于眼睛移动的附加信息。
应当理解,本文关于电极的位置、形式和功能的公开内容不以任何方式进行限制。在一些实施方案中,电极可布置在不同位置、结构的面或壳体中,并且根据需要呈现任何适当的形状和/或大小。例如,可基于相应电极和一个或多个(例如,参考)电极之间的相对距离来选择电极的位置。在一些实施方案中,参考电极可布置在与一个或多个其他电极(例如,测量电极)相距足够的距离处,以便增加参考和该一个或多个电极之间的差分信号的量值。这可包括电极304a,该电极可提供相对于附加电极对称的参考(例如,电极304b和电极304c可布置在鼻梁的相对面上,因此相对于电极304a对称地布置以实现EOG感测配置)。除此之外或另选地,在操作设备300来配置适当的光学事件感测模态(例如,EOG、EMG和/或EEG)时,可动态地选择一个或多个参考电极。除此之外或另选地,电极304d和/或电极304k(例如,用于EEG感测)可被配置为参考电极,使得参考电极被定位成足够远离附加测量电极(例如,电极304b和304c),以增加参考和电极304中的任一个电极之间的差分信号的量值。例如,第一参考电极可连接到差分放大器的第一输入端,而测量电极连接到差分放大器的第二输入端。同时,第二参考电极可连接到刺激信号。可选择刺激以减轻由于信号路径中的内部部件和外部部件两者的不匹配而出现在第一参考电极和测量电极之间的差分信号上的不期望的共模噪声的影响。除此之外或另选地,可选择刺激以用其他方式减轻不期望噪声对感测和操作设备的影响。在一些实施方案中,驱动第二参考电极(例如,利用右腿驱动技术)可提高对共模噪声的抑制能力。例如,设备300可感测到处于60Hz的环境噪声,并且包括在设备300中的控制器可包括被配置为驱动具有与降低60Hz噪声相关联的刺激的第二参考电极的电路。在一些实施方案中,参考电极可被配置为消除一个或多个信号(宽带噪声、窄带信号等)。应当理解,任何电极都可被配置为充当参考电极。例如,在一些实施方案中,多路复用器可从电极中的一些或全部接收输入,并且以可编程方式选择所接收输入中的任一个所接收输入作为参考电极。在一些实施方案中,参考电极可在不同电极位置之间交替,并且每当参考电极改变到不同位置时,可获得一组电极测量值。这些多组电极测量值可以组合方式或单独地使用,以优化信号质量和准确性,并且以获得用于眼睛目光确定的数据。
在一些实施方案中,电极304可以是“干燥”电极(例如,不具有导电凝胶),这些干燥电极提供了用于感测EOG信号的谨慎、低成本且实用的解决方案。常规的湿电极利用被配置为改善对生理信号的检测的一种或多种材料;然而,材料(例如,电解凝胶)可能不舒适并且在临床应用之外不适用,并且可能比干燥电极更昂贵。因此,当在一些设备中实施时,电极304可由一种材料或合适材料的组合形成,以确保便携性、可复用性、清洁度和舒适度,同时降低成本。在一些实施方案中,电极304可由一种或多种合适的导电材料(诸如,钢、铜、碳、铝、铜、金、银、锡、白蜡和/或钛)形成。电极还可包括设置在电极的一个或多个表面上的涂层(例如,泡沫、粉末、膜等)。可适当地选择与电极相关联的材料,以优化信号质量以及皮肤和电极之间的阻抗。
当感测EOG信号或其他生理信号时,电极和用户的组织(例如,表皮)之间的足够接触对于改善信号质量和完整性以及获得呈现给设备的驱动和/或感测电路的可预测阻抗可能是至关重要的。然而,当设计能适应用户的物理和生理特征的差异和由用户引入的移动(例如,用户有意地或无意地移位设备)的设备时,接触要求可能会带来困难。例如,人类头部可提供高度可变接触表面,包括轮廓和可变表面条件(包括头发、油、瘢痕组织、汗液等)。此外,用户的头部经常在运动并且可导致设备移动,从而潜在地影响电极接触完整性。因此,可穿戴设备解决方案(尤其是对于眼睛目光和/或检测应用)通过包括在电极和人类组织之间施加可变压力的机构来获得益处。
因此,在一些实施方案中,电极可耦接到被配置为改善电极和用户组织之间的接触的元件。在一些实施方案中,这些元件可向电极施加压力以按压电极、拉动电极和/或使电极变形,从而在电测量之前、期间和/或之后在电极的一个或多个表面上提供接触力。施加的力可更好地以机械的方式和电的方式耦接用户组织(例如,表皮)和电极,从而优化电测量。在一些实施方案中,可经由机械元件施加接触力。
图4示出了根据本公开的示例的示例性电极配置,该示例性电极配置包括弹簧针式元件以改善电极和组织之间的耦接。在一些实施方案中,设备400可被配置为测量一个或多个EOG信号。如上文所述,可能有利的是,在电极404和组织414之间提供持续接触,使得设备400可例如通过经由电极提供刺激和/或测量信号来可靠地获得与设备的用户相关联的电脉冲的测量值。在一些实施方案中,设备可包括一个或多个元件,诸如弹簧针410,该一个或多个元件可耦接到电极以改善电极的一个或多个表面和组织之间的接触。在一些实施方案中,弹簧针410和/或电极404可保持在设备内的壳体412内,并且相对于该壳体而弹簧偏置。在一些实施方案中,组织414可对应于电极的用户的皮肤(例如,表皮)。在一些实施方案中,电极404可部分地或完全地安装在设备的表面上。当组织与电极接触时,弹簧针可被压缩,从而朝向组织向电极施加力并改善机械和/或电接触的质量。
图5A示出了根据本公开的示例的示例性电极配置,该示例性电极配置包括处于非活动状态的一个或多个元件,但是该一个或多个元件可被激活以改善电极504和组织514之间的耦接。图5A示出了示例性设备500,该示例性设备包括壳体508、形成在设备壳体中或设备壳体上的两个电极504A和504B(尽管其他电极也可存在于设备中或设备上),以及一种或多种弹性体(弹性聚合物)材料516(例如,介电弹性体材料)。在一些示例中,弹性体516可夹置在电极504A和504B之间。在一些示例中,设备500可包括用于驱动电极504A和504B的电路518。驱动电极504可改变弹性体516的形状并且使电极适形于用户的组织514(例如,表皮)并与用户的组织接触。尽管在图5A中未示出,但是电极504和弹性体516也可按其他合适的配置布置。例如,电极504A和504B可被布置成在相同的平面或近似相同的平面内隔开一定距离。弹性体516可布置在与电极不同的平面中,使得(例如,由施加到电极504A和504B的不同电压形成的)电场可改变弹性体的形状,在一些情况下甚至当弹性体的表面的部分相对于电极的部分未耦接时也可改变弹性体的形状。在一些实施方案中,弹性体516可由包括但不限于介电弹性体的电活性材料形成。介电弹性体可响应于施加的电场而提供压缩应力,并且可在EOG感测***中提供许多益处,尤其是当合并到需要坚固、轻质且舒适的解决方案的设计中时。在存在施加的电场的情况下,介电弹性体可表现出高柔性/变形,但在电场不存在或减少的情况下可恢复初始形式。介电弹性体可包括丙烯酸树脂、硅酮、聚氨酯、氟弹性体、乙烯-丙烯橡胶和/或可响应于电场而发生大型可逆变形的任何其他合适的材料。如本文所提及的,介电弹性体将用于描述一系列合适的电活性材料;然而,应当理解,本文中的此类描述和实施方案仅是示例性的并且不以任何方式进行限制。
图5B示出了根据本公开的示例的图5A的示例性电极配置,该示例性电极配置包括处于激活状态以改善电极504和组织514之间的耦接的一个或多个元件。在图5B中,电路518(例如,源)在第一电极504A和第二电极504B上施加电压或电流。响应于电压和/或电流的施加,在第一电极504A和第二电极504B之间产生电场。响应于该施加的电场,所得静电压力和机械压缩使位于第一电极504A和第二电极504B之间的弹性体516发生变形(与变形之前的图5A相比),其中弹性体在厚度上收缩并且在面积上扩展。因为第一电极504A和第二电极504B耦接到弹性体516,所以弹性体的表面积的增加会使电极扭曲或“弯曲”并从设备壳体508突出,从而导致电极对组织514施加的力或压力增加。在一些实施方案中,弹性体516被配置为平面或近似平面的膜,该膜可突出到平行于该膜的平面的维度之外。在一些实施方案中,弹性体516可被实施为多层介电弹性体材料。多层介电弹性体允许形成复杂形状,这些复杂形状适形以允许电极与组织更好地接触并且/或者增加电极与组织的接触表面积。层的数量将取决于电极在面部的区域周围的位置,在面部中,用户之间存在较高可变性(例如,颧骨、眉毛等)。
图6A示出了根据本公开的示例的示例性电极配置,该示例性电极配置包括处于非活动状态的一个或多个元件,但是该一个或多个元件可被激活以改善电极604和组织614之间的耦接,除此之外,该示例性电极配置还包括与电极共同定位的压力传感器622。除了添加了压力传感器622和相关联的电子器件之外,图6A类似于图5A和图5B。在一些实施方案中,设备600的每个电极对可耦接到一个或多个相应压力传感器622。压力传感器622可耦接到表面并且/或者集成到电极604A和/或604B中,并且可向控制器620供应与由电极向组织614施加的力相关联的信号和/或数据。在一些实施方案中,设备600的每个电极可耦接到一个或多个相应压力传感器(例如,一个电极或电极网格)。因此,可穿戴设备诸如包括一个或多个压力传感器的头戴式设备可使由电极604施加的压力适中,并且对在电极和组织614之间建立接触并保持接触(在一方面)的需要与用户的舒适度(在另一方面)进行平衡。
图6B示出了根据本公开的示例的图6A的示例性电极和压力传感器配置,该示例性电极和压力传感器配置处于激活状态以改善电极604和组织614之间的耦接。在图6B的示例中,控制器620内的电路(例如,源)在第一电极604A和第二电极604B上施加电压或电流。响应于电压和/或电流的施加,在第一电极604A和第二电极604B之间产生电场。响应于该施加的电场,所得静电压力和机械压缩使位于第一电极604A和第二电极604B之间的弹性616发生变形(与变形之前的图6A相比),其中弹性体在厚度上收缩并且在面积上扩展。因为第一电极604A和第二电极604B耦接到弹性体616,所以弹性体的表面积的增加会使电极扭曲或“弯曲”并从设备壳体608突出。电极604和/或弹性体616与组织614接触,该组织可对应于用户的组织,诸如表皮。
因为压力传感器622与电极604共同定位,所以当电极与组织614接触时,压力传感器可检测由电极对组织施加的压力。设备600可包括控制器620内的控制电路,该控制电路耦接到压力传感器622以捕获并处理来自该压力传感器的压力读数。在一些示例中,可选择性地监测而不是连续地监测压力传感器622。例如,鼻部/耳部电极可检测脑部信号或指示用户活动的其他信号的存在(例如,通过检测EEG和/或EOG信号)。在检测到用户活动时,可激活(例如,眼睛区域周围的)其他电极,并且还可激活压力传感器电路。当激活压力感测时,压力传感器622可向控制器620供应与由电极604向组织614施加的力相关联的信号和/或数据。在一些实施方案中,设备600的每个电极可耦接到一个或多个相应压力传感器(例如,一个电极或电极网格)。
图6C示出了根据本公开的一些示例的用于调节电极604施加到组织614的压力量的反馈控制***648。反馈控制***648可确保电极604向组织614施加足够的压力以获得准确的电极信号,同时保持对施加的压力的相对限制,以确保用户在设备尝试优化接触时不会受到过量的机械力。在一些实施方案中,相关压力传感器数据可用作与设备600相关联的闭环反馈控制***648的一部分。反馈控制***648可包括压力传感器622、比较器652、驱动电路654和弹性体616。在图6B的实施方案中,可通过压力传感器622来检测施加在电极604和组织614之间的实际压力660。来自压力传感器622的压力信号650可被馈送回比较器652,该比较器可确定期望压力P0和实际压力660之间的差异并生成差异信号656。期望压力P0可以是预先确定的压力水平,该预先确定的压力水平预期提供足以用于准确的眼睛目光确定的电极信号质量。差异信号656可被馈送到驱动电路654中,该驱动电路可生成到电极604的电压信号658,这些电极继而可导致弹性体616的变形的变化和实际压力660的变化。如果差异信号656指示实际压力660小于期望压力P0,则驱动电路654可修改向电极604施加的电压658,以使弹性体616进一步弯曲或变形并增加实际压力660。在一次或多次迭代之后,反馈控制***648可增加实际压力660,直到该实际压力达到大约等于期望压力P0的实现压力P为止。然而,如果差异信号656指示实际压力660大于期望压力P0,则驱动电路654可修改向电极604施加的电压658,以减小弹性体616的弯曲或变形并减小实际压力660,直到该实际压力达到期望压力P0为止。反馈控制***648还可确保实际压力660不会大得足以使用户在设备尝试优化接触时受到过量的机械力。在一些实施方案中,与闭环反馈***相关联的控制算法可在本地运行。除此之外或另选地,控制算法可部分地或完全地由通信地耦接到设备600的设备(例如,使用无线通信信道)来运行。除此之外或另选地,压力数据可和与EOG感测相关的其他特性一起被监测和/或代替与EOG感测相关的其他特性,这些其他特性包括但不限于感测电路的一个或多个部分的阻抗、所接收信号的信噪比以及与设备和/或其构成部件的运动相关联的数据。
例如,可估计电极604和皮肤/组织614之间的接触的阻抗,而不是压力传感器622,并且可根据需要改变向介电聚合物616施加的电流(例如,电流信号),直到实现足够的阻抗为止。阻抗测量值可经由还用于与电极连接的电路获得。例如,设备600可包括一个或多个电流源,该一个或多个电流源被配置为向用户的身体供应电流。经由电极604测量的电压和电流可用于计算与感测EOG信号相关联的阻抗。具体地,阻抗可指示组织614和电极604之间的接触质量。
当与用户组织进行足够的电极接触以生成准确的电极信号时,可收集并处理电极数据以执行目光检测和眼睛跟踪。目光检测和眼睛跟踪可用作触发各种功能的用户输入。除此之外或另选地,可实施用于在操作模式之间转变的其他触发项。例如,触发项可涉及包括检测用户的目光的眼事件。具体地,眼事件可包括注视包括但不限于用户的视野的角落(在本文中称为“触发角”)的预先确定区域。触发角也可基于设备的绝对尺寸和/或相对尺寸来配置。为了适应***的物理特征的差异,例如,触发角可对应于检测在透镜上或透镜中的位置处的目光注视(例如,对应于图3的透镜306的角落)。除此之外或另选地,可部分地或完全地基于对用户的眼睛的相对角度的确定来确定触发角。在一些实施方案中,可在第一分辨率下检测第一眼事件(例如,使目光朝向触发角),并且在检测到眼事件之后(例如,在阈值量的时间之后),可在更高分辨率下检测一个或多个另外的眼事件。该实施方案可允许***捕获广泛的一般眼事件,并且响应于某个条件(例如,阈值量的时间、一个或多个位置上的一个或多个注视的序列和/或检测到一次或多次眨眼),捕获与一个或多个眼事件相关联的更精细且更准确的变化。
在一些实施方案中,多个电极可被配置为检测EOG信号、与眼睛的移动相关联的信号,该眼睛的移动可被映射到限定的坐标系。在一些实施方案中,电极可被配置为生成二维坐标映射图以解读眼睛移动。在一些示例中,二维坐标映射图可涉及眼睛的旋转(例如,朝向平分用户的头部的冠状平面)。例如,用户的直直地盯着前方的眼睛可对应于初始位置,诸如与平分用户的头部的假想冠状平面(例如,X-Y二维平面)正交地(例如,在Z方向上)延伸的向量。在一些实施方案中,电极可提供眼睛的旋转(例如,垂直旋转和水平旋转或它们的组合)和电极输出的电压之间的线性或近似线性关系。因此,示例性设备可检测来自电极的一个或多个电压,并且将眼睛的感知到的旋转计算为经处理信号(例如,指示垂直旋转和水平旋转或它们的组合的信号)。在一些实施方案中,可使用一个或多个经处理信号来计算眼睛远离初始位置的旋转,并且可计算与眼睛移动对应的向量。在一些示例中,向量可被投影到假想冠状平面上以更好地使眼睛的垂直移动和/或水平移动与用户界面的垂直导航和/或水平导航相关。
上文所述行为的示例性使用案例可为响应于眼事件而解锁用户的设备600。解锁设备600可包括为用户提供对设备的一个或多个功能和/或操作模式的访问。例如,即使在安装在用户的头部上时,设备600也可保持为低功率模式,直到检测到眼事件之后为止。
响应于检测到设备600被用户穿戴,设备可任选地激活一个或多个部件的功能以改善对眼事件的检测,但是在用户看来,设备状态可看起来几乎完全或完全不变。在该操作模式下,可部分地启用设备功能。在任选地进入更完全启用模式之后,可任选地提示用户以将其目光朝向位置引导。在一些实施方案中,用户目光和/或移动可对应于包括眼睛从第一方向移动到第二方向(例如,眼睛从屏幕的左侧位置移动到屏幕的右侧位置)的眼事件。应当理解,所描述的眼事件不是限制性的,并且可对应于任何合适的移动,包括但不限于眼睛的线性或几乎完全线性(例如,垂直、水平、对角)的移动或眼睛在弯曲和/或不规则路径中的移动。
在一些实施方案中,设备600可被配置为使用最小量的电极(例如,两个电极)来检测眼事件。例如,设备600可包括被配置为检测一个或多个眼事件的两个电极。在一些实施方案中,可实施少至两个电极来检测唤醒条件。本文所述的唤醒条件可以多种组合进行组合。如本文所述,唤醒条件可包括检测与用户将设备600放置在其头部上对应的EOG和/或EEG信号。唤醒条件还可除此之外或另选地包括检测定向眼睛移动,诸如单向眼睛移动。在一些实施方案中,唤醒条件可包括与对触发角的用户目光注视相关联的眼事件。例如,包括至少三个电极的设备可被配置为检测与眼睛的特定角度的注视对应的眼事件,从而向设备600提供可任选地用作唤醒条件的EOG传感器数据。
图7示出了根据本公开的一些实施方案的对电极信号的示例性信号处理。在一些实施方案中,电极信号766可对应于电极的直接测量值。与电极信号766对应的电压可由头戴式设备进一步处理(诸如在图2的设备202的AFE 224中),并且/或者由可任选地是单独设备的相关联计算***进一步处理(诸如在图2的设备204中)。例如,信号可通过一个或多个滤波器。在一些实施方案中,滤波器可包括一个或多个高通滤波器762、一个或多个带通滤波器(未示出)和/或一个或多个低通滤波器764。滤波器可被配置为衰减噪声、减轻信号漂移、防止混叠等。一个或多个机器学***角度和/或视角、眨眼事件和/或目光注视的特征,并生成更新的模型770。设备和/或相关联的计算***可被配置为唤起与设备和/或***相关联的功能、方法和/或过程,包括在操作模式之间转变、激活语音识别软件等。
图8示出了根据本公开的一些实施方案的用于处理电极信号的示例性电极804和模拟前端872。有源电极804-A和参考电极804-B可用图8中所示的示例性电路元件来建模。在一些示例中,这些电极804可具有50uV至3.5mV的信号幅度、0Hz至40Hz的频率内容和高达+/-1V的电极DC偏移(其可取决于电极材料和皮肤接触)。在一些实施方案中,设备可包括前端电路872以调节来自这些电极的信号并对这些信号进行采样。例如,设备电路可包括一个或多个放大器874(例如,可编程增益放大器)。相应放大器的输入端可连接到与如图8中所示的有源电极和参考电极,以在放大器输出端处获得差分电压,该输出对应于由有源电极检测到并与眼事件相关联的相对电压差。放大器874的输出端可进一步耦接到一个或多个可变模数转换器(ADC)876,该可变ADC可被配置为在一个或多个分辨率下量化信号。控制器878可耦接到一个或多个ADC 876以接收和/或处理数字化信号。
在一些实施方案中,模拟前端872可包括用于测量阻抗的一个或多个元件。例如,模拟前端可包括被配置为刺激用户的组织的一个或多个电流源。然后可将(例如,由设备的一个或多个电极)作为响应而测量的电压与已知电流一起使用以计算阻抗。在一些实施方案中,测量的阻抗可由包括在设备中的控制器用于配置一个或多个介电弹性体(例如,用于增加和/或减小一个或多个电极和用户的组织之间的压力)。增加的压力将有助于通过将电极-皮肤阻抗减小到其不损害用户舒适度的程度来实现更好的信号质量。
在一些实施方案中,模拟前端电路可按考虑到的特定规格来配置。例如,由该一个或多个放大器接收到的信号可跨越包括但不限于50uV至3.5mV的范围,从而包括包括但不限于0Hz至40Hz的频率内容。除此之外或另选地,放大器的共模输入范围可包括+/-1V,并且输入阻抗可超过1GΩ。
图9示出了根据本公开的一些示例的与头戴式设备相关联的EOG传感器数据的示例。在一些实施方案中,设备可包括被配置为检测眼睛的移动的多个电极。在一些实施方案中,电极可被布置成捕获EOG信号。如本文所述,电极配置不以任何方式进行限制,前提条件是由电极捕获的信号与眼事件相关联。例如,由电极输出的EOG信号可对应于用户的眨眼。除此之外或另选地,可由头戴式设备感测和检测眨眼的强度。在一些实施方案中,一个或多个电极可被布置成与用户的眼睛上方和/或下方的组织接触。除此之外或另选地,一个或多个电极可被布置成与眼睛的外侧和/或内侧的组织接触。在一些实施方案中,电极可被布置成与用户的鼻部的鼻梁(例如,对应于图3的电极304b和/或304c)接触,与用户的前额(例如,对应于电极304a)接触并且/或者与用户的耳部周围和后面的区域(例如,对应于304d和304k)接触。
在一些实施方案中,与用户的前额接触的电极可被配置为参考电压,以计算指示眼睛目光和/或移动的多个差分电压。例如,信号932和信号934可对应于用户的前额上的参考电极(例如,对应于电极304a)和用户的鼻梁的右侧和左侧上的电极(例如,对应于电极304b和304c)之间的差分电压。信号936和信号938可对应于参考电极和用户的右侧耳部和左侧耳部后面/周围的电极(例如,对应于电极304d和304k)之间的差分电压。
在一些实施方案中,图9中所示的信号可对应于若干眼事件。例如,在时间段940期间的信号932、934、936和938可对应于用户的眨眼。如前所述,还可检测眨眼的强度。眨眼可用于执行设备的功能,诸如确认和/或选择与头戴式设备相关联的用户界面的元素。在一些实施方案中,由电极提供的EOG信号可对应于眼睛在一个或多个方向上的旋转。例如,与眼睛的移动相关联的事件可对应于目光的水平角度和/或垂直角度,并且可在时间段942期间检测到。在时间段942期间,信号932、934、936和938表现出下降斜率,该下降斜率可对应于眼睛的视角的变化,包括用户目光向上移位。在一些实施方案中,EOG信号还可捕获用户目光的状态。时间段944可对应于用户保持特定视角(例如,在时间段942期间建立的视角)。除此之外,可检测视角的后续变化,如在时间段946期间所示,该时间段可对应于用户目光向右侧移位。在一些实施方案中,信号932、934、936和938的稳定期或近似稳定期可随着用户目光的视角变化而升高和/或降低。类似地,在一些实施方案中,信号932、934、936和938的量值可因每个用户而异,并且随着事件的强度而变化(例如,基于眨眼的强度)。
图10示出了根据本公开的一些示例的功率消耗减少的眼睛跟踪的方法。当集成电源有限时(诸如,在包括有限电源(例如,电池)的可穿戴设备中),设备功率消耗可能特别关键。此外,在电子器件的操作期间生成的热量可能增加可穿戴设备的不适感;因此,减少由设备消耗的功率可能是关键的设备和/或***设计考虑因素。在一些实施方案中,由具有足够接触的电极捕获的信号可被捕获并被配置为改变设备的操作模式。如上文所述,电极可被布置成并被配置为与太阳穴、鼻部、脸颊、眉毛、耳部后面等中的一者或多者进行接触。在一些实施方案中,设备的电极的子集(例如,与用户的鼻部和/或一个或多个耳部接触的电极)可被配置为捕获与用户的脑部活动对应的信号。例如,可检测与用户的面部内的眼睛和/或肌肉的移动对应的电脉冲。除此之外或另选地,可检测与眼睛和/或肌肉的移动相关联的脑部活动。在一些实施方案中,在感测到脑部活动(例如,检测到EEG信号)之前,设备可以低功率模式进行操作,如在框1080中所示。低功率模式可包括关闭头戴式设备内和/或与头戴式设备相关联的部件和/或电路中的一些或全部。在一些实施方案中,部件和/或电路中的一些或全部可被配置为处于睡眠模式(例如,低功率消耗)。在一些实施方案中,低功率模式可包括将与头戴式设备相关联的部件和/或电路中的一些或全部配置为以更低的速率和/或分辨率操作轮询寄存器、通信信道或其他计算和感测电路。在一些实施方案中,设备可以低功率模式进行操作,直到检测到与一个或多个眼事件相关的其他电活动为止,并且可将检测到的电活动量化为能量水平(例如,通过随时间对电活动进行积算),如在框1082中所示。当以低功率模式进行操作时,在接收到触发项(例如,检测到脑部活动和/或眼事件)之前可节约功率,从而优化设备的寿命并最小化除与检测到触发项相关联的那些之外的过多计算、运算和/或测量。在一些实施方案中,可将所计算的能量水平与阈值能量水平进行比较,如在框1082中所示。如果所计算的能量水平超过阈值,则这可触发设备进入更高功率模式。
在检测到触发项之后,操作模式可从更低功率模式转变为更高功率模式,如在框1084中所示。例如,一个或多个模数转换器(ADC)可被配置为从更低功率条件下的第一分辨率(框1080)转变为更高功率条件下的第二分辨率(框1084),第二分辨率比第一分辨率更精细。在一些示例中,触发项还可与启用设备的一个或多个电极的刺激、测量和/或配置相关联。在一些实施方案中,响应于触发项,一个或多个电极可从睡眠(即,更低功率)模式转变为更高功率模式,在该更高功率模式下,可感测、轮询和/或检测该一个或多个电极。除此之外或另选地,可响应于触发项而类似地配置耦接和/或嵌入到电极中的压力传感器622。在一些实施方案中,可利用如框1086中所示的粗略的基于电极的眼睛跟踪,直到需要更精细分辨率的眼睛跟踪,这可能取决于由眼睛跟踪和/或所呈现的应用程序或用户界面执行的功能。在需要更精细分辨率的眼睛跟踪的情况下,可利用基于相机的眼睛跟踪,如在框1088所示。
因此,根据上文,本公开的一些示例涉及一种用于检测眼睛移动的设备,该设备包括:被配置为感测生理信号的感测电路,该感测电路包括多个电极;和一种或多种弹性体材料,该一种或多种弹性体材料耦接到该多个电极中的相应电极对,其中该相应电极对被配置用于接收与改变该一种或多种弹性体材料的形状相关联的信号,并且该相应电极对用于改善该相应电极对中的至少一个电极和用户的组织之间的接触。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该一种或多种弹性体材料包括介电弹性体材料。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该设备还包括:一个或多个压力传感器,该一个或多个压力传感器耦接到相应电极对中的至少一个电极;和控制电路,该控制电路耦接到该一个或多个压力传感器和感测电路。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,基于第一标准来修改与改变一种或多种弹性体材料的形状相关联的信号。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括满足与生理信号相关联的阈值信噪比。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括满足由该一个或多个压力传感器检测到的力的阈值量。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,基于与生理信号相关联的阻抗来修改与改变一种或多种弹性体材料的形状相关联的信号。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该设备还包括一个或多个电流源,该一个或多个电流源被配置为经由该设备的用户的组织向相应电极对供应电流。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,生理信号是该多个电极中的两个相应电极对之间的差分信号,其中该多个电极中的第一相应电极对被配置为参考电极,并且该多个电极中的第二相应电极对被配置为有源电极。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该设备还包括:电路,该电路被配置为检测影响该设备的噪声;和该多个电极中的第三相应电极,该第三相应电极被配置为向设备的用户供应刺激信号,其中该刺激信号与降低检测到的噪声相关联。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该设备还包括:一个或多个放大器,该一个或多个放大器耦接到相应电极对;一个或多个模数转换器,其中该一个或多个模数转换器中的相应模数转换器的分辨率是可变的;和通信电路,该通信电路通信地耦接到处理电路并且被配置为发射与生理信号相关联的数据。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,生理信号与一个或多个眼事件相关联。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该多个电极包括一个或多个眼电描记(EOG)传感器。
本公开的一些示例涉及一种用于检测眼睛移动的方法,该方法包括:将一种或多种弹性体材料耦接到多个电极对中的相应电极对;使该相应电极对和该一种或多种弹性体材料与和用户的眼睛相关联的组织接触;在该相应电极对处接收信号;基于所接收信号来改变该一种或多种弹性体材料和耦接的相应电极对的形状,以改善该相应电极对和用户的组织之间的接触;以及从该相应电极对感测生理信号,该生理信号与眼睛移动相关联。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该一种或多种弹性体材料包括介电弹性体材料。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该方法还包括基于第一标准来改变该一种或多种弹性体材料和耦接的相应电极对的形状。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括由相应电极对向用户的组织施加的力的量。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括与生理信号相关联的阈值信噪比。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括与生理信号相关联的阈值阻抗。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,相应电极对包括一个或多个眼电描记(EOG)传感器。
本公开的一些示例涉及一种用于检测眼睛移动的设备,该设备包括:被配置为从多个电极感测生理信号的感测电路,该生理信号与眼睛移动相关联;和处理器,该处理器通信地耦接到该感测电路并且被编程为:根据该生理信号满足指示第一眼睛移动水平的第一标准,以第一功率水平操作模式操作该感测电路;以及根据该生理信号满足指示第二眼睛移动水平的第二标准,以第二功率水平操作模式操作该感测电路,第二模式不同于第一模式。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一功率模式包括在第一分辨率下操作一个或多个模数转换器,并且第二功率模式包括在第二分辨率下操作该一个或多个模数转换器,第二分辨率高于第一分辨率。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括将生理信号的能量水平与阈值量的能量进行比较。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准与眨眼相关联。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准与目光注视相关联。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括经由感测电路确定该设备的用户正穿戴着该设备。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,生理信号包括眼电描记(EOG)信号。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,处理器被进一步编程为:当以第二功率水平操作模式操作感测电路时,根据生理信号满足第三标准,以第三操作模式操作感测电路和处理电路,第三模式不同于第一模式和第二模式。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该设备还包括一个或多个相机,该一个或多个相机被配置为检测眼事件,并且以第三操作模式操作还包括使用该一个或多个相机来收集与所述生理信号相关联的信息。
本公开的一些示例涉及一种用于检测眼睛移动的方法,该方法包括:从多个电极感测生理信号,该生理信号与眼睛移动相关联;根据该生理信号满足指示第一眼睛移动水平的第一标准,以第一功率水平操作模式操作该感测电路;以及根据该生理信号满足指示第二眼睛移动水平的第二标准,以第二功率水平操作模式操作该感测电路,第二模式不同于第一模式。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一功率模式包括在第一分辨率下操作一个或多个模数转换器,并且第二功率模式包括在第二分辨率下操作该一个或多个模数转换器,第二分辨率高于第一分辨率。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括将生理信号的能量水平与阈值量的能量进行比较。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准与眨眼相关联。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准与目光注视相关联。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,第一标准包括确定该设备的用户正穿戴着该设备。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,生理信号包括眼电描记(EOG)信号或脑电描记(EEG)信号。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,该方法还包括:当以第二功率水平操作模式操作感测电路时,根据生理信号满足第三标准,以第三操作模式操作感测电路和处理电路,第三模式不同于第一模式和第二模式。另选地或除了上述示例中的一个或多个示例之外,在一些示例中,以第三操作模式操作还包括使用一个或多个相机来收集与生理信号相关联的信息。
虽然参照附图对本公开的示例进行了全面的描述,但应注意,各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解,此类变化和修改被认为被包括在由所附权利要求所限定的本公开的示例的范围内。
Claims (20)
1.一种用于检测眼睛移动的设备,所述设备包括:
感测电路,所述感测电路被配置为感测生理信号,所述感测电路包括多个电极;和
一种或多种弹性体材料,所述一种或多种弹性体材料耦接到所述多个电极中的相应电极对;
其中所述相应电极对被配置用于接收与改变所述相应电极对和所述一种或多种弹性体材料的形状相关联的信号,以改善所述相应电极对中的至少一个电极和用户的组织之间的接触。
2.根据权利要求1所述的设备,其中所述一种或多种弹性体材料包括介电弹性体材料。
3.根据权利要求1所述的设备,还包括:
一个或多个压力传感器,所述一个或多个压力传感器耦接到所述相应电极对中的至少一个电极;和
控制电路,所述控制电路耦接到所述一个或多个压力传感器和所述感测电路。
4.根据权利要求3所述的设备,其中基于第一标准来修改与改变所述一种或多种弹性体材料的所述形状相关联的所述信号。
5.根据权利要求4所述的设备,其中所述第一标准包括满足与所述生理信号相关联的阈值信噪比。
6.根据权利要求4所述的设备,其中所述第一标准包括满足由所述一个或多个压力传感器检测到的力的阈值量。
7.根据权利要求1所述的设备,其中基于与所述生理信号相关联的阻抗来修改与改变所述一种或多种弹性体材料的所述形状相关联的所述信号。
8.根据权利要求7所述的设备,还包括一个或多个电流源,所述一个或多个电流源被配置为经由所述设备的用户的所述组织向所述相应电极对供应电流。
9.根据权利要求1所述的设备,其中所述生理信号是所述多个电极中的两个相应电极对之间的差分信号,其中:
所述多个电极中的第一相应电极对被配置为参考电极,并且
所述多个电极中的第二相应电极对被配置为有源电极。
10.根据权利要求9所述的设备,还包括:
电路,所述电路被配置为检测影响所述设备的噪声;和
所述多个电极中的第三相应电极,所述第三相应电极被配置为向所述设备的用户供应刺激信号,其中所述刺激信号与降低所检测到的噪声相关联。
11.根据权利要求1所述的设备,还包括:
处理电路;
一个或多个放大器,所述一个或多个放大器耦接到所述相应电极对;
一个或多个模数转换器,其中所述一个或多个模数转换器中的相应模数转换器的分辨率是可变的;和
通信电路,所述通信电路通信地耦接到所述处理电路并且被配置为发射与所述生理信号相关联的数据。
12.根据权利要求1所述的设备,其中所述生理信号与一个或多个眼事件相关联。
13.根据权利要求1所述的设备,其中所述多个电极包括一个或多个眼电描记(EOG)传感器。
14.一种用于检测眼睛移动的方法,所述方法包括:
将一种或多种弹性体材料耦接到多个电极对中的相应电极对;
使所述相应电极对和所述一种或多种弹性体材料与和用户的眼睛相关联的组织接触;
在所述相应电极对处接收生理信号;
基于所接收的生理信号来改变所述一个或多个弹性体材料和所述耦接的相应电极对的形状,以改善所述相应电极对和所述用户的所述组织之间的接触;以及
从所述相应电极对感测所述生理信号,所述生理信号与所述眼睛移动相关联。
15.根据权利要求14所述的方法,其中所述一种或多种弹性体材料包括介电弹性体材料。
16.根据权利要求14所述的方法,所述方法还包括:
基于第一标准来改变所述一种或多种弹性体材料和所述耦接的相应电极对的所述形状。
17.根据权利要求16所述的方法,其中所述第一标准包括由所述相应电极对向所述用户的所述组织施加的力的量。
18.根据权利要求16所述的方法,其中所述第一标准包括与所述生理信号相关联的阈值信噪比。
19.根据权利要求14所述的方法,其中所述相应电极对包括一个或多个眼电描记(EOG)传感器。
20.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求14至19所述的方法中的任一种方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/448,873 | 2021-09-24 | ||
US17/448,873 US11874958B2 (en) | 2021-09-24 | 2021-09-24 | Eye detection methods and devices |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115844427A true CN115844427A (zh) | 2023-03-28 |
Family
ID=85477412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211163306.XA Pending CN115844427A (zh) | 2021-09-24 | 2022-09-23 | 眼睛检测方法和设备 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11874958B2 (zh) |
CN (1) | CN115844427A (zh) |
DE (1) | DE102022210008A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11874962B2 (en) * | 2020-06-24 | 2024-01-16 | Nippon Telegraph And Telephone Corporation | Information input device |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3988632B2 (ja) * | 2002-11-28 | 2007-10-10 | 日本電気株式会社 | 眼鏡型ディスプレイの制御方法 |
CA2579063A1 (en) * | 2004-09-03 | 2006-03-09 | Anatoly Kostin | System and method for mental workload measurement based on rapid eye movement |
US7463926B1 (en) * | 2005-06-24 | 2008-12-09 | Pacesetter, Inc. | Automatic signal amplitude measurement system in the setting of abnormal rhythms |
US8357101B2 (en) * | 2008-05-20 | 2013-01-22 | Panasonic Corporation | Electro-oculography apparatus, imaging apparatus, electro-oculography method, program, and integrated circuit |
JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
JP6019559B2 (ja) | 2011-10-12 | 2016-11-02 | ソニー株式会社 | Psg検査装置 |
US9968297B2 (en) | 2012-06-14 | 2018-05-15 | Medibotics Llc | EEG glasses (electroencephalographic eyewear) |
US9665171B1 (en) * | 2013-03-04 | 2017-05-30 | Tobii Ab | Gaze and saccade based graphical manipulation |
US9483117B2 (en) * | 2013-04-08 | 2016-11-01 | Nokia Technologies Oy | Apparatus, method and computer program for controlling a near-eye display |
US20150335288A1 (en) | 2013-06-06 | 2015-11-26 | Tricord Holdings, Llc | Modular physiologic monitoring systems, kits, and methods |
US10076279B2 (en) * | 2013-10-22 | 2018-09-18 | Neba Health, Llc | System and method for a compact EEG headset |
US9664902B1 (en) | 2014-02-05 | 2017-05-30 | Google Inc. | On-head detection for wearable computing device |
JP6407824B2 (ja) * | 2015-09-01 | 2018-10-17 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
JP6426589B2 (ja) * | 2015-11-27 | 2018-11-21 | 株式会社東芝 | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム |
US11589758B2 (en) * | 2016-01-25 | 2023-02-28 | Fitbit, Inc. | Calibration of pulse-transit-time to blood pressure model using multiple physiological sensors and various methods for blood pressure variation |
US10372205B2 (en) * | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US11331045B1 (en) * | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
KR20180055660A (ko) | 2016-11-16 | 2018-05-25 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US10757328B2 (en) * | 2016-12-23 | 2020-08-25 | Microsoft Technology Licensing, Llc | Eye tracking using video information and electrooculography information |
US10802585B2 (en) * | 2018-07-12 | 2020-10-13 | Apple Inc. | Electronic devices with display operation based on eye activity |
KR102306111B1 (ko) | 2019-08-05 | 2021-09-28 | 인하대학교 산학협력단 | 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치 |
US11307659B2 (en) * | 2019-09-18 | 2022-04-19 | Apple Inc. | Low-power eye tracking system |
US11307655B2 (en) * | 2019-09-19 | 2022-04-19 | Ati Technologies Ulc | Multi-stream foveal display transport |
US11659266B2 (en) * | 2020-10-21 | 2023-05-23 | Qualcomm Incorporated | Power control based at least in part on user eye movement |
-
2021
- 2021-09-24 US US17/448,873 patent/US11874958B2/en active Active
-
2022
- 2022-09-22 DE DE102022210008.5A patent/DE102022210008A1/de active Pending
- 2022-09-23 CN CN202211163306.XA patent/CN115844427A/zh active Pending
-
2024
- 2024-01-03 US US18/403,599 patent/US20240134449A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230102507A1 (en) | 2023-03-30 |
US11874958B2 (en) | 2024-01-16 |
US20240134449A1 (en) | 2024-04-25 |
DE102022210008A1 (de) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102627452B1 (ko) | 다중 모드 눈 추적 | |
US11144124B2 (en) | Electronic device and control method thereof | |
US9955895B2 (en) | Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces | |
US11287886B1 (en) | Systems for calibrating finger devices | |
US20240134449A1 (en) | Eye detection methods and devices | |
CN105511750B (zh) | 一种切换方法及电子设备 | |
Bang et al. | New computer interface combining gaze tracking and brainwave measurements | |
US20220236795A1 (en) | Systems and methods for signaling the onset of a user's intent to interact | |
US20220293241A1 (en) | Systems and methods for signaling cognitive-state transitions | |
US20230026513A1 (en) | Human interface device | |
US20240211045A1 (en) | Techniques For Selecting Skin-Electrode Interface Modulation Modes Based On Sensitivity Requirements And Providing Adjustments At The Skin-Electrode Interface To Achieve Desired Sensitivity Needs And Systems And Methods Of Use Thereof | |
EP4372528A1 (en) | Power-efficient processing of neuromuscular signals to confirm occurrences of user gestures, and systems and methods of use thereof | |
EP4285206A1 (en) | Systems and methods for predicting an intent to interact | |
US20230277133A1 (en) | Adjusting an operational characteristic of one or more neuromuscular-signal sensors to maintain desired impedances, and systems, wearable devices, and methods of use thereof | |
CN116830064A (zh) | 用于预测交互意图的***和方法 | |
CN116964545A (zh) | 用于信号传递认知状态转换的***和方法 | |
WO2022192759A1 (en) | Systems and methods for signaling cognitive-state transitions | |
Kharadea et al. | EyePhone Technology: A Smart Wearable Device | |
CN118119915A (zh) | 用于向用户传达模型不确定性的***和方法 | |
CN118057267A (zh) | 处理神经肌肉信号以确认用户手势的发生的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |