CN117795568A - 使用光电检测器阵列的生物特征检测 - Google Patents
使用光电检测器阵列的生物特征检测 Download PDFInfo
- Publication number
- CN117795568A CN117795568A CN202280050598.8A CN202280050598A CN117795568A CN 117795568 A CN117795568 A CN 117795568A CN 202280050598 A CN202280050598 A CN 202280050598A CN 117795568 A CN117795568 A CN 117795568A
- Authority
- CN
- China
- Prior art keywords
- photodetectors
- user
- computing device
- detection signals
- subset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000003491 array Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 16
- 239000004984 smart glass Substances 0.000 claims description 11
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000010183 spectrum analysis Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 36
- 210000003811 finger Anatomy 0.000 description 27
- 230000006870 function Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 23
- 238000013186 photoplethysmography Methods 0.000 description 17
- 210000003813 thumb Anatomy 0.000 description 13
- 238000005259 measurement Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 238000009532 heart rate measurement Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000541 pulsatile effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000001871 Tachycardia Diseases 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 208000006218 bradycardia Diseases 0.000 description 1
- 230000036471 bradycardia Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000006794 tachycardia Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
-
- G—PHYSICS
- G04—HOROLOGY
- G04G—ELECTRONIC TIME-PIECES
- G04G21/00—Input or output devices integrated in time-pieces
- G04G21/08—Touch switches specially adapted for time-pieces
-
- G—PHYSICS
- G04—HOROLOGY
- G04G—ELECTRONIC TIME-PIECES
- G04G9/00—Visual time or date indication means
- G04G9/0064—Visual time or date indication means in which functions not related to time can be displayed
- G04G9/007—Visual time or date indication means in which functions not related to time can be displayed combined with a calculator or computing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1341—Sensing with light passing through the finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/06—Arrangements of multiple sensors of different types
- A61B2562/066—Arrangements of multiple sensors of different types in a matrix array
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
诸如可穿戴设备的计算设备可以包括光源和光电检测器阵列。光电检测器阵列可以用于确定在时间间隔期间发生的用户的触摸事件。与触摸事件相关联的多个光电检测器的子集可以提供在时间间隔内的多个时间中的每个时间处的检测信号,其可以被聚合以获得聚合的检测信号的时间序列。可以基于聚合的检测信号的时间序列来生成用户的生物特征数据。
Description
相关申请的交叉引用
本申请是于2021年7月19日提交的题为“BIOMETRIC DETECTION USINGPHOTODETECTOR ARRAY(使用光电检测器阵列的生物特征检测)”的美国非临时专利申请No.17/305,990的继续申请,并且要求其优先权,其公开内容通过引用整体并入本文。
技术领域
本说明书涉及生物特征检测。
背景技术
存在用于捕获用户生物特征的设备和技术。例如,各种生物特征监测技术利用光源和光电检测器——诸如发光二极管(LED)和光电二极管——来在用户皮肤表面处测量用户血液循环的体积变化。例如,光电容积描记(PPG)传感器可用于测量这样的体积变化以确定心率、呼吸率和其他生物特征因素。
发明内容
根据一个一般方面,计算机程序产品有形地体现在非暂时性计算机可读存储介质上。该计算机程序产品包括指令,所述指令在由至少一个计算设备执行时被配置为使至少一个计算设备确定在包括多个光电检测器的光电检测器阵列处在一时间间隔期间发生的用户的触摸事件,并且确定与触摸事件相关联的多个光电检测器的子集。所述指令在由所述至少一个计算设备执行时进一步被配置为使得所述至少一个计算设备在所述时间间隔内的多个时间中的每个时间处聚合来自所述多个光电检测器的所述子集的检测信号,以获得经聚合的检测信号的时间序列,并且基于经聚合的检测信号的所述时间序列生成所述用户的生物特征数据。
根据另一一般方面,一种计算机实现的方法包括:确定在包括多个光电检测器的光电检测器阵列处在时间间隔期间发生的用户的触摸事件;以及确定与触摸事件相关联的多个光电检测器的子集。该方法进一步包括:在时间间隔内的多个时间中的每个时间处聚合来自多个光电检测器的子集的检测信号,以获得聚合的检测信号的时间序列;以及基于聚合的检测信号的时间序列生成用户的生物特征数据。
根据另一一般方面,一种计算设备包括处理器、存储指令的存储介质、主体及光源,所述光源耦合到所述主体并且被配置为在所述计算设备由用户穿戴或执持(hold)时在所述用户的方向上生成光。所述计算设备进一步包括光电检测器阵列,所述光电检测器阵列包括耦合到所述主体并且被配置为检测从所述用户反射的所述光源的光的多个光电检测器。所述指令在由所述处理器执行时使得所述计算设备:根据从所述用户反射的所述光源的所述光来确定在所述光电检测器阵列处在一时间间隔期间发生的用户的触摸事件;确定与所述触摸事件相关联的所述多个光电检测器的子集;在所述时间间隔内的多个时间中的每个时间处聚合来自所述多个光电检测器的所述子集的检测信号,以获得聚合的检测信号的时间序列;以及基于所述聚合的检测信号的时间序列生成所述用户的生物特征数据。
在附图和下面的描述中阐述了一个或多个实施方式的细节。根据说明书和附图以及权利要求,其他特征将是显而易见的。
附图说明
图1是用于使用光电检测器阵列进行生物特征检测的***的框图。
图2是示出了图1的***的示例操作的流程图。
图3示出了图1的***的示例实施方式。
图4示出了关于图3的示例实施方式的附加细节。
图5示出了可用于图3的示例实施方式中的示例移动检测技术。
图6A、6B和6C示出了图5的示例的示例用例场景。
图7A和7B示出了使用图1的***实现的示例心率检测技术。
图8是示出用于图1的***中的触摸事件分析的示例实施方式的框图。
图9是示出图1的***中以及图8的示例的心率估计的示例实施方式的框图。
图10是用于认证的图1的***的示例实施方式的框图。
图11是使用智能手表实现的图1的***的示例图示。
图12是使用智能眼镜实现的图1的***的示例图示。
图13是使用智能电话实现的图1的***的示例图示。
图14示出了根据至少一个示例实施方式的计算机设备、移动计算机设备和头戴式设备的示例。
具体实施方式
所描述的***和技术使得能够使用光电检测器阵列进行生物特征检测。所描述的***不是使用单个光电检测器,例如单个光电二极管,而是使用多个光电检测器和相关联的检测技术来生成生物特征数据,诸如例如心率、心率变异性或呼吸率。
通过使用多个光电检测器以及所描述的检测技术,即使当用户以不同的方式或者在许多不同位置中的任何一个中接触光电检测器阵列,并且即使当用户相对于光电检测器阵列移动接触点(例如,用户的手指)时,也可以采集各种类型的生物特征数据。此外,可以在用户使用光电检测器阵列同时执行一些其他功能——诸如控制第二设备的功能性——时采集生物特征数据。
一些常规设备通过要求用户以规定方式接触光电检测器或其他类型的检测器来执行生物特征检测。例如,脉搏血氧计可能需要用户将手指放置在包含光源和光检测器的夹子内。在其他示例中,诸如健身手表的可穿戴设备可以在被穿戴时接触用户。
在这些和其他场景中,如上所提及,PPG传感器可以测量用户的各种生物特征参数。这样的常规***可以执行阈值处理(thresholding)功能,例如,以确保用户的手指相对于所使用的光源/光检测被放置在脉搏血氧计内的预期位置,或者确保可穿戴设备(例如,手表)的PPG传感器相对于穿戴用户足够稳定,以确保PPG测量的期望的准确性水平。
尽管这些和类似技术提供了许多优点,但是这样的技术也遭受各种缺点。例如,可能要求用户先发(proactively)并且正确地将用户的手指定位在脉搏血氧计内达最小时间量以获得期望得到的测量结果。类似地,诸如可穿戴手表的一些可穿戴设备通过在期望心率测量时要求用户触摸耦合到手表的传感器来提供间歇性心率检测。在这些和其他示例中,可穿戴设备中的常规PPG传感器增加了这样的设备的成本,可能不便于使用,和/或可能不提供关于所捕获的生物特征数据的期望类型的测量或准确性水平。
例如,手表中使用的PPG传感器可以在手表被穿戴时检测手表下方的用户的一个或多个动脉内的用户血流的体积变化。因此,可以捕获心率或其他数据,而不需要手表的穿戴者采取进一步的特定动作(诸如用手指表面触摸手表上的传感器)。
然而,在许多情况下,作为正常用户运动的一部分,用户的动脉可以相对于PPG传感器移动。此移动可降低对应PPG测量的准确性,尤其是当用户正在移动时和/或当期望连续测量时。
为了解决这样的困难,许多常规PPG传感器使用附加硬件(和相关联的软件),诸如加速度计和/或具有多个频率的多个光源。例如,这样的设备可以实现多路径手段,该手段利用不同波长的光的不同特征,其被用来考虑例如刚刚参考的动脉运动的类型。例如,这样的PPG传感器可以使用红外(IR)、红色和绿色光源。
这样的手段向可穿戴设备添加了成本。此外,不同波长的光相对于用户的皮肤具有不同的穿透水平,具有以期望的方式检测和测量动脉变化的对应的不同水平的能力。例如,从实现期望水平的皮肤穿透的角度来看,IR光可能是优选的,但是可能需要绿光来实现上面提及的多路径方案的类型。
然而,在本文中所描述的技术中,有可能使用个体光电检测器的光电检测器阵列从光电检测器阵列的数个不同子集中的任一者并且在多个触摸事件期间采集生物特征数据。因此,可以跨用户的大量触摸事件采集生物特征数据,和/或生物特征数据可以虑及用户在测量期间的移动(包括例如手指或动脉移动)。
结果,例如,可以进行被动的、连续的心率测量,而不需要使用多路径方案,诸如上面提到的多色手段。通过利用所描述的技术使用IR光,例如,可以获得更大的皮肤穿透深度,可以降低成本,并且可以改善可靠性和准确性。
此外,可获得所期望测量,而无需以指定方式对用户的部位进行先发动作(诸如需要用户触摸指定表面)并且持续指定时间,意图是获得心率测量。代替地,例如,即使当用户出于一些其他目的接触光电检测器表面时,和/或在没有任何特定或分开的对要进行的生物特征测量的请求的情况下,也可以获得生物特征测量。
例如,如图3和图4的示例所示,光学手指导航(OFN)***的OFN表面可以被配置为实现本文描述的用于采集生物特征数据的技术。然后,当OFN***用于意图目的时,诸如控制诸如增强现实(AR)眼镜或其他设备的设备的功能性时,可以被动地和同时地采集指定的生物特征数据。
例如,用户可以重复地或频繁地使用OFN***来控制AR眼镜或其他设备。在这样的使用期间,当用户以被确定为与如本文所述的生物特征检测兼容的方式接触OFN***时,可以跨用户在控制AR眼镜时执行的多个触摸事件来执行这样的生物特征检测。就其性质而言,这样的触摸事件可在一段时间内执行,诸如数小时、数天或数周。然后,例如,可以在相关时间段内捕获、聚合和分析用户心率数据,从而辨别趋势或以其他方式解释所采集的数据。可以向用户提供来自这样的数据分析的所得结论,使得用户以具有成本效益并且不需要为了触发心率测量以获得期望的信息的目的而进行分开的、有意识的动作的方式获得期望的信息。
图1是用于使用光电检测器阵列进行生物特征检测的***的框图。在图1中,基于阵列的生物特征检测器102被示出为作为计算设备106的一部分由用户104穿戴或执持。
在图1的示例中,计算设备106可以穿戴在用户104的手臂的末端,例如,穿戴在用户的手腕、手或手指上。因此,计算设备106可以使用例如手表、带(band)、条带(strap)、手镯或指环来实现。
然而,如下面更详细地提及的,这样的示例是非限制性的,并且计算设备106可以穿戴在用户104的任何合适或期望的身体部位上,以用于捕获期望的手势的目的。例如,计算设备106可以穿戴在用户的腿(例如,脚踝)上,或者可以集成到包括智能眼镜的头戴式设备(HMD)中。在另外其他示例中,计算设备106可以集成到衣物中,诸如手套、袜子、皮带或衬衫袖子。下面关于图11和12提供图1的计算设备106的可穿戴版本的特定示例。
在附加或可替代示例中,计算设备106可以由用户104执持。例如,下面描述的图13示出了使用智能电话的计算设备106的被执持实施方式的示例。然而,计算设备106可以以许多不同的方式并且使用许多不同的形状因子被配置为被执持的实施方式。例如,计算设备106可以被构造为用于游戏实施方式的操纵杆或其他游戏设备的一部分,或者被构造为用于控制计算机或其他设备的任何被执持I/O设备的一部分。
通常,穿戴计算设备106因此是指其中计算设备106保留在用户104的身体部位上而不需要对用户104的部位的进一步动作的任何场景。执持计算设备106是指计算设备106由于在执持期间维持的用户104的动作而保持与用户104接触或被用户104物理持有的场景。例如,这样的执持可以包括抓握、抓取或携带。
可以在相同或有重叠的时间穿戴和执持计算设备106。例如,计算设备106可以穿戴在一个手臂或手上,并且同时由另一只手执持,或者可以穿戴在可能被执持的位置(例如,在袖子的端部处,或者在另一衣物上)。
图1进一步示出了计算设备106可以包括主体107。如从本文提供的各种示例可以理解的,主体107可以是适合于实现计算设备106的特定实施方式的穿戴或执持的任何外壳或壳体。
主体107可以被配置用于安装或耦合到一个或多个传感器和其他组件,包括光源108和光电检测器阵列110,例如光电检测器阵列。例如,光源108可以表示提供一个或多个波长的光的发光二极管(LED)。光电检测器阵列110可以包括多个光检测表面(例如,像素或像素群组),其被配置为捕获来自光源108的透射通过用户104或从用户104反射的光。
在图1中,光电检测器阵列110也以展开视图示出,其展示了光电检测器阵列110的个体光电检测器。例如,光电检测器阵列的个体光电检测器可表示个体像素、像素群组或像素区域。
在图1的简化示例中,光电检测器阵列110被示为4×4阵列。在各种实施方式中,光电检测器阵列110可以以任何期望的大小或形状——诸如图1的n×n示例或n×m——实现。光电检测器阵列110不需要是周期性的或对称的,并且可以包括出于使用本文描述的技术的目的而分组的任何多个光电检测器。
光电检测器阵列110的扩展视图在4×4阵列当中包括光电检测器110a、110b、110c和110d。触摸表面105表示用户104与光电检测器阵列110之间的检测到的接触点,其可以在用户104与光电检测器阵列110的触摸事件期间发生。
例如,触摸表面105可以表示用户104的指尖被按压在光电检测器阵列110的表面上。在更一般的示例中,触摸表面105可以表示与光电检测器阵列110接触的用户104的任何皮肤表面。例如,当中间表面(例如,屏幕保护物)允许足够水平的光透射和反射时,中间表面可以存在于用户104的皮肤表面与光电检测器阵列110之间。
在简化示例中,触摸表面105在一段时间内可以是恒定的。如下所述,在其他示例中,触摸表面105可以结合用户104的移动而移动。
如图1所示,触摸表面105可以仅覆盖、触摸、遮挡或以其他方式与光电检测器阵列110的个体光电检测器中的一些(子集)相关联。在该示例中,触摸表面105至少部分地覆盖个体光电检测器110a、110b、110c和110d。
还可以观察到,个体光电检测器110a、110b、110c和110d的覆盖范围跨触摸表面105变化。例如,个体光电检测器110a的仅一小部分被触摸表面105覆盖,而几乎整个的个体光电检测器110b被覆盖。
因此,当确定用户104的生物特征数据时,个体光电检测器110a、110b、110c和110d中的一些可能不适合由基于阵列的生物特征检测器102使用或包括。例如,由于触摸表面105的小覆盖程度,由个体光电检测器110a、110b中的任一个检测到的信号可能不提供任何有用的生物特征数据。
相反,取决于各种其他因素,由个体光电检测器110c、110d中的任一者检测到的信号可用于确定生物特征数据。然而,即使具有个体光电检测器110b、110d的所说明广泛覆盖,如果信号质量低,或如果触摸事件短或零散,或如果以其他方式确定信号不可用于提供可靠生物特征数据,那么可丢弃来自个体光电检测器110b、110d中的任一者或两者的检测信号。
换句话说,基于阵列的生物特征检测器102可被配置为确定光电检测器阵列110的候选光电检测器以用于潜在用于确定触摸事件的生物特征数据,并且可进一步被配置为选择候选光电检测器的子集以生成生物特征数据。触摸事件可以跨越时间间隔,在该时间间隔期间,触摸表面105可以结合用户104的对应移动来移动、重新定位和/或保留静止。
在一些情况下,例如,如上所提及,触摸事件和对应的触摸表面和移动可能导致不可用或不可靠的数据。尽管如此,在较长时间周期(及对应数目的触摸事件)上,基于阵列的生物特征检测器102可在足够数目及类型的场境(context)中采集足够量的数据以生成显著并且高度有用量的生物特征数据。此外,由于基于阵列的生物特征检测器102被配置为确定是否以及何时结合对应的触摸事件生成生物特征数据,因此用户104不需要采取任何特定动作来生成生物特征数据。替代地,用户104可出于分开的目的(诸如,例如,光学手指导航,如本文中所描述)使用光电检测器阵列110,并且基于阵列的生物特征检测器102可以高度可靠、方便、准确并且具有成本效益的方式被动地采集所期望的生物特征数据。
为了执行上述和相关功能性,基于阵列的生物特征检测器102包括帧缓冲器120,其被配置为采集和存储由光电检测器阵列110采集的图像帧序列。例如,帧缓冲器120可以连续地存储来自光电检测器阵列110的图像帧,并且可以在定义的时间段之后、或在达到最大数量的帧之后、或在使用特定量的内存之后和/或基于其他删除标准来删除存储的帧。在其他示例中,在时间间隔内发生的触摸事件期间,帧缓冲器120可以采集并存储来自时间间隔的图像帧。
触摸事件分析器122可被配置为分析来自帧缓冲器120的帧。例如,触摸事件分析器122可以被配置为分析一组帧以确定在该组帧中捕获的触摸事件的发生是否具有足够的质量和程度以用于生成生物特征数据。例如,触摸事件分析器122可以检测具有触摸表面105的任何覆盖程度的候选光电检测器,并且可以执行阈值处理或门控(gating)功能以选择候选光电检测器的可用子集用于生物特征数据生成。
例如,触摸事件分析器122可被配置为针对对应检测信号具有足够质量以用于生成生物特征数据的每一帧来选择光电检测器的子集,并且进一步被配置为确定所述组帧作为整体是否提供用于生物特征数据生成的可用数据。在更具体的示例中,触摸事件分析器122可以被配置为随时间并且跨帧缓冲器120的多个帧执行相关像素区域的时空分组(spatiotemporal grouping),包括测量群组集合一致性,以确认可用触摸事件已经发生(例如,可用用户手指接触)。
例如,用户104可以以不同程度的牢紧度或平滑度触摸光电检测器阵列110。例如,用户104可以以平滑、连续的方式(与零散、间歇或不规则的方式相反)在光电检测器阵列110上方移动用户的手指(或其他皮肤表面或接触点)。触摸事件分析器122可跨一组帧针对单个帧执行上文针对与触摸事件相关联的检测信号参考的时空分组的类型,以作为整体评估触摸事件。
如果经过了触摸事件分析器122的验证,那么可处理在帧缓冲器120中的一组帧内捕获的触摸事件的所采集数据并且将其提供到生物特征生成器124以生成所期望类型的生物特征数据。例如,可以针对每个帧(例如,针对每个帧的所选光电检测器的每个子集)执行相关的一组帧的光谱分析,使得从一系列帧获得的测量提供表示用户104的生物特征数据——诸如用户104的心率——的数据时间序列。
如上所提及,这样的生物特征数据可被处理并用于许多目的。例如,在一段时间内,可以将生物特征数据作为总体进行分析以辨别趋势或异常事件。在其他示例中,如下面关于图10所描述的,生物特征数据可以用于关于使用计算设备106或另一个或多个设备来认证用户104。
还如上所提及,可以在用户104正在使用计算设备106执行分开的功能——诸如光学手指导航——时采集生物特征数据。因此,计算设备106应当被理解为包括可能受益于或能够执行刚刚提及的各种功能性的任何计算设备。
因此,在图1的示例中,计算设备106被广泛地示出为包括至少一个处理器112、非暂时性计算机可读存储介质114、各种类型的输入/输出(I/O)硬件116和功能管理器118。计算设备106a应当被理解为潜在地表示彼此通信的两个或更多个计算设备,本文提供了其一些示例。因此,至少一个处理器112可以表示这样的计算设备上的一个或多个处理器,其可以被配置为执行使用非暂时性计算机可读存储介质114存储的指令以及其他功能。
由于至少一个计算设备106可以表示许多类型的计算设备,其示例在本文中提供,因此可以在这样的计算设备中使用的许多类型的输入/输出(I/O)硬件在图1中聚合地示出为I/O硬件116。作为非限制性示例,这样的I/O硬件可以包括显示器(例如,触摸屏)、按钮、扬声器或音频传感器、触觉传感器或输出、相机或***设备(例如,鼠标、键盘或触笔)。
除了I/O硬件116之外,至少一个计算设备106a可以执行并提供利用至少一个处理器112、非暂时性计算机可读存储介质114和I/O硬件116或由其实现的许多类型的软件。这样的软件(和相关联的功能性)在图1中由功能管理器118包括和表示。
也就是说,出于描述图1的简化示例的目的,功能管理器118应当被理解为表示和涵盖可以与I/O硬件116的操作相关联的任何软件的实施方式。例如,功能管理器118可以包括操作***和可以由至少一个计算设备106a提供的许多不同类型的应用,其一些示例在下面更详细地提供。
例如,功能管理器118可以用于使用光源108、光电检测器阵列110和I/O硬件116的适当硬件来提供光学手指导航。功能管理器118还可被配置为提供本文中所描述的各种类型的生物特征数据分析。功能管理器118还可被配置为提供可受益于或利用所采集生物特征数据的任何补充功能性,诸如认证。
为了促进利用功能管理器118对基于阵列的生物特征检测器102的操作,功能接口126可被配置为与功能管理器118通信以实施对应功能。如刚刚提及的,对应的功能可以与功能管理器118对采集的生物特征数据的任何期望的使用或处理相关。
在一些实施方式中,可以向用户104提供表征生物特征数据的反馈。例如,当采集的生物特征数据指示负面事件(例如,过高的心率)时,功能接口126可以指示功能管理器118向用户104提供视觉、音频或触觉指示符。
图2是示出图1的***的示例操作的流程图。在图2的示例中,操作202-208被示为分开的顺序操作。然而,在各种示例实施方式中,操作202-208可以以重叠或并行方式和/或以嵌套、迭代、环路或分支方式来实现。此外,可以包括、省略或替换各种操作或子操作。
在图2中,可以确定在包括多个光电检测器的光电检测器阵列处在一时间间隔期间发生的用户的触摸事件(202)。例如,来自帧缓冲器120的从光电检测器阵列110采集的帧可由触摸事件分析器122分析以确定是否已发生触摸事件。
可以确定与触摸事件相关联的多个光电检测器的子集(204)。例如,触摸事件分析器122可被配置为确定与每一帧相关联的候选光电检测器,所述候选光电检测器可具有足够信号强度和其他特性以用于生物特征数据生成。触摸事件分析器122可测试来自候选光电检测器的信号以选择待用于生物特征数据生成的多个光电检测器的子集。多个光电检测器的子集可以被个体地并且作为整体并且逐帧地评估。因此,还可以个体地和共同地评估帧。例如,可以跨多个帧评估光电检测器子集的群组集合一致性。下文例如相对于图8详细地提供触摸事件检测和分析的示例。
可以在时间间隔内的多个时间中的每个时间处对来自多个光电检测器的子集的检测信号进行聚合,以获得聚合的检测信号的时间序列(206)。例如,生物特征生成器124可以执行每个帧的信号强度的空间平均和池化,使得多个经空间平均的、经池化的帧有效地形成时间序列。
可以基于聚合检测信号的时间序列来生成用户的生物特征数据(208)。例如,生物特征生成器124可执行对时间序列的频谱分析及滤波以获得心率测量。
图3至图6C示出了示例用例场景,其中指环上的光学手指导航(OFN)模块允许用户导航智能眼镜(例如,AR眼镜)或其他设备并与之交互。图1的基于阵列的生物特征检测器102可以被配置为使用AR指环上的这样的OFN模块来机会性地监测用户生物特征,诸如在用户104与AR眼镜交互的几秒期间无需明确的用户触发来测量心率和心率变异性。如上所提及,基于阵列的生物特征检测器102可以用于测量来自一系列颜色放大的OFN图像的小血管体积变化。基于阵列的生物特征检测器提供被动健康监测***的示例,其中不需要来自用户104的认知负荷来发起测量。
因此,即使所描述的实施方式可能没有配备专用PPG传感器,但是所描述的实施方式仍然可以解码来自OFN***的光学成像结果,并且解决盲源分离问题以准确地恢复人类脉搏和其他生物特征。由此,例如,可以日常地来存储心血管信息,并且可以构建筛选器以警告用户异常状况(例如,心动过缓、心动过速)以进行早期检测,即使当用户104简单地进行正常的日常活动时。
图3示出了上面刚刚提及的图1的***的示例实施方式。在图3中,计算设备106被实现为具有光学手指导航(OFN)表面304的指环302。如上所提及,OFN表面304可以利用光电检测器阵列110和相关联的硬件/软件(图3中未分开示出)来使用户104的拇指306能够提供输入并以其他方式控制指环302或另一设备的功能。例如,用户104可以正在穿戴智能眼镜,并且可以使用OFN表面304来控制智能眼镜的功能,诸如智能眼镜的屏幕的屏幕导航。
每当用户104使用OFN表面304时,基于阵列的生物特征检测器102可确定OFN表面304的当前使用是否构成可用于生物特征数据生成的触摸事件。例如,拇指306的表面可提供与图1的触摸表面105相对应的触摸表面,如从与这样的触摸表面相关联的反射光确定。也就是说,与触摸表面(诸如图1的触摸表面105)相关联的反射光是指从光源导向用户并从用户(例如,从用户的拇指306的表面)反射的光的反射光,该反射光指示由触摸事件产生的图像帧处的触摸表面,如本文所述。
例如,指环302可以穿戴在用户104的食指上。拇指306的基部可以接触指环302的其中OFN表面304可见的部分。
图4示出了关于图3的示例实施方式的附加细节。具体地,图4示出了OFN模块402可以用于提供图3的OFN表面304,并且可以包括与图1的光电检测器阵列110相对应的LED 404和光电检测器阵列406。如上所述,来自LED 404的光可以从拇指306反射,并且反射光可以由光电检测器阵列406检测。
图5示出了提供光电检测器阵列406的更详细示例的光电检测器阵列502。触摸表面504可以由OFN模块402检测。当用户将用户的拇指306向左移动时,可以检测到左滚动506,并且当用户将用户的拇指306向右移动时,可以检测到右滚动508。
因此,使用朝向拇指306照射红外光的mini LED源(例如,LED 404)和接收反射光能的光电检测器阵列406,可以测量反射光能并用于控制指环302、AR眼镜或其他设备。
一旦建立了拇指到OFN接触,OFN表面304中的像素(在图5中示出为8×8光学光电检测器阵列502)可以通过测量光学反射能量来感测手指的区域是否正在触摸光电检测器阵列502。通过聚合多个像素上的总响应并计算光流,OFN模块304可以确定拇指移动的细微方向。如所提及的,该方向估计可以被提供给AR眼镜界面以控制AR眼镜的菜单屏幕或其他操作。
用户104可以在一天中的许多不同时间执行滚动操作506、508以及OFN模块402的许多其他类型的导航或使用。用户104不需要请求结合这样的OFN使用对生物特征数据的检测或采集。尽管如此,基于阵列的生物特征检测器102可以被配置为确定在与使用图3的指环302相关联的每个潜在触摸事件处生成和采集生物特征数据是否是可行的。
例如,图6A到6C提供示出了本文中所描述的时空分组策略的触摸事件及相关联场境的示例图像帧。这样的策略可用于确定给定时间段是否是测量心率或以其他方式生成生物特征数据的良好时间。
例如,在图6A中,帧602、帧604和帧606分别表示在时间t=0、t=1和t=N处捕获并存储在图1的帧缓冲器120内的一系列帧。在图6A的示例中,没有检测到触摸事件。
在图6B中,将时间t=0处的帧608示出为已捕获触摸表面610。时间t=1处的后续帧612示出了与先前触摸表面610分开定位的触摸表面616(在帧612中由虚线614表示用于比较)。类似地,时间t=N处的后续帧618示出了与先前触摸表面616分开定位的触摸表面622(在帧618中由虚线620表示用于比较)。
因此,图6B示出了其中进行触摸事件但包括相对高速度及零散的触摸表面接触及移动的情况。例如,图6B可以表示使用OFN模块402来执行点击事件,或者可以表示非拇指伪影,诸如OFN表面304的偶然触摸。因此,图6B示出了这样的场景:其中可靠的心率测量是不太可能能够进行或应当进行的并且因此可以被拒绝作为生物特征数据生成的潜在触摸事件。例如,触摸事件分析器122可使用下文关于图8详细描述的技术拒绝图6B的示例。
在图6C中,将时间t=0处的帧624示出为已捕获触摸表面626。时间t=1处的后续帧629示出了与先前触摸表面626分开定位的触摸表面630(在帧629中由虚线628表示用于比较)。类似地,时间t=N处的后续帧632示出了与先前触摸表面630(在帧632中由虚线634表示以用于比较)分开定位的触摸表面636。
因此,图6C示出了进行触摸事件的情况,并且触摸事件在空间和时间上相干并且平滑。例如,图6C可以表示或对应于图5的示例滚动操作。因此,图6C示出其中有可能进行可靠心率测量并且因此可被接受为生物特征数据生成的潜在触摸事件的情形。例如,触摸事件分析器122可使用下文关于图8详细描述的技术接受图6C的示例。
图7A和7B示出了使用图1的***实现的示例心率检测技术。图7A和图7B示出了图1的***可以用于模拟或以其他方式提供代理或实际上存在的PPG信号,而不需要使用专用PPG传感器。
如上文关于这样的PPG传感器所提及,对于用户104的每次脉搏,用户的心脏将血液泵送到用户身体各处。关于图3的拇指306,因此在拇指306下方的血管中存在小体积变化。通常,对来自图4的LED 404的光的光吸收可以取决于与例如用户104和所使用的光相关的各种因素。
例如,反射信号可以由由于皮肤、骨骼和组织引起的吸收程度以及由于静脉血液引起的吸收程度来表征。由于非脉动动脉血引起的吸收有效地向反射信号提供DC分量,而由于脉动动脉血引起的吸收提供AC信号。AC信号虽然在幅度上显著小于DC分量,但是具有与用户104的心率相对应的振荡速率。所得信号将类似于图7A的示例,其图示了时变信号702。
使用图1的技术并且以其他方式如本文所述,可以使用帧缓冲器120的多个帧来创建信号702。然后,还如图7A所示,可以计算波形702的扣除均值的快速傅立叶变换(FFT),以便使用相位不变特征来表示波形702。示例过程可以包括首先移除波形702的平均分量(例如,源自上面提及的各种吸收参数和相关联的DC分量),因为对应的信号幅度偏移不描述与用户104的心率有关的信息。然后,可从所得零均值信号计算FFT信号704以获得频谱特征。
通过获得这样的高幅度频率,并且因为人心脏跳动达周期性的一组事件,所以可以获得所得频率信号706,如图7B所示,其中频率信号706展示频谱表示中的峰值708。如下所提及,然后可以使用最大滤波技术来选择峰值,然后可以将其保存为用户104的人类心率的估计。
以上示例示出了脉搏率检测和其他生物特征数据采集可以机会性、全天方式执行,包括确定是否在任何给定时间点起始相关(例如,心率)测量算法的能力。在示例中,可以使用所描述的用于例如随时间对相关像素区域进行时空分组并且测量群组集合一致性以确认用户手指接触的技术来进行该确定。然后,一旦达到指定的合格触摸事件已经发生的置信度,就可以使用上面提及的频谱分析的类型来计算准确的脉搏率数量。
图8是示出用于图1的***中的触摸事件分析的示例实施方式的框图。也就是说,图8提供用于确定是否起始脉搏率估计或其他生物特征数据生成和采集的特定示例技术。
在图8中,可从图1的帧缓冲器120获得一组缓冲帧802。如关于图1、图5和图6A至图6C所述,每个帧可以包括与触摸表面804相对应的检测信号。
进一步在图8中,可以将该组缓冲帧802(例如,图像流)提供给接触二值化引擎806。接触二值化引擎806可以被配置为将该组缓冲帧802中的每个连续OFN图像转换为0-1图像。所得到的二值图像可以被压缩以便于解析。例如,接触二值化引擎806可以使用基于平均拇指将光反射回OFN模块402的程度而标定的阈值来生成二值图像。
然后,所得的二值图像流进入凸度生成器808,该凸度生成器808生成二值图像的触摸表面的凸度的三维表征。例如,每个二值图像中的每个触摸表面的凸包可以指每个触摸表面的形状的最小凸集合。例如,如果触摸表面被认为是有界子集,则凸包可以被表示为围绕子集包围的形状。
在图8的场境中,凸度生成器808因此有效地表征二值图像内和二值图像当中的触摸表面的时空平滑度,以确定触摸表面是否表示适合于生物特征数据生成的触摸事件,诸如上文关于图6C描述和示出的触摸事件的类型。
例如,可以使用以下等式来确定这样的凸度表征:凸度_得分=1/((3d二值化数据的凸包)-(3d二值化数据))。在该示例中,对于完全凸的3D二值化数据,凸度_得分将是高数字。因此,可以为凸度_得分设置凸度阈值,高于该阈值则可以核实图像的输入流是时空相干的。如果满足此阈值(是),那么可将该组缓冲帧802提供到心率估计引擎810,表示生物特征生成器124的示例实施方式。否则(否),可以针对下一批缓冲帧重复图8的过程。
图9是示出用于图1的***中的心率估计以及图8的示例的示例实施方式的框图。也就是说,图9表示图8的心率估计引擎810的示例实施方式,一旦已经获得利用OFN模块402的空间分辨率的时空相干检查的足够置信度来确保可以准确地测量心率,就可以使用该心率估计引擎810。
在图9中,该组缓冲帧802被示出为输入到池化引擎902。池化引擎902提供该组缓冲帧802的每个图像的空间均值池化。也就是说,根据图8的二值化操作,为每个图像定义感兴趣区域,并且可以对该图像区域内的OFN值进行平均。以该方式,每个图像可以用单个数字来概括。
如上面关于图7A和图7B所描述的,在时间间隔内获得的针对所述一组缓冲帧的一组所得数字提供数字的时间序列,并且由此提供类似于PPG信号的信号。该时间序列可以被提供给频谱分析器904,频谱分析器904可以被配置为去除时间序列信号的时间平均值并应用FFT,如图7A所示,以表示信号中的高幅度频率。如图7B中已经示出的,因为人心脏跳动达周期性的一组事件,所以结果将是频谱表示中的峰值频率信号。然后可以使用最大滤波来提取频率信号的值,所述值然后与用户104的心率的确定估计906相对应。
图10是图1的***用于认证的示例实施方式的框图。图10示出了基于阵列的生物特征检测器1002可以被配置为利用该组缓冲帧802来生成一组生物特征数据1004,该组生物特征数据1004将由认证引擎1006用于关于使用图1的计算设备106或连接的计算设备来认证用户104。例如,认证引擎1006可以被配置为将所述一组生物特征数据1004与用户104的保存的生物特征数据的预标定字典1008进行比较,以便认证用户104。
例如,在计算设备106的设置或初始使用期间,可以请求和引导用户104参与标定会话,该标定会话被设计为记录特定手势、导航例程或光电检测器阵列110的其他使用情况,诸如当使用OFN模块402的OFN表面304时执行的任务。标定会话可以被设计为记录一组生物特征数据1004的任何样例,包括手指大小、手指形状、特定手势的手势模式、上面关于图7A、图7B和图9描述的代理PPG信号的形态(morphology)以及用户104的静息心率。
在后续使用期间,用户可以与计算设备106(例如,图3的指环302)自然地交互。相关识别参数可由基于阵列的生物特征检测器1002提供,并且由认证引擎1006与预标定字典1008匹配。
可以使用任何合适的技术来执行样例匹配过程。例如,可以使用诸如决策树的分类器。匹配可将不同权重指派给一组生物特征数据1004中的个体生物特征数据。匹配可以诸如通过选择在与用户104的当前交互中具有最高测量质量的一组最小参数来选择一组生物特征数据1004中的个体生物特征数据以用于特定认证过程。
有利地,不需要用户104发起认证过程。代替地,用户104可以简单地以标准方式使用计算设备106,例如指环302,并且认证可以在后台运行。
图11是使用智能手表1102实现的图1的***的示例图示。更具体地,图11示出了智能手表1102的底视图,示出了光源1104和光电检测器阵列1106。在用户104穿戴期间,光源1104和光电检测器阵列1106可以因此相对于用户104的手腕适当地定位以生成如本文所述的生物特征数据。
例如,在智能手表1102的正常穿戴期间,用户104可以执行正常的日常移动。此外,智能手表1102可以由用户104以各种不同的紧密水平紧固。因此,在用户104(例如,在用户的手腕处)和智能手表1102之间限定的触摸表面也可以变化。换句话说,智能手表1102可以在正常穿戴期间相对于用户104移动。
然而,使用本文描述的技术,可以追踪和分析改变/移动的触摸表面以提供可靠的生物特征数据。例如,可以在光学手指导航的场境中使用上述光流技术来追踪触摸表面。在常规智能手表中,例如,在没有如本文所述的这样的表面追踪和相关概念的情况下,即使当使用多个波长的光时,也可能存在运动伪影并且可能会混淆期望数据(例如,心率测量)的采集。然而,在图11中,并且还如上所提及,可以使用例如IR光的单个波长的光来采集这样的生物特征数据。因此,用户104可以以低成本方式享受可靠并且准确地采集的被动生物特征数据检测。
图12是使用智能眼镜实现的图1的***的示例图示。1202。如所示,智能眼镜1202可以包括鼻梁模块1204,其包括光源和光电检测器阵列。与刚刚描述的智能手表1102一样,鼻梁模块1204可以相对于用户104的鼻子移动,但是仍然可以用于使用本文描述的技术来捕获生物特征数据。此外,尽管用鼻梁安装件示出,但是可以在智能眼镜1202上的其他位置处——诸如在其一个或两个臂2上——实现类似的技术。在智能手表1102和智能眼镜1202两者中,还可以实现OFN模块。
图13是使用智能电话1302实现的图1的***的示例图示。如所示,智能电话1302可以包括使用本文描述的技术实现的OFN模块1304。
尽管示出安装在智能电话1302的一侧,但是OFN模块1304可以安装在智能电话1302上的任何期望的位置。例如,OFN模块1304可以安装在智能电话1302的后表面上,与智能电话1302的屏幕相反。然后,用户104可以利用OFN模块1304执行导航功能,同时查看智能电话1302的屏幕,并且同时被动地采集生物特征数据。
图14示出了可以与这里描述的技术一起使用的计算机设备1400和移动计算机设备1450的示例。计算设备1400旨在表示各种形式的数字计算机,诸如膝上型计算机、台式计算机、平板计算机、工作站、个人数字助理、智能设备、电器、基于电子传感器的设备、电视、服务器、刀片服务器、大型机和其他适当的计算设备。计算设备1450旨在表示各种形式的移动设备,诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里所示的组件、它们的连接和关系以及它们的功能仅仅是示例性的,并不意味着限制本文中描述和/或要求保护的实施方式。
计算设备1400包括处理器1402、存储器1404、存储设备1406、连接到存储器1404和高速扩展端口1410的高速接口1408、以及连接到低速总线1414和存储设备1406的低速接口1412。处理器1402可以是基于半导体的处理器。存储器1404可以是基于半导体的存储器。组件1402、1404、1406、1408、1410和1412中的每一个使用各种总线互连,并且可以安装在公共主板上或以其他适当的方式安装。处理器1402可以处理用于在计算设备1400内执行的指令,包括存储在存储器1404中或存储设备1406上的指令,以在外部输入/输出设备——诸如耦合到高速接口1408的显示器1416——上显示GUI的图形信息。在其他实施方式中,可以适当地使用多个处理器和/或多个总线以及多个存储器和存储器类型。而且,可以连接多个计算设备1400,其中每个设备提供必要操作的部分(例如,作为服务器库、一组刀片服务器或多处理器***)。
存储器1404在计算设备1400内存储信息。在一个实施方式中,存储器1404是一个或多个易失性存储器单元。在另一实施方式中,存储器1404是一个或多个非易失性存储器单元。存储器1404也可以是另一种形式的计算机可读介质,诸如磁盘或光盘。通常,计算机可读介质可以是非暂时性计算机可读介质。
存储设备1406能够为计算设备1400提供大容量存储。在一个实施方式中,存储设备1406可以是或包含计算机可读介质,诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储器设备、或设备阵列,包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令,所述指令在被执行时执行一个或多个方法和/或计算机实现的方法,诸如上述那些。信息载体是计算机或机器可读介质,诸如存储器1404、存储设备1406或处理器1402上的存储器。
高速控制器1408管理计算设备1400的带宽密集型操作,而低速控制器1412管理较低带宽密集型操作。功能的这样的分配仅是示例性的。在一个实施方式中,高速控制器1408耦合到存储器1404、显示器1416(例如,通过图形处理器或加速器),并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口1410。在该实施方式中,低速控制器1412耦合到存储设备1406和低速扩展端口1414。可以包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备,诸如键盘、定点设备、扫描仪或联网设备,诸如交换机或路由器。
如图所示,计算设备1400可以以多种不同的形式实现。例如,它可以实现为标准服务器1420,或者在一组这样的服务器中多次实现。它也可以实现为机架服务器***1424的一部分。此外,它可以在诸如膝上型计算机1422的计算机中实现。可替代地,来自计算设备1400的组件可与移动设备(未示出)中的其他组件——诸如设备1450——组合。这样的设备中的每一个可以包含一个或多个计算设备1400、1450,并且整个***可以由彼此通信的多个计算设备1400、1450组成。
计算设备1450包括处理器1452、存储器1464、诸如显示器1454的输入/输出设备、通信接口1466和收发器1468以及其他组件。设备1450还可以设置有存储设备,诸如微驱动器或其他设备,以提供附加的存储。组件1450、1452、1464、1454、1466和1468中的每一个使用各种总线互连,并且组件中的若干组件可以安装在公共主板上或以其他适当的方式安装。
处理器1452可以执行计算设备1450内的指令,包括存储在存储器1464中的指令。处理器可以被实现为包括分开的和多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备1450的其他组件的协调,诸如对用户界面的控制、设备1450运行的应用以及设备1450的无线通信。
处理器1452可以通过耦合到显示器1454的控制接口1458和显示接口1456与用户通信。显示器1454可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口1456可以包括用于驱动显示器1454以向用户呈现图形和其他信息的适当电路***。控制接口1458可以从用户接收命令并且转换它们以提交给处理器1452。此外,可以提供与处理器1452通信的外部接口1462,以便实现设备1450与其他设备的近区域通信。外部接口1462可以例如在一些实施方式中提供有线通信,或者在其他实施方式中提供无线通信,并且也可以使用多个接口。
存储器1464在计算设备1450内存储信息。存储器1464可以被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器1484并通过扩展接口1482将其连接到设备1450,扩展接口1482可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器1484可以为设备1450提供额外的存储空间,或者还可以为设备1450存储应用或其他信息。具体地,扩展存储器1484可以包括用于执行或补充上述过程的指令,并且还可以包括安全信息。因此,例如,扩展存储器1484可以被提供为设备1450的安全模块,并且可以用允许安全使用设备1450的指令来编程。此外,可以经由SIMM卡提供安全应用以及附加信息,诸如以不可破解的方式将标识信息放置在SIMM卡上。
存储器可以包括例如闪存和/或NVRAM存储器,如下所论述。在一个实施方式中,计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令,所述指令在被执行时执行诸如上述那些方法的一个或多个方法。信息载体是计算机或机器可读介质,诸如存储器1464、扩展存储器1484或处理器1452上的存储器,其可以例如通过收发器1468或外部接口1462接收。
设备1450可以通过通信接口1466进行无线通信,通信接口1466在必要时可以包括数字信号处理电路***。通信接口1466可以提供各种模式或协议下的通信,诸如GSM话音呼叫、SMS、EMS或MMS消息传递、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这样的通信可以例如通过射频收发器1468发生。此外,可以发生短距离通信,诸如使用蓝牙、低功率蓝牙、Wi-Fi或其他这样的收发器(未示出)。此外,GPS(全球定位***)接收器模块1480可以向设备1450提供附加的导航和位置相关的无线数据,其可以适当地由在设备1450上运行的应用使用。
设备1450还可以使用音频编解码器1460可听地通信,音频编解码器1460可以从用户接收口头信息并将其转换为可用的数字信息。音频编解码器1460可同样诸如通过扬声器——例如在设备1450的手持机中——为用户生成可听声音。这样的声音可包括来自话音电话呼叫的声音,可包括记录的声音(例如,话音消息、音乐文件等),并且还可包括由在设备1450上操作的应用生成的声音。
如图所示,计算设备1450可以以多种不同的形式实现。例如,它可以被实现为蜂窝电话1483。它还可以被实现为智能电话1481、个人数字助理或其他类似移动设备的一部分。
这里描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程***上可执行和/或可解释的一个或多个计算机程序中的实施方式,该可编程***包括至少一个可编程处理器,该至少一个可编程处理器可以是专用或通用的,被耦合以从存储***、至少一个输入设备和至少一个输出设备接收数据和指令,并向其发送数据和指令。
这些计算机程序(也称为模块、程序、软件、软件应用或代码)包括用于可编程处理器的机器指令,并且可以用高级过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的,术语“机器可读介质”“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器、可编程逻辑器件(PLD)),包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互,这里描述的***和技术可以在具有用于向用户显示信息的显示设备(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器或LED(发光二极管))以及用户可以通过其向计算机提供输入的键盘和定点设备(例如,鼠标或轨迹球)的计算机上实现。其他种类的设备也可以用于提供与用户的交互。例如,提供给用户的反馈可以是任何形式的感觉反馈(例如,视觉反馈、听觉反馈或触觉反馈),并且可以以任何形式接收来自用户的输入,包括声学、语音或触觉输入。
这里描述的***和技术可以在计算***中实现,该计算***包括后端组件(例如,作为数据服务器),或者包括中间件组件(例如,应用服务器),或者包括前端组件(例如,具有图形用户界面或Web浏览器的客户端计算机,用户可以通过该图形用户界面或Web浏览器与这里描述的***和技术的实施方式进行交互),或者这样的后端、中间件或前端组件的任何组合。***的组件可以通过任何形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算***可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络进行交互。客户端和服务器的关系通过在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
在一些实施方式中,图14中描绘的计算设备可以包括与HMD 1490对接或包括在HMD 1490中的传感器。例如,包括在计算设备1450或图14中描绘的其他计算设备上的一个或多个传感器可以向HMD 1490提供输入,或者通常向HMD 1490可以使用的输入提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备1450(例如,HMD 1490)可以使用传感器来确定HMD 1490的绝对位置和/或检测到的旋转,然后可以将其用作HMD 1490使用的输入。
在一些实施方式中,包括在计算设备1450和/或HMD 1490上或连接到计算设备1450和/或HMD 1490的一个或多个输入设备可以用作供HMD 1490使用的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、定点设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能性的耳机或耳塞、游戏控制器或其他可连接的输入设备。
在一些实施方式中,计算设备1450上和/或HMD 1490中包括的一个或多个输出设备可以向HMD 1490的用户提供输出和/或反馈。输出和反馈可以是视觉的、战术的或音频的。输出和/或反馈可以包括但不限于渲染HMD 1490的显示、一个或多个灯或闪光灯的振动、打开和关闭或者闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中,计算设备1450可以放置在HMD 1490内以创建集成HMD***。HMD 1490可以包括允许将诸如智能电话1481的计算设备1450放置在HMD 1490内的适当位置的一个或多个定位元件。在这样的实施方式中,智能电话1481的显示器可以使用HMD1490的显示器来渲染图像。
在一些实施方式中,计算设备1450可以在计算机生成的3D环境中表现为另一对象。用户与计算设备1450的交互(例如,旋转、摇动、触摸触摸屏、跨触摸屏滑动手指)可以被解释为与AR/VR空间中的对象的交互。仅作为一个示例,计算设备可以是激光指示器。在这样的示例中,计算设备1450在计算机生成的3D环境中表现为虚拟激光指示器。当用户操纵计算设备1450时,AR/VR空间中的用户看到激光指示器的移动。用户从与计算设备1450或HMD 1490上的AR/VR环境中的计算设备1450的交互接收反馈。
在一些实施方式中,计算设备1450可以包括触摸屏。例如,用户可以以特定方式与触摸屏交互,该特定方式可以模拟触摸屏上发生的内容与HMD 1490的显示器中发生的内容。例如,用户可以使用捏合型运动来缩放在触摸屏上显示的内容。触摸屏上的该收缩型运动可以使显示中提供的信息被缩放。在另一示例中,计算设备可以被渲染为计算机生成的3D环境中的虚拟书。
在一些实施方式中,除了计算设备之外还有一个或多个输入设备(例如,鼠标、键盘)可以被渲染在HMD 1490的显示器中。渲染的输入设备(例如,渲染的鼠标、渲染的键盘)可以如在显示器中渲染的那样使用。
已经描述了多个实施方式。然而,应当理解,在不脱离说明书和权利要求的精神和范围的情况下,可以进行各种修改。
另外,附图中描绘的逻辑流程不需要所示的特定次序或顺序次序来实现期望的结果。另外,可以提供其他步骤,或者可以从所描述的流程中消除步骤,并且可以将其他组件添加到所描述的***或从所描述的***移除其他组件。因此,其他实施方式在所附权利要求书的范围内。
除以上描述之外,向用户提供控件,该控件允许用户做出关于本文描述的***、程序、设备、网络或特征是否和何时可以实现用户信息(例如,关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)的采集以及用户是否从服务器发送内容或通信的选择。此外,某些数据可以在其被存储或使用之前以一种或多种方式被处理,使得用户信息被移除。例如,可以处理用户的身份,使得不能为用户确定用户信息,或者可以在获得位置信息的地方将用户的地理位置概括(诸如到城市、邮政编码或州级别),使得不能确定用户的特定位置。因此,用户可以控制采集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。
计算机***(例如,计算设备)可以被配置为使用任何已知的无线通信技术和协议——包括射频(RF)、微波频率(MWF)和/或红外频率(IRF)无线通信技术和协议——经由与网络服务器建立的通信链路通过网络与网络服务器无线通信。
根据本公开的方面,本文描述的各种技术的实施方式可以以数字电子电路***或计算机硬件、固件、软件或它们的组合来实施。实施方式可以被实现为计算机程序产品(例如,有形地体现在信息载体、机器可读存储设备、计算机可读介质、有形计算机可读介质中的计算机程序),用于由数据处理装置(例如,可编程处理器、计算机或多个计算机)处理或控制数据处理装置的操作。在一些实施方式中,有形计算机可读存储介质可被配置为存储在执行时使得处理器执行过程的指令。诸如上述计算机程序的计算机程序可以以包括编译或解释语言的任何形式的编程语言编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序可以被部署为在一个站点处的一个计算机或者跨多个站点分布并通过通信网络互连的多个计算机上处理。
本文公开的具体结构和功能细节仅是代表性的,用于描述示例实施方式的目的。然而,示例实施方式可以以许多替代形式体现,并且不应被解释为仅限于本文阐述的实施方式。
本文使用的术语仅用于描述特定实施方式的目的,并且不旨在限制实施方式。如本文所用,单数形式“一”、“一个”和“该”也旨在包括复数形式,除非场境另有明确指示。还应理解,当在本说明书中使用时,术语“包括”和/或“包含”指定存在所述特征、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其他特征、步骤、操作、元件、组件和/或它们的组。
应当理解,当元件被称为“耦合”、“连接”或“响应”到另一元件或“在”另一元件“上”时,它可以直接耦合、连接或响应于另一元件或在另一元件上,或者也可以存在中间元件。相反,当元件被称为“直接耦合”、“直接连接”或“直接响应”到另一元件或“直接在另一元件上”时,不存在中间元件。如本文所用,术语“和/或”包括一个或多个相关联的列出项目的任何和所有组合。
为了便于描述,本文中可以使用空间相对术语,诸如“以下(beneath)”、“下方(below)”、“下部(lower)”、“上方(above)”、“上部(upper)”等,以相对于如图中所示的另一个或多个元件或特征描述一个元件或特征。应当理解,除了附图中描绘的取向之外,空间相对术语还旨在涵盖设备在使用或操作中的不同取向。例如,如果图中的设备被翻转,则被描述为在其他元件或特征“以下”或“下方”的元件将被定向在其他元件或特征“上方”。因此,术语“下方”可以涵盖上方和下方的取向两者。设备可以以其他方式取向(旋转130度或以其他取向),并且可以相应地解释本文使用的空间相对描述符。
本文参考横截面图示描述了概念的示例实施方式,该横截面图示是示例实施方式的理想化实施方式(和中间结构)的示意图。这样,预期由于例如制造技术和/或公差而导致的图示形状的变化。因此,所描述的概念的示例实施方式不应当被解释为限于本文所示的区域的特定形状,而是包括例如由制造引起的形状偏差。因此,附图中示出的区域本质上是示意性的,并且它们的形状不旨在示出设备的区域的实际形状,并且不旨在限制示例实施方式的范围。
应当理解,尽管术语“第一”、“第二”等在本文中可用于描述各种元件,但这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。因此,在不脱离本实施方式的教导的情况下,“第一”元件可以被称为“第二”元件。
除非另有定义,否则本文使用的术语(包括技术和科学术语)具有与这些概念所属领域的普通技术人员通常理解的相同的含义。将进一步理解的是,诸如在常用词典中定义的那些术语应当被解释为具有与其在相关领域和/或本说明书的场境中的含义一致的含义,并且除非在本文中明确地如此定义,否则将不被解释为理想化或过度正式的含义。
虽然已经如本文所述示出了所描述的实施方式的某些特征,但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此,应当理解,所附权利要求书旨在覆盖落入实施方式的范围内的这样的修改和改变。应当理解,它们仅通过示例而非限制的方式呈现,并且可以在形式和细节上进行各种改变。除了互斥组合之外,本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。
Claims (20)
1.一种计算机程序产品,所述计算机程序产品有形地体现在非暂时性计算机可读存储介质上并且包括指令,所述指令在由至少一个计算设备执行时被配置为使所述至少一个计算设备:
确定在包括多个光电检测器的光电检测器阵列处在一时间间隔期间发生的用户的触摸事件;
确定所述多个光电检测器的子集,在所述多个光电检测器的所述子集处所述触摸事件引起来自所述多个光电检测器的所述子集中的光电检测器的检测信号;
在所述时间间隔内的多个时间中的每个时间处聚合来自所述多个光电检测器的所述子集中的光电检测器的检测信号,以获得聚合的检测信号的时间序列;以及
基于聚合的检测信号的所述时间序列,生成所述用户的生物特征数据。
2.根据权利要求1所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
存储由所述光电检测器阵列在所述时间间隔期间捕获的一组图像帧,所述一组图像帧中的每个图像帧包括根据从光源导向所述用户并从所述用户反射的光的反射光来确定的所述触摸事件的触摸表面。
3.根据权利要求2所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
对于所述一组图像帧中的图像帧,确定接收与所述图像帧的所述触摸表面相关联的反射光的候选光电检测器;
从所述候选光电检测器中选择所述多个光电检测器的所述子集,包括相对于阈值针对所述候选光电检测器中的每一个来评估与所述触摸表面相关联的反射光。
4.根据权利要求2或3所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
针对所述一组图像帧中的每个图像帧,在每个光电检测器处对于与触摸表面相关联的反射光执行接触二值化,从而针对对应的图像帧确定是否将每个光电检测器包括在所述多个光电检测器的所述子集中。
5.根据权利要求2至4中任一项所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
表征所述触摸表面的时空平滑度。
6.根据权利要求2至5中任一项所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使得所述至少一个计算设备:
表征每个图像帧的所述触摸表面的凸度;以及
对于每个图像帧,基于所述凸度来确定是否将来自光电检测器的所述子集中的光电检测器的检测信号包括在聚合的检测信号的所述时间序列中。
7.根据权利要求2至6中任一项所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
对所述一组图像帧的所述聚合的检测信号进行频谱分析以确定所述聚合的检测信号的频率信息;以及
使用所述频率信息生成包括所述用户的心率的所述生物特征数据。
8.根据前述权利要求中任一项所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
追踪所述触摸事件的触摸表面在所述时间间隔期间跨所述多个光电检测器的移动,所述触摸表面包括所述用户与所述多个光电检测器之间的接触点,其中,所述多个光电检测器的所述子集包括在所述移动期间从其获得所述检测信号的光电检测器。
9.根据前述权利要求中任一项所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
在所述光电检测器阵列用于光学手指导航(OFN)时,确定来自所述光电检测器阵列的所述触摸事件的发生。
10.根据前述权利要求中任一项所述的计算机程序产品,其中,所述指令在被执行时进一步被配置为使所述至少一个计算设备:
执行所述生物特征数据与存储的所述用户的生物特征数据的比较;以及
基于所述比较来认证所述用户。
11.一种计算机实现的方法,所述方法包括:
确定在包括多个光电检测器的光电检测器阵列处在一时间间隔期间发生的用户的触摸事件;
确定所述多个光电检测器的子集,在所述多个光电检测器的所述子集处所述触摸事件引起来自所述多个光电检测器的所述子集中的光电检测器的检测信号;
在所述时间间隔内的多个时间中的每个时间处聚合来自所述多个光电检测器的所述子集中的光电检测器的检测信号,以获得聚合的检测信号的时间序列;以及
基于聚合的检测信号的所述时间序列,生成所述用户的生物特征数据。
12.根据权利要求11所述的方法,进一步包括:
存储由所述光电检测器阵列在所述时间间隔期间捕获的一组图像帧,所述一组图像帧中的每个图像帧包括根据从光源指向所述用户并从所述用户反射的光的反射光来确定的所述触摸事件的触摸表面。
13.根据权利要求12所述的方法,进一步包括:
对于所述一组图像帧中的图像帧,确定接收与所述图像帧的所述触摸表面相关联的反射光的候选光电检测器;
从所述候选光电检测器中选择所述多个光电检测器的所述子集,包括相对于阈值针对所述候选光电检测器中的每一个来评估与所述触摸表面相关联的反射光。
14.根据权利要求12或13所述的方法,进一步包括:
表征每个图像帧的所述触摸表面的凸度;以及
对于每个图像帧,基于所述凸度来确定是否将来自光电检测器的所述子集中的光电检测器的检测信号包括在聚合的检测信号的所述时间序列中。
15.根据权利要求12至14中任一项所述的方法,进一步包括:
对所述一组图像帧的所述聚合的检测信号进行频谱分析以确定所述聚合的检测信号的频率信息;以及
使用所述频率信息生成包括所述用户的心率的所述生物特征数据。
16.根据权利要求11至15中任一项所述的方法,进一步包括:
追踪所述触摸事件的触摸表面在所述时间间隔期间跨所述多个光电检测器的移动,所述触摸表面包括所述用户与所述多个光电检测器之间的接触点,其中,所述多个光电检测器的所述子集包括在所述移动期间从其获得检测信号的光电检测器。
17.根据权利要求11至16中任一项所述的方法,进一步包括:
在所述光电检测器阵列用于光学手指导航(OFN)时,确定来自所述光电检测器阵列的所述触摸事件的发生。
18.一种计算设备,包括:
处理器;
存储指令的存储介质;
主体;
光源,所述光源被耦合到所述主体并且被配置为在所述计算设备由所述用户穿戴或执持时在所述用户的方向上生成光;以及
光电检测器阵列,所述光电检测器阵列包括多个光电检测器,所述多个光电检测器被耦合到所述主体并且被配置为检测从所述用户反射的所述光源的光;
其中,所述指令在由所述处理器执行时使所述计算设备:
根据从所述用户反射的所述光源的所述光来确定在所述光电检测器阵列处在一时间间隔期间发生的用户的触摸事件;
确定所述多个光电检测器的子集,在所述多个光电检测器的所述子集处所述触摸事件引起来自所述多个光电检测器的所述子集中的光电检测器的检测信号;
在所述时间间隔内的多个时间中的每个时间处聚合来自所述多个光电检测器的所述子集中的光电检测器的检测信号,以获得聚合的检测信号的时间序列;以及
基于聚合的检测信号的所述时间序列,生成所述用户的生物特征数据。
19.根据权利要求18所述的计算设备,其中,所述指令在由所述处理器执行时使所述计算设备:
存储由所述光电检测器阵列在所述时间间隔期间捕获的一组图像帧,所述一组图像帧中的每个图像帧包括所述触摸事件的触摸表面。
20.根据权利要求18或19所述的计算设备,其中,所述计算设备包括智能手表、指环、智能眼镜或智能电话中的至少一个或多个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/305,990 | 2021-07-19 | ||
US17/305,990 US20230020039A1 (en) | 2021-07-19 | 2021-07-19 | Biometric detection using photodetector array |
PCT/US2022/073715 WO2023004250A1 (en) | 2021-07-19 | 2022-07-14 | Biometric detection using photodetector array |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117795568A true CN117795568A (zh) | 2024-03-29 |
Family
ID=82846188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280050598.8A Pending CN117795568A (zh) | 2021-07-19 | 2022-07-14 | 使用光电检测器阵列的生物特征检测 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230020039A1 (zh) |
EP (1) | EP4374345A1 (zh) |
JP (1) | JP2024526868A (zh) |
KR (1) | KR20240019850A (zh) |
CN (1) | CN117795568A (zh) |
WO (1) | WO2023004250A1 (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090089254A (ko) * | 2008-02-18 | 2009-08-21 | 세이코 엡슨 가부시키가이샤 | 센싱 장치, 표시 장치, 전자 기기 및, 센싱 방법 |
US8760431B2 (en) * | 2008-07-17 | 2014-06-24 | Samsung Display Co., Ltd. | Display apparatus |
JP5424475B2 (ja) * | 2009-10-13 | 2014-02-26 | 株式会社ジャパンディスプレイ | 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器 |
JP5765489B2 (ja) * | 2012-09-28 | 2015-08-19 | 株式会社村田製作所 | 押込量検出センサ、タッチ式入力装置 |
CN103473012A (zh) * | 2013-09-09 | 2013-12-25 | 华为技术有限公司 | 截屏方法、装置和终端设备 |
US9927915B2 (en) * | 2014-09-26 | 2018-03-27 | Cypress Semiconductor Corporation | Optical navigation systems and methods for background light detection and avoiding false detection and auto-movement |
US11246498B2 (en) * | 2014-12-25 | 2022-02-15 | Kyocera Corporation | Sensor, sensor device, and sensor system |
KR101928319B1 (ko) * | 2015-06-18 | 2018-12-12 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 광 감지 능력을 가지는 다기능 지문 센서 |
JP7251763B2 (ja) * | 2016-03-29 | 2023-04-04 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | ウェアラブル装置、ウェアラブル機器の一部に用いる装置及び血流力学的モニタリング方法 |
US20170281026A1 (en) * | 2016-04-01 | 2017-10-05 | Daqri, Llc | Biometric sensor for determining heart rate using photoplethysmograph |
JP7355504B2 (ja) * | 2019-02-19 | 2023-10-03 | 株式会社ジャパンディスプレイ | 検出装置 |
WO2020213620A1 (ja) * | 2019-04-17 | 2020-10-22 | 株式会社ジャパンディスプレイ | 検出装置 |
-
2021
- 2021-07-19 US US17/305,990 patent/US20230020039A1/en active Pending
-
2022
- 2022-07-14 CN CN202280050598.8A patent/CN117795568A/zh active Pending
- 2022-07-14 EP EP22751981.6A patent/EP4374345A1/en active Pending
- 2022-07-14 KR KR1020247001863A patent/KR20240019850A/ko unknown
- 2022-07-14 JP JP2024503469A patent/JP2024526868A/ja active Pending
- 2022-07-14 WO PCT/US2022/073715 patent/WO2023004250A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20230020039A1 (en) | 2023-01-19 |
KR20240019850A (ko) | 2024-02-14 |
WO2023004250A1 (en) | 2023-01-26 |
EP4374345A1 (en) | 2024-05-29 |
JP2024526868A (ja) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Towards low-cost sign language gesture recognition leveraging wearables | |
KR102408028B1 (ko) | 착용 상태에 기반한 생체 정보 획득 방법 및 그 전자 장치 | |
US20170281026A1 (en) | Biometric sensor for determining heart rate using photoplethysmograph | |
CN106456030B (zh) | 用于消除生理测量中的伪影的设备和方法 | |
US20210153756A1 (en) | Reliable acquisition of photoplethysmographic data | |
US20170105682A1 (en) | Heart rate monitor with time varying linear filtering | |
RU2601152C2 (ru) | Устройство, способ и компьютерная программа для обеспечения предоставления информации пользователю | |
Krupitzer et al. | Hips do lie! a position-aware mobile fall detection system | |
TW201719331A (zh) | 使用光體積變化描述波形(ppmg)感測器之姿勢識別的技術以及使用ppmg感測器之低功率可穿戴式姿勢識別裝置 | |
CN107397540A (zh) | 血压计测装置 | |
CN107205640B (zh) | 用于去除生理测量结果中的伪像的设备和方法 | |
US10743777B2 (en) | Cardiovascular parameter estimation in the presence of motion | |
Hernandez et al. | BioInsights: Extracting personal data from “Still” wearable motion sensors | |
CN108968972B (zh) | 柔性疲劳检测装置以及信息处理方法及装置 | |
EP3416538A1 (en) | Device and method for extracting heart rate information | |
US20160361023A1 (en) | Techniques for determining physiological properties of a user using vascular-related signals qualified by activity state | |
US11832925B2 (en) | Electronic device for measuring biometric information and method for operating the same | |
CN112135560B (zh) | 测量血压的电子装置及其操作方法 | |
KR102526951B1 (ko) | 전자 장치에서 생체 정보 측정 방법 및 장치 | |
US20230020039A1 (en) | Biometric detection using photodetector array | |
US11596315B1 (en) | Measurement of vital signs based on images recorded by an egocentric camera | |
JP2020195708A (ja) | 脈波解析装置、脈波解析方法および脈波解析プログラム | |
EP4248844A2 (en) | Pressure sensing for physiological measurements | |
WO2015109887A1 (zh) | 判断头戴式智能设备的操作及鉴权信息有效性的装置和方法 | |
CN116746891A (zh) | 血氧心率测量方法、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |