CN109690384A - 用于基于视觉性能数据获得、分析和生成视觉性能数据和修改媒体的方法和*** - Google Patents

用于基于视觉性能数据获得、分析和生成视觉性能数据和修改媒体的方法和*** Download PDF

Info

Publication number
CN109690384A
CN109690384A CN201780036088.4A CN201780036088A CN109690384A CN 109690384 A CN109690384 A CN 109690384A CN 201780036088 A CN201780036088 A CN 201780036088A CN 109690384 A CN109690384 A CN 109690384A
Authority
CN
China
Prior art keywords
media
data
user
pan
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780036088.4A
Other languages
English (en)
Inventor
S·K·R·卡代里
M·K·雷迪
K·C·麦克德莫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wizarrell Stock Co
Original Assignee
Wizarrell Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wizarrell Stock Co filed Critical Wizarrell Stock Co
Publication of CN109690384A publication Critical patent/CN109690384A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

本发明描述了用于基于视觉简档和目标应用修改诸如虚拟现实，增强现实或混合现实(VR/AR/MxR)媒体的媒体的方法和***。在本说明书的实施例中，创建了感知数据交换(SDE)，其能够识别用户和用户组的各种视觉简档。SDE可用于根据每种类型的用户和/或用户组修改一个或多个媒体。

Description

用于基于视觉性能数据获得、分析和生成视觉性能数据和修 改媒体的方法和***
交叉引用
本申请优先依赖于以下美国临时专利申请，其全部内容也通过引用并入本文：
2016年11月23日提交的题为“用于收集基于视觉性能数据的视觉性能数据和修改媒体的方法和***”的美国临时专利申请62/425,736；
美国临时专利申请号62/381,784，具有相同的标题，于2016年8月31日提交；
2016年7月15日提交的题为“通过感官数据交换平台创建虚拟内容表示的***和方法”的美国临时专利申请号62/363,074；
2016年7月8日提交的题为“虚拟内容表示”的美国临时专利申请号62/359,796；
美国临时专利申请号62/322,741，具有相同的标题，于2016年4月14日提交；和
美国临时专利申请号62/319,825，具有相同的标题并于2016年4月8日提交。
技术领域
本发明一般涉及虚拟环境，更具体地涉及例如基于虚拟现实的、基于增强现实的或基于混合现实的(VR/AR/MxR)媒体，基于个人的视觉简档和/或目标应用，用于修改媒体的方法和***。
背景技术
近年来，虚拟现实(VR)环境、增强现实(AR)和混合现实(MxR)应用程序变得越来越普遍。虽然VR是一种非侵入式仿真技术，它提供了沉浸式、逼真的三维(3D)计算机模拟环境，在这种环境中人们执行任务并体验活动，就好像他们在现实世界中一样；AR描绘了由计算机生成的媒体增强或补充的真实世界环境。VR/AR/MxR的最直接体验由完全沉浸式VR/AR/MxR***提供，最广泛采用的VR/AR/MxR***通过特殊的可穿戴式头戴式视觉显示器(HMD)显示其模拟环境。头戴式耳机通常由安装在眼镜，头盔或护目镜中的屏幕和镜片组成，显示器可以是单眼(仅由一只眼睛看到的显示器)、双目(双眼观看单个屏幕)或双眼(每只眼睛观看不同的屏幕)或者可以是立体的图像，这提供了额外的深度线索。
虽然最近将HMD引入公众，但它们并不是一种新现象。早在20世纪60年代，计算机图形学先驱Ivan Sutherland开发出第一个HMD，它可以在现实世界中叠加虚拟图像。HMD技术在20世纪70年代逐渐发展，并在军事、工业、科研和娱乐领域得到应用。早期的商用HMD，例如Virtual Research Flight HelmetTM、Virtual I/O I-GlassesTM和DynovisorTM，由于其狭窄的视场(FOV)和重量、物理限制和***参数的固有麻烦，其应用受到限制。最近的进步已经致力于使HMD在更长的使用期间更舒适。最近的HMD产品包括Google GlassTM、EpsonMoverioTM、Vuzix WrapTM和Oculus RiftTM已经商业化，并且由于技术进步而越来越普遍。例如，Oculus RiftTM的一个版本，即开发套件2(DK2)，具有高分辨率，高刷新率(即显示器图像更新的频率)，低持久性(有助于消除运动模糊)与其前辈相比，具有更低的延迟和精确运动的先进位置跟踪。HMD技术的进步和成本降低增加了其广泛使用的潜力。
不幸的是，许多视觉相关的条件与这种技术的使用有关。例如，与视觉-前庭不匹配有关的视觉诱发晕动病(VIMS)或模拟疾病，已归因于与使用HMD固有相关的显着的***性和感知性问题，并且仍然是广泛采用和商业开发的障碍。与基于VR/AR/MxR的HMD相关的技术。HMD的***性和感知性问题(通常不与传统显示器相关)包括恶心、胃部不适、定向障碍、姿势不稳定和视觉不适。
人们普遍认为，恶心和不稳定的症状是由各种感觉输入冲突引起的，包括相互矛盾的位置和运动线索，导致视觉和前庭***的不和谐效应。另外，特定类型的HMD以及提供虚拟环境的其他装置可能由于不适当的光学设计而与用户的视觉***具有不匹配问题，导致共聚散度-调节冲突和视觉不适或疲劳。其他研究报道了视觉不适的高发病率，包括眼睛疲劳、干眼症、撕裂、异物感、眼睛压力感、眼睛周围疼痛、头痛、视力模糊和聚焦困难。还报道了其他视觉问题，例如近视、隐斜视、视神经不稳定、聚散-调节障碍和异常泪液破裂时间(TBUT)。使用HMD可能导致调节性痉挛，进而可能导致短暂性近视。共聚散度-调节，用户的瞳孔间距离(IPD)和/或***的光学间距离(IOD)之间的持续冲突可能导致隐斜视和视神经不稳定的变化。此外，视觉症状不一定限于实际虚拟环境(VE)浸入的时间；相反，在终止暴露于基于HMD的VE之后，视觉变化包括视觉疲劳，降低的视敏度和隐斜视可以继续。在暴露于VR/AR/MxR之后，用户经常被要求避免驾驶或操作重型机械，直到VIMS和姿势不稳定解决。在暴露于VR/AR/MxR期间和之后的复杂视觉任务和阅读可能会增加VIMS的严重性。
HMD技术的进步为VR/AR/MxR的广泛应用提供了可能。然而，VIMS仍然是该技术的公众采用和商业开发的障碍。通过优化VR/AR/MxR设备(例如HMD)的质量和设计，可以减少VE中由VR/AR/MxR引起的视觉不适。然而，仍然需要能够解决视觉-前庭不匹配并使VR/AR/MxR适应用户和/或一组用户的视觉容量以便最小化和/或消除VIMS的方法和***。VR/AR/MxR的当前视觉测量和评级***本质上是定性的。还需要建立定量测量以改善VR/AR/MxR环境中的用户体验质量。
还需要一种***，其能够基于人口统计或其他共同因素对个体进行分组，以识别视觉媒体的可接受的修改，从而减少不适的程度。还需要一种***，其可以适应所识别的用户或组，以便修改和呈现减少不适的VR/AR/MxR媒体。还需要一种***，其可以识别延迟和其他形式的数据，包括生物识别数据及其模式，以基于数据和模式推荐和/或自动化或动态地改变VR/AR/MxR环境。
发明概述
在一些实施方案中，本发明涉及一种当用户正在使用具有显示器的计算装置(例如但不限于传统的笔记本电脑、移动电话、平板电脑、台式电脑、游戏***、虚拟现实、增强现实和混合现实视图装置)来体验媒体时改善或治疗所述用户所经历的病症的方法。该方法包括：使用所述计算装置获取所述多个数据中的至少一个的第一值；使用所述计算装置获取所述多个数据中的至少一个数据的第二值；使用所述第一值和第二值确定所述多个数据中的至少一个随时间的变化；基于所述多个数据中的至少一个随时间的所述变化，确定所述病症的程度；和基于确定所述病症的程度，修改所述媒体。
任选地，所述计算装置是虚拟现实、增强现实或混合现实视图装置。
任选地，虚拟现实、增强现实或混合现实视图装置包括被配置为获取眼睛运动数据的相机、被配置为检测头部运动的速率和/或方向的传感器、被配置为检测心率的传感器、以及用于检测脑电波的EEG传感器中的至少一种。
任选地，所述眼睛运动数据包括快速扫描、扫视运动、眨眼率数据、固定数据、瞳孔直径和睑裂距离。
任选地，病症是理解力、疲劳、参与、表现、与视觉前庭不匹配继发的视觉诱发的晕动病相关的症状、与创伤后应激障碍相关的症状、与调节功能障碍有关的双重视力、由于无意识外周视野刺激引起的视觉障碍、聚散-调节障碍、视神经不稳定、视力模糊和近视、头痛、聚焦困难、定向障碍、姿势不稳定、视觉不适、眼睛疲劳、干眼症、眼睛流泪、异物感、眼睛压力感、眼睛周围疼痛、恶心、胃部不适、过度暴露于屏幕显示器的潜在光毒性、过度蓝光暴露引起的激素失调、隐斜视、正面情绪减少和负面情绪增加中的至少一种。
任选地，所述多个数据包括快速扫描、扫视运动、固定、眨眼率、瞳孔直径、头部运动速度、头部运动方向、心率、运动反应时间、平滑追踪、睑裂距离、脑波活动程度和速度、收敛程度和收敛程度中的至少一种。
任选地，修改所述媒体包括以下中的至少一种：增加媒体的对比度、降低媒体的对比度、使在媒体中显示的目标对象尺寸更大、使在媒体中显示的目标对象尺寸更小、增加媒体的亮度、降低媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、减少在中心视野中显示的媒体中显示的目标对象的数量并增加***视野中所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、基于外部数据、人口统计或趋势数据改变所述媒体的RGB值。
任选地，所述病症是理解力。
任选地，所述变化是增加快速扫描、增加扫视运动、减少固定、增加眨眼率、增加瞳孔直径、增加头部运动、增加心率、减少反应时间、减少眼睑分离、脑波活动变化和增加平滑追踪中的至少一种。
任选地，所述病症的程度是用户的理解力下降。
任选地，基于所述用户的理解力下降，所述媒体通过下列中的至少一种修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、基于外部数据、人口统计或趋势数据改变所述媒体的RGB值。
任选地，所述病症是疲劳。
任选地，所述变化是减少固定、增加眨眼率、以及收敛和发散的变化中的至少一种。
任选地，所述病症的程度是用户的疲劳增加。
任选地，基于所述用户的疲劳增加，通过增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、和增加或引入更多运动中的至少一种修改所述媒体。
在一些实施方案中，本发明涉及一种当用户通过虚拟现实、增强现实或混合现实视图装置体验媒体时改善所述用户体验的理解力的方法，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定所述用户理解力的降低程度；和基于确定理解力的降低程度，修改所述媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供理解力的预限定增加。
在一些实施方案中，本发明涉及在用户通过虚拟现实、增强现实或混合现实视图装置体验媒体时减少所述用户所经历的疲劳的方法，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定用户的疲劳增加的程度；和基于确定疲劳增加的程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括使用下列中的至少一种或多种来获取：使用下列中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供疲劳的预限定减少。
在一些实施方案中，本发明涉及一种在用户通过具有显示器的计算装置体验媒体时增加所述用户参与度的方法，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定用户参与度下降的程度；并且基于确定参与下降的程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供预限定的参与度增加。
在一些实施方案中，本发明涉及一种在用户通过带有显示器的计算装置(包括虚拟现实、增强现实或混合现实视图装置)体验媒体时改善所述用户性能的方法，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定用户性能的改善程度；并且基于确定性能改善的程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：传感器，配置为检测基础体温、心率、身体运动/旋转/方向/速度/幅度；传感器，配置为测量肢体运动/旋转/方向/速度/幅度；传感器，配置为测量脉搏率，其他参数类似于脉搏血氧仪；传感器，配置为测量听觉处理；传感器，配置为测量味觉和嗅觉处理；测量压力的传感器；输入装置，如传统的键盘和鼠标，或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和传感器配置为测量皮肤电响应。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供预定的性能提升。
在一些实施方案中，本发明涉及一种减少与用户视觉-前庭不匹配相关的视觉诱发运动病(VIMS)相关症状的方法，同时用户通过具有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定用户的VIMS症状的减少程度；和基于确定VIMS症状的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供VIMS症状的预限定减少。
在一些实施方案中，本发明涉及一种降低用户的创伤后应激障相关的症状(PTSD)的方法，同时用户通过计算装置体验媒体，其显示包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定用户的PTSD症状的减少程度；和基于确定PTSD症状的减少程度来修改媒体。
任选地，该方法还包括将图像处理方法、机器学习方法、电子刺激和化学刺激中的至少一种与所述多个数据随时间的变化相结合，其中该组合用于神经编程的目的。
任选地，该方法还包括将图像处理方法、机器学习方法、电子刺激和化学刺激中的至少一种与所述多个数据随时间的变化相结合，其中当用户通过所述虚拟现实、增强现实或混合现实视图装置体验媒体时，该组合用于修改光刺激。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供PTSD症状的预限定减少。
在一些实施方案中，本发明涉及一种当用户通过具有显示器的计算装置(包括虚拟现实、增强现实或混合现实视图装置)体验媒体时减少与用户相关的双重视力的方法，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定用户的双重视力的降低程度；并且基于确定双重视力的降低程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供双重视觉的预限定减少。
在一些实施方案中，本发明涉及一种当用户通过具有显示器的计算装置(包括虚拟现实、增强现实或混合现实视图装置)体验媒体时减少用户的无意识外观视野刺激引起的视觉障碍的方法，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定用户的减少程度；和基于确定的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供视觉疲劳预定的减少。
在一些实施方案中，本发明涉及一种减少用户的过度蓝光暴露引起的激素失调的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定激素失调的减少程度；和基于确定激素失调的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供激素失调的预限定减少。
在一些实施方案中，本发明涉及一种降低用户过度曝光到用户屏幕显示的光毒性的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定光毒性的降低程度；基于确定光毒性的降低程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供预定的光毒性降低。
在一些实施方案中，本发明涉及一种减少用户的恶心和胃部不适的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定恶心和胃部不适的减少程度；和基于确定恶心和胃部不适的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供恶心和胃部不适的预定减少。
在一些实施方案中，本发明涉及一种减少用户视觉不适的方法，包括眼睛疲劳、干眼症、眼睛流泪、异物感、眼睛压力感或眼睛周围疼痛中的至少一种，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定视觉不适的程度；和基于确定视觉不适的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供视觉不适的预限定减少。
在一些实施方案中，本发明涉及一种减少用户的定向障碍和姿势不稳定的方法，同时用户通过具有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定定向障碍和姿势不稳定的减少程度；和基于确定定向障碍和姿势不稳定的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括使用下列的一种或多种来获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供定向障碍和姿势不稳定的预限定减少。
在一些实施方案中，本发明涉及一种减少用户头痛和聚焦困难的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定头痛和聚焦困难的程度；并且基于确定头痛和聚焦困难的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供预限定减少的头痛和聚焦困难。
任选地，本发明涉及一种减少用户的视力模糊和近视的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定视力模糊和近视的减少程度；并且基于确定视力模糊和近视的减小程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供视力模糊和近视的预限定减少。
在一些实施方案中，本发明涉及一种降低用户隐斜视的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定隐斜视的减少程度；并且基于确定隐斜视的减小程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供隐斜视的预限定减少。
在一些实施方案中，本发明涉及一种减少用户视神经不稳定的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定视神经不稳定的程度；并且基于确定视神经不稳定的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供视神经不稳定的预限定减少。
在一些实施方案中，本发明涉及一种减少用户聚散-调节障碍的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定聚散的减少程度-调节障碍；和基于确定聚散的减少程度来修改媒体-调节障碍。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值、在可能的情况下增加使用更长的观看距离，更紧密地匹配模拟距离与焦距，以更慢的速度移动和移出深度的对象，并使现有的对象冲突不那么显着。
任选地，修改媒体包括修改以提供聚散的预限定减少-调节障碍。
在一些实施方案中，本发明涉及一种增加用户正面情绪的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定正面情绪的增加程度；并且基于确定正面情绪的增加程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供正面情绪的预限定增加。
在一些实施方案中，本发明涉及一种减少用户负面情绪的方法，同时用户通过带有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，该方法包括：获取多个数据的第一值；获取所述多个数据的第二值；使用所述第一值和第二值确定所述多个数据随时间的变化；基于所述多个数据随时间的变化，确定负面情绪的减少程度；并且基于确定负面情绪的减少程度来修改媒体。
任选地，获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和/或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；和被配置为测量皮肤电反应的传感器。
任选地，所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理、和听觉处理。
任选地，修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
任选地，修改媒体包括修改以提供负面情绪的预限定减少。
在一些实施方案中，本发明涉及一种与用户进行交易的方法，同时所述用户使用具有显示器的计算装置体验媒体，包括虚拟现实、增强现实或混合现实视图装置，包括：从用户获得心理测量、感觉和生物信息中的至少一个，心理测量、感觉和生物信息中的至少一个包括使用所述虚拟现实的所述多个数据中的至少一个的一个或多个值，增强现实或混合现实视图装置；奖励用户获得的心理测量、感官和生物信息中的至少一个；使用所述一个或多个值来确定所述多个数据中的至少一个随时间的变化；基于所述多个数据中的至少一个随时间的所述变化，修改所述媒体。
在下面提供的附图和详细描述中将更深入地描述本发明的前述和其他实施例。
附图简述
本发明的这些和其他特征和优点将被理解，因为当结合附图考虑时，通过参考以下详细描述，它们将变得更好理解，其中：
图1A示出了根据本发明的实施例的示出用户与示例性感觉数据交换平台(SDEP)的交互的框图；
图1B示出了由数据摄取***和数据处理***执行的功能的示例性细分；
图1C示出了根据本发明的实施例的示例性机器学习***；
图2是说明根据本发明的一个实施例的传感器数据流在到达查询处理器之前的处理的方框图；
图3示出了根据本发明的实施例的数字数据源的概述；
图4A示出了根据本发明的实施例的视觉数据的特征度量；
图4B提供了根据本发明的实施例的颜色对混淆组件的图形表示；
图4C示出了说明如何找到落在投影到3D色度空间中的显示色域的顶表面上的给定色度的亮度的曲线图；
图5示出了根据本发明的实施例的听觉信息的特征度量；
图6示出了根据本发明的示例性实施例的用于眼睛跟踪的特征度量；
图7示出了根据本发明的实施例的用于手动输入的特征度量；
图8示出了根据本发明的实施例的头部跟踪的特征度量；
图9示出了根据本发明的实施例的电生理学和自主监测数据的特征度量；
图10A示出了根据本发明的实施例的建筑物策划数据的图像分析的示例性过程；
图10B示出了根据本发明的实施例的建筑策划数据的图像分析的示例性过程；
图10C示出了根据本发明的实施例的建筑策划数据的图像分析的示例性过程；
图10D示出了根据本发明的实施例的建筑策划数据的图像分析的示例性过程；
图11A示出了随时间的瞳孔位置和尺寸以及注视位置；
图11B示出了随时间的瞳孔位置和尺寸以及注视位置；
图12是数据分析链的示例性轮廓；
图13提供了根据本发明的一些实施例的包含传入和传出源的示例性度量的列表的表格；
图14是示出从软件应用程序到SDEP的数据流的概述的示例性流程图；
图15是根据本发明的实施例的处理流程的预处理部分的示例性概要；
图16是分析链的python脚本部分的示例性轮廓；
图17是说明根据本发明的实施例的修改媒体的方法的流程图；
图18是说明根据本发明的另一个实施例的修改媒体的方法的流程图；
图19示出了根据本发明的一些实施例的描述用于改进理解力的示例性过程的流程图；
图20示出了根据本发明的一些实施例的描述用于减少疲劳的示例性过程的流程图；
图21示出了根据本发明的一些实施例的描述用于增加参与的示例性过程的流程图；
图22示出了根据本发明的一些实施例的描述用于改善性能的示例性过程的流程图；
图23示出了根据本发明的一些实施例的描述用于减少与视觉前庭不匹配继发的视觉诱发的晕动病相关的症状的示例性过程的流程图；
图24示出了根据本发明的一些实施例的描述用于减少与创伤后应激障碍相关的症状(PTSD)的示例性过程的流程图；
图25示出了根据本发明的一些实施例的描述用于减少与调节功能障碍相关的双视的示例性过程的流程图；
图26示出了根据本发明的一些实施例的描述用于减少由于无意识外周视野刺激引起的视觉障碍的示例性过程的流程图；
图27示出了根据本发明的一些实施例的描述用于减少过度蓝光暴露引起的激素失调的示例性过程的流程图；
图28示出了根据本发明的一些实施例的描述用于减少过度暴露于屏幕显示器的潜在光毒性的示例性过程的流程图；
图29示出了根据本发明的一些实施例的描述用于减少恶心和胃部不适的示例性过程的流程图；
图30示出了根据本发明的一些实施例的描述用于减少视觉不适的示例性过程的流程图，该过程包括眼睛疲劳、干眼症、眼睛流泪、异物感、眼睛压力感或眼睛周围疼痛中的至少一个；
图31示出了根据本发明的一些实施例的描述用于减少定向障碍和姿势不稳定的示例性过程的流程图；
图32示出了根据本发明的一些实施例的描述用于减少头痛和聚焦困难的示例性过程的流程图；
图33示出了根据本发明的一些实施例的描述用于减小视力模糊和近视的示例性过程的流程图；
图34示出了根据本发明的一些实施例的描述用于减少隐斜视的示例性过程的流程图；
图35示出了根据本发明的一些实施例的描述用于减少视神经不稳定的示例性过程的流程图；
图36示出了根据本发明的一些实施例的描述用于减少聚散-调节障碍的示例性过程的流程图；
图37示出了根据本发明的一些实施例的描述用于增加正面情绪的示例性过程的流程图；
图38示出了根据本发明的一些实施例的描述用于减少负面情绪的示例性过程的流程图；
图39是描述根据本发明的一些实施例的用于在启用微事务的同时修改媒体的示例性过程的流程图。
发明详述
在各种实施例中，本发明提供了用于使得能够根据用户和/或用户组的视觉简档来修改媒体的方法和***。
在另一个实施例中，本发明描述了提供给媒体(广告和娱乐)的第三方开发者的方法、***和软件，其然后使用该软件和数据来针对用户的特定视觉特性优化该媒体的呈现。
在又一个实施例中，本发明描述了用于直接提供已经包含软件和数据的媒体(广告和娱乐)的方法、***和软件，当用户体验时，可以针对该用户的特定视觉特性实时优化软件和数据。
在一个实施例中，提供了感知数据交换平台(SDEP)，其中SDEP可以使虚拟现实(VR)、增强现实(AR)或混合现实(MxR)***和/或软件的媒体开发者能够优化用户和/或一组用户的媒体。在实施例中，用户可以包括移动平台和网站的程序员和开发者。在实施例中，VR、AR和/或MxR媒体通过一个或多个电子媒体装置呈现给最终用户，所述电子媒体装置包括计算机、便携式计算装置、移动装置或能够呈现VR、AR和/或MxR媒体的任何其他装置。
在一个实施例中，用户以允许软件收集用户数据并将其提供给SDEP的方式与体现SDEP的至少一部分的软件程序交互。在一个实施例中，用户可以直接或间接地与SDEP交互以促进数据收集。在一个实施例中，SDEP是动态双向数据交换平台，其具有多个传感和生物识别数据输入、用于分析传感和生物识别数据的多个编程指令，以及用于传递综合视觉评估的多个输出。
在一些实施方案中，SDEP作为一般集体输出输出“视觉数据简档”或“视觉性能指数”(VPI)。视觉数据简档或视觉性能指数可用于优化VR/AR/MxR***或传统笔记本电脑、移动电话、台式机或平板电脑计算环境中的广告、游戏或内容的媒体演示。在实施例中，本发明的平台能够接收许多其他数据集，这些数据集可以增强对人的生活方式和习惯的理解。此外，机器学习、计算机视觉和深度学习技术被用于通过分析个人数据来帮助监测和预测健康结果。
在一个实施例中，通过在硬件(例如移动设备、计算机或头戴式显示器(HMD))上执行的操作***来使用SDEP。在另一实施例中，SDEP由一个或多个内容开发者使用。在一个实施例中，硬件和内容开发者都使用SDEP。SDEP可以使得能够收集与用户如何与所呈现的内容接口有关的数据，他们最关注的内容的哪些方面以及他们的参与程度。可以处理通过SDEP收集的数据以为具有类似人口统计的用户和/或用户组创建简档。对于特定简档，可以以符合该用户和具有类似简档的其他用户的体验的方式符合VR/AR/MxR***的硬件能力的方式来表示内容。
例如，可以通过以可以减少隐斜运动的方式表示媒体来优化体验-具体地，具有同时头部运动的长时间共聚散度以最小化视觉前庭不匹配；在VE中混合物体的光学区/聚焦区以最小化调节性解耦/功能障碍；在中枢刺激参与期间禁用大的外周刺激，以减少视觉疲劳的经验；以及其他能够增强VR/AR/MxR体验的方法。
本发明涉及多个实施例。提供以下公开内容是为了使本领域普通技术人员能够实施本发明。本说明书中使用的语言不应被解释为对任何一个特定实施例的一般否定，或者用于限制权利要求超出其中使用的术语的含义。在不脱离本发明的精神和范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。而且，所使用的术语和措辞是出于描述示例性实施例的目的，而不应被认为是限制性的。因此，本发明将被赋予最广泛的范围，包括与所公开的原理和特征一致的许多替换、修改和等同物。为了清楚起见，没有详细描述与本发明相关的技术领域中已知的技术材料的细节，以免不必要地模糊本发明。
术语“和/或”表示所列元素中的一个或全部或所列元素中的任何两个或更多个的组合。
术语“包括”及其变体在这些术语出现在说明书和权利要求书中时不具有限制性含义。
除非另有说明，否则“一”、“一个”、“该”、“一个或多个”和“至少一个”可互换使用并且表示一个或多于一个。
对于包括离散步骤的本文公开的任何方法，可以以任何可行的顺序进行这些步骤。并且，适当地，可以同时进行两个或更多个步骤的任何组合。
此外，通过端点列举的数值范围包括该范围内包含的所有全部或分数(例如，1至5包括1、1.5、2、2.75、3、3.80、4、5等)。除非另有说明，否则在说明书和权利要求中使用的表示组分的量、分子量等的所有数字应理解为在所有情况下均由术语“约”修饰。因此，除非另有相反说明，在说明书和权利要求书中列出的数值参数是近似值，其可以根据本发明寻求获得的所需性质而变化。至少，并不是试图将等同原则限制在权利要求的范围内，每个数值参数至少应该根据报告的有效数字的数量并通过应用普通的舍入技术来解释。
尽管阐述本发明广泛范围的数值范围和参数是近似值，但具体实施例中列出的数值尽可能精确地报告。然而，所有数值固有地包含必然由其各自测试测量中发现的标准偏差产生的范围。
在此应当注意，除非另有明确说明，否则可以使用任何其他实施例来实施与特定实施例相关联描述的任何特征或组件。
应当进一步理解，本文呈现的所有传入数据和收集的传出数据是使用硬件装置执行的，例如移动电话、膝上型计算机、平板计算机或专用硬件装置、执行明确明确设计用于呈现、跟踪和监控传入数据、以及监控、测量和跟踪传出数据的多个程序指令，如下面进一步讨论的。
一般问题
VIMS的潜在诱惑因素可大致分为以下因素区域：硬件、用户、任务和服务。需要可以优化这些因素中的一个或组合的方法和***，以便于VR/AR/MxR的开发和采用。这里简要讨论了这些因素。
硬件因素
影响VIMS的硬件装置***变量包括观看模式(例如单眼、双目或双眼)、耳机设计(例如配合、重量)、光学器件(例如光学器件中的未对准、对比度、亮度)、视场(FOV)和时间延迟(即运输延误)。HMD重量与视觉不适和受伤的经历有关。因此，硬件因素包括视野、分辨率和/或帧速率、以及时间延迟或等待时间等。
例如，视野(FOV)可能与产生视觉不适症状有关。FOV研究表明，窄视野(<50度)会降低自我运动的感知，宽视野(>100度)可能会增加模拟器疾病的存在和水平。对于完全沉浸式体验，建议使用至少60°的FOV。可以通过解析水平和垂直FOV来提供沉浸感，这允许内容呈现的灵活性。例如，在飞行模拟应用中，通过30°的垂直FOV在40°的水平FOV内分割物体呈现改善了人体工程学并改善了飞行员性能。
除了影响整体图像质量，分辨率还可能影响用户的VIMS体验。观看嘈杂或模糊的低质量图像通常会感到不舒服。人类的视觉分辨率为1分钟弧度，是许多HMD***的技术限制。取决于VR环境中的感知距离，随着对象越来越近，增加的分辨率减轻了“像素感知”。话虽如此，在设计过程中提供尽可能高的分辨率非常重要，以便更好地完成虚拟现实(以及AR和MxR)应用中的沉浸式任务。刷新或帧速率是影响视觉舒适度的另一个因素。
大多数VR/AR和混合环境***都存在与晕动病和视觉不适相关的类似问题。这些问题的一个原因是延迟或延迟。延迟是指从用户触发操作到通过VR/AR/MxR介质显示用户触发操作的结果所花费的时间。延迟也可能归因于用于显示VR/AR/MxR媒体的屏幕。具体地，诸如屏幕刷新和响应时间的屏幕的特征可以归因于延迟的度量。可接受的延迟水平或可能不会导致晕动病或其他形式的不适的延迟的措施可能因不同的个体而异。
个体与***的行为和反应之间的时间间隔可能会影响用户对VIMS症状的体验，因为它会影响人类对视觉和前庭线索的感知。因此，减少HMD***的传感器误差可以最小化VIMS体验。HMD光学特性、例如眼睛浮雕(从目镜到其出射光瞳的固定距离)、共聚散度要求、水平视差、显示器的垂直未对准、眼间旋转差异、垂直-水平放大率差异、亮度、焦点差异、时间不同步、焦距、场曲率差和瞳孔间距(IPD)都是可能导致视觉不适和头痛的潜在因素，当它们未对准或未经过最佳校准时。
用户因素
与VIMS影响相关的另一个因素是用户特征，因为众所周知，个体对VIMS的敏感性不同。用户特征可能包括年龄和性别、视觉缺陷、可塑性、和姿势等。
已显示年龄与HMD相关的眼睛疲劳症状有显着关系。2-12岁的儿童视觉***和双眼功能不成熟，比成人更差，这使得儿童更容易受到由HMD引起的视觉不适和动眼神经副作用，包括视力下降、弱视或斜视。具有有限融合范围的成年人经历更多视觉不适，特别是响应于VE中的刺激的会聚眼动。因此，需要进一步研究年龄对HMD的影响，并将其纳入未来HMD的设计中。在性别方面，与男性参与者相比，女性报告的模拟器疾病更多，并且更多时候从基于HMD的VE中退出。这种差异可能是由于男性自我报告(所谓的“男子气概效应”)或荷尔蒙效应报告不足。另一种可能性是FOV中的性别差异，女性具有更宽的FOV、增加了闪烁感知、视觉疲劳和晕动病易感性的风险。
与没有这种缺陷的人相比，有视力缺陷的人可能对动眼神经副作用的易感性增加，尽管在这方面需要更多的研究。晕动病的既往病史或排除这些症状的病症(偏头痛)，也可用于预测基于HMD的VE中对晕动病的易感性。个体可以习惯或适应基于HMD的VE(即可塑性)，在反复暴露于虚拟环境后症状得到改善。然而，这种习惯在群体中是不同的，某些个体在反复暴露于刺激之后比其他个体更容易适应。
具有更多可塑性的个体可能不太可能体验VIMS，尽管适应VE所需的时间可能存在差异。更大的可塑性不会转化为减少或缺乏初始症状，而是通过反复暴露于VE后更快地改善症状易感性的能力。
基于姿势不稳定理论，个人的姿势也可能对VIMS有所贡献。姿势不稳定在VIMS中具有独特的作用，因为它可能是VIMS的原因和结果。研究表明，姿势稳定的人对VIMS的敏感度较低，提示姿势稳定性与VIMS之间存在反比关系。姿势稳定性是视觉、前庭和躯体感觉的感觉输入的汇合。涉及姿势稳定性的两个神经反射包括前庭-眼反射(稳定视网膜上的物体)和前庭-脊柱反射(在运动中稳定姿势)。当视觉和前庭输入不同步时，结果是姿势不稳定、VIMS或两者兼而有之。姿势不稳定可能会在接触后持续数小时。必须牢记与姿势不稳定风险相关的HMD用户安全的特殊考虑因素。建议HMD用户在参与潜在危险活动(例如驾驶或运动)之前允许重新定向/恢复时间可能是有序的。
任务因素
任务特征也被确定为可能影响VIMS。在这些任务中，虚拟环境(VE)中的持续时间最为显着。长时间暴露于VE会增加VIMS的发生率。这些症状可能会在暴露后持续60分钟。影响VIMS的另一个重要因素是视觉疲劳(即自我运动的幻觉)，视觉疲劳更快，导致更大的疾病症状。在坐姿观看基于HMD的VR可以减轻症状，因为坐姿减少了对姿势控制的要求。更复杂的任务，例如阅读，可能会导致总体症状严重程度评分和动眼神经相关症状评分显着高于电影或游戏中观察到的评分。这些发现意味着更苛刻的任务可能会产生一定程度的眼睛疲劳。与观看电影或玩游戏相比，增加的阅读灵敏度可能是由于大脑的不同区域的激活，这可能使阅读比其他任务更复杂。或者，阅读可以影响注意力和眨眼率，这也可能有助于增加VIMS。而且，不适当的垂直注视角度可能会导致动眼神经动力的改变和视觉不适。
服务因素
硬件组件的技术进步将减少生理人体工程学问题，包括HMD重量、***时间延迟和亮度。然而，鉴于VIMS的多因素性质，视觉和前庭输入之间的冲突仍然是一个重要问题。进一步减少VIMS需要考虑内容的创建方式以及它如何影响服务因素。反过来，服务因素需要考虑VIMS对观众的影响。
可以创建旨在用于广泛的受众共享体验(例如，广播)或用于狭窄的小众观众体验(例如，视频点播***中的长尾内容)的服务。对于大规模观众而言，进一步减少VIMS将高度依赖于内容创建，其中FOV创建了一个沉浸式环境，其中观看电影或玩游戏将是更优选而不是阅读。通过减少产生感官输入冲突的视觉线索可以减轻用户因素。这可以通过使观看者更多地成为分离的固定观察者(即，减少视觉疲劳)并使内容更多地是在观看UHD/HDR素材中已经变得流行的景物类型来完成。
内容可以通过线性广播，按需或在其他途径之间下载。VR的服务因素需要认识到传递给HMD的比特。这种比特流限制了分辨率和帧速率，同时也影响了时间延迟或延迟，其中帧速率是延迟的门控因素。围绕此维度创建服务的方法是允许渐进式下载，按需流式传输或实时线性流式传输。这种进展跟踪视频流的演变，其中渐进式下载最初完成，直到编解码器压缩效率和带宽扩展足够高，以允许在线流式传输并最终实现实时编码/流式传输。
VR环境取决于观察者与观察环境之间的某种程度的交互性。可接受的交互量可以设计到服务中，并应考虑减少VIMS效应。
优化的服务因素可以通过创建并向用户和内容社区了解一组针对HMD使用的优化视觉人体工程学指南来降低VIMS效果。
下一代计算将由沉浸式平台主导，这些平台代表了用户、内容和技术之间的新水平的协同作用。VR/AR/MxR是继PC、网络和电子邮件之后的第四个主要平台转变。VR/AR/MxR也是通常称为脑机(计算机)接口(BMI/BCI)的技术的一部分。BMI/BCI具有临床应用，例如但不限于EEG、MRI、fMRI和超声。大多数这些临床界面本质上是模块化的。这些可以是侵入性的，也可以是非侵入性的、便携式或非便携式。非临床应用可能包括游戏、军事和其他。在这些不同的潜在界面中，临床和非临床环境中的划分部分地限于界面的可移植性、非临床传统上更便携。预计未来最密集的开发和投资领域可能是诸如游戏的便携式非侵入式***，尤其是将非侵入性BMI与AR、VR和MxR结合。需要开发用于临床和非临床应用的BMI标准化。
总体BMI标准化要求标准化与大脑的多个感知界面的互操作性、连接性和模块性，其中许多是闭环的。因此，需要一种方法和***，鉴于闭环***的当前限制，这些方法和***可以支持这些要求的标准化。
目前BMI的健康风险包括继发于视觉-前庭不匹配的视觉诱发的晕动病、与调节功能障碍有关的双重视力、视觉疲劳到非预期的外周视野刺激、来自蓝光暴露的激素失调(昼夜节律)和过度暴露于屏幕显示器的潜在光毒性。HMD还受到用户因素的影响，包括性别、瞳孔间距离变化、调节幅度(依赖于年龄)、姿势稳定性以及所显示的软件内容的类型-因为更多视觉任务导向的内容往往更具破坏性。
定义
在整个说明书中使用术语“虚拟现实”或“VR”，并且在实施例中，涉及沉浸式计算机模拟现实，或者可以通过使用特殊电子设备(例如内部有屏幕的头盔和/或装有传感器的手套)的人以看似真实或物理的方式与之交互的计算机生成的三维图像或环境模拟。
在实施例中，在整个说明书中也与VR一起使用的增强现实(AR)是将计算机生成的图像叠加在用户对现实世界的视图上的技术，从而提供合成视图。在实施例中，普通的头盔式装置是HMD，其是佩戴在头部上或作为头盔的一部分的显示装置，其在一个(单眼HMD)或每只眼睛(双目HMD)前面有一个小显示器。在实施例中，SDEP是基于云的服务，任何一方都可以访问该服务以便改进或以其他方式修改视觉呈现的产品或服务。
此外，在实施例中，混合现实(MxR)在整个说明书中也与VR和AR一起使用。MxR，也称为混合现实，是VR和/或AR环境与真实环境的融合，以产生物理和数字对象共存并实时交互的新级别的视觉体验。
在实施例中，VR、AR和MxR装置可以包括电子媒体装置、计算装置、便携式计算装置中的一个或多个，包括移动电话、膝上型电脑、个人数字助理(PDA)或可以是任何其他可支持VR、AR或MxR媒体的电子装置。这里应该注意，虽然本发明是在虚拟现实的背景下公开的，但是下面描述的任何和所有***和方法也可以用于增强现实环境以及混合现实环境。因此，在描述虚拟现实(VR)***的情况下，本领域普通技术人员应该理解，相同的概念可以应用于增强现实(AR)和混合现实(MxR)***。
眼动追踪定义
在性能方面，可以将几种眼睛跟踪测量放入视觉性能指数(VPI)组件的上下文中，这些组件在说明书的后续部分中详细定义和描述。眨眼率和聚散度措施可以提供疲劳和恢复的措施。凝视，更具体地说，固定位置可用于估计反应和目标测量。追踪眼球运动期间的连续错误率也可以成为目标测量。
用于眼睛跟踪的物理测量的各种示例可以具有期望的标准单位、测量值的预期范围和/或在适用的情况下基于那些测量的各种状态或类别的阈值。通过讨论眼动追踪的各种组件和子组件的部分提供了一些参考。
以下术语与视频记录和图像处理技术相结合的眼睛跟踪测量、专家人类得分和/或来自电子照相仪(EOG)的录音相关联。视频眼睛跟踪(VET)技术可以使用显式算法分析和/或机器学习来估计每只眼睛的比例眼睑开/闭、瞳孔大小、瞳孔位置(相对于面部)和注视方向。EOG记录在有限的精度下可以用于估计眼睑和眼睛运动以及眼睛注视方向。两种记录模态都可以每秒数十到数千次的速率进行采样，并允许分析各种测量的位置、速度、方向和加速度。两眼之间的比较允许测量聚散度，这反过来允许估计三维(3D)注视方向。
睑裂是指眼睑的开口。虽然通常约30毫米(mm)宽乘10mm高，但大多数测量可以相对于在视频上测量的基线距离。特别感兴趣的是高度(内睑裂高度)，因为它与下列术语有关：
百分比打开(p眼睛打开)指的是相对于最大开放距离，左眼(p左眼打开)、右眼(p右眼打开)或双眼(p两眼打开)的开放程度，通常在预定的时间段内测量。
比例打开(P眼睛打开)是指眼睛在一段时间内打开的时间比例(例如，在会话期间(P_(眼睛打开|会话期间)))。“打开”的阈值可以是可变的(例如，P眼睛打开(其中p两眼打开≥25％))。
可以将闪烁定义为双眼(p两眼打开＝0％)的完全闭合，大约在10到400毫秒(ms)之间，具体测量的闪烁闭合时间基于用户和眼睛跟踪方法之间的差异。
眨眼率(频率)(f眨眼)是指在一段时间内(例如f_(眨眼|目标存在))对所有闪烁和/或眨眼测量的每秒眨眼次数(s-1或Hz)。眨眼率可以被称为眨眼率的变化率或部分眨眼与完全眨眼的比率。
闪烁计数(N_眨眼)表示在一段时间内(例如N_(眨眼|目标存在))所有闪烁和/或闪烁测量的闪烁次数。
瞳孔大小(S_瞳孔)指的是瞳孔的大小，通常是以毫米(mm)为单位的直径。
瞳孔位置(〖[x，y]〗_瞳孔)指的是左(〖[x，y]〗_(左瞳孔))或右(〖[x，y]〗_(右瞳孔))瞳孔在面部的固定参考系内的位置，通常作为时间的函数。瞳孔位置定义包括并且取决于初始瞳孔位置和最终瞳孔位置。
注视方向(〖[θ，φ]〗_注视)指的是左眼(〖[θ，φ]〗_(左注视))或右眼(〖[θ，φ]〗_(右注视))凝视相对于脸部的3D极坐标的方向，通常是时间的函数。这是衡量眼睛所面对的位置，而不考虑眼睛看到的东西。根据任务或目标，它可以进一步分类为相关或不相关。
注视位置(〖[x，y，z]〗_注视或)指的是笛卡尔坐标或球形3D坐标中环境中凝视的位置(或目的地)，通常是时间的函数。参考帧可以相对于用户、装置或空间中的某个其他点，但是最常见的是坐标空间的原点将是用户的眼睛(一个或另一个或中间的一点)。注视位置定义包括并且取决于初始注视位置和最终注视位置。
聚散度是从估计的注视方向导出的，并且可以量化为两只眼睛的角度差(正差为离散聚散度，负差是共聚散度)。当从注视位置导出时，聚散度有助于并且可以量化为注视位置距眼睛/面部的距离。共聚散度和离散聚散度可各自由其持续时间和变化率来定义。
固定位置([x，y，z]固定或)是笛卡尔或球形3D空间中的固定的位置，其被测量为用户在某个时间点的凝视的估计位置。固定位置定义包括并且取决于初始固定位置和最终固定位置。
固定持续时间(D固定)是固定的持续时间(即眼睛凝视到达固定位置和离开时的时间跨度)，通常以毫秒或秒(s)为单位。平均持续时间用条D 固定表示，并且可以表示所有固定、在一段时间(例如_D_(固定|目标存在))上的固定和/或在特定区域(例如_D_(固定|显示中心))内的固定。固定持续时间定义包括并且取决于固定的变化率。
固定率(频率)(f_固定)是指所有固定、在一段时间(例如_D_(固定|目标存在))上的固定和/或在特定区域(例如_D_(固定|显示中心))内的固定测量的每秒(s^(-1)或Hz)固定平均数。
固定计数(数量)(N固定)是指为所有固定、在一段时间(例如_D_(固定|目标存在))上的固定和/或在特定区域(例如_D_(固定|显示中心))内的固定测量的固定数
扫视位置([x1，y1，z1|x2，y2，z2]扫视或)指笛卡尔或球形3D空间中的扫视眼运动的起始(1)和结束(2)位置。在给定场景中，参考帧通常与用于注视位置的参考帧相同。扫视位置定义包括并且取决于变化率、初始扫视位置和最终扫视位置。
扫视角度(θ扫视)是指描述扫视的二维(忽略深度)方向相对于某个参考的角度(°)6弧度(rad)。除非另有说明，否则参考垂直向上，角度顺时针增加。可以指定(例如θ扫视-目标)参考以表示扫视方向与某个期望方向(即朝向目标)的偏差。平均扫视方向用条θ 扫视表示，并且可以代表所有或一部分扫视(例如_θ_(扫视|目标存在))；因为方向是有角的(即圆形)，所以除非指定相关参考(例如_θ_(扫视-目标|目标存在))，否则平均方向可以是随机的。扫视角度可以用于确定目标与用户的相关程度，也称为朝向目标的相关性的上下文。
扫视幅度(M扫视)指的是与行进距离有关的扫视的大小；这可以作为以度(°)或弧度(rad)表示的视角，相对于估计的注视位置的物理距离(例如，以厘米(cm)或英寸(in)表示)或显示空间中关于显示器上的估计注视位置的距离(例如，以像素(px)为单位)。关于空间中的特定点(P)，与该点的直线平行的扫视幅度的分量可以给出如下：
M扫视-P＝M扫视·cos(θ扫视-P)
其中M扫视是扫视的大小，θ扫视-P是扫视方向和朝向点P的矢量之间的角度。平均扫视幅度用条M 扫视表示，并且该符号可以应用于所有扫视和/或时间或空间中的子集，并且关于扫视幅度或扫视幅度相对于指定点的分量。
前扫视指的是朝向空间中的某个点的移动，通常是目标、感兴趣的区域或一些注意力捕获事件。通过上述术语，前扫视相对于指定位置将具有相对小的扫视角和正幅度分量。
反扫视指的是远离空间某些点的运动，通常是由于厌恶或基于任务(指示远离)。通过上述术语，反扫视将具有相对大的扫视角(大约±180°或±πrad)和相对于指定位置的负大小分量。
抑制返回(IOR)与反扫视有关，并描述了在搜索或自由观看期间的趋势，以避免最近固定的信息量较少的区域。IOR反映了有效采样场景的一般策略。它可以由反扫视定义，或者是反扫视的函数。
扫视速度(v扫视)或扫视的速度被视为幅度随时间的变化(并且通常不是从幅度分量朝向参考点)。基于扫视速度的大小和方向，它可以指示目标与用户的相关程度。平均扫视速度用条v 扫视表示，并且可以应用于所有扫视或时间和/或空间中的子集。
扫视率(频率)(f扫视)表示对于所有扫视、一段时间内(例如f_(扫视|目标存在))的扫视、特定区域内的扫视(例如f_(扫视|显示中心))和/或由其方向(例如f_(扫视|朝向目标))定义的扫视所测量的每秒(s-1或Hz)扫视的平均数量。
扫视计数(数量)(N扫视)是对于所有扫视、一段时间内的扫视(例如N_(扫视|目标存在))、特定区域内的扫视(例如N_(扫视|显示中心))和/或由其方向(例如N_(扫视|朝向目标))定义的扫视所测量的扫视的数量
追踪眼球运动(PEM)用于指平滑追踪眼球运动，其中凝视通过空间跟踪移动物体和前庭眼球运动，以补偿头部或身体运动。它可以由指示平滑PEM的开始、持续时间和/或方向的数据进一步定义。还包括从移动参照系对静止物体的补偿跟踪。PEM通常不包括固定和扫视，而是由偶尔的错误校正扫视中断的连续、相对慢的运动。可以分别减去和分析PEM迹线的平滑和扫视部分。
身体追踪定义
身体追踪需要测量和估计身体和肢体的位置作为时间的函数和/或与一类运动相关的离散事件(例如点头)。信息源包括带有和不带磨损标记的视频跟踪，以帮助图像处理和分析、位置***、加速度计和各种手持或磨损的装置、平台、椅子或床。
屏幕距离(d屏幕)是指用户眼睛(面部)与给定显示装置之间的距离。作为静态量，重要的是确定朝向屏幕上的各种元素的方向(视角)，但作为随时间的变量，屏幕距离可以测量用户朝向和远离屏幕的运动。屏幕距离取决于用户眼睛(面部)和给定显示装置之间的变化率、初始位置和最终位置。结合面部检测算法，该措施可以从装置相机和具有相对于显示器的已知位置的单独相机进行。
头部方向(Facing)([θ，φ]头部)指的是头部朝向方向相对于身体或环境中的显示器或其他物体的3D极坐标的方向。跟踪随着时间的推移，这可以用于得出诸如点头(有订婚和疲劳)、摇晃、摆动或任何其他形式的定向之类的事件。头部方向取决于相对于身体或环境中的显示器或其他物体的头部朝向方向的变化率、初始位置和最终位置。
头部固定，虽然类似于固定和与眼球运动相关的各种量度，可以被测量和从行为推断出。通常头部固定会比眼睛固定长得多。当与前庭眼补偿结合时，头部运动不一定表示眼睛注视方向的变化。头部固定取决于头部固定的变化率、初始位置和最终位置。
头部扫视，虽然类似于扫视和它们与眼球运动相关的各种措施，可以被测量为快速、离散的头部运动。当在大视角移动凝视时，这些可能伴随着眼球的眼球运动。定向头部扫视也可以是听觉处理的一部分，并且响应于环境中的新颖或意外声音而发生。
头部追踪，虽然类似于追踪眼球运动，但往往是在跟踪移动物体和/或补偿移动参考帧时较慢且持续的运动。
肢体跟踪是指使用带有图像处理的视频或佩戴/保持装置的肢***置随时间变化的各种测量，这些装置本身由视频、加速度计或三角测量来跟踪。这包括指向装置，如计算机鼠标和手持运动控制器。相对肢***置可用于导出诸如指向方向的辅助测量。肢体跟踪取决于肢体的变化率、初始位置和最终位置。
重量分布是指在传感器的空间布置上的重量分布，而用户站立、坐下或躺下时可用于测量身体运动、位置和姿势。重量分布取决于变化率、初始位置和重量的最终位置。
面部表情包括微表情、眉毛的位置、人的嘴的边缘、角落和边界、以及用户颧骨的位置，也可以被记录。
电生理学和自主定义
电生理学测量基于通常通过放置在皮肤上的导电电极记录电位(电压)或电位差。取决于放置电极的身体部位，可以基于一组度量和分析进行各种生理和/或行为测量。通常，电压(非常小-微伏μV)被记录为时间的函数，采样率为每秒数千次(kHz)。虽然电生理记录可以测量自主功能，但也可以使用涉及各种传感器的其他方法。压力传感器、光学传感器(例如脉冲氧合)、加速度计等可以提供连续或事件相关的数据。
频域(傅里叶)分析允许将作为时间(时域)函数的电压电势转换为波形能量作为频率的函数。这可以通过移动的时间窗口来完成，以创建频谱图。作为时间的函数的特定频率或频率范围的总能量可用于测量响应和状态的变化。
脑电图仪(EEG)是指脑功能的电生理记录。时间平均和频域分析(详见下文)提供状态测量。结合关于刺激的精确定时信息，可以分析事件相关电位(EEG-ERP)作为信息处理的特定方面的波形特征。
频带通常与大脑活动(EEG)相关联，并且在频域分析的背景下，不同频率范围通常用于寻找特定神经过程或共同状态的活动特征。频率范围以每秒周期(或)为单位指定：
δ-频率小于4Hz。通常与慢波睡眠有关。
θ-4到7Hz之间的频率。通常与嗜睡有关。
α-8到15Hz之间的频率。
β-16到31Hz之间的频率。
γ-频率大于32Hz。
心电图仪(ECG)是指心脏功能的电生理记录。在这种情况下，感兴趣的主要衡量标准是心率。
肌电图仪(EMG)是指肌肉张力和运动的电生理记录。可以进行微妙的肌肉激活的测量，不一定导致明显的运动。脸上的电极可用于检测面部表情和反应。
电子照相仪(EOG)是指穿过眼睛的电生理记录。这可以提供眼睛和眼睑运动的敏感测量，但是在导出瞳孔位置和注视方向方面的用途有限。
视网膜电图仪(ERG)是指视网膜活动的电生理记录。
皮肤电响应(GSR)(Electrodermal response)是皮肤电导率的衡量标准。这是交感神经***的间接测量，因为它涉及汗液的释放。
体温测量可以以离散或连续的方式进行。体温的相对快速变化可能是对刺激的反应的量度。可以通过跟踪温度变化率、初始温度和最终温度来测量移位。
呼吸率是指呼吸速率，可以从许多来源测量，包括光学/视频、呼吸描记术和听觉，并且通常以每分钟(min-1)呼吸量来测量。呼吸中的暂停(即保持呼吸)可以根据发作时间和持续时间来测量。
血氧饱和度是血氧的量度，可用作自主神经功能和生理状态的指标。
心率以每分钟(min-1)心跳次数测量，并且可以从许多来源测量，并用作自主神经功能和生理状态的指示。
血压通常用两个值来衡量：最大(收缩压)和最小(舒张压)压力，单位为毫米汞柱(mm Hg)。血压可用作自主神经功能和生理状态的指示。
传出音频录音定义
来自附近麦克风的录音可以测量用户的行为甚至自主反应。声音响应可以提供响应时间、响应含义或内容(即所说的内容)以及响应持续时间的度量(例如，“yeah”对比“yeeeeeeeaaaah”)。可以测量其他话语，如打哈欠、咕噜声或打鼾。可以测量其他可听见的行为，例如敲击、摇摆、刮擦或通常烦躁的行为。在某些情况下，可以记录像呼吸这样的自主行为。
可以记录诸如口语、短语和较长构造之类的发声，并在算法上将其转换为文本串以得出特定的响应。可以测量每个成分的发作时间和持续时间(响应、单词、音节)。其他非语言反应(大喊、咕噜声、哼唱等)也可以被描述。发声可以反映一系列声乐参数，包括音调、响度和语义。
推断的传出反应是指可能由音频记录的某些感兴趣的传出反应，并指示对刺激的离散反应或信号一般状态或情绪。感兴趣的行为包括敲击、刮擦、重复的机械相互作用(例如，笔点击)肢体的弹跳或摇动、摇摆和其他重复或其他值得注意的行为。
呼吸，例如呼吸率、强度(体积)和潜在形态(口对鼻)的测量也可以进行。
传入分类/定义
下面讨论的状态通常在各种刺激和刺激与环境状态的组合的背景下或对其的响应中测量。刺激可以通过传入输入模态(视觉、听觉、触觉等)来定义、并通过其特征来描述。特征可以由应用程序设置(例如，设置屏幕上显示的子画面的位置、大小、透明度)或者通过图像/音频处理分析(例如，变换、显着性映射、对象分类等)来推断。
如下所述的感兴趣区域可以提前知道并且由应用设置，可以通过各种视觉刺激的位置和范围来定义和/或可以在数据收集之后通过图像处理分析来识别连续的、相关的和/或显着的区域。除了刺激特征之外，可以使用传出测量来识别感兴趣的区域(例如，用户倾向于固定的区域由注视位置数据定义)。同样地，传入和传出测量可用于将时间分段为用于概括分析的时段(例如，在保持呼吸时固定的总数)。
感官数据交换平台概述
参考图1A，其示出了根据本发明的实施例的示出用户与示例性SDEP的交互的框图100。在一个实施例中，用户102与VR/AR/MxR***104接口。VR/AR/MxR***104可以包括诸如HMD、传感器和/或任何其他形式的硬件元件106的装置，以刺激的形式向用户呈现VR/AR/MxR媒体，并且在用户与呈现的媒体交互期间实现用户响应数据的收集。媒体可以由服务器，通过网络或能够向HMD提供内容的任何其他类型的内容平台来传送。传感器可以是生理传感器、生物传感器或其他基本和高级传感器以监测用户102。另外，传感器可以包括记录音频、视觉、触觉或直接或间接地影响用户102的视觉表现的任何其他类型的环境条件的环境传感器。VR/AR/MxR***104还可以包括可以与硬件元件106相关联地执行的软件元件108。示例性软件元素108包括游戏程序、软件应用程序(app)或可以有助于向用户102呈现VR/AR/MxR媒体的任何其他类型的软件元素。软件元素108还可以使***能够收集用户响应数据。收集的数据可以用关于用户、软件应用程序、游戏(如果有的话)、呈现给用户的媒体、用户与***交互的会话或任何其他数据的信息来标记。硬件元件106和软件元件108的组合可用于向用户102呈现VR/AR/MxR媒体。
在一个实施例中，从用户102与VR/AR/MxR***104交互收集的刺激和响应数据可以构成数据源110。可以基于软件元素108和SDEP 118之间的交互在SDEP 118内创建数据源110。元素108还可以通过用于开发者的软件开发工具包(SDK)中包括的专有函数调用与SDEP 118交互(即，开发者可以使用预限定函数向/从SDEP 118发送/接收数据)。SDEP 118可以包括存储和处理组件，并且可以是计算***。SDEP 118的功能可以主要驻留在一个或多个服务器以及从云服务存储和检索的数据上。数据源可以是视觉数据、音频数据、由部署在VR/AR/MxR***104的传感器收集的数据、用户简档数据或可能与用户102相关的任何其他数据的形式。视觉数据可以主要包括刺激数据并且可以来自相机(例如手机相机或其他视觉设备/装置)或来自其他间接来源，例如游戏和应用程序(app)。传感器可以提供空间和时间序列数据。用户数据可以涉及登录信息，或者从他们的简档、社交媒体应用或其他个性化源导出的其他用户特定信息。在实施例中，数据源大致分类为传入数据源和传出数据源，其在说明书的后续部分中更详细地描述。在一个实施例中，用户简档数据可以从另一个数据库收集，或者可以通过不同的源提供。在示例性实施例中，用户简档数据可以由包括一个或多个视力保健提供者的服务提供者提供。在其他实施例中，可以从其他来源(包括用户的装置、应用/游戏中的选择加入选项或任何其他来源)收集用户简档数据。
可以将数据源110提供给数据提取***112。数据提取***112可以提取和/或转换数据以准备在数据处理***114中进一步处理数据。数据适配器是用于在数据源和数据集之间通信的一组对象，可以构成数据提取***112。例如，图像数据适配器模块可以从图像中提取元数据，并且还可以处理图像数据。在另一示例中，视频数据适配器模块还可以从视频数据源提取元数据，并且还可以包括视频代码转换器以将大量视频存储到分布式文件***中。在另一示例中，时间序列数据适配器模块将传感器数据解析为时间序列。在另一个实施例中，空间数据适配器模块可以利用来自相对较小区域(例如皮肤)的数据，并对数据进行空间变换以进行区域测量。在另一示例中，用户简档数据适配器模块可以对一般用户数据进行排序，例如通过登录、社交媒体连接API、电话上的唯一标识符等。
SDEP 118还可以包括数据处理***114，其从数据提取***112接收条件数据。数据处理***114内的机器学习模块152可以与存储器和实时队列通信以将数据输出到数据服务***116，其中可能包括应用程序接口(API)。在实施例中，机器学习***可以实现一个或多个已知和定制模型以处理从数据摄取***112输出的数据。
图1B示出了由数据摄取***112和数据处理***114执行的功能细分的示例性过程。在实施例中，在172处，驻留在***104的应用程序收集刺激和响应数据。刺激和响应数据以与显示、颜色、光、图像、位置、时间、用户、会话以及与用户交互相关的其他数据相关的信息的形式转发。数据可以在原始形式的应用程序中表示，用于在显示器上呈现图像，通过扬声器播放声音并接收与应用程序的运行相关的用户输入信息。还可以包括来自更先进***(即VR/AR/MxR)的附加遥测信息和视频和声音记录。
在174处，软件工具包可以从应用程序接收原始程序信息并应用各种转换以更物理和/或生理学相关的形式表示数据。图像和视频与关于显示硬件的信息相结合，可以从红色、绿色和蓝色(RGB)值转换为CIE 1931色度值(和/或一些其他生理学相关的色度发光空间)。可以将空间显示信息(水平和垂直像素坐标)与物理显示尺寸和用户观看距离的估计相结合，转换成以头部为中心的视角和距离。数据可以进一步与来自眼睛跟踪的估计注视方向组合，并且这可以进一步转换成视网膜坐标。同样，用户界面标记(例如鼠标光标)可以转换它们的位置。在实施例中，一些其他相关数据可以通过而无需转换。在一些应用中，工具包可以利用关于当前和先前交互的信息来向应用程序提供用于估计心理测量参数的有效采样的建议(显示为包围信息)。
在176处，依赖于机器学习或深度学习应用的图像处理和分析可以将图像或音频信息分解成相关特征(例如，边缘、轮廓、纹理等)并且可以估计对象(例如身份、空间位置和范围、运动等)。
在178处，可以组合刺激和响应的原始物理参数并将其分析为检测、辨别、反应、准确度、记忆和其他衍生测量的心理测量估计。在实施例中，衍生度量可包括用于趋势分析的度量
可以在图1B所示的整个过程中转发用户和会话数据以标记刺激，响应和分析数据，以便为稍后的呈现和/或分析提供上下文。
在实施例中，在174处从分析输出的数据可以包括用于定位、反应、检测、辨别以及对处理和呈现视觉数据有用的其他参数的图。
图1C示出了根据本发明的实施例的示例性机器学习***152。如上所述，以可视数据、音频数据、传感器数据和用户数据的形式输入数据，与SDEP 118接口，并通过数据集成***112预处理。处理/变换的数据被提供给机器学习***152。在实施例中，机器学习(ML)***使用一个或多个已知和定制的数据模型处理变换的数据，例如但不限于朴素贝叶斯、决策树等。在实施例中，ML***152基于诸如Keystone ML和Velox的软件框架创建数据管道。建模数据可以存储在数据库154中。在一个实施例中，使用NoSQL(Accumulo/HBase)、SQL(MySQL)和对象存储(用于原始图像和视频数据)的组合。在实施例中，根据HIPAA向存储器154提供单元级安全性。
在一个实施例中，实时队列156与ML***152通信以流处理流水线。在一个实施例中，实时队列156使用诸如Kafka的分布式、发布-订阅消息传送***来运行。在一个实施例中，Kafka代理从期望频率的源收集图像、视频和时间序列数据，然后在运行时使用各种OpenCV和自定义图像处理库来处理这些数据。
SDEP 118可以经由用户装置的硬件操作***(例如，HMD)和/或内容开发者使用。在一个示例中，硬件和内容开发者都可以使用SDEP。在该示例中，可以收集关于用户如何与所呈现的内容交互，他们最关注的内容的哪些方面以及他们如何参与的数据。此外，可以基于该用户和/或同一人口统计中的类似用户的已知内容来增加参与度。内容可以以符合硬件能力的方式呈现，以便从符合人体工程学的观点优化体验。
在实施例中，SDEP 118还可以包括用于后端分析的模块120，其馈送另一个API122。API 122又可以与用户102接口，向用户102提供修改的媒体。
图2是示出根据本发明的实施例的传感器数据流在到达查询处理器之前的处理的框图。在一个实施例中，图2示出了由SDEP接收的传感器数据流的λ架构200。数据处理架构200可以被设计为通过并行处理数据流和批处理来处理大量数据。在一个实施例中，包括实时从用户收集的传感器数据的传感器数据流202被提供给实时层204。实时层204可以通过实时处理器214接收和处理在线数据。批量收集的数据可以提供给批处理层206。批处理层206包括主数据集222，用于接收和利用处理附加到现有事件的时间戳事件。批处理层206可以使用包括可以处理非常大量数据的批处理器216的分布式处理***来预计算结果。批处理层206可旨在通过能够处理所有可用传感器数据来提供准确数据，以生成批处理视图218。批量上载器220可上载输出以存储在数据库210中，其中更新完全替换现有的预计算批处理视图。可以将来自两个层的处理数据上载到相应的数据库208和210，以进行实时服务和批量服务。随后可以通过查询处理器212访问来自数据库208和210的数据，查询处理器212可以是服务层的一部分。查询处理器212可以通过从处理的数据返回预先计算的视图或构建视图来响应ad-hoc查询。在实施例中，可以独立地利用实时层204、批处理层206和服务层。
数据采集
事件可以在数据流内编码，可能来自应用程序、用户和环境传感器，并且可以承载指示事情何时发生的时间戳。任何具有明确发生时间的事物都可能被视为“事件”。大多数感兴趣的事件可能在时间上是离散的，时间戳指示某个状态的开始或结束。作为例外，可以连续记录电生理学数据，并且通常通过平均与其他事件同步的数据段或通过一些其他分析来分析电生理学数据。
在一个实施例中，从与用户102的交互收集的数据大致分类为传入数据和传出数据，对应于传入事件和传出事件。在周围神经***中，传入神经纤维是传入神经元(感觉神经元)的神经纤维(轴突)。这是一个漫长的过程(投射)，远离神经细胞体，从感觉受体或感觉器官向中枢神经***传递神经冲动。神经活动的相反方向是传出传导。相反，传出神经纤维是传出神经元(运动神经元)的神经纤维(轴突)。这是一个漫长的过程(投射)，远离神经细胞体，将神经冲动从中枢神经***带向外周效应器官(主要是肌肉和腺体)。
“刺激”可以被分类为一个或多个事件，通常是传入的，在用户可以响应的物理世界中形成离散事件。刺激事件可能会或可能不会引起用户的响应，实际上甚至可能根本没有被有意识地感知或感知到，因此，如果发生事件，则可以进行分析。刺激事件类可以包括“特定应用事件”和“一般和/或衍生刺激事件”。
应用特定事件可以包括许多刺激事件类，其可以特定于特定应用的视觉、声音和其他感官效果。所有艺术资产都是潜在的视觉刺激，所有声音资产都是潜在的听觉刺激。可能还有其他形式的输入，包括但不限于味觉、嗅觉、触觉、以及生理输入-心率、脉搏、基础体温、以及位置数据-加速度计、视觉-运动-肢体运动、陀螺仪-头部运动/身体运动-方向、力量和时间。突然或逐渐出现或消失、运动开始或偏移、播放或暂停或这些元素的状态的其他变化将决定它们的具体时间戳。定义这些刺激事件类可能需要应用程序开发人员与SDE协作，并且可能包括图像/音频处理和分析代码的特定开发。
一般和/或派生刺激事件是那些在所有应用程序中可能是通用的刺激事件。这些可以包括从视频(例如头戴式摄像机)得到的传入事件或者场景记录的音频数据，而不是直接来自应用程序(它本身将提供这些事件的更准确的记录)。装置具体但不是特定于应用的事件也可以被分类。同样地，对所有应用程序执行的校准和其他活动可以被认为是一般的(尽管可能仍然能够被应用程序分类以便使用)。
在收集和分析大量数据之后，一些刺激事件可能不明显。可以检测和调查趋势，其中创建新的刺激事件类以解释用户之间的响应模式。另外，可以执行描述性和预测性分析，以便根据趋势/模式促进刺激/内容的实时交换，从而个性化用户体验。
“响应”可以被分类为一个或多个事件，通常是传出的，由用户形成离散动作或动作模式，可能响应于感知的刺激(真实的或想象的)。响应可以进一步包括通过电生理学和/或自主监测传感器测量的生理状态的任何变化。回应可能不一定是有意识的或自愿的，尽管他们将尽可能被识别为有意识/无意识和自愿/非自愿。响应事件类可以包括离散响应、时间锁定平均响应、时间导数响应和/或导出响应事件。
“离散响应”表示与意志用户行为相关的最常见响应事件，并且在时间上是离散的，具有明确的开始和结束(通常持续在几秒或几毫秒的数量级)。其中包括鼠标或触摸屏输入、发声、扫视和追踪眼球运动、眨眼(自愿或不自愿)、头部或其他身体部位运动和电生理检测到的肌肉运动。
由于某些数据记录的噪声特性，特别是电生理记录，很难检查对个体刺激事件的响应。时间锁定平均响应是指响应特定刺激事件的模式，其可以通过平均从许多刺激响应事件中提取。将特定刺激的每次呈现后立即的一段时间(通常为秒级)的数据放在一边，然后在许多“试验”中取平均值，以便数据中的噪声(可能是随机的随机性)抵消了自身，留下了可以测量其特征的平均响应。
时间导数响应反映出一些反应，特别是自主反应，随着时间的推移变化缓慢；有时太慢，无法与离散的刺激事件相关联。然而，在某些时间段内的平均值、变化速度或速度加速度(以及其他衍生测量值)可以与其他测量状态(传入或传出)相关联。
与刺激事件一样，在收集数据之前，某些响应事件可能不明显，但随着时间的推移会显现出来。无论是通过人工或机器引导分析，数据中都可能出现一些特征响应，因此可称为推断响应事件。
只要有可能，响应将与(可能)引发它们的刺激配对。一些应用可以在数据流中明确表示刺激和响应是如何配对的(如心理物理实验中的情况)。对于一般情况，刺激事件类将在呈现之后立即给定一段时间，在此期间可以合理地做出响应。在该时间范围内发生的任何响应可以与刺激配对。如果没有响应发生，那么将假设用户没有响应该刺激事件。同样地，响应事件将在动作之前的一段时间内被给予，在此期间刺激可能已经引起它。可以检查刺激之后和响应之前的时间窗口，以帮助发现之前未设想的新刺激和响应事件类别。
刺激和响应事件类可以通过其特征(参数、值、类别等)来定义和区分。事件类的某些功能可用于在数据中建立组或类别。某些功能可能(也)用于计算各种指标。功能本质上可以是数字、保存特定于事件类或事件的单个实例的特定值。根据分析，特征可以是分类的，保持命名的身份用于分组或可能稍后转换为数字表示。
刺激事件的特征可能主要构成刺激的物理描述。这些特征中的一些可以定义刺激的事件类别，而其他特征可以描述刺激的特定发生(例如，时间戳)。命名的刺激身份(例如精灵文件名)和状态信息(例如方位或姿势)是刺激特征。图像的像素组成或声音的波形可用于生成刺激的无数不同描述特征。一些刺激特征可能需要通过数据分析来发现，就像一些刺激事件类本身可能从分析中出现一样。
响应特征通常可以包括所作出的响应的类型或类别、位置信息(例如，鼠标点击发生的位置或者扫视起源/着陆的位置、触摸、凝视、固定、头部转动、身体转向、头部方向和速度、或身体/肢体运动)和时间信息。某些派生特征可能来自检查对其做出响应的刺激，例如：响应是“正确”还是“不正确”。
图3示出了数字数据源的概述300。在实施例中，可以从提供视觉信息307、听觉信息308、空间信息310或其他环境测量状态的源收集传入数据304、包括但不限于温度、压力和湿度。传入数据源304可以包括意图由用户302感知的事件。用户302可以是根据本发明的各种实施例与VR/AR/MxR***接口的用户。
可以为多个人收集传入和传出数据，并且该传入和传出数据与对应于多个人中的每个人的简档的人口统计数据相关，其中人口统计数据至少包括多个人中的每个人的性别和年龄。一旦创建了这样的数据库，就可以通过使该服务的媒体内容对目标群体的视网膜-皮质-皮质通路产生更大的影响来创建可视内容、电子广告和其他个性化服务，这些服务针对具有至少一个特定人口统计属性的一群人。
传入数据
传入(刺激)事件可以是在提供给VE中的用户302的显示器上发生的任何事件、来自扬声器或头部/耳机的事件、或者由app生成的触觉输入。数据还可以由环境传感器收集，包括但不限于头戴式摄像机和麦克风，旨在保持用户302可能已经看到、听到或感觉到但不是由应用本身生成的事物的记录。传入数据304可以是刺激的形式，其可以被分解为用于构建分析度量的原始组件(特征或特征集)。
在实施例中，传入(刺激)事件与传出(响应)事件配对。在配对中，每个组件刺激特征可以与每个组件响应特征配对以进行分析。在一些情况下，还可以检查成对的刺激特征或响应特征对的相关性或依赖性。刺激/响应特征对是要生成的大多数可想到的度量的根源。在根据可用的各种其他事件特征进行分组和过滤之前，所有分析可以由这些特征对细分。在实施例中，对于包括传入304和传出306数据源的所有数据源，需要定时信息来将输入与用户302的传感***相关联并从其输出。可以利用相关性来识别用户的特征度量或心理物理度量。例如，如果VR/AR/MxR***104记录在时间tS(刺激)在屏幕上绘制对象以及用户在时间tR(响应)按下特定键，则可以通过减去tR-tS来导出用户响应刺激所花费的时间。在备选实施例中，用户可以通过触摸或手势按压键或做出手势，或者与AR/VR/MxR环境交互。该示例将传入数据304和传出数据306相关联。
将两种类型的传入数据304相关联的示例可以是如果注视***指示用户的注视位置在指示用户正在跟踪移动物体的给定时间段内平滑地改变。然而，如果头部***也指示在相反方向上的平滑运动，同时，它还可以指示用户在移动他们的头部时正在跟踪静止物体。
将两种类型的传入数据304相关联的另一示例可以是如果视觉对象在时间t1出现，并且声音文件在时间t2播放。如果t1和t2之间的差异很小(或没有)，则可以将它们视为来自相同的来源。如果差异很大，则可能归因于不同的来源。
从累积的响应事件中获取的数据可用于描述行为模式。独立于刺激可能引起它们的响应模式可用于对用户的各种行为或生理状态进行分类。通过引发它们的刺激对反应进行分组可以提供感知功能的测量。在某些情况下，刺激事件的分析可能会提供有关应用程序本身或用户选择参与的体验的有用信息。分析可以包括以下参数：独特事件、描述性统计和/或心理测量功能。
唯一事件表示原始数据可能感兴趣的实例。一些不常见的刺激或反应事件可能无法提供平均机会，但由于其稀有性而引起关注。某些事件可能触发会话或感兴趣的时间段的结束(例如，用户未能完成任务并且必须重新开始)或发出某些交互阶段的开始。
描述性统计提供了汇总的指标。因此，如果事件或刺激/响应事件或特征配对的多次出现可以通过某种共性来分组，则可以估计集中趋势(例如，平均值)和可变性(例如标准偏差)的度量。这些汇总的指标可以实现对原始数据的行为的更细致和简洁的描述。可能需要一些最低水平的数据累积才能合理准确。
心理测量功能可以形成感知灵敏度和能力测量的基础。每当重复显示特定类别的刺激事件时，至少一个特征在呈现之间变化，则有机会将用户的响应模式映射到该刺激特征(假设响应也变化)。例如，如果游戏中特定对象的大小(刺激特征)变化，并且有时用户找到它并且有时他们没有(响应特征)，那么用户找到该对象的概率可以作为其大小的函数绘制。这可以针对单个刺激/响应事件配对的多个刺激/响应特征对或者针对碰巧具有相同特征配对(例如，大小/检测)的许多不同刺激/响应事件对来完成。当针对刺激特征(大小、对比度、持续时间、速度等)绘制的响应特征(检测、辨别、偏好等)可用于多个刺激水平的平均响应时、该数据的函数(例如，检测对尺寸)可以安装。描述该函数的变量本身可以描述行为。可以定义阈值，其中一方是失败而另一方是成功，或者在一方选择A和另一方选择B等。
视觉数据
返回参照图3，在一个实施例中，对于应用，来自物理显示器和视觉环境的视觉信息数据307是由一个或多个相机捕获的静止图像文件和/或视频文件的形式。在一个实施例中，数据是用于绘制特定刺激或场景的指令的形式(需要的数据量少得多，需要一些额外的渲染时间)。
图4A是示出根据本发明的实施例的视觉数据的特征度量的框图400。特征度量可以表征用户会话并且可以是时间平均的。参考图4A，范围402可以指代视觉数据是用于整个场景(整个视觉显示还是来自用户头戴式摄像机的整个图像)。物理属性404可以指场景或其内的对象的客观测量。它们可包括相对于视网膜、头部和身体的位置、正交的3-D色度；和对比度与空间频率与方向的对比。分类属性406可以被命名为图像的属性，其可以包括对象的命名标识和/或组标识。
视觉刺激通常可以作为由应用程序生成的数字真彩色图像(24位)(由app直接提供的图像数据)或从记录的视频(例如来自头戴式摄像机)获取。图像和视频可以以有损方式压缩；其中数据的加权平均可以解释有损压缩，但是否则图像处理将继续相同。开发者可以选择提供关于刺激的呈现的信息，其可以允许跳过一些图像处理步骤和/或允许用于分析的场景的事后渲染。视觉刺激可包括但不限于以下组件：对象、大小、色度距离、亮度对比度、色度对比度、空间特征提取、显着性图和/或时间动态。
可以通过来自应用程序本身的信息或通过机器学习(类Haar特征分类级联或类似)找到对象(刺激)在图像(或视频帧)中。一旦被识别，属于对象本身的像素(或在对应于以对象为中心的已知大小的边界区域内)将被标记为“对象”。物体周围环境中的像素(必然在图像/场景本身的边界内)与物体的宽度/高度相同(即物体宽度为3倍，物体高度为3倍，不包括包括物体的中心区域)，将被标记为“环绕声”。如果存在与环绕的相同精确区域的另一图像，但是没有对象存在(因此示出了对象的“后面”)，则没有对象的整个区域可以被标记为“背景”。可以在可能的情况下相对于环绕并且还相对于背景计算度量。对象段或部分可用于将对象分解为其他对象，也可用于标识或类别变量。对象不需要对应于物理对象，并且可以包括场景内的区域或边界或者包括单个图像特征(例如边缘)。
对象大小是用于确定敏锐度的重要特征，或者是从已知敏锐度预测用户是否将检测或正确识别对象的重要特征。可以将对象大小定义为宽度和高度，或者基于对象中像素位置之间的最长水平和垂直距离，或者定义为定义对象位置的矩形边界框的宽度和高度。成功检测对象或将对象与其他对象区分开来可能需要的较小特征可以位于对象内。可以假设对象中的最小特征是其两个维度(宽度和高度)中较小者的10％。还可以假设，对于给定的观看距离，最小特征尺寸与显示器上的像素的尺寸成比例。通过分析图像的傅里叶变换或检查在对象上训练的类似Harr的特征分类级联(或类似的基于机器学习的对象检测)的关键特征，可以更明确地找到最小的特征尺寸。
按颜色划分的两个中的第一个，色度距离是对象与其环绕/背景之间的色差的度量，与任何亮度差异无关。红色、绿色和蓝色值可以在对象的所有像素和环绕/背景的所有像素上独立地平均。这些平均RGB值将转换为CIE三刺激值(X、Y和Z)，然后使用标准转换常数或特定于所用显示器的常数(如果可用)转换为CIE色度(x和y)。在一个实施例中，从RGB到XYZ的转换的转换常数，取自基于标准主要色度的OpenCV函数“cvtColor”、D65处的白点和最大白色亮度1，是：
在该实施例中，使用以下内容将RGB转换为xy：
物体的色度与环绕/背景的色度之间的绝对距离将被记录为色度距离。接下来，将从两个色度之间的中点和L、M和S锥体的三个共同点中的每一个绘制线。这些线是L、M和S锥体缺陷的混淆线，缺少其中一种锥体类型的人将无法区分色度。平行于这三条混淆线中的每一条的物体和环绕/背景色度之间的线的分量将被记录为L、M和S特定的色度距离。
图4B提供了根据本发明的实施例的颜色对混淆组件的图形表示。参考该图，在给定的两个色度之间绘制线1308。如图所示，三个大点-红色410、绿色412和蓝色414分别是L、M和S锥体的共同点。从每个点延伸出类似颜色编码的虚线。粗线416具有三条虚线相交的中点。基于线416与从中点到每个共同点的线绘制的线之间的角度，确定三条所得混淆线中的每一条的该线的平行分量。在实施例中，颜色之间的平行线越接近特定的混淆线，对于缺乏相应锥体的人来说就越难以辨别。组件长度除以总长度(商将在区间[0、1]中)将大致是颜色混淆的概率。
图4C示出了说明如何针对投射到3D色度空间中的显示色域的顶表面上的给定色度找到亮度的曲线图。该图显示了计算机屏幕的完整显示色域到CIE 1931色度空间的投影。虽然用于定义显示器上的像素颜色的RGB空间可以由完美的立方体表示，但是亮度的实际物理特性在某种程度上复杂地从这些值导出，由图6中所示的形状表示。可以有三种方式定义亮度对比度。通常，分析的上下文将建议三者中的哪一个使用，但是可以针对任何对象及其环绕/背景计算所有三个。对于在大的、均匀的背景上存在小物体的情况(例如，对于文本刺激)，可以使用根据物体的平均RGB和环绕/背景计算的CIE三刺激值Y(对应于亮度)来计算韦伯对比度。这里假设平均亮度大致等于环绕亮度。韦伯对比可以是正面的，也可以是负面的，理论上是无界限的。对于本质上是周期性的物体/周围环境，尤其是具有梯度的物体/环境(例如正弦波光栅)，可以根据刺激中的最小和最大亮度值来计算迈克尔逊对比度。迈克尔逊对比度总是介于0和1之间。对于大多数情况，有必要计算所有像素值的对比度，而不是平均值或最小值和最大值。通过取所有像素的CIE三刺激值Y的标准偏差，可以找到RMS对比度(均方根或标准偏差)。物体的RMS对比度是一种衡量标准。物体相对于环绕/背景的RMS对比度的RMS对比度是另一个。最后，物体和环绕声的RMS对比度仍然是可以使用的RMS对比度的第三个度量。
可以以上面针对亮度对比度描述的所有方式独立地计算任何一对色度值的色彩对比度。其中最有用的将是CIELAB颜色空间的a*和b*分量，或锥形-对立颜色空间的L对M和S对LM分量。对于任何尺寸对，可以计算韦伯、迈克尔逊和/或RMS对比度，这取决于被分析的刺激的类型。此外，将针对L、M和S锥体缺陷计算RMS对比度。所有像素的CIE色度值将被转换为以L、M和S共聚点为中心的三组极坐标。在一个实施例中，使用以下等式将笛卡尔坐标转换为极坐标，并提供提供除[0、0]之外的中心点的选项：
可以基于每次转换的半径坐标来计算RMS对比度。
除了查找对象之外，算法还可以识别场景中或对象内存在的可以捕获注意力的突出特征，对于用户正在执行的任务或者作为与行为相关联的独立变量感兴趣。边缘，在识别的对象内部和其他方面，可以是固定或其他响应的目标，并且它们的位置可能导致在响应中观察到的位置错误并且值得与正确和不正确的响应相关联。可以从该数据中提取区域、轮廓、表面、反射、阴影和许多其他特征。
显着性图是指从用户交互中收集的数据，以通知显着性模型，以便将来分析刺激场景。可以使用边缘，轮廓和其他图像特征来测量显着性并预测用户响应(包括眼睛凝视固定)可能下降的位置。可以应用多种算法来突出场景中的不同类型的特征。
时间动态也很重要，因为视觉显示或环境的特征及其任何对象和对象特征可能随时间而改变。记录任何变化的时间非常重要，特别是：出现/消失或物体或特征的亮度/对比度变化、运动开始/停止或突然的位置变化(在x、y、z平面中)、速度变化(或加速度或位置的任何更高阶时间导数)以及对象或特征的状态或身份的任何和所有变化。还应记录对象或特征的色度或亮度的变化。还可以记录由于对象的方向或姿势的改变或对象相对于环绕/背景的位置而导致的外观的二次改变。
听觉数据
返回参考图3，可以通过使用麦克风从诸如扬声器的音频输出和环境接收听觉信息308。在一个实施例中，听觉信息308可以以原始波形文件或更具描述性的术语(例如，此时播放的该音频文件)获得。
图5示出了根据本发明的实施例的听觉信息308(图3中示出)的特征度量500。参考图5，可以注意位置参考502以识别声音的位置。相对于用户头部，环境中的对象或说话者的位置将随着他们移动头部而变化。通过耳机感知的虚拟源的位置可能不会随着用户转头而改变(除非头部跟踪和声音处理一起工作以模仿这些改变)。
声音的物理属性504可以包括它们的位置(从耳朵之间的强度、定时和频率差异导出)、频率组成(从波形导出)和不同源的组成。分类属性506可以被命名为图像的属性，其可以包括对象的命名标识和/或组标识，并且可以遵循与视觉刺激类似的描述。
听觉(声音)刺激通常可以被视为数字波形(具有变化的空间和时间分辨率或比特率和可能的压缩)，或者由应用产生或者从记录的音频(例如头戴式麦克风、优选双耳)获取。可以记录压缩参数(如果有的话)。开发人员可以选择提供有关刺激表示的信息，这可能允许跳过某些处理。可以使用视觉信息来模拟音频环境，从而可以考虑声音反射或遮蔽。可以分解音频刺激以包括以下参数：分解、头部中心位置、声音环境和/或对象。
可以执行分解以基于声音对象将声波分解成分量。可以将时域波形数据变换到频域，使得可以分析不同音频频率随时间的幅度和相位。这将允许利用声音参数(例如频率、幅度、波长、形状和包络、音色、相位等)作为独立变量。
头部中心位置或头部跟踪数据可能是环境声音所必需的。可以导出声源相对于用户耳朵的位置，并且可以在可能的情况下记录用户耳朵处存在的声音波形(理想地，来自双耳头戴式麦克风)。双耳耳机声源(例如耳麦/耳机)可以消除对此的必要性。
类似地，对于环境声音可能需要跟踪身体和/或肢体的数据。可以导出声源相对于用户的身体和肢体的位置。该数据可以与针对环境声音识别的头部跟踪数据相关。该数据可以使人们能够理解身体和肢体如何与头部的运动作出反应。
声音环境在大多数常见用例中并不重要(例如声音来自耳机或直接来自用户前方)，但对于考虑用户预期会响应的环境声音非常重要。环境中反射和/或阻挡声音的物体(通常是频率特定的)可以改变声音的视在源位置和其他频率相关特征。粗略地表征物理环境可能是有用的，因为它影响声音从其源传播到用户的传播。
可以使用用于检测和分割视觉对象的相同类型的机器学习算法(类Haar特征分类级联或类似)来检测和分割音频对象。应该尽可能地使用它来获得准确的音频事件细节，并且还可以用于提取听觉***用于本地化的音频参数。
大多数分析可能围绕视觉和(在较小程度上)在时间上离散地发生的听觉刺激。其他刺激可以包括以其他形式(例如，触摸、味觉、嗅觉等)感测的那些刺激或者定义用户与应用的交互的上下文(例如环境照明和背景音频)的一般环境状态变量。
其他刺激的例子可能包括以下内容：
触觉刺激，开发者可以选择使用触觉反馈机制，如果他们愿意，可以提供有关这些事件的性质和时间的详细信息。触觉刺激也可以通过直接记录(不太可能)或从其他来源获得(例如通过麦克风听到物理振动的嗡嗡声)。
其他模态刺激，开发人员可以在离散时间启动气味、味道、温度、压力、疼痛或其他感觉，从而产生尚未讨论的刺激事件。与触觉刺激一样，任何此类刺激的记录最好通过函数调用直接来自应用程序本身。
环境刺激或不是在时间上离散地发生并且是恒定状态或稳定重复的刺激可以为在会话中发生的离散刺激和响应提供重要的背景。环境光水平可能影响对比敏感度、基线瞳孔大小、昼夜节律模式和用户的其他生理状态。环境声音可能影响听觉灵敏度，可能掩盖某些听觉刺激并且还影响用户的生理和其他状态。一天中的时间也可能是分类和相关的重要变量。虽然应用程序可能不容易记录，但用户输入可以提供有关睡眠模式、饮食和其他生理相关状态变量的信息以及空间的分类描述，包括温度、压力、湿度(也可能来自位置和其他服务))。
空间信息
返回参考图3，在一个实施例中，空间信息310可以包括围绕用户302的设置的描述。这可以包括用户302的空间定向和用户302周围的物理空间。
在一个实施例中，设置是用户302和app之间发生交互的环境。设置数据可以指在会话期间主要是静态的事物，包括物理设置、环境光水平、室温和其他类型的设置信息。在实施例中，空间信息310是设置数据的一部分。设置数据在整个与用户302的会话中通常可以是恒定的，因此可以不分解为如前所述的“事件”。设置数据可以涉及物理设置或者可以涉及用户302的个人详细信息。
物理设置数据可以对应于物理空间的任何描述，例如但不限于房间或室外设置，并且可以用于分类或过滤数据。在示例性实施例中，诸如存在的环境照明的物理设置数据可以直接影响瞳孔大小、对比敏感度等的测量。照明可能影响视频眼睛跟踪的质量，以及从场景的视频记录得到的任何传入事件。同样，环境声音可能会影响用户的敏感度以及表征来自录音的传入事件的能力。
用户的个人详细信息可以涉及关于用户的任何个人的，主要是人口统计的数据或关于他们当前的生理或感知状态的信息(在整个会话期间将基本保持不变的那些)。此数据也可用于分类和过滤。个人详细信息可以包括关于用户眼睛的光学的任何信息(例如，从用户的眼镜或接触处方的知识得到的信息)。个人详细信息还可以包括与饮食有关的信息，例如最近的用餐历史。此外，最近睡眠时间的时间、持续时间和质量、最近摄入的任何精神活性物质(例如咖啡因)和最近的运动或其他身体活动都可能影响整体数据。
传出数据
眼动追踪
视频眼动追踪和电子照相仪提供有关眼球运动、注视方向、闪烁和瞳孔大小的信息。源自这些是聚散度、疲劳、唤醒、厌恶和关于视觉搜索行为的信息的度量。与眼球运动有关的信息包括启动、持续时间和扫描运动的类型(朝向目标)、反扫视运动(朝向未预期的目标)、反扫视错误的数量(从预期到非预期目标的时间和方向)、平滑追踪、凝视与固定持续时间、瞳孔在运动期间和固定期间的变化、眨眼率的频率和速度、以及眼球运动的频率和速度。关于聚散度的信息可以包括共聚散度和离散聚散度-就起始和持续时间而言。结合关于视觉场景的信息，可以进行准确度、搜索时间和效率的测量(例如，最小化搜索中的扫视的数量)。
从视频眼睛跟踪数据导出的自主测量可以用于指导针对那些增加或减少唤醒和/或厌恶的刺激选择。关于注视位置的摘要信息可以表示兴趣或参与，并且同样可以用于指导刺激选择。
参考图3，传出数据源306可以包括视频眼睛跟踪数据312。数据312可以测量注视方向、瞳孔大小、闪烁以及可以使用视频眼动仪(VET)或眼电图测量的与用户302眼相关的任何其他数据。这也在图6中示出，图6示出了根据本发明的示例性实施例的用于眼睛跟踪的特征度量600。视频眼睛跟踪602通常涉及记录用户眼睛的图像并使用图像处理来识别瞳孔和已知光源(通常是红外线)的特定反射，从中可以导出瞳孔大小和注视方向的测量值。角度分辨率(眼睛注视方向)和时间分辨率(每秒帧数)可能限制某些测量的可用性。一些措施可能被记录为离散事件，而其他一些措施则随着时间的推移而被记录，用于分析时间的趋势和统计数据。
注视方向
通常配备有眼睛跟踪硬件的软件可以提供与用于校准的显示器相关联的坐标中的注视方向的校准估计。可能/有必要单独执行某些转换。对于具有外部视图相机的头戴式单元，注视位置可以是头部中心坐标或相对于环境中的特定对象(可能提供的参考对象)的坐标。假设以每秒样本的某种速率提供注视方向。以下大多数指标将来自这个注视方向数据流：扫视方向、追踪、聚散度、模式和/或微程序。
扫视：由凝视的快速变化(在几毫秒内)分开的长时间相对固定的注视方向可被记录为“固定”并且其间的跳跃被记录为“扫视”。固定将记录位置、开始和结束时间和持续时间。在某些情况下，它们也可以被评定为稳定性(固定期间注视方向的可变性)。扫视将以其方向(角度)、速度和距离而闻名。值得注意的是，通常会假设，当视觉信息未被(完全)处理时，在扫视期间存在一段皮质抑制。开发人员可以利用这种扫视抑制来改变显示，而不会在显示元素之间产生运动、外观或消失的感知。
追踪：追求眼球运动的特点是注视方向的平滑变化，比典型的扫视慢(并且没有皮质抑制视觉处理)。这些平滑的眼睛运动通常发生在眼睛追踪/追踪相对于头部朝向的物体移动时，当头部移动或移动物体同时头部也移动时静止物体。身体或参考框架运动还可以生成追踪眼球运动以跟踪物体。基于不可见或模糊目标的预期位置，在没有视觉刺激的情况下可以发生追踪。
聚散度：这种测量可能需要同时为两只眼睛注视方向数据的相对精细的分辨率，以便眼睛之间的注视方向的差异可用于确定凝视的深度坐标。聚散度与物体在用户方面的距离有关，用于测量共聚散度近点与距离无限远之间的物体-所有这些都可以基于共聚散度和离散聚散度之间的聚散度测量来建模。
模式：可以从眼睛注视方向数据的机器学习分析导出的眼睛运动的重复模式可以用于表征响应事件、用户交互状态或者测量适应、训练或学习的效果。值得注意的是在视觉搜索目标期间的模式或者在完成任务时自由观看场景(例如，学习场景细节以便稍后在存储器任务中识别)。眼睛运动模式也可以用于生成用于创建场景的显着性图的模型，从而引导图像处理。
微扫视：通过相对敏感的方向和时间分辨率，可以测量和表征微观活动。微固定剂通常在固定期间存在，并且在刚性或长期固定期间特别令人感兴趣。对显示***的反馈可以允许创建在视网膜上保持静止的图像，从而导致Troxler衰落。微扫视不受意识控制或意识。
关于可以在一段时间内回答的眼睛跟踪指标的示例问题可以包括：用户看起来最多(可能响应于重复事件)、扫视眼球移动的速度和准确度、用户找到目标、用户正确识别目标的速度有多快、追踪/跟踪的准确程度、是否存在对某些区域/刺激的偏好。
在自由观察或搜索期间，眼跳之间的固定(相对稳定的眼睛注视方向)通常持续200-300毫秒的量级。扫视具有快速加速的速度，高达每秒500度，最终以快速减速结束。追踪眼球运动是为了稳定地固定在运动物体上，无论是物体运动还是头部运动相对于物体或两者。聚散度眼球运动用于将眼睛聚集在一起，以聚焦在近处的物体上。前庭眼运动是源自头部和/或身体运动的补偿性眼球运动。
参考题为“A Non-Invasive Method for Assessing and Monitoring Brain”的WO2015003097A1，其与本发明至少有部分共同发明人。在一个例子中，执行前扫视眼睛跟踪测试。前扫视测试测量个人将他或她的视线从静止物体移向闪光目标所需的时间量。前扫视眼追踪测试可以按照如The Antisaccade:A Review of Basic Research and ClinicalStudies，by S.Everling and B.Fischer，Neuropsychologia Volume 36，Issue 9，1September 1998，pages 885-899("Everling")中的描述进行。
可以在向个体呈现标准化的一组视觉刺激的同时执行前扫视测试。在一些实施方案中，可以用相同或不同的刺激多次进行前扫视测试以获得平均结果。前扫视测试的结果可包括例如前扫视反应时间。前扫视反应时间是自愿扫视开始的潜伏期，正常值在大约200-250毫秒之间。前扫视反应时间可进一步细分为：快前扫视：80-134ms；快速常规：135-175毫秒；慢速常规：180-399毫秒；和晚：(400-699毫秒)。
类似地，可以执行反扫视眼睛跟踪测试。反扫视测试测量个体将他或她的视线从静止物体移开远离闪光目标朝向期望焦点所需的时间量。例如，可以如Everling中所述进行反扫视眼跟踪测试。在一些示例中，反扫视测试还可以测量错误时间和/或错误距离；也就是说，眼睛向错误方向移动的时间或距离(朝向闪光目标)。可以使用标准化的视觉刺激组来执行反扫视测试。反扫视试验的结果可包括，例如，如上所述的前扫视试验的平均反应时间，典型的平均反应时间落在约190至270毫秒的范围内。其他结果可包括眼睛运动的初始方向、最终眼睛静止位置、到最终静止位置的时间、初始中心凹距离(即，中央凹在闪光目标的方向上移动的距离)、最终的中央凹静止位置和最终的中心凹距离(即，中央凹在所需焦点方向上移动多远)。
此外，可以执行平滑追踪测试。平滑追踪测试评估个人平稳跟踪移动视觉刺激的能力。平滑追踪测试可以通过要求个人在目标移动穿过屏幕时可视地跟踪目标来进行。平滑追踪测试可以使用标准化的视觉刺激组来执行，并且可以用相同或不同的刺激进行多次以获得平均结果。在一些实施方案中，平滑追踪测试可以包括基于淡入、淡出视觉刺激的使用的测试，其中当个体跟踪目标时，目标淡入并淡出。在平滑追踪测试期间收集的数据可以包括，例如，初始响应等待时间和在目标跟踪期间沿着运动方向捕获中央凹位置的多个样本。可以将每个采样的中央凹位置同时与目标中心的位置进行比较，以产生每个样本的误差值。
对于更灵敏的跟踪硬件，也可以测量眼球震颤(眼睛的恒定震颤)、漂移(由于不完美的控制)和微型级(漂移的校正)。这些也会对注视位置的总测量值产生噪声；因此，固定的特征通常在于相对稳定的注视位置测量范围内的平均位置。或者，可以设置注视速度阈值(度/秒)，低于该阈值时，任何小的移动都被认为是在固定内。
在例如引起扫视的视觉刺激的开始之后，扫视需要时间来计划和执行，并且典型的延迟或潜伏期至少为150ms。关于扫视之前的潜伏期和可能延长或缩短它们的各种情境，可以说很多。关于眼睛运动和视觉场景中发生的事件的相对时间，我们获得的信息越准确，我们就越多可以说刺激参数对扫视的影响。
虽然通常是相关的，但注意力和眼睛注视的变化不一定必须一起发生。在一些情况下，用户将注意力引导到其视觉***中的点可能是有效的，例如在观察另一个位置的同时监视一个位置。这些方案可用于生成与视野和多跟踪相关的度量。
可以使用图像处理技术基于视觉***的模型突出显着更高显着性的场景内的区域。例如，具有更高高空间频率对比度的区域(即边缘和线条)倾向于捕获注意力和固定。在特定的上下文中，可以使用眼睛注视方向来基于视觉场景中可用的信息以及观察者可能参与的任何任务来开发自定义显着性图。此工具可用于突出显示感兴趣的区域或更大的参与度。
瞳孔大小
可以测量瞳孔大小作为导出注视方向所必需的图像处理的一部分。瞳孔大小通常可以响应于光水平而改变，并且还响应于通过自主过程的某些刺激事件而改变。瞳孔的反应不受意识控制或意识的影响(其次是在极端光照变化的情况下)。关于可以在一段时间内回答的眼睛跟踪度量的示例问题可以包括：瞳孔如何响应不同的刺激、瞳孔如何随着时间的推移而表现。
瞳孔直径通常分别在极光和黑暗中落在2到8毫米之间。瞳孔扩张和收缩以响应各种内部和外部刺激。由于基线瞳孔直径的差异，观察者之间以及由于环境照明和生理状态，瞳孔响应通常可以测量为从基线的变化比例。例如，基线瞳孔直径可以是外部刺激事件时刻的直径(图像出现)，并且响应通过刺激事件后1秒内瞳孔扩张或收缩的程度来测量。眼睛的颜色可能会影响收缩的程度，而年龄也可能是一个因素。
除了响应光线、适应距离和其他空间和运动提示，瞳孔直径通常会受到认知负荷、某些图像和阅读的调节。可以在终止视觉搜索期间或在终止视觉搜索时调制瞳孔直径。比例变化的范围可以从几个百分点到几十个百分点。
用于计算确定是否已做出响应的阈值将根据上下文和所使用的硬件的灵敏度而变化。环境照明的变化和/或显示器的平均亮度也会对瞳孔直径和比例变化产生很大影响，因此阈值需要具有适应性，并且可能由数据本身(例如，扩张事件的阈值本身是一个用户在会话中记录的瞳孔直径值范围的百分比)决定。
再次参考标题为“A Non-Invasive Method for Assessing and MonitoringBrain”的WO2015003097A1，其与本发明至少有部分共同发明人。在一个例子中，评估瞳孔反应。通常通过将明亮的光照射到个体的眼睛并评估反应来评估瞳孔反应。在现场设置中，在难以控制照明的情况下，可以使用标准化的一组照片评估瞳孔响应，例如国际情感图像***(IAPS)标准。已经确定这些照片引起可预测的觉醒模式，包括瞳孔扩张。可以使用各种刺激来执行瞳孔反应测试，例如改变光照条件(包括在个人眼睛中照射光)，或者呈现照片、视频或其他类型的视觉数据。在一些实施方案中，可以用相同或不同的刺激进行多次瞳孔测试以获得平均结果。可以通过初始读取个体的瞳孔直径、瞳孔高度和/或瞳孔宽度来进行瞳孔反应测试，然后向个体呈现视觉刺激以引起瞳孔反应。测量瞳孔扩张的变化(例如，直径、高度、宽度和/或基于这些测量中的一些或全部计算的面积的变化)和扩张所需的时间。瞳孔反应测试的结果可包括，例如，一组扩张(瞳孔散大)结果和一组收缩(瞳孔缩小)结果，其中每组可包括幅度、速度(扩张/收缩的速度)、瞳孔直径、瞳孔高度、瞳孔宽度和响应开始的延迟。
眨眼
视频眼动仪以及用户的面部/眼睛区域的不太专业的视频成像可以检测快速或长时间的眼睛闭合。可以采取预防措施，因为获取的丢失也可能是导致数据丢失的原因。可以记录与疲劳或刺激的测量相关的随时间的眨眼事件、有意识的或反身的和眨眼率。关于眼睛跟踪度量的示例问题在图6中提及。在实施例中，这些是可以在一段时间内回答的问题，并且可以包括：用户是否响应于刺激的开始而眨眼、眨眼率是否响应于响应对刺激、总体上是眨眼率变化、眨眼率是否表明疲劳。
成人之间的正常眨眼率在休息时每分钟大约10次眨眼，并且在集中注意力(例如阅读)期间通常降低至每分钟约3次眨眼。眨眼的其他特性，例如眼睑运动的距离/速度和眨眼内各个阶段的持续时间，与非视觉任务中的错误率(例如，使用听觉刺激辨别)和其他措施相关联；只要有可能，使用视频记录来详细分析眼睑位置(即自动眼睑跟踪)可能是有利的。超过150毫秒的眨眼持续时间可被视为长持续时间眨眼。
与大多数测量一样，从基线开始的比例变化可能比眨眼频率或平均持续时间的绝对测量值更有价值。通常，可以基于统计测量来指定显着性，意味着如果其大于测量的一般可变性(例如，使用t检验估计)，则任何偏差都是显着的。
手动输入
返回参考图3，另一个传出数据源306可以是手动输入314。这是传统的计算机交互工具，并且可以以多种形式获得。感兴趣的示例性手动输入314包括输入身份(按下按键)、任何其他手势、触摸屏上或鼠标上的位置坐标(x、y、z)、和/或手或其他肢体的(视频)跟踪。图7示出了根据本发明的实施例的用于手动输入702的特征度量700。
关于可以在一段时间内回答的手动输入指标的示例问题可以包括：用户点击/触摸最多的位置(可能响应于重复事件)、点击/触摸的速度和准确度、用户寻找目标、用户是否正确识别目标的速度、跟踪准确程度、是否有某些区域/刺激的偏好、用户制作什么样的抓握/触摸动作、手/眼协调如何、是否存在对虚拟刺激的反身动作。
用手指、手和/或手臂、腿或用户身体的任何其他部分做出的响应通常可以产生定时、位置、轨迹、压力和分类数据。这些响应可能在时间上是离散的，但是也可以从手动数据中提取一些持续或状态变量。以下分析响应度量可以从手动响应导出：类别、身份、时间、位置和/或轨迹。
类别：除了点击、触摸、拖动、滑动和滚动等类别之外，还可能有子类别，如双击、点按或按下、多指输入等。通过应用程序可检测的类别区分一个操作与另一个操作的任何变量对于区分响应可能很重要(并且可能会被开发人员用于此目的)。
身份：每当存在针对相同类型的响应事件的多个输入模态时，最明显的是计算机键盘上的键，或者在VR/AR/MxR环境中可能的任何其他手势，可以记录输入的身份。这还包括方向键盘上指示的方向、点击的鼠标按钮、以及可能的触摸板触摸区域(独立于光标位置)或任何其他手势。
定时：可以记录所有响应的开始和结束时间(例如，按钮按下将记录按钮按下事件和按钮按下事件)，并且可以从该响应中导出持续时间。该定时信息对于将响应连接到引起它们的刺激并及时关联事件是关键。
位置：对于可视界面，位置可以是显示坐标。对于诸如点击之类的离散事件，位置可以是单数的，或者以一些合理的速率连续记录以用于跟踪、拖动等。当可能时，这些位置也可以转换为视网膜坐标(通过眼睛注视跟踪的组合)。通过理解位置，可以进行视网膜的形貌，并且视网膜的区域可以与其特定功能相关地进行映射，进一步与脑、身体、内分泌和自主***相关。对于通过视频/动作捕捉记录的手势，将记录以身体为中心的位置以及由用户控制的任何光标或其他对象的位置。
轨迹：对于滑动、滚动和其他动态手势，除了发生的任何明确的位置变化之外，还可以记录响应的轨迹(即，方向和速度作为矢量)。事实上，这可能来自对位置数据快速变化的分析，除非装置也为这些行动提供事件类型。
头部跟踪
头部跟踪测量主要与虚拟、增强和混合现实显示相关联。它们可以提供与显示的可视环境同步的度量，也可以提供用户对这些环境的反应。朝向或远离刺激定向，与所显示的视觉环境和其他运动行为一致的线性或不线性的补偿性运动可用于导出类似于眼睛跟踪的类似但不太精确的测量。那些与唤醒、疲劳和参与相关的衍生测量可以如前所述进行修改。
如果头部运动，特别是扫视头部运动被证明是用户不匹配和不适的来源，则可能需要修改显示器以减少这种头部运动的次数。将显示元件保持在靠近头部中心的区域内和/或鼓励朝向头部的较慢变化可以减少大的头部运动。关于个体差异：在同一场景中，一些用户会比其他用户更多地移动他们的头脑。有可能训练头部移动器以减少其移动。
返回参考图3，头部跟踪数据316可以是另一种形式的传出数据306源。头部跟踪数据316可以跟踪来自位于HMD、头戴式耳机或其他磨损装置上的视频跟踪(VET或其他)或位置传感器的用户302头部方向和物理位置。除了跟踪用户302的头部之外，还可以跟踪他们的身体。可以从可穿戴装置中的基于视频的运动捕捉或加速度计记录用户302的身体及其部分的位置。该位置数据通常用于编码手动响应数据(来自手指、手或手臂跟踪)和/或相对于环境的头部方向，以帮助进行眼睛注视测量和更新用户的视觉环境。头部位置数据还可以用于模拟头部阴影对来自环境的声音的影响。图8示出了根据本发明的实施例的用于头部跟踪的特征度量800，其可以包括头部朝向802和/或物理位置804。
关于可以在一段时间内回答的头部跟踪指标的示例问题可以包括：用户在哪里看起来最多(可能响应于重复事件)、头部移动的速度和准确度、追踪/跟踪的准确度、是否存在对某些区域/刺激的偏好、用户准确地协调头部和眼睛运动以引导凝视和/或跟踪物体、由于硬件而减少的头部运动、用户是否对硬件进行了许多调整、用户是否通过硬件可测量疲劳。
头部运动在虚拟、增强和混合现实的领域中可能特别重要，并且通常可以与眼睛运动相关，这取决于任务。伴随眼球运动的头部运动倾向存在很大的个体差异。在阅读等任务中，头部运动可以占移动凝视的5％至40％(与眼球运动相结合)。用户通常移动头部的程度可以证明是视觉和前庭感觉不匹配导致的疾病易感性的关键指标。
在这两种方式中，扫视和追击头部运动可能在质量上有所不同。例如，如果用户使用追踪运动从身体前方、从右侧90度到身体侧来跟踪物体，而不是从前向右自由地引导凝视，则不匹配可能不那么刺耳。如果追踪物体的速度相对稳定，那么通过大部分运动将不可察觉地不匹配。
返回参考图3，还可以通过麦克风跟踪用户302的语音响应。语音识别算法将从记录的声音中提取语义，并标记响应的时间(可能是单个单词或音节)。在不太复杂的场景中，声音响应的强度可能足以标记响应时间。在实施例中，语音和语音数据与若干其他形式的数据相关，例如但不限于头部跟踪、眼睛跟踪、手动输入，以便确定感知水平。
电生理学/自主记录
电生理和自主神经措施大部分落在有意识影响的范围之外，因此也就是表现。这些措施主要涉及唤醒状态，因此可用于指导刺激选择。这里为方便起见，感兴趣的措施来自脑电图仪(脑电图-特别是与唤醒状态相关的各种频带的活动)、皮肤电响应(GSR-也与唤醒和对情绪刺激的反应有关)、心率、呼吸频率、血氧和骨骼肌反应的潜在量度。
再次参考标题为“A Non-Invasive Method for Assessing and MonitoringBrain”的WO2015003097A1，其与本发明至少有部分共同发明人。在一个示例中，通过执行主动脑电波测试来评估脑电波活动。可以使用EEG(脑电图仪)设备和本领域已知的以下方法进行主动脑电波测试。可以在向个体呈现各种视觉刺激的同时执行主动脑电波测试。在一些实施方案中，进行主动脑电波测试，同时呈现适合于评估活动脑电波活动的标准化视觉刺激组。在一些实施方案中，可以使用相同或不同的视觉刺激多次进行主动脑电波测试，以获得平均结果。主动脑电波测试的结果可以包括例如α波、β波、δ波和θ波的时间和空间测量。在一些实施方案中，主动脑电波测试的结果可以包括两种类型的脑电波的比率；例如，结果可以包括α/θ波的比率。
类似地，可以执行被动脑波测试。可以使用EEG(脑电图仪)设备进行被动脑电波测试，以在个体闭眼时记录脑电波数据；即，在没有视觉刺激的情况下。被动波脑电波测试的结果可以包括例如α波、β波、δ波和θ波的时间和空间测量。在一些实施方案中，被动脑电波测试的结果可以包括两种类型的脑电波的比率；例如，结果可以包括α/θ波的比率。在一些实施方案中，可以多次进行被动脑波测试以获得平均结果。
在可能的情况下，并且依赖于电势和刺激显示器/扬声器的精确定时信息，可以通过重复试验产生时间平均响应。与视觉或听觉处理(事件相关电位、ERP)相关的特征波形可以以各种方式测量和操纵。由于这些不需要用户的意志行为，因此它们代表了较低级别，可以说是更纯粹的感知度量。
返回参考图3，电生理学数据318可以是另一个传出数据源306，其通常可以以大约kHz的速率记录的电压电势的形式获得。这可以包括放置在皮肤或其他暴露组织(特别是眼睛的角膜)上的电极之间的电压电位的任何和所有测量。大多数使用案例可能涉及非侵入性记录，但是可能会出现分析来自植入电极的数据的机会，这些电极被放置用于其他医学上有效的目的。通常可以以每秒数百或数千个样本的速率收集数据。分析可以关注对刺激事件的响应的时间锁定平均值以生成波形，或者关注随时间的数据的各种过滤表示，从中可以推断出各种活动状态。例如，脑电图(EEG)可用于从头皮/头部收集电极记录，以揭示脑的电活动和其他神经活动。记录可以集中在初级感觉处理、次级和后期感觉处理、认知处理或响应生成(运动处理、语言处理)的区域。电眼图(EOG)可以用于从眼睛附近收集电极记录以测量由于相对眼睛位置(注视方向)引起的场电势的变化，并且还可以测量视网膜功能和肌肉活动的特性。EOG可以提供低空间分辨率替代视频眼睛跟踪。视网膜电图(ERG)可用于从角膜(微创)收集电极记录以捕获来自视网膜的神经活动。与刺激的色彩和空间特性的相关性可以允许表征来自视网膜上的不同锥体类型和位置的响应(这也是通过EEG记录的视觉诱发电位的情况)。心电图(ECG)可用于收集对应于心脏功能的神经肌肉活动，并提供可能响应于刺激的自主状态的测量。神经肌肉电位的测量可以包括放置在任何地方的电极，以记录来自骨骼肌弯曲和/或身体和肢体运动(包括肌电图或EMG)的神经肌肉活动。皮肤电响应(GSR)的测量可以包括可以测量皮肤上的电位差的电极，这些电位差由于汗液和皮肤的其他状态变化而导致电导变化。这些变化是非自愿的，可能会揭示对刺激或情景的自主反应。
传出数据306的另一个来源可以是自主监测数据320，包括关于心率、呼吸速率、血液氧合、皮肤电导和来自用户302的其他自主(无意识)响应数据的信息，其形式类似于电生理学数据318的形式。压力传感器或其他传感器可以传递有关呼吸率的数据。脉搏血氧仪可以测量血液氧合。压力传感器或其他传感器也可以测量血压。任何和所有无意识的自主测量可以揭示对刺激或一般状态的响应以对其他数据进行分类。图9示出了根据本发明的实施例的用于电生理监测数据902和自主监测数据904的特征度量900。
关于可以在一段时间内回答的电生理学度量902和自主度量904的示例问题可以包括：对事件的时间平均响应的特征是什么、各种频带或其他派生状态如何随着时间或响应于刺激而改变。
用于收集数据的传感器可以是硬件106的一部分，如上面在图1A的上下文中描述的。一些传感器可以集成到HMD中(例如，用于脑电图仪、电子照相仪、视网膜电图仪、心血管监测、皮肤电响应等的传感器)。返回参考图3，一些数据可能需要在用户302的身体上的其他地方的传感器。非接触式传感器(甚至视频)可能能够监视一些电生理学数据318和自主监测数据320。在实施例中，这些传感器可以是智能服装和其他服装。可以将成像数据用于用户，对用户或他们的当前状态进行分类。功能成像还可以提供与对刺激的无意识反应有关的数据。成像模式包括X射线/计算机断层扫描(CT)、磁共振成像(MRI)、眼科成像、超声和脑磁图(MEG)。从成像得到的结构数据可用于定位电生理数据源(例如，组合结构、MRI脑电图和MEG数据中的一个或多个)。
度量标准可以分为可以从这些刺激/响应特征对推断的直接测量，以及可以从直接测量推断出的间接测量。应当理解，在大多数情况下，可以统计地组合刺激/响应特征配对的个体出现以估计集中趋势和可变性。来自单个试验的数据、来自特定描述的多次重复试验的描述性统计以及探索刺激和/或响应特征作为建模和预测的连续变量具有潜在价值。
面部模式识别机器学习
SDEP可以将其模型和预测组件与产品结合使用，以便为产品开发定制的预测组件。可以通过收集过程构建SDEP预测组件，通过该收集过程可以策划和标记来自主要和次要来源的自然或无约束设置的视觉数据的大数据集。数据集可以包括通过二次研究(例如通过因特网)可获得的照片、YouTube视频、Twitch、Instagram和面部数据集。策划和标记的数据可用于进一步参与，并为产品构建定制平台。
图10A至10D示出了构建策划数据的图像分析的示例性过程。这些图示描述了模型的示例性基于移动的版本。在其他实施例中，可以在云上执行模型。图10A示出了可以为其开发定制预测组件的对象的示例性图像。图10B示出了对象的图像，其中SDEP识别用于眼睛跟踪、眨眼检测、注视方向以及其他参数和/或面部属性的眼睛。在实施例中，通过一系列图像或通过对象的视频连续地识别眼睛以用于跟踪目的。
图10C示出了来自自然或无约束设置的视觉数据的数据集1002，其可用于在眼睛跟踪、眨眼和注视方向的上下文中提取面部属性。在实施例中，在从视频中提取帧的不同条件下，用大数据集1002训练SDEP***。不同的条件可以包括复杂的面部变化、照明条件、遮挡和使用的一般硬件。在实施例中，使用各种计算机视觉技术和深度学习来训练***。参考图10C和10D，选择图像1004以提取用于分析对象的情绪的面部属性。在实施例中，来自数据集的图像(包括图像1004)被策划和标记。
以下步骤概述了示例性数据管理和标签过程：
确定理想的数据源
同时，开发管道以从视频和静止图像执行面部关键点检测。这可以通过利用面部关键点定位来从面部分割和选择眼部区域来实现。可以使用其他关键点特征来确定图像的旋转、俯仰和照明，作为在下游分析中边缘化的可能尺寸。可以识别面部表情来分析情绪。眨眼、眼球运动和微型车辆也可以被识别为关键点检测***的一部分。
可以识别数据源的刮擦并通过SDEP馈送以获得标准化的一组眼部区域图像。可以对最终图像进行分段/裁剪以仅包括眼睛区域，使得在返回时可获得关于俯仰、旋转和照明的信息。
来自上述处理的输出可以与产品组合以标记眨眼、着色、斜视和产品感兴趣的其他度量。
可以利用上述收集和标记的数据来开发眼部区域的定制预测模型。可以创建定制的机器学习算法来预测关键参数，范围从眨眼率、疲劳、情绪、注视方向、注意力、phorias、共聚散度、离散聚散度、固定、注视方向、瞳孔大小等。此外，多模式方法可以利用SDEP以便从数字刺激中的像素级信息中受益并共同学习与眼睛响应的关系。像素级信息可以被分解为RGB，亮度以与现有的可视建模算法融合。
在实施例中，从眼睛跟踪算法提取眼睛跟踪参数。在一个实施例中，相对于面部的瞳孔位置提供了一种度量，从该度量将眼睛运动分类为固定、追踪和扫视。在一个实施例中，还对双眼独立地测量瞳孔大小。在一个实施例中，从相对瞳孔位置估计注视方向。可以使用来自双眼的数据和其他测量值(即面部和屏幕的相对位置)在3D空间中测量注视位置，包括聚散度的估计。注视位置提供了另一种分类眼动的方法。
图11A和11B示出了瞳孔位置和尺寸以及随时间的注视位置。图11A示出了第一次在3D 1104A和2D 1110A中的瞳孔位置和尺寸以及注视位置；图11B示出了第二次在3D1104B和2D 1110B中的瞳孔位置和尺寸以及注视位置。在一个实施例中，第二时间晚于第一时间。在图像中的任何给定点处，显示(最多)1秒的数据，较旧的数据以不同的颜色显示，例如蓝色。浅蓝色方块表示观察者正在观察的显示。物理尺寸不是按比例的(例如，观看距离大于它在左图中看起来的距离)。左面板1104A和1104B示出了空间的3D等距视图，其中用户的眼睛1106在左侧，显示器1108在右侧。
在左侧，注视位置显示在3D 1104A和1104B中。从观察者的显示器1108的表面画出一条线到注视位置；红色表示在显示器1108后面的注视位置，绿色表示在显示器1108前面的注视位置。三个圆圈传达关于眼睛1106的信息：
最大的深灰色轮廓圆表示眼睛和脸部的平均位置，在空间中相对固定。
内部的浅灰色轮廓表示相对于面部的平均瞳孔大小和瞳孔位置(移动但不改变尺寸)。
黑色圆圈显示相对瞳孔大小以及瞳孔位置相对于脸部(移动和改变大小)。
当瞳孔信息丢失时，可以假设眼睛闭合(或以其他方式遮挡)。
3D 1104A和1104B中的注视位置由黑点(由黑线连接)示出，其中注视方向从两只眼睛发出。来自显示器的注视深度进一步由从显示器到当前注视位置的绿色(前)或红色(后面)线指示。
在右侧，注视位置1110A和1110B以2D显示。这里没有关于瞳孔的信息。此外，还添加了对眼球运动进行分类的信息：
黑色表示固定，在此期间灰色轮廓增长表示固定的相对持续时间。
蓝色表示追踪。
绿色(带有连接线)表示在扫视期间连接点的线条的扫视。
脑机接口
整体脑机(计算机)接口(BMI/BCI)标准化要求标准化与大脑的多个感知界面的互操作性、连接性和模块性，其中许多是闭环的。鉴于闭环症状的当前限制，本发明的实施例提供了支持这些要求的标准化的交换平台。
此外，VR/AR/MxR的当前测量和评级***本质上是定性的。本发明的实施例有助于建立定量测量以改善VR/AR/MxR环境中的用户体验的质量。这种标准化是必要的，因为这些HMD在非临床环境中变得越来越普遍。
当前的BMI/BCI接口，包括但不限于EEG、MRI、EOG、MEG、fMRI、超声波和微波，本质上是模块化的。在这些不同的潜在界面中，临床和非临床环境中的划分部分地限于界面的可移植性，非临床传统上更便携。视觉数据可以在SDEP内学习和利用，用于不同的连接和互操作方式，这将转化为BMI/BCI接口中涉及的更大设备，包括但不限于MRI、MEG等。
本发明的实施例描述了可用于标准化构成HMD的硬件组件和AR/VR环境中使用的app的软件要求的示例性用例。
参考硬件组件，HMD的特征可能是标准化的关键。例如，HMD装置具有内置的摄像机，非常适合于捕获视觉相关数据并提取各种参数以便以之前不可能的方式收集信息。这与来自其他联合传感器的上下文信息和数据相结合，可以提供研究数据并将感知计算放入BMI/BCI***的独特机会。可能需要定义最小规格的相机以实现用于感知计算的这种类型的数据捕获。
参考软件组件，在VR/AR/MxR环境中显示刺激，本说明书的实施例提供了用于识别焦点位置、拥挤、视觉疲劳、调节不匹配、延长共聚散度和离散聚散度、色度-亮度、帧率、排序和其他因素的***和方法。忽略它们可能导致视觉诱发晕动病、头痛和/或计算机视觉综合症的多个点。需要用于建立数据收集和模式识别的量化方法，以便在实践中最好地开发软件开发者设计方法，并且是本发明的实施例的一部分。
由于中央凹和周边视觉的变化，HMD确实提供了视觉和前庭刺激之间的冲突。此外，HMD图像不随着佩戴者的头部运动而移动。本发明的实施例能够以非侵入性方式从由原生眼睛跟踪组件捕获的数据测量扭转眼睛运动、聚散度眼睛运动、凝视检测和瞳孔响应。因此，根据各种实施例，可以针对SDEP标准化数据的数据捕获，例如最小帧速率和瞳孔捕获。
作为上述实施例的一部分构建的SDEP可以包括来自不同源的数据摄取模块，例如HMD、移动设备、各种眼睛***、图像和视频源、诸如fMRI、X射线等的传统成像***，以及来自EEG，EOG和其他的数据。
机器学习模块可以批处理和实时模式处理数据，并将其公开为API，以便它可以与多个应用程序集成和接口。机器学习***可以使用深度卷积神经网络来从任何图像或视频源准确地检测瞳孔度量、眨眼检测和凝视。然后，其他机器学习组件可以将该数据与诸如EEG、EOG、EMG、头部运动数据、触觉数据的感觉数据输入相关联，并构建人类视觉的综合感知模型。
视觉表现指数
一类重要的指标可能是与绩效相关的指标。可以以视觉性能指数(VPI)的形式确定用户的表现，其随后在本发明的实施例中详细描述。
返回参照图1A，在一个实施例中，可以处理从用户102收集的数据，例如通过媒体***104，以识别用户102的视觉性能指数(VPI)(也参考图12的1210)。VPI可以指示在用户102与VR/AR/MxR***104交互期间评估的用户102的视觉性能水平。VPI可以用于识别具有类似VPI的用户102的一组用户。VPI可以进一步用于修改用户102的VR/AR/MxR媒体，以便最小化视觉诱发运动疾病(VIMS)或由虚拟体验引起的任何其他不适。在一个实施例中，为用户102实时修改媒体。在另一实施例中，VPI被保存并用于修改VR/AR/MxR媒体到具有类似VPI的后续用户或随后到用户102的呈现。
可以以各种方式测量和操纵VPI。通常，目标可以是改善用户的视觉表现，然而，操纵也可以旨在增加挑战(例如，为了参与)，其可以至少暂时地降低性能。在备选实施例中，可以测量和操纵除与视觉相关的性能指标之外的性能指标。例如，可以通过性能指标来测量和操纵诸如设计、参与等其他领域。
再次参考图12，示出了数据分析链的示例性轮廓。数据分析从1202处的最低级别开始，其中数据级别可能不会进一步简化。在1202处，单个刺激的参数可以用于基于不同的独立变量的多个测量，其对应于刺激的直接特征。单个响应的参数可以用于基于不同因变量的多个度量。在1204处，可以配对独立和因变量以提取用户的视觉表现的度量，或者与其他人组合并适合于模型以生成用户的视觉表现的度量。在实施例中，配对可以包括通过相关或其他统计/非统计方法将响应事件与一个或多个刺激事件组合。可以对各个对进行过滤以到达1206，其中，对于给定类型的交互，可以使用许多对独立和因变量来估计模型分布的参数或估计描述性统计。在实施例中，模型分布是对度量将是特定值的频率的期望。在某些情况下，可以使用具有“贝尔曲线”的经典形状的正态分布。一旦完成描述性统计或模型拟合的过程，在1208，可以生成对用户视觉的属性的物理度量的单独估计。个人用户估计可以基于来自多个交互的单个交互或摘要度量。在1210，可以对至少一个物理特性的度量进行归一化以贡献VPI的子分量。在1212，可以组合(例如，平均)多个VPI子分量分数以生成分量分数。在实施例中，可以进一步组合组件得分以生成总体VPI。VPI，其子组件和组件将在本发明的后续章节中进行更详细的讨论。
在实施例中，视力表现的测量可以被呈现为具有相对但非绝对意义的标准化“得分”给用户。这也在图12的上下文中在1210和1212处示出。用户可能能够针对一般人群或其特定子集来衡量他们的表现水平。由于与非专用硬件(即在受控实验设置之外使用的移动装置)的数据记录相关的假定的高度测量噪声，精确测量传出现象(例如瞳孔大小、注视方向、眨眼检测)和传入参数(例如显示色度、观看距离、音频强度)不可用。因此，可能需要依赖于所有用户的累积数据的集中趋势(即平均值)和可变性(即标准偏差)的估计值来定义每个度量的“典型”范围，并设置增加或减少这些度量的合理目标。
对于每种类型的度量，对于各种类型的任务中的每一种，并且通常针对每个独特的场景或上下文，可以独立地对得分进行归一化。这可以使得能够容易地比较和平均不同单元中采取的措施、不同的刺激以及来自不同类型的用户响应。另外，对于任何和所有分数，性能可以被分类为略微或显着高于或低于平均值。可以基于百分位数来确定设置描述性标准(假设给定的度量将在一般人群中正常分布)。以下部分中的示例使用10％和90％，但百分位数可以任意选择，并且可以针对特定上下文进行修改。可以假设10％的用户得分将落在得分的最低或最高10％，因此分别为“异常”低或高。
在一个实施例中，VPI可以是以下参数和子参数中的一个或多个的组合，其本质上可以是传入和传出的。直接测量通常将单个响应特征与单个刺激特征相关联。只要有可能，随着刺激特征值的变化，可以从响应模式(平均响应、响应概率或一类响应的比例)建立心理测量功能。直接测量可以包括以下内容：检测、区分、响应时间和/或错误。
间接措施可能是对直接措施和/或直接措施组合的更高层次的解释。这些通常还可以包括对特定情境内或跨特定情境的直接测量的描述以及变量之间的相互作用。间接措施可包括以下内容：多跟踪、疲劳/耐力、适应/学习、偏好、记忆和/或状态。
在实施例中，可以使用其他视觉相关参数来计算VPI，并且可以包括但不限于视场(F)、准确度(A)、多轨迹(M)、耐力(E)和/或检测/鉴别(D)，一起缩写为FAMED，所有这些都在下面更详细地描述。
视野(F)
返回参考图1A，视野(F)可以被描述为用户102在任何给定时刻看到的视觉世界的范围。中心视觉代表用户102的视野的中心部分，其中用户102具有最大的敏锐度，这对于诸如阅读之类的事物是重要的。***视觉是用户102的视野的外部部分，其对于引导未来行为和捕获用户102焦点之外的重要事件是重要的。
视场测量用户在与基于准确度和检测度量的中心或***视野中的刺激进行交互时的相对性能。假设随着视觉偏心率的增加，由于对大多数刺激特征的敏感性降低，***的性能通常应该更差。中枢和外周刺激的表现比例在一般人群中会有一定的平均值和标准差；与其他测量一样，标准化分数将用于确定用户是否具有异常低或高的视野能力。
如果用户的视野得分异常低，则可以通过增加周边中出现的刺激的准确度和检测得分来改善。这通常需要增加定时和位置的一致性、增加色度和亮度差异(在物体之间和物体内)、增加物体的尺寸并且当在周边中呈现时减慢任何移动目标。
准确度(A)
返回参考图1A，准确度(A)可以是做出正确选择和在用户102执行的动作中精确的组合。准确度的测量可以分为两个子组件：反应和目标。反应涉及处理和处理传入信息所需的时间。反应可以指用户102在VR/AR/MxR体验期间做出快速响应的能力。可以将反应测量为在刺激中有足够信息可用于作出决定(即刺激的出现)和记录用户反应的时间之间的时间跨度。对于加速响应，这通常不到一秒钟。
如果用户的反应异常缓慢(异常低分)，则可能是任务太困难并且需要修改稍后在目标和检测的上下文中讨论的刺激参数。在一个实施例中，估计任何给定测量的模型分布(例如，反应时间的对数正态分布)。可以根据估计确定截止值，高于该估计值可以找到5％(或任何其他百分比)的最慢时间跨度。任何与截止值相等或更大的反应时间的测量被认为是“慢”(或“非常慢”)。然而，如果单独的反应异常低，当其他分数正常时，可能表明任务参与不当或分心。减少同时呈现的项目的数量或添加额外的、一致的提示以引起注意(例如，伴随视觉刺激的外观添加声音)可能是有帮助的。如果要求用户响应移动物体的位置，则可能需要更长时间来估计轨迹并规划拦截响应；减慢目标可以改善反应。
响应时间对于检测相关测量可能很重要，但与刺激的任何响应相关。响应时间通常是刺激事件与对该事件的响应之间的时间跨度。响应时间可用于测量大脑处理信息所需的时间。作为示例，显示器上的图案的外观可以导致ERG可测量的视网膜的某种响应模式。在从平均ERG波形中明显刺激处理之后的某个时刻，相同刺激的处理将在从头部后方记录的平均视觉诱发电位(VEP)波形中变得明显。在此之后的某个时刻，来自用户的按钮按压响应的平均时间表示刺激被完全处理到产生马达响应的点。虽然刺激和响应事件可能产生多个时间戳，但响应时间通常应当被视为刺激中最早可检测的变化之间的时间，该刺激是选择对已选择响应的最早指示所必需的响应所必需的。例如，如果对象开始朝着显示器上的某个关键点以直线移动，则特定方向上的该初始运动位可能足以使用户知道对象将在何处结束。他们无需等待它到达那里。同样地，开始将鼠标光标(或VR/AR/MxR环境中可接受的任何其他手势)朝向待点击的目标移动可以指示在点击事件实际发生之前已经选择了响应。
在实施例中，作为感知适应，感知学习和训练(更高阶学习)的结果，可以发生响应模式的其他变化，包括改善、减少和一般变化。考虑用户的适应和学习可以解释可以解释的响应的任何可变性，从而减少统计噪声的测量并改善推理功率。
响应中的模式及其变化也可能与***内的高阶过程有关。用户偶尔会改变他们在执行任务时如何执行任务的想法。因此，在实施例中，分析用户做出的每个选择的偏好，而不管它是否通知视觉处理的模型。
在实施例中，***使用响应来测量用户的召回或识别。召回是准确生成先前记录的信息。识别是先前记录的信息与新信息之间的正确区分。
根据时间和特定情况下的度量，可以进行记忆回忆和识别以及记忆容量的测量。这些通常属于性能类别，用户可以通过有针对性的练习来提高内存性能。回忆和识别通常通过刺激之间的语义相似性来改善。同样，通过学习将项目彼此关联，可以改善记忆跨度。还可以操纵必须记住项目的时间跨度以改变存储器任务的性能。在保留期内，分散任务或缺乏任务也可能严重影响性能。
对于长期记忆，可能存在增强存储和检索的练习，包括特定项目和更一般地。还可以在某些物理相互作用的背景下导出与肌肉记忆相关的测量。感知适应和感知学习也是测量和操纵的候选者。
定向涉及用户动作中的时间和位置精度的度量。返回参考图1A，目标可以涉及用户102的响应相对于VE中的对象的位置的精度。目标测量是用户响应与刺激相关的最佳值之间的误差。响应可以是点击、触摸、手势、眼睛运动、瞳孔响应、眨眼、头部运动、身体/肢体运动或任何其他。如果期望用户准确地及时响应某些事件(而不是响应该事件而导致反应措施)，他们可能会过早或过晚地做出反应。它们的响应精度的可变性产生目标时间误差测量(通常在一秒或更短的数量级)。另外，用户响应的位置可以具有以屏幕上的像素或一些其他物理距离单位测量的一致偏差(平均误差)和/或可变性水平(误差的标准偏差)。
在实施例中，***分析与用户错误相关的数据，包括用户对理想或最佳响应的不正确选择和偏差。最常见的是这些可能是对刺激的错误识别、在不适当的时间作出反应(假阳性反应)、在适当的时间没有回应(假阴性)以及反应的时间或位置的不准确。响应的变化或响应特征的测量也可以是错误或一般不准确或不一致的指示。
如果用户的定位分数异常低，则可能是目标太小或位置的可变性太大。对于响应的时间安排，更一致的事件定时使得同步响应更容易。这可以是在目标事件之前的某个固定时间发生的重复节奏或提示的形式。对于位置，可以通过限制目标的可能位置来减少错误，或者在移动目标的情况下，使用较慢的速度来减少错误。特别是对于触摸界面或其他情况，其中响应本身可以遮挡目标(即覆盖显示器的手指)，使目标更大可以改善目标分数。
多跟踪(M)
多跟踪(M)通常可以指用户正在进行多个同时响应和/或响应多个同时刺激的情况。它们还包括用户执行多个并发任务的情况，以及对***发生的刺激事件的响应(可能是注意力集中在其他地方)。可以包括在分开注意的情况下***检测(作为偏心的函数的检测)和其他性能测量的组合测量。
多跟踪(M)可以表示用户同时感测多个对象的能力。分开的注意力任务可能要求用户对一次发生的多件事情采取行动。多重跟踪测量用户在与聚焦或分散注意环境中呈现的刺激相互作用时的相对表现。通过集中注意力，用户通常需要关注场景的一部分或有限数量的对象或特征。在需要分散注意力的情况下，用户必须监控多个区域并冒着丢失重要事件的风险，尽管警惕。与视野一样，精度和检测的度量用于确定用户在不同多跟踪上下文中的表现。
如果用户的多跟踪得分异常低，则可能表明他们在需要分开注意的任务中表现不佳，或者对需要聚焦注意的任务表现异常。因此，使分开的注意力任务更容易或聚焦注意力任务更加困难可能会改善多重跟踪分数。在分开注意的背景下，通过减少用户需要监视的对象或区域的数量来减少感知负载可能会有所帮助。增加持续时间(对象持久性)和分开注意力的速度减慢也可以提高分数。
疲劳/耐力(E)
由于疲劳，绩效指标可能会随着时间的推移变得更糟。这可能在灵敏度(检测)的降低、正确的区分、响应时间的增加以及恶化率或恶化程度上变得明显。可以跟踪任何和所有措施的疲劳率(随时间的变化)和疲劳的幅度(性能测量的最大减少)。疲劳发作前的延迟，以及休息恢复或活动变化的速度，可能是耐力的特征。
耐力(E)可能与用户随时间保持高水平表现的能力有关。耐力测量与精确度和检测分数随时间的变化趋势有关。耐力的两项措施是疲劳和复苏。
疲劳衡量一段时间内性能下降的程度。疲劳是用户表现可能开始下降的一个点，衡量的是下降速度以及表现有多差。疲劳的基本衡量标准可能基于一段时间后半段与前半段相比的得分比率。我们假设，给定足够长的时间跨度，随着用户变得疲劳，分数将随着时间的推移而降低，因此该比率将小于1。比率1可以表示没有疲劳，并且比率大于1可以表明学习或训练效果正在改善表现以及缺乏疲劳。如果用户的疲劳得分异常低，那么他们可能希望减少他们参与任务的不间断时间长度。长时间和/或更频繁的休息可以改善疲劳评分。通常，降低任务难度也应该有所帮助。
恢复是衡量性能在一段时间内恢复到基线水平的指标，假设在间隔期间休息。恢复可能涉及有效地使用提供给用户的休息以恢复到最佳性能。目前实施的恢复的基本衡量标准是比较两个时间跨度的后半部分与第二个时间跨度的前半部分的得分之比。可以选择时间跨度，以使用户在它们之间稍微休息一下。我们假设，给定足够长的时间以确保一些疲劳发生，在休息之前得分将低于之后，因此该比率将小于1。比率1表示没有休息的影响，并且大于1的比率可能表示在休息或疲劳的存在之后参与减少，尽管休息。
如果用户的恢复分数异常低，他们可能需要更长时间休息。他们可能没有经历足够的疲劳，以便有可测量的恢复。挑战用户参与更长、不间断的时间跨度可以提高恢复分数。同样，任务难度的增加可能导致更大的疲劳和更多的恢复空间。
检测/辨别(D)
检测/识别(D)可以指用户检测对象的存在或区分多个对象的能力。该参数可以取决于用户对对象的各种属性的敏感度。每当响应事件表示对刺激事件的意识时，可以确定用户检测到该刺激。无意识处理，也许不是意识水平，也可能从电生理学或其他反应中揭示出来。可以通过响应刺激的位置或通过与刺激的存在一致的响应类别(例如，正确识别刺激的一些物理方面)来揭示检测。检测所需的刺激特征参数/值的大小可以定义用户的检测阈值。可以假定刺激的任何特征用于检测，但是如果该特征是刺激的唯一实质定义特征，或者该刺激特征是否出现在用户做出响应的各种刺激中，则仅可能将检测专门归因于特征。
每当用户正确地识别刺激特征参数/值或基于一个或多个刺激特征在多个替代方案中做出一些选择时，相互作用可以有助于一定程度的区分。在许多情况下，感兴趣的度量可以是在用户可以告诉他们不同之前需要两种不同的事物(辨别阈值)。辨别度量可以指示对某些特征的敏感度的阈值，但是它们也可以用于识别类别边界(例如，两种命名颜色之间的边界)。与检测措施不同，辨别度量不一定取决于正确/不正确的反应。辨别度量可能表明主观经验而非能力。
检测/识别的测量可以分为三个子组件：与检测和/或区分颜色(色度)、对比度(色度对比度)和基于刺激的最小特征的敏度测量相关的测量。这些传入特性，结合手动或声音反应的传出测量、眼动追踪测量(前扫视开始、反扫视减少、持续固定和眨眼反应减少)、注视方向、瞳孔大小、眨眼、头部跟踪测量、电生理和/或自主记录的测量、面部模式识别和机器学习的测量，以及其他用于确定灵敏度。所有测量可以基于用户检测微弱可见刺激或区分几乎相同刺激的能力。这些度量基于其特征中的差异(在检测到的对象及其周围或区分对象之间)与不同的子组件相关联。刺激对象可以在多个特征中不同，因此有助于一次测量多个子组件。
色差可以特指色度和/或亮度的差异。如果用户的颜色分数异常低，则可以通过增加颜色差异来简化任务。特定的颜色缺陷可能导致特定颜色差异方向的颜色分数差。使用更多种色调通常会使特定缺陷产生较小的影响并稳定分数。
对比度与颜色的不同之处在于对比度是指在某些视觉上定义的区域内的色度和/或亮度的可变性，而在该上下文中与颜色有关的度量是指平均色度和亮度。如果用户的对比度得分异常低，则可以通过增加显示的对比度范围来改善。对比灵敏度随空间频率而变化，因此增加或减少空间频率(分别使图案更精细或粗糙)也可能有所帮助。改善颜色分数的操作通常也会提高对比度分数。
敏感度测量源自用户可用于检测和区分刺激的最小特征。它与对比度有关，因为空间频率也是用于测量敏锐度的相关物理特征。如果用户的敏锐度分数异常低，则可能是对象通常太小而且应该整体放大。它还可能有助于增加尺寸差异，增加对比度并降低空间频率。使用敏锐度比使用颜色或对比度更有效，移动刺激的速度可能是一个因素，减慢移动目标可能有助于提高敏锐度分数。
以上参数均基于测量功能。在实施例中，可以随时间记录它们的模式。趋势和模式可以实现预测分析，还可以基于检测功能和最终用户的其他VPI/FAMED功能帮助个性化用户体验。
可以从所讨论的直接测量推断出许多一般的存在状态。可以在每个会话，某些时间段或连续的基础上估计每个阶段，并响应刺激事件。这些通常可能与响应率或行为变化有关。图13提供了根据本发明的一些实施例的包含传入和传出源的示例性度量的列表的表。该表说明了传入源可能导致刺激事件和特征。传入源、刺激事件和特征的组合，当与响应(传出源)进一步组合时，可以指示响应事件和特征。这些组合可暗示心理测量指标。在最后一列中，该表提供了从各种组合中得出的每种心理测量指标的描述。
图14是示出从软件应用程序到SDEP的数据流的概述的示例性流程图。在1402处，可以向用户提供用于交互的界面的软件应用程序。app可以被设计为在HMD或者能够为用户交互提供VR/AR/MxR环境的任何其他装置上运行。由应用软件收集的信息可以在1404提供给软件开发工具包(SDK)。该SDK与一组软件开发工具一起工作以生成关于应用软件的使用的分析和数据。在1406处，将数据作为会话数据从SDK提供给SDEP。在1408，会话数据在SDEP处被预处理，其可以包括组织和分类数据以准备分析。在1410，生成预处理的刺激和响应数据并进一步传递以进行分析和处理。在1412处，分析数据并将其转换为性能指数或分数或可感知信息的其他度量，例如VPI分数。在1414处，将分析的数据发送回SDK和/或应用软件，以便修改、个性化或定制用户体验。在实施例中，数据从1402传递，从应用软件传递通过分析链，并且非侵入地实时返回到应用软件。
图15示出了处理流程的预处理部分的示例性轮廓1500(图14中的1408)。
图16是数据处理功能的编程语言实现的示例性表示1600，其负责接收原始数据(预处理)，选择和实施适当的分析，根据对临时和长期存储的分析，发送和接受汇总措施，以分别评估“耐力”措施和评分标准化，以及计算得分将被发送回应用程序以显示给最终用户。在实施例中，使用的编程语言是Python。该图显示了几个Python函数应用于FAMED数据以获得VPI分数。该图说明了每个FAMED功能的颜色编码过程。在一个实施例中，FOV功能为红色，绿色为精度，紫色为多重跟踪，橙色为耐久性和蓝色为检测。在一个实施例中，平行四边形代表变量；圆角矩形表示功能；元素是用户/会话数据的颜色编码，以黄色显示。
参照该图，大红色轮廓1602的内容表示处理功能(va_process_data)，其包括三个主要部分-左部分1604、中部分1606和右部分1608。在一个实施例中，左部分1604接收原始数据并将精确度或检测/识别分析功能应用于数据，从而产生汇总输入数据的单一度量。这被发送到中级功能1606，用于视野和多跟踪的测量以及外部存储。第一个外部存储或缓存返回了最近用于测量耐力的类似度量。来自中级功能1606的输出被发送到另一个外部存储器，该外部存储器累积测量值以便估计归一化的中心趋势(即算术平均值)和可变性(即标准偏差)。来自该第二外部存储器的数据与当前测量值组合以在右级部分1608中转换成得分。该图还示出了图的左下方的小子图表1610，以示出分析部分1600在更宽的链中的放置。
图17提供了示出根据本发明的实施例的用于修改媒体的方法的流程图。在一个实施例中，该方法在上面在图1A和各种实施例的上下文中描述的SDEP 118内实现。向用户呈现媒体，例如VR/AR/MxR媒体。在实施例中，通过HMD或任何其他类型的VR/AR/MxR媒体渲染装置呈现媒体。当用户体验媒体时，在1702，SDEP接收用户的视觉数据。在一个实施例中，用户是根据图1A的用户102。在一个实施例中，从在媒体环境中参与的各种传入和传出数据源接收视觉数据。在1704处，视觉数据用于处理媒体并对其进行修改。在实施例中，视觉数据是实时处理的。可以修改媒体以使用户能够以最佳方式体验媒体。可以修改媒体以改善用户体验，以便最小化VIMS或者可能基于用户的视觉容量引起的任何其他问题。在实施例中，针对不同应用不同地修改媒体。例如，可以针对游戏的用户不同地修改媒体，并且针对潜在客户的用户不同地修改媒体，其中媒体分别通过游戏和广告呈现。在其他示例中，可以针对特定应用的用户和内容体验不同地呈现媒体。在一个实施例中，实时处理视觉数据以对其进行修改。这里的视觉数据是通过批量和实时分析以及传入和传出数据的背景化以及自主数据输入而开发的视觉模型/概况/角色。或者，视觉数据被分批存储和分析以进行修改。以上在图2的上下文中描述了不同形式的处理媒体。VPI还可以用于根据各种度量来处理媒体以进行修改。在1706处，向用户呈现经修改的媒体。在一个实施例中，修改的媒体在同一时间或在不同时间呈现给一组用户，其中该组中的用户可以对应于类似的视觉数据。得到的媒体可以继续到先前呈现的媒体，根据为用户确定的某些度量进行修改。
图18提供了示出根据本发明的另一实施例的用于修改媒体的方法的流程图。在一个实施例中，该方法在上面在图1A和各种实施例的上下文中描述的SDEP 118内实现。向用户呈现媒体，例如VR/AR/MxR媒体。在实施例中，通过HMD或任何其他类型的VR/AR/MxR媒体渲染装置呈现媒体。当用户体验媒体时，在1802，SDEP接收用户的视觉数据。在一个实施例中，用户是根据图1A的用户102。在一个实施例中，从在媒体环境中参与的各种传入和传出数据源接收视觉数据。在1804，视觉数据用于识别可能直接或间接影响用户视觉体验的指标。如上面在图13的表的上下文中所描述的，度量可以帮助解构影响用户体验的心理测量学。在1806处，从度量导出的信息可用于处理媒体并对其进行修改。可以修改媒体以使用户能够以最佳方式体验媒体。可以修改媒体以改善用户体验，以便最小化VIMS或者可能基于用户的视觉容量引起的任何其他问题。在实施例中，针对不同应用不同地修改或个性化媒体。例如，媒体可以针对游戏用户进行不同的个性化，对于潜在客户的用户可以不同地进行个性化，其中媒体分别通过游戏和广告呈现。在一个实施例中，实时处理视觉数据以对其进行修改。或者，视觉数据被分批存储和分析以进行修改。以上在图2的上下文中描述了不同形式的处理媒体。在1808处，向用户呈现经修改的媒体。在一个实施例中，修改的媒体在同一时间或在不同时间呈现给一组用户，其中该组中的用户可以对应于类似的视觉数据。得到的媒体可以继续到先前呈现的媒体，根据为用户确定的某些度量进行修改。
使用示例
由SDEP根据本发明的各种实施例生成的数据可以以不同的形式使用。在实施例中，SDEP输出的数据可以针对游戏者、广告商和其他人进行不同的打包。
由***确定和分析的感官输入可能最终推动工作和游戏参与。在实施例中，感知信息可以从用户购买并用于在通过诸如SDEP的平台向数据添加值之后创建感官数据交换。在本发明的实施例中，可以使用SDEP来测量和监视个体和潜在消费者的感觉。
在实施例中，SDEP允许有利地使用从诸如智能装置、可穿戴设备、眼睛跟踪工具、EEG***以及虚拟现实和增强现实HMD之类的技术生成的数据。例如，EEG频带可用于跟踪大脑中电极的眼睛运动以及基于游戏的应用程序，这些应用程序旨在创建视觉基准，并最终有助于提高视觉敏锐度。
在实施例中，SDEP输出的数据可以针对医疗用途(视敏度、眼睛疲劳、创伤性脑损伤和运动视力表现)而不同地包装，用于运动员/运动等。例如，应用程序包括通过测量眼-脑连接的关键区域来跟踪一段时间内数字眼疲劳的影响或者在诸如足球的接触运动中筛查创伤性脑损伤的能力。
在实施例中，本发明的***和方法用于开发深度学习***并用于模拟人工神经网络。人工神经网络及其高级形式，包括深度学习，具有不同的应用，例如但不限于图像/语音识别、语言处理、客户关系管理(CRM)、生物信息学、面部表情识别等。在实施例中，SDEP使用传出和传入信息之间的反馈回路来对人体感觉***进行建模。在进一步的实施例中，SDEP从附加传感器获取信息以与传入和传出信息源组合。
示例使用1：修改媒体以提高用户对该媒体中信息的理解力
在一个实施例中，通过测试知识和理解来测量用户的理解力程度，即通过显示器呈现多个问题，接收来自用户的响应于那些问题的输入，以及确定用户正确回答问题的程度。用户的理解力程度也可以从用户的行为推断，包括行为的细微变化，以及用户的自主和电生理测量。
更具体地，本发明描述了提供给用户以修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便改善该用户对该媒体传送的信息的理解力。图19示出了根据本发明的一些实施例的描述用于修改媒体以便改进理解力的示例性过程的流程图。在1902，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器配置为测量味觉和嗅觉处理；
一个或多个传感器来测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置；
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪；以及
一个或多个传感器配置为测量皮肤电响应。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率、初始状态、最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括其距离、反扫视或前扫视)；前扫视(包括其速率与反扫视)；反扫视(包括其速率与前扫视)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率，包括扫视计数、追踪眼球运动(包括它们的起始、持续时间和/或方向)；屏幕距离(包括其变化率、初始位置和/或最终位置)；头部方向(包括其变化率、初始位置和/或最终位置)；头部固定(包括其变化率、初始位置和/或最终位置)；肢体跟踪(包括其变化率、初始位置和/或最终位置)；重量分布(包括其变化率、初始分布和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括它的音高、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
为了探测用户对媒体中某些空间定义过程的理解力，***应用用户所在位置的度量，测量用户花在媒体内相关区域与媒体内不相关区域之间的时间比例。与视觉空间的较少聚焦的采样相比，该***还可以测量用户将注意力集中在特定区域上的程度。
在一个实施例中，***确定相关固定比率RRel，Fix.，其定义为相关感兴趣区域中的固定数量、频率或平均持续时间与不相关区域的比率：
如果用户正在随机查看，并且相关和不相关的区域大小大致相等，则该比率应该在1左右。如果用户更关注相关区域，则该比率应该大于1，并且该比率越大，有更多理解力***属性给用户。***基于所述比率确定用户是否理解或不理解媒体内容。如果该比率低于预定阈值，则***确定用户未被聚焦，正在随机环顾，和/或不理解该媒体。如果该比率高于预定阈值，则***确定用户被聚焦，没有随机环顾，和/或正在理解该媒体。
在一个实施例中，***确定从扫视参数导出的测量值，其显示与不相关区域相比朝向相关区域的更多眼睛运动。***可以基于扫描运动来确定用户是否正在理解或不理解VR/AR/MxR环境中的媒体内容。
关于扫视角度，如果用户更频繁地观察相关区域，则相对于相关区域的绝对角度的平均值|θ| 扫视-相关应远小于90°，如果用户随机观察则大约为90°，如果用户通常远离相关区域则大于90°。如果用户更多地看向相关区域，则角度将小于90°，并且***可以确定用户是聚焦的并且能够理解媒体。如果角度接近90°或更大，则***可确定用户未聚焦，随机环顾，和/或具有低理解力或不理解媒体。
关于扫视幅度，如果用户更频繁地观察相关区域，则相对于相关区域的平均幅度分量M 扫视-相关应该是显着正的，如果用户正在随机地观察，则大约为0，如果用户通常远离相关领域，则显着为负。这里，正平均幅度将意味着理解力的显着水平，而大约0或负值意味着用户在VR/AR/MxR环境中的媒体内容的理解力水平低。在实施例中，***使用该信息来修改VR、AR和/或MxR环境或传统膝上型计算机、移动电话、台式计算机或平板计算环境中的显示媒体，以改善该用户对该媒体传播的信息的理解力。
相关固定定义的比率也可以扩展到包括扫视参数，尽管可以假设它们通常等于固定参数：
在另一实施例中，***确定利用眼睛运动将频繁地在场景中的相关词或对象之间来回的事实的度量。
***定义已知相关的区域(A和B)之间的固定相关性C固定，作为理解力的度量：
C固定＝cor(N固定|A，N固定|B)≈cor(f固定|A，f固定|B)
≈cor(D固定|A，D固定|B)
在一个实施例中，***定义
基于扫视的扫视相关性C扫视，角度通常朝向A区和B区(θ扫视-A→0和θ扫视-B→0)：
C扫视＝cor(N扫视|朝向A，N扫视|朝向B）≈cor(f扫视|朝向A，f扫视|朝向B)
这些相关性越大，***确定越多的用户监视场景中两个相关对象的行为，表明更大的理解力。***基于相关性确定用户是否理解或不理解媒体内容。如果相关性低于预定阈值，则***确定用户没有聚焦，正在随机环顾，和/或不理解媒体。如果相关性高于预定阈值，则***确定用户被聚焦，没有随机环顾，和/或正在理解媒体。应当理解，***可以被设计成反之亦然：如果相关性高于预定阈值，则***确定用户没有聚焦，正在随机环顾，和/或不理解媒体。如果相关性低于预定阈值，则***确定用户被聚焦，没有随机环顾，和/或正在理解媒体。
即使不知道场景以及哪些区域相关或应该与信号理解力相关，***也可以假设场景内的或多或少集中注意力指示理解力的程度。结合更直接的理解力度量(即提问)，可以使用一种焦点测量来采取简单的正确/不正确的测量并对其进行一定程度的分配。
在一个实施方案中，理解力也是从一个听众的眼睛运动数据中收集到的，与两个人在观看同一个事物的时候相比。当在解释共享视觉场景中发生的事情时确定收听者的眼睛运动与说话者的眼睛运动相关时，***可以确定用户能够理解。当扬声器的眼睛运动与收听者的相应眼睛运动之间的延迟较低时，***可以归因于更大的理解力。
听者眼球运动的相关性可以计算为：
C听＝cor([x，y，z]固定|说话者(t)，[x，y，z]固定|听者(t+τ))
使用固定位置作为时间的函数，用于扬声器和***，延迟为τ秒。在实施方案中，上述相关性峰值约为τ＝2s。相关性越大，***确定越多的用户正在监视场景中两个相关对象的行为，从而表明更大的理解力。***基于相关性确定用户是否理解或不理解媒体内容。如果相关性低于预定阈值，则***确定用户没有聚焦，正在随机环顾，和/或不理解媒体。如果相关性高于预定阈值，则***确定用户被聚焦，没有随机环顾，和/或正在理解媒体。应当理解，***可以被设计成反之亦然：如果相关性高于预定阈值，则***确定用户没有聚焦，正在随机环顾，和/或不理解媒体。如果相关性低于预定阈值，则***确定用户被聚焦，没有随机环顾，和/或正在理解媒体。
在实施例中，焦点区域A焦点被确定为视野的最小区域(视角的平方度)，其包含固定(N固定)的一定比例p(例如75％)或对于给定的录音范围的总固定持续时间(ΣD固定)。这可以通过估计包含由数量或持续时间定义的所有固定子集的最小圆形区域来算法地找到，并且对所有可能的子集重复并且保持所有子集中的最小区域。在实施例中，所确定的区域可以指示向用户提供更大理解力的区域。
远看
用户视线(避开注视)的动作与认知负荷相关，表示限制进入视觉***以释放资源的详细信息量的机制。***确定用户从显示器看去的时间越长(ΣD固定|离开)，任务的要求就越高；而这又被认为是更大理解力的证据(如上所述，视线与认知负荷相关)。在另外的实施例中，如果观察到用户更多地看向具有较低空间频率对比度的区域，则***可以再次确定给定任务更苛刻，导致用户需要视线，带来理解力更强的证据。在实施例中，可以使用与俯视动作相关联的头部运动来代替眼睛运动或者除眼睛运动之外使用头部运动来确定理解力。
读
在实施例中，***通过在阅读期间跟踪眼睛来确定用户的理解力水平。***具有正在读取的文本的知识，用于确定理解力的度量。在实施例中，基于特定单词的固定持续时间、回归扫视的数量或频率(在示例性情况下，对于英语，确定同一行/同一句中的左向跳视；回归扫视的方向可能不同，并根据不同的语言进行相应测量)和特定句子部分上的固定持续时间确定度量。固定的持续时间越短和/或回归扫视的频率越大，***确定用户的理解力越大。***基于固定持续时间确定用户是否理解或不理解媒体内容。如果持续时间高于预定阈值，则***确定用户难以理解媒体。如果持续时间低于预定阈值，则***确定用户被聚焦，和/或正在理解媒体。
还已经表明，眨眼(f眨眼)在读取期间减少，这也导致眨眼之间的时间变化的增加。在实施方案中，***确定相对于建立的基线(f眨眼显着小于f 眨眼)的减慢的眨眼率。可以通过计算与平均值的偏差来确定相对于基线缓慢眨眼的动作。与均值的偏差越大，***确定用户的理解力越大。
电
在实施例中，电生理学记录在某些情况下产生理解力程度的度量。例如，使用脑电图仪事件相关电位(EEG-ERP)，可能会看到一些认知电位(N2、N400、P300、P600)的幅度在阅读时出现意外和/或不协调的单词。在实施例中，***响应于由不频繁，新颖或意外刺激导致的认知EEG电位(N2、N44、P300、P600)的显着幅度幅度增加来确定是更大理解力的指示。一般来说，***可以得出结论，与基线相比幅度变化的幅度与理解力的程度成比例。振幅的正变化可归因于更大的理解力，而较低或负变化可归因于较低的聚焦和/或理解能力。
这些幅度的存在与否根据所读取的内容而变化，有助于***确定用户是否正确地解释了他们正在阅读的内容。更一般地，一些EEG-ERP组件可用于测量认知负荷，在某些情况下，认知负荷本身可以是理解力的类比。皮肤电响应(GSR-ERP)也可以使用，随着值的增加表明认知负荷增加，因此理解力更强。在实施例中，***确定GSR-ERP的显着增加作为理解力的信号。
在实施例中，***使用一般的脑电图仪表活动来测量理解力。例如，β/γ频带(20-70Hz)中增加的活动可以与各种认知过程相关联，包括联想学习。该***确定β和γ频带(≥16Hz)中EEG能量的显着增加是理解力增加的信号。
时间
当用户知道正确响应时，与正确猜测时相比，响应时间通常会更快。另外，***使用行为的相对时间来引入场景或叙事的关键组件，以测量理解力。在实施例中，当场景中的元素从模糊变为全等，或者任务/问题在给定时间从不可解决到可解决时，***确定理解力的增加。在实施例中，***特别地在新信息可用之后的时刻确定该信息。***可以进一步基于新信息可用之后的时刻选择适当的时间跨度，以分析在本发明的各种实施例中描述的其他措施。
理解力的发生
理解力的开始可以通过各种措施的状态变化来揭示，包括上面列出的用于衡量理解力程度的那些措施。理解力发生的措施可能不一定与反应时间数据一样精确；而不是识别理解力开始时的时刻，以下测量可以指示用户获得新理解的刺激和响应事件序列中的什么点。例如，如果依赖于正确/不正确的响应，***将使用正确响应的百分比从低基线跳到更高级别的时间点。
***将理解力的开始确定为适当时正确响应的百分比显着增加的时间点。在一个实施例中，使用t检验确定理解力的开始，以比较来自第二时间帧相对于第一时间帧的百分比正确响应或者来自当前N个响应与先前N个响应的百分比正确响应，对于足够大的数量N有统计学意义。
目标检测
在实施例中，当用户检测和/或选择目标，其中知道目标的身份需要理解力时，***确定理解力的开始。另外，***基于指示目标的身份和/或指向目标位置的指向、姿势、面对或凝视的声音或手动响应来确定用户能够适当地检测和/或选择。在实施例中，***将理解力的开始确定为正确识别和/或定位VR/AR/MxR媒体中的目标的点。适用时，其速度或程度应大于偶然的可能性。该***确定理解力的发生率大于特定阈值以表示更大的理解力。另一方面，***可以将理解力的开始率等于或低于特定阈值以减少或缺乏理解力。***基于理解力的发作率确定用户是否理解或不理解媒体内容。
固定持续时间
场景的初始采样接收所有必要的信息来解决问题，但是如果用户卡住，固定的持续时间随着焦点向内转而增加。一旦找到解决方案，固定持续时间就会随着用户恢复正常扫描而下降并通过检查可用信息来验证其解决方案。因此，我们可以通过寻找固定持续时间间隔的峰值并随后发现任何突然下降来估计理解力的开始。如果在与增加的固定持续时间相关联的初始采样之后发现用户恢复与低固定持续时间相关联的正常扫描，则***将这种情况确定为理解力的开始的指示。实例进一步与在相应的VR/AR/MxR媒体中显示的信息组合，以确定理解力的开始。如果实例很少或不存在，则***确定用户没有聚焦，正在随机环顾，和/或不理解媒体。如果实例存在和/或高，则***确定用户是聚焦的，不是随机环顾，和/或正在理解媒体。在实施例中，***将理解力的开始确定为显着更长的固定持续时间(D固定)的时段的结束。
瞳孔扩张
在另一个实施例中，该***使用瞳孔扩张来检测理解力的发作。峰值瞳孔扩张的幅度和时间可分别用于表示理解力的程度和起始。作为一个值得注意的事件，***可以观察到瞳孔的任何显着的扩张，与之前的几到几秒相比。***基于峰值瞳孔扩张的幅度和时间来确定用户是否在开始时理解或不理解媒体内容。
在实施例中，***确定瞳孔直径(S瞳孔)的快速且显着的增加作为理解力的开始。在实施例中，在VR/AR/MxR环境中呈现的媒体的上下文与关于瞳孔扩张的观察结果一起被考虑在内。示例性上下文是当用户被赋予从通过媒体提供的刺激导出新颖含义的任务时。
面部线索
在实施例中，***确定面部表情中的瞬时变化，作为诸如混淆、担忧和集中的状态的开始的指示。在示例性实施例中，用户斜视是混淆的指示，而释放斜视是理解力已经发生的指示。在实施例中，***确定从适当上下文中的理解力的开始，从部分到完全睁开的眼睛的转变(从非零基线显着增加p两眼打开)。***基于从部分睁眼到完全睁眼的过渡来确定用户是否理解或不理解媒体内容。
程度度量突然增加
在各种实施例中，***使用上述措施中的一个或组合来确定理解力的开始。***为此目的采样上述措施。在一个示例中，如果用户突然从理解力的低或基线程度突然升高到理解力的高度，则***可以确定理解力何时开始。在实施例中，理解力的程度基于上述一个或多个措施的组合以识别理解力的水平和开始。在算法上，这可以通过找到具有最大且在统计上显着的理解力度量之前和之后的程度差异的时间来建立。***基于度数度量的突然差异来确定用户是否理解或不理解媒体内容。参数的突然差异大于该参数的历史值的预限定标准偏差。当度量超过预限定标准偏差时，该参数被认为突然改变，从而指示理解力状态的变化(增加或减少)基于参数的值范围。
理解力的失败或缺乏
在实施例中，***确定一些指示理解力失败或普遍缺乏的措施。理解力程度的预期变化或理解力发生的任何迹象的缺失可能表明理解力的失败。***可以识别一些被确定为表示沮丧或搜索开始的新行为。在一个实施例中，体温和/或心率的增加可以在理解力任务期间表示沮丧。
在一个实施例中，***确定与对理解问题的延迟响应相关联的体温和/或心率的显着增加，作为缺乏理解力的信号。***基于与对理解问题的延迟响应相关联的体温和/或心率的预限定增加来确定用户是否理解或不理解媒体内容，作为缺乏理解力的信号。
与理解力无关的眼睛注视位置，特别是以固定持续时间(D_固定明显小于▁D_固定)为特征的非特定搜索，并且用大跳跃对整个任务空间进行扫视(M_扫视显着大于▁M_扫视)可能表示绝望的搜索一些丢失的线索。在实施例中，***将这种情况归因于缺乏理解力。
在实施例中，***确定随机或非聚焦搜索，其特征在于显着短暂的固定持续时间和显着大的扫视幅度，表示在适当的上下文中缺乏理解力。***基于以显着短暂的固定持续时间和显着大的扫视幅度为特征的随机或非聚焦搜索来确定用户是否理解或不理解媒体内容。
其他相关性
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性，以及较不模糊的理解力措施，例如从多个替代方案中做出正确的选择。在一些示例中，上面描述的一些措施是特定于上下文的，并且可以或多或少地稳健或甚至发出与预期相反的信号。然而，用户能够以比预期更好的速率正确回应的能力可以被视为理解力和理解的标志。***可以关联所有可用的度量并寻找理解力的趋势。因此，在VR/AR/MxR环境中呈现的媒体被修改，以便为用户和/或一组用户增加其可理解性。
在1904，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在1906，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映VR、AR和/或MxR媒体的用户减少的理解力：
睑裂高度减少
增加眨眼率
眨眼率的变化率增加
部分眨眼与完全眨眼的比率增加
减少瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
降低固定初始和最终位置的目标相关性
增加固定持续时间变化率
降低了扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
反扫视/前扫视的比率增加
增加抑制返回
屏幕距离增加
减少目标相关头部方向
减少目标相关头部固定
减少目标相关的肢体运动
转入重量分布
减少α/δ脑波比
增加α/θ脑波比
增加体温
呼吸率增加
理解力减少
低血氧饱和度
心率增加
血压的变化
发声增加
增加反应时间
***可以基于以下改变来确定用户在VR、AR和/或MX环境中具有增加的媒体理解力的程度：
瞳孔大小的变化率增加
共聚散度的增加率
离散聚散度的增加率
增加固定率
增加固定计数
扫视速度增加
扫视变化率增加
扫视计数增加(扫视数量)
平滑追踪增加
另外，***可以基于以下改变结合特定类型的用户任务来推断用户正在经历增加或减少的媒体理解力。因此，***分析下面列出的数据类型以及所参与的特定任务类型，以确定用户是否正在增加或减少他或她的理解力水平。
增加固定持续时间
扫视幅度减少(扫视距离)
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；并改变嗅觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定改善理解力所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在1908，随时间确定的所述多个数据的变化可用于确定用户的理解力水平的变化程度。理解力水平的变化可能表明理解力增强或理解力减弱。
在1910，可以基于减少(或增强)理解力的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映减少的理解力的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认理解力的改善：睑裂高度的增加；眨眼率下降；眨眼率的变化率下降；部分眨眼与完全眨眼的比率下降；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；增加固定初始和最终位置的目标相关性；任务需要增加固定持续时间；固定持续时间的变化率下降；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；反扫视/前扫视的比率下降；减少抑制返回；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；降低α/θ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；目标面部表情；和目标味觉处理。
在实施例中，可以定义理解力的特定百分比或改进范围。在实施例中，可以在1912处获取数据的附加值，以便在1910处执行修改之后在1914处进一步确定数据随时间的变化。在1916，可以获得理解力中的新程度/百分比/范围的改进。在1918，***确定理解力的改善是否在指定范围或百分比内。如果确定改进不充分，则***可以循环回到步骤1910以进一步修改媒体。因此，可以迭代地修改媒体1910并且可以测量理解力，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
示例使用2：修改媒体以便从该媒体中的信息中减少用户对疲劳的体验
在一个实施方案中，通过观察疲劳的可见迹象以及指示疲劳的生理测量来测量使用者对疲劳的体验和/或疲劳的严重性。用户的疲劳程度也可以从用户的行为中推断出来，包括行为的细微变化，以及用户的自主和电生理测量。根据信息来源，疲劳的措施可以告知用户疲劳或者用户正在变得疲劳。一些行为，如打哈欠、点头、闭眼和某些电生理模式，即使在数据记录会话开始时，也可以很容易地发出用户疲劳的少量信号。在实施例中，确定用于比较的基线，其考虑许多其他测量中的个体可变性，以便推断出一个人是否正变得疲劳。例如，由于与疲劳很少或没有任何关系的多种原因，用户的反应时间可能很慢。在该示例中，观察到用户的反应时间在一段时间内变得越来越慢，这可能表明疲劳。
更具体地，本发明描述了提供给用户以修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便从该媒体传送的信息中减少疲劳的度量。图20示出了根据本发明的一些实施例的描述用于修改媒体以便减少疲劳的示例性过程的流程图。在2002，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器配置为测量味觉和嗅觉处理；
一个或多个传感器来测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置；
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率、初始状态、最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率，初始状态，最终状态和动态变化)；瞳孔位置(包括其初始位置，最终位置)；注视方向；注视位置(包括初始位置和最终位置)；聚散度(包括基于速率，持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置，最终位置)；固定持续时间(包括变化率)；固定率，固定计数，扫视位置(包括其变化率，初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括其距离，反扫视或前扫视)；前扫视(包括其速率与反扫视)；反扫视(包括其速率与前扫视)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小，方向和/或相关性)；扫视率，包括扫视计数，追踪眼球运动(包括它们的起始，持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率，初始分布和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率，初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率，初始心率和/或最终心率)；血压；发声(包括它的音高、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
为了探究用户对疲劳的度量，***根据先前详述的这些度量应用理解力，参与或其他衍生状态的变化度量。消除这些状态与一般疲劳的重叠的重要工具是时间的考虑。预计一天中的时间会影响疲劳的表现和措施，并且当有不同时段的措施可用时，会考虑时间。在测量疲劳时，还考虑会话的持续时间，或更一般地，特定行为的持续时间或给定任务的执行。因此，根据一天中的时间和任务的持续时间，度量将表示疲劳的概率增加。
疲劳的一些措施通常可归类为疲劳的直接测量，以及表明向疲劳状态转变的措施(疲劳的过渡措施)。
可以独立于基线比较来测量疲劳的直接测量。在一些实施方案中，这些是通常与觉醒和睡眠之间的困倦或过渡状态相关的行为和措施。直接测量的实例可包括疲劳的明显迹象和疲劳的生理测量。
可见迹象
可以通过面部和头部的成像来测量疲劳或嗜睡的可见迹象。视频眼动仪可以用于获得这些测量，并且EOG记录也可以捕获一些行为。
头部的点头，尤其是缓慢向下和快速向上的模式同样是疲劳的潜在信号。在一个实施例中，头部缓慢向下移动点头，然后快速向上移动被认为是疲劳的指示。
闭眼或闭眼，尤其是长时间闭眼，可能是疲劳的另一个标志。长时间(大部分)闭眼可以被认为是疲劳的指示。例如，当眼睛至少50％打开的时间比例小于75％(P眼睛打开(其中p两眼打开≥50％)＜0.75)时，***认为用户是疲劳的。
在实施方案中，眼疲劳与干眼症相关。异常低的撕裂时间可能是疲劳的信号。在一些实施方案中，特殊成像方法用于测量眼疲劳。该***将干眼症的显着迹象(例如低撕裂时间)视为眼疲劳的指示。
在实施方案中，打哈欠或其他显着和离散的呼吸指示疲劳。打呵欠或其他孤立的，深度吸入的空气可以指示疲劳状态，并且可以注意时间和发生率。
通过眼球运动确定了向疲劳过渡的一个明显迹象。在一个实施例中，***确定扫视速度和幅度的减小，以及固定频率的减小，以作为慢眼运动的标志，并因此确定疲劳的发作或增加的迹象。
而且，在一个实施方案中，转变为更短和更高频率的眨眼被认为是疲劳发作的指示。在这种情况下，用户的眼睛开始部分或完全闭合，并且眨眼从正常模式变为一系列小而快速的节奏眨眼。
在另一个实施例中，突然的垂直眼睛运动被认为是疲劳的指示。
转换到疲劳状态的用户可以显示向无限远(零共聚散度)漂移的凝视深度和可能不再跟踪移动刺激或可能不响应刺激外观的眼睛运动。因此，在另一个实施例中，长时间朝向无限远的3-D注视深度被认为是疲劳的指示。
生理措施
生理传感器可用于确定疲劳的生理指示。
在一个实施例中，心率和/或体温的显着降低与睡眠相关，并且当用户在清醒时显示这些标志时被认为是疲劳的指示。
在一个实施例中，低频EEG信号中的增加的能量(例如，慢波睡眠模式)被解释为疲劳的信号。例如，低频(＜10Hz)EEG能量增加和高频(≥10Hz)EEG能量减少的权衡是疲劳的一种表现。
基于与建立的基线的显着偏差，可以根据行为和其他状态随时间的变化来确定向疲劳的转变。可通过可见迹象以及行为测量来观察疲劳的过渡性测量。
行为测量
用户对刺激做出反应所花费的时间的增加可以被认为是疲劳的指示。另外，用户响应降级的精度和时间的度量可以与疲劳的水平成比例。
在一些实施方案中，在长时间活动期间“绩效”指标的减少被认为是疲劳的指示。
在某些情况下，用户的警惕性会降低，从而导致对刺激的响应速度增加。在这些情况下，在适当的情况下，减少响应的比例被认为是疲劳的指示。
在一个实施方案中，该***确定在作为疲劳信号的长期活动的背景下理解力、参与和其他兴奋状态的显着降低。在一个实施例中，可分散性随着理解力和/或参与度的降低而增加，也表明用户脱离媒体体验。可以基于活动的性质来定义延长的持续时间，但是通常可以从数十分钟到数小时。
其他相关性
在实施例中，该***使用机器学习能够发现行为、生理和/或可见测量之间的新相关性，疲劳的较不模糊的测量，例如瞌睡，以及在长时间和一天的特定时间表征行为的能力。该***可以关联所有可用的措施并寻找疲劳的趋势。因此，为了减少用户和/或一组用户的疲劳，修改VR/AR/MxR环境中呈现的媒体。
在2004，获得上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2006，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映VR、AR和/或MxR媒体的用户所经历的增加的疲劳水平：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活跃状态
部分眨眼与完全眨眼的比率增加
减少瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
减少固定初始和最终位置的相关性
增加固定持续时间
降低了扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
扫视幅度减少(扫视距离)
反扫视/前扫视的比率增加
平滑追踪增加
屏幕距离增加
减少目标相关头部方向
减少目标相关头部固定
减少目标相关的肢体运动
减少α/δ脑波比
低血氧饱和度
血压的变化
增加反应时间
***可以基于以下变化确定用户在VR、AR和/或MxR环境中与媒体交互时正在经历降低的疲劳水平：
增加眨眼率
眨眼率的变化率增加
瞳孔大小的变化率增加
共聚散度的增加率
增加固定持续时间变化率
增加固定率
增加固定计数
增加抑制返回
扫视速度增加
扫视变化率增加
扫视计数增加(扫视数量)
转入重量分布
增加α/θ脑波比
增加体温
呼吸率增加
心率增加
发声增加
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少疲劳所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在2008，随着时间的推移确定的所述多个数据的变化可用于确定用户的疲劳水平的变化程度。疲劳水平的变化可能表明疲劳增加或疲劳减少。
在2010，可以基于减少(或增强)疲劳的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映增加的疲劳的数据的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认疲劳水平的降低：睑裂高度的增加；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；固定率下降；固定计数下降；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度；反扫视/前扫视的比率下降；减少平滑追踪；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常血压；目标相关面部表情；任务相关味觉处理；任务相关嗅觉处理；和任务有关的听觉处理。
在实施方案中，可以定义疲劳的特定百分比或增加范围。在实施例中，可以在2012获取数据的附加值，以便在2010执行修改之后进一步确定2014处的数据随时间的变化。在2016，可以获得疲劳水平的新程度/百分比/范围的增加。在2018，***确定疲劳水平的增加是否在指定范围或百分比内。如果确定增加大于指定范围，则***可以循环回到步骤2010以进一步修改媒体。因此，可以对介质进行迭代修改2010并且可以测量疲劳水平，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用3：修改媒体以改善用户对该媒体中信息的参与
在一个实施例中，用户的参与度是从多个度量中导出的。用户的参与可以被确定为二进制状态-无论用户是否参与。用户与特定应用程序或任务的二进制约束可以通过它们对事件的响应或缺乏来直接测量。此外，上面详述的理解力和疲劳的措施可用于表明这种参与作为理解力和/或疲劳的先决条件。远离应用程序、装置和/或任务朝向环境中的其他事物(即，与其他事物的接合)的行为也可以表示用户是否参与应用程序、装置和/或任务。用户的参与度可以通过观察用户的集中注意力而不是分开的注意力和任务时间的度量来得出。用户的行为可以增强他们对刺激的感知，也可能表明他们的参与度有所提高。表示刺激感知增强的行为可以包括倾斜、减慢眨眼率、眼睛凝视聚散度信号焦点在适当的景深等等。
更具体地，本发明描述了提供给用户以修改VR、AR和/或MxR环境或传统膝上型计算机、移动电话、台式计算机或平板计算环境中的显示媒体的方法、***和软件，以便改进该发明。用户参与该媒体传达的信息。图21示出了根据本发明的一些实施例的描述用于修改媒体以便改善参与的示例性过程的流程图。在2102，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器配置为测量味觉和嗅觉处理；
一个或多个传感器来测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置；
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
被配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率、初始状态、最终状态和动态变化)；眨眼率(包括其变化率和/或部分闪烁与完全闪烁的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括其距离、反扫视或前扫视)；前扫视(包括其速率与反扫视)；反扫视(包括其速率与前扫视)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括它们的起始、持续时间和/或方向)；屏幕距离(包括其变化率、初始位置和/或最终位置)；头部方向(包括其变化率、初始位置和/或最终位置)；头部固定(包括其变化率、初始位置和/或最终位置)；肢体跟踪(包括其变化率、初始位置和/或最终位置)；重量分布(包括其变化率、初始分布和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括它的音高、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
为了探究用户对媒体中某些空间定义的过程的参与，***应用用户正在观察的位置的度量，测量用户花在媒体内的相关区域与媒体中的不相关区域之间的时间比例。
在一个实施例中，用于确定与任务接合的信号的任何措施都表示重要理解力或理解力的开始。理解力的度量可以用来表明这种参与是理解力的先决条件。
作为二进制状态的参与
作为时间的函数，分配关于用户是否与应用程序交互的二进制状态可以取决于较不模糊的提示。指示用户参与二进制状态的度量(或提示)可能包括以下内容：
离散，有意识的回应
在一个实施例中，响应率小于100％或另一个较低的基线响应率被确定为未接合状态的指示。响应速率可以取决于上下文，例如但不限于允许用户可能错过的响应的短暂持续时间的情况。在一些实施方案中，可以期望用户通过诸如鼠标点击或屏幕触摸的手动交互来响应。***记录用户是否在预期用户这样做的任何时间点做出响应。如果用户未能响应，则用户可能不参与该应用程序。
在一些实施方案中，***通过用户提供的正确响应的总百分比来注意到性能的快速变化。性能的快速变化可能表明参与(表现的快速变化增加)或脱离(表现的快速变化减少)。该***可以排除这种性能变化的其他原因，包括但不限于-难度的变化很小或没有变化，以及为了性能改进而减少学***均百分比的显着向上或向下偏差分别被认为是信令参与或脱离。***可以基于响应行为的存在或不存在来确定用户是否参与VR/AR/MxR环境中的媒体内容而不参与。
分心
在一个实施例中，分心行为可以表示脱离，或者从一件物品转向另一件物品的转变。装置与手头任务无关的输入表明开始，并且可能是脱离的持续时间。远离应用、装置或任务的头部或眼睛的定向同样可以指示脱离。返回应用程序、装置或任务可能发出重新参与的信号。***确定远离特定任务或刺激的交互作为指示缺乏参与或脱离。该***基于指示用户远离媒体的身体和眼睛跟踪措施，通过用户注意力的测量来确定由于分心引起的脱离。***可以基于分心行为来确定用户是否正在参与VR/AR/MxR环境中的媒体内容，而不是参与或脱离。
参与程度
用户的参与程度进一步沿着连续维度测量用户与应用程序、装置或任务相关联的程度以排除任何其他内容。可以将该相对度量标准化为记录的值的范围。在一个示例中，将当前项目上的固定持续时间与固定持续时间的分布相比较用作相对度量。或者，在存在分散注意力的刺激的情况下，花费在一个项目上的时间或努力的比率用于确定参与水平。
时间上的任务
在一个实施例中，使用多于一个应用程序或任务来测量用户交互。在实施例中，在这种情况下，与任何应用程序或任务的接合程度被视为与其交互所花费的时间与不与其交互所花费的时间的比率。因此，与未执行任务或处理刺激的时间相比，***可以将相对任务时间确定为执行任务或处理刺激所花费的时间的比例。参与度与相对任务时间的价值成正比。***确定更多地参与任务或应用程序，其中用户花费相对更多的时间来执行它们。***可以基于相对任务时间来确定用户是否参与VR/AR/MxR环境中的媒体内容，而不是参与或脱离。
在一个实施例中，用户在应用程序或任务之间切换，并且为每个应用程序或任务记录响应。在这种情况下，***使用与每个应用程序/任务的交互的数量和/或持续时间来确定与它们的接合程度。因此，***确定可用任务之间的交互比率，作为每个任务的参与时间的指示，作为与每个任务的参与的相对度量。
在一个实施例中，***执行眼睛跟踪。在实施例中，应用、装置或任务与其外部任何东西之间的固定计数和/或持续时间的比率被用作参与水平的度量。因此，***确定刺激和/或视觉区域中的固定计数和/或持续时间的比率，作为指示任务时间的比率，作为与每个刺激或视觉区域的接合的相对量度。
增强感知
一些行为允许用户更好地感知刺激并且可以表明他们与他们的接触程度。在一些实施方案中，***使用面部和/或身体跟踪来测量用户何时以及用户倾向于显示器的程度，或者在保持时使显示器更接近他们的脸部。在一个实施例中，***确定视觉刺激与用户眼睛之间的距离的显着缩短，作为接合开始的指示，以及与基线的比例偏差作为接合水平的指示。***可基于视觉刺激与用户眼睛之间的距离的显着缩短来确定用户在VR/AR/MxR环境中与媒体内容的接合程度。
在一个实施例中，跟踪双眼的注视方向用于测量用户将他们的注视位置会聚在适当深度以观察刺激的程度(这是在凝视是否在适当方向上)。在一个实施例中，***确定朝向适当深度(这里与凝视方向分开考虑)的3-D注视位置的调整，以将刺激视为与该刺激的接合信号。***可基于对适当深度的3-D注视位置的调整来确定用户与VR/AR/MxR环境中的媒体内容中的刺激的接合程度，以查看刺激。
在一些实施方案中，当用户在刺激上保持更严格或稳定的固定时，指示接合的相对量度，这可以帮助发现细微的变化。在一个实施例中，***在监视细微变化或运动或任何变化或运动的精确开始的情况下确定刚性固定，作为接合的指示。***可以基于在监视细微变化或运动的情况下的刚性固定来确定用户与VR/AR/MxR环境中的媒体内容中的刺激的接合程度。
当用户研究刺激的细节时，刺激附近和周围的更大采样可能表明参与度增加。在一个实施例中，***基于焦点区域(也在“理解力”的上下文中描述)确定参与度，其中焦点区域与所讨论的刺激的空间范围相关。***可以基于用户在媒体内的关注区域来确定用户与VR/AR/MxR环境中的媒体内容中的刺激的接合程度。
在一个实施例中，***确定显着小于基线的眨眼率，作为与正在进行的任务的接合的指示。或者，***确定在固定区域内的用户的给定眼睛注视位置估计，以作为与正在进行的任务的接合程度的指示。眨眼率的降低可以表明参与度增加。***可以基于用户的眨眼率和/或眼睛注视位置来确定用户在VR/AR/MxR环境中与媒体内容的接合程度。
有时用户可以保持呼吸以减少身体运动以便聚焦在媒体上，以监测媒体内刺激的细微变化。在一个实施例中，***在监视的情况下确定降低或保持呼吸作为指示参与。***可以基于用户的呼吸确定用户在VR/AR/MxR环境或传统膝上型计算机、移动电话、台式计算机或平板计算环境中与媒体内容的接合程度，同时监视媒体内的刺激的变化。
偏爱
当在媒体内呈现两个或更多个替代方案时，用户可能更喜欢一个或多个对象。即使只有一个感兴趣的对象，给定适当的数据源，***可以在将感兴趣的对象与用户的直接环境中的任何其他地方进行比较的情况下确定以下措施，以得出参与度。
除了通常更多地关注用户偏好的对象之外，还可以使用一些其他眼睛跟踪测量来估计偏好，并且通过扩展，参与。在一个实施例中，***预测，在做出选择之前，用户的最后一个固定位于所选项目上。因此，***确定当用户做出选择时，选择的所选刺激上的最后固定的持续时间被定义为与用户与该选择和所选任务的参与程度成比例。在这种情况下，选择与以下选择相关联，并且消除了本身不指示偏好的“选择”实例的情况(例如，用户可以选择在没有明确选择的情况下继续)。或者，在决策过程开始时，第一固定的持续时间与最终选择相关。***可以基于用户做出选择时对任何刺激的第一次固定的持续时间确定用户在VR/AR/MxR环境或传统膝上型电脑、移动电话、台式机或平板电脑计算环境中与媒体内容的接合程度，其中持续时间被确定为与所选任务的参与程度成比例。
在实施例中，更广泛的眼睛注视模式可以在制作之前揭示选择，并且即使不存在刺激时眼睛注视的模式也可以影响选择。而且，在实施例中，***使用对对象内的特征的偏好来预测对具有类似特征的新对象的偏好。
除了注视方向之外，可以基于其他眼睛跟踪数据进行其他偏好/参与度量。在一个实施例中，***确定在决策期间瞳孔扩张将增加以支持选择任务，以测量用户的参与水平。***可以在做出决定时基于从眼睛跟踪数据观察到的瞳孔扩张来确定用户在VR/AR/MxR环境或传统膝上型计算机、移动电话、台式计算机或平板计算环境中与媒体内容的接合程度。
偏好/参与的另一种衡量标准可能来自眨眼。虽然已经讨论过当用户从开发的早期开始接受视觉刺激时禁止眨眼，但是***还可以确定增加的眨眼以及与任务相关的区域上的更少的固定与脱离相关联。脱离也可以通过观察随后的错误来测量，在眨眼显着增加之后。***可以基于眼睛眨眼的显着增加来确定用户在VR/AR/MxR环境或传统膝上型电脑、移动电话、台式机或平板电脑计算环境中与媒体内容的脱离程度。
除了先前在理解力的上下文中提到的事件相关信号可以指示对刺激的关注之外，***可以确定一些可以指示决策和/或选择的更一般化的测量。可以假设这些措施与某些情况下的参与成比例。在一个实施例中，***确定在选择任务期间增加的EEG活动的双侧阶段同步，作为指示与任务的参与度增加的指示。***可以基于诸如EEG的电生理学测量来确定用户在VR/AR/MxR环境或传统膝上型计算机、移动电话、台式计算机或平板计算环境中与媒体内容的接合程度。
除了EEG之外，***可以使用其他生理和自主测量来确定接合水平。在一个实施例中，***确定增加的接合水平与心率的增加成比例。***可以使用血压、血氧饱和度和呼吸率的类似变化，以及皮肤电导(GSR)的变化。因此，在实施例中，***将自主觉醒的增加确定为指示增加的接合，并且在唤醒时减少唤醒。***可以基于自主觉醒的变化来确定用户在VR/AR/MxR环境或传统膝上型计算机、移动电话、台式计算机或平板计算环境中与媒体内容的接合程度。
其他相关性
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性，以及较不模糊的接合符号，例如一致的交互、成比例的高任务时间和感知增强行为。在一些示例中，上面描述的一些措施是特定于上下文的，并且可以或多或少地稳健或甚至发出与预期相反的信号。因此，与较少模糊的参与信号具有显着相关性的衡量标准本身可能变得不那么模糊，并成为识别参与的新方法。因此，修改VR/AR/MxR环境中呈现的媒体，以便为用户和/或一组用户增加其参与因子。
在2104，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2106处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映用户与VR、AR和/或MxR媒体的增加的参与：
睑裂变化率下降
眨眼率的变化率增加
瞳孔大小的变化率增加
共聚散度的增加率
离散聚散度的增加率
增加固定持续时间变化率
增加固定率
增加固定计数
增加抑制返回
扫视速度增加
扫视变化率增加
扫视计数增加(扫视数量)
平滑追踪增加
增加α/θ脑波比
***可基于以下一个或多个变化确定用户在VR、AR和/或MX环境中与媒体的参与度降低：
低距离睑裂休息状态
低距离睑裂活跃状态
增加眨眼率
部分眨眼与完全眨眼的比率增加
减少瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
减少固定初始和最终位置的相关性
减少固定持续时间
降低了扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
扫视幅度(扫视距离)减少，取决于任务
反扫视/前扫视的比率增加
屏幕距离增加
减少目标相关头部方向
减少目标相关头部固定
减少目标相关的肢体运动
转入重量分布
减少α/δ脑波比
增加体温
呼吸率增加
低血氧饱和度
心率增加
低血压
发声增加
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定改善参与所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在2108处，可以使用随时间确定的所述多个数据的变化来确定用户的参与度的变化程度。参与度的变化可能表明参与度提高或参与度降低。
在2110，可以基于减少(或增强)参与的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映参与度降低的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认理解力的改善：睑裂高度的增加；眨眼率下降；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；提高固定初始和最终位置的相关性；根据任务减少固定持续时间；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；基于任务增加扫视幅度；反扫视/前扫视的比率下降；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务有关的听觉处理。
在实施例中，可以定义参与的特定百分比或范围的改善。在实施例中，可以在2112处获取数据的附加值，以便在2110处执行修改之后在2114处进一步确定数据随时间的变化。在2116处，可以获得新的学位/百分比/参与改善范围。在2118，***确定接合的改善是否在指定范围或百分比内。如果确定改进不充分，则***可以循环回到步骤2110以进一步修改媒体。因此，可以迭代地修改媒体2110并且可以测量参与，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用4：修改媒体以便在与媒体交互时提高用户的整体性能
在一个实施例中，测量用户的整体表现，并且修改媒体以便改善用户的表现。可以以用户的视觉表现、理解能力、参与水平、疲劳和各种其他参数的组合形式确定用户的表现，这些参数在与包括VR/AR/MxR环境中的媒体或传统膝上型电脑、移动电话、台式机或平板计算环境的媒体交互时直接或间接地影响用户的整体性能。
在一个实施例中，可以处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户的整体性能。数据可以指示在用户与媒体交互期间评估的性能水平。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便优化整体性能，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，数据被保存并用于修改VR/AR/MxR媒体或传统膝上型电脑、移动电话、台式机或平板电脑计算媒体的呈现给具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户以修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体交互时提高该用户的整体性能。图22示出了根据本发明的一些实施例的描述用于修改媒体以便改善整体性能的示例性过程的流程图。在2202，如下面进一步描述的，获得多个数据的第一值。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器配置为测量味觉和嗅觉处理；
一个或多个传感器来测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置；
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率，初始状态，最终状态和动态变化)；瞳孔位置(包括其初始位置，最终位置)；注视方向；注视位置(包括初始位置和最终位置)；聚散度(包括基于速率，持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置，最终位置)；固定持续时间(包括变化率)；固定率，固定计数，扫视位置(包括其变化率，初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括其距离，反扫视或前扫视)；前扫视(包括其速率与反扫视)；反扫视(包括其速率与前扫视)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小，方向和/或相关性)；扫视率，包括扫视计数，追踪眼球运动(包括它们的起始，持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率，初始分布和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率，初始温度和/或最终温度)；呼吸率(包括其变化率，初始率和/或最终率)；血氧饱和度；心率(包括其变化率，初始心率和/或最终心率)；血压；发声(包括它的音高，响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学***板计算环境中呈现的媒体。
在2204，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2206处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映用户在与VR、AR和/或MxR媒体交互时的性能的整体改善。：
睑裂变化率下降
瞳孔大小的变化率增加
共聚散度的增加率
离散聚散度的增加率
增加固定持续时间变化率
增加固定率
增加固定计数
扫视速度增加
增加扫视数量(扫视的数量)
平滑追踪增加
***可以基于以下一个或多个变化确定用户在VR、AR和/或MxR环境中与媒体交互时具有降低的总体性能水平：
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
降低固定初始和最终头寸的相关性
固定持续时间的变化，基于上下文
降低了扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
扫视的变化率增加
屏幕距离增加
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加α/θ脑波比
增加体温
呼吸率增加
低血氧饱和度
心率增加
低血压
发声增加
增加反应时间
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；并改变嗅觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定改善整体用户性能所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据变化。
在2208，可以使用随时间确定的所述多个数据的变化来确定用户的整体性能水平的变化程度。总体性能水平的变化可能表明性能提高或性能降低。
在2210，可以基于降低(或增强)性能的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映性能降低的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标，以确认睑裂高度的理解力增加；眨眼率下降；降低眨眼率的变化率；增加目标相关学生的初始和最终位置；增加目标相关注视方向；增加目标相关凝视的初始和最终位置；增加目标相关固定的初始和最终位置；减持固定持续时间；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视变化率下降；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务有关的听觉处理。
在实施例中，可以定义整体性能的特定百分比或改进范围。在实施例中，可以在2212处获取数据的附加值，以便在2210处执行修改之后在2214处进一步确定数据随时间的变化。在2216处，在整体上改进新的程度/百分比/范围可以获得表现。在2218，***确定总体性能的改善是否在指定范围或百分比内。如果确定改进不充分，则***可以循环回到步骤2210以进一步修改媒体。因此，可以迭代地修改媒体2210并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用5：修改媒体以便减少与视觉前庭不匹配继发的视觉诱发的晕动病相关 的症状
在一个实施例中，测量用户的视觉-前庭不匹配继发的视觉诱发运动疾病(VIMS)的症状，并且修改媒体以减少用户的症状。
在一个实施例中，可以处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户体验的VIMS的症状。数据可以指示在用户与媒体交互期间或之后显示的症状水平。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少VIMS症状，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体交互期间或之后减少用户的视觉-前庭不匹配继发VIMS的症状。图23示出了描述根据本发明的一些实施例的用于修改媒体以便减少继发于视觉-前庭不匹配的VIMS的症状的示例性过程的流程图。在2302，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器配置为测量味觉和嗅觉处理；
一个或多个传感器来测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率、初始状态、最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括其距离、反扫视或前扫视)；前扫视(包括其速率与反扫视)；反扫视(包括其速率与前扫视)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括它们的起始、持续时间和/或方向)；屏幕距离(包括其变化率、初始位置和/或最终位置)；头部方向(包括其变化率、初始位置和/或最终位置)；头部固定(包括其变化率、初始位置和/或最终位置)；肢体跟踪(包括其变化率、初始位置和/或最终位置)；重量分布(包括其变化率、初始分布和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括它的音高、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，该***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性，以及较不模糊的症状测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的测量并查找VIMS症状的整体显示趋势。因此，修改VR/AR/MxR环境中呈现的媒体，以便为用户和/或一组用户减少继发于视觉-前庭不匹配的VIMS症状。
在2304，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2306处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或MxR媒体交互时VIMS症状的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
部分眨眼的比率增加到完全眨眼
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
降低固定初始和最终位置的相关性
固定持续时间或增加共聚散度持续时间的变化
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加平滑追踪
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加体温
增加呼吸率
低血氧饱和度
增加心率
血压变化
减少反应时间
在基于以下一个或多个变化的VR、AR和/或MX环境中与媒体交互时，***可以确定用户的VIMS症状的减少：
增加眨眼率
眨眼率的变化率增加
瞳孔大小的变化率增加
共聚散度的增加率
离散聚散度的增加率
增加固定持续时间变化率
增加固定率
增加固定计数
降低扫视初始和最终位置的目标相关性
增加扫视速度
增加扫视率的变化
增加扫视数量(扫视的数量)
增加α/θ脑波比
增加发声
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少用户VIMS症状所需的变量，但这些列表并非详尽无遗，可能包括其他数据采集组件、数据类型和数据变化。
在2308处，随时间确定的所述多个数据的变化可用于确定用户的VIMS症状的变化程度。VIMS症状的改变可能表明症状减轻或症状加重。
在2310，可以基于减少(或增强)症状的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映VIMS症状增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认VIMS症状的减少：睑裂高度增加；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；提高固定初始和最终位置的相关性；减持固定持续时间；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；减少平滑追踪；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务有关的听觉处理。
在实施例中，可以定义与视觉前庭不匹配继发的视觉诱发的晕动病相关的症状的特定百分比或减小范围。在实施例中，可以在2312处获取数据的附加值，以便在2310处执行修改之后在2314处进一步确定数据随时间的变化。在2316处，可以获得与视觉前庭不匹配继发的视觉诱发的晕动病相关的症状的新的程度/百分比/范围的减小。在2318，***确定与视觉前庭不匹配继发的视觉诱发的晕动病相关的症状的减少是否在指定的范围或百分比内。如果确定减少不足，则***可以循环回到步骤2310以进一步修改媒体。因此，可以迭代地修改媒体2310并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用7：修改媒体以减少与创伤后应激障碍(PTSD)相关的症状
创伤后应激障碍(PTSD)是个体在暴露于创伤事件后发展的病症。在本发明的实施例中，SDEP允许从硬件和软件源收集生物信息，在如PTSD等条件，利用机器和深度学习技术，结合图像处理和机器学习，了解多种感觉和生理输入和输出如何影响视觉和人类行为。通过这些学习，人们可以理解处于深度亲密的神经生理状态的人。可以利用学习来修改媒体以便解决与PTSD相关联的用户症状。在进一步的实施例中，学习用于通过HMD调制光刺激，以允许/使人体通过神经生理+/-电子刺激(例如通过神经编程)感知信息。在本发明的实施例中，通过使用具有振幅、深度、面积和频率的直接、反射、衍射、折射的光/声音，通过神经生理学+/-电子刺激来调制通信。另外，通过使用直接、间接的触摸/味道/气味、具有振幅、频率、深度和面积，通过神经生理学+/-电子刺激+/-化学刺激来调节通信。
在本发明的实施例中，基于与生物电子植入物所述相同的原理，这些光场的方向、位置、幅度、频率、深度、图案和组合允许刺激视网膜-皮质-皮质***的某些视觉和存取视觉通道，允许部分激活和编码视觉的不同方面，包括但不限于立体视觉(深度)、颜色、对比度、尺寸辨别、物体/面部识别、边界检测、动眼神经功能、瞳孔功能、视野、视觉记忆，通过绕过受损通道有利于完整通道和/或开发新通道的神经可塑性，以及用于神经、心脏、听觉、嗅觉、触觉、味觉、肌肉、内分泌(激素调节-例如视网膜神经节细胞亚型刺激昼夜节律复位)、代谢、免疫、心理学/精神病学***的治疗方法的神经编程。
本发明的实施例还适用于不同类型的视力植入物，例如但不限于PRIMA、IRISI和IRISII，以及可以固定在视网膜之下或之外的其他视力植入物。
在一个实施例中，具有PTSD的个体与***接口以理解多个感觉和生理输入和输出如何影响个体的视觉和人类行为。在这个例子中，SDEP数据库可用于开发创伤后应激障碍的基准，包括增加的扫视眼球运动、瞳孔扩张、对更长波长的颜色/红色RGB的颜色敏感度、增加心率、增加基础体温、对双耳状态中升高的强度水平的听觉敏感度、以及增加对具有高RGB的图像/视频/场景中的图案的敏感度、降低背景/前景亮度以及多个对象识别要求。在一个例子中，随着瞳孔反应性的增加和对蓝光的敏感性增加(RGB为0、0、1)，增加心率>100bpm，基础体温大于98.6华氏度，可以作为创伤后应激障碍相关焦虑的基准，增加抗扫视错误。基于数据，通过使用滴定的视觉和非视觉刺激通过SDEP呈现治疗剂，实时动态交换刺激(RDES)可以通过与生物电子植入物的通信刺激神经生理学视网膜，通过通过HMD的通信。
这种刺激的治疗效果可以相对于扫视眼球运动的减少/正常化、瞳孔反应、颜色敏感性、心率、基础体温、听觉灵敏度和图像灵敏度的基准来测量。
在一个实施例中，测量用户的PTSD症状，并且修改媒体以减少用户的症状。
在一个实施例中，可以处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户经历的PTSD的症状。数据可以指示在用户与媒体交互期间或之后显示的症状水平。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少PTSD症状，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少用户的PTSD症状。图24示出了根据本发明的一些实施例的描述用于修改媒体以便减少PTSD症状的示例性过程的流程图。在2402，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器配置为测量味觉和嗅觉处理；
一个或多个传感器来测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率，初始状态，最终状态和动态变化)；瞳孔位置(包括其初始位置，最终位置)；注视方向；注视位置(包括初始位置和最终位置)；聚散度(包括基于速率，持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置，最终位置)；固定持续时间(包括变化率)；固定率，固定计数，扫视位置(包括其变化率，初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度包括其距离，反扫视或前扫视)；前扫视(包括其速率与反扫视)；反扫视(包括其速率与前扫视)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小，方向和/或相关性)；扫视率，包括扫视计数，追踪眼球运动(包括它们的起始，持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率，初始分布和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率，初始温度和/或最终温度)；呼吸率(包括其变化率，初始率和/或最终率)；血氧饱和度；心率(包括其变化率，初始心率和/或最终心率)；血压；发声(包括它的音高，响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，该***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性，以及较不模糊的症状测量。在一些示例中，上述一些措施是特定于上下文的。该***可以关联所有可用的测量并寻找PTSD症状的整体显示趋势。因此，为了减少用户和/或一组用户的PTSD症状，修改VR/AR/MxR环境中呈现的媒体。
在2404，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2406处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或MxR媒体交互时PTSD症状的发生的增加：
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
降低固定初始和最终位置的相关性
增加固定持续时间变化率
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
增加α/θ脑波比
增加体温
增加呼吸率
增加心率
增加发声
增加反应时间
在基于以下一个或多个变化的VR、AR和/或MX环境中与媒体交互时，***可以确定用户的PTSD症状的发生减少：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
共聚散度的增加率
离散聚散度的增加率
增加固定持续时间
增加固定率
增加固定计数
增加平滑追踪
降低α/δ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：增加抑制返回；低血氧饱和度；低血压；面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少用户PTSD症状发生所需的变量，但这些列表并非详尽无遗且可能包括其他数据采集组件、数据类型和数据更改。
在2408处，可以使用随时间确定的所述多个数据的变化来确定用户的PTSD症状的发生的变化程度。用户PTSD症状发生的变化可能表明发生率降低或发生率增加。
在2410，可以基于PTSD症状的减少(或增强)发生程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映PTSD症状发生率增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认PTSD症状的减少：睑裂高度增加；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；提高固定初始和最终位置的相关性；减持固定持续时间；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；减少平滑追踪；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关听觉处理。
在实施方案中，可以定义与PTSD相关的症状的特定百分比或范围的减少。在实施例中，可以在2412处获取数据的附加值，以便在2410处执行修改之后在2414处进一步确定数据随时间的变化。在2416处，可以获得与创伤后应激障碍相关的症状减少的新程度/百分比/范围。在2418，***确定与PTSD相关的症状的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤2410以进一步修改媒体。因此，可以迭代地修改介质2410并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用8：修改媒体以便减少与调节功能障碍有关的双重视力
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户体验的与调节功能障碍有关的双重视力的程度。该数据可以进一步用于为用户修改VR/AR/MxR媒体，以便减少与调节功能障碍有关的双重视力，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于在VR、AR和/或MxR环境中修改所显示的媒体的方法、***和软件，以便在与该媒体的交互期间减少用户的与调节功能障碍有关的双重视力。图25示出了根据本发明的一些实施例的描述用于修改媒体以便减少用户的双重视觉的示例性过程的流程图。在2502，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率、初始状态、最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括其距离、反扫视或前扫视)；前扫视(包括其速率与反扫视)；反扫视(包括其速率与前扫视)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括它们的起始、持续时间和/或方向)；屏幕距离(包括其变化率、初始位置和/或最终位置)；头部方向(包括其变化率、初始位置和/或最终位置)；头部固定(包括其变化率、初始位置和/或最终位置)；肢体跟踪(包括其变化率、初始位置和/或最终位置)；重量分布(包括其变化率、初始分布和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括它的音高、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，该***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性，以及较不模糊的症状测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并查找用户的与调节功能障碍有关的双重视力体验的趋势。因此，在VR/AR/MxR环境中呈现的媒体被修改，以便为用户和/或一组用户减少用户的双重视觉。
在2504，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2506处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或交互时的双重视觉的增加。
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
共聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间
增加固定持续时间变化率
增加固定率
增加固定计数
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加α/θ脑波比
增加体温
增加呼吸率
低血氧饱和度
增加心率
低血压
增加反应时间
***可基于以下一个或多个变化确定用户在VR、AR和/或MX环境中与媒体交互时双重视力的降低：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
离散聚散度的增加率
增加平滑追踪
增加屏幕距离
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少复视所需的变量，但这些列表并非详尽无遗，可能包括其他数据采集组件、数据类型和数据变化。
在2508处，随时间确定的所述多个数据的变化可用于确定用户双重视觉的变化程度。双重视力的变化可能表明与调节性功能障碍相关的双视力减弱或双重视力增强。
在2510，可以基于减少(或增强)双重视觉的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映与调节功能障碍有关的双重视力的增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认复视的减少：眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；共聚散度降低率；提高固定初始和最终位置的相关性；减持固定持续时间；固定持续时间的变化率；固定率下降；固定计数；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；扫视计数下降；眼球重新对齐或改善对齐和协调的眼球运动；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关听觉处理。
在实施方案中，可以定义与复视相关的症状的特定百分比或范围的减少。在实施例中，可以在2512处获取数据的附加值，以便在2510处执行修改之后在2514处进一步确定数据随时间的变化。在2516处，可以获得与双视相关的症状的新程度/百分比/范围减少。在2518，***确定与调节功能障碍有关的双重视力的减小是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤2510以进一步修改媒体。因此，可以迭代地修改媒体2510并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用9：修改媒体以便减少由于无意识外周视野刺激引起的视觉障碍
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户体验到的由于无意识外周视野刺激引起的视觉障碍的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少视觉疲劳，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与媒体交互期间减少用户由于无意识外周视野刺激引起的视觉障碍的体验。图26示出了根据本发明的一些实施例的描述用于修改媒体以便减少视觉疲劳的示例性过程的流程图。在2602，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率、初始状态、最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率、初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率、初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。该***可以关联所有可用的测量，并查找由于意外的***视野而导致视觉疲劳的用户体验趋势。因此，在VR/AR/MxR环境中呈现的媒体被修改，以便为用户和/或一组用户减少用户的视觉疲劳。
在2604，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2606处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映视觉疲劳在与VR、AR和/或MxR媒体交互时的增加：
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
共聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间
增加固定持续时间变化率
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加平滑追踪
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
低血氧饱和度
增加心率
低血压
增加反应时间
***可基于以下一个或多个变化确定用户在与VR、AR和/或MX环境中的媒体交互时视觉疲劳的减少：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
离散聚散度的增加率
增加固定率
增加固定计数
增加扫视数量(扫视的数量)
增加屏幕距离
降低α/δ脑波比
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：增加体温；增加呼吸率；增加发声；面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少视觉疲劳所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在2608处，随时间确定的所述多个数据的变化可用于确定用户的视觉疲劳的变化程度。由于无意的外周视野，视觉疲劳的变化可能表明视觉疲劳减少或视觉疲劳增强。
在2610，可以基于视觉疲劳的减少(或增强)程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决由于非预期的***视野而反映视觉疲劳增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认视觉疲劳的减少：眨眼率的变化率降低；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；共聚散度降低率；提高固定初始和最终位置的相关性；减持固定持续时间；固定持续时间的变化率；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；减少平滑追踪；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关听觉处理。
在实施例中，可以定义由于无意识外周视野刺激引起的视觉障碍的特定百分比或减小范围。在实施例中，可以在2612处获取数据的附加值，以便在2610处执行修改之后在2614处进一步确定数据随时间的变化。在2616处，可以获得由于无意识外周视野刺激引起的视觉障碍的新程度/百分比/减少范围。在2618，***确定视觉疲劳的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤2610以进一步修改媒体。因此，可以迭代地修改介质2610并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用10：修改媒体以减少过度蓝光暴露引起的激素失调
蓝光曝光已被证明会影响健康。通过屏幕装置传播的波浪的长时间暴露可以以各种方式破坏昼夜节律并影响健康，包括对激素的影响。据信蓝光的作用导致体内褪黑激素的产生减少。长期暴露于蓝光也被认为会对眼睛健康产生负面影响。
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户经历的过度蓝光暴露引起的激素失调的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少激素失调，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少用户的过度蓝光暴露引起的激素失调。图27示出了描述根据本发明的一些实施方案的用于修饰培养基以减少激素失调的示例性过程的流程图。在2702，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并查找用户的过度蓝光暴露引起的激素失调的趋势。因此，为了减少用户和/或一组用户的激素失调，修改VR/AR/MxR环境中呈现的媒体。
在2704，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2706处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或MxR媒体交互时激素失调的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
部分眨眼的比率增加到完全眨眼
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加平滑追踪
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加体温
增加呼吸率
低血氧饱和度
增加心率
低血压
增加反应时间
在基于以下一个或多个变化的VR、AR和/或MX环境中与媒体交互时，***可以确定用户的激素失调减少：
增加眨眼率
眨眼率的变化率增加
瞳孔大小的变化率增加
共聚散度的增加率
增加固定持续时间变化率
增加固定率
增加固定计数
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：增加发声；面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；并改变嗅觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少激素失调所需的变量，但这些列表并非详尽无遗，可能包括其他数据采集组件、数据类型和数据的变化。
在2708，随着时间的推移确定的所述多个数据的变化可用于确定用户的激素失调的变化程度。激素失调的变化可能表明激素失调减少或激素失调增加，这是由于过量的蓝光照射引起的。
在2710，可以基于减少(或增强)激素失调的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映过度蓝光暴露引起的激素失调的增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认激素失调减少：睑裂高度增加；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；减持固定持续时间；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；减少平滑追踪；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关听觉处理。
在实施例中，可以定义过度蓝光暴露引起的激素失调的特定百分比或减小范围。在实施例中，可以在2712获取数据的附加值，以便在2710处执行修改之后在2714处进一步确定数据随时间的变化。在2716处，可以获得过度蓝光暴露引起的激素失调的新程度/百分比/减少范围。在2718，***确定激素失调的减少是否在指定的范围或百分比内。如果确定减少不足，则***可以循环回到步骤2710以进一步修改媒体。因此，可以迭代地修改媒体2710并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用11：修改介质以降低从过度曝光到屏幕显示的潜在光毒性
长时间暴露于屏幕显示被认为增加了对用户的光毒性的可能性。在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的光毒性的可能性。数据可以进一步用于修改用户的VR/AR/MxR介质，以降低光毒性的可能性，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少过度暴露于屏幕显示的潜在光毒性。。图28示出了根据本发明的一些实施例的描述用于修改介质以降低光毒性可能性的示例性过程的流程图。在2802，获取多个数据的第一值，如下面进一步描述的。在实施例中，使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。该***可以关联所有可用的测量，并寻找过度暴露于屏幕显示的光毒性趋势。因此，为了减少用户和/或一组用户的光毒性，修改VR/AR/MxR环境中呈现的媒体。
在2804，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2806，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或MxR介质交互时光毒性的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间
增加固定持续时间变化率
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加平滑追踪
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
增加α/θ脑波比
增加体温
增加呼吸率
增加心率
低血压
增加反应时间
***可以基于以下一个或多个变化确定在VR、AR和/或MX环境中与媒体交互时光毒性的降低：
共聚散度的增加率
增加固定率
增加固定计数
增加扫视数量(扫视的数量)
降低α/δ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可包括但不限于：低血氧饱和度；增加发声；面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定降低光毒性所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在2808，随时间确定的所述多个数据的变化可用于确定光毒性的变化程度。光毒性的变化可能表明过度暴露于屏幕显示器时光毒性降低或光毒性增强。
在2810，可以基于减少(或增强)光毒性的程度来修改呈现给用户的媒体。在实施例中，可以修改介质以解决数据中的所有变化，这些变化反映了由于过度暴露于屏幕显示而导致的光毒性的增加。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认光毒性的降低：陡裂高度增加；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；减持固定持续时间；固定持续时间的变化率；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；减少平滑追踪；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关听觉处理。
在实施方案中，可以定义过度暴露于屏幕显示器的光毒性降低的特定百分比或范围。在实施例中，可以在2812处获取数据的附加值，以便在2810处执行修改之后在2814处进一步确定数据随时间的变化。在2816处，可以获得过度暴露于屏幕显示器的光毒性降低的新程度/百分比/范围。在2818，***确定光毒性的降低是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤2810以进一步修改媒体。因此，可以迭代地修改介质2810并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用12：修改介质以减少恶心和/或胃部不适
长时间暴露于屏幕显示可能导致恶心和/或胃部不适。在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的恶心和/或胃部不适的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以减少恶心和/或胃部不适，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少恶心和/或胃部不适。图29示出了根据本发明的一些实施例的描述用于修改介质以减少恶心和/或胃部不适的示例性过程的流程图。在2902，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。该***可以关联所有可用的测量并寻找恶心和/或胃部不适的趋势。因此，在VR/AR/MxR环境中呈现的媒体被修改，以便为用户和/或一组用户减少恶心和/或胃部不适。
在2904，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在2906，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映与VR、AR和/或MxR媒体交互时恶心和/或胃部不适的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
部分眨眼的比率增加到完全眨眼
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加平滑追踪
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
增加体温
增加呼吸率
低血氧饱和度
增加心率
低血压
增加发声
增加反应时间
***可基于以下一个或多个变化确定在VR、AR和/或MX环境中与媒体交互时恶心和/或胃部不适的减少：
增加眨眼率
眨眼率的变化率增加
瞳孔大小的变化率增加
共聚散度的增加率
增加固定持续时间变化率
增加固定率
增加固定计数
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
降低α/δ脑波比
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少恶心和/或胃部不适所需的变量，但这些列表并非详尽无遗且可能包括其他数据采集组件、数据类型和数据更改。
在2908，随着时间的推移确定的所述多个数据的变化可用于确定恶心和/或胃部不适的变化程度。恶心和/或胃部不适的变化可以表明恶心和/或胃部不适减轻或恶心和/或胃部不适增强。
在2910，可以基于减少(或增强)恶心和/或胃部不适的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映恶心和/或胃部不适的增加的数据的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认恶心和/或胃部不适的减少：睑裂高度增加；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；减持固定持续时间；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；减少平滑追踪；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；任务相关的听觉处理。
在实施方案中，可以定义恶心和/或胃部不适的特定百分比或范围的减少。在实施例中，可以在2912处获取数据的附加值，以便在2910处执行修改之后在2914处进一步确定数据随时间的变化。在2916处，可以获得恶心和/或胃部不适的新程度/百分比/减少范围。在2918，***确定恶心和/或胃部不适的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤2910以进一步修改媒体。因此，可以迭代地修改介质2910并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用13：修改媒体以减少视觉不适
长时间暴露于屏幕显示可能导致视觉不适，包括眼睛疲劳、干眼症、眼睛流泪、异物感、眼睛压力感或眼睛周围疼痛中的至少一种。在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定视觉不适的程度，包括眼睛疲劳、干眼症、眼睛流泪、异物感、眼睛压力感或眼睛周围疼痛，其可由使用者体验。该数据可以进一步用于为用户修改VR/AR/MxR媒体，以便减少视觉不适，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少视觉不适。图30示出了根据本发明的一些实施例的描述用于修改媒体以便减少视觉不适的示例性过程的流程图。在3002，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并查找视觉不适的趋势。因此，修改VR/AR/MxR环境中呈现的媒体，以便为用户和/或一组用户减少视觉不适。
在3004，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3006处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或MxR媒体交互时视觉不适的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间
增加固定持续时间变化率
增加固定率
增加固定计数
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加平滑追踪
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
增加体温
增加呼吸率
低血氧饱和度
增加心率
低血压
增加发声
增加反应时间
***可以基于以下一个或多个变化确定在VR、AR和/或MX环境中与媒体交互时视觉不适的减少：
共聚散度的增加率
降低α/δ脑波比
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少视觉不适所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在3008处，随时间确定的所述多个数据的变化可用于确定视觉不适的变化程度。视觉不适的变化可能表明视觉不适减轻或视觉不适增强。
在3010，可以基于减少(或增强)视觉不适的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映视觉不适的增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认视觉不适的减少：增加的睑裂变化率；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；提高了扫视初始和最终位置的目标相关性；减持固定持续时间；固定持续时间的变化率；固定率下降；固定计数；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；扫视计数下降；减少平滑追踪；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务有关的听觉处理。
在实施方案中，可以定义视觉不适的特定百分比或降低范围。在实施例中，可以在3012处获取数据的附加值，以便在3010处执行修改之后在3014处进一步确定数据随时间的变化。在3016，可以获得视觉不适的新程度/百分比/减少范围。在3018，***确定视觉不适的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3010以进一步修改媒体。因此，可以迭代地修改介质3010并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用14：修改媒体以降低定向障碍和姿势不稳定
长时间暴露于屏幕显示可能导致定向障碍和姿势不稳定。在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的定向障碍和姿势不稳定的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少定向障碍和姿势不稳定，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少定向障碍和姿势不稳定。图31示出了根据本发明的一些实施例的描述用于修改媒体以便减少定向障碍和姿势不稳定的示例性过程的流程图。在3102，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并查找定向障碍和姿势不稳定的趋势。因此，修改VR/AR/MxR环境中呈现的媒体，以便为用户和/或一组用户减少定向障碍和姿势不稳定。
在3104，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3106处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下改变中的一个或多个可以反映在与VR、AR和/或MxR媒体交互时定向障碍和姿势不稳定的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间变化率
增加固定率
增加固定计数
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
增加体温
增加呼吸率
低血氧饱和度
增加心率
低血压
增加发声增加反应时间
***可以基于以下一个或多个变化确定在VR、AR和/或MX环境中与媒体交互时定向障碍和姿势不稳定的减少：
共聚散度的增加率
增加固定持续时间
增加平滑追踪
增加屏幕距离
降低α/δ脑波比
增加α/θ脑波比
稳定的重量分布
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少定向障碍和姿势不稳定所需的变量，但这些列表并非详尽无遗且可能包括其他数据采集组件、数据类型和数据更改。
在3108处，随时间确定的所述多个数据的变化可用于确定定向障碍和姿势不稳定的变化程度。定向障碍和姿势不稳定的变化可能表明减少了定向障碍和姿势不稳定或增强定向障碍和姿势不稳定。
在3110，可以基于减少(或增强)定向障碍和姿势不稳定的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映定向障碍和姿势不稳定的增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认定向障碍和姿势不稳定的减少：增加睑裂高度；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；固定持续时间的变化率；固定率下降；固定计数；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；扫视计数下降；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情s；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；任务相关的听觉处理。
在实施例中，可以定义定向障碍和姿势不稳定的特定百分比或减小范围。在实施例中，可以在3112处获取数据的附加值，以便在3110处执行修改之后在3114处进一步确定数据随时间的变化。在3116处，可以获得定向障碍和姿势不稳定的新程度/百分比/减少范围。在3118处，***确定定向障碍和姿势不稳定的减小是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3110以进一步修改媒体。因此，可以迭代地修改介质3110并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用15：修改媒体以减少头痛和聚焦困难
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的头痛和聚焦困难的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以减少头痛和聚焦困难，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少头痛和聚焦困难。图32示出了根据本发明的一些实施例的描述用于修改媒体以便减少头痛和聚焦困难的示例性过程的流程图。在3202，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并查找头痛和聚焦困难的趋势。因此，为了减少用户和/或一组用户的头痛和聚焦困难，修改VR/AR/MxR环境中呈现的媒体。
在3204，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3206处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下改变中的一个或多个可以反映与VR、AR和/或MxR媒体交互时的头痛和聚焦困难的增加。：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间变化率
增加固定率
增加固定计数
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加体温
增加呼吸率
低血氧饱和度
增加心率
血压变化
增加发声
增加反应时间
***可基于以下一个或多个变化确定在VR、AR和/或MX环境中与媒体交互时头痛和聚焦困难的减少：
共聚散度的增加率
增加固定持续时间
增加平滑追踪
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少头痛和聚焦困难所需的变量，但这些列表并非详尽无遗且可能包括其他数据采集组件、数据类型和数据变化。
在3208处，随时间确定的所述多个数据的变化可用于确定头痛和聚焦困难的变化程度。头痛和聚焦困难的变化可以指示减少的头痛和聚焦困难或增强的头痛和聚焦困难。
在3210，可以基于减少(或增强)头痛和聚焦困难的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映头痛和聚焦困难的增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认头痛和聚焦困难的减少：睑裂高度增加；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；固定持续时间的变化率；固定率下降；固定计数；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；扫视计数下降；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关的听觉处理。
在实施例中，可以定义头痛和聚焦困难的特定百分比或减少范围。在实施例中，可以在3212处获取数据的附加值，以便在3210处执行修改之后在3214处进一步确定数据随时间的变化。在3216处，可以获得新的程度/百分比/减少的头痛和聚焦困难的范围。在3218处，***确定头痛和聚焦困难的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3210以进一步修改媒体。因此，可以迭代地修改介质3210并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用16：修改媒体以减少视力模糊和近视
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的视力模糊和近视的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少视力模糊和近视，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少视力模糊和近视。图33示出了根据本发明的一些实施例的描述用于修改媒体以便减少视力模糊和近视的示例性过程的流程图。在3302，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并在视力模糊和近视中查找趋势。因此，为了减少用户和/或一组用户的视力模糊和近视，修改VR/AR/MxR环境中呈现的媒体。
在3304，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3306处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映视觉模糊和近视的增加，同时与VR、AR和/或MxR媒体交互。：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
共聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间变化率
增加固定率
增加固定计数
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加体温
增加呼吸率
低血氧饱和度
增加心率
低血压
增加反应时间
***可基于以下一个或多个变化确定在VR、AR和/或MX环境中与媒体交互时模糊视力和/或近视的减少：
离散聚散度的增加率
增加固定持续时间
增加平滑追踪
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：增加发声；面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少模糊视力和/或近视所需的变量，但这些列表并非详尽无遗且可能包括其他数据采集组件、数据类型和数据更改。
在3308处，随时间确定的所述多个数据的变化可用于确定模糊视力和/或近视的变化程度。视力模糊和/或近视的变化可以指示视力模糊和/或近视减少或视力和/或近视增强。
在3310，可以基于减少(或增强)模糊视觉和/或近视的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映模糊视力和/或近视的增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认视力模糊和/或近视的减少：睑裂高度增加；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；共聚散度降低率；提高固定初始和最终位置的相关性；固定持续时间的变化率；固定率下降；固定计数；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；扫视计数下降；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关的听觉处理。
在实施例中，可以定义模糊视力和/或近视的特定百分比或减少范围。在实施例中，可以在3312处获取数据的附加值，以便在3310处执行修改之后在3314处进一步确定数据随时间的变化。在3316处，可以获得模糊视力和/或近视的新程度/百分比/减少范围。在3318，***确定模糊视力和/或近视的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3310以进一步修改媒体。因此，可以迭代地修改媒体3310并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用17：修改媒体以减少隐斜视
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的隐斜视的程度。该数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少隐斜视，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的方法、***和软件，用于在VR、AR和/或MxR环境中修改显示的媒体，以便在与该媒体的交互期间减少隐斜视。图34示出了根据本发明的一些实施例的描述用于修改媒体以便减少隐斜视的示例性过程的流程图。在3402，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并在隐斜视中查找趋势。因此，为了减少用户和/或一组用户的隐斜视，修改VR/AR/MxR环境中呈现的媒体。
在3404，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3406处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下改变中的一个或多个可以反映在与VR、AR和/或MxR媒体交互时隐斜视的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间变化率
增加固定计数
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
低血氧饱和度
低血压
增加反应时间
***可以基于以下一个或多个变化确定在VR、AR和/或MX环境中与媒体交互时隐斜视的减少：
共聚散度的增加率
增加固定持续时间
增加固定率
增加平滑追踪
增加α/θ脑波比
增加眼部对齐
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：增加体温；增加呼吸率；增加心率；增加发声；面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少隐斜视所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在3408，可以使用随时间确定的所述多个数据的变化来确定隐斜视的变化程度。隐斜视的变化可能表示隐斜视减少或隐斜视增强。
在3410，可以基于减少(或增强)隐斜视的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映隐斜视增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认隐斜视的减少：睑裂高度增加；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度的增加率；提高固定初始和最终位置的相关性；固定持续时间的变化率；固定计数；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；扫视计数下降；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关的听觉处理。
在实施例中，可以定义隐斜视的特定百分比或减小范围。在实施例中，可以在3412处获取数据的附加值，以便在3410处执行修改之后在3414处进一步确定数据随时间的变化。在3416处，可以获得隐斜视的新程度/百分比/减少幅度。在3418，***确定隐斜视的减小是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3410以进一步修改媒体。因此，可以迭代地修改介质3410并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用18：修改媒体以便减少视神经不稳定
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的视神经不稳定的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少视神经不稳定，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的方法、***和软件，用于在VR、AR和/或MxR环境中修改显示的媒体，以便在与该媒体的交互期间减少视神经不稳定。图35示出了根据本发明的一些实施例的描述用于修改媒体以便减少视神经不稳定的示例性过程的流程图。在3502，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并查找视神经不稳定的趋势。因此，为了减少用户和/或一组用户的视神经不稳定，修改VR/AR/MxR环境中呈现的媒体。
在3504，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3506处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或MxR媒体交互时视神经不稳定的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
降低固定初始和最终位置的相关性
增加固定持续时间变化率
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
低血氧饱和度
低血压
增加反应时间
***可以基于以下变化确定在VR、AR和/或MxR环境中与媒体交互时视神经不稳定的减少：
共聚散度的增加率
离散聚散度的增加率
增加固定持续时间
增加固定率
增加固定计数
增加平滑追踪
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：增加体温；增加呼吸率；增加心率；增加发声；面部表情的变化(可能取决于具体的表达方式)；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少视神经不稳定所需的变量，但这些列表并非详尽无遗且可能包括其他数据采集组件、数据类型和数据变化。
在3508处，可以使用随时间确定的所述多个数据的变化来确定视神经不稳定的变化程度。视神经不稳定的变化可能表明视神经不稳定减轻或视神经不稳定增强。
在3510，可以基于减少(或增强)视神经不稳定的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映视神经不稳定增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认视神经不稳定：睑裂高度增加；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；提高固定初始和最终位置的相关性；固定持续时间的变化率；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；扫视速度下降；扫视变化率下降；扫视计数下降；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关的听觉处理。
在实施方案中，可以定义视神经不稳定的特定百分比或降低范围。在实施例中，可以在3512处获取数据的附加值，以便在3510处执行修改之后在3514处进一步确定数据随时间的变化。在3516处，可以获得视神经不稳定的新程度/百分比/减少范围。在3518，***确定视神经不稳定的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3510以进一步修改媒体。因此，可以迭代地修改媒体3510并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用19：修改媒体以减少聚散度-调节障碍
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的聚散度-调节障碍的程度。该数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少聚散度-调节障碍，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少聚散度-调节障碍。图36示出了描述根据本发明的一些实施例的用于修改介质以减少聚散度-调节障碍的示例性过程的流程图。在3602处，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。该***可以关联所有可用的测量并寻找聚散度-调节障碍的趋势。因此，为了减少用户和/或一组用户的聚散度-调节障碍，修改VR/AR/MxR环境中呈现的媒体。
在3604处，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3606处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR、AR和/或MxR媒体交互时聚散度-调节障碍的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
瞳孔大小的变化率增加
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
降低固定初始和最终位置的相关性
增加固定持续时间变化率
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加屏幕距离
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
***可基于以下一个或多个变化确定在VR、AR和/或MxR环境中与媒体交互时聚散度-调节障碍的减少：
共聚散度的增加率
离散聚散度的增加率
增加固定持续时间
增加固定率
增加固定计数
增加平滑追踪
增加α/θ脑波比
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：增加体温；增加呼吸率；低血氧饱和度；增加心率；低血压；增加发声；面部表情的变化(可能取决于具体的表达方式)；增加反应时间；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少聚散度-调节障碍所需的变量，但这些列表并非详尽无遗且可能包括其他数据采集组件、数据类型和数据更改。
在3608处，随时间确定的所述多个数据的变化可用于确定聚散度-调节的病症的变化程度。聚散度-调节障碍的变化可能表明聚散度-调节障碍减少或聚散度-调节障碍增强。
在3610，可以基于减少(或增强)聚散度-调节的障碍的程度来修改呈现给用户的媒体。在实施方案中，可以修改培养基以解决反映聚散度-调节障碍的增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
尽可能增加使用更长的观看距离
将模拟距离与焦距更紧密地匹配
以较慢的速度将对象移入和移出深度
使现有对象冲突不那么突出
可以观察到以下一个或多个指标以确认聚散度-调节障碍的减少：睑裂变化率增加；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；瞳孔大小的变化率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；提高固定初始和最终位置的相关性；固定持续时间的变化率；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视速度下降；扫视变化率下降；扫视计数下降；屏幕距离减少；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关的听觉处理。
在实施方案中，可以定义聚散度-调节障碍的特定百分比或降低范围。在实施例中，可以在3612处获取数据的附加值，以便在3610处执行修改之后在3614处进一步确定数据随时间的变化。在3616处，可以获得聚散度-调节障碍的新程度/百分比/范围的减少。在3618，***确定聚散度-调节障碍的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3610以进一步修改媒体。因此，可以迭代地修改介质3610并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用20：修改媒体以增加正面情绪
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的正面情绪的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便增加正面情绪，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的方法、***和软件，用于在VR、AR和/或MxR环境中修改显示的媒体，以便在与该媒体的交互期间增加正面情绪。图37示出了根据本发明的一些实施例的描述用于修改媒体以便增加正面情绪的示例性过程的流程图。在3702，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。***可以关联所有可用的度量并查找正面情绪的趋势。因此，为了增加用户和/或一组用户的正面情绪，修改VR/AR/MxR环境中呈现的媒体。
在3704，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3706处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映正面情绪在与VR、AR和/或MxR媒体交互时的减少：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
增加眨眼率
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
降低固定初始和最终位置的相关性
增加固定持续时间
增加固定持续时间变化率
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加扫视变化率
增加平滑追踪
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加体温
增加呼吸率
低血氧饱和度
增加心率
低血压
增加反应时间
***可以基于以下一个或多个变化确定在VR、AR和/或MxR环境中与媒体交互时正面情绪的增加：
瞳孔大小的变化率增加
增加固定率
增加固定计数
增加扫视速度
增加扫视数量(扫视的数量)
增加屏幕距离
增加α/θ脑波比
增加发声
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于：共聚散度的增加率；离散聚散度的增加率；面部表情的变化(可能取决于具体的表达方式)；增加反应时间；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定增加正面情绪所需的变量，但这些列表并非详尽无遗，并且可能包括其他数据采集组件、数据类型和数据的变化。
在3708，可以使用随时间确定的所述多个数据的变化来确定正面情绪的变化程度。正面情绪的变化可能表明正面情绪减少或正面情绪增强。
在3710，可以基于减少(或增强)正面情绪的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映正面情绪减少的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认正面情绪的增加：睑裂高度增加；眨眼率下降；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；提高固定初始和最终位置的相关性；减持固定持续时间；固定持续时间的变化率；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；扫视变化率下降；减少平滑追踪；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关的听觉处理。
在实施方案中，可以定义正面情绪的特定百分比或增加范围。在实施例中，可以在3712处获取数据的附加值，以便在3710处执行修改之后在3714处进一步确定数据随时间的变化。在3716处，可以获得正面情绪的新程度/百分比/增加幅度。在3718，***确定正面情绪的增加是否在指定范围或百分比内。如果确定增加不足，则***可以循环回到步骤3710以进一步修改媒体。因此，可以迭代地修改介质3710并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用21：修改媒体以减少负面情绪
在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可能经历的负面情绪的程度。数据可以进一步用于修改用户的VR/AR/MxR媒体，以便减少负面情绪，例如但不限于通过最小化视觉或由媒体体验引起的任何其他不适。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了提供给用户的用于修改VR、AR和/或MxR环境中的显示媒体的方法、***和软件，以便在与该媒体的交互期间减少负面情绪。图38示出了根据本发明的一些实施例的描述用于修改媒体以减少负面情绪的示例性过程的流程图。在3802，获取多个数据的第一值，如下面进一步描述的。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈；
操作脑电图仪的装置
操作心电图仪的装置；
操作肌电图仪的装置；
操作电子照相仪的装置；
操作视网膜电图仪的装置；以及
配置为测量皮肤电响应的一个或多个传感器。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。该***可以关联所有可用的度量并寻找负面情绪的趋势。因此，为了减少用户和/或一组用户的负面情绪，修改VR/AR/MxR环境中呈现的媒体。
在3804，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3806处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。在当前用例场景的实施例中，由***的硬件和软件跟踪和记录的以下一个或多个变化可以反映在与VR，AR和/或MxR媒体交互时负面情绪的增加：
睑裂变化率下降
低距离睑裂休息状态
低距离睑裂活动状态
眨眼率的变化率增加
部分眨眼的比率增加到完全眨眼
降低瞳孔初始和最终位置的目标相关性
降低了注视方向的目标相关性
降低凝视初始和最终位置的目标相关性
离散聚散度的增加率
降低固定初始和最终位置的相关性
增加固定持续时间
降低扫视初始和最终位置的目标相关性
降低扫视角度的目标相关性
减少扫视幅度(扫视的距离)
增加反扫视/前扫视的比率
增加抑制返回
增加平滑追踪
降低目标相关头部方向
降低目标相关头部固定
减少目标相关肢体运动
转入重量分布
降低α/δ脑波比
增加α/θ脑波比
增加体温
增加呼吸率
低血氧饱和度
增加心率
高血压
增加反应时间
***可以基于以下一个或多个变化确定在VR、AR和/或MxR环境中与媒体交互时负面情绪的减少：
增加眨眼率
瞳孔大小的变化率增加
共聚散度的增加率
增加固定持续时间变化率
增加固定率
增加固定计数
增加扫视速度
增加扫视变化率
增加扫视数量(扫视的数量)
增加屏幕距离
增加发声
还可以记录其他变化并且可以以不同方式解释。这些可能包括但不限于面部表情的变化(可能取决于具体的表达方式)；增加反应时间；味觉处理的变化；改变嗅觉处理；并改变听觉处理。
应当注意，虽然上述数据采集组件列表、数据类型和数据变化可用于确定减少负面情绪所需的变量，但这些列表并非详尽无遗，可能包括其他数据采集组件、数据类型和数据的变化。
在3808处，可以使用随时间确定的所述多个数据的变化来确定负面情绪的变化程度。负性情绪的变化可能表明负面情绪减少或消极情绪增强。
在3810，可以基于减少(或增强)负面情绪的程度来修改呈现给用户的媒体。在实施例中，可以修改媒体以解决反映负面情绪增加的数据中的所有变化。在实施例中，可以执行以下修改中的一个或多个的组合：
增加媒体的对比度
使在媒体中显示的目标对象尺寸更大
增加媒体的亮度
增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象
将媒体中显示的内容的焦点改变到更中心的位置
从视野中移除对象并且测量用户是否识别所述移除
增加媒体中的颜色量
增加所述媒体中显示的对象的阴影程度
基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值
可以观察到以下一个或多个指标以确认负面情绪的减少：睑裂高度增加；降低眨眼率的变化率；部分眨眼与完全眨眼的比率下降；提高瞳孔初始和最终位置的目标相关性；提高了注视方向的目标相关性；增加凝视初始和最终位置的目标相关性；离散聚散度下降率；提高固定初始和最终位置的相关性；减持固定持续时间；提高了扫视初始和最终位置的目标相关性；提高扫视角度的目标相关性；增加扫视幅度(任务相关)；反扫视/前扫视的比率下降；减少抑制返回；减少平滑追踪；增加目标相关头部方向；增加目标相关头部固定；增加目标相关肢体运动；重量分布的变化减少；增加α/δ脑波比；正常体温；正常呼吸率；90-100％血氧饱和度；正常心率；正常血压；任务相关发声；任务相关面部表情；减少反应时间；任务相关味觉处理；任务相关嗅觉处理；和任务相关的听觉处理。
在实施例中，可以定义负面情绪的特定百分比或减少范围。在实施例中，可以在3812处获取数据的附加值，以便在3810处执行修改之后在3814处进一步确定数据随时间的变化。在3816处，可以获得负面情绪减少的新程度/百分比/范围。在3818，***确定负面情绪的减少是否在指定范围或百分比内。如果确定减少不足，则***可以循环回到步骤3810以进一步修改媒体。因此，可以迭代地修改介质3810并且可以测量整体性能，直到实现从1％到10000％或其中的任何增量的任何改进的百分比。
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
示例使用22：修改由微交易产生的媒体
由***确定和分析的感官输入可能最终推动工作和游戏参与。在实施例中，感知信息可以从用户购买并用于在通过诸如SDEP的平台向数据添加值之后创建感官数据交换。在本发明的实施例中，可以使用SDEP来测量和监视个体和潜在消费者的感觉。SDEP可以基于传感数据、用户数据、环境和位置的上下文提供关于用户行为趋势的数据分析。SDEP的实施例可以使用机器学习和深度学习技术来实时地开发预测性推荐并且允许公司使用对内容/广告的实时动态改变来使消费者的体验个性化。
在实施例中，监视与HMD或类似装置接口的用户。可以向用户提供共享他们的心理测量/感觉/生物测量数据的选项，其可以进一步用于更好地理解和定制用户在内容类型和其他节目建议方面的体验。假设用户选择共享数据，在一个实施例中，在接口期间，SDEP确定用户具有第一感觉状态。在一个实施例中，感觉状态包括第一眨眼率、第一瞳孔扩张度、第一度扫视运动、任何其他眼球运动、内睑裂距离、面部表情和/或一个或多个其他参数，例如以下用户案例场景中讨论的那些。另外，以特定速率(帧/每秒)呈现给用户的内容的图像处理可以将内容解构为核心心理测量原始数据，包括颜色(RGB)值、对比度、对象的大小和位置。此外，诸如健身监测带或手表的智能装置可以获得并提供与心率和基础体温有关的数据；智能服装可提供有关呼吸频率和身体和四肢运动的数据；智能鞋可提供有关重量/压力分布的数据。类似地，可能存在提供用户的各种心理测量/感觉/生物测定数据的其他来源。措施组合的实例包括理解力水平、疲劳水平、参与水平等。此外，SDEP确定第二感觉状态，其中第二感觉状态指示测量的心理测量/感觉/生物测量数据相对于第一状态的变化。由SDEP测量的心理测量/感觉/生物测定数据可以与在相同持续时间内呈现给用户的视觉数据的特征组合。该组合可以进一步用于改变视觉的一组视觉和/或特征，以便从同一用户或具有与本实施例中讨论的用户类似的简档的用户组之间接收期望的心理测量/感觉/生物测定结果、指示更大的参与度。因此，SDEP利用每个视觉度量和每个视觉度量的后续权重来开发转换度量。此外，转换度量可以由SDEP开发，具有附加值，并且具有朝向期望产品的成功手势。可以根据人口统计或任何其他参数对用户简档进行分组。
在示例中，使用HMD观看体育赛事和广告内显示的用户被示出为品牌衬衫，其是蓝色(RGB值、亮度等级)的特定色调。用户可能已选择在其HMD***中共享高级数据设置。在最初的1分钟期间-SDEP注意到在某个RGB值下红色的元数据趋势在用户人口统计中的男性中趋势。在广告显示期间，通过将蓝色衬衫更改为红色，并进一步将红色更改为特定的红色色调，可以对用户实时测试趋势。特定的颜色阴影可以基于通过其HMD中启用的设置共享的用户注意到的个人趋势来个性化给用户。SDEP通过用户的HMD注意到的个人趋势可以包括用户参与的可量化指标，例如但不限于降低的眨眼率、降低扫视运动、包括在完全固定视力之前的抗扫视错误、瞳孔从稳定状态扩张、头部移动到广告放置在VR/AR/MxR环境中的位置，随着心率、温度和朝向物体的移动而增加。
在实施例中，SDEP可以与用户交互以向诸如第三方或内容提供商的单独实体提供关于与SDEP共享的心理测量/感觉/生物测量用户数据的定期(周期性)更新。共享的心理测量/生物识别/感觉数据的比例和该份额的持续时间可以用作在用户和单独实体之间发生的微交易或一系列微交易的基础。在实施例中，SDEP提供用于实现与用户的这种微交易的平台。在一些实施方案中，用户的收入份额可以与定期与SDEP共享的心理测量/感觉/生物测量数据的量成比例。
因此，在一个实施例中，处理从用户收集的数据，例如通过HMD或任何其他VR/AR/MxR***，以确定用户可选择共享的数据范围，以了解单独的实体，例如第三方或内容的来源，其可以被用户体验。可以进一步利用该数据来修改用户的VR/AR/MxR媒体。另外，可以利用共享数据的范围和持续时间来与用户进行交易。在一个实施例中，交易采用金融奖励的形式，其中奖励的金额与共享数据的范围和持续时间成比例。在一个实施例中，为用户实时修改媒体。在另一个实施例中，保存数据并用于将VR/AR/MxR媒体的呈现修改为具有类似数据的后续用户，或者随后修改用户。
更具体地，本发明描述了在与媒体交互期间被提供以实现与用户的微交易的方法、***和软件，涉及用于交换心理测量/感知/生物测量数据的奖励，同时还修改VR、AR和/或MxR环境中的显示媒体。图39示出了根据本发明的一些实施例的描述用于在启用微事务的同时修改媒体的示例性过程的流程图。在3902处，获取多个数据的第一值，例如用户的心理测量/感觉/生物测定数据。在实施例中，通过使用被配置为获取眼睛运动数据的相机(快速扫描和/或扫视运动)、眨眼率数据、固定数据、瞳孔直径、眼睑(眼睑)眼睑之间的裂缝距离中的至少一个来获取数据。另外，VR、AR和/或MxR装置可包括其中包含的以下传感器中的一个或多个：
一个或多个传感器，被配置为检测基础体温、心率、身体运动、身体旋转、身体方向和/或身体速度；
一个或多个传感器，被配置成测量肢体运动、肢体旋转、肢体方向和/或肢体速度；
一个或多个传感器，配置为测量脉搏率和/或血氧；
一个或多个传感器，用于测量听觉处理；
一个或多个传感器，配置为测量味觉和嗅觉处理；
一个或多个传感器，用于测量压力；
至少一个输入装置，例如传统的键盘和鼠标，以及任何其他形式的控制器，以收集手动用户反馈。
在实施例中，通过这些装置的组合获取的数据可以包括与以下中的一个或多个有关的数据：睑裂(包括其变化率，初始状态，最终状态和动态变化)；眨眼率(包括其变化率和/或部分眨眼与完全眨眼的比率)；瞳孔大小(包括其变化率、初始状态、最终状态和动态变化)；瞳孔位置(包括其初始位置、最终位置)；注视方向；注视位置(包括其初始位置和最终位置)；聚散度(包括基于速率、持续时间和/或动态变化的共聚散度与离散聚散度)；固定位置(包括其初始位置、最终位置)；固定持续时间(包括变化率)；固定率、固定计数、扫视位置(包括其变化率、初始位置和最终位置)；扫视角度(包括它与目标的相关性)；扫视幅度(包括它的距离、反扫视或前扫视)；前扫视(包括其与反扫视的比率)；反扫视(包括其与前扫视的比率)；抑制返回(包括存在和/或幅度)；扫视速度(包括对目标的大小、方向和/或相关性)；扫视率、包括扫视计数、追踪眼球运动(包括他们的开始、持续时间和/或方向)；屏幕距离(包括其变化率，初始位置和/或最终位置)；头部方向(包括其变化率，初始位置和/或最终位置)；头部固定(包括其变化率，初始位置和/或最终位置)；肢体跟踪(包括其变化率，初始位置和/或最终位置)；重量分布(包括其变化率、初始分配和/或最终分配)；频域(傅里叶)分析；脑电图仪输出；频带；心电图仪输出；肌电图仪输出；电子照相仪输出；视网膜电图仪输出；皮肤电响应；体温(包括其变化率、初始温度和/或最终温度)；呼吸率(包括其变化率、初始率和/或最终率)；血氧饱和度；心率(包括其变化率、初始心率和/或最终心率)；血压；发声(包括其音调、响度和/或语义)；推断的传出反应；呼吸；面部表情(包括微表情)；嗅觉处理；味觉处理；和听觉处理。每种数据类型在考虑时可以单独或组合地保持权重。
在实施例中，***使用机器学习能够发现行为、电生理和/或自主测量之间的新相关性以及较不模糊的测量。在一些示例中，上述一些措施是特定于上下文的。该***可以关联所有可用的度量并寻找负面情绪的趋势。因此，针对用户和/或一组用户修改在VR/AR/MxR环境中呈现的媒体。
在3904，获取上述所述多个数据的第二值。在实施例中，第一值和第二值具有相同的数据类型，包括上述数据类型。在3906处，数据的第一和第二值用于确定所述多个数据随时间的一个或多个变化。可以记录不同类型的数据变化，并且可以以不同方式解释。
在3908处，随时间确定的所述多个数据的确定的变化可以存储在数据库中。由SDEP测量的心理测量/感觉/生物测定数据可以与在相同持续时间内呈现给用户的视觉数据的特征组合。数据库可以由SDEP和/或诸如第三方、公司或呈现给用户的内容的内容提供商的单独实体维护。根据本发明中描述的各种实施例进一步处理数据，以模拟用户行为并修改媒体。该组合可以用于进一步改变一组视觉的视觉和/或特征，以便从同一用户或具有与本实施例中讨论的用户类似的简档的用户组接收期望的心理测量/感觉/生物测定结果、指示更大的参与度。因此，SDEP利用每个视觉度量和每个视觉度量的后续权重来开发转换度量。此外，转换度量可以由SDEP开发，具有附加值，并且具有朝向期望产品的成功手势。可以根据人口统计或任何其他参数对用户简档进行分组。
在3910处，随时间确定的数据变化的数量和持续时间可用于奖励用户。奖励可以由单独的实体提供，以代替用户选择分享他们的心理测量/感觉/生物测量数据。
称重信息来源
在一个实施例中，***基于它们对于给定应用的统计显着性，基于它们的相关性和/或基于它们在解释中的模糊程度，将数值权重或偏好应用于一个或多个上述度量。
在一个实施例中，***首先确定在其中收集上面列出的数据的媒体上下文。上下文可以包括一种类型的应用，诸如益智游戏、动作游戏、电影、广告、策略游戏、社交网络或其他形式的媒体应用。可以用特定的状态偏好发出信号的上下文适当的措施被给予具有最少替代解释的那些措施。在解释措施时，最好支持更一般(不太具体)的状态。例如，心率的增加表明至少有一种高度的觉醒，即使不是理解力的增加。
在另一个实施方案中，独立于任何其他条件或状态确定特定条件或状态。条件或状态可能包括疲劳、参与、表现、理解力、与视觉前庭不匹配继发的视觉诱发的晕动病相关的症状、与创伤后应激障碍相关的症状、与调节功能障碍有关的双重视力、由于无意识外周视野刺激引起的视觉障碍、聚散-调节障碍、视神经不稳定、视力模糊和近视、头痛、聚焦困难、定向障碍、姿势不稳定、视觉不适、眼睛疲劳、干眼症、眼睛流泪、异物感、眼睛压力感、眼睛周围疼痛、恶心、胃部不适、过度暴露于屏幕显示器的潜在光毒性和过度蓝光暴露引起的激素失调。在另一个实施例中，特定条件或状态是与任何其他状态相关联地确定的，因为状态在某些情况下可能是相关的。例如，在某些应用中，理解力需要参与。但是，在其他应用中，参与可能不一定需要理解力。随着疲劳的增加，参与和理解力可能会减少。如果用户只是变得不感兴趣，那么参与和理解力也可以在不增加疲劳的情况下减少。因此，这些状态的测量应该独立地并行地进行，然后考虑这些措施的相互作用。
该***优选地基于上下文和预限定的度量层次来对各种度量进行算术加权，其中第一层度量具有比第二层度量更大的权重，第二层度量具有比第三层度量更大的权重。这些措施根据其模糊程度和与任何给定情境情况的相关性分为等级。对于本领域技术人员显而易见的是，以下措施是示例性的，而非穷举的。可以在不同层中使用其他措施和/或措施组合。
一级
理解力的眼动追踪量度：可包括理解力度量的组合，如相关固定(R_(Rel.Fix.)))、相对于相关区域的绝对角度的平均值(|θ| 扫视-相关)、相对于相关区域的平均幅度分量(M 扫视-相关)；固定相关性(C固定)；扫视相关性(C扫视)；收听者眼球运动的相关性；焦点区域(A焦点)。它还可以包括基于焦点区域的接合程度(A焦点)，其中焦点区域与所讨论的刺激的空间范围显着相关。
由不常见、新奇或意外刺激引起的认知EEG潜能(N2、N44、P300、P600)的幅度幅度显着增加
从部分睁眼到完全睁眼的过渡(从非零基线显着增加p两眼打开)
随机或非聚焦搜索的特征在于显着短暂的固定持续时间和显着大的扫视幅度
参与度量的组合，例如响应率小于100％(或者更低，基线响应率，取决于具体情况)；在适当的情况下，衡量疲劳，例如在长时间活动中减少“绩效”指标、减少回应比例
远离特定任务或刺激的相互作用表示缺乏或失去参与
其他参与度量包括相对任务时间作为执行任务或处理刺激所花费的时间比例与否；可用任务之间的相互作用的比率，作为每个任务的参与度的相对衡量标准，表示每个任务的任务时间；以及刺激和/或视觉区域的固定计数和/或持续时间的比率作为指示任务时间的比率，作为与每个刺激或视觉区域的接合的相对量度
参与和疲劳措施的组合，例如视觉刺激和用户眼睛之间的距离显着缩短，作为参与开始的指示，以及与基线的比例偏差作为参与水平的指示；和打呵欠或其他明显和离散的呼吸
疲劳的措施，如长时间(大部分)闭眼；和突然的垂直眼球运动
二级
诸如相对于建立的基线(f眨眼显着小于f 眨眼)的眨眼率减慢和眨眼率显着低于基线的措施的组合。此外，增加眨眼率的度量的组合，例如眨眼率的显着增加和向更短和更多频率眨眼的过渡。
理解力作为时间点的开始，在适当的时候，正确答案的百分比显着增加
理解力的开始作为正确识别和/或定位VR/AR/MxR媒体中的目标的点
与理解力的开始相关的措施的组合作为固定持续时间(D固定)的显着更长的时期的结束；选定刺激的最后一次固定的持续时间；当做出选择时，任何刺激的第一次固定的持续时间
在选择任务的背景下，诸如瞳孔直径(S瞳孔)的快速和显着增加以及显着的瞳孔扩张等措施的组合
与信号参与或脱离的正确响应的平均百分比显着向上或向下偏离
将3D注视位置调整到适当的深度(这里与注视方向分开考虑)，以将刺激视为与该刺激的接合信号；并且在长时间内注视无穷大的3D深度作为疲劳的指示
在监测细微变化或动作或任何变化或动作的准确开始的情况下的刚性固定，作为参与的指示；在监测的背景下减少或保持呼吸
眼动模式的变化，其特征在于扫视幅度和固定频率的降低
三级
GSR-ERP显着增加
β和γ频带中(≥16Hz)脑电图的能量显着增加；在选择任务期间增加EEG活动的双侧相位同步；并且权衡其中低频(＜10Hz)EEG能量增加和高频率(≥10Hz)EEG能量减少
与对理解问题的延迟反应相关的体温和/或心率显着增加。此外，与自主觉醒增加相关的措施表明参与度增加，并且随着脱离而唤醒减少；心率和/或体温显着下降，表明疲劳
任何表明理解力或理解力发生的措施；在长期活动的背景下，理解力、参与和其他兴奋状态显着减少
干眼症的显着迹象(例如低撕裂时间)表明眼疲劳
该***进一步跟踪不同状态的任何和所有相关性，例如参与、理解力和疲劳之间的相关性，以基于特定上下文确定状态之间的时序关系。这些相关性可以是立即的或具有一些时间延迟(例如，通过疲劳增加在一段时间之后遵循接合减少)。利用本发明的实施例，可以发现任何和所有相关性，无论它们看起来是否直观。
对于找到的任何重要相关性，***基于适合记录数据的预限定算法来模拟包含测量的相互作用。例如，在各种应用中需要诸如用户检测、区分、位置准确性、时间准确性等的直接测量。在各种应用中也监控诸如但不限于疲劳和耐力的间接措施。然而，游戏应用程序可以发现用户的视觉注意力、多轨道能力等的测量值对于确定奖励/点数具有更大的意义。同时，用户在屏幕上更多地关注特定产品或颜色的能力可能导致广告应用对于相关措施更加重要。
以上实施例仅说明了本发明***的许多应用。尽管这里仅描述了本发明的几个实施例，但应该理解，在不脱离本发明的精神或范围的情况下，本发明可以以许多其他具体形式实施。因此，本示例和实施例被认为是说明性的而非限制性的，并且本发明可以在所附权利要求的范围内进行修改。

Claims (20)

1.一种当用户正在使用具有显示器的计算装置来体验媒体时改善或治疗所述用户所经历的病症的方法，包括：
使用所述计算装置获取多个数据中的至少一个数据的第一值；
使用所述计算装置获取所述多个数据中的至少一个数据的第二值；
使用所述第一值和第二值确定所述多个数据中的至少一个随时间的变化；
基于所述多个数据中的至少一个随时间的所述变化，确定所述病症的程度；和
基于确定所述病症的程度，修改所述媒体。
2.权利要求1所述的方法，其中所述计算装置是虚拟现实、增强现实或混合现实视图装置。
3.权利要求2所述的方法，其中所述虚拟现实、增强现实或混合现实视图装置包括被配置为获取眼睛运动数据的相机、被配置为检测头部运动的速率和/或方向的传感器、被配置为检测心率的传感器、以及用于检测脑电波的EEG传感器中的至少一种。
4.权利要求3所述的方法，其中所述眼睛运动数据包括快速扫描、扫视运动、眨眼率数据、固定数据、瞳孔直径和睑裂距离。
5.权利要求2所述的方法，其中所述病症是理解力、疲劳、参与、表现、与视觉前庭不匹配继发的视觉诱发的晕动病相关的症状、与创伤后应激障碍相关的症状、与调节功能障碍有关的双重视力、由于无意识外周视野刺激引起的视觉障碍、聚散-调节障碍、视神经不稳定、视力模糊和近视、头痛、聚焦困难、定向障碍、姿势不稳定、视觉不适、眼睛疲劳、干眼症、眼睛流泪、异物感、眼睛压力感、眼睛周围疼痛、恶心、胃部不适、过度暴露于屏幕显示器的潜在光毒性、过度蓝光暴露引起的激素失调、隐斜视、正面情绪减少和负面情绪增加中的至少一种。
6.权利要求2所述的方法，其中所述多个数据包括快速扫描、扫视运动、固定、眨眼率、瞳孔直径、头部运动速度、头部运动方向、心率、运动反应时间、平滑追踪、睑裂距离、脑波活动程度和速度、收敛程度和收敛程度中的至少一种。
7.权利要求2所述的方法，其中修改所述媒体包括增加媒体的对比度、降低媒体的对比度、使在媒体中显示的目标对象尺寸更大、使在媒体中显示的目标对象尺寸更小、增加媒体的亮度、降低媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、减少在中心视野中显示的媒体中显示的目标对象的数量并增加***视野中所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、基于外部数据、人口统计或趋势数据改变所述媒体的RGB值中的至少一种。
8.权利要求2所述的方法，其中所述病症是理解力。
9.权利要求2所述的方法，其中所述变化是增加快速扫描、增加扫视运动、减少固定、增加眨眼率、增加瞳孔直径、增加头部运动、增加心率、减少反应时间、减少眼睑分离、脑波活动变化和增加平滑追踪中的至少一种。
10.权利要求9所述的方法，其中所述病症的程度是用户的理解力下降。
11.权利要求10所述的方法，其中基于所述用户的理解力下降，通过增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、基于外部数据、人口统计或趋势数据改变所述媒体的RGB值中的至少一种修改所述媒体。
12.权利要求2所述的方法，其中所述病症是疲劳。
13.权利要求12所述的方法，其中所述变化是减少固定、增加眨眼率、以及收敛和发散的变化中的至少一种。
14.权利要求13所述的方法，其中所述病症的程度是用户的疲劳增加。
15.权利要求14所述的方法，其中基于所述用户的疲劳增加，通过增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、和增加或引入更多运动中的至少一种修改所述媒体。
16.一种当用户通过虚拟现实、增强现实或混合现实视图装置体验媒体时改善所述用户体验的理解力的方法，该方法包括：
获取多个数据的第一值；
获取所述多个数据的第二值；
使用所述第一值和第二值确定所述多个数据随时间的变化；
基于所述多个数据随时间的变化，确定所述用户理解力的降低程度；和
基于确定理解力的降低程度，修改所述媒体。
17.权利要求16所述的方法，其中获取所述多个数据的第一值和第二值包括获取以下中的至少一种或多种：被配置为检测基础体温、心率、身体运动、身体旋转、身体方向、身体速度或身体振幅的传感器；被配置为测量肢体运动、肢体旋转、肢体方向、肢体速度或肢体振幅的传感器；脉搏血氧仪；被配置为测量听觉处理的传感器；被配置为测量味觉和嗅觉处理的传感器；用于测量压力的传感器；输入装置，例如传统的键盘和鼠标、和或任何其他形式的控制器，以收集手动用户反馈；脑电图仪；心电图仪；肌电图仪；电子照相仪；视网膜电图仪；以及被配置为测量皮肤电反应的传感器。
18.权利要求16所述的方法，其中所述多个数据包括以下中的至少一种或多种：睑裂、眨眼率、瞳孔大小、瞳孔位置、注视方向、注视位置、聚散度、固定位置、固定持续时间、固定率、固定计数、扫视位置、扫视角度、扫视幅度、前扫视、反扫视、抑制返回、扫视速度、扫视率、屏幕距离、头部方向、头部固定、肢体跟踪、重量分布、频域(傅里叶)分析、脑电图仪输出、频带、心电图仪输出、肌电图仪输出、电子照相仪输出、视网膜电图仪输出、皮肤电响应、体温、呼吸率、血氧饱和度、心率、血压、发声、推断的传出反应、呼吸、面部表情、嗅觉处理、味觉处理和听觉处理。
19.权利要求16所述的方法，其中修改所述媒体包括通过下列至少一种来修改：增加媒体的对比度、使在媒体中显示的目标对象尺寸更大、增加媒体的亮度、增加在中心视野中显示的媒体中显示的目标对象的数量并减少周边视野中的所述目标对象、将媒体中显示的内容的焦点改变到更中心的位置、从视野中移除对象并且测量用户是否识别所述移除、增加媒体中的颜色量、增加所述媒体中显示的对象的阴影程度、和基于外部数据(人口统计或趋势数据)改变所述媒体的RGB值。
20.权利要求16所述的方法，其中修改所述媒体包括修改以提供理解力的预限定增加。
CN201780036088.4A 2016-04-08 2017-04-07 用于基于视觉性能数据获得、分析和生成视觉性能数据和修改媒体的方法和*** Pending CN109690384A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201662319825P 2016-04-08 2016-04-08
US62/319,825 2016-04-08
US201662322741P 2016-04-14 2016-04-14
US62/322,741 2016-04-14
US201662359796P 2016-07-08 2016-07-08
US62/359,796 2016-07-08
US201662363074P 2016-07-15 2016-07-15
US62/363,074 2016-07-15
US201662381784P 2016-08-31 2016-08-31
US62/381,784 2016-08-31
US201662425736P 2016-11-23 2016-11-23
US62/425,736 2016-11-23
PCT/US2017/026688 WO2017177187A1 (en) 2016-04-08 2017-04-07 Methods and systems for obtaining. analyzing, and generating vision performance data and modifying media based on the data

Publications (1)

Publication Number Publication Date
CN109690384A true CN109690384A (zh) 2019-04-26

Family

ID=59999063

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780036088.4A Pending CN109690384A (zh) 2016-04-08 2017-04-07 用于基于视觉性能数据获得、分析和生成视觉性能数据和修改媒体的方法和***
CN201780036087.XA Pending CN109640785A (zh) 2016-04-08 2017-04-07 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780036087.XA Pending CN109640785A (zh) 2016-04-08 2017-04-07 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和***

Country Status (8)

Country Link
US (4) US20170293356A1 (zh)
EP (2) EP3439533A4 (zh)
JP (2) JP2019519053A (zh)
KR (2) KR20190026651A (zh)
CN (2) CN109690384A (zh)
AU (2) AU2017248363A1 (zh)
CA (2) CA3020390A1 (zh)
WO (2) WO2017177188A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060782A (zh) * 2019-04-28 2019-07-26 浙江中医药大学附属第二医院(浙江省新华医院) 一种基于虚拟现实的对不同心血管急症信息处理仿真***
CN110412778A (zh) * 2019-07-25 2019-11-05 南京聚米粒智能科技有限公司 一种近视眼镜视力疲劳缓解方法及装置
CN111103975A (zh) * 2019-11-30 2020-05-05 华为技术有限公司 显示方法、电子设备及***
CN111973155A (zh) * 2020-08-23 2020-11-24 吾征智能技术(北京)有限公司 一种基于人体口味异常变化的疾病认知自学习***
CN112587136A (zh) * 2020-12-09 2021-04-02 北京意图科技有限公司 味觉感官评估方法和***
CN114173657A (zh) * 2019-05-31 2022-03-11 瑞思迈私人有限公司 使用增强现实最小化认知衰退的***和方法

Families Citing this family (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
WO2017015603A1 (en) 2015-07-23 2017-01-26 New Jersey Institute Of Technology Method, system, and apparatus for treatment of binocular dysfunctions
US10430810B2 (en) * 2015-09-22 2019-10-01 Health Care Direct, Inc. Systems and methods for assessing the marketability of a product
IL291915B2 (en) 2016-03-04 2024-03-01 Magic Leap Inc Reducing current leakage in AR/VR display systems
CA3017930A1 (en) 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
AU2017248363A1 (en) * 2016-04-08 2018-11-22 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
US10188291B2 (en) * 2016-09-08 2019-01-29 Howard P. Apple Device for screening convergence insufficiency and related methods
BR112019010408A8 (pt) * 2016-11-23 2023-03-21 Lifeq Global Ltd Sistema e método para a identificação biométrica ao usar a fisiologia do sono
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
KR20180092778A (ko) * 2017-02-10 2018-08-20 한국전자통신연구원 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법
US10395693B2 (en) * 2017-04-10 2019-08-27 International Business Machines Corporation Look-ahead for video segments
US10445614B2 (en) * 2017-04-16 2019-10-15 Facebook, Inc. Systems and methods for evaluating content
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
US11087010B2 (en) 2017-05-31 2021-08-10 International Business Machines Corporation Mental acuity-dependent accessibility
WO2018222897A1 (en) * 2017-06-01 2018-12-06 University Of Washington Smartphone-based digital pupillometer
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11484194B2 (en) 2017-06-23 2022-11-01 Adaptive Sensory Technology, Inc. Systems and methods for testing and analysis of visual acuity and its changes
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US20190008441A1 (en) * 2017-07-10 2019-01-10 VirtualMind, LLC Diagnosing brain injury using a virtual reality system
US10902395B1 (en) 2017-07-11 2021-01-26 Massachusetts Mutual Life Insurance Company Intelligent e-book reader incorporating augmented reality or virtual reality
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
WO2019040669A1 (en) * 2017-08-22 2019-02-28 Silicon Algebra, Inc. METHOD FOR DETECTING EXPRESSIONS AND FACIAL EMOTIONS OF USERS
CN111629653B (zh) 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
US11145124B2 (en) * 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
US11896910B2 (en) 2017-09-05 2024-02-13 State Space Labs, Inc. System and method of cheat detection in video games
US11589745B2 (en) * 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
US11602697B2 (en) 2017-09-05 2023-03-14 State Space Labs Inc. Sensorimotor assessment and training
WO2019054598A1 (ko) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
EP3466338A1 (en) * 2017-10-03 2019-04-10 Tata Consultancy Services Limited Cognitive load estimation based on pupil dilation
US20190138162A1 (en) * 2017-11-07 2019-05-09 Facebook, Inc. Systems and methods for providing calls-to-action and related content associated with virtual media content
KR20200098524A (ko) 2017-11-13 2020-08-20 뉴레이블 인크. 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스
US10791082B2 (en) * 2017-11-21 2020-09-29 D8AI Inc. Systems and methods for delivery and use of interactive objects
CN109842790B (zh) 2017-11-29 2021-02-26 财团法人工业技术研究院 影像信息显示方法与显示器
TWI702531B (zh) * 2017-11-29 2020-08-21 財團法人工業技術研究院 影像資訊顯示方法、影像資訊顯示系統與顯示器
CN111970958A (zh) 2017-11-30 2020-11-20 思维股份公司 用于检测神经障碍和测量一般认知能力的***和方法
WO2019109058A1 (en) 2017-12-01 2019-06-06 Ceeable, Inc. Eye movement in response to visual stimuli for assessment of ophthalmic and neurological conditions
KR20190067433A (ko) * 2017-12-07 2019-06-17 주식회사 비주얼캠프 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
SG11202005834YA (en) * 2017-12-21 2020-07-29 Commw Scient Ind Res Org Generating a user-specific user interface
KR20200110771A (ko) * 2018-01-18 2020-09-25 삼성전자주식회사 증강 현실 콘텐츠 조정 방법 및 장치
KR20200108888A (ko) * 2018-01-18 2020-09-21 뉴레이블 인크. 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스
US10225360B1 (en) * 2018-01-24 2019-03-05 Veeva Systems Inc. System and method for distributing AR content
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
US11861062B2 (en) * 2018-02-03 2024-01-02 The Johns Hopkins University Blink-based calibration of an optical see-through head-mounted display
US11604979B2 (en) 2018-02-06 2023-03-14 International Business Machines Corporation Detecting negative experiences in computer-implemented environments
US10884769B2 (en) 2018-02-17 2021-01-05 Adobe Inc. Photo-editing application recommendations
GB2571300B (en) 2018-02-23 2020-05-27 Sony Interactive Entertainment Inc Eye tracking method and apparatus
US11163156B2 (en) 2018-03-15 2021-11-02 Sphairos, Inc. Modular display and sensor system for attaching to eyeglass frames and capturing physiological data
US11036811B2 (en) * 2018-03-16 2021-06-15 Adobe Inc. Categorical data transformation and clustering for machine learning using data repository systems
WO2019183129A1 (en) * 2018-03-19 2019-09-26 Cognifisense, Inc. Computer systems and methods for creating and modifying a multi-sensory experience to improve health or performance
JP7222392B2 (ja) * 2018-03-20 2023-02-15 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体
JP7121523B2 (ja) * 2018-04-10 2022-08-18 キヤノン株式会社 画像表示装置、画像表示方法
WO2019210087A1 (en) * 2018-04-25 2019-10-31 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for testing visual function using virtual mobility tests
CN108805029B (zh) * 2018-05-08 2021-08-24 天津师范大学 一种基于显著对偶激活编码的地基云图识别方法
US10528131B2 (en) * 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
CN110554824A (zh) * 2018-06-01 2019-12-10 深圳市鸿合创新信息技术有限责任公司 一种多操作***电子装置
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US10684681B2 (en) * 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
CA3103877A1 (en) * 2018-06-18 2019-12-26 New Jersey Institute Of Technology Method, system and apparatus for diagnostic assessment and screening of binocular dysfunctions
US10725538B2 (en) * 2018-06-19 2020-07-28 Igt Interacting with game elements using eye movement tracking
WO2020018938A1 (en) * 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
TWI673047B (zh) * 2018-07-27 2019-10-01 亮眼科技股份有限公司 視力訓練輔助設備
US10915740B2 (en) * 2018-07-28 2021-02-09 International Business Machines Corporation Facial mirroring in virtual and augmented reality
US10949787B2 (en) * 2018-07-31 2021-03-16 International Business Machines Corporation Automated participation evaluator
US10810432B2 (en) 2018-08-02 2020-10-20 Motorola Solutions, Inc. Methods and systems for differentiating one or more objects in a video
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
CN109460143A (zh) * 2018-09-18 2019-03-12 南京航空航天大学 基于vr头显的头戴式脑诱发电位视觉刺激***及方法
US10922203B1 (en) * 2018-09-21 2021-02-16 Nvidia Corporation Fault injection architecture for resilient GPU computing
US10664050B2 (en) * 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
CN116614661A (zh) * 2018-10-01 2023-08-18 杜比实验室特许公司 经由生理监测的创作意图可扩展性
US10827922B2 (en) * 2018-10-22 2020-11-10 Zongqi Hu Apparatus and method for objective visual acuity measurement using dynamic velocity threshold filter in optokinetic response processing
US11087502B2 (en) 2018-10-31 2021-08-10 International Business Machines Corporation Multimodal data visualization using bandwidth profiles and optional environmental compensation
US11249310B1 (en) * 2018-11-26 2022-02-15 Lockheed Martin Corporation Augmented reality device with external light control layer for realtime contrast control
ES2924701T3 (es) * 2018-12-11 2022-10-10 Tobii Ab Estimación de posición en pantalla
KR102284266B1 (ko) * 2018-12-13 2021-08-02 한국과학기술원 신경 불일치 모델을 고려한 가상현실 멀미 평가 방법 및 그 장치
CN109756728B (zh) * 2019-01-02 2021-12-07 京东方科技集团股份有限公司 图像显示方法及装置，电子设备，计算机可读存储介质
AU2020209870B2 (en) * 2019-01-17 2022-10-13 The Royal Institution For The Advancement Of Learning/Mcgill University System and method for digital measurement of stereo vision
EP3891585A1 (en) * 2019-02-01 2021-10-13 Apple Inc. Biofeedback method of modulating digital content to invoke greater pupil radius response
JP7135944B2 (ja) * 2019-03-06 2022-09-13 株式会社デンソー 指標算出装置及び表示システム
KR20200115696A (ko) * 2019-03-07 2020-10-08 삼성전자주식회사 전자 장치 및 그 제어 방법
EP3948823A1 (en) * 2019-03-27 2022-02-09 Human Foundry, LLC Assessment and training system
US11056075B2 (en) * 2019-03-27 2021-07-06 Lenovo (Singapore) Pte. Ltd. Adjusting display settings of a head-mounted display
WO2020204934A1 (en) * 2019-04-05 2020-10-08 Hewlett-Packard Development Company, L.P. Modify audio based on physiological observations
US20220030080A1 (en) * 2019-04-10 2022-01-27 IPPM Venture, LLC Method for assessment of human attention
JP7060544B6 (ja) * 2019-04-26 2022-05-23 塁 佐藤 運動用設備
WO2020232309A1 (en) * 2019-05-15 2020-11-19 The Regents Of The University Of California Method and apparatus to track binocular eye motion
US10871823B1 (en) * 2019-05-23 2020-12-22 Facebook Technologies, Llc Systems and methods for using scene understanding for calibrating eye tracking
CN110208947B (zh) * 2019-06-03 2021-10-08 歌尔光学科技有限公司 基于人眼追踪的显示设备及显示方法
CN110200626A (zh) * 2019-06-14 2019-09-06 重庆大学 一种基于投票分类器的视觉诱导晕动症检测方法
US11612316B2 (en) * 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
CN110251071A (zh) * 2019-06-21 2019-09-20 中山大学中山眼科中心 儿童视力评估方法、***及计算机存储介质
EP3991071A4 (en) * 2019-06-26 2023-09-13 Twosense, Inc. CONTINUOUS AUTHENTICATION WITH WEARABLE HEAD-MOUNTED DEVICES AND EYE TRACKING
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN110428908B (zh) * 2019-07-31 2021-12-17 广西壮族自治区人民医院 一种基于人工智能的眼睑运动功能评估***
US11099642B2 (en) * 2019-08-01 2021-08-24 International Business Machines Corporation Display adaptation for visual impairment
US11263634B2 (en) 2019-08-16 2022-03-01 Advanced New Technologies Co., Ltd. Payment method and device
US20210065374A1 (en) * 2019-08-26 2021-03-04 Organize Everything Inc. System and method for extracting outlines of physical objects
US11576570B2 (en) * 2019-08-30 2023-02-14 Qualcomm Incorporated Determining eye strain indicator based on multiple devices
CN110547756A (zh) * 2019-09-17 2019-12-10 广州智伴人工智能科技有限公司 一种视力测试方法、装置和***
CN114269223A (zh) * 2019-09-27 2022-04-01 爱尔康公司 对眼科诊断装置中的测量的患者引发性触发
KR102349087B1 (ko) * 2019-10-10 2022-01-12 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
US11373760B2 (en) * 2019-10-12 2022-06-28 International Business Machines Corporation False detection rate control with null-hypothesis
US11645555B2 (en) 2019-10-12 2023-05-09 International Business Machines Corporation Feature selection using Sobolev Independence Criterion
KR102250775B1 (ko) 2019-10-18 2021-05-11 주식회사 에스알파테라퓨틱스 근시 치료를 위한 디지털 장치 및 애플리케이션
US20210121060A1 (en) * 2019-10-25 2021-04-29 Northwest Eye Care, Llc Visual systems assessment scale and systems and methods for corresponding treatment for a patient
US11461937B2 (en) * 2019-11-13 2022-10-04 Adobe, Inc. Authoring and optimization of accessible color themes
US11450035B2 (en) 2019-11-13 2022-09-20 Adobe Inc. Authoring and optimization of accessible color themes
GB201917147D0 (en) * 2019-11-25 2020-01-08 Medopad Ltd Visual impairment apparatus
DE102019218302A1 (de) * 2019-11-26 2021-05-27 Zf Friedrichshafen Ag Detektieren von einer VR-Krankheit
US11768594B2 (en) * 2019-11-29 2023-09-26 Electric Puppets Incorporated System and method for virtual reality based human biological metrics collection and stimulus presentation
JP2023512238A (ja) * 2020-01-31 2023-03-24 マジック リープ， インコーポレイテッド 眼球運動測定査定のための拡張および仮想現実ディスプレイシステム
US11960383B2 (en) * 2020-04-01 2024-04-16 Akili Interactive Labs, Inc. Systems and methods for software design control and quality assurance
WO2021222344A1 (en) * 2020-04-30 2021-11-04 Fred Tanner Systems and methods for augmented-or virtual reality-based decision-making simulation
CN111753639A (zh) * 2020-05-06 2020-10-09 上海欧菲智能车联科技有限公司 感知地图生成方法、装置、计算机设备和存储介质
US20210350139A1 (en) * 2020-05-11 2021-11-11 Nvidia Corporation Highlight determination using one or more neural networks
GB2594966A (en) 2020-05-13 2021-11-17 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
WO2021247312A1 (en) * 2020-06-03 2021-12-09 Limonox Projects Llc Eye-gaze based biofeedback
US11426116B2 (en) 2020-06-15 2022-08-30 Bank Of America Corporation System using eye tracking data for analysis and validation of data
CN111772573B (zh) * 2020-07-06 2023-06-06 重庆能能科技有限公司 双眼聚散灵敏度检测装置及其数据处理方法
US20220000393A1 (en) * 2020-07-06 2022-01-06 Savitar, Inc. Systems and methods for improving physical performance
JP2023539962A (ja) 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
US11656681B2 (en) * 2020-08-31 2023-05-23 Hypear, Inc. System and method for determining user interactions with visual content presented in a mixed reality environment
EP3964130A1 (en) * 2020-09-03 2022-03-09 Tata Consultancy Services Limited System and method for eye-blink based assessment of sustained visual attention of a target
US11774759B2 (en) 2020-09-03 2023-10-03 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
DE112020007589T5 (de) * 2020-09-08 2023-09-14 Hewlett-Packard Development Company, L.P. Bestimmung von merkmalen aus biometrischen signalen
JP7300569B2 (ja) * 2020-09-16 2023-06-30 株式会社雪雲 情報処理装置、情報処理方法およびプログラム
US20220080302A1 (en) * 2020-09-17 2022-03-17 Whoborn Inc. Apparatus for reproducing temperature for metaverse
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
US11468990B2 (en) 2020-10-12 2022-10-11 Kyndryl, Inc. Prevention of computer vision syndrome using explainable artificial intelligence
EP4231894A1 (de) 2020-10-21 2023-08-30 Roland BISCHEL Computerimplementiertes verfahren zur optometrischen farbaustestung
CN114546102B (zh) * 2020-11-26 2024-02-27 幻蝎科技(武汉)有限公司 眼动追踪滑行输入方法、***、智能终端及眼动追踪装置
CN112454390B (zh) * 2020-11-27 2022-05-17 中国科学技术大学 基于深度强化学习的仿人机器人面部表情模仿方法
CN112347450B (zh) * 2020-11-30 2022-04-22 浙江大学 一种基于眨眼声音信号的身份验证方法
JP7327368B2 (ja) 2020-12-02 2023-08-16 横河電機株式会社 装置、方法およびプログラム
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
DE102021200300A1 (de) * 2021-01-14 2022-07-14 Robert Bosch Gesellschaft mit beschränkter Haftung Modifizieren von parametersätzen, die ein computer vision-modell charakterisieren
CN112786164B (zh) * 2021-01-27 2023-05-30 上海交通大学医学院附属第九人民医院 用于调节性视标的动态图片设计方法、装置、设备和介质
CN112949404B (zh) * 2021-02-01 2022-04-19 吉林大学 一种夜间驾驶人视觉搜索能力量化方法
US11468713B2 (en) 2021-03-02 2022-10-11 Bank Of America Corporation System and method for leveraging a time-series of microexpressions of users in customizing media presentation based on users# sentiments
US11361108B1 (en) 2021-03-11 2022-06-14 Tsj Technology, Inc. Unidirectional communication system for public access to detained persons
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
GB2606180B (en) * 2021-04-28 2023-07-12 Sony Interactive Entertainment Inc Input generation system and method
CN113243917B (zh) * 2021-05-18 2023-05-12 中国民用航空总局第二研究所 一种民航管制员的疲劳检测方法、装置、电子设备及介质
EP4355193A1 (en) * 2021-06-17 2024-04-24 F. Hoffmann-La Roche AG Virtual reality techniques for characterizing visual capabilities
WO2022271668A1 (en) 2021-06-22 2022-12-29 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
EP4370013A1 (en) 2021-07-13 2024-05-22 machineMD AG Computer program, method, and apparatus for determining a visual acuity of a test person
US11653047B2 (en) 2021-07-29 2023-05-16 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
WO2023037714A1 (en) * 2021-09-10 2023-03-16 Sony Group Corporation Information processing system, information processing method and computer program product
WO2023039572A1 (en) * 2021-09-11 2023-03-16 The Regents Of The University Of California Simultaneous assessment of afferent and efferent visual pathways
KR102665504B1 (ko) 2021-09-30 2024-05-14 주식회사 테네터스 Vr 콘텐츠 기반 무자각 안과검사 제공 방법 및 시스템
US11645790B2 (en) 2021-09-30 2023-05-09 Adobe Inc. Systems for generating accessible color themes
IT202100026999A1 (it) * 2021-10-20 2023-04-20 Mnem S R L Metodo per la correlazione e predizione di dati associati a un soggetto di interesse
CN113984617A (zh) * 2021-10-21 2022-01-28 吉林大学 裂隙网络水热传递可视化示踪实验***
WO2023069752A1 (en) * 2021-10-22 2023-04-27 Apellis Pharmaceuticals, Inc. Systems and methods for virtual reality, augmented reality, and mixed reality based visual function assessment
US11769465B1 (en) * 2021-11-05 2023-09-26 Optum, Inc. Identifying regions of visible media data that belong to a trigger content type
US11644678B1 (en) * 2021-11-09 2023-05-09 Sony Interactive Entertainment Inc. Barometric pressure sensor arrays for detecting presence and motion of objects for tracking or triggering a response
US11832946B2 (en) 2021-11-17 2023-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for producing stimuli in a visual interface
CN114047822B (zh) * 2021-11-24 2023-12-19 京东方科技集团股份有限公司 近眼显示方法及***
CN116407084A (zh) * 2021-12-29 2023-07-11 中国科学院深圳先进技术研究院 一种多维度信号控制***和方法
US20230267693A1 (en) * 2022-02-18 2023-08-24 Htc Corporation Method for determining physical characteristics of objects, host, and computer readable storage medium
WO2023183980A1 (en) * 2022-03-30 2023-10-05 ResMed Pty Ltd Display system and user interface
JP7103744B1 (ja) * 2022-04-01 2022-07-20 株式会社仙台放送 視野評価用情報処理システム、視野評価用情報処理方法、視野評価用情報コンピュータプログラムおよび情報処理装置
US20230344975A1 (en) * 2022-04-22 2023-10-26 Faurecia Irystec Inc. System and method for controlling perceptual three-dimensional elements for display
CN114617533B (zh) * 2022-05-13 2022-08-16 成都尚医信息科技有限公司 一种基于三维重建的营养状况确定***
EP4325517A1 (en) 2022-08-18 2024-02-21 Carl Zeiss Vision International GmbH Methods and devices in performing a vision testing procedure on a person
KR20240031770A (ko) * 2022-09-01 2024-03-08 삼성전자주식회사 비네팅 기능을 수행하는 방법 및 이를 지원하는 웨어러블 전자 장치
SE2251233A1 (en) * 2022-10-24 2024-04-25 Tobii Ab Eye tracking
WO2024101579A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
CN117137426B (zh) * 2023-10-26 2024-02-13 中国科学院自动化研究所 基于微扫视特征监测的视野损伤评估训练方法及***
CN117992909B (zh) * 2024-01-29 2024-07-05 安徽大学 视听场景下的听觉注意解码方法、装置和助听***

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422690A (en) 1994-03-16 1995-06-06 Pulse Medical Instruments, Inc. Fitness impairment tester
DE19505399B4 (de) 1995-02-17 2005-11-10 Oculus Optikgeräte GmbH Verfahren zum Ausmessen des Gesichtsfeldes
GB9722949D0 (en) 1997-10-30 1998-01-07 Bid Instr Ltd Ocular testing and related projection apparatus and method
US6089714A (en) 1998-02-18 2000-07-18 Mcgill University Automatic segmentation of nystagmus or other complex curves
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
EP1221153B1 (en) 1999-06-15 2006-03-29 Dimitri Caplygin System for enhancement of neurophysiological processes
US8686922B2 (en) 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
GB0309025D0 (en) 2003-04-22 2003-05-28 Mcgrath John A M Method and apparatus for the early and rapid diagnosis of glaucoma and other human and higher primate visual disorders
US7575321B2 (en) 2003-10-30 2009-08-18 Welch Allyn, Inc. Apparatus and method of diagnosis of optically identifiable ophthalmic conditions
JP4626980B2 (ja) 2005-01-21 2011-02-09 独立行政法人情報通信研究機構 視覚訓練装置及び視覚訓練方法
US20070166675A1 (en) 2005-12-15 2007-07-19 Posit Science Corporation Cognitive training using visual stimuli
US8668334B2 (en) * 2006-02-27 2014-03-11 Vital Art And Science Incorporated Vision measurement and training system and method of operation thereof
US7513622B2 (en) 2006-10-04 2009-04-07 Isport, Llc System and method of enhancing a retino-geniculo-cortical pathway for a particular physical activity
US8109875B2 (en) * 2007-01-03 2012-02-07 Gizewski Theodore M Derma diagnostic and automated data analysis system
WO2009091845A1 (en) 2008-01-14 2009-07-23 Isport, Llc Method and system of enhancing ganglion cell function to improve physical performance
WO2009116043A1 (en) 2008-03-18 2009-09-24 Atlas Invest Holdings Ltd. Method and system for determining familiarity with stimuli
WO2010009450A1 (en) 2008-07-18 2010-01-21 Doheny Eye Institute Optical coherence tomography device, method, and system
US8798374B2 (en) 2008-08-26 2014-08-05 The Regents Of The University Of California Automated facial action coding system
EP2441386A1 (en) * 2008-10-14 2012-04-18 Ohio University Cognitive and linguistic assessment using eye tracking
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
CN103281959A (zh) * 2011-05-20 2013-09-04 松下电器产业株式会社 视觉疲劳度测定装置、视觉疲劳度测定方法、视觉疲劳度测定***及三维眼镜
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
EP2908715A4 (en) * 2012-07-31 2016-08-17 Tracey Technologies Corp TPS TOOLS AND METHOD FOR THE SURGICAL USE OF INTRAOCULAR IMPLANTS
US20140212404A1 (en) 2012-11-14 2014-07-31 Khizer Khaderi Compositions and Methods for Treating Injuries to the Visual System of a Human
US20140195900A1 (en) * 2012-12-20 2014-07-10 Gregory B. GABEL Computer readable medium for enhanced display of digital text
US20150213634A1 (en) * 2013-01-28 2015-07-30 Amit V. KARMARKAR Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
AU2014229498B2 (en) * 2013-03-13 2018-07-05 Fdna Inc. Systems, methods, and computer-readable media for identifying when a subject is likely to be affected by a medical condition
US9152870B2 (en) * 2013-03-15 2015-10-06 Sri International Computer vision as a service
EP3016577A4 (en) 2013-07-03 2017-03-01 The Regents of the University of California A non-invasive method for assessing and monitoring brain injuries
US20150009117A1 (en) * 2013-07-03 2015-01-08 Richard R. Peters Dynamic eye trackcing data representation
TWI515717B (zh) * 2013-07-04 2016-01-01 廣達電腦股份有限公司 顯示器亮度的自動控制裝置及其方法
CA2937816A1 (en) * 2014-02-26 2015-09-03 Gregory J. Besner Automated recommendation engine for human resource management
US10445573B2 (en) 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
CN106796443A (zh) 2014-08-07 2017-05-31 Fove股份有限公司 三维上的凝视点的位置确定方法
US9489044B2 (en) 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
US9621741B2 (en) * 2014-12-10 2017-04-11 Intel Corporation Techniques for context and performance adaptive processing in ultra low-power computer vision systems
US20160370591A1 (en) 2014-12-27 2016-12-22 Fove, Inc. Head mounted display
AU2016233280B2 (en) 2015-03-16 2021-03-25 Magic Leap, Inc. Augmented reality pulse oximetry
US10078164B2 (en) * 2015-09-03 2018-09-18 3M Innovative Properties Company Optical system
US9942532B2 (en) * 2015-11-03 2018-04-10 International Business Machines Corporation Eye-fatigue reduction system for head-mounted displays
AU2017248363A1 (en) * 2016-04-08 2018-11-22 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060782A (zh) * 2019-04-28 2019-07-26 浙江中医药大学附属第二医院(浙江省新华医院) 一种基于虚拟现实的对不同心血管急症信息处理仿真***
CN114173657A (zh) * 2019-05-31 2022-03-11 瑞思迈私人有限公司 使用增强现实最小化认知衰退的***和方法
CN110412778A (zh) * 2019-07-25 2019-11-05 南京聚米粒智能科技有限公司 一种近视眼镜视力疲劳缓解方法及装置
CN111103975A (zh) * 2019-11-30 2020-05-05 华为技术有限公司 显示方法、电子设备及***
CN111973155A (zh) * 2020-08-23 2020-11-24 吾征智能技术(北京)有限公司 一种基于人体口味异常变化的疾病认知自学习***
CN111973155B (zh) * 2020-08-23 2023-06-16 吾征智能技术(北京)有限公司 一种基于人体口味异常变化的疾病认知自学习***
CN112587136A (zh) * 2020-12-09 2021-04-02 北京意图科技有限公司 味觉感官评估方法和***
CN112587136B (zh) * 2020-12-09 2022-02-25 北京意图科技有限公司 味觉感官评估方法和***

Also Published As

Publication number Publication date
AU2017248362A1 (en) 2018-11-22
CA3020394A1 (en) 2017-10-12
EP3439533A4 (en) 2020-01-01
US20170293356A1 (en) 2017-10-12
US20170290504A1 (en) 2017-10-12
WO2017177187A1 (en) 2017-10-12
EP3440494A4 (en) 2019-12-18
US20230195222A1 (en) 2023-06-22
EP3439533A1 (en) 2019-02-13
JP2019519053A (ja) 2019-07-04
US20190391638A1 (en) 2019-12-26
AU2017248363A1 (en) 2018-11-22
WO2017177188A1 (en) 2017-10-12
KR20190027354A (ko) 2019-03-14
US10209773B2 (en) 2019-02-19
EP3440494A1 (en) 2019-02-13
CN109640785A (zh) 2019-04-16
KR20190026651A (ko) 2019-03-13
US11561614B2 (en) 2023-01-24
CA3020390A1 (en) 2017-10-12
JP2019513516A (ja) 2019-05-30

Similar Documents

Publication Publication Date Title
CN109690384A (zh) 用于基于视觉性能数据获得、分析和生成视觉性能数据和修改媒体的方法和***
US11617559B2 (en) Augmented reality systems and methods for user health analysis
Bekele et al. Design of a virtual reality system for affect analysis in facial expressions (VR-SAAFE); application to schizophrenia
KR101598531B1 (ko) 연산적인 사용자 건강 테스트 출력의 관심에 대한 폴링
Chen Cognitive load measurement from eye activity: acquisition, efficacy, and real-time system design
Marandi Work, aging, mental fatigue, and eye movement dynamics
Barbel NeuroGaze in Virtual Reality: Assessing an EEG and Eye Tracking Interface against Traditional Virtual Reality Input Devices
Angulo-Sherman et al. Recent Applications of BCIs in Healthcare
Hou Interactive Technologies of Wearable Devices for Elderly: A Literature Review
D'Aquino et al. Eye movements during motor imagery and execution reveal different visuomotor control strategies in manual interception
Wache Implicit Human-computer Interaction: Two complementary Approaches
Gamberini et al. Deliverable 7.1 CEEDs user-experience research plan and year 1 report
Stewart et al. Stress Detection: Detecting, Monitoring, and Reducing Stress in Cyber-Security Operation Centers Using Facial Expression Recognition Software
Lengert Analyzing Privacy Threats in VR/AR Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190426