CN109791440B - 头戴式显示器中的虚拟现实内容的视场限制方法 - Google Patents

头戴式显示器中的虚拟现实内容的视场限制方法 Download PDF

Info

Publication number
CN109791440B
CN109791440B CN201780060549.1A CN201780060549A CN109791440B CN 109791440 B CN109791440 B CN 109791440B CN 201780060549 A CN201780060549 A CN 201780060549A CN 109791440 B CN109791440 B CN 109791440B
Authority
CN
China
Prior art keywords
content
discomfort
user
patterns
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780060549.1A
Other languages
English (en)
Other versions
CN109791440A (zh
Inventor
D.S.马林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to CN202210632723.8A priority Critical patent/CN114995646A/zh
Publication of CN109791440A publication Critical patent/CN109791440A/zh
Application granted granted Critical
Publication of CN109791440B publication Critical patent/CN109791440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/392—Detecting gastrointestinal contractions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06—Heartbeat rate only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/14—Electro-oculogram [EOG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/65—Impedance, e.g. conductivity, capacity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Gastroenterology & Hepatology (AREA)

Abstract

一种用于在观看用于头戴式显示器(HMD)的虚拟现实(VR)内容时减少不适的方法。所述方法包括访问模型，所述模型识别可能引起不适的与对应基线VR内容的生成相关联的多个学习模式。所述方法包括处理第一应用以生成与模拟用户与所述第一应用的第一VR内容的交互相关联的数据。所述方法包括将所述数据与所述模型进行比较以识别所述数据中与所述学习模式中的至少一个学习模式匹配的模式，使得所述识别的模式可能引起不适。所述方法包括识别所述第一应用中与识别的模式对应的区域。所述方法包括在所述区域内应用不适减少滤波效应，目的是减少用户潜在的不适。

Description

头戴式显示器中的虚拟现实内容的视场限制方法
技术领域
本公开涉及在与虚拟现实(VR)内容交互时改善用户体验，以及对可能引起用户的不适和/或病症的VR内容的不适减少滤波效应的实现。
背景技术
例如，计算机生成的虚拟现实(VR)允许用户沉浸在模拟的真实环境或虚构环境中。通过完全沉浸，用户能够与模拟或虚构环境进行交互，就像用户存在于这个VR环境中一样。也就是说，用户能够移动并环视VR环境，并且可能与这个VR环境中的对象进行交互。
VR***可以使用某一显示***来让用户观看VR环境。这些显示***可以包括在用户面前呈现的计算机监视器或显示屏。当显示屏较小时，用户的VR体验受到来自周围真实环境(例如，阳光、真实空间中的对象等)的视觉刺激的阻碍。可以通过增加显示大小以减少周围真实环境的影响来改善VR体验。此外，显示***可以被设计成阻挡来自周围真实环境的刺激。例如，用户佩戴的头戴式显示器 (HMD)能够阻挡来自物理、真实环境的光，并且向用户呈现立体筛选***以便在三维(3D)中观看VR环境。这些HMD可以包括与佩戴在头上或头顶上的安装***整合的观看护目镜。其他更复杂的 VR***可以与移动传感器整合，所述移动传感器允许用户在真实世界中进行移动，然后可以以某种形式将其转换到VR世界。例如，手势/移动可以用于与VR对象进行交互，并且在真实世界中移动(例如，在物理环境中行走)可以被转换为VR环境中的类似移动(例如，在VR环境中行走或跑步)。
VR***已经被各种行业所接受，诸如军事、房地产、医药、视频游戏等。因为用户可以完全沉浸在VR环境中，所以该VR环境可以模拟真实环境以用于训练、享乐和逃避的目的。例如，VR***可以用于军队中的飞行员训练、医疗行业内的外科技术训练、显示房地产经纪人的列表或体验度假目的地。此外，VR环境可以用于模拟完全虚构的环境，诸如角色具有超人能力的幻想世界。例如，用户可以沉浸在视频游戏VR环境中，所述视频游戏VR环境允许用户在这个 VR环境中掌握游戏角色的技能和移动。以这种方式，用户能够通过向用户提供虚构的移动和技能的感觉来扩展现实的范围。这类似于让残疾人感觉好像他或她能够在VR环境中移动(例如，行走)。
然而，用户的VR体验将随着呈现的VR内容的类型以及用户与 VR内容的交互的兼容性而变化。在某些情况下，VR内容可能会引起用户的病症或不适，这类似于在物理真实世界中经历的晕动病。用户的不适可能通常归因于以某种方式与特定用户不兼容的感官提示(例如，视觉、听觉等)，尽管该领域的研究尚未确切地确定为什么这些提示可能是或可能不是兼容的。
正是在这种背景下出现本公开的实施例。
发明内容
本公开的实施例涉及用于通过深度学习引擎构建模型的***和方法，该深度学习引擎被配置用于预测用户在与VR内容交互时的不适，用于基于由模型确定的用户的预测的不适识别可能引起不适和/ 或病症的VR内容中的区域，以及用于在那些识别的区域中应用不适减少滤波效应。下面描述本公开的几个发明实施例。
在一个实施例中，公开了一种用于在观看用于头戴式显示器 (HMD)的虚拟现实(VR)内容时减少不适的方法。该方法包括访问模型，所述模型识别可能引起不适的与对应基线VR内容的生成相关联的多个学习模式。该方法包括处理第一应用以生成与模拟用户与所述第一应用的第一VR内容的交互相关联的数据。该方法包括将所提取的数据与所述模型进行比较以识别所提取的数据中与所述学习模式中的至少一个学习模式匹配的模式，使得所识别的模式可能引起不适。该方法包括识别所述第一应用中与所识别的模式对应的区域。该方法包括在所述区域内应用不适减少滤波效应，目的是减少用户潜在的不适。
在一个实施例中，公开了用于在观看用于头戴式显示器(HMD) 的虚拟现实(VR)内容时减少不适的另一种方法。该方法包括执行应用以生成用于用户交互的VR内容。该方法包括接收指示用户不适的输入。该方法包括将不适减少滤波效应应用于为了进行显示而生成的VR内容，目的是减少潜在的不适。
在另一个实施例中，公开了一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于在观看用于HMD的VR内容时减少不适的计算机程序。该计算机可读介质包括用于执行应用以生成用于用户交互的VR内容的程序指令。该计算机可读介质包括用于接收指示用户不适的输入的程序指令。该计算机可读介质包括用于将不适减少滤波效应应用于为了进行显示而生成的VR内容的程序指令，目的是通过将视场限制(throttling)作为叠加实时应用于所述VR内容来减少潜在的不适。
通过以下结合附图进行的以举例的方式展示了本公开的原理的详细描述，本公开的其他方面将变得明显。
附图说明
通过参考以下结合附图的描述，可最好地理解本公开，其中：
图1A示出了根据本公开的一个实施例的用于通过深度学习引擎构建不适和/或病症识别模型的***，该深度学习引擎被配置用于关联用户在与VR内容交互时的不适。
图1B示出了根据本公开的一个实施例的用于通过深度学习引擎实现的训练来构建不适识别模型的示例神经网络。
图2A示出了根据本公开的一个实施例由图1A的***100A生成的测试数据，其中测试数据用于构建不适和/或病症识别模型。
图2B示出了根据本公开的一个实施例将不适识别模型应用于被测应用，其中应用生成VR内容，目的是识别如所执行的应用中的区域或点，所述区域或点与引起不适和/或病症的VR内容的模式和/或用户与该VR内容的生成相关联采取或生成的动作的模式相关联。
图2C示出了根据本公开的一个实施例基于被配置用于预测用户在与VR内容交互时的不适的模型所确定的用户的预测的不适来识别可能引起不适和/或病症的VR内容中的区域的过程。
图3A是根据本公开的一个实施例的示出在VR内容中的区域中的不适减少滤波效应的应用的曲线图，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症，包括与用户的头部移动速率成比例的视场(FOV)限制的实施。
图3B是根据本公开的一个实施例的示出在VR内容中的区域中的不适减少滤波效应的应用的曲线图，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症，包括随着用户的头部随时间的移动FOV限制的实施。
图3C是根据本公开的一个实施例的VR环境以及随着用户的头部的物理移动在用户的视线内应用FOV限制的图示。
图3D是根据本公开的一个实施例的滑动条的图示，该滑动条被配置为调节在VR内容中的区域中的不适减少滤波效应的应用，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症。
图4A是根据本公开的一个实施例的用于在VR内容中的区域中应用不适减少滤波效应的方法，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症，包括随着用户的头部随时间的移动FOV限制的实施。
图4B概念性地示出了根据本发明的实施例的HMD的功能以及生成VR内容的应用的执行以及在闭环***中应用不适减少滤波效应。
图5示出了可用于执行本公开的各种实施例的各方面的示例设备的部件。
图6是示出了根据本公开的一个实施例的头戴式显示器的部件的图。
图7是根据本公开的各种实施例的游戏***的框图。游戏***被配置为经由网络向一个或多个客户端提供视频流。
具体实施方式
尽管出于说明的目的，以下详细描述包含许多具体细节，但是本领域普通技术人员将理解，对以下细节的许多变化和改变都在本公开的范围内。因此，阐述了以下描述的本公开的各方面而不失一般性，并且不对本说明书后面的权利要求施加限制。
一般而言，本公开的各种实施例描述了实现深度学习技术以确定哪些VR内容引起用户不适和/或病症，以及用于基于预测的用户不适和/或病症分类和/或识别可能引起不适和/或病症的VR内容和/或VR 内容的来源中的点或区域的***和方法。特别地，本公开的实施例通过深度学习引擎构建模型，该深度学习引擎被配置用于预测用户在与 VR内容交互时的不适；基于由模型确定的用户的预测的不适识别可能引起不适和/或病症的VR内容和/或VR内容的来源中的区域；以及在那些识别的区域中应用不适减少滤波效应。
通过以上对各种实施例的一般理解，现在将参考各种附图描述各实施例的示例性细节。
图1A示出了根据本公开的一个实施例的用于通过深度学习引擎构建不适和/或病症识别模型的***100A，该深度学习引擎被配置用于关联用户在与VR内容交互时的不适。***100A可以在测试环境中实现，以便获知在观看VR内容和/或与VR内容交互时用户将在什么条件下经历不适和/或病症，然后应用该知识来构建可用于基于用户在与VR内容交互时经历的预测的不适和/或病症对VR内容进行分类(例如，识别VR内容中可能引起不适和/或病症的点)的模型。
测试环境包括经历多个VR内容的多个测试用户。使用对应的测试***监视每个测试用户。为了说明，使用测试***101a监视测试用户105，并且使用测试***101b-101n等监视其他测试用户。
作为多个测试***(例如，101a-101n)的代表性示例，测试***101a被描述以示出在与VR内容115交互期间对测试用户105的监视。VR内容115包括一个或多个基线VR内容，其中每个基线内容与已知或真实的不适和/或病症响应相关联。此外，VR内容可以是任何类型，包括来自游戏应用的渲染图像、视频、多媒体内容、静态图像等。
客户端设备100被配置用于生成VR内容115。例如，VR内容可以由在VR内容引擎111(例如，游戏执行引擎)上运行的应用(例如，游戏应用)生成。例如，该应用被设计为产生图像，当通过对应的显示设备(例如，HMD 107或显示器112)观看时，该图像可以给用户提供三维VR观看体验。在一个实现方式中，客户端设备100可以是被配置为生成和/或播放VR内容(例如，执行游戏应用的代码以渲染图像)的独立***，或者可以通过网络(未示出)(诸如互联网) 请求访问VR内容，或者用于渲染以下VR内容：从后端服务器(例如，实施虚拟机)执行的应用(例如，游戏应用)的实例接收，并且传送到与用户105相关联的显示设备112，或者传送到被配置为显示 VR内容的头戴式显示器(HMD)107。在一些实施例中，客户端设备100可以是HMD。
另外，客户端设备100可以从各种类型的输入设备接收输入，所述输入设备诸如游戏控制器106、平板计算机、键盘、由摄影机捕获的手势、鼠标、触摸板等。客户端设备100可以是任何类型的计算设备，其至少具有存储器以及能够生成和/或播放VR内容115的处理器模块。客户端设备100的一些示例包括个人计算机(PC)、游戏控制台、HMD、家庭影院设备、通用计算机、视频记录播放器、移动计算设备、平板电脑、电话或者可以播放VR内容115的任何其他类型的计算设备。用户界面110可以用于播放VR内容、设置测试、和/ 或用于管理输入到不适分类建模器120中的数据的集合。
特别地，客户端设备100被配置用于生成和/或接收VR内容的渲染图像，并用于在显示器112或HMD 107上显示渲染图像。例如，渲染图像可以与在客户端设备100上执行或者与用户105相关联地在后端游戏服务器上执行的游戏应用的实例相关联。在诸如与游戏应用相关联的交互式VR内容的情况下，客户端设备100被配置为与在引擎111上执行并且与用户105的游戏进行相关联的视频游戏的实例交互，诸如通过用于驱动游戏进行的输入命令。
在用户105与VR内容115的交互期间，监视各种数据，其中数据与VR内容115(例如，渲染图像等)和用户105相关联。数据可以由客户端设备100监视和收集，或者直接由不适分类建模器120监视和收集。该数据在不适分类建模器120中输入，以便获知引起用户不适和/或病症的VR内容和/或VR内容的模式。数据包括生成的VR 内容，
例如，VR内容由测试***101a监视，以识别与VR内容相关联的模式，所述模式然后可以与来自经历不适和/或病症的测试用户的数据相关，其中模式可以包括任何类型的VR内容(例如，静态图像、图像序列等)；或由用户与该VR内容的生成相关联地采取或生成的动作的模式。模式可以与模拟用户与对应VR内容的交互相关联。随着时间的推移，如果VR内容的(例如，移动地平线、化身线性和旋转加速度等)或动作的模式的相同模式一致地引起测试用户的不适和 /或病症，则这些模式可以被标记为在与该VR内容交互的消费者用户中产生不适和/或病症反应。在一个实施例中，客户端设备100被配置为监视和解析VR内容的模式，或者与该VR内容的生成相关联地由用户采取或生成的动作的模式，同时VR内容正在由测试用户105 播放或与测试用户105交互。在另一实施例中，不适分类建模器120 并且更具体地深度学习引擎190被配置为监视和解析VR内容的模式，或者与该VR内容的生成相关联地由用户采取或生成的动作的模式，同时VR内容正在由测试用户105播放或与测试用户105交互。
另外，测试***101a监视与在与VR内容115交互期间收集的测试用户105相关联的生理数据。可以被动地或主动地监视生理数据。被动监视不需要用户的帮助，而主动监视需要用户帮助。
特别地，在一个实施例中，测试***101a被配置为例如通过使用致动器109来主动监视生理数据。例如，当测试用户105与VR内容115交互时，当测试用户感到不适和/或病症时，用户可以主动地接合致动器109(例如，按下按钮)。还可以通过用户界面110在各种时间(例如，周期性时间、随机时间、指定时间等)提示用户输入在与VR内容115交互期间感觉到的不适/舒适和/或病症的程度。
在另一个实施例中，传感器125在测试用户105与VR内容115 交互时被动地监视生理数据。也就是说，传感器125自动监视和收集来自测试用户的生理数据。为了说明，生理数据可包括胃电图、皮肤电阻、大脑活动(例如，α波)、心率、眼球运动、头部移动等。例如，胃电图可显示指示恶心的发作的胃肌收缩。例如，皮肤电阻可以测量电导率或皮肤特征的差异。特别是，更多的出汗将提供更好的导电性。由测试用户105进行的VR内容115(例如，特技飞行飞机模拟)的某些模式引起的不适和/或病症可引起皮肤电阻的变化是可能的，这可能是由于出汗的增加。此外，可以随时间测量和记录大脑活动，以确定测量的大脑活动与由VR内容115的某些模式引起的不适和/或病症之间是否存在某种相关性。在某些眼睛或头部运动中可表现出不适和/或病症也是可能的，这两种运动都可能表现出缓慢或异常移动。此外，当测试用户经历由与VR内容的交互引起的不适和/ 或病症时，心率可能表现出某些模式。尽管一项生理数据或一种类型的生理数据可能无法提供关于在测试用户的不适和/或病症与VR内容的模式之间的相关性的确定值，但随着时间的推移，在测试用户与 VR内容的交互的许多测试情况下收集的某些生理数据或不同类型的生理数据的组合将在不适和/或病症与VR内容的模式之间产生更可靠的相关性。
此外，可以关联与VR内容115相关联地收集的测试数据和来自测试用户105的生理数据，使得可以在VR内容的特定模式或用户与 VR内容相关联地采取的动作的模式与生理反应之间建立关联，其中 VR内容可以在测试用户105中引起测量的生理反应。例如，可以与收集的与VR内容115相关联的测试数据和测试用户105的生理数据两者相关联地收集时间戳，其中具有对应但滞后的时间戳的数据可以彼此相关。具体地，不适分类建模器120被配置为获知可能引起用户的不适和/或病症的VR内容的类型和/或模式、或与VR内容的生成或交互相关联的模式、或者与模拟或测试用户与对应VR内容的交互相关联的模式。这些识别的模式可以包括在不适模型220内，该模型可以用于识别可能引起用户的不适和/或病症的被测应用中的点。
图1B示出了根据本公开的一个实施例的用于通过不适分类建模器120的深度学习引擎190实现的训练来构建不适识别模型的示例神经网络。特别地，图1A的***100A中的不适分类建模器120被配置为获知可能引起用户(一般的、特定的等)的不适和/或病症的VR内容的类型或模式和/或用户与VR内容的生成相关联地采取或生成的动作。不适分类建模器120可以是任何计算设备，包括直接或通过网络(例如，本地网络、互联网等)耦接到测试***101a-101n中的每一者的后端服务器计算设备。
具体地，不适分类建模器120中的深度学习引擎190被配置为分析从与具有预定或真实用户不适和/或病症响应的基线VR内容交互的测试用户生成的输入。如前所述，输入包括与VR内容的生成相关联地收集的数据(例如，VR内容的模式，以及由用户与VR内容的生成相关联地采取或生成的动作的模式)和通过传感器125被动收集或通过致动器109主动收集的生理数据。因此，代替获知为什么用户在与VR内容交互时将对不适和/或病症做出反应，不适分类建模器 120的深度学习引擎190能够识别在进行交互(例如，观看)时将引起用户(例如，一般用户、特定类型的用户等)经历不适和/或病症反应的VR内容(例如，与用户采取或生成的动作相关联地生成的 VR内容的类型和/或模式)、和/或用户与该VR内容的生成相关联地采取或生成的动作的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式。这些模式包括在不适模型220中。另外，该识别允许不适分类建模器120将深度学习引擎190构建和/或配置为内容分类模型121。另外，不适分类建模器120被配置为将深度学习引擎190 构建和/或配置为用户分类模型122。模型220、121和122是相关的，因为它们依赖于对哪些VR内容在交互时将引起用户经历不适和/或病症反应的相同识别。
如先前所介绍的，相关联的VR内容数据(例如，VR内容的模式、和/或由用户与VR内容的生成相关联地采取或生成的动作的模式) 和由传感器125被动地或通过致动器109主动地收集的生理数据被馈送到深度学习引擎190。深度学习引擎190利用人工智能，包括深度学习算法、强化学习或者其他基于人工智能的算法。以这种方式，在学习阶段期间，从与基线VR内容交互的测试用户收集数据，其中基线VR内容与预定和预期的不适和/或病症反应相关联。还从VR内容引擎111收集数据(例如，VR内容的模式、元数据、由用户与VR 内容的生成相关联地采取或生成的动作的模式等)。深度学习引擎190 使用该数据来在给定一组输入数据的情况下预测用户的不适和/或病症反应。通过修改深度学习引擎190使用的内部参数，可以连续地执行对深度学习引擎190收集的数据的分析，以提供更新的分析，该更新的分析用于获知将引起用户不适和/或病症的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式。因此，通过获知哪些VR内容或VR内容的模式引起用户的不适和/或病症，深度学习引擎190能够构建对VR内容进行分类并在建模阶段期间对用户进行分类的模型。
神经网络190表示用于分析数据集以确定将引起用户的不适和/ 或病症的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式的自动分析工具的示例。不同类型的神经网络190是可能的。在示例中，神经网络190支持可由深度学习引擎190实现的深度学习。因此，可实现使用监督或非监督训练的深度神经网络、卷积深度神经网络和 /或递归神经网络。在另一示例中，神经网络190包括支持强化学习的深度学习网络。例如，神经网络190被设置为支持强化学习算法的马尔可夫决策过程(MDP)。
通常，神经网络190表示互连节点的网络，诸如人工神经网络。每个节点从数据中获知一些信息。可通过互连在节点之间交换知识。对神经网络190的输入激活一组节点。进而，这组节点激活其他节点，从而传播关于输入的知识。在其他节点上重复所述激活过程直到提供输出为止。
如图所示，神经网络190包括节点的分级结构。在最低分级结构水平处，存在输入层191。输入层191包括一组输入节点。例如，这些输入节点中的每一个被映射到VR内容数据和在测试用户与VR内容(例如，视频游戏或游戏应用等)的交互期间由传感器125被动地收集或者主动地通过致动器109收集的生理数据。
在最高分级结构水平处，存在输出层193。输出层193包括一组输出节点。例如，输出节点表示与用户游戏进行分析器的一个或多个部件相关的决定(例如，预测)。如前所述，输出节点可以参考不适和/或病症来识别测试用户的状态。也就是说，给定一组输入，输出节点指示由深度学***。这些结果可以与预定的和真实的不适和/或病症反应进行比较，以便改进和/或修改深度学习引擎190使用的参数，以迭代地确定哪些VR内容或VR内容的模式将引起用户的不适和/或病症。也就是说，神经网络190中的节点获知模型中可用于在改进参数时做出这样的决定的参数。
特别地，隐藏层192存在于输入层191与输出层193之间。隐藏层192包括“N”个数量的隐藏层，其中“N”是大于或等于一的整数。进而，隐藏层中的每一个还包括一组隐藏节点。输入节点互连到隐藏节点。同样，隐藏节点互连到输出节点，使得输入节点不直接互连到输出节点。如果存在多个隐藏层，那么输入节点互连到最低隐藏层的隐藏节点。进而，这些隐藏节点互连到下一个隐藏层的隐藏节点，依此类推等等。下一个最高隐藏层的隐藏节点互连到输出节点。互连连接两个节点。互连具有可以获知的数字权重，使得神经网络190适应于输入并且能够学习。
通常，隐藏层192允许在对应于输出节点的所有任务之间共享关于输入节点的知识。为此，在一个实现方式中，通过隐藏层192将变换f应用于输入节点。在示例中，变换f是非线性的。不同的非线性变换f是可用的，包括例如整流器函数f(x)＝max(0,x)。
神经网络190还使用成本函数c来找到最优解。成本函数测量由神经网络190针对给定输入x输出的定义为f(x)的预测与地面实况或目标值y(例如，预期结果)之间的偏差。最优解表示没有解的成本低于最优解的成本的情况。对于这种地面实况标签可用的数据，成本函数的示例是预测和地面实况之间的均方误差。在学习过程期间，神经网络190可使用反向传播算法来采用不同的优化方法来获知最小化成本函数的模型参数(例如，隐藏层192中的节点之间的互连的权重)。这种优化方法的示例是随机梯度下降。
在示例中，神经网络190的训练数据集来自同一数据域。例如，训练神经网络190用于获知哪些VR内容或VR内容的模式将引起用户的不适和/或病症。在该图示中，数据域包括为测试用户与基线VR 内容的交互而收集的测试会话数据。在另一示例中，训练数据集来自不同的数据域。例如，神经网络190针对游戏应用或针对一种类型的游戏应用进行训练。
因此，神经网络190可以预测或确定引起用户不适和/或病症的 VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或者与模拟或测试用户与对应VR内容的交互相关联的模式。被识别为引起不适和/或病症的这些模式包括在不适模型220内。基于这些预测结果，神经网络190还可以定义预测模型(例如，内容分类模型 121)，其用于基于预测的用户不适和/或病症对VR内容进行分类。此外，神经网络190还可以定义预测模型(例如，用户分类模型)，其用于基于在观看VR内容时用户不适和/或病症的个性化和预测的确定来对用户进行分类。
图2A示出了根据本公开的一个实施例由图1A的***100A生成的测试数据，其中测试数据用于构建不适和/或病症识别模型。如图所示，一个或多个测试者(例如，测试者a到测试者N)与一个或多个测试应用(例如，游戏应用G-1到G-n)交互。例如，测试者使用 HMD102与在客户端设备100上执行的对应VR内容交互。也就是说，在一个实施例中，一个或多个测试者可以使用一个应用来生成用于构建不适和/或病症识别模型的数据。在另一个实施例中，一个或多个测试者可以使用一个以上的应用来生成用于构建不适和/或病症识别模型的数据，该模型部分地被配置为识别引起不适和/或病症的 VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式。
如图所示，测试者a与由线115a'所示的VR内容115a交互，该 VR内容115a是从对应的应用(例如游戏应用G-1)生成的。仅出于说明目的，线115a'被示出为具有峰和谷的一条曲线。线115a'的路径可以类似于通过游戏应用G-1的进度。更重要的是，在沿着线115a' 的每个点处，存在响应于测试者a交互而生成和显示的VR内容115a 的相关部分。此外，在每个点处，存在由用户与该VR内容115a的生成相关联地采取或生成的相关动作。特别地，示出VR内容115a 的部分的曲线上用一个或多个空心圆圈标识的特定区域对应于监视的生理数据(被动地或主动地收集)，该生理数据指示在他或她与VR 内容115a的交互期间测试者a的不适和/或病症。可以为沿着线115a' 的每个区域收集信息的快照，包括相关的VR内容、元数据、生理数据、由用户与VR内容115a的生成相关联地采取或生成的动作等，如前所述。该数据可以被传送到不适分类建模器120并且与从其他测试者收集的其他数据相关，以识别或预测引起不适和/或病症的VR 内容的和/或由测试者与VR内容的生成或交互相关联地采取或生成的动作的模式。
类似地，其他测试者正在与由一个或多个应用G-1到G-n生成的其他VR内容交互，并且生成用于识别或预测引起不适和/或病症的 VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式的数据。例如，测试者b与线115b'所示的VR内容115b交互，测试者c与线115c' 所示的VR内容115c交互，...并且测试者n与线115n'所示的VR内容115n交互。例如，与VR内容115a-115n中的每一个相关联地收集的数据被传送到不适分类建模器120。出于说明的目的，测试者a、测试者b和测试者c可以与从一个应用(诸如G-1)生成的VR内容交互。这通过曲线115a'、115b'和115c'类似的形状示出。此外，测试者n正在与从单独的应用(诸如G-3)生成的VR内容进行交互。
无论是用于测试的一个应用还是用于测试的多个应用，不适分类建模器120都能够识别或预测可靠或可能引起测试者的不适和/或病症的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式。例如，突出显示的框231示出VR内容115a、115b和115c中的识别区域，其与测试者的不适和病症相关。碰巧的是，如先前所介绍的，用于VR内容115a、115b和115c的框231中的区域通常发生在通过应用G-1的相同的进程处。也就是说，对于每个测试者(例如，测试者 a、测试者b和测试者c)，发生VR内容的和/或与对应VR内容相关联地采取或生成的动作的相同模式。例如，VR内容的模式可以是具有以高速率摆动180度的投影中心轴的FOV，与用户动作相关联以包括跑步、双跳和头部的快速旋转以俯视降落。突出显示的框231包括用于VR内容115n的区域中的两个点，其通过执行单独的应用G-3 而生成，如先前所介绍的。这两个点与VR内容的类似模式(例如，具有以高速率摆动180度的投影中心轴的FOV)和/或用户动作的类似模式(例如，跑步、双跳和头部的快速旋转)相关联，但是它们是从应用G-3而不是G-1生成的。不适分类建模器120能够在类似的 VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式与引起的测试者的不适和/或病症之间建立相关性。也就是说，不适分类建模器 120可以识别或预测无论应用源如何都可靠地引起不适和/或病症的 VR内容的模式(具有以高速率摆动180度的投影中心轴的FOV)。而且，不适分类建模器120可以识别或预测无论应用源如何都可靠地引起不适和/或病症的动作的模式(例如，跑步、双跳和头部的快速旋转)。
突出显示的框232示出VR内容115a、115b和115c中的区域的识别点，其与测试者的不适和病症相关。碰巧的是，如先前所介绍的，用于VR内容115a、115b和115c的框232中的这些区域通常发生在通过应用G-1的相同的进程处。也就是说，对于每个测试者(例如，测试者a、测试者b和测试者c)，例如发生VR内容的和/或与对应 VR内容相关联地采取或生成的动作的相同模式。不适分类建模器120 能够在类似的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式与引起的测试者的不适和/或病症之间建立相关性。因此，VR内容的或与对应VR内容相关联地采取或生成的动作的共同模式(例如，第二模式)可以被分类为引起不适和/或病症。
突出显示的框233示出VR内容115b和115c中的区域的识别点，其与测试者的不适和病症相关。如前所介绍的，框233中的这些点通常发生在通过应用G-1的相同的进程处。也就是说，对于每个测试者 (例如，测试者b和测试者c)，发生VR内容的和/或与对应VR内容相关联地采取或生成的动作的相同模式。尽管测试者a在通过应用 G-1的进程中没有在该相同区域中显示出不适(例如，测试者a可能不受该第三相关模式的影响)，但是不适分类建模器120仍然能够在类似的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式与引起的测试者的不适和/或病症之间建立相关性。因此，VR内容的或与对应VR内容相关联地采取或生成的动作的共同模式(例如，第三模式)可以被不适分类建模器120分类为引起不适和/或病症。
突出显示的框234示出VR内容115a、115b和115n中的区域的识别点，其与测试者的不适和病症相关。框234中的这些点基于不同的应用(例如，G-1和G-3)，但是根据VR内容的和/或由测试者与对应VR内容的生成或交互相关联地采取或生成的动作的类似模式被分组。因此，VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式的共同模式(例如，第四模式)可以由不适分类建模器120分类为引起不适和/或病症。
如图2A所示，在通过深度学习过程分析了足够的测试数据之后，不适分类建模器120能够识别将引起不适和/或病症的VR内容、VR 内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式。这些识别的模式可以包括在不适模型220内，该不适模型可以用于抢先识别被测应用中的类似模式，以了解该应用中的哪些区域被预测为引起预期用户经历不适和/或病症。
图2B示出了根据本公开的一个实施例将不适模型220应用于被测应用(例如，游戏应用G-x)，其中应用生成VR内容，目的是识别如所执行的应用中的点，所述点与引起不适和/或病症的VR内容、 VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该 VR内容的生成相关联地采取或生成的动作的模式相关联。例如，不适模型220包括将可靠地引起如通过测试所确定的不适和/或病症的 VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式中的一项或多项，如前所述。如图2B所示，示出了多条线，所述多条线中的每一条表示被识别为引起用户的不适和/或病症的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式中的不同项。
如图所示，应用G-x由测试游戏执行引擎140执行，以便自动执行应用中可用的所有各种路径和选项。例如，节点图235表示用户在与应用G-x交互时可以采取的所有各种路径。测试游戏执行引擎240 能够自动发现并执行节点图235中的所有路径。另外，当测试游戏执行引擎240执行应用G-x时，产生游戏执行日志241，其包括与VR 内容的生成以及游戏如何被执行有关的信息，诸如控制器输入、元数据、游戏状态数据等。此外，日志241中的信息可以包括或与生成的 VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式相关联。例如，动作部分地包括跑步、跳跃、转弯、下蹲、爬行、加速、触发枪、转头、视场变化、任何类型的移动、暂停、不活动、延迟等。动作的模式可包括这些动作中的一者或多者。
当通过测试游戏执行引擎240执行应用G-x时，与执行有关的数据，包括与由用户与VR内容的生成相关联地采取或者生成的动作相关的数据，诸如包含在包含在游戏执行日志241中的信息中或与之相关的信息，与不适模型220中的信息进行比较，以识别应用G-x中可能引起不适和/或病症的区域。例如，游戏执行日志中的区域1-3对应于应用G-x的执行中的区域(包括点)，每个区域已经被识别为与将引起不适和/或病症的对应VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式相关联。这些区域也在节点图235中被识别。具体地，应用G-x的执行中的点1类似于不适模式220中的模式A，其识别例如将引起不适和/或病症的VR内容的和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式的对应模式。此外，应用G-x的执行中的点2类似于不适模式220中的模式B，其识别例如将引起不适和/或病症的VR内容的和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式的对应模式。此外，应用G-x的执行中确定的点3类似于不适模式220中的模式C，其识别例如将引起不适和/ 或病症的VR内容的和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式的对应模式。模式A、B和C中的每一者是唯一的，并且识别将引起不适和/或病症的不同的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应 VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式。
一旦这些区域1-3被识别为与引起用户不适和/或病症的模式相关联，则还可以识别对应的代码。也就是说，VR内容中的区域与对应的代码相关联。如图2B所示，原始G-x代码242包括对应于应用 G-x的执行中的各个点的代码段。例如，区域1与原始G-x代码242 中的代码段CS-1相关联，区域2与代码段CS-2相关联，并且区域3 与代码段CS-3相关联。
在基于与模型220的比较识别区域1-3之后，开发者可以决定是否应用不适减少滤波效应243，其被配置为减少用户与这些区域1-3 交互的任何潜在的不适和/或病症。可以将不适减少滤波效应243的应用直接导入到应用G-x的代码中，其中用户可以使用与该效应相关的各种选项，包括启用、禁用、放大效应、减小效应的幅度等。例如，不适减少滤波效应243可以包括FOV限制，其是随着虚拟世界中的头部移动速率增加而FOV减小，并且相反地，随着头部移动速率减小而FOV增大。因此，当用户的视线扫过VR环境(例如，地平线) 时，在扫描开始时，FOV可以是大约120度。在扫描的中间，当头部移动速率可以处于其最大值时，FOV可以线性或非线性方式从120 度减小到80度并且甚至进一步减小到20度或更低。在扫描结束时，头部移动速率可以再次减慢，并且FOV可以以线性或非线性方式从其最小值(例如，20度)增加回到120度。可以发生类似的限制以相对于VR模拟中的近侧对象进行快速虚拟运动。
在一个实施例中，不适减少滤波效应243的应用可以作为叠加应用于为进行显示而生成的渲染图像。也就是说，在使用应用G-x渲染图像之后，然后可以应用不适减少滤波效应243。该后处理可以由应用引擎执行，或者由HMD 102的处理器执行。
图2C示出了根据本公开的一个实施例的VR内容中基于被配置用于预测用户在与VR内容交互时的不适的模型所确定的用户的预测的不适而识别的可能引起不适和/或病症的区域。特别地，应用G-x 的区域3在图2C中突出显示，其中区域3先前已在图2B中介绍。如图所示，区域3包括与对应VR内容的生成相关联地采取或生成的动作260的模式，其可能引起不适和/或病症。例如，在区域3中示出了5个动作，并且可以包括与在夜间爬过涵洞相关的一系列动作，其中手电筒以分散的、不均匀的方式并且可能以疯狂的方式照亮涵洞，并且其中大量的蟋蟀围绕着用户跳跃。用户可能正在采取以下动作：包括爬行、响应蟋蟀击打用户或进入用户的视线而转动头部使得该用户转动头部以避开跳跃的蟋蟀、进行滚动动作以绕过阻挡对象以及快速扫描涵洞。提供这些动作仅用于说明。
图3A是根据本公开的一个实施例的示出在VR内容中识别的区域中的不适减少滤波效应的应用的曲线图300A，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症，包括与用户的头部移动速率成比例的视场(FOV)限制的实施。如图所示，曲线图300A包括显示头部移动速率的x轴，其中速率随着x的值增加而从原点处的静态位置增加到慢速率、到中速率以及到快速率。沿着y轴，曲线图300A示出了针对给定的头部移动速率渲染的FOV。
通常，随着头部移动速率增加，向用户显示的VR环境的FOV 减小。可以线性地应用减小，或者非线性地应用减小。选择FOV的值是为了说明的目的，并且在实施例中可以包括0与360度之间的 FOV。例如，线310a示出了随着头部移动速率增加，FOV从120度下降到20度的线性减小。类似地，线310a示出了随着头部移动速率减小，FOV从20度到120度的线性增加。头部移动可以说明从静止位置扫描地平线，增加头部移动到最大移动速率，以及减少头部移动回到静止位置，其中扫描主要以恒定速率执行。类似的方法可以用于其他头部移动，诸如虚拟世界中相对于近侧虚拟对象的快速移动。
另外，线311a示出了随着头部移动速率增加，FOV从120度下降到20度的非线性减小。开始的减少比310a线更加激烈。类似地，线311a示出了随着头部移动速率减小，FOV从20度上升到120度的非线性增加。因此，一旦检测到头部移动，立即应用FOV限制，其幅度大于呈现线性应用的线310a。也就是说，线311a的FOV减小的幅度大于线310a的FOV减小的幅度，其中即使在头部移动的缓慢速率下，FOV也可以从120度下降到大约60度而被限制百分之五十。
而且，线312a示出了随着头部移动速率增加，FOV从120度下降到20度的非线性减小。开始的减少比311a线更加激烈。此外，线 312a示出了随着头部移动速率减小，FOV从20度上升到120度的非线性增加。也就是说，在线312a中比在线311a中应用甚至更大幅度的FOV限制。例如，在头部移动的缓慢速率下，FOV可以从120度下降到大约40度或更低，被限制约60-70％。
图3B是根据本公开的一个实施例的示出在VR内容和/或VR内容的来源的区域中的不适减少滤波效应的应用的曲线图300B，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症，包括随着用户的头部随时间的移动FOV限制的实施。实现FOV限制的效应包括随着头部移动速率增加而FOV减小，并且相反地随着头部移动速率减小而FOV增大。特别地，曲线图300B包括显示时间的x轴，以及显示在给定时间内渲染的FOV的y轴。作为头部移动的示例，用户可以随时间从左到右或从右到左扫过地平线。另外，头部可以向上或向下移动，或者以任何一个或多个随机方向移动。扫描从静止位置开始，可能与移动速率增加到最大值有关，并且可能与头部移动速率降低回到静止位置有关。
图3B与图3A有关，因为其提供了图3A中介绍的FOV限制的应用的示例。特别地，对于如图3A的线310a中所述的响应于头部移动速率的FOV限制的线性减小和增大，图3B的线310b示出了FOV 如何随时间变化。例如，在扫描开始时，FOV处于120度，并且当用户扫到中间扫描位置时，FOV线性地减小到20度。此外，当用户从中间扫描位置扫到扫描结束到期望的视角时，FOV从20度线性地增大到120度。
特别地，对于如图3A的线311a中所述的响应于头部移动速率的 FOV限制的非线性减小和增大，图3B的线312b示出了FOV如何随时间变化。例如，在扫描开始时，FOV处于120度，并且当用户扫到中间扫描位置时，FOV非线性地降低到20度。此外，当用户从中间扫描位置扫到扫描结束到期望的视角时，FOV从20度非线性地增大到120度。如线310b所示，FOV变化率在中间扫描点的任一侧随时间恒定。
而且，对于如图3A的线312a中所述的响应于头部移动速率的 FOV限制的非线性减小和增大，图3B的线312b示出了FOV如何随时间变化。例如，在扫描开始时，FOV处于120度，并且当用户扫到中间扫描位置时，FOV非线性地降低到20度。此外，当用户从中间扫描位置扫到扫描结束到期望的视角时，FOV从20度非线性地增大到120度。这对于线311b和312b，FOV限制的效应以增加的幅度水平示出。
图3C是根据本公开的一个实施例的VR环境350以及随着用户 100的头部从左到右物理地扫描通过VR环境350在用户通过HMD 102的视线内应用FOV限制的图示。在扫描开始时，用户正在观看 FOV 351中的士兵361，FOV 351可以包含120度，例如，如中图所示。当用户100向右扫描时，FOV将减小。例如，FOV 352可以包含110度。随着扫描进一步向右，FOV353可以包含90度。再进一步向右扫描，FOV 354最小，大约60度。扫描运动(例如，头部移动)的变化率在FOV 351至FOV 354之间可以是线性的，如底图所示。另外，在一个实施例中，FOV可以在整体大小上缩小，也是因为FOV 351具有比FOV 354更大的范围(例如，120度)并且还具有更大的高度，FOV 354具有最小范围(例如，60度)和最小高度。
在头部扫描期间与FOV 354相关联的点之后，头部移动速率可以非线性地减小，直到用户到达由FOV 356表示的期望视线。例如，用户可以快速减慢FOV 354和FOV 355之间的头部移动速率。这在底图中显示为FOV的变化率的快速降低，其中头部移动可能快速减慢。例如，FOV 354可以在FOV 355处增加到90度。进一步向右扫描，在扫描结束时，FOV 356增加回120度。此时，由于没有进一步的头部移动，FOV保持在120度，并且变化率接近零。
另外，图3C示出了通常将FOV的宽度和高度变窄为椭圆体的不适减少滤波效应的应用。然而，可以预期其他FOV形状应用，使得 FOV可以呈现一个或多个形状，诸如椭圆形、或圆形、或框形或矩形。此外，为了软化不适减少滤波效应的目的，FOV可以具有圆形或模糊边缘。该形状也可以与虚拟空间中的对象的接近度和头部移动的方向成比例地不对称。
此外，可以调整图3C内FOV的漏斗状视角以应用不适减少滤波效应。特别地，所述漏斗状视角可以包括以对应的清晰度的点为中心的一个或多个清晰度区域，每个清晰度区域在对应的FOV中示出的图像上具有最高的分辨率。在该漏斗状视角中，一个或多个清晰度区域之外的区域可能具有降低的分辨率(例如，更模糊)。例如，随着不适程度增加(例如，当用户移动他的头部时)，清晰度区域可以改变形状，诸如减小清晰度区域的大小(例如，减小椭圆体清晰度区域的大小)。因此，在一个实施例中，尽管FOV保持相同，但是在对应的FOV中，清晰度区域的大小可能减小。在其他实施例中，在一个实施例中，当FOV缩小以应用不适减少滤波效应时，也可以改变漏斗状视角(例如，大小减小)。随着不适程度降低，然后可以将漏斗状视角恢复到其原始状态(例如，增大清晰度区域同时使FOV保持恒定、增大清晰度区域同时也增大FOV等)。
在又一个实施例中，眼睛跟踪可以与漏斗状视角的显示相结合。特别地，执行眼睛跟踪以跟踪每只眼睛的视线方向。另外，跟踪眼睛的形状，其中形状包括瞳孔、角膜、虹膜、主体等的形状。例如，眼睛的各种部件可以根据眼睛的使用方式改变形状。基于该跟踪，可以生成对应眼睛的3D图像，其中3D图像包括眼睛的形状和方向。关于漏斗状视角，可以根据对应眼睛的特征(例如，形状和/或方向) 来修改清晰度区域。也就是说，当对应眼睛移动时，FOV内的该眼睛的漏斗状视角也可以移动。对于一些用户，通过分别跟踪双眼，弱视眼的漏斗状视角可能与优势眼的漏斗状视角不同。组合HMD中的两个漏斗状视角将导致更好的3D图像(例如，增加的清晰度和分辨率)。另外，随着用户的不适程度增加，可以改变漏斗状视角，如前所述。此外，可以基于眼睛跟踪来确定不适程度。例如，当瞳孔改变形状(形状的速率和类型)时，这可以指示一定程度的不适，这可以转化为对于漏斗状视角的修改。另外，可以根据情况预测清晰度区域在漏斗状视角内的位置。眼睛跟踪可以提供眼睛正在移动的某一指示，以及对对应漏斗状视角的对应预测。另外，游戏环境可以规定用户将他的注视引导到何处。例如，如果在用户的游戏进行中，当游戏环境处于将发生已知事件的状态时，提示用户在事件的方向上引导眼睛注视时，则可以预测该方向上的漏斗状视角。在那种情况下，甚至在用户的眼睛指向事件的方向之前，可以更早地生成漏斗状视角。还设想了其他预测应用。
图3D是根据本公开的一个实施例的滑动条370的图示，该滑动条370被配置为调节在VR内容的区域中的不适减少滤波效应(例如， FOV限制)的应用，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症。
在一个实施例中，如前所述，将不适减少滤波效应应用于VR内容中的识别区域。也就是说，在应用的处理期间，诸如在渲染图像时，应用不适减少滤波效应。不适减少滤波效应与定义如何应用不适减少滤波效应的默认参数相关联。例如，如图3D所示，滑动条定位于默认位置(例如，滑动条的中心)，该默认位置在用于不适减少滤波效应的OFF位置和表示最大不适减少滤波效应的MAX位置之间的范围内。
滑动条370允许用户调整默认参数。特别地，当滑动条370向右移动时，参数被改变，使得不适减少滤波效应具有增加的效应。例如，可以增加效应的幅度(例如，代替不适减少滤波效应的1x默认实施，可以增加到2x或3x)。这可以导致FOV的更积极的减小，例如从120 度到20度(例如，如线311a和311b，或312a和312b所示)。另外，可以管理减小量。例如，当滑动条向右移动时，FOV可以向下进一步减小超过在其最小值处的20度。
另一方面，当滑动条370向左移动时，参数被改变，使得不适减少滤波效应具有降低的效应。通过一直向左移动，可以禁用不适减少滤波效应。例如，可以减小效应的幅度。(例如，代替不适减少滤波效应的1x默认实施，可以减少到05.x或0.25x)。当从120度移动到20度时，这可能导致FOV的不太激进的减少。例如，减少可以非常缓慢地发生(例如，如线性应用的线310a和310b所示)。另外，可以管理减少量。例如，当滑动条向左移动时，FOV可以增加到其最小值，使得代替20度，最小FOV可以是45度。
在另一实施例中，滑动条370由用户启用，目的是将不适减少滤波效应(例如，FOV限制)作为叠加实时应用到与第一应用的执行相关联地生成的VR内容。也就是说，用户能够在他或她与VR内容的交互期间的任何时刻应用不适减少滤波效应。以这种方式，用户不必依赖于开发者来在VR内容中的选择区域处提供不适减少滤波效应。在观看任何VR内容时，用户可能极易出现或经历不适和/或病症。因此，用户能够启用叠加特征，该叠加特征允许将不适减少滤波效应应用于任何VR内容(例如，准备用于显示的先前渲染的图像)，如前所述。给予用户各种控制选项，包括启用或禁用不适减少滤波效应、 (例如，通过上述滑动条)控制不适减少滤波效应的应用(例如，效应的幅度)等。以这种方式，当用户在与VR内容交互期间开始感到不适时，用户能够在呈现VR内容时启用不适减少滤波效应(例如， FOV限制)并通过叠加过程控制其向VR内容的应用。
根据本公开的一个实施例，通过对VR内容分类***的各种模块的详细描述，现在结合图4A的流程图400A描述用于基于由该VR 内容引起的预测程度的不适和/或病症对VR内容进行分类的方法。在实施例中，流程图400A中概述的方法由图1A-1B、图2A-2C和图 3A-3D的***和/或部件实现。特别地，图4A是根据本公开的一个实施例的用于在VR内容中的区域中应用不适减少滤波效应的方法，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症，包括随着用户的头部随时间的移动 FOV限制的实施。
在操作410，该方法包括访问模型，所述模型识别可能引起不适的与对应VR内容的生成相关联的多个学习模式。所生成的模型还预测参与用户在与对应的虚拟现实(VR)内容交互时所经历的不适程度。例如，可以在操作310处生成内容分类模型121，并且内容分类模型121基于由建模器120生成的不适模型220，其已经获知了识别在进行交互(例如，观看)时哪些VR内容(例如，VR内容的类型和/或模式)将使用户105经历不适和/或病症反应。学习模式包括可能引起不适和/或病症的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式。
特别地，深度学习引擎可以被配置为在测试用户与基线VR内容的交互期间从测试用户接收生理数据，如前所述。深度学习引擎分析基线VR内容数据和被动地或主动地从测试用户收集的生理数据，以获知在进行交互时哪些VR内容(例如，类型、模式等)将引起用户经历不适和/或病症反应。因此，随着时间的推移，与VR内容相关的输入数据和对VR基线内容的生理反应可以与对VR基线内容的已知和预期反应对齐。以这种方式，某个VR内容、VR内容的模式、与 VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR 内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式可以被识别为引起测试用户的不适和/或病症，并且被应用以基于引起的或者用户经历的预测的不适和/或病症对VR内容或用户进行分类。
在操作420，该方法包括处理第一应用以生成与模拟用户与所述第一应用的第一VR内容的交互相关联的数据。处理操作可以包括执行第一应用以生成第一VR内容。例如，第一应用由图2B的测试游戏执行引擎240执行以模拟用户与第一应用中可用的所有各种路径的交互。处理操作可以包括提取与模拟用户与在所述第一应用的执行期间生成的所述第一VR内容的交互相关联的数据。将该提取的数据应用于模型。提取的数据包括在模拟用户与第一VR内容的交互期间生成的第一VR内容的特征。数据可以包括VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式。此外，数据可以包括内容中特征，内容中特征包括可执行代码、至少一个静态图像、静态图像序列、视频、音频等。例如，VR内容的各种片段可以是随机选择的，或者可按周期性间隔选择片段。另外，可以识别特定类型的图像、场景和/ 或图像或场景序列，并将其用作内容中特征。该数据用于根据识别可能引起不适和/或病症的VR内容或第一应用(例如，第一VR内容的来源)中的点或区域来对第一VR内容进行分类。
在操作430，该方法包括将所提取的数据与所述模型进行比较以识别所提取的数据中与所述模型中的至少一个学习模式匹配的一个或多个模式(例如，模式)，使得该一个或多个模式可能引起不适。例如，还可确定与学习模式匹配的VR内容、VR内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式可能引起不适和/或病症。
在操作440，该操作包括识别第一应用中与所识别的模式对应的区域。第一应用中的区域(例如，代码)可以与匹配的VR内容、VR 内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式相关联。一旦第一应用被分类，就可以执行进一步的动作。
例如，在操作450，该方法包括在所述区域内应用不适减少滤波效应，目的是减少用户潜在的不适。在一个实施例中，该方法包括将视场限制应用于所述区域中与所述第一应用的执行相关联生成的VR 内容。在一个实施例中，FOV限制可以包括在第一应用中，尤其是在设计阶段期间已经识别出区域之后。在另一个实施例中，FOV限制可以作为叠加被实时应用于与第一应用的执行相关联地生成的VR 内容，诸如在第一应用已渲染图像之后，其中FOV限制作为叠加被应用于要在HMD上显示的图像。例如，FOV限制可以包括随着用户的头部移动速率增加而减小视场，和/或随着用户的头部移动速率减小而增大视场。
在一个实施例中，呈现用户界面，其允许用户改变不适减少滤波效应中的参数。例如，用户界面可以是滑块，如先前在图3D中所述。滑块允许用户改变影响不适减少滤波效应的实现的参数，诸如FOV 限制。在一个实施例中，响应于参数的变化，增加不适减少滤波效应的幅度。在另一实施例中，响应于参数的变化，减小不适减少滤波效应的幅度。此外，用户界面可以允许其他控制，诸如响应于来自用户的请求禁用不适减少滤波效应，或者响应于来自用户的请求启用不适减少滤波效应。
在一个实施例中，根据本公开的一个实施例公开了一种用于在 VR内容中的区域中应用不适减少滤波效应的方法，所述区域被预测会引起被配置用于预测用户在与VR内容交互时的不适的模型所确定的不适和/或病症，包括随着用户的头部随时间的移动FOV限制的实施。该方法包括执行应用以生成用于用户交互的VR内容。该方法包括接收指示用户不适的输入。该方法包括将不适减少滤波效应应用于当前显示的VR内容，目的是减少潜在的不适，诸如将FOV限制应用于为进行显示而生成的VR内容。例如，FOV限制可以作为叠加应用于为进行显示而生成的渲染的VR内容。
在一个实施例中，输入由用户主动生成。例如，用户可以接合用以指示不适的致动器，和实现不适减少滤波效应的请求。以这种方式，可以主动监视生理数据，诸如当用户激活指示用户何时正在经历不适和/或病症的致动器(例如，按钮)时。
在另一实施例中，输入由用户被动地生成。例如，可以在用户与内容交互时监视用户的生理响应。可以被动地监视生理测量值。例如，生理数据可以包括胃电图、皮肤电阻、大脑活动(例如，α波)、心率、眼球运动、眼睛注视、头部移动或运动等。这些测量值可以与内容中特征相关，如将在下面描述。另外，生理测量值的已知模式与预期的不适反应相关联。例如，可以在增加的皮肤电阻(例如，指示更多出汗)和增加的不适之间进行相关。尽管在任何一个测量值之间可能未证实直接相关，但是流程图400的方法能够获知和/或识别在进行交互时哪些VR内容(例如，类型、模式、模式的组合等)将引起用户经历不适和/或病症反应。例如，VR内容、VR内容的模式、与 VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR 内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式可被识别为引起用户经历不适和/或病症反应。
在一个实施例中，如前所述，将不适减少滤波效应应用于VR内容，作为对VR内容执行的叠加处理。例如，FOV限制可以作为叠加实时应用于要显示的VR内容。
图4B概念性地示出了根据本发明的实施例的HMD的功能以及生成VR内容的应用的执行(例如，应用和/或视频游戏等的执行)以及在闭环***中应用不适减少滤波效应。也就是说，根据本公开的一个实施例，可以响应于用户正在经历不适的指示而自动应用不适减少滤波效应。在一些实现方式中，VR内容引擎111正在通信地耦接到 HMD 102的客户端设备100(未示出)上执行，如前所述。例如，执行应用的VR内容引擎111可以是执行视频游戏的游戏引擎，并且被配置为接收输入以更新视频游戏的游戏状态。如前所述，游戏引擎可以是游戏控制台或后端游戏服务器。视频游戏的游戏状态可以至少部分地由定义当前游戏进行的各个方面的视频游戏的各种参数的值来定义，诸如对象的存在和位置、虚拟环境的状况、事件的触发、用户简档、观看视角、用户105采取的动作、控制器动作、注视跟踪信息等。
在所示的实施例中，举例来说，VR内容引擎111接收控制器输入161、音频输入162和运动输入163。控制器输入161可以根据与 HMD 102分开的游戏控制器的操作来定义，所述游戏控制器诸如手持式游戏控制器104(例如，Sony
Figure BDA0002011570130000301
4无线控制器、SonyPlayStation
Figure BDA0002011570130000302
Move运动控制器)或可穿戴式控制器(诸如可穿戴式手套接口控制器)等。举例来说，控制器输入161可以包括方向输入、按钮按压、触发激活、移动、手势或从游戏控制器的操作处理而来的其他类别的输入。音频输入162可以是从HMD 102的传声器151处理而来的，或者从包括在图像捕获设备108中的传声器或本地***环境内的其他地方处理而来的。运动输入163可以是从包括在HMD 102 中的运动传感器159处理而来的，或者在图像捕获设备108捕获HMD 102的图像时从所述图像捕获设备处理而来的。例如，运动传感器159可以包括惯性传感器，所述惯性传感器被配置为捕获HMD 102的与用户105的头部移动相关联的加速度数据。另外，图像捕获设备108 可以被配置用于头部跟踪以监视用户105的头部移动。VR内容引擎 111(例如，执行游戏应用)接收根据游戏引擎的配置进行处理的输入以更新视频游戏的游戏状态。引擎111将游戏状态数据输出到各种渲染模块，所述渲染模块处理游戏状态数据以定义将呈现给用户105 的内容。
在所示实施例中，视频渲染模块183被定义为渲染包括VR内容 115的视频流，其在呈现在HMD 102上时，为用户105提供三维VR 体验。HMD 102中的光学器件170的透镜被配置用于观看VR内容 115。显示屏175设置在光学器件170的透镜的后方，使得当用户105 佩戴HMD 102时，光学器件170的透镜位于显示屏175与用户105 的眼睛160之间。以这种方式，视频流可以由显示屏/投影仪机构175 呈现，并且由用户105的眼睛160通过光学器件170观看。例如， HMD用户105可以通过佩戴HMD并选择用于进行游戏的视频游戏来选择与交互式VR内容(例如，VR视频源、视频游戏内容等)进行交互。来自视频游戏的交互式虚拟现实(VR)场景在HMD的显示屏175上渲染。以这种方式，HMD通过在用户眼睛附近提供HMD 的显示机构来允许用户105完全沉浸在游戏进行中。在HMD的用于渲染内容的显示屏中定义的显示区域可以占据用户105的大部分或甚至整个视场。通常，正在观看一个或多个显示屏的每只眼睛由相关联的光学器件170的透镜支持。
音频渲染模块182被配置为渲染供用户105收听的音频流。在一个实施例中，通过与HMD 102相关联的扬声器152输出音频流。应当理解，扬声器152可以采用露天扬声器、耳机或能够呈现音频的任何其他类别的扬声器的形式。
在一个实施例中，HMD 102中包括注视跟踪摄像机165以使得能够跟踪用户105的注视。虽然仅包括一个注视跟踪摄像机165，但应当注意，可以采用一个以上的注视跟踪摄像机来跟踪用户105的注视。注视跟踪摄像机捕获用户眼睛的图像，分析所述图像以确定用户 105的注视方向。在一个实施例中，可以利用关于用户105的注视方向的信息来影响视频渲染。例如，如果确定用户的眼睛正在朝特定方向观看，则可以优先化或强调这个方向的视频渲染，诸如通过在用户 105正在观看的区域中提供更多细节或更快的更新。应当理解，用户 105的注视方向可以相对于头戴式显示器、相对于用户105所处的真实环境、和/或相对于正在头戴式显示器上渲染的虚拟环境来定义。
概括地说，当单独考虑时，对由注视跟踪摄像机192捕获的图像的分析提供了用户105相对于HMD 102的注视方向。然而，当结合 HMD 102的跟踪位置和取向来考虑时，可以确定用户105的真实世界注视方向，因为HMD 102的位置和取向与用户头部的位置和取向同义。也就是说，可以通过跟踪用户眼睛的位置移动并跟踪HMD 102 的位置和取向来确定用户105的真实世界注视方向。当在HMD 102 上渲染虚拟环境的视图时，可以应用用户105的真实世界注视方向以确定用户105在虚拟环境中的虚拟世界注视方向。
另外，触觉反馈模块181被配置为向HMD 102或由HMD用户 105操作的另一设备(诸如控制器104)中包括的触觉反馈硬件提供信号。触觉反馈可以采取各种类别的触觉感觉的形式，诸如振动反馈、温度反馈、压力反馈等。
此外，不适监视器118被配置为在用户105与VR内容交互时监视和存储用户的不适和/或病症体验。特别地，生理数据可以包括来自位于HMD 102内和HMD 102外部的生理传感器125以及来自致动器109的测量值，所有这些都收集关于用户105的生理状态的信息。在一个实施例中，可以从监视器118输出与用户的不适有关的信息，并将其传送到VR内容引擎的显示为FOV限制器590的不适减少滤波效应模块。以这种方式，当输入指示用户正在经历不适时，可以启用(由开发者提供)不适减少滤波效应。在另一实施例中，响应于指示用户正在经历不适的不适输入117，可以作为叠加过程实时执行将不适减少滤波效应应用于由VR内容引擎生成的VR内容。例如，可以将FOV限制叠加174添加到传送给HMD 102的渲染视频。
另外，一旦不适输入117指示用户没有经历不适，则可以禁用不适减少滤波效应。
图5示出了可用于执行本公开的各种实施例的各方面的示例设备的部件。例如，图5示出了根据一个实施例的适用于实现设备的示例性硬件***。该框图示出了适用于实践本发明实施例的计算机*** 500，诸如个人计算机、视频游戏控制台、个人数字助理或其他数字设备。计算机***500包括用于运行软件应用和可选的操作***的中央处理单元(CPU)502。CPU 502可以包括一个或多个同构或异构处理核。
根据各种实施例，CPU 502是具有一个或多个处理核的一个或多个通用微处理器。可以使用具有微处理器架构的一个或多个CPU来实现其他实施例，所述微处理器架构专门适用于高度并行和计算密集型应用，诸如媒体和交互式娱乐应用、被配置用于深度学习、内容分类和用户分类的应用。例如，CPU 502可以被配置为包括深度学习引擎190，深度学习引擎190被配置为识别在进行交互时哪些VR内容 (例如，VR内容的类型和/或模式)将引起用户经历不适和/或病症反应。另外，CPU 502可以被配置为包括内容分类器200A，其中可以利用识别哪些VR内容引起用户的不适和/或病症反应来根据由该内容引起的对应的预测的不适和/或病症程度来对内容进行分类。此外，CPU 502可以被配置为包括FOV限制器590，其是用于改变VR 内容(例如，给予较少的不适体验)和/或改变被识别出可能会引起用户的不适和/或病症反应的VR内容的显示的不适减少滤波效应的实现。
存储器504存储供CPU 502使用的应用和数据。存储设备506 为应用和数据提供非易失性存储和其他计算机可读介质，并且可以包括固定磁盘驱动器、可移动磁盘驱动器、闪存设备和CD-ROM、 DVD-ROM、蓝光、HD-DVD或其他光存储设备，以及信号传输和存储介质。用户输入设备508将来自一个或多个用户的用户输入传送到计算机***500，其示例可以包括键盘、鼠标、操纵杆、触摸板、触摸屏、照相机或摄像机和/或传声器。网络接口510允许计算机*** 500经由电子通信网络与其他计算机***通信，并且可以包括通过局域网和诸如互联网的广域网的有线或无线通信。音频处理器512适于从CPU 502、存储器504和/或存储设备506提供的指令和/或数据生成模拟或数字音频输出。计算机***500的部件，包括CPU502、存储器504、数据存储设备506、用户输入设备508、网络接口510和音频处理器512，经由一根或多根数据总线522连接。
图形子***514还与数据总线522和计算机***500的部件连接。图形子***514包括图形处理单元(GPU)516和图形存储器518。图形存储器518包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓冲器)。图形存储器518可以集成在与GPU 516 相同的设备中，作为分开的设备与GPU 516连接，和/或在存储器504 中实现。像素数据可以直接从CPU 502提供给图形存储器518。或者， CPU 502向GPU 516提供定义期望输出图像的数据和/或指令，GPU 516从中生成一个或多个输出图像的像素数据。定义期望输出图像的数据和/或指令可以存储在存储器504和/或图形存储器518中。在实施例中，GPU 516包括3D渲染能力，用于从定义场景的几何结构、照明、阴影、纹理、运动和/或摄像机参数的指令和数据生成输出图像的像素数据。GPU 516还可以包括能够执行着色器程序的一个或多个可编程执行单元。在一个实施例中，GPU 516可以在深度学习引擎 190内实现以提供处理能力，诸如用于深度学习引擎190。
图形子***514周期性地输出来自图形存储器518的图像的像素数据，以显示在显示设备520上。显示设备520可以是能够响应于来自计算机***500的信号显示视觉信息的任何设备，包括CRT、LCD、等离子和OLED显示器。计算机***500可以向显示设备520提供模拟或数字信号。
应当理解，本文描述的实施例可在任何类型的客户端设备上执行。在一些实施例中，客户端设备是头戴式显示器(HMD)。例如，HMD 可在测试用户期间使用，以获知引起不适和/或病症的VR内容、VR 内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式。此外，HMD可以用于根据测试的对VR内容(例如，基线VR内容)的不适和/或病症响应来对用户进行分类或校准。HMD可以被配置为将不适减少滤波效应应用于应用中被识别为具有可能引起不适和/或病症的VR内容、VR 内容的模式、与VR内容的生成或交互相关联的模式、或与模拟或测试用户与对应VR内容的交互相关联的模式、和/或由用户与该VR内容的生成相关联地采取或生成的动作的模式的那些区域，以减少用户的任何潜在的不适和/或病症。
根据本公开的实施例示出了图6，即示出头戴式显示器(HMD) 650的部件的图。HMD可以在分类阶段期间使用，在该分类阶段识别可能引起不适和/或病症的VR内容的区域，并且将不适减少滤波效应应用于这些区域。
头戴式显示器650包括用于执行程序指令的处理器600。提供存储器602用于存储目的，并且存储器602可包括易失性存储器和非易失性存储器两者。包括显示器604，所述显示器提供用户可观看的可视界面。提供电池606作为头戴式显示器650的电源。运动检测模块 608可包括诸如磁力计610、加速度计612和陀螺仪614的各种运动敏感硬件中的任何一种。
加速度计是用于测量加速度和重力引起的反作用力的设备。单轴和多轴模型可用于检测加速度在不同方向上的大小和方向。加速度计用于感测倾斜、振动和冲击。在一个实施例中，三个加速度计612用于提供重力方向，其给出两个角度(世界空间俯仰和世界空间滚转) 的绝对参考。
磁力计测量头戴式显示器附近的磁场的强度和方向。在一个实施例中，在头戴式显示器内使用三个磁力计610，从而确保世界空间偏航角的绝对参考。在一个实施例中，磁力计被设计成跨越为±80微特斯拉的地球磁场。磁力计受金属影响，并且提供与实际偏航单调的偏航测量。由于环境中的金属，磁场可能翘曲，这会导致偏航测量中的翘曲。如果需要，可使用来自其他传感器(诸如陀螺仪或摄像机)的信息来校准这种翘曲。在一个实施例中，加速度计612与磁力计610 一起使用以获得头戴式显示器650的倾斜度和方位角。
陀螺仪是用于基于角动量原理测量或维持取向的设备。在一个实施例中，三个陀螺仪614基于惯性感测来提供关于跨相应轴(x、y 和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可在不存在绝对参考的情况下随时间推移漂移。这需要周期性地重置陀螺仪，这可使用其他可用信息来完成，诸如基于对象的视觉跟踪、加速度计、磁力计等的位置/取向确定。
提供摄像机616来捕获真实环境的图像和图像流。多于一个摄像机可包括在头戴式显示器650中，包括后向摄像机(当用户正在观看头戴式显示器650的显示器时背离用户)以及前向摄像机(当用户正在观看头戴式显示器650的显示器时朝向用户)。此外，深度摄像机 618可包括在头戴式显示器650中，以用于感测真实环境中的对象的深度信息。
在一个实施例中，集成在HMD的正面上的摄像机可用于提供关于安全性的警告。例如，如果用户正在接近墙壁或对象，那么可警告用户。在一个实施例中，可向用户提供房间中的物理对象的轮廓视图，以警告用户他们的存在。例如，所述轮廓可为虚拟环境中的叠加。在一些实施例中，可向HMD用户提供参考标记的视图，所述参考标记例如覆盖在地板中。例如，所述标记可向用户提供用户正在其中进行游戏的房间的中心的位置的参考。例如，这可向用户提供用户应当移动到哪以避免撞到房间中的墙壁或其他对象的视觉信息。还可向用户提供触觉警告和/或音频警告，以在用户佩戴HMD和用HMD进行游戏或者导航内容时提供更多的安全性。
头戴式显示器650包括用于提供音频输出的扬声器620。另外，可包括传声器622，以用于捕获来自真实环境的音频，包括来自周围环境的声音、用户发出的语音等。头戴式显示器650包括用于向用户提供触觉反馈的触觉反馈模块624。在一个实施例中，触觉反馈模块 624能够引起头戴式显示器650的移动和/或振动，以便向用户提供触觉反馈。
提供LED 626作为头戴式显示器650的状态的视觉指示器。例如，LED可指示电池电量、上电等。提供读卡器628以使得头戴式显示器650能够从存储器卡读取信息并且将信息写入存储器卡。包括 USB接口630作为用于实现***设备的连接或者与其他设备(诸如其他便携式设备、计算机等)的连接的接口的一个示例。在头戴式显示器650的各种实施例中，可包括各种类型的接口中的任何一种，以实现头戴式显示器650的更大连接性。
包括WiFi模块632，以用于实现经由无线网络技术到互联网的连接。另外，头戴式显示器650包括蓝牙模块634，以用于实现与其他设备的无线连接。还可包括通信链路636以便连接到其他设备。在一个实施例中，通信链路636利用红外传输进行无线通信。在其他实施例中，通信链路636可利用各种无线或有线传输协议中的任何一种来与其他设备通信。
包括输入按钮/传感器638以为用户提供输入接口。可包括各种输入接口中的任何一种，诸如按钮、触摸板、操纵杆、轨迹球等。超声波通信模块640可包括在头戴式显示器650中，以用于经由超声波技术促进与其他设备的通信。
包括生物传感器642以使得能够检测来自用户的生理数据。在一个实施例中，生物传感器642包括一个或多个干电极，以用于通过用户的皮肤检测用户的生物电信号。
头戴式显示器650的前述部件已仅仅被描述为可包括在头戴式显示器650中的示例性部件。在本公开的各种实施例中，头戴式显示器650可包括或可不包括上述各种部件中的一些部件。出于有助于本文所述的本公开的各方面的目的，头戴式显示器650的实施例可另外包括当前未描述但在本领域中已知的其他部件。
本领域技术人员将理解，在本公开的各种实施例中，前述手持式设备可与在显示器上显示的交互式应用结合使用，以提供各种交互功能。本文描述的示例性实施例仅通过示例而不是作为限制来提供。
图7是根据本公开的各种实施例的游戏***700的框图。游戏***700可用于提供VR内容。游戏***700被配置为经由网络715向一个或多个客户端710提供视频流。游戏***700通常包括视频服务器***720以及可选的游戏服务器725。视频服务器***720被配置为以最小的服务质量向一个或多个客户端710提供视频流。例如，视频服务器***720可接收改变视频游戏内的状态或视角的游戏命令，并且以最小的滞后时间向客户端710提供反映所述状态改变的更新的视频流。视频服务器***720可被配置为以各种替代视频格式(包括尚未定义的格式)提供视频流。此外，视频流可包括被配置用于以各种帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒 60帧和每秒120帧。但是在本公开的替代实施例中包括更高或更低的帧速率。
客户端710(本文单独称为710A、710B等)可包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、电话亭、无线设备、数字板、独立设备、手持游戏进行设备等等。通常，客户端710被配置来接收编码的(即，压缩的)视频流、解码视频流、并且将所得视频呈现给用户，例如游戏的玩家。接收编码视频流和/或解码视频流的过程通常包括将各个视频帧存储在客户端的接收缓冲器中。可在与客户端710成一体的显示器上或在诸如监视器或电视的单独设备上将视频流呈现给用户。客户端710可选地被配置为支持多于一个游戏玩家。例如，游戏控制台可被配置为支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频流，或者单个视频流可包括专门为每个玩家生成的(例如基于每个玩家的视角生成的)帧的区域。客户端710可选地在地理上分散。游戏***700中包括的客户端的数量可从一个或两个到数千、数万或更多个很大地变化。如本文所使用的，术语“游戏玩家”用于指代进行游戏的人，并且术语“游戏进行设备”用于指代用于进行游戏的设备。在一些实施例中，游戏进行设备可指协作以向用户传送游戏体验的多个计算设备。例如，游戏控制台和HMD可与视频服务器***720合作以传送通过HMD观看的游戏。在一个实施例中，游戏控制台从视频服务器***720接收视频流，并且游戏控制台将视频流或视频流的更新转发到HMD以便进行渲染。
客户端710被配置为经由网络715接收视频流。网络715可为任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等等。在典型的实施例中，经由诸如TCP/IP 或UDP/IP的标准协议来传达视频流。可替代地，视频流经由专有标准进行通信。
客户端710的典型示例是个人计算机，所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力以及输入设备。解码逻辑可包括存储在计算机可读介质上的硬件、固件和/或软件。用于解码(和编码)视频流的***在本领域中是公知的，并且根据所使用的特定编码方案变化。
客户端710可但不需要进一步包括被配置用于修改所接收的视频的***。例如，客户端可被配置为执行进一步的渲染、将一个视频图像叠加在另一个视频图像上、裁剪视频图像等等。例如，客户端 710可被配置为接收各种类型的视频帧，诸如I帧、P帧和B帧，并且被配置为将这些帧处理成图像以向用户显示。在一些实施例中，客户端710的成员被配置为对视频流执行进一步的渲染、着色、转换成 3-D或类似操作。客户端710的成员可选地被配置为接收多于一个音频或视频流。客户端710的输入设备可包括例如单手游戏控制器、双手游戏控制器、手势识别***、注视识别***、语音识别***、键盘、操纵杆、指向设备、力反馈设备、运动和/或位置感测设备、鼠标、触摸屏、神经接口、摄像机、尚未开发的输入设备等等。
由客户端710接收的视频流(以及可选地音频流)由视频服务器***720生成和提供。如本文其他地方进一步描述的，该视频流包括视频帧(并且音频流包括音频帧)。配置视频帧(例如，它们包括适当数据结构中的像素信息)以有意义地对显示给用户的图像作出贡献。如本文所使用的，术语“视频帧”用于指代主要包括被配置为有助于例如实现显示给用户的图像的信息的帧。本文关于“视频帧”的大多数教导也可应用于“音频帧”。
客户端710通常被配置为从用户接收输入。这些输入可包括被配置为改变视频游戏的状态或以其他方式影响游戏进行的游戏命令。可使用输入设备接收游戏命令和/或可通过在客户端710上执行的计算指令自动生成游戏命令。所接收的游戏命令经由网络715从客户端 710传达到视频服务器***720和/或游戏服务器725。例如，在一些实施例中，游戏命令经由视频服务器***720传达到游戏服务器725。在一些实施例中，游戏命令的单独副本从客户端710传送到游戏服务器725和视频服务器***720。游戏命令的通信可选地取决于命令的身份。从客户端710A通过用于向客户端710A提供音频或视频流的不同路由或通信信道来可选地传达游戏命令。
游戏服务器725可选地由与视频服务器***720不同的实体来操作。例如，游戏服务器725可由多玩家游戏的发布者来操作。在所述示例中，视频服务器***720可选地由游戏服务器725视为客户端，并且可选地被配置为从游戏服务器725的视角出现为执行现有技术游戏引擎的现有技术客户端。视频服务器***720与游戏服务器725 之间的通信可选地经由网络715发生。因此，游戏服务器725可为现有技术的多玩家游戏服务器，所述多玩家游戏服务器将游戏状态信息发送到多个客户端，其中一个客户端是游戏服务器***720。视频服务器***720可被配置为同时与游戏服务器725的多个实例通信。例如，视频服务器***720可被配置为向不同用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可由不同的游戏服务器725支持和/或由不同的实体发布。在一些实施例中，视频服务器***720 的若干地理上分布的实例被配置为向多个不同用户提供游戏视频。视频服务器***720的这些实例中的每一个可与游戏服务器725的相同实例通信。视频服务器***720与一个或多个游戏服务器725之间的通信可选地经由专用通信信道发生。例如，视频服务器***720可经由专用于这两个***之间的通信的高带宽信道连接到游戏服务器725。
视频服务器***720至少包括视频源730、I/O设备745、处理器 750和非暂时性存储设备755。视频服务器***720可包括一个计算设备或者分布在多个计算设备中。这些计算设备可选地经由诸如局域网的通信***连接。
视频源730被配置为提供视频流，例如流视频或形成动态图像的一系列视频帧。在一些实施例中，视频源730包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置为从玩家接收游戏命令并且基于所接收的命令维护视频游戏的状态的副本。该游戏状态包括游戏环境中的对象的位置以及通常的视角。游戏状态还可包括对象的性质、图像、颜色和/或纹理。
通常基于游戏规则以及诸如移动、转弯、攻击、设置焦点、交互、使用等的游戏命令来维持游戏状态。游戏引擎的部分可选地设置在游戏服务器725内。游戏服务器725可基于使用地理上分散的客户端从多个玩家接收的游戏命令来维护游戏状态的副本。在这些情况下，游戏状态由游戏服务器725提供给视频源730，其中存储游戏状态的副本并且执行渲染。游戏服务器725可经由网络715直接从客户端710 接收游戏命令，和/或可经由视频服务器***720接收游戏命令。
视频源730通常包括渲染逻辑，例如存储在计算机可读介质(诸如存储设备755)上的硬件、固件和/或软件。该渲染逻辑被配置为基于游戏状态创建视频流的视频帧。全部或部分渲染逻辑可选地设置在图形处理单元(GPU)内。渲染逻辑通常包括被配置用于确定对象之间的三维空间关系和/或用于基于游戏状态和视角来应用适当的纹理等的处理级。渲染逻辑产生原始视频，所述原始视频随后通常在传达到客户端710之前进行编码。例如，可根据Adobe
Figure BDA0002011570130000421
标准、.wav、 H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等来对原始视频进行编码。编码过程产生视频流，所述视频流可选地被打包以传送到远程设备上的解码器。视频流的特征在于帧大小和帧速率。典型的帧大小包括800x 600、1280x 720(例如720p)、1024x 768，但是可使用任何其他帧大小。帧速率是每秒视频帧的数量。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用于刷新显示设备上的所有宏块/像素的信息，而P帧包括用于刷新其子集的信息。P帧的数据大小通常小于I帧。如本文所使用的，术语“帧大小”意指帧内的像素数量。术语“帧数据大小”用于指存储所述帧所需的字节数。
在替代实施例中，视频源730包括诸如摄像机的视频录制设备。该摄像机可用于生成可包括在计算机游戏的视频流中的延迟或现场视频。所得的视频流可选地包括渲染图像和使用照相机或摄影机记录的图像两者。视频源730还可包括存储设备，所述存储设备被配置为存储先前记录的视频以包括在视频流中。视频源730还可包括被配置为检测对象(例如，人)的运动或位置的运动或定位感测设备，以及被配置为基于检测到的运动和/或位置来确定游戏状态或产生视频的逻辑。
视频源730可选地被配置为提供被配置为放置在其他视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如网络摄像机视频)。在客户端710A包括触摸屏接口或注视检测接口的实施例中，所述叠加可包括虚拟键盘、操纵杆、触摸板等等。在叠加的一个示例中，玩家的语音被叠加在音频流上。视频源730可选地还包括一个或多个音频源。
在其中视频服务器***720被配置为基于来自多于一个玩家的输入来维持游戏状态的实施例中，每个玩家可具有包括视图的位置和方向的不同视角。视频源730可选地被配置为基于他们的视角为每个玩家提供单独的视频流。此外，视频源730可被配置为向客户端710 中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源730 可选地配置为提供3-D视频和/或沉浸式360度编码视频。
I/O设备745被配置用于视频服务器***720以发送和/或接收信息，所述信息诸如视频、命令、对信息的请求、游戏状态、注视信息、设备运动、设备定位、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等等。I/O设备745通常包括诸如网卡或调制解调器的通信硬件。I/O设备745被配置为与游戏服务器725、网络715和/ 或客户端710通信。
处理器750被配置为执行包括在本文讨论的视频服务器***720 的各种部件内的逻辑，例如软件。例如，处理器750可用软件指令编程以便执行视频源730、游戏服务器725和/或客户端限定器760的功能。视频服务器***720可选地包括处理器750的多于一个实例。处理器750还可用软件指令编程，以便执行由视频服务器***720接收的命令，或者协调本文讨论的游戏***700的各种元件的操作。处理器750可包括一个或多个硬件设备。处理器750是电子处理器。
存储设备755包括非暂时性模拟和/或数字存储设备。例如，存储设备755可包括被配置为存储视频帧的模拟存储设备。存储设备 755可包括计算机可读数字存储设备，例如硬盘驱动器、光盘驱动器或固态存储设备。存储设备715被配置为(例如，通过适当的数据结构或文件***)存储视频帧、人工帧、包括视频帧和人工帧两者的视频流、音频帧、音频流等等。存储设备755可选地分布在多个设备中。在一些实施例中，存储设备755被配置为存储本文其他地方讨论的视频源730的软件部件。这些部件可以在需要时准备好提供的格式来存储。
视频服务器***720可选地还包括客户端限定器760。客户端限定器760被配置用于远程地确定诸如客户端710A或710B的客户端的能力。这些能力可包括客户端710A本身的能力以及客户端710A 与视频服务器***720之间的一个或多个通信信道的能力两者。例如，客户端限定器760可被配置为测试通过网络715的通信信道。
客户端限定器760可手动或自动地确定(例如，发现)客户端 710A的能力。手动确定包括与客户端710A的用户通信并且要求用户提供能力。例如，在一些实施例中，客户端限定器760被配置为在客户端710A的浏览器内显示图像、文字等等。在一个实施例中，客户端710A是包括浏览器的HMD。在另一个实施例中，客户端710A 是具有可在HMD上显示的浏览器的游戏控制台。所显示的对象请求用户输入客户端710A的信息，诸如操作***、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器760传达回用户输入的信息。
例如，可通过在客户端710A上执行代理程序和/或通过将测试视频发送到客户端710A来进行自动确定。代理程序可包括嵌入在网页中或作为附件安装的计算指令，诸如java脚本。代理程序可选地由客户端限定器760提供。在各种实施例中，代理程序可发现客户端710A 的处理能力、客户端710A的解码和显示能力、客户端710A与视频服务器***720之间的通信信道的滞后时间可靠性和带宽、客户端 710A的显示器类型、存在于客户端710A上的防火墙、客户端710A 的硬件、在客户端710A上执行的软件、客户端710A内的注册表条目等等。
客户端限定器760包括存储在计算机可读介质上的硬件、固件和 /或软件。客户端限定器760可选地设置在与视频服务器***720的一个或多个其他元件分开的计算设备上。例如，在一些实施例中，客户端限定器760被配置为确定客户端710与视频服务器***720的多于一个实例之间的通信信道的特征。在这些实施例中，由客户端限定器发现的信息可用来确定视频服务器***720的哪个实例最适用于向客户端710中的一个传送流视频。
以下申请提供有关HMD和晕动病的信息，包括：2014年3月 12日提交的共同转让的、共同未决的美国专利申请序列号14/206,219，题为“SWITCHING MODE OF OPERATION INA HEAD MOUNTED DISPLAY”；2015年5月14日提交的共同转让的、共同未决的美国专利申请序列号14/712,575，题为“SENSORY STIMULUS MANAGEMENT IN HEAD MOUNTED DISPLAY”；2015年2月5日提交的共同转让的、共同未决的美国专利申请序列号14/615,115，题为“MOTION SICKNESS MONITORING AND APPLICATION OF SUPPLEMENT AL SOUND TOCOUNTERACT SICKNESS”；和2015 年2月20日提交的共同转让的、共同未决的美国专利申请序列号 14/627,406，题为“SCANNING DISPLAY SYSTEM IN HEAD-MOUNTED DISPLAY FORVIRTUAL REALITY”；所有这些都通过引用整体并入本文。关于在本发明的一些实施例中实现的深度学习过程的更多信息在“Introduction to Machine Learning”，SecondEdition，Ethem Alpaydin，Massachusetts Institute of Technology，2010 中提供，其通过引用整体并入本文。
虽然已经提供了用于构建模型的特定实施例，该模型被配置为识别哪些VR内容引起用户不适和/或病症，基于预测的用户不适和/或病症对VR内容中的区域进行分类，并且对这些区域应用不适减少滤波效应以减少在观看VR内容时用户的不适和/或病症，但这些是作为示例而不是作为限制来描述的。阅读了本公开的本领域技术人员将认识到落入本公开的精神和范围内的附加的实施例。
应当理解，可使用本文公开的各种特征将本文定义的各种实施例组合或组装成特定实现方式。因此，所提供的示例仅是一些可能的示例，而不限于通过组合各种元件以定义更多实现方式而可能的各种实现方式。在一些示例中，一些实现方式可包括更少的元件，而不脱离公开或等同的实现方式的精神。
本公开的实施例可用包括手持设备、微处理器***、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等的各种计算机***配置来实践。本公开的实施例还可在分布式计算环境中实践，其中由通过基于有线的或无线网络加以链接的远程处理设备执行任务。
考虑到上述实施例，应当理解，本公开的实施例可采用涉及存储在计算机***中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的操作。本文描述的形成本公开的实施例的一部分的任何操作都是有用的机器操作。本发明的实施例还涉及用于执行这些操作的设备或装置。所述装置可以专门构造以用于所需目的，或所述装置可以是通过存储在计算机中的计算机程序来选择性地激活或配置的通用计算机。具体地，各种通用机器可与根据本文的教导编写的计算机程序一起使用，或者构建更专业的装置来执行所需操作可为更方便的。
本公开也可体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储设备，数据随后可由计算机***读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质可包括分布在网络联接的计算机***上的计算机可读有形介质，使得计算机可读代码被以分布的方式存储和执行。
尽管以特定顺序描述了所述方法操作，但应理解，其他内务处理操作可在操作之间执行，或者可调整操作以使得它们在略微不同的时间发生，或者可分布在***中，所述***允许处理操作以与所述处理相关联的各种时间间隔发生，只要叠加操作的处理以所需方式执行即可。
尽管为了清晰理解的目的已详细描述了前述公开，但是将会明显的是可在所附权利要求的范围内实践某些变化和修改。因此，本发明的实施例被认为是说明性的而非限制性的，并且本公开的实施例不限于本文给出的细节，而是可以在所附权利要求的范围和等效物内进行修改。

Claims (20)

1.一种用于在观看用于头戴式显示器（HMD）的虚拟现实（VR）内容时减少不适的方法，其包括：
访问由深度学习引擎训练的不适识别模型，所述模型识别多个学习模式，所述多个学习模式与可引起不适的对应基线VR内容的生成相关联；
处理第一应用以生成与模拟用户与所述第一应用的第一VR内容的交互相关联的数据；
将所述数据与所述模型进行比较以识别所述数据中与所述学习模式中的至少一个学习模式匹配的模式，使得所述识别的模式可能引起不适；
识别所述第一应用中与识别的模式对应的区域；以及
在所述区域内应用不适减少滤波效应，目的是减少用户潜在的不适，
其中所述处理第一应用还包括：
执行所述第一应用以生成所述第一VR内容；以及
提取与模拟用户与所述第一VR内容的交互相关联的所述数据，所述数据在所述第一应用的执行期间生成。
2.如权利要求1所述的方法，其中所述应用不适减少滤波效应还包括：
将视场限制应用于所述区域中与所述第一应用的执行相关联生成的VR内容。
3.如权利要求2所述的方法，其还包括：
随着所述用户的头部移动速率增加，减小视场；以及
随着所述用户的所述头部移动速率降低，增大视场。
4.如权利要求1所述的方法，其中所述应用不适减少滤波效应还包括：
将视场限制作为叠加实时应用于与所述第一应用的执行相关联生成的VR内容。
5.如权利要求1所述的方法，其还包括：呈现允许所述用户改变所述不适减少滤波效应中的参数的用户界面。
6.如权利要求5所述的方法，其还包括：
响应于参数的变化，增加所述不适减少滤波效应的幅度。
7.如权利要求5所述的方法，其还包括：
响应于参数的变化，减小所述不适减少滤波效应的幅度。
8.如权利要求1所述的方法，其还包括：
响应于来自所述用户的请求，禁用所述不适减少滤波效应。
9.如权利要求1所述的方法，其还包括：
响应于来自所述用户的请求，启用所述不适减少滤波效应。
10.一种用于构建不适识别模型的方法，所述不适识别模型用于在观看用于头戴式显示器（HMD）的虚拟现实（VR）内容时减少不适，该方法包括：
执行应用以生成用于用户交互的VR内容；
接收指示所述用户不适的输入；
基于指示所述用户不适的所述输入学习多个模式，所学习的模式与可导致不适的相应基线VR内容的生成相关联；以及
将不适减少滤波效应应用于为了进行与多个学习的模式相关联的显示而生成的VR内容，目的是减少潜在的不适。
11.如权利要求10所述的方法，其中所述接收指示所述用户不适的输入还包括：
接收所述用户主动生成的所述输入。
12.如权利要求10所述的方法，其中所述接收指示所述用户不适的输入还包括：
接收所述用户被动生成的所述输入。
13.如权利要求12所述的方法，其还包括：
在所述用户正与所述内容进行交互时监视所述用户的生理响应。
14.如权利要求13所述的方法，其中所述生理响应包括胃电图、皮肤电阻、α波、心率、眼睛注视和头部运动中的至少一者。
15.如权利要求10所述的方法，其中所述应用所述不适减少滤波效应还包括：
将视场限制应用于当前显示的所述VR内容。
16.如权利要求15所述的方法，其还包括：
随着所述用户的头部移动速率增加，减小视场；以及
随着所述用户的所述头部移动速率降低，增大视场。
17.如权利要求10所述的方法，其中所述应用所述不适减少滤波效应还包括：
将视场限制作为叠加实时应用于与第一应用的执行相关联生成的VR内容。
18.如权利要求10所述的方法，其还包括：
响应于来自所述用户的请求，禁用所述不适减少滤波效应。
19.如权利要求10所述的方法，其还包括：
响应于来自所述用户的请求，启用所述不适减少滤波效应。
20.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于构建不适识别模型的计算机程序，所述不适识别模型用于在观看用于头戴式显示器（HMD）的虚拟现实（VR）内容时减少不适，所述计算机可读介质包括：
用于执行应用以生成用于用户交互的VR内容的程序指令；
用于接收指示所述用户不适的输入的程序指令；
用于基于指示所述用户不适的所述输入学习多个模式的程序指令，所学习的模式与可导致不适的相应基线VR内容的生成相关联；以及
用于将不适减少滤波效应应用于为了进行与多个学习的模式相关联的显示而生成的VR内容的程序指令，目的是通过将视场限制作为叠加实时应用于所述VR内容来减少潜在的不适。
CN201780060549.1A 2016-09-30 2017-08-14 头戴式显示器中的虚拟现实内容的视场限制方法 Active CN109791440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210632723.8A CN114995646A (zh) 2016-09-30 2017-08-14 头戴式显示器中观看虚拟现实内容时减少不适的方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662402963P 2016-09-30 2016-09-30
US62/402,963 2016-09-30
US15/372,217 2016-12-07
US15/372,217 US10565777B2 (en) 2016-09-30 2016-12-07 Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
PCT/US2017/046826 WO2018063538A1 (en) 2016-09-30 2017-08-14 Field of view (fov) throttling of virtual reality (vr) content in a head mounted display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210632723.8A Division CN114995646A (zh) 2016-09-30 2017-08-14 头戴式显示器中观看虚拟现实内容时减少不适的方法

Publications (2)

Publication Number Publication Date
CN109791440A CN109791440A (zh) 2019-05-21
CN109791440B true CN109791440B (zh) 2022-06-24

Family

ID=61758354

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210632723.8A Pending CN114995646A (zh) 2016-09-30 2017-08-14 头戴式显示器中观看虚拟现实内容时减少不适的方法
CN201780060549.1A Active CN109791440B (zh) 2016-09-30 2017-08-14 头戴式显示器中的虚拟现实内容的视场限制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210632723.8A Pending CN114995646A (zh) 2016-09-30 2017-08-14 头戴式显示器中观看虚拟现实内容时减少不适的方法

Country Status (5)

Country Link
US (3) US10565777B2 (zh)
EP (1) EP3519921B1 (zh)
JP (2) JP6799144B2 (zh)
CN (2) CN114995646A (zh)
WO (1) WO2018063538A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US11164352B2 (en) 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US10945141B2 (en) * 2017-07-25 2021-03-09 Qualcomm Incorporated Systems and methods for improving content presentation
JP6934806B2 (ja) * 2017-11-02 2021-09-15 キヤノン株式会社 表示装置、表示装置の制御方法
KR102233099B1 (ko) * 2017-12-05 2021-03-29 한국전자통신연구원 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7210180B2 (ja) * 2018-07-25 2023-01-23 キヤノン株式会社 画像処理装置、画像表示装置、画像処理方法、及びプログラム
US20200066004A1 (en) * 2018-08-23 2020-02-27 International Business Machines Corporation Text focus for head mounted displays
GB2576905B (en) * 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
US10706631B2 (en) * 2018-10-31 2020-07-07 Advanced Micro Devices, Inc. Image generation based on brain activity monitoring
US10638165B1 (en) 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
KR102656801B1 (ko) * 2018-12-07 2024-04-15 한국전자통신연구원 가상 현실 컨텐츠에 대한 멀미 유발 요소 분석 방법 및 이를 위한 장치
JP6630911B1 (ja) * 2018-12-11 2020-01-15 株式会社Ｐｓｙｃｈｉｃ ＶＲ Ｌａｂ 治療支援システムおよび治療支援プログラム
KR102284266B1 (ko) * 2018-12-13 2021-08-02 한국과학기술원 신경 불일치 모델을 고려한 가상현실 멀미 평가 방법 및 그 장치
US10802287B2 (en) * 2019-01-14 2020-10-13 Valve Corporation Dynamic render time targeting based on eye tracking
EP3725354B1 (en) * 2019-04-15 2023-04-12 Nxp B.V. Audio controller
GB2585078B (en) * 2019-06-28 2023-08-09 Sony Interactive Entertainment Inc Content generation system and method
DE102019218302A1 (de) * 2019-11-26 2021-05-27 Zf Friedrichshafen Ag Detektieren von einer VR-Krankheit
US11252371B2 (en) * 2019-12-13 2022-02-15 Korea Advanced Institute Of Science And Technology Apparatus and method for virtual reality sickness reduction based on virtual reality sickness assessment
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN111031577B (zh) * 2019-12-18 2021-04-27 浙江大学 一种多节点无线动作捕捉节点扩充方法
CN111918063A (zh) * 2020-07-08 2020-11-10 北京兰亭数字科技有限公司 一种云渲染动态编码方法
US11353700B2 (en) 2020-10-07 2022-06-07 Industrial Technology Research Institute Orientation predicting method, virtual reality headset and non-transitory computer-readable medium
US11405484B2 (en) * 2020-11-30 2022-08-02 At&T Intellectual Property I, L.P. Variable-intensity immersion for extended reality media
US20220409851A1 (en) * 2021-02-02 2022-12-29 Synapcis Inc. Apparatus and method for mitigating the effects of travel lag via color palette transitions in a virtual sky projected in a digital space
US11458280B2 (en) * 2021-02-02 2022-10-04 Synapcis Inc. Apparatus and method for facilitating cognitive clarity via color palette transitions in a virtual sky projected in a digital space with a gaze point experiencing cyclical size changes
US20220409848A1 (en) * 2021-02-02 2022-12-29 Synapcis Inc. Apparatus and method to stimulate creativity via color palette transitions in a virtual sky projected in a digital space with a collection of gaze points experiencing cyclical size changes
US11452840B2 (en) * 2021-02-02 2022-09-27 Synapcis Inc. Apparatus and method to mitigate trauma via color palette transitions in a virtual sky projected in a digital space with a collection of gaze points experiencing cyclical size changes
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US12044845B2 (en) * 2021-03-29 2024-07-23 Tencent America LLC Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals
WO2022271711A1 (en) * 2021-06-22 2022-12-29 Synapcis Inc. Apparatus and method for facilitating cognitive clarity via color palette transitions in a virtual sky projected in a digital space with a gaze point experiencing cyclical size changes
WO2022271719A1 (en) * 2021-06-22 2022-12-29 Synapcis Inc. Apparatus and method to mitigate trauma via color palette transitions in a virtual sky projected in a digital space with a collection of gaze points experiencing cyclical size changes
CN113516782B (zh) * 2021-07-29 2023-09-05 中移（杭州）信息技术有限公司 Vr游戏渲染优化方法、装置、设备及计算机可读存储介质
CN114821006B (zh) * 2022-06-23 2022-09-20 盾钰（上海）互联网科技有限公司 交互式间接推理的孪生体态检测方法及***
CN116483208B (zh) * 2023-06-15 2023-10-10 北京交通大学 虚拟现实设备的防晕眩方法、装置、计算机设备及介质
CN118001116B (zh) * 2024-04-10 2024-07-02 杭州灵伴科技有限公司 用于视力训练的头戴式显示设备和视力训练方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6623428B2 (en) * 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
JP4635702B2 (ja) * 2005-04-28 2011-02-23 凸版印刷株式会社 画像表示装置
US7731588B2 (en) * 2005-09-28 2010-06-08 The United States Of America As Represented By The Secretary Of The Navy Remote vehicle control system
JP2011028633A (ja) * 2009-07-28 2011-02-10 Sony Corp 情報処理装置及び方法、並びに、プログラム
WO2011143655A1 (en) * 2010-05-14 2011-11-17 Advitech, Inc. System and method for prevention and control of the effects of spatial disorientation
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
JP5512821B2 (ja) * 2010-11-02 2014-06-04 シャープ株式会社 立体画像表示装置及びその表示調整方法
US8831278B2 (en) * 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
JP5572532B2 (ja) * 2010-12-10 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9583019B1 (en) * 2012-03-23 2017-02-28 The Boeing Company Cockpit flow training system
JP6026836B2 (ja) * 2012-09-28 2016-11-16 パイオニア株式会社 画像表示装置、制御方法、プログラム及び記憶媒体
US8708884B1 (en) 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness
US9645395B2 (en) 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9977495B2 (en) * 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
US9756375B2 (en) * 2015-01-22 2017-09-05 Microsoft Technology Licensing, Llc Predictive server-side rendering of scenes
JP6203346B1 (ja) * 2016-08-16 2017-09-27 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display

Also Published As

Publication number Publication date
JP6977134B2 (ja) 2021-12-08
WO2018063538A1 (en) 2018-04-05
US20180096517A1 (en) 2018-04-05
JP2020502603A (ja) 2020-01-23
EP3519921A1 (en) 2019-08-07
CN114995646A (zh) 2022-09-02
US20190236836A1 (en) 2019-08-01
US11176731B2 (en) 2021-11-16
EP3519921B1 (en) 2023-05-17
US10255715B2 (en) 2019-04-09
JP6799144B2 (ja) 2020-12-09
US10565777B2 (en) 2020-02-18
JP2021051756A (ja) 2021-04-01
US20180096518A1 (en) 2018-04-05
CN109791440A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109791440B (zh) 头戴式显示器中的虚拟现实内容的视场限制方法
US20230414899A1 (en) Classifying a discomfort level of a user when interacting with virtual reality (vr) content
JP7164630B2 (ja) 予測サッカード着地点に基づく動的グラフィックスレンダリング
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
WO2022212151A1 (en) Menu placement dictated by user ability and modes of feedback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant