KR20220068198A - 증강현실을 이용한 인지능력 저하 최소화 시스템 및 방법 - Google Patents

증강현실을 이용한 인지능력 저하 최소화 시스템 및 방법 Download PDF

Info

Publication number
KR20220068198A
KR20220068198A KR1020217043207A KR20217043207A KR20220068198A KR 20220068198 A KR20220068198 A KR 20220068198A KR 1020217043207 A KR1020217043207 A KR 1020217043207A KR 20217043207 A KR20217043207 A KR 20217043207A KR 20220068198 A KR20220068198 A KR 20220068198A
Authority
KR
South Korea
Prior art keywords
user
housing
augmented reality
coupled
head
Prior art date
Application number
KR1020217043207A
Other languages
English (en)
Inventor
보디야바두게 디미트리 요셉 페레라
리사 매튜스
클레어 돈커
피터 다소스
코리 앤소니 스핑크
프랜시스 에릭 손더스
Original Assignee
레스메드 피티와이 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레스메드 피티와이 엘티디 filed Critical 레스메드 피티와이 엘티디
Publication of KR20220068198A publication Critical patent/KR20220068198A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/07—Home care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/332—Force measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3375—Acoustical, e.g. ultrasonic, measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3546—Range
    • A61M2205/3553—Range remote, e.g. between patient's home and doctor's office
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/80—General characteristics of the apparatus voice-operated command
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2209/00—Ancillary equipment
    • A61M2209/08—Supports for equipment
    • A61M2209/088—Supports for equipment on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06—Heartbeat rate only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/65—Impedance, e.g. conductivity, capacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Anesthesiology (AREA)
  • Neurosurgery (AREA)
  • Automation & Control Theory (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Graphics (AREA)

Abstract

본 개시내용에 따른 예시적인 디바이스는 하우징, AR 렌즈, 프로젝터, 메모리, 및 제어 시스템을 제공한다. 제어 시스템과 메모리는 사용자가 혼란을 일으키는 시기를 결정한다. 이어서, 제어 시스템은 AR 렌즈로 지향되는 프로젝터를 통해 지남력 회복 그래픽을 투사하도록 제공한다. 일부 구현에서, 지남력 회복 그래픽은 사용자가 삶을 통해 진행함에 따라 실시간 정보 및 리마인더를 사용자에게 제공한다. 예시적인 디바이스는 사용자가 지남력 회복(reorientation) 그래픽의 도움으로 더 큰 독립성과 더 정상적인 라이프스타일을 유지할 수 있게 한다.

Description

증강 현실을 이용한 인지능력 저하 최소화 시스템 및 방법
관련 출원의 상호 참조
본 출원은 2019년 5월 31일자로 출원된 미국 가출원 번호 제62/855,457호의 이득 및 우선권을 주장하며, 이의 전체 내용이 본원에 참조로 포함된다.
기술 분야
본 개시내용은 인지 저하에 관한 것으로, 보다 구체적으로 증강 현실을 이용하여 인지 저하의 영향들을 최소화하기 위한 시스템 및 방법에 관한 것이다.
노인 인구가 더욱 빠르게 증가하고 있고, 치매 또는 다른 인지 저하 상태들을 갖고 사는 사람들의 수는 증가하고 있다. 노인-요양 시설은 인구 유입을 적절하게 지원할 수 없다. 그러므로, 고령 환자들의 가족 구성원은 노인과 연관된 많은 책임과 비용을 짊어진다. 또한, 전세계적으로 의료가 일반적으로 병원에서 가정으로 이동하고 있고, 이는 가족 구성원의 부담을 증가시킨다.
인지 저하의 다양한 단계들을 경험하는 사람들은 사랑하는 사람을 기억하거나 떠올리지 못하고, 기본적인 일상 생활 수행이 불가하고(예를 들어, 약 복용 또는 자신의 집 찾아가기), 및/또는 낯선 곳을 갈수 없는 등 많은 어려움을 겪을 수 있다. 특히 알츠하이머병은 현재 심지어 약 5천만 명이 치매로 고통받고 있고, 전 세계 의료 비용이 약 1조 달러로 추산됨에도 현재 효과적인 진단이나 치료법이 없다. 이러한 비용은 고령 환자의 유입으로 증가할 것으로 예상된다. 치매 환자는 기존 제품이 고령 환자에 대한 지원을 제공하지 않기 때문에 지속적으로 모니터링될 필요가 있다. 어떤 상황에서, 가족 구성원이 치매나 인지 저하가 있는 고령 환자를 적절하게 모니터링할 수 없기 때문에 환자는 필요한 것보다 더 일찍 노인 요양 시설에 살게 된다. 이는 가족과 의료 시스템에 재정적 스트레스로 이어진다.
기존 제품 중에서는 고령 환자에 대한 광범위한 간호 책임을 짊어진 고령 환자 간병인을 효과적으로 지원하는 것이 없다. 노화의 영향에 대한 기존의 처치 및 관리 옵션은 주로 제약 솔루션으로 구성된다. 그러나, 기존의 약물 연구는 (1) 안면 인식, (2) 혼란/길을 잃음, (3) 하고 있던 일을 잊어버리는 등 인지 저하의 핵심 주요 증상에 대한 효과적이고 신뢰할 수 있는 솔루션을 개발하는 데 실패하였다. 기존 제품은 재정적으로 실현 가능하면서도 스마트하고 통합된 방식으로 적절한 도움을 제공하지 못한다.
본 개시내용의 일부 구현에 따르면, 지남력 상실을 극복하는 데 있어서 사용자를 돕기 위한 시스템이 제공된다. 시스템은 하우징, AR 렌즈, 프로젝터, 메모리 및 제어 시스템을 포함한다. 하우징은 사용자의 머리에 착용될 수 있는 프레임에 결합되도록 구성된다. AR 렌즈와 프로젝터는 하우징에 결합된다. 프로젝터는 AR 렌즈에서 적어도 부분적으로 반사되고, 사용자의 안구를 향해 지향되는 전자기 방사를 방출하도록 추가로 구성된다. 이 전자기 방사는 증강 현실 지남력 회복(reorientation) 그래픽으로 사용자에게 보인다. 메모리는 기계-판독가능 명령을 저장한다. 제어 시스템은 기계-판독가능 명령을 실행하고 일련의 단계를 수행하도록 구성된 하나 이상의 프로세서를 포함한다. 단계는 사용자 혼란 지수(confusion index)를 결정하는 단계를 포함한다. 이어서, 단계는 결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 증강 현실 지남력 회복 그래픽이 사용자에게 보이도록 프로젝터가 전자기 방사를 방출하게 하도록 제공한다.
본 개시내용의 일부 구현에 따르면, 지남력 상실을 극복하는 데 있어서 사용자를 돕기 위한 시스템이 제공된다. 시스템은 하우징, 카메라, AR 렌즈, 프로젝터, 메모리 및 제어 시스템을 포함한다. 하우징은 교정 렌즈를 지지하는 프레임에 결합되도록 구성된다. 사용자의 머리에 착용할 때, 프레임은 사용자의 안구에 인접하게 교정 렌즈를 배치시킨다. 카메라는 하우징에 결합되어 이미지 데이터를 생성한다. 이미지 데이터는 사용자의 시야에 전반적으로 대응하는 하나 이상의 이미지로 재현 가능하다. AR 렌즈는 하우징에 결합되고, 하우징이 프레임에 결합될 때 교정 렌즈의 외측면에 인접한다. 프로젝터는 교정 렌즈를 통해 AR 렌즈에서 적어도 부분적으로 반사하고, 사용자의 안구를 향해 지향되는 전자기 방사를 방출하도록 추가로 구성된다. 이 전자기 방사는 증강 현실 지남력 회복(reorientation) 그래픽으로 사용자에게 보인다. 메모리는 기계-판독가능 명령을 저장한다. 제어 시스템은 기계-판독가능 명령을 실행하고 일련의 단계를 수행하도록 구성된 하나 이상의 프로세서를 포함한다. 단계는 생성된 이미지 데이터에 적어도 부분적으로 기반하여 사용자의 머리의 움직임 성분을 추정하는 것을 포함한다. 이어서, 단계는 추정된 움직임 성분에 적어도 부분적으로 기반하여 사용자 혼란 지수를 생성하도록 제공한다. 이어서, 단계는 결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 증강 현실 지남력 회복 그래픽이 사용자에게 보이도록 프로젝터가 전자기 방사를 방출하게 하도록 제공한다.
본 개시내용의 일부 구현에 따르면, 지남력 상실을 극복하는 데 있어서 사용자를 돕기 위한 시스템이 제공된다. 시스템은 하우징, 카메라, 마이크로폰, AR 렌즈, 프로젝터, 스피커, 메모리 및 제어 시스템을 포함한다. 하우징은 사용자의 머리에 착용될 수 있는 프레임에 결합되도록 구성된다. 카메라는 하우징에 결합되어 이미지 데이터를 생성한다. 이미지 데이터는 사용자의 시야에 전반적으로 대응하는 하나 이상의 이미지로 재현 가능하다. 마이크로폰은 하우징에 결합되어, 오디오 클립(clip)으로 재생할 수 있는 사운드 데이터를 생성한다. AR 렌즈와 프로젝터는 하우징에 결합된다. 프로젝터는 AR 렌즈에서 적어도 부분적으로 반사되고, 사용자의 안구를 향해 지향되는 전자기 방사를 방출하도록 추가로 구성된다. 이 전자기 방사는 증강 현실 지남력 회복(reorientation) 그래픽으로 사용자에게 보인다. 스피커는 하우징에 결합되어 사용자가 들을 수 있는 사운드를 지남력 회복 오디오 클립으로 방출한다. 메모리는 기계-판독가능 명령을 저장한다. 제어 시스템은 기계-판독가능 명령을 실행하고 일련의 단계를 수행하도록 구성된 하나 이상의 프로세서를 포함한다. 단계는 증강 현실 지남력 회복 그래픽 및 지남력 회복 오디오 클립을 포함하는 지남력 회복 체계(reorientation scheme)를 생성하도록 제공한다. 이어서, 단계는 사용자 혼란 지수를 결정하도록 제공한다. 이어서, 단계는, 결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 사용자에게 지남력 회복 체계를 제시하도록 제공한다.
본 개시내용의 일부 구현에 따르면, 지남력 상실을 극복하는 데 있어서 사용자를 돕기 위한 시스템이 제공된다. 시스템은 하우징, 카메라, AR 렌즈, 프로젝터, 메모리 및 제어 시스템을 포함한다. 하우징은 사용자의 머리에 착용될 수 있는 프레임에 결합되도록 구성된다. 카메라는 하우징에 결합되어 이미지 데이터를 생성한다. 이미지 데이터는 사용자의 시야에 전반적으로 대응하는 하나 이상의 이미지로 재현 가능하다. AR 렌즈와 프로젝터는 하우징에 결합된다. 프로젝터는 AR 렌즈에서 적어도 부분적으로 반사되고, 사용자의 안구를 향해 지향되는 전자기 방사를 방출하도록 추가로 구성된다. 메모리는 기계-판독가능 명령을 저장한다. 제어 시스템은 기계-판독가능 명령을 실행하고 일련의 단계를 수행하도록 구성된 하나 이상의 프로세서를 포함한다. 단계는 사용자 혼란 지수를 결정하도록 제공한다. 이어서, 단계는 결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 상호작용 증강 현실 게임이 사용자에게 보이도록 프로젝터가 전자기 방사를 방출하게 하도록 제공한다.
본 개시내용의 상기 및 부가적인 양태 및 구현은 도면을 참조하여 이루어진 다양한 실시예 및/또는 구현의 상세한 설명을 고려하여 당업자에게 명백할 것이고, 이의 간략한 설명은 다음에 제공된다.
본 개시내용의 전술한 장점 및 다른 장점은 하기 상세한 설명을 읽고 도면을 참조함으로써 명백해질 것이다.
도 1은 본 개시내용의 일부 구현에 따른, 지남력 상실을 극복하는 데 있어서 사용자를 도울 수 있는 시스템의 도면이다.
도 2a는 본 개시내용의 일부 구현에 따른, 지남력 상실을 극복하는 데 있어서 사용자를 도울 수 있는 디바이스의 사시도이다.
도 2b는 도 2a의 디바이스의 분해도이다.
도 3은 본 개시내용의 일부 구현에 따른, 지남력 상실을 극복하는 데 있어서 사용자를 도울 수 있는 통합 디바이스의 부분 사시도이다.
도 4는 본 개시내용의 일부 구현에 따른, 지남력 상실을 극복하는 데 있어서 사용자를 도울 수 있는 시스템을 예시하는 도면이다.
도 5a는 본 개시내용의 일부 구현에 따른 예시적인 지남력 회복 그래픽의 예시이다.
도 5b는 본 개시내용의 일부 구현에 따른, 예시적인 지남력 회복 그래픽의 예시이다.
도 5c는 본 개시내용의 일부 구현에 따른 예시적인 지남력 회복 그래픽의 예시이다.
도 6은 본 개시내용의 일부 구현에 따른, 지남력 회복 그래픽을 디스플레이하기 위한 프로세스의 흐름도이다.
도 7은 본 개시내용의 일부 구현예에 따른, 사용자 움직임에 기반하여 지남력 회복 그래픽을 디스플레이하기 위한 프로세스의 흐름도이다.
도 8은 본 개시내용의 일부 구현에 따른, 지남력 회복 체계를 생성하고 디스플레이하기 위한 프로세스의 흐름도이다.
본 개시내용은 혼란 기간 동안 사용자의 지남력을 회복시키는 시스템 및 방법을 제공함으로써 고령 환자 및/또는 인지 저하를 가진 사람을 돌보는 문제를 다룬다. 본 개시내용에 따른 예시적인 디바이스는 하우징, AR 렌즈, 프로젝터, 메모리, 및 제어 시스템을 제공한다. 제어 시스템과 메모리는 사용자가 혼란을 일으키는 시기를 결정한다. 이어서, 제어 시스템은 AR 렌즈로 지향되는 프로젝터를 통해 지남력 회복 그래픽을 투사하도록 제공한다. 일부 구현에서, 지남력 회복 그래픽은 사용자가 삶을 통해 진행함에 따라 실시간 정보 및 리마인더를 사용자에게 제공한다. 일부 구현에서, 지남력 회복 그래픽은 사람의 이름 및 사람이 시야에 들어올 때 사용자와의 관계와 같은 정보를 포함한다. 다른 예에서, 지남력 회복 그래픽은 사용자의 특정 감정을 장려하도록 설계된 정보(예를 들어, 진정시키는 이미지 또는 사용자를 진정시키기 위한 친숙한 얼굴)를 포함한다.
그러므로, 본 개시내용은 사용자가 하나 이상의 지남력 회복 그래픽 및/또는 체계의 도움으로 더 큰 독립성과 더 정상적인 라이프스타일을 유지할 수 있게 한다. 본 개시내용의 예시적인 디바이스는 본원에 추가로 논의되는 다른 특징들 중, 불안과 혼란을 검출하고, 사용자의 루틴을 학습하고, 보호 시스템에 지속적으로 액세스하고, 경보를 제공하고, 사용자의 도움이 필요함을 외부 사람들에게 통지하고, 사용자의 움직임을 추적하도록 추가로 제공한다.
도 1을 참조하면, 사용자가 지남력 상실을 극복하도록 도울 수 있는 시스템(100)은 프레임(102), 증강 현실(AR) 렌즈(104), 프로젝터(106), 교정 렌즈(108), 카메라(110), GPS(Global Positioning System)(112), 스피커(114), 마이크로폰(116), 적어도 하나의 다른 센서(118), 컨덕턴스 센서(120), 모션 센서(122), 심박수 센서(124), 메모리(126), 제어 시스템(128), 하우징(130), 또는 이들의 임의의 조합을 포함한다.
프레임(102)은 시스템(100)을 사용자에게 고정하도록 설계된 구조적 요소이다. 일부 구현에서, 프레임(102)은 접안렌즈 프레임(예를 들어, 안경 프레임), 시계 스트랩/밴드, 머리 기어/스트랩 등 또는 하나 이상의 객체들을 사용자에게 고정하는 데 사용될 수 있는 임의의 다른 요소이다. 일부 구현에서, 프레임(102)은 하우징(130)에 결합된다. 하우징(130)은 연결 요소를 통해 프레임(102)에 기계적으로 결합된다(예를 들어, 도 2b와 관련하여 추가로 논의됨). 일부 구현에서, AR 렌즈(104), 프로젝터(106), 교정 렌즈(108), 카메라(110), GPS(Global Positioning System) 센서(112), 스피커(114), 마이크로폰(116), 적어도 하나의 다른 센서(118), 컨덕턴스 센서(120), 모션 센서(122), 심박수 센서(124), 메모리(126), 및 제어 시스템(128)은 하우징(130) 상에 및/또는 하우징(130) 내에 또는 달리 하우징(130)에 결합된다. 일부 다른 구현에서, 이런 요소들의 임의의 조합은 프레임(102) 상에 및/또는 프레임(102) 내에 위치되거나 그렇지 않으면 프레임(102)에 직접 및/또는 간접적으로 결합된다. 시스템(100)의 일부 구현에서, 적어도 하나의 다른 센서(118), 컨덕턴스 센서(120), 모션 센서(122), 및 심박수 센서(124) 중 임의의 하나 초과가 있을 수 있다. 일부 구현에서, 하우징(130)은 프레임(102)에 쉽게 제거가능하게 결합된다. 다른 예에서, 하우징(130)은 예를 들어 하우징(130)의 제거가 프레임(102) 및/또는 하우징(130)의 파손을 요구하도록 프레임(102)에 쉽게 제거가능하게 결합되지 않는다(예를 들어, 영구적으로 결합됨).
AR 렌즈(104)는 프리즘이거나 프리즘을 포함한다. 일부 구현에서, AR 렌즈(104)는 프로젝터(106)로부터 교정 렌즈(108)를 향해 전자기 방사를 지향시키도록 배치된다. 일부 구현에서, AR 렌즈(104)는 사용자로부터 멀리 교정 렌즈(108)를 통해 전자기 방사를 전송하고; 다른 예에서, AR 렌즈(104)는 교정 렌즈(108)를 벗어나 사용자를 향하여(예를 들어, 사용자의 안구를 향하여) 전자기 방사를 전송한다.
교정 렌즈(108)는 프레임(102)에 결합되고 사용자의 눈/안구 앞에 배치되도록 구성된다. 일부 구현에서, 교정 렌즈(108)는 사용자에게 시각적 도움을 제공하고; 다른 예에서, 교정 렌즈(108)는 0의 배율을 갖는 평면 렌즈이다.
제어 시스템(128)은 프로젝터(106), 카메라(110), GPS 센서(112), 스피커(114), 마이크로폰(116), 적어도 하나의 다른 센서(118), 컨덕턴스 센서(120), 모션 센서(122), 심박수 센서(124), 메모리 또는 메모리 디바이스(126) 또는 이의 임의의 조합에 통신가능하게 결합될 수 있다. 제어 시스템(128)은 이런 다양한 요소에게 이의 다양한 특성에 따라 데이터를 수집하게 명령하도록 구성된다. 제어 시스템(128)은 수집된 데이터를 메모리(126)에 저장하고/저장하거나 수집된 데이터를 외부 컴퓨팅 디바이스로 전송하도록 추가로 제공할 수 있다(예를 들어, 도 3 및 도 4와 관련하여 추가로 논의됨). 일부 구현에서, 적어도 하나의 다른 센서(118)는 시스템(100)의 위치를 찾도록 구성된 GPS 센서이다(따라서 시스템(100)과 연관된 사용자의 위치를 찾음). 다른 예에서, 적어도 하나의 센서(118)는 하우징(130)으로부터 사용자의 시야에서 객체의 거리를 측정하도록 구성된 깊이 센서이다.
제어 시스템(128)은 하나 이상의 프로세서(129)를 포함한다. 제어 시스템(128)은 일반적으로 시스템(100)의 다양한 구성요소를 제어(예를 들어, 작동)하고/하거나 시스템(100)의 구성요소에 의해 획득 및/또는 생성된 데이터를 분석하는 데 사용된다. 프로세서(128)는 범용 또는 특수 목적 프로세서 또는 마이크로프로세서일 수 있다. 하나의 프로세서(129)가 도 1에 도시되어 있지만, 제어 시스템(128)은 단일 하우징에 있거나, 서로 원격으로 위치될 수 있는 임의의 적합한 수의 프로세서(예를 들어, 하나의 프로세서, 2개의 프로세서, 5개의 프로세서, 10개의 프로세서 등)를 포함할 수 있다. 제어 시스템(128)은 예를 들어 하우징(130) 또는 프레임(102)에 결합 및/또는 그 내부에 배치될 수 있다. 제어 시스템(128)은 중앙 집중식(하나의 이러한 하우징 내) 또는 분산식(물리적으로 구별되는 2개 이상의 이러한 하우징 내)일 수 있다. 제어 시스템(128)을 포함하는 2개 이상의 하우징을 포함하는 이러한 구현에서, 그러한 하우징은 서로 근접하게 및/또는 원격으로 위치될 수 있다.
메모리(126)는 제어 시스템(128)의 프로세서(129)에 의해 실행가능한 기계-판독가능 명령을 저장한다. 메모리(126)는 임의의 적합한 컴퓨터 판독가능 저장 디바이스 또는 매체, 이를테면, 예를 들어 랜덤 또는 직렬 액세스 메모리 디바이스, 하드 드라이브, 솔리드 스테이트 드라이브, 플래시 메모리 디바이스 등일 수 있다. 하나의 메모리(126)가 도 1에 도시되지만, 시스템(100)은 임의의 적합한 수의 메모리 디바이스(예를 들어, 하나의 메모리 디바이스, 2개의 메모리 디바이스, 5개의 메모리 디바이스, 10개의 메모리 디바이스 등)를 포함할 수 있다. 메모리(126)는 프레임(102) 또는 하우징(130)에 결합 및/또는 배치될 수 있다. 제어 시스템(128)과 마찬가지로, 메모리(126)는 중앙 집중식(하나의 이러한 하우징 내) 또는 분산식(물리적으로 구별되는 2개 이상의 그러한 하우징 내)일 수 있다.
일부 구현에서, 메모리(126)(도 1)는 사용자와 연관된 사용자 프로파일을 저장한다. 사용자 프로파일은 예를 들어 사용자와 연관된 인구통계학적 정보, 사용자와 연관된 생체측정 정보, 사용자와 연관된 의료 정보, 자가-보고된 사용자 피드백, 사용자와 연관된 수면 파라미터(예를 들어, 하나 이상의 이전 수면 세션들로부터 기록된 수면-관련 파라미터), 또는 이들의 임의의 조합을 포함할 수 있다. 인구통계학적 정보는 예를 들어 사용자의 나이, 사용자의 성별, 사용자의 인종, 불면증의 가족 이력, 사용자의 고용 상태, 사용자의 교육 상태, 사용자의 사회경제적 상태, 또는 이들의 임의의 조합을 포함할 수 있다. 의료 정보는 예를 들어 사용자와 연관된 하나 이상의 의학적 상태, 사용자에 의한 약물 사용, 또는 둘 모두를 나타내는 것을 포함할 수 있다. 의료 정보 데이터는 수면잠복기반복검사(MSLT) 테스트 결과 또는 점수 및/또는 피츠버그 수면 질 지수(PSQI) 점수 또는 값을 더 포함할 수 있다. 자가-보고된 사용자 피드백은 자가-보고된 주관적 수면 점수(예를 들어, 나쁨, 평균, 우수), 사용자의 자가-보고된 주관적 스트레스 레벨, 사용자의 자가-보고된 주관적 피로 레벨, 사용자의 자가-보고된 주관적인 건강 상태, 사용자가 경험한 최근 생활 사건, 또는 이들의 임의의 조합을 나타내는 정보를 포함할 수 있다.
프로젝터(106)는 제어 시스템(128)으로부터의 명령에 응답하여 전자기 방사를 방출하도록 구성된다. 프로젝터(106)는 텍스트, 이미지, 게임, 또는 임의의 다른 시각적 디스플레이일 수 있는 그래픽으로서 사용자에게 제시하는 전자기 방사를 방출하도록 구성된다. 일부 구현에서, 프로젝터(106)는 전자기 방사를 사용자의 망막을 향해 직접 전송한다. 일부 구현에서, 프로젝터(106)는 가시광을 방출하도록 구성된 저-강도 레이저이거나 및/또는 이를 포함한다.
카메라(110)는 예를 들어, 하나 이상의 비디오 클립을 포함하는 하나 이상의 이미지 및/또는 비디오 데이터를 기록하도록 구성된다. 일부 구현에서, 카메라(110)는 교정 렌즈(108)의 광축과 실질적으로 정렬되도록 프레임(102) 상에 배치된다. 마이크로폰(116)은 오디오 데이터를 기록하도록 구성된다. 제어 시스템(128)은 카메라(110) 및/또는 마이크로폰(116)의 기록을 시작 및 중지하기 위해 제공된다. 스피커(114)는 제어 시스템(128)으로부터의 명령에 응답하여 오디오 데이터를 방출하도록 구성된다. 일부 구현에서, 스피커(114) 및 마이크로폰(116)은 사용자에게 청각 인터페이스를 제공하기 위해 동시에 동작한다. 이러한 청각 인터페이스는 마이크로폰(116)를 통해 사용자로부터 오디오를 수신하고, 제어 시스템(128)에서 오디오 데이터를 프로세싱하고, 오디오 데이터에 기반하여 청각 응답을 결정하고, 스피커(114)를 통해 청각 응답을 제공할 수 있다.
시스템(100)은 시스템(100)의 사용자와 연관된 데이터를 수집하도록 구성된 복수의 센서를 더 포함한다. 특정 센서가 도 1에 도시되어 있지만, 임의의 생체측정 센서는 시스템(100)(예를 들어, 다른 센서(들)(118))에 포함될 수 있다. 특히, 시스템(100)은 사용자의 피부전기 활동을 측정하도록 구성된 컨덕턴스 센서(120)를 포함할 수 있다.
시스템(100)은 시스템(100)의 모션을 측정하도록 구성된 모션 센서(122)를 더 포함할 수 있다. 시스템(100)이 사용자의 머리에 장착되면, 모션 센서(122)는 사용자의 머리의 움직임과 관련된 모션 데이터를 생성한다. 예를 들어, 제어 시스템(128)은 모션 센서(122)로부터의 데이터에 기반하여 사용자가 넘어지는 때를 결정한다. 일부 구현에서, 모션 센서(122)는 가속도계 또는 자이로스코프이다.
시스템(100)은 사용자의 심박수를 측정하고 심박수 데이터를 생성하도록 구성된 심박수 센서(124)를 추가로 포함할 수 있다. 일부 구현에서, 심박수 데이터는 (1) 사용자의 심박수, (2) 들숨과 날숨 사이의 사용자 심박수의 변동성, 또는 (3) 호흡 동안 심박수와 심박수의 변동성 둘 모두를 나타낸다.
그러므로, 센서(예를 들어, 다른 센서(들)(118), 컨덕턴스 센서(120), 모션 센서(122), 및 심박수 센서(124))는 분석될 수 있는 데이터를 제공하여 환자의 활력(심장-속도, 호흡 및 신체 움직임), 위치 및/또는 스트레스 레벨의 표시자들을 제공한다. 일부 구현에서, 센서(118, 120, 122, 및 124)에 의해 수집된 데이터는 사용자 혼란 및/또는 패닉의 검출 및/또는 모니터링을 제공한다. 그러므로, 시스템(100)은 사용자의 실시간 모니터링을 제공할 수 있고, 일부 구현에서, 혼란 에피소드의 예측을 제공한다.
일부 구현에서, 시스템(100)은 시계, 안경, 스마트폰이고/이거나 이를 포함하고/포함하거나, 사용자의 의류 물품(예를 들어, 헤드밴드, 모자, 셔츠, 바지, 반바지 등, 또는 이들의 임의의 조합)에 내장된다. 그러므로, 시스템(100)은 사용자 데이터를 수집하고 수집된 데이터에 기반하여 프로젝터(106)에 명령을 제공할 수 있다. 프로젝터에 명령을 제공하는 추가 시스템 예 및 방법은 본원에서 추가로 논의된다.
일반적으로 도 2a 및 도 2b를 참조하면, 사용자가 지남력 상실을 극복하도록 도울 수 있는 디바이스(200)는 하우징(202), 프레임(204), AR 렌즈(206), 프로젝터(208), 한 쌍의 교정 렌즈(210), 및 카메라(212)를 포함한다. 일부 구현에서, 디바이스(200)의 요소는 시스템(100)의 요소에 대응하고, 도 1과 관련하여 위에서 설명된 바와 같이 제공된다. 예를 들어, 하우징(202)은 도 1의 하우징(130)과 동일하거나 유사하고; 프레임(204)은 도 1의 프레임(102)과 동일하거나 유사하고; AR 렌즈(206)는 도 1의 AR 렌즈(104)와 동일하거나 유사하고; 프로젝터(208)는 도 1의 프로젝터(106)와 동일하거나 유사하고; 교정 렌즈(210)는 도 1의 교정 렌즈(108)와 동일하거나 유사하고; 카메라(212)는 도 1의 카메라(110)와 동일하거나 유사하다.
프로젝터(208)는 하우징(202)의 내부에 배치된 저-강도 레이저이다. 프로젝터(208)는 예를 들어 하나 이상의 지남력 회복 그래픽으로서 디바이스(200)의 사용자에게 보이는 체계로 AR 렌즈(206)로부터 반사되는 광을 투사할 수 있다. 일부 구현에서, AR 렌즈(206)는 교정 렌즈(210)를 통해 디바이스(200)의 사용자의 눈으로 광을 투사한다. 다른 구현에서, AR 렌즈(206)는 광을 사용자로부터 멀리 외향으로 투사하고, 사용자는 투사된 광을 보기 위해 교정 렌즈(210)를 통해 본다.
교정 렌즈(210)는 디바이스(200)의 사용자에게 시각적 도움을 제공할 수 있다. 일부 구현에서, 교정 렌즈는 0의 배율을 갖는 평면 렌즈이다. 일부 다른 구현에서, 교정 렌즈(210)는 0이 아닌 배율을 갖는 처방 교정 렌즈이다.
도 2b를 참조하면, 디바이스(200)는 연결 요소(214)를 포함한다. 연결 요소(214)는 하우징(202)과 프레임(204)을 제거가능하게 결합하도록 구성된 임의의 기계적 커넥터를 포함할 수 있다. 도 2b에 도시된 바와 같이, 커넥터 요소(214)는 프레임(204)에 하우징(202)을 제거가능하게 유지하기 위해 내부에 프레임(204)의 일부를 수용하도록 구성된 가요성 클리핑 요소이다. 다른 구현에서, 커넥터 요소(214)는 후크 및 루프 패스너, 스냅, 암수 커넥터, 자석, 접착 요소, 또는 임의의 다른 기계적 커넥터, 또는 이들의 임의의 조합을 포함할 수 있다. 커넥터 요소(214)는 하우징(202)이 외부 도구를 사용하지 않고 프레임(204)과 제거가능하게 결합되게 한다. 일부 구현에서, 커넥터 요소(214)는 그 안에 상이한 크기 및/또는 스타일의 프레임(204)을 수용하도록 조정가능하다. 하우징(202)(및 거기에 결합된 요소)이 사용자의 안경 한 쌍과 통합되고 특별히-제조된 한 쌍의 AR 안경을 필요로 하지 않는 것이 이해된다.
일부 구현에서, 프로젝터(208)는 교정 렌즈(210)로부터 하우징(202)의 위치 및/또는 프레임(204)을 따른 하우징(202)의 위치에 기반하여 전자기 방사를 교정하도록 구성된다. 예를 들어, 프로젝터(208)는 전자기 방사를 투사하고, 카메라(212)는 전자기 방사가 시스템의 사용자에게 보일 때를 검출한다. 프로젝터(208) 및 카메라(212)는 전자기 방사를 보호하는 프로젝터(208)와 전자기 방사를 검출하는 카메라(212) 사이의 시간에 기반하여 하우징(202)의 위치를 결정하는 외부 및/또는 내부 컴퓨팅 디바이스에 통신가능하게 결합될 수 있다. 일부 구현에서, 디바이스(200)는 깊이 센서와 교정 렌즈(210) 사이의 거리를 측정하도록 구성된 깊이 센서를 더 포함한다. 깊이 센서는 교정 렌즈(210)를 향하도록 하우징(202)의 전방 에지를 따라 배치될 수 있다.
도 3을 참조하면, 통합 디바이스(300)는 마이크로폰(302), 프로젝터(304), 스피커(306), 심박수 센서(308), 연결 요소(310), GPS 센서(312), 가속도계(314), 피부 전도도 센서(316), 카메라(318), 프레임(320) 및 교정 렌즈(322)를 포함한다. 일부 구현에서, 디바이스(300)의 요소는 시스템(100)의 요소에 대응하고, 도 1과 관련하여 위에서 설명된 바와 같이 제공된다. 예를 들어, 마이크로폰(302)은 도 1의 마이크로폰(116)과 동일하거나 유사하고; 프로젝터(304)는 도 1의 프로젝터(106)와 동일하거나 유사하고; 스피커(306)는 도 1의 스피커(114)와 동일하거나 유사하고; 심박수 센서(308)는 도 1의 심박수 센서(124)와 동일하거나 유사하고; GPS 센서(312)는 도 1의 GPS 센서(112)와 동일하거나 유사하고; 가속도계(314)는 도 1의 모션 센서(122)와 동일하거나 유사하고; 카메라(318)는 도 1의 카메라(110)와 동일하거나 유사하고; 프레임(320)은 도 1의 프레임(102)과 동일하거나 유사하고; 교정 렌즈(322)는 도 1의 교정 렌즈(108)와 동일하거나 유사하다.
통합 디바이스(300)의 요소는 프레임(320)에 영구적으로 통합된다. 그러므로, 디바이스(300)는 사용자가 디바이스(300)의 동작 전에 별도의 디바이스(예를 들어, 디바이스(200))를 별도의 프레임(예를 들어, 프레임(204))에 연결할 필요가 없는 사용이 용이한 통합된 디바이스이다.
연결 요소(310)는 임의의 무선 연결 통신 모듈이다. 일부 구현에서, 연결 요소(310)는 Wi-Fi, 블루투스, 무선 주파수, 또는 임의의 다른 무선 연결을 통해 통신한다. 일부 구현에서, 연결 요소(310)는 유선 통신을 위한 포트이다. 일부 구현에서, 연결 요소(310)는 마이크로폰(302), 프로젝터(304), 스피커(306), 심박수 센서(308), GPS 센서(312), 가속도계(314), 피부 전도도 센서(316), 또는 이들의 임의의 조합에 직접 결합된다. 연결 요소(310)는 통합 디바이스(300)의 요소에 의해 수집된 데이터를 외부 컴퓨팅 디바이스(도시되지 않음)에 직접 및/또는 간접적으로 전송할 수 있다. 일부 구현에서, 연결 요소(310)는 외부 컴퓨팅 디바이스(도시되지 않음)로부터 통합 디바이스(300)의 요소에 명령을 추가로 전송한다.
통합 디바이스(300)는 도 1과 관련하여 위에서 설명된 메모리(126) 및 제어 시스템(128)과 동일하거나 유사한 메모리 및 제어 시스템을 포함한다. 통합 디바이스(300)의 메모리 및 제어 시스템은 마이크로폰(302), 심박수 센서(308), GPS 센서(312), 가속도계(314), 피부 전도도 센서(316) 및 카메라(318)로부터 수집된 데이터를 연결 요소(310)를 통해 외부 컴퓨팅 디바이스에 전송할 수 있다. 일부 구현에서, 연결 요소(310)는 외부 컴퓨팅 디바이스로부터 마이크로폰(302), 심박수 센서(308), GPS 센서(312), 가속도계(314), 피부 전도도 센서(316), 카메라(318), 또는 이들의 임의의 조합으로 명령을 전송할 수 있다.
도 4를 참조하면, 사용자가 지남력 상실을 극복하도록 도울 수 있는 시스템(400)은 지남력 회복 디바이스(401) 및 센서(408)를 포함한다. 지남력 회복 디바이스(401)는 도 1의 시스템(100), 도 2a 내지 도 2b의 디바이스(200), 도 3의 디바이스(300), 또는 이들의 임의의 조합과 동일하거나 유사하다. 지남력 회복 디바이스(401)는 사용자(402)의 머리에 착용될 수 있고 그래픽(406)을 사용자의 시야(404)로 투사할 수 있다.
그러므로, 지남력 회복 디바이스(401)는 일부 유형의 그래픽(406)으로 사용자(402)의 시야(404)에 영향을 미친다. 일부 구현에서, 그래픽(406)은 이미지, 텍스트, 사람의 사진, 여정, 할 일 목록, 리마인더, 경고이다. 일부 구현에서, AF 그래픽(406)은 지남력 회복 디바이스(401)에 의해 수집된 데이터에 응답하여 제공된다. 예를 들어, 지남력 회복 디바이스(401)가, 사용자(402)가 혼란을 겪고 있다고 결정하는 경우, AR 그래픽(406)은 사용자(402)를 지남력 회복시키도록 제공된다. 지남력 회복 디바이스(401)가 사용자(402)가 불안하다고 결정하면, 사용자(402)를 진정시키기 위해 AR 그래픽(406)이 제공된다. AR 그래픽(406)의 예는 도 5a 내지 도 5c와 관련하여 아래에서 더 논의된다.
추가적으로, 시스템(400)은 지남력 회복 디바이스(401) 외부에 있는 센서(408)를 포함한다. 일부 구현에서, 센서(408)는 지남력 회복 디바이스(401)에 통신가능하게 결합된다. 센서(408)는 사용자(402)로부터 심박수 데이터, 모션 데이터, 피부전기 활동, 또는 임의의 다른 생체 데이터 중 임의의 것을 포함하는 생체측정 데이터를 수집한다. 센서(408)가 도 4에서 사용자의 팔에 도시되어 있지만, 센서(408)는 사용자(402)의 어느 곳에나 위치될 수 있다. 일부 구현에서, 센서(408)는 스마트 폰, 스마트 워치, 웨어러블 컴퓨팅 디바이스, 피트니스 밴드, 사용자(402)의 생체측정 데이터를 수집하도록 구성된 임의의 다른 웨어러블 아이템, 및 이들의 임의의 조합이다. 지남력 회복 디바이스(401)는 센서(408)에 의해 제공된 데이터에 기반하여 그래픽(406)을 결정할 수 있다.
도 5a를 참조하면, 사용자의 시야(500A)에서 예시적인 지남력 회복 그래픽(예를 들어, 도 4의 그래픽(406))이 도시된다. 사용자의 시야(500A)는 가상으로 예시된 경로(502), 실제 주변 영역(504)(가상으로 예시된 주변 영역과 대향됨), 및 복수의 가상 생성 화살표(506)를 포함한다. 가상으로 예시된 경로(502)는 시야(500A) 내의 보행 가능한 영역에 오버레이된다. 일부 구현에서, 가상으로 예시된 경로(502)는 주행가능한 영역에 오버레이된다. 가상으로 예시된 경로(502)는 사용자를 특정 방향으로 안내하도록 설계된 복수의 화살표(506)를 더 포함한다. 일부 구현에서, 화살표(506) 및 경로(502)는 외부 컴퓨팅 시스템(또는 예를 들어, 도 1의 제어 시스템(128))에 의해 미리 결정된 경로로 사용자를 안내한다. 예를 들어, 미리 결정된 경로는 사용자의 집을 통한 실내 내비게이션 또는 선택된 위치로의 실외 내비게이션을 포함할 수 있다.
도 5b를 참조하면, 사용자의 시야(500B)에서 예시적인 지남력 회복 그래픽(예를 들어, 도 4의 그래픽(406))이 도시된다. 사용자의 시야(500B)는 실제 사람(510) 및 가상으로 생성된 식별 태그(512)를 포함한다. 가상으로 생성된 식별 태그(512)는 실제 인물(510)에 오버레이된다. 예를 들어, 지남력 회복 시스템 또는 디바이스(예를 들어, 도 4의 디바이스(401))는 사용자가 알고 있는 실제 사람(510)이 사용자의 시야(500B)에 진입할 때를 인식하도록 구성될 수 있다. 지남력 회복 시스템 또는 디바이스는 가상으로 생성된 식별 태그(512)로 실제 사람(510)에 레이블을 지정하도록 구성될 수 있다. 일부 구현에서, 가상으로 생성된 식별 태그(512)는 사람의 얼굴(510) 주위의 상자 또는 원, 또는 실제 사람(510)의 얼굴을 가리키는 화살표이다. 일부 구현에서, 가상으로 생성된 식별 태그(512)는 이름, 나이, 직업, 사용자와의 관계, 다른 관련 특성, 및 이들의 임의의 조합과 같은 실제 사람(510)에 관한 정보를 포함한다.
도 5c를 참조하면. 사람의 시야(500C)에서 예시적인 지남력 회복 그래픽(예를 들어, 도 4의 그래픽(406))이 도시된다. 사용자의 시야(500C)는 가상으로 생성된 날짜 및 시간(520), 가상으로 생성된 텍스트 그래픽(522) 및 가상으로 생성된 진정 이미지(524)를 포함한다. 일부 구현에서, 다수의 가상 생성 그래픽(예를 들어, 날짜 및 시간(520), 텍스트 그래픽(522), 및 진정 이미지(524))은 실제 주변 영역에 대한 시야에 오버레이된다. 가상으로 생성된 텍스트 그래픽(522)은 태스크, 현재 태스크에 대한 세부사항, 리마인더, 쇼핑 목록, 캘린더 이벤트, 및 약물 경고 중 임의의 것을 포함한다. 가상으로 생성된 진정 이미지(524)는, 예를 들어, 사용자가 알고 있는 인물의 사진, 사용자가 미리 결정한 선택된 이미지 중 임의의 것을 포함한다.
가능한 AR 그래픽의 특정 양태가 도 5a 내지 도 5c에 도시되어 있지만, 본 개시내용은 예시적인 AR 그래픽이 임의의 수의 추가 특징을 가질 수 있음을 고려한다. 예를 들어, AR 그래픽은 임의의 텍스트-기반 정보, 시각적 이미지, 비디오 클립 또는 미디어 클립일 수 있다. 또한, 도 5a 내지 도 5c는 AR 그래픽이 사용자의 시야에 있는 이미지, 또는 사용자의 시야에 전반적으로 대응하는 이미지에 기반할 수 있음을 보여준다.
일부 구현에서, AR 그래픽은 (i) 사용자의 현재 임무를 나타내는 텍스트 기반 정보, (ii) 사용자가 특정 시간에 특정 약물을 복용하도록 리마인더를 나타내는 텍스트 기반 정보, (iii) 증강 현실 방향, (iv) 현재 요일, 현재 연도, 현재 시간, 현재 계절 또는 이들의 조합, (v) 현재 이벤트 정보, (vi) 사용자가 이전에 본 신문의 일부의 표현 (vii) 사용자가 이전에 본 소셜 미디어 뉴스 피드 정보, (viii) 사용자가 이전에 본 웹사이트의 일부 표현, (ix) 사용자의 시야 내의 사람을 이름으로 식별하는 정보, (x) 사용자와 연관된 신원 정보로서, 상기 신원 정보는 사용자의 이름, 사용자의 집 주소, 사용자의 배우자 이름 또는 이들의 조합을 포함하는, 상기 신원 정보, (xi) 또는 (i) 내지 (x)의 임의의 조합을 포함한다.
도 6을 참조하면, 본 개시내용의 일부 구현에 따른 지남력 회복 그래픽을 디스플레이하기 위한 방법(600)이 예시된다. 방법(600)은 도 1의 시스템(100), 도 2a 내지 도 2b의 디바이스(200), 및/또는 도 3의 통합 디바이스(300)를 사용하여 수행될 수 있다.
방법(600)은 감지 유닛(602)으로부터 입력 데이터를 수신함으로써 시작된다. 예를 들어, 감지 유닛은 시스템(100)의 요소(예를 들어, 카메라(110), GPS(Global Positioning System) 센서(112), 스피커(114), 마이크로폰(116), 센서(118), 컨덕턴스 센서(120), 모션 센서(122), 및/또는 심박수 센서(124)) 중 하나이다. 일부 구현에서, 감지 유닛은 도 4의 센서(408)이다. 입력 데이터는 기술분야에서 공지된 바와 같이 사용자의 임의의 생체측정 데이터이다. 일부 구현에서, 입력 데이터는 (예를 들어, 도 1의 카메라(110) 및 마이크로폰(116)에 의해 각각 수집된) 오디오 또는 시각적 데이터를 더 포함한다.
이어서, 방법(600)은 수신된 입력 데이터(604)에 기반하여 사용자 혼란 지수를 결정하도록 제공한다. 일부 구현에서, 사용자 혼란 지수는 숫자 점수(예를 들어, 10, 100, 또는 임의의 다른 범위의 점수)이다. 일부 구현에서, 사용자 혼란 지수는 감지 유닛에 의해 제공되는 데이터와 유사한 입력 데이터에 대해 훈련되는 기계 학습 알고리즘에 기반하여 결정된다. 일부 구현에서, 사용자 혼란 지수는 (1) 사용자가 혼란을 겪거나 (2) 사용자가 혼란을 겪지 않음을 나타내는 이진 값이다. 일부 구현에서, 방법(600)은 사용자가 무엇에 대해 혼란을 겪는지(예를 들어, 사용자가 걷는 동안 혼란을 겪는지, 사용자가 다른 사람과 대화하는 동안 혼란을 겪는지, 사용자가 전화를 받은 후 혼란을 겪는지)를 결정하는 것을 추가로 제공한다.
일부 구현에서, 사용자 혼란 지수는 (i) 카메라로부터 수신된 이미지 데이터, (ii) 모션 센서로부터 수신된 모션 데이터, (iii) 심박수 센서로부터 수신된 심박수 데이터, (iv) 컨덕턴스 센서에서 수신된 피부 전도도 데이터, 또는 (v) (i) 내지 (iv)의 조합에 기반한다.
이어서, 방법(600)은 사용자 혼란 지수가 임계 값(606)보다 큰지 여부를 결정하는 것을 제공한다. 일부 구현에서, 임계 값은 연관된 사용자의 높은 레벨의 혼란, 패닉, 불안 또는 고통을 나타내는 미리 결정된 수치 점수이다.
이어서, 방법(600)은 사용자 혼란 지수(608)에 기반하여 그래픽을 선택하도록 제공한다. 일부 구현에서, 그래픽은 사용자의 혼란 정도를 기반으로 한다. 일부 구현에서, 608은 (즉, 위에서 논의된 바와 같이 602에서 수집된 바와 같이) 감지 유닛으로부터의 입력 데이터 및 사용자 혼란 둘 모두에 기반하여 그래픽을 선택하도록 추가로 제공한다. 일부 구현에서, 그래픽은 입력 데이터를 분석하고 사용자의 혼란 지수를 낮출 것으로 예측되는 그래픽 또는 그래픽 유형을 결정하는 기계 학습 알고리즘에 기반하여 선택된다. 예를 들어, 사용자가 걷는 동안 혼란을 겪으면, 선택된 그래픽은 지도 또는 경로(예를 들어, 도 5a에 도시된 바와 같음)이다. 일부 구현에서, 선택된 그래픽은 일련의 그래픽(예를 들어, 도 5c에 도시된 바와 같음)이다. 일부 구현에서, 사용자가 사람과 대화하는 동안 혼란을 겪으면, 선택된 그래픽은 식별 태그(예를 들어, 도 5b에 도시된 바와 같음)이다.
이어서, 방법(600)은 디바이스(610)에서 그래픽을 디스플레이하도록 제공한다. 일부 구현에서, 그래픽은 프로젝터로부터 AR 렌즈 및/또는 교정 렌즈 상으로 투사된다. 610의 일부 구현에서, 그래픽은 도 4와 관련하여 논의된 바와 같이 디바이스(401), 및 별도의 외부 디바이스, 예를 들어 모바일 폰 둘 모두에 디스플레이된다. 일부 구현에서, 그래픽은 별도의 외부 디바이스의 메모리에 저장된다. 그래픽은 도 5a 내지 도 5c와 관련하여 위에서 논의된 바와 같이 임의의 그래픽일 수 있다.
일부 구현에서, 610은 디바이스 상의 스피커(예를 들어, 도 1의 스피커(114))에서 지남력 회복 오디오 메시지를 추가로 제공한다. 일부 구현에서, 지남력 회복 오디오 메시지는 디바이스 상에 디스플레이된 그래픽과 관련되고, 임계 값을 초과하는 사용자 혼란 지수에 응답하여 디스플레이된다. 지남력 회복 오디오 메시지는 디스플레이된 그래픽에 대응하고; 일부 구현에서, 지남력 회복 오디오 메시지는 디스플레이된 그래픽에 포함된 텍스트-기반 정보를 소리 내어 읽는다.
그러므로, 방법(600)은 사용자의 패닉 및 혼란의 검출 및 예측을 제공한다. 일부 구현에서, 방법(600)은 사용자의 혼란 지수의 관리인 또는 가족 구성원에게 통지를 추가로 제공한다. 일부 구현에서, 방법(600)은 예를 들어 자폐증, PTSD, 뇌졸중 및 뇌 손상과 관련된 사용자의 인지 장애 상태의 검출 및 예측을 제공한다.
도 7은 일 실시예에 따른, 사용자 움직임에 기반하여 지남력 회복 그래픽을 디스플레이하기 위한 방법(700)의 흐름도이다. 일부 구현에서, 방법(700)은 도 1의 시스템(100), 도 2a 내지 도 2b의 디바이스(200). 도 3의 디바이스(300). 및 이들의 임의의 조합에서 수행된다.
방법(700)은 이미지 데이터(702)를 수신하도록 제공한다. 일부 구현에서, 이미지 데이터는 카메라(예를 들어, 도 1의 카메라(110), 도 2a 내지 도 2b의 카메라(212), 또는 도 3의 카메라(318))에 의해 수신된다. 일부 구현에서, 사용자의 시야에서 하우징으로부터 객체의 거리를 측정하도록 구성된 깊이 센서에 의해 추가 데이터가 제공된다. 일부 구현에서, 오디오 데이터 및/또는 모션 데이터가 또한 (예를 들어, 각각 도 1의 마이크로폰(116) 및 모션 센서(122)로부터) 수신된다.
이어서, 방법(700)은 수신된 이미지 데이터(704)에 기반하여 사용자의 움직임 성분을 추정하도록 제공한다. 일부 구현에서, 움직임 성분은 수신된 이미지가 저키 프레임(jerky frame)을 구성하는지 또는 적절한 시야를 구성하는지를 결정하기 위해 수신된 이미지 데이터를 프로세싱함으로써 결정된다. 일부 구현에서, 704는 수신된 오디오 데이터 및/또는 모션 데이터에 기반하여 움직임 성분을 추가로 추정한다. 일부 구현에서, 704는 사용자의 머리의 각속도를 추정하는 것, 사용자의 머리의 움직임의 빈도를 결정하는 것, 머리의 각가속도를 결정하는 것, 및 이들의 임의의 조합을 포함한다.
일부 구현에서, 704는 추정된 움직임 성분에 기반하여 사용자가 머리를 흔드는지, 주위를 둘러보고 있는지, 앞뒤를 보고 있는지, 또는 이들의 임의의 조합을 결정하는 것을 제공한다.
일부 구현에서, 704는 카메라에 의해 캡처된 이미지 중 적어도 2개에 포함된 객체를 식별함으로써 사용자 머리의 움직임 성분을 추정하도록 제공한다. 704는 일정 기간에 걸쳐 적어도 2개의 이미지 사이에서 객체의 움직임을 계산하는 것을 추가로 제공한다. 일부 구현에서, 기간은 미리 결정된다.
이어서, 방법(700)은 단계(704)의 추정된 움직임 성분에 기반하여 사용자 혼란 지수(706)를 결정하도록 제공한다. 일부 구현에서, 사용자 혼란 지수는 숫자 점수(예를 들어, 10, 100, 또는 임의의 다른 범위의 점수)이다. 일부 구현에서, 사용자 혼란 지수는 감지 유닛에 의해 제공되는 데이터와 유사한 입력 데이터에 대해 훈련되는 기계 학습 알고리즘에 기반하여 결정된다. 일부 구현에서, 사용자 혼란 지수는 (1) 사용자가 혼란을 겪거나 (2) 사용자가 혼란을 겪지 않음을 나타내는 이진 값이다. 일부 구현에서, 사용자 혼란 지수는 사용자의 상태, 예를 들어 사용자가 넘어졌는지 여부를 결정한다.
방법(700)은 사용자 혼란 지수가 임계 값(708)보다 큰지 여부를 결정하도록 제공한다. 일부 구현에서, 임계 값은 연관된 사용자의 높은 레벨의 혼란, 패닉, 불안 또는 고통을 나타내는 미리 결정된 수치 점수이다. 예를 들어, 사용자가 706에서 넘어졌다고 결정되면, 708은 사용자 혼란 지수가 임계 값보다 크다고 결정한다.
이어서, 방법(700)은 프로젝터(710)를 통해 AR 그래픽을 방출하도록 제공한다. 예를 들어, AR 그래픽은 도 1의 시스템(100), 도 2a 내지 도 2b의 디바이스(200), 도 3의 디바이스(300). 또는 이들의 임의의 조합을 통해 디스플레이된다. AR 그래픽은 도 5a 내지 도 5c와 관련하여 위에서 논의된 바와 같이 임의의 그래픽일 수 있다.
도 8은 일 실시예에 따른 지남력 회복 체계를 생성 및 표시하기 위한 방법(800)의 흐름도이다. 일부 구현에서, 방법(800)은 도 1의 시스템(100), 도 2a 내지 도 2b의 디바이스(200), 및 도 3의 디바이스(300)에서 수행된다.
방법(800)은 사용자 배향(802)에 대응하는 센서 데이터를 수신함으로써 시작된다. 일부 구현에서, 센서 데이터는 시스템(100)의 요소(예를 들어, 카메라(110), GPS(Global Positioning System) 센서(112), 스피커(114), 마이크로폰(116), 센서(118), 컨덕턴스 센서(120), 모션 센서(122), 및/또는 심박수 센서(124))로부터 온다. 일부 구현에서, 센서 데이터는 도 4의 센서(408)로부터 온다. 센서 데이터는 기술 분야에 공지된 바와 같이 사용자의 임의의 생체측정 데이터 또는 사용자의 임의의 물리적 배향 데이터(예를 들어, 위치, 사용자가 똑바로 앉아 있는지, 걷고 있는지 또는 넘어졌는지 여부)를 포함한다.
이어서, 방법(800)은 수신된 센서 데이터(804)에 기반하여 사용자 혼란 지수를 결정하도록 제공한다. 일부 구현에서, 사용자 혼란 지수는 숫자 점수(예를 들어, 10, 100, 또는 임의의 다른 범위의 점수)이다. 일부 구현에서, 사용자 혼란 지수는 감지 유닛에 의해 제공되는 데이터와 유사한 입력 데이터에 대해 훈련되는 기계 학습 알고리즘에 기반하여 결정된다. 일부 구현에서, 사용자 혼란 지수는 (1) 사용자가 혼란 및/또는 지남력 상실을 겪거나, 또는 (2) 사용자가 혼란 또는 지남력 상실을 겪지 않음을 나타내는 이진 값이다. 일부 구현에서, 방법(600)은 사용자가 무엇에 대해 혼란을 겪는지(예를 들어, 사용자가 걷는 동안 혼란을 겪는지, 사용자가 다른 사람과 대화하는 동안 혼란을 겪는지, 사용자가 전화를 받은 후 혼란을 겪는지)를 결정하는 것을 추가로 제공한다.
일부 구현에서, 804는 사용자가 미리 결정된 시간 양 내에 지남력을 상실할 가능성이 있다는 결정을 제공한다. 예를 들어, 미리 결정된 시간 양은 5초, 10초, 15초, 20초, 30초, 1분, 5분 또는 10분이다.
방법(800)은 수신된 센서 데이터(804)에 기반하여 지남력 회복 체계를 생성하도록 제공한다. 일부 구현에서, 지남력 회복 체계는 사용자의 두뇌를 자극하기 위한 두뇌 운동, 사용자가 완료해야 할 태스크, 할 일 목록, 또는 사용자가 완료해야 하는 임의의 다른 활동이다.
방법(800)은 사용자 혼란 지수가 임계 값(806)을 초과할 때를 결정하도록 제공한다. 일부 구현에서, 임계 값은 연관된 사용자의 높은 레벨의 혼란, 패닉, 불안 또는 고통을 나타내는 미리 결정된 수치 점수이다. 본 개시내용의 일부 구현에서, 806 및 808은 임의의 순서로 수행될 수 있다.
이어서, 방법(800)은 디스플레이(810)에서 지남력 회복 체계를 디스플레이하도록 제공한다. 예를 들어, 지남력 회복 체계는 도 1의 시스템(100), 도 2a 내지 도 2b의 디바이스(200). 도 3의 디바이스(300). 또는 이들의 임의의 조합을 통해 디스플레이된다. AR 그래픽은 도 5a 내지 도 5c와 관련하여 위에서 논의된 바와 같이 임의의 그래픽일 수 있다.
일부 구현에서, 지남력 회복 체계는 사용자에 의해 수행된 활동을 나타낸다. 예를 들어, 활동은 사용자(810)에게 지남력 회복 체계를 디스플레이한 후 24시간 이내에 사용자에 의해 수행되었다. 일부 구현에서, 활동은 신문 읽기, 음식 먹기, 집안일 수행, 대화하기, 걷기, 웹사이트 탐색, 이메일 작성, 편지 쓰기, 애완동물 먹이기, 또는 이들의 임의의 조합을 포함한다.
일부 구현에서, 방법(600)의 610과 관련하여 위에서 추가로 논의된 바와 같이, 프로젝터는 사용자에게 보이는 AR 그래픽을 방출하고 스피커는 지남력 회복 오디오 클립을 재생한다.
일부 구현에서, 지남력 회복 체계는 대화형 AR 게임이다. 예를 들어, 방법(800)을 실행하는 제어 시스템은 AR 게임에 응답하는 사용자로부터의 입력을 검출하도록 제공한다. 제어 시스템은 사용자가 볼 수 있는 대화형 증강 현실 게임의 하나 이상의 양태를 수정하도록 추가로 구성된다.
일부 구현예에서, 방법(800)은 사용자의 두뇌를 운동시키고 사용자의 참여를 유지하기 위한 지남력 회복 체계를 제공함으로써 사용자에 대한 알츠하이머의 진행을 늦춘다. 일부 구현에서, 방법(800)은 사용자에게 태스크를 제공하고 사용자가 태스크를 완료했는지 여부를 확인함으로써 치매 진행 및 진단을 추적한다. 일부 구현에서, 방법(800)은 사용자에게 알려진 사람의 사진을 생성하고 사용자가 사진에서 사람을 식별할 수 있는지 여부를 결정함으로써 치매 진행 및 진단을 추적한다. 다른 예에서, 방법(800)은 하나의 특정한 지남력 회복 체계를 사용자에게 반복적으로 제공하고 사용자가 태스크를 완료하는 능력이 저하하고 있는지 여부를 결정한다.
이하의 제1항 내지 제89항 중 임의의 항의 하나 이상으로부터의, 하나 이상의 요소 또는 양태 또는 단계, 또는 이들의 임의의 부분(들)이, 다른 제1항 내지 제89항 중 임의의 항의 하나 이상 또는 이들의 조합으로부터의, 하나 이상의 요소 또는 양태 또는 단계, 또는 그 임의의 부분(들)과 조합되어, 하나 이상의 부가적인 구현예 및/또는 본 개시 내용의 청구항을 형성할 수 있다.
비록 본 개시 내용이 하나 이상의 특별한 실시예 및 구현예를 참조하여 설명되었지만, 당업자는, 본 개시 내용의 사상 및 범위로부터 벗어나지 않고도 많은 변화가 이루어질 수 있다는 것을 이해할 수 있을 것이다. 각각의 이 실시예 및 구현 및 그 명백한 변형은 다음의 청구범위에 기재된 본 개시내용의 사상 및 범위 내에 있는 것으로 고려된다.

Claims (89)

  1. 사용자가 지남력 상실을 극복하도록 돕기 위한 방법으로서,
    사용자 혼란 지수(confusion index)를 결정하는 단계; 및
    결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족하는 것에 응답하여, 전자기 방사가 AR 렌즈에서 적어도 부분적으로 반사되고 사용자의 안구를 향해 지향되도록 프로젝터가 상기 전자기 방사를 방출하게 하는 단계를 포함하고, 상기 전자기 방사는 증강 현실 지남력 회복(reorientation) 그래픽으로서 상기 사용자에게 보이는, 방법.
  2. 제1항에 있어서,
    상기 AR 렌즈는 상기 사용자의 머리에 착용되도록 구성된 프레임에 결합되는, 방법.
  3. 제2항에 있어서,
    상기 사용자의 시야에 전반적으로 대응하는 하나 이상의 이미지로서 재현 가능한 이미지 데이터를 카메라를 통해 생성하는 단계를 더 포함하는, 방법.
  4. 제3항에 있어서,
    생성된 이미지 데이터에 적어도 부분적으로 기반하여 상기 사용자의 머리의 움직임 성분을 추정하는 단계를 더 포함하는, 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 카메라의 시야는 상기 교정 렌즈의 광축과 실질적으로 정렬되는, 방법.
  6. 제4항 또는 제5항에 있어서, 상기 사용자 머리의 움직임 성분을 추정하는 단계는, 상기 머리의 각속도, 상기 머리의 움직임 빈도, 상기 머리의 각가속도, 또는 이들의 임의의 조합을 추정하는 단계를 포함하는, 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 사용자의 머리의 움직임 성분은 상기 사용자가 머리를 흔드는 것, 주위를 둘러보는 것, 앞뒤를 보는 것, 또는 이들의 임의의 조합을 나타내는 것인, 방법.
  8. 제4항 내지 제7항 중 어느 한 항에 있어서,
    상기 사용자의 머리의 움직임 성분을 추정하는 단계는, 상기 하나 이상의 이미지 중 2개의 이미지에 포함된 객체를 식별하고, 미리 결정된 시간 간격에서 생성된 상기 2개의 이미지 사이에서 상기 객체의 움직임량을 계산하는 단계를 포함하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 텍스트 기반 정보를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 텍스트 기반 정보는 상기 사용자의 현재 임무를 나타내는, 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 텍스트 기반 정보는 사용자에게 특정 시간에 특정 약물을 복용하도록 리마인더를 나타내는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 증강 현실 방향을 포함하는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 현재 요일, 현재 연도, 현재 시간, 현재 계절, 또는 이들의 임의의 조합을 포함하는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 현재 이벤트 정보를 포함하는, 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자가 이전에 본 신문의 일부의 표현을 포함하는, 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자가 이전에 본 소셜 미디어 뉴스 피드 정보를 포함하는, 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자가 이전에 본 웹사이트의 일부의 표현을 포함하는, 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자의 시야 내의 사람을 이름으로 식별하는, 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자와 연관된 신원 정보를 포함하고, 상기 신원 정보는 상기 사용자의 이름, 상기 사용자의 집 주소, 상기 사용자의 배우자의 이름, 또는 이들의 임의의 조합을 포함하는, 방법.
  20. 제2항 내지 제19항 중 어느 한 항에 있어서,
    상기 프레임에 결합된 스피커를 통해, 지남력 회복 오디오 메시지로서 사용자가 들을 수 있는 사운드를 방출하는 단계를 더 포함하는, 방법.
  21. 제2항 내지 제20항 중 어느 한 항에 있어서,
    상기 프레임에 결합된 심박수 센서를 통해 심박수 데이터를 생성하는 단계를 더 포함하는, 방법.
  22. 제21항에 있어서,
    상기 사용자 혼란 지수를 결정하는 단계는 상기 생성된 심박수 데이터에 적어도 부분적으로 기반하는, 방법.
  23. 제2항 내지 제22항 중 어느 한 항에 있어서,
    상기 프레임에 결합된 피부 전도도 센서를 통해 피부 전도도 데이터를 생성하는 단계를 더 포함하는, 방법.
  24. 제23항에 있어서,
    상기 사용자 혼란 지수를 결정하는 단계는 상기 생성된 피부 전도도 데이터에 적어도 부분적으로 기반하는, 방법.
  25. 시스템으로서:
    하나 이상의 프로세서를 포함하는 제어 시스템; 및
    기계 판독 가능 명령어가 저장된 메모리를 포함하고;
    상기 제어 시스템이 메모리에 커플링되고, 제1항 내지 제24항 중 어느 한 항의 방법이, 상기 메모리 내의 기계 실행 가능 명령어가 상기 제어 시스템의 하나 이상의 프로세서 중 적어도 하나에 의해서 실행될 때, 구현되는, 시스템.
  26. 사용자가 지남력 상실을 극복하도록 돕기 위한 시스템으로서,
    상기 시스템은 제1항 내지 제24항 중 어느 한 항의 방법을 구현하도록 구성된 제어 시스템을 포함하는, 시스템.
  27. 컴퓨터에 의해서 실행될 때,
    상기 컴퓨터가 제1항 내지 제24항 중 어느 한 항의 방법을 실행하게 하는, 명령어를 포함하는 컴퓨터 프로그램 제품.
  28. 제27항에 있어서,
    상기 컴퓨터 프로그램 제품이 비일시적 컴퓨터 판독 가능 매체인, 컴퓨터 프로그램 제품.
  29. 사용자가 지남력 상실을 극복하도록 돕기 위한 시스템으로서,
    사용자의 머리에 착용되도록 구성된 프레임에 결합되도록 구성된 하우징;
    상기 하우징에 결합된 AR 렌즈;
    상기 하우징에 결합되고, 전자기 방사가 상기 AR 렌즈에서 적어도 부분적으로 반사되고 상기 사용자의 안구를 향해 지향되도록 상기 전자기 방사를 방출하도록 구성된 프로젝터로서, 상기 전자기 방사는 증강 현실 지남력 회복 그래픽으로서 상기 사용자에게 보이는, 상기 프로젝터;
    기계-판독가능 명령을 저장하는 메모리; 및
    상기 기계-판독가능 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하는 제어 시스템을 포함하고, 상기 기계-판독가능 명령은:
    사용자 혼란 지수를 결정하고;
    결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 상기 증강 현실 지남력 회복 그래픽이 상기 사용자에게 보이도록 상기 프로젝터가 상기 전자기 방사를 방출하게 하는, 시스템.
  30. 제29항에 있어서,
    상기 하우징에 결합되고 이미지 데이터를 생성하도록 구성된 카메라를 더 포함하는, 시스템.
  31. 제30항에 있어서,
    상기 제어 시스템은 생성된 이미지 데이터에 적어도 부분적으로 기반하여 상기 사용자의 머리의 움직임 성분을 추정하도록 추가로 구성되고, 상기 사용자 혼란 지수의 결정은 추정된 움직임 성분에 적어도 부분적으로 기반하는, 시스템.
  32. 제29항 내지 제31항 중 어느 한 항에 있어서,
    상기 하우징에 결합되고 모션 데이터를 생성하도록 구성된 모션 센서를 더 포함하고, 상기 모션 데이터는 상기 사용자의 머리의 움직임을 나타내는, 시스템.
  33. 제32항에 있어서,
    상기 사용자 혼란 지수의 결정은 상기 생성된 모션 데이터에 적어도 부분적으로 기반하는, 시스템.
  34. 제32항에 있어서,
    상기 사용자 혼란 지수의 결정은 상기 생성된 모션 데이터에 적어도 부분적으로 기반하여 상기 사용자의 머리의 움직임 성분을 추정하는 것을 포함하는, 시스템.
  35. 제34항에 있어서,
    상기 사용자 머리의 움직임 성분의 추정은 상기 머리의 각속도, 상기 머리의 움직임 빈도, 상기 머리의 각가속도, 또는 이들의 임의의 조합의 추정을 포함하는, 시스템.
  36. 제34항에 있어서,
    상기 사용자의 머리의 움직임 성분은 상기 사용자가 머리를 흔드는 것, 주위를 둘러보는 것, 앞뒤를 보는 것, 또는 이들의 임의의 조합을 나타내는 것인, 시스템.
  37. 제32항 내지 제36항 중 어느 한 항에 있어서,
    상기 사용자 혼란 지수의 결정은 상기 생성된 모션 데이터에 적어도 부분적으로 기반하여 걷는 움직임을 추정하는 것을 포함하는, 시스템.
  38. 제32항 내지 제37항 중 어느 한 항에 있어서,
    상기 모션 센서는 자이로스코프 또는 가속도계인, 시스템.
  39. 제29항 내지 제38항 중 어느 한 항에 있어서,
    상기 하우징은 도구를 사용하지 않고 프레임으로부터 제거가능한, 시스템.
  40. 제29항 내지 제38항 중 어느 한 항에 있어서,
    상기 하우징은 상기 프레임에 영구적으로 결합되는, 시스템.
  41. 제29항 내지 제40항 중 어느 한 항에 있어서,
    상기 제어 시스템은 상기 프레임을 따른 상기 하우징의 위치에 기반하여 상기 프로젝터를 교정하도록 추가로 구성되는, 시스템.
  42. 제29항 내지 제41항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 (i) 상기 사용자의 현재 임무를 나타내는 텍스트 기반 정보, (ii) 상기 사용자가 특정 시간에 특정 약물을 복용하도록 리마인더를 나타내는 텍스트 기반 정보, (iii) 증강 현실 방향, (iv) 현재 요일, 현재 연도, 현재 시간, 현재 계절 또는 이들의 조합, (v) 현재 이벤트 정보, (vi) 상기 사용자가 이전에 본 신문의 일부의 표현, (vii) 상기 사용자가 이전에 본 소셜 미디어 뉴스 피드 정보, (viii) 상기 사용자가 이전에 본 웹사이트의 일부 표현, (ix) 상기 사용자의 시야 내의 사람을 이름으로 식별하는 정보, (x) 상기 사용자와 연관된 신원 정보로서, 상기 신원 정보는 상기 사용자의 이름, 상기 사용자의 집 주소, 상기 사용자의 배우자 이름 또는 이들의 조합을 포함하는, 상기 신원 정보, (xi) 또는 (i) 내지 (x)의 임의의 조합을 포함하는, 시스템.
  43. 제29항에 있어서,
    상기 하우징에 결합되고 이미지 데이터를 생성하도록 구성된 카메라; 및
    상기 하우징에 결합되고 모션 데이터를 생성하도록 구성된 모션 센서를 더 포함하고,
    상기 제어 시스템은 생성된 이미지 데이터에 적어도 부분적으로 기반하고 생성된 모션 데이터에 적어도 부분적으로 기반하여 상기 사용자의 머리의 움직임 성분을 추정하도록 추가로 구성되는, 시스템.
  44. 제43항에 있어서,
    상기 사용자 혼란 지수의 결정은 상기 추정된 움직임 성분에 적어도 부분적으로 기반하는, 시스템.
  45. 제29항 내지 제44항 중 어느 한 항에 있어서,
    상기 하우징에 결합되고 심박수 데이터를 생성하도록 구성된 심박수 센서를 더 포함하는, 시스템.
  46. 제45항에 있어서,
    상기 사용자 혼란 지수의 결정은 생성된 심박수 데이터에 적어도 부분적으로 기반하는, 시스템.
  47. 제45항 또는 제46항에 있어서,
    상기 심박수 데이터는 상기 사용자의 심박수, 들숨과 날숨 사이의 상기 사용자의 심박수의 변동성, 또는 둘 모두를 나타내는, 시스템.
  48. 제29항 내지 제47항 중 어느 한 항에 있어서,
    상기 하우징에 결합되고 피부 전도도 데이터를 생성하도록 구성된 피부 전도도 센서를 더 포함하는, 시스템.
  49. 제48항에 있어서,
    상기 사용자 혼란 지수의 결정은 생성된 피부 전도도 데이터에 적어도 부분적으로 기반하는, 시스템.
  50. 제29항에 있어서,
    상기 하우징에 결합되고 이미지 데이터를 생성하도록 구성된 카메라;
    상기 하우징에 결합되고 모션 데이터를 생성하도록 구성된 모션 센서;
    상기 하우징에 결합되고 심박수 데이터를 생성하도록 구성된 심박수 센서; 및
    상기 하우징에 결합되고 피부 전도도 데이터를 생성하도록 구성된 피부 전도도 센서를 더 포함하고,
    상기 사용자 혼란 지수의 결정은 (i) 상기 생성된 이미지 데이터, (ii) 상기 생성된 모션 데이터, (iii) 상기 생성된 심박수 데이터, (iv) 상기 생성된 피부 전도도 데이터, 또는 (v) (i) 내지 (iv)의 임의의 조합에 적어도 부분적으로 기반하는, 시스템.
  51. 사용자가 지남력 상실을 극복하도록 돕기 위한 시스템으로서,
    프레임에 결합된 하우징으로서, 상기 프레임은 내부에 교정 렌즈를 지지하고, 상기 프레임은, 상기 프레임이 상기 사용자의 머리에 착용될 때, 상기 프레임이 교정렌즈를 상기 사용자의 안구에 인접하게 배치하도록 상기 사용자의 머리에 착용되도록 구성되는, 상기 하우징;
    상기 하우징에 결합되고 상기 사용자의 시야에 전반적으로 대응하는 하나 이상의 이미지로서 재현 가능한 이미지 데이터를 생성하도록 구성된 카메라;
    상기 하우징이 상기 프레임에 결합될 때 AR 렌즈가 상기 교정 렌즈의 외측면에 인접하여 배치되도록 상기 하우징에 결합되는 상기 AR렌즈;
    상기 하우징에 결합되고 전자기 방사가 상기 AR 렌즈에서 적어도 부분적으로 반사되고 상기 교정 렌즈를 통해 상기 사용자의 안구를 향해 지향되도록 상기 전자기 방사를 방출하도록 구성된 프로젝터로서, 상기 전자기 방사는 증강 현실 지남력 회복 그래픽으로서 상기 사용자에게 보이는, 상기 프로젝터;
    기계-판독가능 명령을 저장하는 메모리; 및
    상기 기계-판독가능 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하는 제어 시스템을 포함하고, 상기 기계-판독가능 명령은:
    상기 기계-판독가능 명령은 생성된 이미지 데이터에 적어도 부분적으로 기반하여 상기 사용자의 머리의 움직임 성분을 추정하고;
    상기 추정된 움직임 성분에 적어도 부분적으로 기반하여 사용자 혼란 지수를 결정하고;
    결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 상기 증강 현실 지남력 회복 그래픽이 상기 사용자에게 보이도록 상기 프로젝터가 상기 전자기 방사를 방출하게 하는, 시스템.
  52. 제51항에 있어서,
    상기 하우징은 도구를 사용하지 않고 상기 프레임으로부터 제거가능한, 시스템.
  53. 제51항에 있어서,
    상기 하우징은 상기 프레임에 영구적으로 결합되는, 시스템.
  54. 제51항 내지 제53항 중 어느 한 항에 있어서,
    상기 카메라의 시야는 상기 교정 렌즈의 광축과 실질적으로 정렬되는, 시스템.
  55. 제51항 내지 제54항 중 어느 한 항에 있어서,
    상기 사용자 머리의 움직임 성분의 추정은 상기 머리의 각속도, 상기 머리의 움직임 빈도, 상기 머리의 각가속도, 또는 이들의 임의의 조합의 추정을 포함하는, 시스템.
  56. 제51항 내지 제55항 중 어느 한 항에 있어서,
    상기 사용자의 머리의 움직임 성분은 상기 사용자가 머리를 흔드는 것, 주위를 둘러보는 것, 앞뒤를 보는 것, 또는 이들의 임의의 조합을 나타내는 것인, 시스템.
  57. 제51항 내지 제56항 중 어느 한 항에 있어서,
    상기 사용자의 머리의 움직임 성분을 추정하는 단계는, 상기 하나 이상의 이미지 중 2개의 이미지에 포함된 객체를 식별하고, 미리 결정된 시간 간격에서 생성된 상기 2개의 이미지 사이에서 상기 객체의 움직임량을 계산하는 단계를 포함하는, 시스템.
  58. 제51항 내지 제57항 중 어느 한 항에 있어서,
    상기 하우징에 결합된 깊이 센서를 더 포함하고, 상기 깊이 센서는 상기 사용자의 시야에서, 상기 하우징으로부터 객체의 거리를 측정하도록 구성되는, 시스템.
  59. 제51항 내지 제58항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 텍스트 기반 정보를 포함하는, 시스템.
  60. 제59항에 있어서,
    상기 텍스트 기반 정보는 상기 사용자의 현재 임무를 나타내는, 시스템.
  61. 제59항에 있어서,
    상기 텍스트 기반 정보는 사용자에게 특정 시간에 특정 약물을 복용하도록 리마인더를 나타내는, 시스템.
  62. 제51항 내지 제61항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 증강 현실 방향을 포함하는, 시스템.
  63. 제51항 내지 제62항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 현재 요일, 현재 연도, 현재 시간, 현재 계절, 또는 이들의 임의의 조합을 포함하는, 시스템.
  64. 제51항 내지 제63항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 현재 이벤트 정보를 포함하는, 시스템.
  65. 제51항 내지 제64항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자가 이전에 본 신문의 일부의 표현을 포함하는, 시스템.
  66. 제51항 내지 제65항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자가 이전에 본 소셜 미디어 뉴스 피드 정보를 포함하는, 시스템.
  67. 제51항 내지 제66항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자가 이전에 본 웹사이트의 일부의 표현을 포함하는, 시스템.
  68. 제51항 내지 제67항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자의 시야 내의 사람을 이름으로 식별하는, 시스템.
  69. 제51항 내지 제68항 중 어느 한 항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자와 연관된 신원 정보를 포함하고, 상기 신원 정보는 상기 사용자의 이름, 상기 사용자의 집 주소, 상기 사용자의 배우자의 이름, 또는 이들의 임의의 조합을 포함하는, 시스템.
  70. 제51항 내지 제69항 중 어느 한 항에 있어서,
    상기 하우징에 결합된 스피커를 더 포함하고, 상기 스피커는 지남력 회복 오디오 메시지로서 상기 사용자가 들을 수 있는 사운드를 방출하도록 구성되는, 시스템.
  71. 제70항에 있어서,
    상기 제어 시스템은 상기 결정된 사용자 혼란 지수가 상기 미리 결정된 임계치를 충족할 때 상기 지남력 회복 오디오 메시지가 사용자에게 들리도록 상기 스피커가 상기 사운드를 방출하게 하는 상기 기계-판독가능 명령을 실행하도록 추가로 구성되는, 시스템.
  72. 제70항 또는 제71항에 있어서,
    상기 지남력 회복 오디오 메시지는 상기 증강 현실 지남력 회복 그래픽에 대응하는, 시스템.
  73. 제70항 내지 제72항 중 어느 한 항에 있어서,
    상기 지남력 회복 오디오 메시지는 상기 증강 현실 지남력 회복 그래픽에 포함된 텍스트 기반 정보의 판독을 포함하는, 시스템.
  74. 제51항 내지 제73항 중 어느 한 항에 있어서,
    상기 제어 시스템은 상기 프레임을 따른 상기 하우징의 위치에 기반하여 상기 프로젝터를 교정하도록 추가로 구성되는, 시스템.
  75. 제51항 내지 제74항 중 어느 한 항에 있어서,
    상기 AR 렌즈는 프리즘인, 시스템.
  76. 제51항 내지 제74항 중 어느 한 항에 있어서,
    상기 교정 렌즈는 0의 배율을 갖는 평면 렌즈인, 시스템.
  77. 사용자가 지남력 상실을 극복하도록 돕기 위한 시스템으로서,
    사용자의 머리에 착용되도록 구성된 프레임에 결합되도록 구성된 하우징;
    상기 하우징에 결합되고 상기 사용자의 시야에 전반적으로 대응하는 하나 이상의 이미지로서 재현 가능한 이미지 데이터를 생성하도록 구성된 카메라;
    상기 하우징에 결합되고 하나 이상의 오디오 클립(clip)으로 재현가능한 사운드 데이터를 생성하도록 구성되는 마이크로폰;
    상기 하우징에 결합된 AR 렌즈;
    상기 하우징에 결합되고, 전자기 방사가 상기 AR 렌즈에서 적어도 부분적으로 반사되고 상기 사용자의 안구를 향해 지향되도록 상기 전자기 방사를 방출하도록 구성된 프로젝터로서, 상기 전자기 방사는 증강 현실 지남력 회복 그래픽으로서 상기 사용자에게 보이는, 상기 프로젝터;
    상기 하우징에 결합되고 상기 사용자가 들을 수 있는 사운드를 지남력 회복 오디오 클립으로 방출하도록 구성되는 스피커;
    기계-판독가능 명령을 저장하는 메모리; 및
    상기 기계-판독가능 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하는 제어 시스템을 포함하고, 상기 기계-판독가능 명령은:
    상기 기계-판독가능 명령은 상기 증강 현실 지남력 회복 그래픽 및 상기 지남력 회복 오디오 클립을 포함하는 지남력 회복 체계(reorientation scheme)를 생성하고;
    사용자 혼란 지수를 결정하고;
    상기 결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 상기 사용자에게 상기 지남력 회복 체계를 제시하는, 시스템.
  78. 제77항에 있어서,
    상기 증강 현실 지남력 회복 그래픽은 상기 사용자의 시야에 전반적으로 대응하는 하나 이상의 이미지에 기반하는, 시스템.
  79. 제77항 또는 제78항에 있어서,
    상기 지남력 회복 오디오 클립은 하나 이상의 오디오 클립에 기반하는, 시스템.
  80. 제77항 내지 제79항 중 어느 한 항에 있어서,
    상기 지남력 회복 체계는 상기 사용자에 의해 수행된 활동을 나타내는, 시스템.
  81. 제80항에 있어서,
    상기 활동은 상기 사용자에게 제시되는 상기 지남력 회복 체계보다 24시간 미만 전에 상기 사용자에 의해 수행된, 시스템.
  82. 제80항 또는 제81항에 있어서,
    상기 활동은 신문 읽기, 음식 먹기, 집안일 수행, 대화하기, 걷기, 웹사이트 탐색, 이메일 작성, 편지 쓰기, 애완동물 먹이기, 또는 이들의 임의의 조합을 포함하는, 시스템.
  83. 제77항 내지 제82항 중 어느 한 항에 있어서,
    상기 사용자에 대한 상기 지남력 회복 계획의 제시는 (i) 상기 증강 현실 지남력 회복 그래픽이 상기 사용자에게 보이도록 상기 프로젝터가 상기 전자기 방사를 방출하게 하는 것 및 (ii) 상기 스피커가 상기 지남력 회복 오디오 클립을 재생하게 하는 것을 포함하는, 시스템.
  84. 제77항 내지 제83항 중 어느 한 항에 있어서,
    상기 카메라는 비디오 카메라이고, 상기 이미지 데이터는 하나 이상의 비디오 클립으로 재현가능한, 시스템.
  85. 사용자가 지남력 상실을 극복하도록 돕기 위한 시스템으로서,
    사용자의 머리에 착용되도록 구성된 프레임에 결합되도록 구성된 하우징;
    상기 하우징에 결합되고 이미지 데이터를 생성하도록 구성된 카메라;
    상기 하우징에 결합된 AR 렌즈;
    상기 하우징에 결합되고 상기 전자기 방사가 상기 AR 렌즈에서 적어도 부분적으로 반사되어 상기 사용자의 안구를 향하여 지향되도록 상기 전자기 방사를 방출하도록 구성된 프로젝터;
    기계-판독가능 명령을 저장하는 메모리; 및
    상기 기계-판독가능 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하는 제어 시스템을 포함하고, 상기 기계-판독가능 명령은:
    사용자 혼란 지수를 결정하고;
    결정된 사용자 혼란 지수가 미리 결정된 임계치를 충족할 때 대화형 증강 현실 게임이 상기 사용자에게 보이도록 상기 프로젝터가 상기 전자기 방사를 방출하게 하는, 시스템.
  86. 제85항에 있어서,
    상기 제어 시스템은 (i) 상기 대화형 증강 현실 게임과 연관된 상기 사용자로부터의 입력을 검출하고, (ii) 상기 입력의 검출에 응답하여, 상기 사용자에게 보이는 상기 대화형 증강 현실 게임의 하나 이상의 양태를 수정하도록 상기 기계-판독가능 명령을 실행하게 추가로 구성되는, 시스템.
  87. 제85항 또는 제86항에 있어서,
    상기 사용자 혼란 지수가 상기 미리 결정된 임계치를 충족한다는 결정은 상기 사용자가 현재 지남력을 상실하고 있음을 나타내는, 시스템.
  88. 제85항 또는 제86항에 있어서,
    상기 사용자 혼란 지수가 상기 미리 결정된 임계치를 충족한다는 결정은 상기 사용자가 미리 결정된 시간량 내에 지남력을 상실할 가능성이 있음을 나타내는, 시스템.
  89. 제88항에 있어서,
    상기 미리 결정된 시간량은 약 5분인, 시스템.
KR1020217043207A 2019-05-31 2020-05-28 증강현실을 이용한 인지능력 저하 최소화 시스템 및 방법 KR20220068198A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962855457P 2019-05-31 2019-05-31
US62/855,457 2019-05-31
PCT/IB2020/055081 WO2020240470A1 (en) 2019-05-31 2020-05-28 Systems and methods for minimizing cognitive decline using augmented reality

Publications (1)

Publication Number Publication Date
KR20220068198A true KR20220068198A (ko) 2022-05-25

Family

ID=73553609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217043207A KR20220068198A (ko) 2019-05-31 2020-05-28 증강현실을 이용한 인지능력 저하 최소화 시스템 및 방법

Country Status (7)

Country Link
US (1) US20220226600A1 (ko)
EP (1) EP3975845A4 (ko)
JP (1) JP2022535032A (ko)
KR (1) KR20220068198A (ko)
CN (1) CN114173657A (ko)
SG (1) SG11202113275SA (ko)
WO (1) WO2020240470A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153078B (zh) * 2021-11-26 2024-01-30 美特科技(苏州)有限公司 智能眼镜及其摄像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US8831278B2 (en) * 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
CA2991644C (en) * 2015-07-06 2022-03-01 Frank Jones Methods and devices for demountable head mounted displays
JP2019513516A (ja) * 2016-04-08 2019-05-30 ヴィッツァリオ，インコーポレイテッド 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
CN108592937A (zh) * 2018-05-09 2018-09-28 何辉 一种用于户外探险的夜行路况标识***

Also Published As

Publication number Publication date
US20220226600A1 (en) 2022-07-21
CN114173657A (zh) 2022-03-11
WO2020240470A1 (en) 2020-12-03
JP2022535032A (ja) 2022-08-04
EP3975845A1 (en) 2022-04-06
SG11202113275SA (en) 2021-12-30
EP3975845A4 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
US20200311609A1 (en) Adaptive model-based system to automatically quantify fall risk
US10694981B2 (en) Wearable physiology monitor computer apparatus, systems, and related methods
US20200337631A1 (en) Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US20190384392A1 (en) Wearable computing apparatus and method
US10524696B2 (en) Virtual coaching based on respiration signals
WO2016164376A1 (en) Infant caregiver system, and infant data aggregation system, and aggregating observations related to infant data, and aggregating inferences related to infant data
WO2017023540A1 (en) Health maintenance advisory technology
US20060056655A1 (en) Patient monitoring apparatus
WO2016164373A1 (en) Wearable infant monitoring device and system for determining the orientation and motions of an infant
CN104995638A (zh) 在ems环境中用于三维交互监视的***和方法
WO2016172557A1 (en) Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
JP2022548473A (ja) 患者監視のためのシステム及び方法
WO2016195805A1 (en) Predicting infant sleep patterns and deriving infant models based on observations associated with infant
WO2016164374A1 (en) Intelligent infant monitoring system and infant monitoring hub and infant learning receptivity detection system
Jiménez-Pinto et al. Optical flow and driver’s kinematics analysis for state of alert sensing
US20220226600A1 (en) Systems and methods for minimizing cognitive decline using augmented reality
Burns et al. Design and evaluation of a smartphone based wearable life-logging and social interaction system
WO2023037348A1 (en) System and method for monitoring human-device interactions
WO2021172160A1 (ja) コンテンツ表示装置、コンテンツ表示方法及びプログラム
WO2023187865A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
Madhusanka et al. Artificial Intelligence-Based System for Gaze-Based Communication
CN117058344A (zh) 一种显示方法、装置、ar显示设备、及存储介质
CN117715578A (zh) 用于监测组织振动的生物传感器***