CN113164040A - 补偿附着在用户身体上的传感器的移动 - Google Patents

补偿附着在用户身体上的传感器的移动 Download PDF

Info

Publication number
CN113164040A
CN113164040A CN201980081485.2A CN201980081485A CN113164040A CN 113164040 A CN113164040 A CN 113164040A CN 201980081485 A CN201980081485 A CN 201980081485A CN 113164040 A CN113164040 A CN 113164040A
Authority
CN
China
Prior art keywords
motion
user
sensor
eyewear
compensating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081485.2A
Other languages
English (en)
Inventor
洪寅准
N.T.L.黎
S.拉文德兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113164040A publication Critical patent/CN113164040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7228—Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6844—Monitoring or controlling distance between sensor and tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6828—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种补偿用户穿戴的设备的移动的方法。该方法包括使用第一传感器测量穿戴该设备的用户的运动；使用第二传感器测量设备的运动；确定设备的运动相对于用户的运动的差；以及补偿设备的运动相对于用户的运动的差。还公开了一种用于监测用户穿戴的设备的电子设备。

Description

补偿附着在用户身体上的传感器的移动
技术领域
本发明的实施例总体上涉及捕获数据的可穿戴设备，并且具体地，涉及一种补偿附着在用户身体上的传感器的移动的方法。
背景技术
传感器通常用在电子设备中以检测信息。例如，眼睛跟踪(ET)技术可以用于提供对用户在2D显示屏上的注视点的估计、或者用于识别现实世界环境中的对象。眼睛跟踪的使用特别适用于眼具(eyewear)，诸如可以用于增强现实(AR)和虚拟现实(VR)的眼镜或头盔。一般地，ET使用注视映射(gaze-mapping)功能，该功能将眼睛相机坐标中的瞳孔中心点映射到目标***坐标中的注视点。
然而，由于眼具可能会在用户的鼻子上滑动，因此难以获得高准确度的ET。由于映射功能隐含地包含两个坐标系之间的几何关系，如果眼具在用户的鼻子上滑动，先前具有旧的几何信息的映射功能将映射到目标坐标系中的错误注视点。眼具的滑动可能导致用户的校准功能被破坏，因此需要用户进行另一个校准过程。因为校准功能对眼具的移动很敏感，所以即使是很小量的滑动也会在注视估计中生成很大的误差。这种使用传统设备获得新的映射功能的校准过程可能花费不可接受的时间量，诸如大约30秒。
发明内容
技术问题
为了解决与眼具的滑动相关的问题，传统设备使用基于视觉的方法，该方法通过跟踪眼睛的特征点(诸如眼角)来估计眼具的移动。然而，基于视觉的滑动补偿不稳健，并且可能由于遮挡、模糊等而失败。此外，如果没有复杂的三角测量或同时定位和绘图(simultaneous location and mapping，SLAM)技术，这种基于视觉的方法不能估计完整的6自由度移动信息，这可能需要大量的计算资源。任何关于传感器(诸如眼具)只能在特定方向上移动以减少计算资源量的假设最终都会降低滑动补偿的准确度。
因此，需要一种用于补偿穿戴在用户身体上的传感器的移动的方法。
技术方案
描述了一种补偿用户穿戴的设备的移动的方法。该方法包括使用第一传感器测量穿戴该设备的用户的运动；使用第二传感器测量设备的运动；确定设备的运动相对于用户的运动的差；以及补偿设备的运动相对于用户的运动的差。
还描述了一种用于监测用户穿戴的设备的装置。该装置包括第一传感器、第二传感器和耦合到第一传感器和第二传感器的处理器，其中，该处理器被配置为使用第一传感器测量穿戴该设备的用户的运动；使用第二传感器测量设备的运动；确定设备的运动相对于用户的运动的差；并且补偿设备的运动相对于用户的运动的差。
一种其中存储有表示可由处理器执行的指令的数据的非暂时性计算机可读存储介质执行一种方法，该方法包括使用设备的第一传感器测量设备的运动；使用第二传感器测量设备的运动；确定设备的运动相对于用户的运动的差；以及补偿设备的运动相对于用户的运动的差。
附图说明
图1是可穿戴的电子设备的示例性框图；
图2是示出测量传感器的滑动的过程的示例图；
图3是具有各种可穿戴传感器的用户的示例图；
图4是示出被用户穿戴时眼具的可能滑落的示例性框图；
图5示出了用户穿戴的、具有头带的眼具的另一个示例；
图6是示出相对于相机帧速率的IMU速率的图；
图7是示出IMU平移(translation)估计的生成的框图；
图8是示出IMU方位(orientation)估计的生成的框图；
图9是示出眼角点的眼睛的图像；
图10是示出直接滑动补偿方法的流程图；
图11是示出点变换滑动补偿方法的流程图；
图12是示出椭圆变换滑动补偿方法的流程图；以及
图13是示出补偿附着到用户身体的传感器的移动的方法的流程图。
具体实施方式
下面阐述的电路和方法能够检测传感器(诸如穿戴在身体上的传感器)的滑动，以补偿传感器的滑动。根据一些实现方式，可以检测在AR和VR应用中使用的眼具的滑动。为了克服传统方法对用户穿戴的传感器的滑动或其他移动进行补偿的准确度和速度限制，描述了一种基于传感器的补偿方法。
根据一种实现方式，诸如惯性测量单元(IMU)的传感器具有在对IMU的原始数据进行一些后处理之后提供完整的6自由度信息的准确度。使用IMU传感器来估计6自由度信息也不需要复杂的视觉算法，诸如三角测量或SLAM。此外，IMU是非常高速的组件，其可以比相机更快地生成数据，诸如以大于200Hz的速率。由于IMU传感器一般比相机图像传感器快，所以基于IMU的传感器滑动补偿比基于视觉的补偿方法快。
根据另一种实现方式，镜腿-镜面(temple-glass)差分IMU传感器配置包括眼具的镜腿安装型(temple-mounted)和镜面安装型(glass-mounted)IMU传感器，其中，头部移动被抵消(cancel)以能够测量表示眼具的滑动的镜面到头部(glass-head)变换。基于IMU的滑动估计没有基于视觉的缺点(例如，遮挡(occlusion)、模糊、放大(up-to-scale)等)，因为滑动在平移中很小所以提供了准确的估计，提供了低延迟估计和低功耗。
尽管说明书包括定义被认为是新颖的本发明的一种或多种实现方式的特征的权利要求，但是相信通过结合附图考虑说明书，将更好地理解电路和方法。尽管公开了各种电路和方法，但是应当理解，这些电路和方法仅是本发明布置的示例，本发明布置可以以各种形式实施。因此，本说明书中公开的具体结构和功能细节不应被解释为限制性的，而仅是作为权利要求的基础，并且作为教导本领域技术人员在实际上任何适当的详细结构中不同地使用本发明布置的代表性基础。此外，本文所使用的术语和短语不旨在进行限制，而是提供电路和方法的可理解描述。应当理解，当与项目列表一起使用时，短语“至少一个”意味着可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一个：A、B、C、A和B、A和C、B和C、或A和B和C。
首先参考图1，示出了可穿戴的电子设备的示例性框图。示例性电子设备100可以是具有一个或多个相机的任何类型的设备。移动设备100可以包括耦合到多个相机104和105的处理器102。移动设备100可以是适于发送和接收信息的任何类型的设备，诸如智能电话、平板计算机或接收或提供信息的其他电子设备，诸如可穿戴设备。处理器102可以是ARM处理器、X86处理器、MIPS处理器、图形处理单元(GPU)、通用GPU或被配置为执行存储在存储器中的指令的任何其他处理器。处理器102可以在一个或多个处理设备中实现，其中处理器可以不同。例如，电子设备可以包括例如中央处理单元(CPU)以及GPU。处理电路的操作可以依赖于软件和硬件两者，以实现下面阐述的电路和方法的各种特征。
处理器102可以耦合到用于向用户显示信息的显示器106。处理器102还可以耦合到存储器108，存储器108能够存储与数据相关的信息或与图像数据相关联的信息。众所周知，存储器108可以被实现为处理器102的部分、或者可以被实现为处理器的任何高速缓冲存储器的补充。存储器108可以包括任何类型的存储器，诸如固态驱动器(SSD)、闪存、只读存储器(ROM)或提供长期记忆的任何其他存储元件，其中存储器可以是电子驱动的任何类型的内部存储器或可由电子设备访问的外部存储器。
还提供了用户接口110，以使用户能够输入数据和接收数据。记录图像的某些方面可能需要用户的手动输入。用户接口110可以包括通常在便携式通信设备(诸如智能电话、智能手表或平板计算机)上使用的触摸屏用户接口，以及其他输入/输出(I/O)元件，诸如扬声器和麦克风。用户接口110还可以包括用于输入或输出数据的设备，这些设备可以通过电连接器或者通过无线连接(诸如蓝牙或近场通信(NFC)连接)附接到移动设备。
处理器102还可以耦合到接收输入数据或提供数据的其他元件，包括各种传感器120、惯性测量单元(IMU)112和用于活动跟踪的全球定位***(GPS)设备114。例如，第一惯性测量单元(IMU)112可以提供与设备的运动或方位相关的各种信息，而第二IMU 113可以用于与设备的运动相关的其他信息，这些信息可以用于发现传感器的滑动，这将在下面被更详细地描述。GPS 114提供与设备相关联的位置信息。
可以是移动设备的部分或耦合到移动设备的其他传感器可以包括例如光强(例如环境光或UV光)传感器、接近传感器、环境温度传感器、湿度传感器、心率检测传感器、皮肤电响应传感器、皮肤温度传感器、气压计、速度计、高度计、磁力计、霍尔传感器、陀螺仪、WiFi收发器或可以提供与检测身体的状态或状况相关的信息的任何其他传感器，或者将在下面被更详细地描述。处理器102可以通过输入/输出(I/O)端口115或耦合到天线118的收发器116接收输入数据。尽管电子设备的元件是以示例的方式示出的，但是应当理解，其他元件可以在图1的电子设备中实现、或者在被不同地布置以实现下面阐述的方法的电子设备中实现。
现在参考图2，示例图示出了测量传感器的滑动的过程。在框202，跟踪多个传感器的运动。多个传感器可以在单个电子设备(诸如，例如一副眼具)上实现。可替代地，多个传感器可以是分布式的。例如，对于确定与眼具相关联的传感器的滑动的方法的实现方式，传感器之一可以在眼具上实现，而另一个传感器可以在穿戴眼具的用户的身体部分(诸如头部)上实现。多个传感器的运动可以与其他设备(包括穿戴在身体上的任何类型的设备)一起使用，其中一个传感器的运动可以相对于另一个传感器来确定。在框204，确定两个传感器的相对运动，然后在框206，基于一个传感器相对于另一个传感器的相对运动来确定传感器的滑动。根据一种实现方式，眼具的运动可以由至少两个传感器监测，以确定运动的哪个分量与头部的运动相关联，其中运动的另一个分量将与眼具的滑动相关联。尽管眼具是作为示例使用的，但是两个传感器的相对运动可以用于确定附着在用户身体上的传感器之一的滑动。
现在参考图3，示出了具有各种可穿戴传感器的用户的示例图。如图3所示，用户可以穿戴各种传感器，其中两个传感器的相对运动可以用于检测传感器之一的滑动。除了具有如将在下面更详细描述的一个或多个传感器的眼具之外，穿戴在身体上的其他传感器可以包括例如具有传感器306(传感器306可以是脑电图(EEG)监测器)的头带304、可以包括用于检测呼吸(breathing)的一个或多个方面的传感器310(包括用于监测呼吸(respiration)过程和呼出空气的化学成分(例如，血液中的氧气和二氧化碳水平)的传感器)的面罩308、具有用于心电图(EKG)测量的传感器314的胸带321、用于确定脉搏或手和/或臂的移动的腕带316、以及用于检测腿的移动的踝带318。面罩还可以包括用于生成记录下巴和眼睛移动以及视网膜的静息电位(即眼电图)的传感器。
根据一种实现方式，例如，这些传感器可以由进行睡眠研究的技术人员安装在患者身上，并且可能在睡眠研究期间滑动(在睡眠研究中，患者进入睡眠状态，因此在传感器上表现出不受控制的力)，导致测量不正确，并提示技术人员做出响应。来自身体上的已经滑动的传感器的数据可能是不正确的数据。如上参考图2所述，检测已经滑动的传感器可以减少或消除不正确的数据读数。尽管在图3中以示例的方式示出了特定的传感器，但是应当理解，也可以使用其他传感器。
现在参考图4，示例性框图示出了当用户穿戴眼具时可能出现的滑动。根据图4的实现方式，眼具400包括两个传感器，一个传感器用于检测头部的运动，而另一个传感器用于检测(即头部上的)眼具的移动，其中所述差将表示镜面的滑动。更具体地，眼具的镜腿部分402从镜面部分404延伸，镜面部分404可以是例如HMD的显示器或智能眼镜的镜头。第一IMU 406可以被设置在镜面部分附近。IMU 406被实现为检测眼具的滑动，例如沿着位于从镜腿延伸的两条虚线之间的虚线弧所示。也就是说，眼具的任何滑动一般将基于镜面部分沿着虚线弧的移动来检测。第二IMU 410用于检测头部的运动，并且可以位于眼具上。如图4所示，IMU 410被放置在镜腿末梢412上。头部的相对运动可以由IMU 410检测，并且用于确定由IMU 406检测到的、由于眼具的滑动引起的运动(即镜面404的运动)的分量。也就是说，通过将IMU 410放置在镜腿末梢412上，IMU 410将不会受到眼具的滑动的影响，并且由IMU410检测到的运动将主要是由于头部的运动而引起的。
尽管IMU 410以示例的方式示出在眼具400上，但是应当理解，IMU 410可以与眼具分离，但是仍然会检测头部的运动。也就是说，IMU 410捕获头部运动，而IMU 406捕获头部运动和相对于头部的眼具滑动两者，并且测量之间的差可以用于确定眼具滑动。应当理解，眼具可以包括被放置在眼睛前面的任何类型的设备，该设备可以具有屏幕和镜头中的至少一个，该设备包括戴在头上的设备，诸如智能眼镜(例如谷歌眼镜设备)或在AR或VR中使用的头戴式设备(HMD)。
现在转向图5，示出了由用户穿戴并且具有头带的眼具500的另一个示例。根据图4的示例，镜面部分502耦合到具有第一柔性镜腿接合部506的第一镜腿部分504。镜面部分502还耦合到具有第二柔性镜腿接合部510的第二镜腿部分508。头带512可以例如位于头部的后部，在第一柔性镜腿接合部506和第二柔性镜腿接合部510之间延伸，以将眼具固定到用户的头部。图5的眼具500可以包括IMU，诸如与镜腿相关联以检测镜面502的滑动的IMU以及与眼具500的另一部分(诸如头带512)相关联的IMU。如上文参考图4所述的，与头带相关联的IMU可以捕获头部运动，而与镜面相关联的IMU可以捕获头部运动和相对于头部的眼具滑动两者，其中测量之间的差可以用于确定眼具滑动。
现在参考图6，该图示出了相对于相机帧速率的捕获数据的IMU速率。不同于对相机帧之间的滑动不进行补偿的实现方式(当使用依赖于由相机捕获到的图像的传统技术时)，依赖于来自传感器的数据(诸如IMU数据)的实现方式能够进行校正以补偿相机帧之间的滑动，如图6所示。因为IMU的响应速率比相机的帧速率快，所以可以更快地补偿眼具的滑动。也就是说，来自传感器的数据可以以比相机帧速率更快的速率生成，因此能够比依赖于图像数据(图像数据生成得更慢)的补偿更快地补偿眼具的滑动。换句话说，基于IMU的方法能够实现低延迟滑动补偿，即滑动补偿在滑动发生后以最小的延迟完成。根据一些实现方式，与大约60Hz或120Hz的传统相机速度相比，IMU以大约200Hz的速率提供6自由度(6-dof)和3D移动信息。对传感器数据(诸如IMU数据)的使用能够补偿眼具的滑动，而无需复杂的算法(诸如SLAM)，复杂的算法在使用相机数据时可能是必需的。
现在参考图7，框图示出了IMU平移估计的生成。如图7所示，坐标旋转块702适于接收加速度数据(at)和当前旋转Rt，加速度数据at可以由IMU提供，当前旋转Rt可以由图8中的方位估计提供。因为IMU暴露在重力下，重力减法块704减去重力分量以生成线性加速度值
Figure BDA0003107916630000071
借助基于IMU的方位，坐标旋转和重力减法将原始加速度计数据转换为线性加速度值。线性加速度值被提供给偏差和交叉耦合***块706和双重积分块708两者，其中偏差和交叉耦合***块706的输出也被提供给双重积分块708。
偏差和交叉耦合***块706可以移除线性加速度信号中不期望的偏差(bias)，并且提供与线性加速度值相关联的3自由度，以考虑不同方向上的运动。偏差和交叉耦合***块706能够1)移除每个方向/轴上的偏差，并且2)补偿跨方向的运动泄漏(motionleakage)，即，由于IMU/传感器缺陷导致的Y方向上的运动的部分(例如，眼具沿着鼻子的垂直滑动)在X方向(例如，眼具的水平轴)上被观察到。也就是说，在进行积分以获得平移之前，必须估计和移除偏差和交叉耦合，以减轻基于IMU的平移估计中的误差/漂移。通过为每个轴提供独立的处理，可以执行改进的偏差和交叉耦合跟踪，从而可以提高姿态(pose)准确度。此外，诸如矩阵求逆的计算上成本高昂的操作可以在之后被避免，从而减少了姿态等待时间。
根据一种实现方式，偏差和交叉耦合***块706和双重积分块708由以下等式共同指定。在框706，对于每个轴，3D空间中其他两个轴的交叉耦合项m1和m2被建模为布朗运动，如下所示
Figure BDA0003107916630000083
以及：等式1
Figure BDA0003107916630000084
其中
Figure BDA0003107916630000085
和
Figure BDA0003107916630000086
是相应的噪声项。这里，＝符号表示赋值运算符，因为估计过程是迭代过程。
加速度估计a可以如下计算：
Figure BDA0003107916630000087
Figure BDA0003107916630000081
以及：等式4
a＝(ai-ab)+(ai，1-ab，1)·m1+(ai，2-ab，2)·m2，：等式5
其中ab，ab，1，ab，2分别表示3D中当前轴和其他两个轴的加速度偏差。ai，ai，1，ai，2分别表示3D中当前轴和其他两个轴的标称加速度。
Figure BDA0003107916630000088
表示无重力/线性加速度。概率加权值(例如Pab和Pai)可以用于提供数据驱动的调整(tune)，以减少对偏差和中间值的估计中的噪声，从而提高姿态准确度。
速度估计v也可以如下计算：
Figure BDA0003107916630000082
vi＝vi+a·dt；以及：等式7
v＝vi-vb：等式8
其中vb表示速度偏差，vi表示标称加速度，并且v表示速度估计。概率加权值(例如Pvi)也可以用于降低来自传感器的噪声。最后，漂移减轻后的平移估计由下式给出：
τt+1＝τt+v·dt：等式9
其中τ表示平移。
重置块710可以用于周期性地重置生成下一个平移τt+1的操作。也就是说，因为累积的平移最终会漂移，所以平移需要以适当的速率被定期重置。对由两个IMU(例如IMU 406和IMU 410)生成的数据执行相同的计算，其中滑动被视为由镜面安装型IMU和镜腿安装型IMU在其被变换到镜面位置后所观察到的运动之间的差。
现在参考图8，框图示出了IMU方位估计的生成。更具体地，重力估计块802被配置为接收当前旋转估计Rt，并生成耦合到适配为接收加速度数据at的乘法器804的输出。乘法器804生成误差数据e。该误差数据被提供给比例积分误差校正块806，其生成表示陀螺仪的校正值Δwt的值。然后，陀螺仪数据wt由加法器808加到陀螺仪的校正Δwt上，以生成校正后的陀螺仪数据
Figure BDA0003107916630000091
预积分旋转块810被耦合以接收校正后的陀螺仪数据和当前旋转数据Rt，以生成Rt的导数
Figure BDA0003107916630000092
通过将导数
Figure BDA0003107916630000093
与时间步长dt相乘来生成下一个旋转估计，并且经由加法器814将下一个旋转估计添加到当前旋转Rt。IMU方位估计可以由两个IMU(例如，IMU406和IMU 410)执行，其中滑动被视为由镜面安装型IMU和镜腿安装型IMU在其被变换到镜面位置后所观察到的运动之间的差。应当注意，图7和图8的电路可以在设备的硬件元件、软件元件，或者使用硬件和软件的组合来实现，包括图1的处理器102和其他元件。
现在参考图9，示出了示出眼角点的眼睛的图像。如图9所示，眼睛瞳孔能够限定眼睛的椭圆形状，该椭圆形状一般被定义为眼睛被眼睑暴露的部分，并且如下文更详细描述的用于实现滑动补偿方法。一般地，可以执行眼睛相机滑动变换T＝(τ,R)，其中τ和R分别是平移和方位。对滑动的图像执行逆变换T-1。然后，在变换之后，使用校准后的映射功能f来执行注视映射，诸如，例如从变换后的图像中的瞳孔点到显示器上的注视点。更具体地，显示器902示出了具有可能感兴趣的项目的架子的部分，包括例如架子904、906和908。如图9所示，可以确定眼睛正在注视与项目910相对应的注视点。如果没有滑动补偿，瞳孔点中的小像素误差会导致注视点中的大像素误差。
根据一种实现方式，可以如图10的流程图所示实施直接滑动补偿方法。例如，在对输入图像应用逆变换滑动之后，可以确定瞳孔和椭圆。更具体地，在框1002，接收输入图像。在框1004，对输入图像应用逆滑动变换。然后，在框1006，变换后的图像用于瞳孔椭圆(pupil-ellipse)检测，使得能够补偿镜面的滑动。
现在参考图11，流程图示出了点变换滑动补偿方法。根据图11的实现方式，滑动补偿可以基于瞳孔点(即瞳孔的中心)。更具体地，在框1102，接收输入图像。在框1104，检测瞳孔椭圆。在框1106，提取瞳孔点，并且在框1108，对瞳孔点应用逆滑动变换，以能够补偿镜面的滑动。
现在参考图12，流程图示出了椭圆变换滑动补偿方法。在框1202，接收输入图像。根据图12的实现方式，椭圆用于识别瞳孔点。更具体地，在框1204，检测瞳孔椭圆。在框1206，对瞳孔椭圆应用逆滑动变换。在框1208，从变换后的椭圆中提取瞳孔点，使得能够补偿镜面的滑动。
现在参考图13，图13是示出补偿附着到用户身体的传感器的移动的方法的流程图。在框1302，检测穿戴具有第一传感器的设备的用户的运动。如上所述，第一传感器可以是眼具上的传感器，或者是用于检测身体状态或状况的任何其他传感器。在框1304，检测使用第二传感器检测设备的运动。例如，第二传感器可以是与眼具相关联的另一个传感器。在框1306，确定设备的运动相对于用户的运动的差。例如，如上所述，设备的运动(例如，眼具在头部上的运动)和头部的运动的差可以用于滑动眼具。在框1308，补偿设备的运动相对于用户的运动的差。例如，补偿可以用于需要眼睛跟踪的任何应用，诸如AR或VR。
根据一些实现方式，可以使用中心凹渲染(foveated rending)，其中AR和VR头盔可以通过在***视觉区域中显示低分辨率来减少渲染工作量。因为人眼的感光器密集地位于“中心凹处(fovea)”，而稀疏地位于另一侧，所以在中心凹渲染中没有感知到分辨率下降。
图10-图13的方法的各种元件可以使用如上所述的图1-图9的电路来实现、或者使用一些其他合适的电路来实现。尽管描述了该方法的特定元素，但是应当理解，该方法的附加元素或与这些元素相关的附加细节可以根据图1-图9的公开来实现。
因此，可以理解，已经描述了用于补偿附着到身体的传感器的移动的新的电路和方法。本领域技术人员将会理解，将会看到存在结合了所公开的发明的多种替换和等同物。因此，本发明不受前述实现方式的限制，而仅受所附权利要求的限制。

Claims (12)

1.一种补偿用户穿戴的设备的移动的方法，所述方法包括：
使用所述设备的第一传感器测量穿戴所述设备的用户的运动；
使用第二传感器测量所述设备的运动；
确定所述设备的运动相对于所述用户的运动的差；以及
补偿所述设备的运动相对于所述用户的运动的差。
2.根据权利要求1所述的方法，其中，所述设备包括ECG设备、EOG设备、EKG设备、氧气检测器、二氧化碳检测器、胸带、臂带或腿带中的至少一种。
3.根据权利要求1所述的方法，其中，所述设备包括眼具。
4.根据权利要求3所述的方法，其中，确定所述设备的运动相对于所述用户的运动的差包括：使用所述眼具上的第二传感器测量所述眼具的运动，以及使用所述第二传感器测量穿戴所述眼具的用户的运动。
5.根据权利要求3所述的方法，其中，补偿所述设备的运动相对于所述用户的运动的差包括：抵消所述用户的头部的运动以确定所述眼具的滑动。
6.根据权利要求1所述的方法，其中，补偿所述设备的运动相对于所述用户的运动的差包括：对输入图像应用逆滑动变换，以及使用变换后的图像进行瞳孔椭圆检测和瞳孔点提取。
7.根据权利要求1所述的方法，其中，补偿所述设备的运动相对于所述用户的运动的差包括：从瞳孔椭圆中提取瞳孔点，以及对所述瞳孔点应用逆滑动变换。
8.根据权利要求1所述的方法，其中，补偿所述设备的运动相对于所述用户的运动的差包括：对输入图像应用逆滑动变换，以及使用变换后的图像进行瞳孔椭圆提取。
9.一种用于监测用户穿戴的设备的装置，所述装置包括：
第一传感器；
第二传感器；以及
处理器，耦合到所述第一传感器和所述第二传感器，其中，所述处理器被耦合以：
使用所述第一传感器测量穿戴所述设备的用户的运动；
使用所述第二传感器测量所述设备的运动；
确定所述设备的运动相对于所述用户的运动的差；以及
补偿所述设备的运动相对于所述用户的运动的差。
10.根据权利要求9所述的装置，其中，所述处理器还被配置为根据权利要求2至8中的方法之一进行操作。
11.一种非暂时性计算机可读存储介质，其中存储有代表指令的数据，所述指令可由处理器运行以执行方法，所述方法包括：
使用设备的第一传感器测量穿戴设备的用户的运动；
使用第二传感器测量所述设备的运动；
确定所述设备的运动相对于所述用户的运动的差；以及
补偿所述设备的运动相对于所述用户的运动的差。
12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，所述指令可由所述处理器运行以进一步执行权利要求2至8中的任何一项所述的方法。
CN201980081485.2A 2018-12-10 2019-02-12 补偿附着在用户身体上的传感器的移动 Pending CN113164040A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/214,462 US10990168B2 (en) 2018-12-10 2018-12-10 Compensating for a movement of a sensor attached to a body of a user
US16/214,462 2018-12-10
PCT/KR2019/001685 WO2020122318A1 (en) 2018-12-10 2019-02-12 Compensating for a movement of a sensor attached to a body of a user

Publications (1)

Publication Number Publication Date
CN113164040A true CN113164040A (zh) 2021-07-23

Family

ID=70971382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081485.2A Pending CN113164040A (zh) 2018-12-10 2019-02-12 补偿附着在用户身体上的传感器的移动

Country Status (5)

Country Link
US (1) US10990168B2 (zh)
EP (1) EP3833245B1 (zh)
KR (1) KR20210091692A (zh)
CN (1) CN113164040A (zh)
WO (1) WO2020122318A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024030656A2 (en) * 2022-08-05 2024-02-08 Haptx, Inc. Haptic platform and ecosystem for immersive computer mediated environments
WO2024057325A1 (en) * 2022-09-15 2024-03-21 Anycan Tech Ltd System for monitoring position and posture of person with disabilities

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164744A (zh) * 2014-03-27 2016-11-23 微软技术许可有限责任公司 头戴式显示器相对运动补偿
US20170017299A1 (en) * 2013-09-03 2017-01-19 Tobii Ab Portable eye tracking device
JP2017157139A (ja) * 2016-03-04 2017-09-07 株式会社東芝 眼球運動検出装置、眼球運動検出方法、およびアイウエア
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369952B1 (en) 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US8587659B1 (en) 2007-05-07 2013-11-19 Equinox Corporation Method and apparatus for dynamic image registration
KR101576567B1 (ko) 2009-12-04 2015-12-10 한국전자통신연구원 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치
US20140160170A1 (en) * 2012-12-06 2014-06-12 Nokia Corporation Provision of an Image Element on a Display Worn by a User
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
CN111616666A (zh) 2014-03-19 2020-09-04 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、***和方法
US10660546B2 (en) * 2017-12-21 2020-05-26 Michael Saigh Human and animal physiological comparatives, communication and developers' tool kit
US20180084232A1 (en) 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display
CN108476311B (zh) 2015-11-04 2021-04-27 奇跃公司 可穿戴显示***和用于校准可穿戴显示器的方法
CN106997235B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 用于实现增强现实交互和展示的方法、设备
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
CN114795103A (zh) 2016-07-27 2022-07-29 托比股份公司 具有显示器、透镜、照明器和图像传感器的可穿戴设备
KR102349543B1 (ko) 2016-11-22 2022-01-11 삼성전자주식회사 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법
US10665206B2 (en) * 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170017299A1 (en) * 2013-09-03 2017-01-19 Tobii Ab Portable eye tracking device
CN106164744A (zh) * 2014-03-27 2016-11-23 微软技术许可有限责任公司 头戴式显示器相对运动补偿
JP2017157139A (ja) * 2016-03-04 2017-09-07 株式会社東芝 眼球運動検出装置、眼球運動検出方法、およびアイウエア
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법

Also Published As

Publication number Publication date
EP3833245A1 (en) 2021-06-16
US20200183488A1 (en) 2020-06-11
KR20210091692A (ko) 2021-07-22
EP3833245A4 (en) 2021-10-06
EP3833245C0 (en) 2024-05-01
WO2020122318A1 (en) 2020-06-18
EP3833245B1 (en) 2024-05-01
US10990168B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
CN111263925B (zh) 用于使用事件相机数据的眼动跟踪的方法和设备
US10650533B2 (en) Apparatus and method for estimating eye gaze location
CN111124104B (zh) 使用瞳孔中心位置的映射进行注视跟踪
US11662589B2 (en) Geometry modeling of eyewear devices with flexible frames
Hennessey et al. Fixation precision in high-speed noncontact eye-gaze tracking
EP3833245B1 (en) Compensating for a movement of a sensor attached to a body of a user
US10775883B2 (en) Information processing method, information processing apparatus and user equipment
CN110651467B (zh) 基于非视觉姿势数据的深度数据调整
US11006873B2 (en) Calculating a score of a degree of arousal of a user
JP6616842B2 (ja) キャリブレーション方法、携帯機器およびプログラム
US10417739B2 (en) Phase aligned foveated rendering
US11988901B2 (en) Two-eye tracking based on measurements from a pair of electronic contact lenses
US10545572B2 (en) Motion tracking apparatus and system
EP3662813B1 (en) Wearable device-compatible electrooculography data processing device, spectacle-type wearable device provided with same, and wearable device-compatible electrooculography data processing method
Alexiev et al. Enhancing accuracy and precision of eye tracker by head movement compensation and calibration
Qiu et al. Low-cost gaze and pulse analysis using realsense
US11507185B1 (en) Electrooculography-based eye tracking using normalized electrode input
KR20190107738A (ko) 이미지 처리 장치 및 방법
CN115066668A (zh) 显示控制装置、显示控制方法和记录介质
CN108241476B (zh) 虚拟实境装置以及其画面产生方法
WO2017122533A1 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
WO2022261217A1 (en) Temperature detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination