JP7504476B2 - モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム - Google Patents
モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP7504476B2 JP7504476B2 JP2021537524A JP2021537524A JP7504476B2 JP 7504476 B2 JP7504476 B2 JP 7504476B2 JP 2021537524 A JP2021537524 A JP 2021537524A JP 2021537524 A JP2021537524 A JP 2021537524A JP 7504476 B2 JP7504476 B2 JP 7504476B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- mobile device
- task
- camera
- cognitive state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006998 cognitive state Effects 0.000 title claims description 93
- 238000000034 method Methods 0.000 title claims description 6
- 238000005070 sampling Methods 0.000 claims description 105
- 230000000007 visual effect Effects 0.000 claims description 47
- 230000003190 augmentative effect Effects 0.000 claims description 25
- 238000010801 machine learning Methods 0.000 claims description 24
- 230000005236 sound signal Effects 0.000 claims description 18
- 230000001149 cognitive effect Effects 0.000 claims description 13
- 230000036541 health Effects 0.000 claims description 10
- 208000014644 Brain disease Diseases 0.000 claims description 9
- 208000029028 brain injury Diseases 0.000 claims description 9
- 230000010344 pupil dilation Effects 0.000 claims description 7
- 238000001454 recorded image Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 26
- 210000001747 pupil Anatomy 0.000 description 14
- 230000001815 facial effect Effects 0.000 description 7
- 238000012800 visualization Methods 0.000 description 7
- 238000003066 decision tree Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000028698 Cognitive impairment Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000006931 brain damage Effects 0.000 description 2
- 231100000874 brain damage Toxicity 0.000 description 2
- 230000036995 brain health Effects 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 201000011240 Frontotemporal dementia Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000000626 neurodegenerative effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 208000014670 posterior cortical atrophy Diseases 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000009529 traumatic brain injury Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Neurology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Social Psychology (AREA)
- Physiology (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Neurosurgery (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
Description
WO2018/081134は、認知プラットフォームのコンピュータ化されたタスクを用いて個人の応答から収集されたデータを使用して、認知能力の指標としてパフォーマンス測定基準を導き出し、予測モデルを適用して神経変性状態の指標を生成するための装置を開示している。装置は、スマートフォン、タブレット、スレート、電子リーダー(e-リーダー)、デジタルアシスタント、又は他の電子リーダーや、又は、ハンドヘルド、ポータブル、又はウェアラブルコンピュータ装置、又は、その他の同等のデバイスや、又は、ゲームコンソール、又はゲームのような要素をレンダリングするために使用できるその他のコンピューティングシステムや、ディスプレイが組み込まれたスマートグラス、ディスプレイが組み込まれたスマートゴーグル、又はディスプレイ内蔵のスマートヘルメットなどのヘッドマウントデバイスを含む、様々な異なるデバイスを採用することができる。いくつかの実装の例において、メインコンピュータとデスクトップディスプレイ(又はプロジェクターディスプレイ)を含むデスクトップコンピューティングシステムなどでは、システムは静止している場合があり、ユーザはキーボード、コンピュータのマウス、ジョイスティック、ハンドヘルドコンソール、リストバンド、又は有線又は無線通信を使用してメインコンピュータと通信するセンサーを備えたその他のウェアラブルデバイスを使用して、アプリプログラムに入力を提供する。
認知状態手段9の入力は、
-ユーザがタスクを解決する間に決定されたモバイル装置2の位置経路と、ユーザがタスクを解決する間に決定された少なくとも1つのユーザ特徴
-位置サンプリング・ウィンドウ内のモバイル装置2の位置経路(又は、連続した位置ポイント)、及び/又はユーザ特徴サンプリング・ウィンドウの連続したユーザ特徴ポイント
-測定サンプリング・ウィンドウ内の測定ポイント
のいずれか1つ以上である。認知状態手段9は、入力データから1つ以上の特徴を抽出することができる。例えば、歩行速度、特に歩幅時間の変動は、ユーザ特徴と組み合わせて、認知状態を検出するモバイル装置2の位置経路から抽出することができる。歩行速度、又は歩行周期とも呼ばれるが、モバイル装置2の垂直方向の低周波の移動から抽出することができる。位置経路及び/又は位置経路データから直接抽出されたこれらの歩行速度及び/又は他の特徴は、tve状態を検出するために用いることができる。しかしながら、歩行速度は、よく知られているように特に有効である。もちろん、経路手段6における歩行速度を位置路情報として直接検出し、認知状態手段9が直接歩行速度に基づいて認知状態を検出することも可能である。さらに、ユーザ特徴手段8において歩行速度を検出することも可能である。
Claims (15)
- 装置(1)のモバイル装置(2)のユーザの認知状態を判定するための装置(1)であって、
前記装置(1)は、モバイル装置(2)を備え、
前記モバイル装置(2)は、
前記モバイル装置(2)が置かれた環境の第1の視野方向(3.1)の画像を記録するために配置された第1のカメラ(3)と、
ユーザの少なくとも1つの特徴の画像であって、第2の視野方向(4.1)の画像を記録するための第2のカメラ(4)、及び/又は、音声信号を記録するためのマイクロフォン(13)と、
前記ユーザに視覚情報を示すための視覚出力手段(5.1)と、
を有し、
前記装置(1)は、
前記環境内の前記モバイル装置(2)の位置経路を位置センサで特定する経路手段(6)と、
前記視覚出力手段(5.1)を介して前記ユーザに表示される拡張現実環境であって、前記第1のカメラ(3)によって取得された前記モバイル装置(2)の前記環境に基づいた前記拡張現実環境を用いて、前記拡張現実環境内に定義された少なくとも1つの目標位置に対応する前記モバイル装置(2)の前記環境内の位置に前記モバイル装置(2)を移動させるタスクを前記ユーザに解決させるために、前記視覚出力手段(5.1)を介して前記ユーザと対話するタスク手段(7、7’)と、
前記ユーザが前記タスクを解決する間に前記第2のカメラ(4)によって記録された前記画像、及び/又は、前記ユーザが前記タスクを解決する間に前記マイクロフォン(13)において記録された前記音声信号における、前記ユーザの少なくとも1つの特徴を検出し、かつ、追跡するユーザ特徴手段(8、8’)と、
前記ユーザが前記タスクを解決する間に特定された前記モバイル装置(2)の前記位置経路と、前記ユーザの前記少なくとも1つの特徴とのユーザデータセットに基づいて、前記ユーザの前記認知状態を判定するための認知状態手段(9、9’)と、
をさらに備え、
前記認知状態手段(9、9’)は、認知状態が分かっている複数のユーザの各ユーザの状態と、前記認知状態手段(9、9’)に対して入力された前記複数のユーザの各ユーザの前記ユーザデータセットとに基づく機械学習によって取得された機械学習データに応じて、前記認知状態を判定する装置。 - 前記第2のカメラ(4)は、前記ユーザが前記タスクを解決する間に、連続した画像を撮影し、
前記ユーザ特徴手段(8、8’)は、前記連続した画像内の前記ユーザの前記少なくとも1つの特徴を検出し、前記連続した画像内で検出された前記少なくとも1つの特徴の時系列を特定し、
前記認知状態手段(9、9’)は、前記ユーザの前記少なくとも1つの特徴の時系列にさらに基づいて、前記ユーザの認知状態を判定する請求項1に記載の装置。 - 前記ユーザが前記タスクを解決する間に、前記第2のカメラ(4)によって記録された前記画像において検出され、かつ、追跡される前記ユーザの前記少なくとも1つの特徴が、前記ユーザの眼の瞳孔拡張を含む請求項1または2に記載の装置。
- サンプリング・ウィンドウは、時間の経過にそった複数のサンプリングステップを含み、前記経路手段(6)は、各サンプリングステップにおいて前記モバイル装置(2)の少なくとも1つの位置を記録し、
前記第2のカメラ(4)は、各サンプリングステップにおいて少なくとも1つの画像を記録し、
前記ユーザ特徴手段(8、8’)は、各サンプリングステップごとに、前記サンプリングステップにおいて前記第2のカメラ(4)によって記録された前記少なくとも1つの画像から前記ユーザの前記少なくとも1つの特徴を検出し、
前記認知状態手段(9、9’)は、各サンプリングステップごとに、該サンプリングステップにおいて検出された前記ユーザの前記少なくとも1つの特徴に基づくサンプリングポイントが含まれるサンプリング・ウィンドウ内の時系列と、該サンプリングステップにおいて特定された前記モバイル装置(2)の前記少なくとも1つの位置とに基づいて、前記ユーザの認知状態を判定する請求項1~3のいずれか1項に記載の装置。 - 前記視覚出力手段(5.1)は、前記モバイル装置(2)の第1の側に配置されたディスプレイを備え、
前記第2のカメラ(4)は、前記モバイル装置(2)の第1の側に配置され、及び/又は、前記第2の視野方向(4.1)が前記ディスプレイの面の法線ベクトルと同じ方向に向けて配置され、
前記第1のカメラ(3)は、前記第1の側に対向する前記モバイル装置(2)の第2の側に配置され、かつ、前記第1の視野方向(3.1)が前記ディスプレイの面の法線ベクトルと反対の方向に向けて配置される請求項1~4のいずれか1項に記載の装置。 - 前記タスク手段(7)は、前記視覚出力手段(5.1)を介して前記ユーザと対話して、前記ユーザを前記環境内で前記モバイル装置(2)と一緒に歩行させるように構成される請求項1~5のいずれか1項に記載の装置。
- 前記タスク手段(7)は、前記拡張現実環境内の前記少なくとも1つの目標位置を定義し、
前記少なくとも1つの目標位置の各々に対して、前記拡張現実環境において前記各目標位置を探すように前記ユーザを招待するステップと、
前記ユーザが、前記少なくとも1つの目標位置が前記第1のカメラ(3)によって取得され、所定の条件で前記視覚出力手段(5.1)上に表示され得る前記環境内の位置に前記モバイル装置(2)を移動させたときに、前記各目標位置が拡張現実環境内で発見されたと見做されるステップとを実行するように構成された請求項1~6のいずれか1項に記載の装置。 - 前記タスク手段(7、7’)は、前記モバイル装置(2)のユーザ入力に基づいて、前記拡張現実環境における前記少なくとも1つの目標位置を定義するように構成される、請求項7に記載の装置。
- 前記少なくとも1つの目標位置は少なくとも2つの目標位置を含み、
前記タスク手段(7、7’)は、
前記各目標位置が前記拡張現実環境において定義及び/又は表示されると、前記少なくとも2つの目標位置の各々を、前記視覚出力手段(5.1)によって前記ユーザに出力される異なる特徴に関連付けられ、前記視覚出力手段(5.1)で1つの前記目標位置に関連付けられた前記特徴を出力することによって、前記ユーザは前記拡張現実環境における前記少なくとも2つの目標位置のうちの1つを探すように招待され、
前記少なくとも2つの目標位置のうちの1つが発見されたと見做された後に、前記ユーザが前記少なくとも2つの目標位置のうちの次の1つを探すように続いて招待されるように、前記ユーザを前記少なくとも2つの目標位置を探すために連続して招待する請求項7又は8に記載の装置。 - 前記タスク手段(7、7’)は、前記タスクを解決している間、及び/又は前記少なくとも1つの目標位置の各々を探している間に、前記ユーザの注意をそらすための複数の刺激を、前記視覚出力手段(5.1)を介して与えるように構成される請求項1~9のいずれか1項に記載の装置。
- 前記タスク手段(7、7’)は、前記タスクの解決すること、及び/又は、探索のために招待された前記各目標位置を探索することを続行する前に、前記各刺激の後にサブタスクを解決するように、前記ユーザに要求するように構成される請求項10に記載の装置。
- ユーザ入力手段(10)を備え、
前記タスク手段(7、7’)は、前記ユーザ入力手段(10)を介して所定のユーザ入力を受信したときに、前記サブタスクが解決されたと見做す請求項11に記載の装置。 - 前記認知状態は、少なくとも1つの脳疾患又は脳損傷に関する健康状態である請求項1~12のいずれか1項に記載の装置。
- 請求項1~13のいずれか1項に記載の装置のモバイル装置(2)のプロセッサ上で命令が実行されると、以下のステップを実行するように構成された前記命令を含む前記モバイル装置(2)のユーザの認知状態を判定するためのコンピュータプログラムであって、
前記モバイル装置(2)の前記第1のカメラ(3)であって、前記モバイル装置(2)の環境の第1の視野方向(3.1)の画像を記録するために前記モバイル装置(2)内に配置された前記第1のカメラ(3)によって取得された前記モバイル装置(2)の環境に基づく拡張現実環境であって、前記視覚出力手段(5.1)を介して表示された前記拡張現実環境を用いて、前記ユーザにタスクを解決させるために、前記モバイル装置(2)の前記視覚出力手段(5.1)を介して前記ユーザと対話するステップと、
前記ユーザが前記モバイル装置(2)で前記タスクを解決するときに実行された前記モバイル装置(2)の位置経路を受信するステップと、
前記ユーザが前記モバイル装置(2)で前記タスクを解決するときに、前記モバイル装置(2)の前記第2のカメラ(4)で記録された画像の少なくとも1つから抽出された少なくとも1つのユーザ特徴を受信するステップと、
前記モバイル装置(2)の前記受信された位置経路と、前記受信された少なくとも1つのユーザ特徴とに基づいて前記ユーザの前記認知状態を判定するステップとを実行するためのコンピュータプログラム。 - 請求項1~13のいずれか1項に記載の装置のモバイル装置(2)のユーザの認知状態を判定するための方法であって、
前記モバイル装置(2)は、前記モバイル装置(2)の前記視覚出力手段(5.1)を介して前記ユーザと対話して、前記モバイル装置(2)の前記第1のカメラ(3)であって、前記モバイル装置(2)の環境の第1の視野方向(3.1)に画像を記録するために前記モバイル装置(2)内に配置された前記第1のカメラ(3)によって取得された前記モバイル装置(2)の環境に基づく拡張現実環境であって、前記視覚出力手段(5.1)を介して表示された該拡張現実環境を用いて前記ユーザにタスクを解決させるものであり、
前記ユーザが前記モバイル装置(2)を用いて前記タスクを解決している間に、前記モバイル装置(2)によって実行される位置経路を特定するステップと、
前記ユーザが前記モバイル装置(2)を用いて前記タスクを解決している間に、前記モバイル装置(2)の前記第2のカメラ(4)であって、前記第2の視野方向(4.1)に画像を記録するために前記モバイル装置(2)内に配置された該第2のカメラ(4)を用いて画像を記録するか、及び/又は、前記ユーザが前記モバイル装置(2)を用いて前記タスクを解決している間に、前記モバイル装置(2)のマイクロフォン(13)を用いて音声信号を記録するステップと、
前記記録された画像及び/又は音声信号に基づいて、時間の経過にそった少なくとも1つのユーザ特徴を判定するステップと、
前記モバイル装置(2)で特定された前記位置経路と、時間の経過にそった前記判定された少なくとも1つのユーザ特徴とに基づいて、前記ユーザの認知状態を判定するステップを備えた方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024039301A JP2024073551A (ja) | 2018-09-05 | 2024-03-13 | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18192686 | 2018-09-05 | ||
EP18192686.6 | 2018-09-05 | ||
EP19174607.2 | 2019-05-15 | ||
EP19174607.2A EP3621276A1 (en) | 2018-09-05 | 2019-05-15 | Apparatus, method and program for determining a cognitive state of a user of a mobile device |
PCT/IB2019/057436 WO2020049470A1 (en) | 2018-09-05 | 2019-09-04 | Apparatus, method and program for determining a cognitive state of a user of a mobile device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024039301A Division JP2024073551A (ja) | 2018-09-05 | 2024-03-13 | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022500801A JP2022500801A (ja) | 2022-01-04 |
JP7504476B2 true JP7504476B2 (ja) | 2024-06-24 |
Family
ID=63528524
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021537524A Active JP7504476B2 (ja) | 2018-09-05 | 2019-09-04 | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム |
JP2024039301A Pending JP2024073551A (ja) | 2018-09-05 | 2024-03-13 | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024039301A Pending JP2024073551A (ja) | 2018-09-05 | 2024-03-13 | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム |
Country Status (11)
Country | Link |
---|---|
US (1) | US20210196174A1 (ja) |
EP (2) | EP3621276A1 (ja) |
JP (2) | JP7504476B2 (ja) |
KR (1) | KR20210055074A (ja) |
CN (1) | CN112673608A (ja) |
AU (1) | AU2019334195A1 (ja) |
BR (1) | BR112021003953A2 (ja) |
CA (1) | CA3111974A1 (ja) |
IL (1) | IL281249A (ja) |
MX (1) | MX2021002562A (ja) |
WO (1) | WO2020049470A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210159979A1 (en) * | 2019-11-25 | 2021-05-27 | Eugene M. ODonnell | Method and apparatus for optical communication |
EP4285384A1 (en) | 2021-01-28 | 2023-12-06 | Altoida Inc. | Apparatus, method and computer program for providing information relating to a cognitive state of an individual |
CA3222403A1 (en) | 2021-06-17 | 2022-12-22 | Altoida, Inc. | Method and system for obtaining measurement of cognitive performance |
CN113810133B (zh) * | 2021-09-29 | 2023-08-18 | 上海兴容信息技术有限公司 | 一种用户活动状态的识别方法和*** |
KR102395234B1 (ko) * | 2021-09-30 | 2022-05-09 | 주식회사 인피아이 | 음주상태 예측시스템 및 예측방법 |
US20240079031A1 (en) * | 2022-09-01 | 2024-03-07 | Lei Zhang | Authoring tools for creating interactive ar experiences |
US20240077983A1 (en) * | 2022-09-01 | 2024-03-07 | Lei Zhang | Interaction recording tools for creating interactive ar stories |
US12045383B2 (en) | 2022-09-01 | 2024-07-23 | Snap Inc. | Virtual AR interfaces for controlling IoT devices using mobile device orientation sensors |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080280276A1 (en) | 2007-05-09 | 2008-11-13 | Oregon Health & Science University And Oregon Research Institute | Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment |
JP2014523041A (ja) | 2011-07-05 | 2014-09-08 | サウジ アラビアン オイル カンパニー | 拡張現実感表示によって従業員に健康情報を提供するためのシステム、コンピュータ媒体およびコンピュータにより実行される方法 |
JP2017184996A (ja) | 2016-04-05 | 2017-10-12 | 渡 倉島 | 瞳孔径拡大による脳活動量判定装置およびプログラム |
WO2017222997A1 (en) | 2016-06-20 | 2017-12-28 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
JP2018015139A (ja) | 2016-07-26 | 2018-02-01 | ヤンマー株式会社 | 認知症検査システム |
JP2018032120A (ja) | 2016-08-23 | 2018-03-01 | 株式会社Msd | 処置評価システムおよびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017210289B2 (en) * | 2016-01-19 | 2021-10-21 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
EP3531915A4 (en) * | 2016-10-24 | 2020-04-22 | Akili Interactive Labs, Inc. | CONFIGURED, COGNITIVE PLATFORM AS A BIOMARKER OR ANOTHER MARKER TYPE |
-
2019
- 2019-05-15 EP EP19174607.2A patent/EP3621276A1/en not_active Withdrawn
- 2019-09-04 CN CN201980058304.4A patent/CN112673608A/zh active Pending
- 2019-09-04 US US17/274,119 patent/US20210196174A1/en active Pending
- 2019-09-04 MX MX2021002562A patent/MX2021002562A/es unknown
- 2019-09-04 AU AU2019334195A patent/AU2019334195A1/en not_active Abandoned
- 2019-09-04 CA CA3111974A patent/CA3111974A1/en active Pending
- 2019-09-04 EP EP19766107.7A patent/EP3847795A1/en active Pending
- 2019-09-04 JP JP2021537524A patent/JP7504476B2/ja active Active
- 2019-09-04 KR KR1020217010053A patent/KR20210055074A/ko not_active Application Discontinuation
- 2019-09-04 WO PCT/IB2019/057436 patent/WO2020049470A1/en unknown
- 2019-09-04 BR BR112021003953-8A patent/BR112021003953A2/pt unknown
-
2021
- 2021-03-03 IL IL281249A patent/IL281249A/en unknown
-
2024
- 2024-03-13 JP JP2024039301A patent/JP2024073551A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080280276A1 (en) | 2007-05-09 | 2008-11-13 | Oregon Health & Science University And Oregon Research Institute | Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment |
JP2014523041A (ja) | 2011-07-05 | 2014-09-08 | サウジ アラビアン オイル カンパニー | 拡張現実感表示によって従業員に健康情報を提供するためのシステム、コンピュータ媒体およびコンピュータにより実行される方法 |
JP2017184996A (ja) | 2016-04-05 | 2017-10-12 | 渡 倉島 | 瞳孔径拡大による脳活動量判定装置およびプログラム |
WO2017222997A1 (en) | 2016-06-20 | 2017-12-28 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
JP2018015139A (ja) | 2016-07-26 | 2018-02-01 | ヤンマー株式会社 | 認知症検査システム |
JP2018032120A (ja) | 2016-08-23 | 2018-03-01 | 株式会社Msd | 処置評価システムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3621276A1 (en) | 2020-03-11 |
CN112673608A (zh) | 2021-04-16 |
EP3847795A1 (en) | 2021-07-14 |
WO2020049470A1 (en) | 2020-03-12 |
MX2021002562A (es) | 2021-09-08 |
US20210196174A1 (en) | 2021-07-01 |
JP2024073551A (ja) | 2024-05-29 |
KR20210055074A (ko) | 2021-05-14 |
AU2019334195A1 (en) | 2021-03-25 |
IL281249A (en) | 2021-04-29 |
BR112021003953A2 (pt) | 2021-05-25 |
JP2022500801A (ja) | 2022-01-04 |
CA3111974A1 (en) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7504476B2 (ja) | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム | |
US11563700B2 (en) | Directional augmented reality system | |
US9619712B2 (en) | Threat identification system | |
JP6664512B2 (ja) | アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス | |
US9495008B2 (en) | Detecting a primary user of a device | |
US20160343168A1 (en) | Virtual personification for augmented reality system | |
CN110167421A (zh) | 整体地测量视觉功能的临床参数的*** | |
US10089791B2 (en) | Predictive augmented reality assistance system | |
Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
JP2015135674A (ja) | ユーザに方向付けられた個人情報アシスタント | |
WO2020050186A1 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
US20230054973A1 (en) | Information processing apparatus, information processing method, and information processing program | |
US20200143774A1 (en) | Information processing device, information processing method, and computer program | |
Makhataeva et al. | Augmented Reality for Cognitive Impairments | |
KR101805749B1 (ko) | 사용자 인증 장치 | |
Chen | Improving the safety of construction site | |
US20240203065A1 (en) | Apparatus, method and computer program for providing information relating to a cognitive state of an individual | |
JP2007133531A (ja) | 注目状態検出装置、及び注目状態検出方法 | |
WO2023042343A1 (ja) | 手指の動きを計測処理する計測処理端末、方法およびコンピュータプログラム | |
US20230027320A1 (en) | Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking | |
KR20190076722A (ko) | 모바일 기기를 이용한 vr/ar 기반 다중지능 검사방법 및 다중지능 검사시스템 | |
US20240200962A1 (en) | Providing directional awareness indicators based on context | |
WO2023244267A1 (en) | Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device | |
WO2019043475A2 (en) | DEVICES AND METHODS FOR USE IN THE DIAGNOSIS OF MEDICAL DISEASE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210319 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220406 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230912 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240313 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7504476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |