JP6322659B2 - 情報処理プログラム及び情報処理装置 - Google Patents
情報処理プログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP6322659B2 JP6322659B2 JP2016028026A JP2016028026A JP6322659B2 JP 6322659 B2 JP6322659 B2 JP 6322659B2 JP 2016028026 A JP2016028026 A JP 2016028026A JP 2016028026 A JP2016028026 A JP 2016028026A JP 6322659 B2 JP6322659 B2 JP 6322659B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- orientation
- head
- sleep state
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0658—Position or arrangement of display
- A63B2071/0661—Position or arrangement of display arranged on the user
- A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/803—Motion sensors
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Description
まず、本発明の一実施形態に係る情報処理システムの全体構成の一例について、図1を参照しながら説明する。本実施形態に係る情報処理システムは、HMD(Head Mounted Display)10及び情報処理装置20を有する。本実施形態に係る情報処理システムでは、情報処理装置20により実行される所定のゲームの画像がHMD10に表示される。ユーザUは、情報処理装置20に接続されたHMD10を頭に装着して、HMD10に表示される画像を見ながら、コントローラ40を操作してゲームをプレイする。ユーザUは、コントローラ40を用いて、ゲームの開始や終了、項目の選択、ゲーム実行時におけるプレイヤーキャラクタPC(Player Character)の操作を行う。ただし、情報処理装置20により実行される所定の処理は、ゲーム処理に限らず、番組や映画の映像を再生する処理等であってもよい。
通信モジュール14は、ゲーム処理等の所定の処理を実行する情報処理装置20との無線通信接続を行う。情報処理装置20は、例えばインターネットやLAN(Local Area Network)等のネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザUがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置20に提供してもよい。
次に、本実施形態に係る情報処理装置20のハードウェア構成の一例について、図2を参照しながら説明する。情報処理装置20は、入力装置31と、出力装置32と、ドライブ装置33と、補助記憶装置34と、主記憶装置35と、CPU(Central Processing Unit)36と、通信制御装置37とを有する。各部は、システムバスBで相互に接続されている。
次に、本実施形態に係る情報処理装置20の機能構成の一例について、図3を参照しながら説明する。情報処理装置20は、通信部21、記憶部22、HMD位置姿勢算出部23、表示制御部24、処理実行部25、画像生成部26及び睡眠状態判定部27を有する。
実空間にあるユーザUの頭等の位置や向きの座標系は、カラーイメージセンサ12が撮像した画像から測定される。HMD10にて表示される仮想空間は、実空間の水平方向及び鉛直方向に沿って座標軸方向を定めた座標系で定義され、スケールも実空間と同様に設定される。
[ゲーム処理]
次に、第1実施形態に係るゲーム処理について図5を参照して説明する。図5は、第1実施形態に係るゲーム処理の一例を示したフローチャートである。本実施形態に係るゲーム処理は、主に処理実行部25が、ゲームプログラム221を実行することにより実現される。また、ゲーム実行中に行われる睡眠状態判定処理(図6参照)は、主に睡眠状態判定部27が、情報処理プログラム222を実行することにより実現される。
図6のゲーム処理中の睡眠状態判定処理が開始されると、HMD位置姿勢算出部23は、HMD10から受信した画像データに基づき、所定時間毎にHMD10の位置及び向きを算出する(ステップS30)。次に、睡眠状態判定部27は、算出したHMD10の位置をユーザUの基準位置に設定し、算出したHMD10の向き(角度)を、ユーザUの基準姿勢に設定する(ステップS32)。少なくともゲームの開始時にはユーザUは寝ていないことを前提に、ゲームの開始時の頭の位置及び向きが、起きているときのユーザUの基準位置及び基準姿勢として設定される。基準位置又は基準姿勢は、ゲームの途中にユーザUが睡眠状態にあるか否かの判定の基準に用いられる。
(ゲーム処理中の睡眠状態判定処理)
次に、第2実施形態に係るゲーム処理中の睡眠状態判定処理について図9を参照して説明する。第2実施形態に係るゲーム処理は、第1実施形態に係る図5のゲーム処理と同一であるため、ここでは省略する。
(ゲーム処理中の睡眠状態判定処理)
次に、第3実施形態に係るゲーム処理中の睡眠状態判定処理について図11を参照して説明する。第3実施形態に係るゲーム処理は、第1実施形態に係る図5のゲーム処理と同一であるため、ここでは省略する。
以上、ゲーム処理中に実行する各実施形態の睡眠状態判定処理について説明した。第1〜第3実施形態に係る睡眠状態判定処理は、仮想空間上の仮想カメラVCと実空間上のカラーイメージセンサ12との動きを一致させ、HMD10に仮想現実空間VRを形成する。各実施形態では、カラーイメージセンサ12で取得した画像の頭の動きをHMD10の動きとし、仮想カメラVCとHMD10の動きとを一致させることで、ユーザUが実際に仮想空間内に入ったような感覚(バーチャルリアリティ)でゲームをプレイできる。
11 赤外線照射器
12 カラーイメージセンサ
13 6軸センサ
14 通信モジュール
15 プロセッサ
20 情報処理装置
21 通信部
22 記憶部
23 HMD位置姿勢算出部
24 表示制御部
25 処理実行部
26 画像生成部
27 睡眠状態判定部
31 入力装置
32 出力装置
33 ドライブ装置
34 補助記憶装置
35 主記憶装置
36 CPU
37 通信制御装置
38 記録媒体
U ユーザ
VR 仮想空間
VC 仮想カメラ
Claims (6)
- ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる処理をコンピュータに実行させるための情報処理プログラムであって、
前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出し、
算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させ、
前記所定の処理の画像の表示を開始したときの前記ユーザの頭、顔又は首の位置及び向きを基準位置及び基準姿勢として取得し、算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが前記基準位置及び基準姿勢の少なくともいずれかから所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定し、
前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する、
情報処理プログラム。 - 算出した前記ユーザの頭、顔又は首の位置が、設定した基準位置から所定距離以上下にある状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
請求項1に記載の情報処理プログラム。 - 算出した前記ユーザの頭又は顔の向きが、設定した基準姿勢から所定角度以上下に向いている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
請求項1又は2に記載の情報処理プログラム。 - 前記ユーザが睡眠状態であると判定した場合に実行する所定の処理は、前記ユーザが実行する処理の内容を示す情報を記憶部に格納する、前記ユーザが実行する処理を終了する、前記表示装置の電源をオフする、睡眠状態であることを前記ユーザに警告する、前記ユーザが実行する処理を一時停止する、前記ユーザが実行する処理を前記ユーザの指示に基づく制御から前記ユーザの指示に基づかない自動制御に切り替える、及び前記ユーザが睡眠状態にあることを通知する、の少なくともいずれかの処理である、
請求項1〜3のいずれか一項に記載の情報処理プログラム。 - 算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態であって、かつ前記ユーザが目を閉じている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
請求項1〜4のいずれか一項に記載の情報処理プログラム。 - ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる情報処理装置であって、
前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出する位置姿勢算出部と、
算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させる表示制御部と、
前記所定の処理の画像の表示を開始したときの前記ユーザの頭、顔又は首の位置及び向きを基準位置及び基準姿勢として取得し、算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが前記基準位置及び基準姿勢の少なくともいずれかから所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する判定部と、
前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する処理実行部と、
を有する情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016028026A JP6322659B2 (ja) | 2016-02-17 | 2016-02-17 | 情報処理プログラム及び情報処理装置 |
US15/409,804 US9750452B1 (en) | 2016-02-17 | 2017-01-19 | Technique for determining sleeping state of user |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016028026A JP6322659B2 (ja) | 2016-02-17 | 2016-02-17 | 情報処理プログラム及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017144038A JP2017144038A (ja) | 2017-08-24 |
JP6322659B2 true JP6322659B2 (ja) | 2018-05-09 |
Family
ID=59559936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016028026A Active JP6322659B2 (ja) | 2016-02-17 | 2016-02-17 | 情報処理プログラム及び情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9750452B1 (ja) |
JP (1) | JP6322659B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109833029B (zh) * | 2017-11-27 | 2021-04-30 | 深圳创达云睿智能科技有限公司 | 一种睡眠分期方法、***及终端设备 |
JPWO2019225354A1 (ja) * | 2018-05-22 | 2021-07-26 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11463663B2 (en) | 2019-06-21 | 2022-10-04 | Mindgam3 Institute | Camera glasses for law enforcement accountability |
US20220291744A1 (en) * | 2019-09-03 | 2022-09-15 | Sony Group Corporation | Display processing device, display processing method, and recording medium |
JP7429416B2 (ja) * | 2019-12-05 | 2024-02-08 | 株式会社Agama-X | 情報処理装置及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11249064A (ja) | 1998-03-04 | 1999-09-17 | Omron Corp | 頭部搭載型表示装置 |
JP2003346190A (ja) * | 2002-05-29 | 2003-12-05 | Canon Inc | 画像処理装置 |
JP5212155B2 (ja) * | 2009-02-10 | 2013-06-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2016002353A (ja) * | 2014-06-18 | 2016-01-12 | ソニー株式会社 | 検出装置および方法、並びにプログラム |
KR102230076B1 (ko) * | 2014-09-01 | 2021-03-19 | 삼성전자 주식회사 | 헤드 마운트 디스플레이 장치 |
US9952652B2 (en) * | 2014-12-04 | 2018-04-24 | Htc Corporation | Virtual reality system and method for controlling operation modes of virtual reality system |
-
2016
- 2016-02-17 JP JP2016028026A patent/JP6322659B2/ja active Active
-
2017
- 2017-01-19 US US15/409,804 patent/US9750452B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017144038A (ja) | 2017-08-24 |
US9750452B1 (en) | 2017-09-05 |
US20170231554A1 (en) | 2017-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6322659B2 (ja) | 情報処理プログラム及び情報処理装置 | |
JP7171766B2 (ja) | チャレンジゲームシステム | |
EP3241088B1 (en) | Methods and systems for user interaction within virtual or augmented reality scene using head mounted display | |
US10438394B2 (en) | Information processing method, virtual space delivering system and apparatus therefor | |
JP2010233958A (ja) | プログラム、情報記憶媒体及びゲーム装置 | |
JP6096391B2 (ja) | 注意にもとづくレンダリングと忠実性 | |
JP7249975B2 (ja) | 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム | |
JP6964302B2 (ja) | アニメーション制作方法 | |
EP3600578B1 (en) | Zoom apparatus and associated methods | |
CN117122890A (zh) | 用于激活屏幕内容的选择性导航或放大的方法和*** | |
US11995233B2 (en) | Biometric feedback captured during viewing of displayed content | |
JP7016211B2 (ja) | 演出処理プログラム及び情報処理装置 | |
JP2017134601A (ja) | 情報処理装置、設定画面表示方法及び設定画面表示プログラム | |
JP2022020686A (ja) | 情報処理方法、プログラム、およびコンピュータ | |
JP6826626B2 (ja) | 視聴プログラム、視聴方法、および視聴端末 | |
WO2022137375A1 (ja) | 方法、コンピュータ可読媒体、および情報処理装置 | |
JP2021051762A (ja) | 視聴プログラム、視聴方法、および視聴端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171120 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171120 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6322659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |