JP7303595B1 - プログラム、情報処理装置、および情報処理方法 - Google Patents
プログラム、情報処理装置、および情報処理方法 Download PDFInfo
- Publication number
- JP7303595B1 JP7303595B1 JP2022568438A JP2022568438A JP7303595B1 JP 7303595 B1 JP7303595 B1 JP 7303595B1 JP 2022568438 A JP2022568438 A JP 2022568438A JP 2022568438 A JP2022568438 A JP 2022568438A JP 7303595 B1 JP7303595 B1 JP 7303595B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- exercise
- data
- exercise load
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 100
- 238000003672 processing method Methods 0.000 title description 2
- 230000006870 function Effects 0.000 claims abstract description 15
- 230000002612 cardiopulmonary effect Effects 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 26
- 206010019280 Heart failures Diseases 0.000 claims description 22
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 15
- 230000008921 facial expression Effects 0.000 claims description 13
- 208000024891 symptom Diseases 0.000 claims description 11
- 230000036284 oxygen consumption Effects 0.000 claims description 8
- 238000005265 energy consumption Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 119
- 238000012986 modification Methods 0.000 description 119
- 210000002414 leg Anatomy 0.000 description 52
- 238000009423 ventilation Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 32
- 238000012360 testing method Methods 0.000 description 32
- 230000001133 acceleration Effects 0.000 description 27
- 230000036541 health Effects 0.000 description 27
- 230000004044 response Effects 0.000 description 27
- 239000007789 gas Substances 0.000 description 26
- 238000011156 evaluation Methods 0.000 description 25
- 230000006399 behavior Effects 0.000 description 19
- 238000012549 training Methods 0.000 description 19
- 230000006996 mental state Effects 0.000 description 15
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 14
- 208000019622 heart disease Diseases 0.000 description 14
- 229910052760 oxygen Inorganic materials 0.000 description 14
- 239000001301 oxygen Substances 0.000 description 14
- 238000005259 measurement Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000000241 respiratory effect Effects 0.000 description 9
- 238000002554 cardiac rehabilitation Methods 0.000 description 8
- 238000002564 cardiac stress test Methods 0.000 description 8
- 230000035622 drinking Effects 0.000 description 8
- 238000009207 exercise therapy Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 230000002503 metabolic effect Effects 0.000 description 7
- 230000007958 sleep Effects 0.000 description 7
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 235000005686 eating Nutrition 0.000 description 6
- 230000007937 eating Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000004202 respiratory function Effects 0.000 description 6
- 210000001015 abdomen Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000037396 body weight Effects 0.000 description 5
- 229910002092 carbon dioxide Inorganic materials 0.000 description 5
- 239000001569 carbon dioxide Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 208000020446 Cardiac disease Diseases 0.000 description 3
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 3
- JVTAAEKCZFNVCJ-UHFFFAOYSA-M Lactate Chemical compound CC(O)C([O-])=O JVTAAEKCZFNVCJ-UHFFFAOYSA-M 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 230000037213 diet Effects 0.000 description 3
- 235000005911 diet Nutrition 0.000 description 3
- 239000008103 glucose Substances 0.000 description 3
- 230000008450 motivation Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000000391 smoking effect Effects 0.000 description 3
- 206010000364 Accessory muscle Diseases 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 2
- 208000008589 Obesity Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000009534 blood test Methods 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 208000011318 facial edema Diseases 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003434 inspiratory effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 235000020824 obesity Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000009613 pulmonary function test Methods 0.000 description 2
- 235000015598 salt intake Nutrition 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000013125 spirometry Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 208000020401 Depressive disease Diseases 0.000 description 1
- 208000032928 Dyslipidaemia Diseases 0.000 description 1
- 208000036119 Frailty Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 208000017170 Lipid metabolism disease Diseases 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 206010003549 asthenia Diseases 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 229940030602 cardiac therapy drug Drugs 0.000 description 1
- 230000002802 cardiorespiratory effect Effects 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 238000009535 clinical urine test Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000004868 gas analysis Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 229940126701 oral medication Drugs 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
クライアント装置10及びウェアラブルデバイス50は、例えばBluetooth(登録商標)技術を用いて、無線チャネルを介して接続される。
クライアント装置の構成について説明する。図2は、本実施形態のクライアント装置の構成を示すブロック図である。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ、治療用アプリ、リハビリアプリ、またはフィットネスアプリ)のプログラム
ここで、治療用アプリ、またはリハビリアプリの対象となる疾患は、例えば、心疾患、生活習慣病(高血圧症、糖尿病、脂質異常症、高脂血症)、肥満などの運動が症状の改善に寄与する可能性がある疾病である。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
・CPU(Central Processing Unit)
・GPU(Graphic Processing Unit)
・ASIC(Application Specific Integrated Circuit)
・FPGA(Field Programmable Gate Array)
入力デバイスは、例えば、カメラ16、深度センサ17、マイクロホン18、加速度センサ19、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ15、スピーカ、又は、それらの組合せである。
具体的には、通信インタフェース14は、サーバ30との通信のためのモジュール(例えば、WiFiモジュール、移動通信モジュール、またはそれらの組み合わせ)を含むことができる。通信インタフェース14は、ウェアラブルデバイス50との通信のためのモジュール(例えば、Bluetoothモジュール)を含むことができる。
サーバの構成について説明する。図3は、本実施形態のサーバの構成を示すブロック図である。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
・情報処理において参照されるデータベース
・情報処理の実行結果
・CPU
・GPU
・ASIC
・FPGA
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
ウェアラブルデバイスの構成について説明する。図4は、本実施形態のウェアラブルデバイスの構成を示すブロック図である。
・OSのプログラム
・情報処理を実行するアプリケーション(例えば、治療用アプリ、リハビリアプリ、またはフィットネスアプリ)のプログラム
・情報処理において参照されるデータベース
・情報処理の実行結果
・CPU
・GPU
・ASIC
・FPGA
入力デバイスは、例えば、心拍センサ56、加速度センサ57、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ55、スピーカ、又は、それらの組合せである。
具体的には、通信インタフェース54は、クライアント装置10との通信のためのモジュール(例えば、Bluetoothモジュール)を含むことができる。
本実施形態の概要について説明する。図5は、本実施形態の概要の説明図である。
本実施形態の教師データセットについて説明する。図6は、本実施形態の教師データセットのデータ構造を示す図である。
・換気回数
・換気量
・換気速度(つまり、単位時間あたりの換気量、または換気回数)
・換気加速度(つまり、換気速度の時間微分)
・二酸化炭素排出濃度
・二酸化炭素排出量(VCO2)
・酸素摂取濃度
・酸素摂取量(VO2)
呼吸様式に関するデータは、ガス交換比R(=VCO2/VO2)のように上記したデータの組み合わせに基づいて算出可能なデータを含んでもよい。
・肩、胸(側胸部を含み得る)、腹部、またはそれらの組み合わせの動き(広がり)
・吸気時間
・呼気時間
・呼吸補助筋の使用程度
・エネルギー(カロリー)消費量
・酸素消費量
・心拍数
サーバ30によって用いられる推定モデルは、教師データセット(図6)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
本実施形態の情報処理について説明する。図7は、本実施形態の情報処理のフローチャートである。図8は、本実施形態の情報処理において表示される画面例を示す図である。
・他の処理によって情報処理が呼び出された。
・ユーザ、または指導者が情報処理を呼び出すための操作を行った。
・クライアント装置10、または指導者端末70が所定の状態(例えば、所定のアプリの起動)になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
具体的には、クライアント装置10は、カメラ16の動作を有効にすることで、運動中のユーザの動画(以下、「ユーザ動画」という)の撮影を開始する。また、クライアント装置10は、深度センサ17の動作を有効にすることで、当該深度センサ17から運動中のユーザの各部位までの距離(以下、「ユーザ深度」という)の計測を開始する。さらに、クライアント装置10は、ウェアラブルデバイス50に、心拍センサ56による心拍数(以下、「ユーザ心拍数」という)の計測を開始させる。さらに、クライアント装置10は、当該クライアント装置10、またはウェアラブルデバイス50の任意のセンサを有効にしてもよい。
具体的には、クライアント装置10は、ステップS110において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得し、ウェアラブルデバイス50からユーザ心拍数データを取得する。
具体的には、クライアント装置10は、ステップS111において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS111において取得したデータ(例えば、ユーザ動画データ、ユーザ深度データ、またはユーザ心拍数データ)
・ステップS111において取得したデータを加工したデータ
・ステップS111において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザデータ(例えば、骨格データ、表情データ、肌色データ、呼吸データ、またはそれらの組み合わせ)
具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザデータ(骨格データ、表情データ、肌色データ、呼吸データ、心拍数データ、またはそれらの組み合わせ)を含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの運動耐容能を基準とした運動負荷量に関する推定を行う。一例として、サーバ30は、以下の少なくとも1つを推定する。
・運動耐容能の評価指標(例えば、嫌気性代謝閾値、または最大酸素摂取量)を基準とした運動負荷量を示す指標(例えば、エネルギー消費量、酸素消費量、心拍数、またはそれらの組み合わせ)
・上記運動負荷量を示す指標を決定するための材料となる指標(例えば、運動耐容能の評価指標、または運動負荷量の絶対的な大きさを示す指標)
・ユーザの運動負荷量の絶対的な大きさとユーザの運動耐容能の評価指標との関係(例えば、大小関係、差、またはそれらの組み合わせ)
具体的には、サーバ30は、ステップS130における推定の結果に基づくレスポンスを生成する。サーバ30は、生成したレスポンスを指導者端末70へ送信する。一例として、レスポンスは以下の少なくとも1つを含むことができる。
・ユーザの運動耐容能を基準とした運動負荷量に関する推定の結果に相当するデータ
・ユーザの運動耐容能を基準とした運動負荷量に関する推定の結果を加工したデータ(例えば、指導者端末70のディスプレイ(指導者端末70が備える、または当該指導者端末70に接続されたディスプレイ)に表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ)
具体的には、指導者端末70は、サーバ30から取得したレスポンス(つまり、ユーザの運動耐容能を基準とした運動負荷量に関する推定の結果)に基づく情報を当該指導者端末70のディスプレイに表示させる。
ただし、情報は、指導者に加えて、ユーザ向けにクライアント装置10、またはウェアラブルデバイス50に提示されてもよい。
以上説明したように、実施形態の情報処理システム1は、運動中のユーザの動画(或いは、動画および深度)、および心拍数に基づいて当該ユーザの運動耐容能を基準とした運動負荷量に関する推定を行い、推定の結果に基づく情報を提示する。これにより、ユーザに特殊な器具の装着などの負担をかけることなく、当該ユーザの運動耐容能を基準とした運動負荷量に関する評価を行うことができる。
本実施形態の変形例について説明する。
変形例1について説明する。変形例1は、推定モデルに対する入力データを変形する例である。
・年齢
・性別
・身長
・体重
・体脂肪率
・筋肉量
・骨密度
・現病歴
・既往歴
・内服歴
・手術歴
・生活歴(例えば、喫煙歴、飲酒歴、日常生活動作(ADL)、フレイルスコア、など)
・家族歴
・呼吸機能検査の結果
・呼吸機能検査以外の検査結果(例えば、血液検査、尿検査、心電図検査(ホルター心電図検査を含む)、心臓超音波検査、X線検査、CT検査(心臓形態CT・冠動脈CT含む)、MRI検査、核医学検査、PET検査、などの結果)
・心臓リハビリテーション施行中に取得されたデータ(Borg指数含む)
変形例1の教師データセットについて説明する。図9は、変形例1の教師データセットのデータ構造を示す図である。
変形例1において、サーバ30によって用いられる推定モデルは、教師データセット(図9)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
変形例1の情報処理について図7を用いて説明する。
具体的には、クライアント装置10は、ステップS110において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得し、ウェアラブルデバイス50からユーザ心拍数データを取得する。
具体的には、クライアント装置10は、ステップS111において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS111において取得したデータ(例えば、ユーザ動画データ、ユーザ深度データ、ユーザ心拍数データ、またはユーザ健康状態データ)
・ステップS111において取得したデータを加工したデータ
・ステップS111において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザデータ(例えば、骨格データ、表情データ、肌色データ、呼吸データ、またはそれらの組み合わせ)
具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザデータ(骨格データ、表情データ、肌色データ、呼吸データ、心拍数データ、またはそれらの組み合わせ、および健康状態データ)を含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの運動耐容能を基準とした運動負荷量に関する推定を行う。一例として、サーバ30は、以下の少なくとも1つを推定する。
・運動耐容能の評価指標(例えば、嫌気性代謝閾値、または最大酸素摂取量)を基準とした運動負荷量を示す指標(例えば、エネルギー消費量、酸素消費量、心拍数、またはそれらの組み合わせ)
・上記運動負荷量を示す指標を決定するための材料となる指標(例えば、運動耐容能の評価指標、または運動負荷量の絶対的な大きさを示す指標)
・ユーザの運動負荷量の絶対的な大きさとユーザの運動耐容能の評価指標との関係(例えば、大小関係、差、またはそれらの組み合わせ)
以上説明したように、変形例1の情報処理システム1は、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの運動耐容能を基準とした運動負荷量に関する推定を行う。これにより、ユーザの健康状態をさらに考慮して、高精度な推定を行うことができる。例えば、ユーザの健康状態と、教師データの元となった被験者の健康状態との間に差異がある場合であっても、妥当な推定を行うことができる。
変形例2について説明する。変形例2は、ユーザの運動負荷量およびユーザの心肺の状態の関係を分析し、分析の結果に基づく情報を提示する例である。
具体的には、サーバ30は、ユーザについて推定された運動負荷量(以下、「推定運動負荷量」という)に対して心肺の状態が適正であるか否かを当該ユーザについて過去に蓄積されたデータ(以下、「心肺履歴データ」という)を参照して判定する。一例として、サーバ30は、ユーザの心肺履歴データにおける過去のユーザの運動負荷量および心肺の状態を参照し、推定運動負荷量に対応する心肺の状態(以下、「予測心肺状態」という)を予測する。ユーザについて測定された心肺の状態が、予測心肺状態から乖離している場合に、当該ユーザの心肺の状態が適正でないと判定する。一例として、あるユーザの心拍数の実測値が、予測された心拍数(例えば現在と同程度の心拍運動負荷量の下で過去に得られた心拍数)を上回る場合に、サーバ30は、当該ユーザは普段より息が上がっていると判定する。
推定運動負荷量に対応する心肺の状態の予測は、学習済みモデルを用いて行われてもよい。機械学習では、心肺履歴データを教師データとして利用可能である。
具体的には、指導者端末70は、情報を当該指導者端末70のディスプレイに表示させる。指導者は、表示された情報を考慮した指導(例えば、個別のユーザまたはユーザ全体に対するフィードバック、または指導する運動の種類、強度、または量の調整)を行ってもよい。
ただし、情報は、指導者に加えて、ユーザ向けにクライアント装置10、またはウェアラブルデバイス50に提示されてもよい。
一例として、指導者端末70は、画面P11(図10)をディスプレイに表示させる。画面P11は、表示オブジェクトA11、および操作オブジェクトB11a~B11bを含む。
変形例3について説明する。変形例3は、ユーザ動画、またはユーザ音声に基づいて、当該ユーザの心不全の兆候に関する推定を行う例である。
具体的には、指導者端末70は、情報を当該指導者端末70のディスプレイに表示させる。指導者は、表示された情報を考慮した指導(例えば、個別のユーザまたはユーザ全体に対するフィードバック、または指導する運動の種類、強度、または量の調整)を行ってもよい。
ただし、情報は、指導者に加えて、ユーザ向けにクライアント装置10、またはウェアラブルデバイス50に提示されてもよい。
一例として、指導者端末70は、画面P12(図11)をディスプレイに表示させる。画面P12は、表示オブジェクトA12、および操作オブジェクトB12a~B12bを含む。
変形例4について説明する。変形例4は、ユーザ動画、またはユーザ音声に基づいて、当該ユーザの精神の状態に関する推定を行う例である。
具体的には、指導者端末70は、情報を当該指導者端末70のディスプレイに表示させる。指導者は、表示された情報を考慮した指導(例えば、個別のユーザまたはユーザ全体に対するフィードバック、または指導する運動の種類、強度、または量の調整)を行ってもよい。
ただし、情報は、指導者に加えて、ユーザ向けにクライアント装置10、またはウェアラブルデバイス50に提示されてもよい。
一例として、指導者端末70は、画面P13(図12)をディスプレイに表示させる。画面P13は、表示オブジェクトA13、および操作オブジェクトB13a~B13bを含む。
変形例5について説明する。変形例5は、ユーザの外観の写ったユーザ動画に基づく入力データを推定モデルに適用することで、当該ユーザの呼吸運動に伴う換気指標に関する推定を行う例である。
変形例5の概要について説明する。図13は、変形例5の概要の説明図である。
変形例5の教師データセットについて説明する。図14は、変形例5の教師データセットのデータ構造を示す図である。
・肩、胸(側胸部を含み得る)、腹部、またはそれらの組み合わせの動き(広がり)
・吸気時間
・呼気時間
・呼吸補助筋の使用程度
・換気回数
・換気量
・換気速度(つまり、単位時間あたりの換気量、または換気回数)
・換気加速度(つまり、換気速度の時間微分)
ただし、換気指標は、呼吸運動を定量的に把握するための任意の指標であってよく、ここに例示した指標に限定されない。
サーバ30によって用いられる推定モデルは、教師データセット(図14)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
変形例5の情報処理について説明する。図15は、変形例5の情報処理のフローチャートである。図16は、変形例5の情報処理において表示される画面例を示す図である。
・他の処理(例えば、図7の情報処理)によって図15の情報処理が呼び出された。
・ユーザが情報処理を呼び出すための操作を行った。
・クライアント装置10、または指導者端末70が所定の状態(例えば、所定のアプリの起動)になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
具体的には、クライアント装置10は、カメラ16の動作を有効にすることで、ユーザの外観についての動画(以下、「ユーザ動画」という)の撮影を開始する。ユーザ動画は、典型的には、少なくともユーザの上半身(具体的には、ユーザの肩、胸、腹部の少なくとも1つ)が撮影範囲に含まれるように、当該ユーザを撮影した動画である。
また、クライアント装置10は、深度センサ17の動作を有効にすることで、ユーザ動画の撮影時にユーザ深度の計測を開始する。さらに、クライアント装置10は、当該クライアント装置10、またはウェアラブルデバイス50の任意のセンサを有効にしてもよい。
ステップS210は、ステップS110と統合されてもよいし、独立に実施されてもよい。
具体的には、クライアント装置10は、ステップS210において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得する。
ステップS211は、ステップS111と統合されてもよいし、独立に実施されてもよい。
具体的には、クライアント装置10は、ステップS211において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS211において取得したデータ(例えば、ユーザ動画データ、またはユーザ深度データ)
・ステップS211において取得したデータを加工したデータ
・ステップS211において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザ骨格データ
ステップS212は、ステップS112と統合されてもよいし、独立に実施されてもよい。
具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データを含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの呼吸運動に伴う換気指標に関する推定を行う。一例として、サーバ30は、換気指標の少なくとも1つを推定する。
ステップS230は、ステップS130と独立に実施されてもよいし、ステップS130の一部として位置づけられてもよい。例えば、ステップS230における推定の結果は、ステップS130における入力データの一部(例えば呼吸データ)として利用されてよい。ステップS230がステップS130の一部として位置づけられる場合に、後続のステップS231、およびステップS270は省略可能である。
具体的には、サーバ30は、ステップS230における推定の結果に基づくレスポンスを生成する。サーバ30は、生成したレスポンスを指導者端末70へ送信する。一例として、レスポンスは以下の少なくとも1つを含むことができる。
・換気指標に関する推定の結果に相当するデータ
・換気指標に関する推定の結果を加工したデータ(例えば、指導者端末70のディスプレイに表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ)
ステップS231は、ステップS131と統合されてもよいし、独立に実施されてもよい。
具体的には、指導者端末70は、サーバ30から取得したレスポンス(つまり、ユーザの換気指標に関する推定の結果)に基づく情報を当該指導者端末70のディスプレイに表示させる。指導者は、表示された情報を考慮した指導(例えば、個別のユーザまたはユーザ全体に対するフィードバック、または指導する運動の種類、強度、または量の調整)を行ってもよい。
ただし、情報は、指導者端末70に加えて、または指導者端末70の代わりに、ユーザ向けにクライアント装置10、またはウェアラブルデバイス50に提示されてもよい。或いは、情報は、換気指標を元にユーザの運動耐容能、または運動負荷量を評価するアルゴリズム、または推定モデルを利用可能なコンピュータに提供されてもよい。このコンピュータは、情報処理システム1の内部にあってもよいし、情報処理システム1の外部にあってもよい。
ステップS270は、ステップS170と統合されてもよいし、独立に実施されてもよい。
操作オブジェクトB20は、表示オブジェクトA20に表示させる換気指標を指定する操作を受け付ける。図16の例では、操作オブジェクトB20は、チェックボックスに相当する。
表示オブジェクトA20は、ユーザの換気指標を推定した結果の経時的変化を表示する。図16の例では、表示オブジェクトA20は、操作オブジェクトB20において指定されている換気指標である換気速度を1分毎に推定した結果(つまり、分時換気量の推定結果)の経時的変化を示すグラフを表示する。
操作オブジェクトB20において複数の換気指標が指定されている場合に、表示オブジェクトA20には、複数の換気指標を推定した結果の経時的変化を示すグラフを重畳して表示してもよいし、これらのグラフを個別に表示してもよい。
以上説明したように、変形例5の情報処理システム1は、ユーザの外観の写ったユーザ動画に基づく入力データを推定モデルに適用することで、当該ユーザの呼吸運動に伴う換気指標に関する推定を行う。これにより、ユーザの呼吸運動に伴う換気指標に関する推定を非接触に行うことができる。
変形例6について説明する。変形例6は、運動中のユーザの動画に基づいて当該ユーザの脚の回転数に関する推定を行う例である。
変形例6の概要について説明する。図17は、変形例6の概要の説明図である。
変形例6の教師データセットについて説明する。図18は、変形例6の教師データセットのデータ構造を示す図である。
・累積回転数
・単位時間あたりの回転数(つまり回転速度)
・回転速度の時間微分(つまり回転加速度)
ただし、脚の回転数の指標は、脚の回転(つまり、周期的な動き)を定量的に把握するための任意の指標であってよく、ここに例示した指標に限定されない。脚の回転数の指標は、走行距離(累積回転数(ケイデンス)とペダル1回転あたりの走行距離との積)、運動負荷量のように上記指標に基づいて算出可能な指標を含んでもよい。
サーバ30によって用いられる推定モデルは、教師データセット(図18)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
変形例6の情報処理について説明する。図19は、変形例6の情報処理のフローチャートである。図20は、変形例6の情報処理において表示される画面例を示す図である。
・他の処理(例えば、図7、または図15の情報処理)によって図19の情報処理が呼び出された。
・ユーザが情報処理を呼び出すための操作を行った。
・クライアント装置10、または指導者端末70が所定の状態(例えば、所定のアプリの起動)になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
具体的には、クライアント装置10は、カメラ16の動作を有効にすることで、運動中のユーザの動画(以下、「ユーザ動画」という)の撮影を開始する。ユーザ動画は、典型的には、少なくともユーザの下半身(具体的には、ユーザの脚)が撮影範囲に含まれるように、当該ユーザを撮影した動画である。
また、クライアント装置10は、深度センサ17の動作を有効にすることで、ユーザ深度の計測を開始する。さらに、クライアント装置10は、当該クライアント装置10、またはウェアラブルデバイス50の任意のセンサを有効にしてもよい。
ステップS310は、ステップS110、またはステップS210と統合されてもよいし、独立に実施されてもよい。
具体的には、クライアント装置10は、ステップS310において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得する。
ステップS311は、ステップS111、またはステップS211と統合されてもよいし、独立に実施されてもよい。
具体的には、クライアント装置10は、ステップS311において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS311において取得したデータ(例えば、ユーザ動画データ、またはユーザ深度データ)
・ステップS311において取得したデータを加工したデータ
・ステップS311において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザ骨格データ
ステップS312は、ステップS112、またはステップS212と統合されてもよいし、独立に実施されてもよい。
具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データを含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの脚の回転数に関する推定を行う。一例として、サーバ30は、ユーザの脚の回転数に関する評価指標の少なくとも1つを推定する。
ステップS330は、ステップS130、またはステップS230と独立に実施されてもよいし、ステップS130の一部として位置づけられてもよい。例えば、ステップS330における推定の結果は、ステップS130における入力データの一部として、または推定された運動負荷量の絶対的な大きさの補正に利用されてよい。ステップS330がステップS130の一部として位置づけられる場合に、後続のステップS331、およびステップS370は省略可能である。
具体的には、サーバ30は、ステップS330における推定の結果に基づくレスポンスを生成する。サーバ30は、生成したレスポンスを指導者端末70へ送信する。一例として、レスポンスは以下の少なくとも1つを含むことができる。
・脚の回転数に関する推定の結果に相当するデータ
・脚の回転数に関する推定の結果を加工したデータ(例えば、指導者端末70のディスプレイに表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ)
ステップS331は、ステップS131、またはステップS231と統合されてもよいし、独立に実施されてもよい。
具体的には、指導者端末70は、サーバ30から取得したレスポンス(つまり、ユーザの脚の回転数に関する推定の結果)に基づく情報をディスプレイに表示させる。指導者は、表示された情報を考慮した指導(例えば、個別のユーザまたはユーザ全体に対するフィードバック、または指導する運動の種類、強度、または量の調整)を行ってもよい。
ただし、情報は、指導者端末70に加えて、または指導者端末70の代わりに、ユーザ向けにクライアント装置10、またはウェアラブルデバイス50に提示されてもよい。或いは、情報として、ユーザの運動体験を演出するコンテンツ(例えば、脚の回転数に関する推定の結果に応じて制御される風景またはビデオゲームの映像)が提示されてもよい。かかるコンテンツは、ディスプレイ15の代わりに、HMDなどの外部装置のディスプレイ、または他の出力装置を介して提示されてもよい。
ステップS370は、ステップS170、またはステップS270と統合されてもよいし、独立に実施されてもよい。
操作オブジェクトB30は、表示オブジェクトA30に表示させる脚の回転数に関する評価指標を指定する操作を受け付ける。図20の例では、操作オブジェクトB30は、チェックボックスに相当する。
表示オブジェクトA30は、上記評価指標を推定した結果の経時的変化を表示する。図20の例では、表示オブジェクトA30は、操作オブジェクトB30において指定されている評価指標である回転速度(rpm)を5秒毎に推定した結果の経時的変化を示すグラフを表示する。
操作オブジェクトB30において複数の評価指標が指定されている場合に、表示オブジェクトA30には、複数の評価指標を推定した結果の経時的変化を示すグラフを重畳して表示してもよいし、これらのグラフを個別に表示してもよい。
以上説明したように、変形例6の情報処理システム1は、運動中のユーザの動画に基づいて当該ユーザの脚の回転数に関する推定を行う。これにより、脚の回転数を検知する手段、または検知結果を出力する手段を備えていないトレーニング機器を用いてユーザが運動を行った場合であっても、当該ユーザの脚の回転数を推定することができる。つまり、多様な状況下で人間の脚の回転数に関する推定を行うことができる。
変形例7について説明する。変形例7は、ユーザの行動変容を効果的に促す例である。
変形例7の概要について説明する。図21は、変形例7の概要の説明図である。
・アンケートへの回答
・コミュニケーション履歴
・行動履歴
・バイタルデータ
・コミュニケーションの内容(例えば、意味、またはキーワード)
・コミュニケーションが実施された頻度、時間帯、または回数
・コミュニケーションの量(例えば、文字数、または持続時間)
・コミュニケーションが最後に実施された日時
・行動の内容(例えば、運動種目、または行動内容(一例として食事内容))
・行動が実施された頻度、時間帯、または回数
・行動の量(例えば、行動の持続時間、または上記実施形態または変形例により推定された運動負荷量の累積値)
・行動が最後に実施された日時
・ユーザUS5の飲食、運動、または睡眠の内容の変容(例えば、推奨する食品、料理、運動種目、または睡眠環境の提示)
・ユーザUS5の飲食、運動、または睡眠の頻度、または時間帯の変容(例えば、朝食を摂ることの推奨、または深夜の飲食を控えることの推奨)
・ユーザUS5の飲食、運動、または睡眠の量の変容(例えば、塩分摂取量を控えることの推奨)
・ユーザUS5による飲食、運動、または睡眠の実施の促し(例えば、飲食、運動、または睡眠に適した時間の到来を通知、または前回の運動実施から所定時間経過後に運動の再実施を推奨)
本実施形態または各変形例において説明した技術は、例えば以下に説明する心疾患治療用アプリに好適である。
・体操のお手本動画を表示する表示オブジェクト
・クライアント装置10のインカメラによって撮影されたユーザの映像、または当該映像に基づく骨格検知の結果の少なくとも1つを表示するオブジェクト
・ウェアラブルデバイス50の心拍センサ56によって計測されたユーザの心拍数を表示するオブジェクト
・本実施形態または各変形例により推定された、(1)運動耐容能、(2)運動耐容能を基準としたユーザの運動負荷量、(3)心不全の兆候、(4)精神の状態、(5)換気指標、または(6)脚の回転数の少なくとも1つに基づく情報を表示するオブジェクト
ここで、体操のお手本動画は、例えば事前に収録された動画であってもよいし、指導者による実演の生放送動画であってもよい。
・体操のお手本動画を表示する表示オブジェクト
・クライアント装置10のインカメラによって撮影されたユーザの映像、または当該映像に基づく骨格検知の結果の少なくとも1つを表示するオブジェクト
・ウェアラブルデバイス50の心拍センサ56によって計測されたユーザの心拍数を表示するオブジェクト
・本実施形態または各変形例により推定された、(1)運動耐容能、(2)運動耐容能を基準としたユーザの運動負荷量、(3)心不全の兆候、(4)精神の状態、(5)換気指標、または(6)脚の回転数の少なくとも1つに基づく情報を表示するオブジェクト
ここで、体操のお手本動画は、例えば事前に収録された動画であってもよいし、指導者による実演の生放送動画であってもよい。また、お手本動画の内容は、ユーザの運動耐容能(例えば嫌気性代謝閾値)または運動負荷量に応じて自動的に選択されてもよい。具体的には、嫌気性代謝閾値が高い(例えば5METs以上)ユーザには高負荷の脚上げ(例えば、高い脚上げ10回/30秒に加えて間にスクワット)が選択され、嫌気性代謝閾値が中程度(例えば3~5METs)のユーザには中負荷の脚上げ(例えば、高い脚上げ8回/30秒)が選択され、嫌気性代謝閾値が低い(例えば3METs未満)ユーザには低負荷の脚上げ(例えば、低い脚上げ6回/30秒)が選択され得る。これにより、心疾患治療の効果をいっそう高めることができる。
・有酸素運動の残り時間を表示する表示オブジェクト
・上記残り時間を計測するタイマーの停止/再開を操作するための操作オブジェクト
・ユーザの運動量(例えば、クライアント装置10、またはウェアラブルデバイス50によって計測されたユーザの歩数、移動距離)を表示する表示オブジェクト
・上記ユーザの運動量に応じて変化する画像(例えば、自然または人工の風景画像)を表示するオブジェクト
・ウェアラブルデバイス50の心拍センサ56によって計測されたユーザの心拍数を表示するオブジェクト
・本実施形態または各変形例により推定された、(1)運動耐容能、(2)運動耐容能を基準としたユーザの運動負荷量、(3)心不全の兆候、(4)精神の状態、(5)換気指標、または(6)脚の回転数の少なくとも1つに基づく情報を表示するオブジェクト
・ユーザ属性情報
・生活習慣情報
・アウトカム指標
・アプリ利用情報
・医療専門職の支援内容情報
第1例として、ユーザのタイプ別に、指導に人間(つまり指導者)を介在させる割合を変更してもよい。例えば、性格特性として勤勉性が低いタイプのユーザには、指導に人間を介在させる割合を高く設定して個別介入を積極的に行うことで、治療を継続するモチベーションを効果的に維持することができる。
第2例として、ユーザのタイプ別に、適した行動、食事、運動、または睡眠のプログラムを提供して、治療を継続するモチベーションを効果的に維持することができる。
第3例として、ユーザのタイプ別に、パーソナライズされたメッセージの通知頻度を変更してもよい。例えば、孤独感を感じやすいタイプのユーザには、通知頻度を高くして、治療を継続するモチベーションを効果的に維持することができる。
記憶装置11は、ネットワークNWを介して、クライアント装置10と接続されてもよい。ディスプレイ15は、クライアント装置10に内蔵されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
・血糖値
・酸素飽和度
各センサによる計測結果は、入力データの生成、運動負荷量または換気指標に関する推定、推定の結果に基づく情報の提示、またはその他の場面において適宜利用され得る。一例として、血糖値の計測結果は、例えばエネルギー消費量、または酸素消費量に換算された運動負荷量を評価するために参照され得る。別の例として、加速度の計測結果は、例えば、ユーザの運動(例えば体操)のスコア判定に用いることができる。
・ユーザに与えられる、ビデオゲームに関する課題(例えば、ステージ、ミッション、クエスト)の質(例えば難易度)、または量
・ユーザに与えられる、ビデオゲームに関する特典(例えば、ゲーム内通貨、アイテム、ボーナス)の質(例えば種類)、または量
・ビデオゲームの進行に関するゲームパラメータ(例えば、スコア、ダメージ)
・ユーザに与えられる、ビデオゲームに関する課題(例えば、ステージ、ミッション、クエスト)の質(例えば難易度)、または量
・ユーザに与えられる、ビデオゲームに関する特典(例えば、ゲーム内通貨、アイテム、ボーナス)の質(例えば種類)、または量
・ビデオゲームの進行に関するゲームパラメータ(例えば、スコア、ダメージ)
・ユーザの脚の回転により発する音波(例えば、ペダル、またはペダルに接続された駆動部から生じる音)
・ユーザの呼吸、または発声に伴って生じる音
さらに、変形例1は、変形例5または変形例6における推定モデルの入力データの変形にも応用可能である。つまり、変形例5または変形例6における推定モデルの入力データが、変形例1において説明した健康状態データを含むように変形されてもよい。
10 :クライアント装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
15 :ディスプレイ
16 :カメラ
17 :深度センサ
18 :マイクロホン
19 :加速度センサ
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース
50 :ウェアラブルデバイス
51 :記憶装置
52 :プロセッサ
53 :入出力インタフェース
54 :通信インタフェース
55 :ディスプレイ
56 :心拍センサ
57 :加速度センサ
70 :指導者端末
Claims (14)
- コンピュータを、
運動中のユーザの写ったユーザ動画を取得する手段、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能を基準とした前記ユーザの運動負荷量に関する推定を行う手段、
前記ユーザの運動負荷量に関する推定の結果に基づく情報を提示する手段、
として機能させ、
前記ユーザの運動負荷量は、前記運動中のユーザの酸素消費量またはエネルギー消費量の少なくとも1つを用いて表され、
前記ユーザの運動負荷量に関する推定を行う手段は、前記ユーザ動画に基づく入力データに、推定モデルを適用することで、前記ユーザの運動負荷量に関する推定を行い、
前記入力データは、前記運動中のユーザの身体状態に関するユーザデータを含む、
プログラム。 - 前記推定モデルは、運動中の被験者の写った被験者動画に関するデータを含む入力データと、当該入力データの各々に関連付けられた正解データとを含む教師データセットを用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する、
請求項1に記載のプログラム。 - 前記被験者は、前記ユーザと同一人物である、
請求項2に記載のプログラム。 - 前記ユーザデータは、前記運動中のユーザの骨格、表情、肌色、呼吸、または心拍数の少なくとも1つに関するデータを含む、
請求項1に記載のプログラム。 - 前記コンピュータを、
前記ユーザの心肺の状態に関するデータを取得する手段、
前記ユーザの運動負荷量および前記ユーザの心肺の状態の関係を分析する手段、
としてさらに機能させ、
前記ユーザの運動負荷量に関する推定の結果に基づく情報を提示する手段は、前記関係の分析の結果に基づく情報を提示する、
請求項1乃至請求項4のいずれかに記載のプログラム。 - 前記コンピュータを、前記ユーザの運動負荷量の経時的変化を分析する手段としてさらに機能させ、
前記ユーザの運動負荷量に関する推定の結果に基づく情報を提示する手段は、前記ユーザの運動負荷量の経時的変化を分析の結果に基づく情報を提示する、
請求項1乃至請求項5のいずれかに記載のプログラム。 - 前記コンピュータを、
前記ユーザ動画、または運動中の前記ユーザの声を記録したユーザ音声の少なくとも1つに基づいて、前記ユーザの心不全の兆候に関する推定を行う手段、
前記ユーザの心不全の兆候に関する推定の結果に基づく情報を提示する手段、
としてさらに機能させる、
請求項1乃至請求項6のいずれかに記載のプログラム。 - 前記コンピュータを、
前記ユーザ動画、または運動中の前記ユーザの声を記録したユーザ音声の少なくとも1つに基づいて、前記ユーザの精神の状態に関する推定を行う手段、
前記ユーザの精神の状態に関する推定の結果に基づく情報を提示する手段、
としてさらに機能させる、
請求項1乃至請求項7のいずれかに記載のプログラム。 - 前記ユーザの運動負荷量に関する推定を行う手段は、運動中の複数のユーザのそれぞれについて運動負荷量に関する推定を行い、
前記ユーザの運動負荷量に関する推定の結果に基づく情報を提示する手段は、前記複数のユーザの運動負荷量に関する推定の結果に基づく情報を前記複数のユーザの指導者に提示する、
請求項1乃至請求項8のいずれかに記載のプログラム。 - 前記ユーザの運動負荷量に関する推定を行う手段は、運動中の複数のユーザのそれぞれについて運動負荷量に関する推定を行い、
前記ユーザの運動負荷量に関する推定の結果に基づく情報を提示する手段は、前記複数のユーザのうち運動負荷量に関する推定の結果が所定の条件を満たすユーザに関する情報を前記ユーザの指導者に提示する、
請求項1乃至請求項8のいずれかに記載のプログラム。 - 前記取得する手段は、プレイヤーの身体の動きに応じてゲーム進行が制御されるビデオゲームをプレイ中のユーザの写ったユーザ動画を取得し、
前記ユーザの運動負荷量に関する推定を行う手段は、前記ビデオゲームのプレイ中に、前記ユーザの運動負荷量に関する推定を行い、
前記コンピュータを、前記ユーザの運動負荷量に関する推定の結果に応じて、当該ユーザに与えられる前記ビデオゲームに関する課題、もしくは特典、または前記ビデオゲームの進行に関するゲームパラメータの少なくとも1つを決定する手段としてさらに機能させる、
請求項1乃至請求項10のいずれかに記載のプログラム。 - 前記取得する手段は、プレイヤーの身体の動きに応じてゲーム進行が制御されるビデオゲームをプレイ中のユーザの写ったユーザ動画を取得し、
前記コンピュータを、
前記ユーザ動画に基づいて、前記ユーザの骨格に関する推定を行う手段、
前記ユーザの骨格に関する推定の結果に応じて、当該ユーザに与えられる前記ビデオゲームに関する課題、もしくは特典、または前記ビデオゲームの進行に関するゲームパラメータの少なくとも1つを決定する手段としてさらに機能させる、
請求項1乃至請求項11のいずれかに記載のプログラム。 - 運動中のユーザの写ったユーザ動画を取得する手段と、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能を基準とした前記ユーザの運動負荷量に関する推定を行う手段と、
前記ユーザの運動負荷量に関する推定の結果に基づく情報を提示する手段と、
を具備し、
前記ユーザの運動負荷量は、前記運動中のユーザの酸素消費量またはエネルギー消費量の少なくとも1つを用いて表され、
前記ユーザの運動負荷量に関する推定を行う手段は、前記ユーザ動画に基づく入力データに、推定モデルを適用することで、前記ユーザの運動負荷量に関する推定を行い、
前記入力データは、前記運動中のユーザの身体状態に関するユーザデータを含む、
情報処理装置。 - コンピュータが、
運動中のユーザの写ったユーザ動画を取得するステップと、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能を基準とした前記ユーザの運動負荷量に関する推定を行うステップと、
前記ユーザの運動負荷量に関する推定の結果に基づく情報を提示するステップと
を実行し、
前記ユーザの運動負荷量は、前記運動中のユーザの酸素消費量またはエネルギー消費量の少なくとも1つを用いて表され、
前記ユーザの運動負荷量に関する推定を行うステップでは、前記ユーザ動画に基づく入力データに、推定モデルを適用することで、前記ユーザの運動負荷量に関する推定を行い、
前記入力データは、前記運動中のユーザの身体状態に関するユーザデータを含む、
方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023099046A JP2023108025A (ja) | 2021-11-25 | 2023-06-16 | プログラム、情報処理装置、および情報処理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021190692 | 2021-11-25 | ||
JP2021190692 | 2021-11-25 | ||
PCT/JP2022/040988 WO2023095581A1 (ja) | 2021-11-25 | 2022-11-02 | プログラム、情報処理装置、および情報処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023099046A Division JP2023108025A (ja) | 2021-11-25 | 2023-06-16 | プログラム、情報処理装置、および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2023095581A1 JPWO2023095581A1 (ja) | 2023-06-01 |
JP7303595B1 true JP7303595B1 (ja) | 2023-07-05 |
Family
ID=86539325
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022568438A Active JP7303595B1 (ja) | 2021-11-25 | 2022-11-02 | プログラム、情報処理装置、および情報処理方法 |
JP2023099046A Pending JP2023108025A (ja) | 2021-11-25 | 2023-06-16 | プログラム、情報処理装置、および情報処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023099046A Pending JP2023108025A (ja) | 2021-11-25 | 2023-06-16 | プログラム、情報処理装置、および情報処理方法 |
Country Status (3)
Country | Link |
---|---|
JP (2) | JP7303595B1 (ja) |
CN (1) | CN118266040A (ja) |
WO (1) | WO2023095581A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240394A (ja) * | 2002-12-12 | 2004-08-26 | Sense It Smart Corp | 話者音声解析システムおよびこれに用いるサーバ装置、話者音声の解析を利用した健康診断方法、話者音声解析プログラム |
JP2018110013A (ja) * | 2018-02-16 | 2018-07-12 | 株式会社東芝 | 健康情報サービスシステム |
JP2021051400A (ja) * | 2019-09-20 | 2021-04-01 | パナソニックIpマネジメント株式会社 | リハビリ支援装置、リハビリ支援システム及びリハビリ支援方法 |
JP2021097990A (ja) * | 2019-12-20 | 2021-07-01 | 株式会社Sportip | トレーニング機器の制御方法 |
JP2022129532A (ja) * | 2021-02-25 | 2022-09-06 | パナソニックIpマネジメント株式会社 | 運動支援プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7181801B2 (ja) | 2019-01-30 | 2022-12-01 | Cyberdyne株式会社 | 心臓リハビリテーション支援装置及びその制御プログラム |
-
2022
- 2022-11-02 CN CN202280076634.8A patent/CN118266040A/zh active Pending
- 2022-11-02 JP JP2022568438A patent/JP7303595B1/ja active Active
- 2022-11-02 WO PCT/JP2022/040988 patent/WO2023095581A1/ja active Application Filing
-
2023
- 2023-06-16 JP JP2023099046A patent/JP2023108025A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240394A (ja) * | 2002-12-12 | 2004-08-26 | Sense It Smart Corp | 話者音声解析システムおよびこれに用いるサーバ装置、話者音声の解析を利用した健康診断方法、話者音声解析プログラム |
JP2018110013A (ja) * | 2018-02-16 | 2018-07-12 | 株式会社東芝 | 健康情報サービスシステム |
JP2021051400A (ja) * | 2019-09-20 | 2021-04-01 | パナソニックIpマネジメント株式会社 | リハビリ支援装置、リハビリ支援システム及びリハビリ支援方法 |
JP2021097990A (ja) * | 2019-12-20 | 2021-07-01 | 株式会社Sportip | トレーニング機器の制御方法 |
JP2022129532A (ja) * | 2021-02-25 | 2022-09-06 | パナソニックIpマネジメント株式会社 | 運動支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN118266040A (zh) | 2024-06-28 |
WO2023095581A1 (ja) | 2023-06-01 |
JPWO2023095581A1 (ja) | 2023-06-01 |
JP2023108025A (ja) | 2023-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11990233B2 (en) | Personalized avatar responsive to user physical state and context | |
US10390769B2 (en) | Personalized avatar responsive to user physical state and context | |
US11051767B2 (en) | Personalized avatar responsive to user physical state and context | |
US9364714B2 (en) | Fuzzy logic-based evaluation and feedback of exercise performance | |
US9292935B2 (en) | Sensor-based evaluation and feedback of exercise performance | |
US20220016484A1 (en) | Method and System for Using Artificial Intelligence to Interact with a User of an Exercise Device During an Exercise Session | |
JP2019508191A (ja) | バランス試験及び訓練システム並びに方法 | |
US20070117081A1 (en) | System and Method for Delivering Information to Optimize Information Retention | |
Karkar et al. | KinFit: A factual aerobic sport game with stimulation support | |
JP7303595B1 (ja) | プログラム、情報処理装置、および情報処理方法 | |
JP7333537B2 (ja) | プログラム、情報処理装置、および情報処理方法 | |
WO2023026785A1 (ja) | プログラム、情報処理装置、および情報処理方法 | |
WO2023027046A1 (ja) | プログラム、情報処理装置、および情報処理方法 | |
Κουκουβές | Live data streaming and alert service for advanced athletes | |
WO2023014452A1 (en) | Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221109 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7303595 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |