JP7033307B2 - 情報処理装置及びその動作方法 - Google Patents

Description

本開示は、ユーザの身体状態に関する判定をする情報処理装置及びその動作方法に関する。

特許文献１は、マッサージ装置が、ユーザに対して問診を行い、ユーザの回答に基づいて体調を判断することを開示している。

特開２０００－７０３１８号公報

特許文献１のような機械（情報処理）によるユーザの身体状態の判定には、限界がある。また、人は、人とのコミュニケーションを望む場合があり、機械による判定だけではユーザの満足度が低下するおそれもある。

したがって、機械（情報処理）によるユーザの身体状態の判定を補うための技術が望まれる。

本開示の情報処理装置は、ユーザの身体状態に関する判定処理を実行し、前記判定処理の結果に基づいて、前記ユーザと人間である対応者との間のコミュニケーションの要否を判定し、前記コミュニケーションが必要であると判定された場合、前記コミュニケーションのための情報処理を実行するよう構成されている。

本開示の情報処理装置の動作方法は、ユーザの身体状態に関する判定処理を実行し、前記判定処理の結果に基づいて、前記ユーザと人間である対応者との間のコミュニケーションの要否を判定し、前記コミュニケーションが必要であると判定された場合、前記コミュニケーションのための情報処理を実行することを含む。

更なる詳細は、後述の実施形態として説明される。

図１は、判定処理のフローチャートである。 図２は、サーバにおける処理のフローチャートである。 図３は、マッサージ装置を含むネットワークシステムの構成図である。 図４は、カメラ画像の撮影ガイダンス画面を示す図である。 図５は、二次判定要否テーブルを示す図である。 図６は、コミュニケーション要否テーブルを示す図である。 図７は、医師データベース、エステティシャンデータベース、アドバイザデータベースを示す図である。 図８は、通信セッション確立を示す図である。 図９は、判定結果とマッサージコース対応テーブルを示す図である。 図１０は、マッサージコース生成の説明図である。

＜１．情報処理装置及びその動作方法の概要＞

（１）実施形態に係る情報処理装置は、ユーザの身体状態に関する判定処理を実行するよう構成されている。身体状態は、ユーザの体に関する状態であればよく、例えば、体調・病状などの健康状態であってもよいし、肌の状態などの美容状態であってもよい。

実施形態に係る情報処理装置は、前記判定処理の結果に基づいて、前記ユーザと人間である対応者との間のコミュニケーションの要否を判定するよう構成されている。対応者は、例えば、医師、エステティシャン、その他の身体状態についてのアドバイザである。対応者との間のコミュニケーションが必要な場合は、例えば、ユーザの健康状態が悪いと判定された場合のように医師などの適切なアドバイザへの相談が必要な場合である。対応者との間のコミュニケーションが不要な場合は、例えば、ユーザの健康状態・美容状態などの身体状態にほとんど問題がない場合である。

実施形態に係る情報処理装置は、前記コミュニケーションが必要であると判定された場合、前記コミュニケーションのための情報処理を実行するよう構成されている。コミュニケーションのための情報処理が実行されることで、ユーザは、対応者と容易にコミュニケーションをとることができる。

（２）前記コミュニケーションのための前記情報処理は、前記コミュニケーションのための通信セッションの確立処理及び前記コミュニケーションの準備処理の少なくともいずれか一つを含むのが好ましい。コミュニケーションのための通信セッションとは、ユーザの通信機器と対応者の通信機器との間で確立される通信セッションである。コミュニケーションの準備処理とは、直ちに対応者とコミュニケーションをとるのではなく、事後的にコミュニケーションをとるために必要な事前準備のための情報処理である。準備処理は、例えば、事後的なコミュニケーションの予約を設定するための予約処理を含んでもよいし、事後的にコミュニケーションのための通信セッションを確立するためのタイマー設定を含んでもよい。

（３）前記準備処理は、前記コミュニケーションの予約処理を含むのが好ましい。この場合、ユーザは、都合の良い時に対応者とのコミュニケーションをとるために、予約をすることができる。

（４）前記コミュニケーションのための前記情報処理は、前記判定処理に用いられた前記ユーザの情報を前記対応者の端末に表示可能にする処理を含むのが好ましい。この場合、対応者は、判定処理を踏まえた対応をすることができる。対応者の端末には、判定処理に用いられたユーザの情報に代えて、又は、加えて、判定結果が表示されてもよい。

（５）前記コミュニケーションのための前記情報処理は前記判定処理の結果に基づいて選択されるのが好ましい。この場合、判定処理の結果に応じて、適切な情報処理が選択される。選択される処理は、例えば、医師とのコミュニケーションのための情報処理、エステティシャンとのコミュニケーションのための情報処理、及びアドバイザとのコミュニケーションのための情報処理のいずれかであるのが好ましい。

（６）前記コミュニケーションのための前記情報処理は、日又は時間に基づいて選択されるのが好ましい。この場合、日又は時間に応じて、適切な情報処理が選択される。情報処理は、例えば、コミュニケーションのための通信セッションの確立処理及び前記コミュニケーションの準備処理を含むことができる。例えば、平日の日中は、コミュニケーションのための通信セッションの確立処理が選択され、夜間又は休日は、コミュニケーションの準備処理が選択されてもよい。

（７）前記対応者は、前記判定処理の結果に基づいて選択されるのが好ましい。この場合、判定処理の結果に応じて、適切な対応者が選択される。

（８）実施形態に係る情報処理装置は、前記判定処理の結果を用いて、前記ユーザが使用するマッサージ装置に行わせる動作を決定する動作決定処理をさらに実行するのが好ましい。この場合、マッサージ装置に行わせる動作として、判定処理結果に応じた適切なマッサージ動作を決定することができる。なお、情報処理装置は、マッサージ装置に内蔵されていてもよいし、マッサージ装置と通信ネットワークを介して接続されるものであってもよい。マッサージ動作の決定は、判定結果に基づくマッサージコースの選択であってもよいし、判定結果に基づくマッサージ部位（例えば、経絡）の選択であってもよいし、判定結果に基づくマッサージコースの自動生成であってもよい。

動作を決定することは、唯一の動作の決定又は実際にマッサージ動作が実行する動作の決定である必要はなく、ユーザに推奨するための複数の動作候補の決定であってもよい。

（９）実施形態に係る情報処理装置は、前記コミュニケーションが必要であると判定された場合、前記動作決定処理を実行することなく、前記コミュニケーションのための前記情報処理を実行することができる。コミュニケーションが必要であると判定された場合でもマッサージが行われてもよいが、コミュニケーションが必要であると判定された場合には、マッサージが行われることが適切でないこともあるため、前記動作決定処理を実行しないことで、マッサージの実行を回避できる。

（１０）実施形態に係る情報処理装置の動作方法は、ユーザの身体状態に関する判定処理を実行し、前記判定処理の結果に基づいて、前記ユーザと人間である対応者との間のコミュニケーションの要否を判定し、前記コミュニケーションが必要であると判定された場合、前記コミュニケーションのための情報処理を実行することを含む。

実施形態に係るコンピュータプログラムは、ユーザの身体状態に関する判定処理と、前記判定処理の結果に基づいて、前記ユーザと人間である対応者との間のコミュニケーションの要否を判定する処理と、前記コミュニケーションが必要であると判定された場合、前記コミュニケーションのための情報処理と、をコンピュータに実行させるコンピュータプログラムである。

＜２．情報処理装置の例＞

図１及び図２は、図３に示すサーバ（情報処理装置）４０によって実行される処理を示している。サーバ４０は、ユーザ２０に対するサービス提供用である。ユーザ２０に提供されるサービスは、例えば、ユーザ２０によるマッサージ装置１０の使用のサポートと、ユーザ２０の健康状態及び美容状態などの身体状態の管理及びそれに付随したサービスを含む。サーバ４０は、ユーザ２０に対するサービス提供者によって運営される。サービス提供者は、例えば、マッサージ装置１０の販売会社である。

図３に示すように、サーバ４０は、ネットワーク３０を介してマッサージ装置１０と通信可能である。ネットワーク３０は、例えば、インターネットである。マッサージ装置１０は、多数の家庭に設置されている。サーバ４０は、複数のマッサージ装置１０と通信可能である。

サーバ４０は、プロセッサ５０及び記憶装置６０を備えたコンピュータである。プロセッサ５０は、サービス提供のための様々な情報処理５１，５２，５３，５４，５５，５６，５７，５８を実行する。これらの情報処理５１，５２，５３，５４，５５，５６，５７，５８は、プロセッサ５０が、記憶装置６０に記憶されたコンピュータプログラム７０を実行することにより行われる。これらの情報処理５１，５２，５３，５４，５５，５６，５７，５８については、後述する。記憶装置６０は、情報処理に用いられる各種のデータ６１，６２，６３，６４，６５，６６，６７，６８を記憶している。これらのデータ６１，６２，６３，６４，６５，６６，６７，６８についても、後述する。

マッサージ装置１０は、マッサージ装置本体１０ａを備える。マッサージ装置本体１０ａは、ユーザ２０にマッサージを施すマッサージ部（図示省略）を備える。マッサージ装置本体１０ａは、例えば、椅子型である。椅子型マッサージ装置本体１０ａは、例えば、ユーザが着座する座部、座部の後側に設けられた背もたれ部、座部の前側に設けられたフットレスト、座部の左右両側に設けられたアームレストを備える。座部、背もたれ部、フットレスト、アームレストには、それぞれ、マッサージ部が設けられており、ユーザ２０の全身をマッサージする。

マッサージ装置１０は、情報処理装置１１を備える。情報処理装置１１は、例えば、タブレット型である。情報処理装置１１は、プロセッサ１２及び記憶装置１３を備えたコンピュータである。プロセッサ１２は、記憶装置１３に記憶されたコンピュータプログラムを実行することにより、情報処理装置１１において行われるべき処理を行う。情報処理装置１１は、サーバ４０にて行われる処理を実行してもよい。

情報処理装置１１は、マッサージ装置１０に着座したユーザ２０が操作できるように、例えば、アームレスト近傍において、マッサージ装置１０に搭載されている。情報処理装置１１は、無線又は有線で、マッサージ装置本体１０ａの本体制御部（図示省略）と接続されている。

情報処理装置１１は、マッサージ装置本体１０ａの操作器として機能するとともに、ネットワーク３０等を介した通信をする通信端末としても機能する。ユーザ２０は、操作器としての情報処理装置１１を操作することで、マッサージコースの選択・実行、マッサージ部の動作の調整、背もたれ部及びフットレストの位置調整などをすることができる。

情報処理装置１１は、表示装置１５を備える。実施形態の表示装置１５は、タッチパネルであり、ユーザ２０は、タッチパネル１５によって入力操作をすることができる。情報処理装置１１は、タッチパネル１５が、椅子型マッサージ装置本体１０ａに着座したユーザ２０が操作可能であるように、椅子型マッサージ装置本体１０ａに配置されている。

情報処理装置１１は、カメラ（第１カメラ）１４を備える。カメラ１４は、椅子型マッサージ装置本体１０ａに着座したユーザ２０の顔付近を撮影できるように配置されている。情報処理装置１１は、マイク１６及びスピーカ１７を備えている。マイク１６により、情報処理装置１１へ音声入力ができる。スピーカ１７により、情報処理装置１１から音声を出力することができる。

なお、カメラ１４、タッチパネル１５、マイク１６、スピーカ１７は、ユーザインタフェースとして機能する。

情報処理装置１１は、通信インタフェース（ＩＦ）１８を備える。通信ＩＦ１８は、例えば、近距離無線通信部である。通信ＩＦ１８は、ユーザ２０の通信端末２１，２２，２３と通信する。通信端末２１は、例えば、ユーザ２０が持つスマートフォン又はタブレットである。通信端末２１は、カメラ（第２カメラ）２１ａを備える。

通信端末２２は、例えば、ユーザ２０のウェアラブル機器である。ウェアラブル機器２２は、例えば、時計型、アクセサリー型、衣服型、眼鏡型、コンタクトレンズ型、身体への貼り付け型、身体への内蔵型である。ウェアラブル機器２２は、血圧、体温、脈拍などのバイタルデータ（ライフログ）をユーザから取得する。なお、バイタルデータを取得する装置は、マッサージ装置１０に設けられていてもよい。

通信端末２３は、例えば、身体の検査機器である。検査機器２３は、ウェアラブル機器２２で得られるデータよりも詳細な生体データを取得する機器である。通信端末２１（カメラ（第２カメラ）２１ａを含む）及び通信端末２２，２３は、ユーザインタフェースとして機能する。

情報処理装置１１は、通信インタフェース（ＩＦ）１９を備える。通信ＩＦ１９は、例えば、無線ＬＡＮ又は有線ＬＡＮ通信部である。情報処理装置１１は、ＬＡＮを介して、インターネットなどのネットワーク３０に接続する。マッサージ装置１０のユーザ２０は、情報処理装置１１を用いて、サーバ４０へアクセスし、サーバ４０からのサービス提供を受けることができる。

ユーザ２０は、例えば、マッサージ装置１０を利用する際に、マッサージ実行に先立って、サーバ４０へアクセスする。図１及び図２は、ユーザ２０がサーバ４０にアクセスして、マッサージ実行がされるまでの間に、サーバ４０において行われる処理を示している。なお、図１及び図２に示す処理は、マッサージ実行とは無関係に行われてもよい。

図１及び図２に示すステップＳ１１において、ユーザ２０がサーバ４０へログインする処理が実行される。ステップＳ１１において、ユーザ２０の認証は、例えば、顔認証により行われる。顔認証は、情報処理装置１１に搭載されたカメラ１４によって撮影されたユーザ顔画像に基づいて行われる。

ユーザ２０がサーバ４０にログインすると、図１及び図２に示すステップＳ１２において、ユーザの身体状態に関する判定処理５１（図３参照）が実行される。実施形態の判定処理５１は、一次判定処理（ステップＳ３２）と二次判定処理（ステップＳ３６）とを含む。実施形態の判定処理５１は、例えば、人工知能を用いて行われる。

図１に示すステップＳ３１において、一次判定処理に用いられる第１情報の取得処理が実行される。図４に示すように、実施形態において、第１情報は、カメラ１４によって撮影された顔画像８１（第１画像；第１情報）を含む。顔画像８１は、判定処理のために撮影されたものでもよいが、ユーザ認証に用いられた画像を流用するのが好ましい。ユーザ認証に用いられた顔画像を判定処理Ｓ１２にも用いることで、撮影回数を少なくでき、ユーザ負担が軽減される。

実施形態において、第１情報は、チャットボット５１ａとユーザとの対話情報を含む。チャットボット５１ａは、ユーザとの対話において、ユーザの身体状態に関する問診を行い、対話内容から、ユーザの身体状態を示す情報を取得する。身体状態を示す情報は、例えば、対話中の身体状態に関するキーワードである。キーワードは、例えば、「凝っている」「微熱」「食欲」「便秘」「肌あれ」など対話内容から形態素解析により抽出された単語である。身体状態を示す情報は、対話内容を意味解析して得られた情報であってもよい。なお、チャットボット５１ａは、サーバ４０の機能であってもよいし（図３参照）、情報処理装置１１の機能であってもよい。

実施形態において、第１情報は、ウェアラブル機器２２から取得されたバイタルデータ（ライフログ）を含む。バイタルデータは、スマートフォン２１又はマッサージ装置１０から取得されてもよい。

実施形態において、第１情報は、個人情報データベース６６（図３参照）に保存された個人情報を含む。個人情報データベース６６は、ユーザ２０の性別・年齢のほか、ユーザ２０から過去に取得された情報（第１情報及び後述の第２情報）、ユーザ２０についての過去の判定処理５１の結果、ユーザ２０のマッサージ履歴（マッサージ装置１０によるマッサージ動作の内容と日時）、ユーザ２０の食事履歴、ユーザ２０の運動履歴、ユーザ２０の病歴などを含む。

カメラ１４、チャットボット５１ａ、及びウェアラブル機器２２から取得された第１情報が、現在のユーザ２０に関するデータ（新規データ）であるのに対して、個人情報データベース６６は、過去のユーザ２０に関する保存済みデータ（過去データ）である。過去及び現在のデータを判定に用いることで、過去と現在の差を判定に利用することができる。

ステップＳ３２の一次判定処理では、ユーザ２０に関する第１情報を用いて、ユーザ２０の身体状態が判定される。身体状態の判定には、例えば、判定用ビッグデータ６７（図３参照）を機械学習した人工知能が用いられる。機械学習は、例えば、深層学習である。判定用ビッグデータ６７は、例えば、身体状態の判定に用いられた情報と判定結果との組み合わせからなるデータを多数有して構成される。

ステップＳ３１において取得された第１情報を、学習済みの人工知能に与えると、人工知能は、ユーザ２０の身体状態を出力する。なお、身体状態の判定は、機械学習済み人工知能で行われる必要はなく、第１情報から身体状態を導くためのルールに基づく処理によって行われてもよい。また、身体状態の判定は、機械学習済み人工知能とルールに基づく処理とを組み合わせてもよい。

ルールに基づいて身体状態を判定するには、例えば、顔画像に基づいて、顔色を識別し、顔色に基づいて所定の身体状態を出力してもよい。また、顔画像に対する画像認識処理により、顔における湿疹の発生などを検出し、湿疹の状況によって所定の身体状態を出力してもよい。また、過去データと新規データとの間に差がある場合には、その差に基づいて所定の身体状態を出力してもよい。また、対話情報に含まれるキーワードに基づいて、所定の身体状態を出力してもよい。

新規データである第１情報及び一次判定処理の結果（身体状態）は、個人情報データベース６６に保存され、将来の判定処理５１に用いられる。

ステップＳ３２の一次判定処理の後、ステップＳ３３において、追加判定処理である二次判定処理の要否が判定される。実施形態において、二次判定処理は、一次判定処理よりも詳細な判定又は異なる判定を行う。ステップＳ３３では、ユーザ２０の身体状態が、そのような追加判定が必要な状態であるか否かが判定される。

二次判定処理の要否は、例えば、図５に示す二次判定要否テーブル６１を参照することで判定される。二次判定要否テーブル６１は、身体状態と二次判定の要否とが対応付けられている。例えば、「良好」という身体状態には、二次判定要否として「不要」が対応付けられている。また、「顔色が白色」「顔色が黄色」「顔色が赤色」「顔色が青色」「顔色が黒色」などの顔色不良に関する身体状態、「吹き出物、ニキビ」「シミ」「乾燥」などの肌荒れに関する身体状態、「目の下のクマ」「目の充血」などの睡眠不足に関する身体状態には、二次判定要否として「必要」が対応付けられている。

ステップＳ３３の判定では、一次判定処理の結果である身体状態に基づいて、二次判定要否テーブル６１を参照することで、二次判定処理の要否を判定する。なお、二次判定処理の要否の判定は、テーブル６１の参照ではなく、一次判定処理の結果に基づき機械学習済みの人工知能で行ってもよい。

ステップＳ３３において二次判定処理が必要と判断された場合、ステップＳ３４において、二次判定処理に用いられる第２情報の種類が決定される。第２情報の種類も図５に示すテーブル６１を参照することで決定される。テーブル６１では、二次判定処理が必要である身体状態には、第２情報の種類も対応付けられている。例えば、「顔色が白色」という身体状態には、第２情報として「鼻の拡大画像、問診」などが対応付けられている。「顔色が黄色」という身体状態には、第２情報として「口の拡大画像、問診」などが対応付けられている。「顔色が赤色」という身体状態には、第２情報として「手の拡大画像、舌の拡大画像」などが対応付けられている。「顔色が青色」という身体状態には、第２情報として「目の拡大画像、問診」などが対応付けられている。「顔色が黒色」という身体状態には、第２情報として「耳の拡大画像、問診」などが対応つけられている。また、「吹き出物、ニキビ」という身体状態には、第２情報として「吹き出物、ニキビが出ている位置の拡大画像」が対応付けられている。「シミ」という身体状態には、第２情報として「舌の拡大画像、問診」などが対応付けられている。「乾燥」という身体状態には、第２情報として「食事データ」などが対応付けられている。さらに、「目の下のクマ」という身体状態には、第２情報として「睡眠データ」が対応付けられている。「目の充血」という身体状態には、第２情報として「舌の拡大画像」が対応付けられている。

第２情報の種類を決定することで、取得すべき第２情報を、一次判定処理の結果に応じて必要とされるものだけに絞ることができる。この結果、ユーザ負担を軽減できる。なお、舌の拡大画像は、二次判定処理のための多くの情報が得られるため、すべての身体状態において取得される第２情報として、舌の拡大画像を含んでもよい。

ステップＳ３５において、第２情報の取得処理が実行される。第２情報は、第１情報とは異なる情報である。例えば、第１情報が、顔の全体画像であれば、第２情報としての画像は、顔の一部の拡大画像である。顔の一部とは、例えば、鼻、目（眼底）、口腔、唇、舌、耳、頬、喉である。第２画８２像は、ユーザの顔以外の部位の画像であってもよい。顔以外の部位は、例えば、手、足、その他の部位である。

第２情報としての画像は、スマートフォン２１のようにユーザ２０が手にもって撮影できるモバイル機器に搭載されたカメラ２１ａによって撮影されるのが好ましい。マッサージ装置１０に着座したユーザ２０の顔全体を撮影するように配置されたカメラ１４によって、顔の拡大画像又は顔以外の部位の画像を撮影するには、ユーザ２０が体を動かす必要があり、ユーザ負担が大きい。これに対して、手にもって撮影できるモバイル機器のカメラ２１ａを用いると、手を動かすなどの少ない動きで、顔の拡大画像又は顔以外の部位の画像を撮影でき、ユーザ負担が少ない。また、ユーザが、マッサージ装置１０に着座したまま、様々な部位を撮影するのも容易である。なお、第２情報としての画像は、マッサージ装置１０に搭載されたカメラ１４によって撮影された画像を含んでもよい。

図４に、第２情報としての画像を取得するために、情報処理装置１１のタッチパネル１５又は通信端末２１の画面に表示される画面９０を示した。画面９０では、ステップＳ３４で決定された種類の画像をユーザ２０が撮影するためのガイダンスが表示される。

画面９０には、ステップＳ３４で決定された種類の画像に対応するサンプル画像９２が表示される。例えば、ステップＳ３４において、決定された第２画像８２の種類が、舌の拡大画像を含む場合、サンプル画像９２として、舌の拡大画像が表示される。サンプル画像９２は舌を撮影した画像でもよいし、イラスト画像でもよい。サンプル画像９２を表示することで、判定に適切な画像を得やすくなる。

画面９０には、ステップＳ３４で決定された種類の画像を撮影することをユーザに促す説明文９１が表示される。例えば、ステップＳ３４において、決定された第２画像８２の種類が、舌の拡大画像を含む場合、「サンプル画像を参考に舌の画像を撮影してください」との説明文９１が表示される。

画面９０には、カメラ２１ａからの画像が表示される領域９３を備えている。ユーザ２０は、サンプル画像９２を参考にして、自ら舌を出し、撮影ボタン９４を選択することで、自らの舌の拡大画像を撮影することができる。

第１情報が、対話情報である場合、第２情報としての対話情報は、第１情報としての対話情報を得るための対話ではなされなかった質問を含む対話に基づく対話情報である。第２情報としての対話情報を得るために、より詳細な身体状態（病態など）を特定するための追加的な質問をすることで、より詳細な対話情報を得ることができる。

第２情報は、第１情報には含まれていなかった検査機器２３の検査データを含むことができる。検査データを得るには、検査機器２３を操作したり、検査のための時間を要したり、ユーザへの負担が比較的大きい。しかし、第２情報は、一次判定処理の結果、必要と判断された場合にだけ取得されるため、一律に検査データを取得する場合に比べて、ユーザ負担を抑えることができる。なお、第１情報に検査データを含んでもよい。

ステップＳ３６の二次判定処理では、ユーザ２０に関する第２情報を用いて、ユーザ２０の身体状態が判定される。二次判定処理における身体状態の判定にも、例えば、判定用ビッグデータ６７（図３参照）を機械学習した人工知能が用いられる。

ステップＳ３５にて取得された第２情報を、学習済みの人工知能に与えると、人工知能は、ユーザ２０の身体状態を出力する。二次判定処理では、一次判定処理に用いられた第１情報とは異なる第２情報が用いられるため、追加的な判定を行える。二次判定処理において、第１情報も用いてもよい。二次判定処理においても、個人情報データベース６６に保存された過去データを用いることができる。

なお、二次判定処理における身体状態の判定も、機械学習済み人工知能で行われる必要はなく、第２情報から身体状態を導くためのルールに基づく処理によって行われてもよい。また、身体状態の判定は、機械学習済み人工知能とルールに基づく処理とを組み合わせてもよい。

このように、実施形態の判定処理５１では、一次判定処理の結果、二次判定処理が必要と判定された場合に、必要な第２情報が取得される。一方、一次判定処理の結果、二次判定処理が不要と判定された場合には、第２情報は取得されない。したがって、サーバ４０は、ユーザ２０から多くの情報を取得する機能を有していたとしても、ユーザ２０から情報を取得するのは必要な場合に限られる。この結果、ユーザ負担が軽減される。一方、サーバ４０は、二次判定処理においては、必要な多くの情報を取得できるため、より適切な判定を行うことができる。

新規データである第２情報及び二次判定処理の結果（身体状態）は、個人情報データベース６６に保存され、将来の判定処理５１に用いられる。

以上の判定処理５１（ステップＳ１２）が終了すると、サーバ４０は、判定処理の結果に基づいて、ユーザのための様々な処理を実行することができる。実施形態においては、図２に示すステップＳ１３において、対応者との間のコミュニケーションの要否の判定が実行される。ステップＳ１３の判定は、ユーザ対応を、機械（人工知能）であるサーバ４０から、人間である対応者に引き継ぐか否かの判定である。

コミュニケーションの要否の判定は、二次判定の結果（身体状態）に基づいて行われる。コミュニケーションの要否は、例えば、図６に示すコミュニケーション要否テーブル６２を参照することで判定される。コミュニケーション要否テーブル６２は、身体状態とコミュニケーションの要否とが対応付けられている。例えば、「問題なし」及び「睡眠不足」という身体状態には、コミュニケーション要否として「不要」が対応付けられている。また、「判断不能」「健康上の問題が大きい状態」「美容上の改善が可能な状態」という身体状態には、コミュニケーション要否として「必要」が対応付けられている。

ステップＳ１３の判定では、二次判定処理の結果である身体状態に基づいて、コミュニケーション要否テーブル６２を参照することで、コミュニケーション要否を判定する。なお、コミュニケーション要否の判定は、テーブル６２の参照ではなく、二次判定処理の結果に基づき機械学習済みの人工知能でおこなってもよい。また、コミュニケーション要否の判定は、一次判定処理の結果を用いてもよい。また、ステップＳ１３の判定において、コミュニケーションが不要と判断された場合においても、ユーザがコミュニケーションを望むことを示す信号をサーバ４０が受け付けた場合には、ユーザが望む対応者とのコミュニケーションを行うことができる。さらに、ステップＳ１３の判定において、コミュニケーションが必要と判断された場合であっても、ユーザがコミュニケーションを望まないことを示す信号をサーバ４０が受け付けた場合には、コミュニケーションが実行されないようにしてもよい。

ステップＳ１３において、コミュニケーションが必要と判断された場合、ステップＳ１４において、対応者の選択処理がなされる。対応者は図６に示すテーブル６２を参照することで選択される。テーブル６２では、対応者とのコミュニケーションが必要である身体状態には、所定の対応者も対応付けられている。例えば、「判断不能」には、「アドバイザ」が対応者として対応付けられている。「呼吸器系に関する問題の可能性」という身体状態には、「呼吸器科の医師」が対応者として対応つけられている。「消化器系に関する問題の可能性」という身体状態には、「消化器科の医師」が対応者として対応付けられている。「循環器系に関する問題の可能性」という身体状態には、「循環器科の医師」が対応者として対応付けられている。「自律神経系に関する問題の可能性」という身体状態には、「心療内科又は精神科の医師」が対応付けられている。「軽度の肌荒れ」という身体状態には、「エステティシャン」が対応者として対応付けられている。「重度の肌荒れ」という身体状態には、「皮膚科の医師」が対応者として対応付けられている。「軽度の睡眠不足」という身体状態には、「アドバイザ」が対応者として対応付けられている。「重度の睡眠不足」という身体状態には、「心療内科又は精神科の医師」が対応者として対応付けられている。実施形態によれば、ユーザの状況に応じて適切な対応者を選択することができる。なお、対応者は、ユーザによって選択されてもよい。

ステップＳ１６において、選択された対応者が、その時点で対話可能であるか否かが判定される。対話可能であるか否かは、選択された対応者のスケジュールを持つ対応者データベース６３，６４，６５（図７参照）を参照することで判定される。実施形態において、対応者データベースは、医師データベース６３、エステティシャンデータベース６４及びアドバイザデータベース６５を含む。各データベース６３，６４，６５は、複数の対応者毎の対応可能スケジュール情報を有している。スケジュール情報は、対応者が対話可能な日、曜日、時間帯を示す情報を含む。ステップＳ１６では、選択された対応者のスケジュール情報に照らして、現在の日時において、選択された対応者が対話可能であるか否かが判定される。

ステップＳ１６において対話可能と判定された場合、対応者とのコミュニケーションのための通信セッション確立処理が実行される（ステップＳ１８，Ｓ２１，Ｓ２４）。実施形態においては、図８に示すように、通信セッションＳ１，Ｓ２，Ｓ３は、マッサージ装置１０と対応者端末１０１，１０２，１０３との間で、ネットワーク３０を介して確立される。通信セッション確立処理は、サーバ４０が、強制的に通信セッションＳ１，Ｓ２，Ｓ３を確立する処理であってもよいし、ユーザ２０又は対応者の操作によって通信セッションＳ１，Ｓ２，Ｓ３を確立させるための画面を、マッサージ装置１０又は対応者端末１０１，１０２，１０３に表示させる処理であってもよい。

実施形態において、通信セッションＳ１，Ｓ２，Ｓ３、ビデオ通話が可能な通信セッションである。対応者は、ユーザ２０の顔を見ながら、対応することができる。マッサージ装置１０－対応者端末１０１，１０２，１０３間に通信セッションが確立すると、サーバ４０は、判定処理５１に用いられたユーザ情報（第１情報及び第２情報）及びその他のユーザに関する情報を、対応者端末に送信する処理を実行する（ステップＳ１９，Ｓ２２，Ｓ２５）。これにより、対応者は、ユーザの状況を把握するのが容易になる。

ユーザ情報は、サーバ４０から直接、対応者端末１０１，１０２，１０３へ送信されてもよいし、ユーザ側装置であるマッサージ装置１０経由で対応者端末１０１，１０２，１０３へ送信されてもよい。

対応者とユーザとの対話が完了すると、通信セッションは終了する（ステップＳ２０，Ｓ２３，Ｓ２６）。

また、ステップＳ１６において対話不可と判定された場合、ステップＳ１７において、対応者とのコミュニケーションの予約処理が実行される。対話不可と判定されるのは、例えば、スケジュール情報上、その時点で、対話可能な対応者が存在しない場合である。例えば、夜間や休日においては、予約処理が実行される。予約処理では、サーバ４０は、予約可能な日時と対応者リストとを、情報処理装置１１に表示させる。ユーザ２０は、予約日時と対応者を選択することで、予約が完了する。予約処理を行うことで、事後的に対応者とコミュニケーションをとることができる。なお、予約処理は、対応者が対話可能と判定された場合においても実行可能であってもよい。

さて、ステップＳ１３において、対応者とのコミュニケーションが不要と判定された場合であっても、サーバ４０は、ステップＳ１５において、ユーザのための他の処理を実行することができる。

ユーザのための他の処理は、例えば、二次判定処理の結果に応じたビデオ画像をユーザ端末に表示させる処理５４（図３参照）である。表示されるビデオ画像は、例えば、二次判定処理の結果（身体状態）に基づいて、人工知能により選択される。ビデオ画像を選択する人工知能は、身体状態とビデオ画像との関係を機械学習したものである。ビデオ画像は、例えば、身体状態の改善に関するものが好ましい。

ユーザのための他の処理は、例えば、ユーザ２０に病院に行くことを勧める処理５５（図３参照）である。この処理５５により、ユーザ２０の健康状態が、緊急性を要するような状況であるときには、病院に行くことを促すことができる。

ユーザのための他の処理は、二次判定処理の結果に応じた生活習慣改善アドバイスをユーザ端末に出力させる処理５６（図３参照）である。表示されるアドバイスは、二次判定結果が、例えば、肥満傾向を示すものである場合、食事の量を制限するアドバイスや運動量を増やすアドバイスを含むことができる。

ユーザのための他の処理は、二次判定処理又は二次判定を含む判定処理全体を再度行うスケジュールを設定する処理５７である。サーバ４０は、情報処理装置１１に、スケジュールを設定させる画面を表示させる。そして、ユーザ入力により、スケジュールが設定される。これにより、ユーザ２０が希望するときに、再度の判定処理を実行することが可能となる。

ユーザのための他の処理は、二次判定処理の結果又は一次判定処理の結果に応じた推奨商品をユーザ端末に表示させる処理５８である。例えば、判定結果が、栄養不足を示すものである場合、栄養補助食品をユーザに提示することができる。また、判定結果が、運動不足を示すものである場合、運動器具をユーザに提示することができる。

なお、ユーザのための処理５４，５５，５６，５７，５８は、対応者とのコミュニケーションが行われる場合に実行されてもよい。また、ユーザのための処理５４，５５，５６，５７，５８は、後述のマッサージ動作決定処理（ステップＳ２７）により決定されたマッサージ動作の実行中に並行して実行されてもよし、マッサージ動作の実行後に実行されてもよい。

ステップＳ２７のマッサージ動作決定処理では、ステップＳ１２の判定処理５１の結果に基づいて、マッサージ装置１０に行わせるマッサージ動作が決定される。決定されたマッサージ動作は、サーバ４０から情報処理装置１１へ送信される。情報処理装置１１は、受信したマッサージ動作を、マッサージ装置本体１０ａに実行させる。本実施形態においては、身体状態に応じた適切なマッサージが行われる。さらに、本実施形態では、必要に応じて多くの情報を用いた詳細な身体状態判定が行われるため、身体状態の違いに応じて、きめ細かくマッサージの内容を調整することができる。

マッサージ動作決定処理では、個人情報データベース６６に保存された過去データをも用いて、マッサージ動作を決定することができる。過去データとしては、例えば、ユーザ２０に対して過去施されたマッサージ動作の内容である。過去のマッサージ動作の内容は、ユーザのマッサージの好みも示している。したがって、ユーザの過去データをも参照してマッサージ動作を決定すると、同じ身体状態であっても、ユーザの好みに応じた異なるマッサージ動作を決定することができる。

マッサージ動作決定処理では、二次判定処理の結果の有無に応じて、マッサージ動作の決定方法を異ならせることができる。多くの場合、一次判定処理は少ない情報に基づいて行われるため、判定の精度が比較的低い。したがって、マッサージ動作の決定も簡易な処理で行うのが好適である。

簡易な処理によるマッサージ動作の決定の仕方は、例えば、既存の複数のマッサージコース候補の中からの選択である。例えば、図９に示すように、身体状態とマッサージコースとが対応付けられたマッサージコーステーブル６８を参照することにより、一次判定処理の結果が示す身体状態に応じたマッサージコースを、複数のマッサージコース候補の中から選択することができる。

また、多くの場合、二次判定処理はより多い情報に基づいて行われるため、判定の精度が比較的高い。したがって、マッサージ動作の決定も、既存のマッサージコースの選択ではなく、ユーザ２０の状況に応じた新たなマッサージコースを自動生成する処理で行うのが好適である。

マッサージコースの自動生成は、例えば、標準的なマッサージコース２０１を、二次判定処理の結果が示す身体状態に応じて、適宜改変することによって行える。また、マッサージコースの自動生成は、個人情報データベース６６に保存されているユーザ２０の好みのマッサージコースを、身体状態に応じて、適宜改変することによって行ってもよい。

さらに、マッサージコースの自動生成は、マッサージ部位（経絡の位置）２０２、マッサージ動作（揉み、叩きなど）２０３、マッサージ強さ２０４、マッサージ時間２０５など、マッサージコースを規定する要素を組み合わせることで行われてもよい。各要素の組み合わせの際には、二次判定処理の結果が考慮される。各要素の組み合わせの際には、個人情報データベース６６に保存された過去データを考慮してもよい。

決定されたマッサージ動作は、個人情報データベース６６に新規データとして保存される。

本実施形態において、マッサージ動作決定処理は、判定処理の判定結果にかかわらず常に実行されてもよい。ただし、対応者との間のコミュニケーションが必要と判定された場合には、マッサージ動作決定処理を実行することなく、コミュニケーションのための処理を優先して実行するのが好適である。この場合、直ちに医師に相談することが望まれるような状況等において、マッサージ動作の実行を回避することで、ユーザ２０は、医師等の対応者とのコミュニケーションを迅速に行うことができる。

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

１０ マッサージ装置
１０ａ マッサージ装置本体
１１ 情報処理装置（マッサージ装置に搭載された端末）
１２ プロセッサ
１３ 記憶装置
１４ 第１カメラ（マッサージ装置に搭載された端末）
１５ タッチパネル
１６ マイク
１７ スピーカ
１８ 通信ＩＦ
１９ 通信ＩＦ
２０ ユーザ
２１ スマートフォン（モバイル機器）
２１ａ 第２カメラ（モバイル機器に搭載された端末）
２２ ウェアラブル機器
２３ 検査機器（検査アプリケーション）
３０ ネットワーク
４０ サーバ（情報処理装置）
５０ プロセッサ
５１ 判定処理
５１ａ チャットボット
５２ コミュニケーションのための情報処理
５３ マッサージ動作決定処理
５４ ビデオ表示処理
５５ 病院表示処理
５６ 生活習慣改善アドバイス表示処理
５７ 再判定スケジュール設定処理
５８ 推奨商品表示処理
６０ 記憶装置
６１ 二次判定要否テーブル
６２ コミュニケーション要否テーブル
６３ 医師データベース
６４ エステティシャンデータベース
６５ アドバイザデータベース
６６ 個人情報データベース
６７ 判定用ビッグデータ
６８ マッサージコーステーブル
７０ コンピュータプログラム
８１ 第１画像（第１情報）
８２ 第２画像（第２情報）
９０ 画面
９１ 説明文表示
９２ サンプル画像
９３ 第２カメラ画像表示領域
９４ 撮影ボタン
１０１ 医師端末
１０２ エステティシャン端末
１０３ アドバイザ端末
２０１ 標準マッサージコース
２０２ マッサージ部位
２０３ マッサージ動作
２０４ マッサージ強さ
２０５ マッサージ時間
Ｓ１ 通信セッション
Ｓ２ 通信セッション
Ｓ３ 通信セッション

Claims (8)

1. ユーザの身体状態に関する判定処理を実行し、
   前記判定処理の結果に基づいて、前記ユーザと人間である対応者との間のコミュニケーションの要否を判定し、
   前記コミュニケーションが必要であると判定された場合、前記コミュニケーションのための情報処理を実行し、
   前記コミュニケーションのための前記情報処理は、前記コミュニケーションの準備処理を含み、
   前記準備処理は、前記コミュニケーションの予約処理を含み、
   前記情報処理の結果、前記対応者と対話不可と判定された場合、前記コミュニケーションの予約処理が実行されるよう構成され、
   前記判定処理の結果を用いて、前記ユーザが使用するマッサージ装置に行わせる動作を決定する動作決定処理をさらに実行するよう構成された情報処理装置。
2. 前記コミュニケーションのための前記情報処理は、前記コミュニケーションのための通信セッションの確立処理を含む請求項１に記載の情報処理装置。
3. 前記コミュニケーションのための前記情報処理は、前記判定処理に用いられた前記ユーザの情報を前記対応者の端末に表示可能にする処理を含む請求項１又は２に記載の情報処理装置。
4. 前記コミュニケーションのための前記情報処理は、前記判定処理の結果に基づいて選択される請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記コミュニケーションのための前記情報処理は、日又は時間に基づいて選択される請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記対応者は、前記判定処理の結果に基づいて選択される請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記コミュニケーションが必要であると判定された場合、前記動作決定処理を実行することなく、前記コミュニケーションのための前記情報処理を実行する請求項１～６に記載の情報処理装置。
8. ユーザの身体状態に関する判定処理を実行し、
   前記判定処理の結果に基づいて、前記ユーザと人間である対応者との間のコミュニケーションの要否を判定し、
   前記コミュニケーションが必要であると判定された場合、前記コミュニケーションのための情報処理を実行し、
   前記コミュニケーションのための前記情報処理は、前記コミュニケーションの準備処理を含み、
   前記準備処理は、前記コミュニケーションの予約処理を含み、
   前記情報処理の結果、前記対応者と対話不可と判定された場合、前記コミュニケーションの予約処理が実行され、
   前記判定処理の結果を用いて、前記ユーザが使用するマッサージ装置に行わせる動作を決定する動作決定処理をさらに実行することを含む情報処理装置の動作方法。

Images