JP7352789B2 - 表示方法、プログラム、及び表示システム - Google Patents

表示方法、プログラム、及び表示システム Download PDF

Info

Publication number
JP7352789B2
JP7352789B2 JP2019036911A JP2019036911A JP7352789B2 JP 7352789 B2 JP7352789 B2 JP 7352789B2 JP 2019036911 A JP2019036911 A JP 2019036911A JP 2019036911 A JP2019036911 A JP 2019036911A JP 7352789 B2 JP7352789 B2 JP 7352789B2
Authority
JP
Japan
Prior art keywords
mental
level
user
display
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019036911A
Other languages
English (en)
Other versions
JP2020137895A (ja
Inventor
晃久 奥谷
綾菜 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019036911A priority Critical patent/JP7352789B2/ja
Publication of JP2020137895A publication Critical patent/JP2020137895A/ja
Application granted granted Critical
Publication of JP7352789B2 publication Critical patent/JP7352789B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本開示は、一般に表示方法、プログラム、及び表示システムに関し、より詳細にはユーザの精神状態に関する情報を表示する表示方法、プログラム、及び表示システムに関する。
従来、視聴者の心理状態を推定し、最適な状態で映像や音響を再生する再生装置が開示されている(例えば、特許文献1参照)。
特許文献1では、単一の生体情報センサにより視聴者の心理状態を推定し、推定結果により最適な状態で映像や音響を再生する。
特開2006-15046号公報
特許文献1の再生装置では、ユーザは自身の精神状態を客観的に知ることができなかった。
本開示は、上記事由に鑑みてなされており、その目的は、ユーザが自身の精神状態を客観的に知ることができる表示方法、プログラム、及び表示システムを提供することにある。
本開示の一態様に係る表示方法は、生体情報取得処理と、表示処理と、を含む。前記生体情報表示処理では、ユーザの生体活動に関連する生体情報を取得する。前記表示処理では、前記生体情報に基づいた前記ユーザの精神状態の度合いを示すメンタル度、及び前記メンタル度を分析した分析情報を表示部に表示させる。前記メンタル度は、快適度を示す快適軸と覚醒度を示す覚醒軸とで表される精神状態の二次元パラメータを、前記快適軸と前記覚醒軸との交点を通る軸を座標軸とする一次元パラメータに変換したデータである。前記分析情報は、前記ユーザとは異なる他ユーザの精神状態の度合いを示すメンタル度を含み、かつ、複数の前記他ユーザの前記メンタル度の代表データを含む。前記表示処理では、前記表示部において、前記複数の他ユーザの前記メンタル度の前記代表データとして正規分布データを表示し、前記ユーザが前記正規分布データ上の任意の点を選択すると、前記複数の他ユーザのうちの前記任意の点を通る他ユーザの前記メンタル度及び行動情報を表示する。
本開示の一態様に係るプログラムは、コンピュータシステムに前記表示方法を実行させる。
本開示の一態様に係る表示システムは、測定部と、生体情報取得部と、算出部と、分析部と、表示部と、を備える。前記測定部は、ユーザの生体活動に関連する生体情報を測定する。前記生体情報取得部は、前記測定部から前記生体情報を取得する。前記算出部は、前記生体情報に基づいた前記ユーザの精神状態の度合いを示すメンタル度を算出する。前記分析部は、前記メンタル度を分析した分析情報を生成する。前記表示部は、前記メンタル度及び前記分析情報を表示する。前記メンタル度は、快適度を示す快適軸と覚醒度を示す覚醒軸とで表される精神状態の二次元パラメータを、前記快適軸と前記覚醒軸との交点を通る軸を座標軸とする一次元パラメータに変換したデータである。前記分析情報は、前記ユーザとは異なる他ユーザの精神状態の度合いを示すメンタル度を含み、かつ、複数の前記他ユーザの前記メンタル度の代表データを含む。前記表示部は、前記複数の他ユーザの前記メンタル度の前記代表データとして正規分布データを表示し、前記ユーザが前記正規分布データ上の任意の点を選択すると、前記複数の他ユーザのうちの前記任意の点を通る他ユーザの前記メンタル度及び行動情報を表示する。
本開示では、ユーザが自身の精神状態を客観的に知ることができるという効果がある。
図1は、本開示の一実施形態に係る表示システムのブロック図である。 図2は、同上の表示システムに用いられる二次元心理モデルである。 図3Aは、同上の二次元心理モデルを用いたストレス度を求めるための説明図である。図3Bは、ストレス度の時間変化を示すグラフである。 図4Aは、同上の二次元心理モデルを用いたリラックス度を求めるための説明図である。図4Bは、リラックス度の時間変化を示すグラフである。 図5Aは、同上の表示システムにおける表示部に表示される表示内容の一例である。図5Bは、同上の表示システムにおける表示部に表示される表示内容の別の例である。 図6Aは、同上の表示システムにおけるコミュニケーションアプリの表示画面の一例である。図6Bは、同上の二次元心理モデル上の精神状態の種類とイラストとの対応関係を示す説明図である。
(実施形態)
本実施形態に係る表示システム1について、図1を参照して説明する。
本実施形態の表示システム1は、ユーザの生体情報を測定し、測定結果に基づいたメンタル度、及びメンタル度の分析情報を表示するシステムである。ユーザは、表示されたメンタル度、分析情報を確認することにより、自身の精神状態を客観的に知ることができる。
本開示における「生体情報」とは、ユーザの生体活動に関連する情報であって、例えば、心拍、血圧、血管径、呼吸、瞳孔径、血糖値、表情、脳波、脳血流、発汗等のデータである。
本開示における「メンタル度」とは、ユーザの精神状態の度合いを示すパラメータであって、例えば、ユーザのストレス、リラックス、幸福、緊張等の大きさを定量化したデータである。
本開示における「分析情報」とは、メンタル度を分析した情報であって、他ユーザのメンタル度の情報を含んでいる。
本実施形態では、一例として、育児中の母親をユーザとして想定している。育児中の母親は、例えば、適切な育児ができているかどうか不安を感じたり、育児に対するストレスを感じる場合がある。このような場合に、本実施形態の表示システム1を用いることにより、自身の精神状態を客観的に知ることによって、安心感を得たり、改善点を見出したりすることができる。なお、表示システム1は、ユーザを育児中の母親に限定するものではなく、例えば、受験生、社会人、スポーツ選手など様々な人物に適用可能である。
以下に、本実施形態の表示システム1の詳細について説明する。
本実施形態の表示システム1は、測定装置2と、携帯端末3と、サーバ4と、を備えている。
測定装置2は、測定部21と、通信部22と、を備えている。
測定部21は、ユーザの生体情報を測定するように構成されている。本実施形態では、一例として、測定部21は、生体情報としてユーザの心拍(心拍数)を測定する。測定装置2は、例えばリストバンド型の光学式心拍計であり、ユーザの手首に装着されることにより、測定部21がユーザの心拍数を測定する。測定部21は、ユーザの生体情報(心拍)を比較的短い所定周期で繰り返し測定している。つまり、測定部21は、ユーザの生体情報を常時に測定している。
通信部22は、Wi-Fi(登録商標)、Bluetooth(登録商標)等の無線通信に対応した無線通信インターフェースである。通信部22は、携帯端末3と無線通信が可能に構成されている。
測定装置2は、測定部21が測定したユーザの心拍(生体情報)を、測定時の時刻情報と対応付けて、通信部22を介して携帯端末3に送信する。
なお、測定装置2(測定部21)は、生体情報として心拍(心拍数)を測定するものに限らない。測定装置2(測定部21)は、例えば、ヘッドマウント式の脳波計で構成され、ユーザの頭部に装着されることにより、生体情報としてユーザの脳波を測定してもよい。また、測定装置2(測定部21)は、カメラ装置で構成され、ユーザの瞳孔径、表情などを測定するように構成されていてもよい。また、測定装置2(測定部21)は、マイク装置で構成され、ユーザの音声、呼吸音などを測定するように構成されていてもよい。また、測定装置2(測定部21)は、複数の測定装置2を備え、ユーザの複数の生体情報を測定するように構成されていてもよい。
携帯端末3は、スマートフォン、タブレット端末等のユーザが所持する端末である。携帯端末3は、処理部30、第1通信部34、第2通信部35、表示部36、操作部37、及び記憶部38を備えている。
携帯端末3は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが処理部30(生体情報取得部31、行動情報取得部32、及び表示制御部33)として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。
第1通信部34は、通信インターフェースであり、測定装置2の通信部22と通信可能に構成されている。本実施形態では、第1通信部34は、Bluetooth(登録商標)に準拠した無線通信を通信部22との間で行うように構成されている。
第2通信部35は、通信インターフェースであり、サーバ4と通信可能に構成されている。本実施形態では、第2通信部35は、Wi-Fi(登録商標)に準拠した無線通信規格に対応しており、ルータ、ゲートウェイ端末等を介して、インターネットのような公衆のネットワーク5に通信接続が可能である。第2通信部35は、ネットワーク5を介してサーバ4と通信可能に構成されている。なお、第2通信部35は、移動体通信により、ネットワーク5を介してサーバ4と通信するように構成されていてもよい。
携帯端末3は、タッチパネルディスプレイを備えており、タッチパネルディスプレイが表示部36と操作部37とを兼ねている。表示部36は、例えば液晶ディスプレイである。操作部37は、例えばタッチパッドであり、ユーザからの操作を受け付ける。
処理部30は、生体情報取得部31、行動情報取得部32、及び表示制御部33を有する。
生体情報取得部31は、第1通信部34を介して測定装置2から測定部21の測定結果(ユーザの生体情報)を取得する生体情報取得処理を行うように構成されている。生体情報取得部31は、取得した生体情報を、第2通信部35を介してサーバ4に送信する。つまり、生体情報取得部31は、測定装置2から取得した生体情報をサーバ4に転送する。
記憶部38は、ROM(Read Only Memory)、RAM(Random Access Memory)、又はEEPROM(Electrically Erasable Programmable Read Only Memory)等から選択される記憶デバイスで構成される。記憶部38には、ユーザの行動予定が記憶されている。例えば、携帯端末3には、スケジュール管理のアプリケーション(アプリ)がインストールされており、ユーザが当該アプリに入力した行動予定が記憶部38に記憶される。なお、アプリに入力された行動予定は、クラウドサーバ等に記憶されていてもよい。
行動情報取得部32は、ユーザの行動情報を取得する行動情報取得処理を行うように構成されている。本開示における「行動情報」とは、ユーザの行動に関する情報である。例えば、行動情報は、ユーザが行った、食事、運動、読書、睡眠等の行動の内容、及びその行動を行っている時刻(時間帯)を示す情報である。行動情報取得部32は、ユーザの行動予定が記憶されている記憶部44(又はクラウドサーバ)を参照することにより、ユーザの行動情報を取得する。行動情報取得部32は、取得した行動情報を、第2通信部35を介してサーバ4に送信する。
なお、行動情報取得部32は、ユーザの行動を推定する推定部から行動情報を取得するように構成されていてもよい。推定部は、携帯端末3のプロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが推定部として機能する。推定部は、例えば、携帯端末3が備えるマイク、カメラ、加速度センサ、GPS(Global Positioning System)等の出力に基づいて、ユーザの行動を推定し、推定結果を行動情報取得部32に出力する。なお、マイク、カメラ、加速度センサ、GPS等は、携帯端末3と通信可能な別のデバイスに設けられていてもよい。例えば、加速度センサは、ユーザが装着しているウェアラブル端末に設けられていてもよい。
表示制御部33は、表示部36を制御する表示処理を行うように構成されている。表示制御部33は、第2通信部35を介してサーバ4から受信したデータ(メンタル度、分析情報)を表示部36に表示させる。表示部36の表示内容については、後述する。
サーバ4は、通信部41、算出部42、分析部43、及び記憶部44を備えている。
サーバ4は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが算出部42、及び分析部43として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。
通信部41は、通信インターフェースであり、携帯端末3(の第2通信部35)と通信可能に構成されている。通信部41は、ネットワーク5を介して第2通信部35と通信可能に構成されている。
算出部42は、通信部41を介して受信した生体情報に基づいてユーザの精神状態の度合いを示すメンタル度を算出する。言い換えれば、算出部42は、生体情報取得部31が取得した生体情報に基づいて、ユーザの精神状態の度合いを示すメンタル度を算出する。
ここで、精神状態は、例えば、快適度及び覚醒度を指標とした二次元心理モデル(たとえばラッセルの円環モデル)によって表すことができる(図2参照)。快適度とは、快適状態のレベルを示す指標である。覚醒度とは、覚醒状態のレベルを示す指標である。図2に示す二次元心理モデルでは、X軸(快適軸)が快適度を示し、Y軸(覚醒軸)が覚醒度を示している。X軸の快適度は、X軸の正領域が「快」であり、X軸の負領域が「不快」である。快適度は、X軸の正領域でのレベル(絶対値)が大きくなるほど快適度が増加し、X軸の負領域でのレベル(絶対値)が大きくなるほど不快度が増加(快適度が減少)する。Y軸の覚醒度は、Y軸の正領域が「覚醒」であり、Y軸の負領域が「鎮静」である。覚醒度は、Y軸の正領域でのレベル(絶対値)が大きくなるほど覚醒度が増加し、Y軸の負領域でのレベル(絶対値)が大きくなるほど鎮静度が増加(覚醒度が減少)する。
また、図2の二次元心理モデルでは、精神状態の種類とその種類に対応する基準点が示されている。精神状態の種類とは、例えば、興奮、幸福、安心、眠気、憂鬱、悲しみ、不満、怒り等である。二次元心理モデル上における、快適度及び覚醒度を座標軸とした二次元パラメータで表される精神評価点の位置(座標)に応じて、精神状態がどのような状態(種類)であり、さらにその状態の度合いが表される。二次元心理モデル上において、複数の基準点のうち、精神評価点に最も近い基準点に対応する種類が、ユーザの精神状態を表している。例えば、精神評価点に最も近い基準点に対応する種類が「リラックス」である場合、ユーザの精神状態がリラックス状態であることを示している。また、精神評価点と、リラックスの基準点との距離が短いほど、リラックス状態の度合いが高い、つまり、よりリラックスした状態であることを示している。
算出部42は、通信部41を介して受信した生体情報を用いて、快適度及び覚醒度を算出する。つまり、算出部42は、生体情報に基づいて、二次元心理モデルにおける快適軸及び覚醒軸を座標軸とする二次元パラメータとして精神評価点を求める。そして、算出部42は、求めた二次元パラメータ(精神評価点)を一次元化することによりメンタル度を算出する。
具体的には、算出部42は、算出対象のメンタル度に対応する精神状態の種類に基づいて、メンタル度の指標とする座標軸(基準座標軸とする)を決定する。この基準座標軸は、二次元心理モデルにおいて、算出対象のメンタル度に対応する精神状態の種類の基準点と、快適軸及び覚醒軸の交点Oと、を通る軸である。算出部42は、精神評価点を通って基準座標軸と直交する垂線が基準座標軸と交差する交点を、メンタル度として算出する。メンタル度の大きさは、基準点と交点との間の距離に応じて求まる。基準座標軸において、基準点に近いほどメンタル度が大きい。つまり、算出部42は、二次元パラメータである精神評価点を、快適軸とか覚醒軸との交点Oを通る軸を座標軸とする一次元パラメータに変換する一次元化することにより、メンタル度を算出する。
例えば、図3A、図3Bを参照して、算出対象のメンタル度に対応する精神状態の種類が「ストレス」である場合について説明する。この場合、二次元心理モデルにおける「ストレス」に対応する基準点P10が、快適軸上に存在しているので、基準座標軸Z1が快適軸と重なる。ここでは、一例として、時刻t1~t4の精神評価点がそれぞれP1、P2、P3、及びP4であるとする。精神評価点P1は、快適度及び覚醒度の両方が正である。精神評価点P2は、快適度が正であり、覚醒度が負である。精神評価点P3は、快適度及び覚醒度の両方が負である。精神評価点P4は、快適度が負であり、覚醒度が正である。
基準座標軸Z1において、精神評価点P1~P4それぞれを通る垂線が交差する点M11~M14が、それぞれ時刻t1~t4のメンタル度(ストレス度ともいう)である。ストレス度は、大きい順にM14、M13、M11、M12である(M14>M13>M11>M12)。図3Bに示すように、ストレス度は、時刻t1から時刻t2では一旦低下しているが、その後増加している。
別の例として、図4A、図4Bを参照して、算出対象のメンタル度に対応する精神状態の種類が「リラックス」である場合について説明する。この場合、二次元心理モデルにおける「リラックス」に対応する基準点P11と、快適軸及び覚醒軸の交点Oとを通る軸が基準座標軸Z2となる。
基準座標軸Z2において、精神評価点P1~P4それぞれを通る垂線が交差する点M21~M24が、それぞれ時刻t1~t4のメンタル度(リラックス度ともいう)である。リラックス度は、大きい順にM22、M23、M21、M24である(M22>M23>M21>M24)。図4Bに示すように、リラックス度は、時刻t1から時刻t2では一旦増加し、その後低下している。
ここでは、精神状態の種類がストレス、リラックスの場合を例に説明したが、他の種類のメンタル度も上記同様に算出することができる。
算出部42は、精神状態に基づいて算出したメンタル度のデータを、通信部41を介して携帯端末3に送信する。
また、算出部42は、複数のユーザそれぞれのメンタル度についても、上記同様に算出している。算出部42は、算出した複数のユーザそれぞれのメンタル度のデータを、ユーザの識別情報に対応付けて記憶部44に記憶する。
記憶部44は、HDD(Hard Disk Drive)、SSD(Solid State Drive)等から選択される記憶デバイスで構成されている。記憶部44には、複数のユーザそれぞれのメンタル度のデータを記憶する。さらに記憶部44は、携帯端末3から送信された行動情報をユーザの識別情報に対応付けて記憶する。つまり、記憶部44は、複数のユーザそれぞれのメンタル度及び行動情報を時刻情報に対応付けて記憶する。
分析部43は、算出部42が算出したメンタル度を分析した分析情報を生成するように構成されている。具体的には、分析部43は、ユーザのメンタル度と比較するための、他ユーザのメンタル度のデータを、分析情報として生成する。分析部43は、記憶部44に記憶されている複数のユーザのメンタル度のデータを参照し、単位時間ごと(例えば1時間ごと)の複数のユーザのメンタル度の平均値、及び標準偏差(2σ)を算出する。そして、分析部43は、複数の他ユーザのメンタル度の代表データとして、正規分布データを生成する。正規分布データは、単位時間ごとに、メンタル度の平均値に標準偏差(2σ)を足した値を上限値、メンタル度の平均値から標準偏差(2σ)を引いた値を下限値とするデータである。なお、標準偏差は2σに限らず、σ又は3σであってもよい。また、代表データには、他ユーザのメンタル度の中央値、最頻値等が含まれていてもよい。
ここでは、分析部43は、他ユーザとして、ユーザと同じような属性を有する人物を選択することが好ましい。ここでいう「属性」とは、性別、年齢(年代)、職業、未婚・既婚、子供の年齢等である。本実施形態では、ユーザとして育児中の母親を想定しているため、分析部43は、他ユーザとして育児中の母親を選択して、分析情報を生成する。
分析部43は、生成した分析情報(正規分布データ)を、通信部41を介して携帯端末3に送信する。
携帯端末3では、表示制御部33は、サーバ4から送信されたメンタル度、及び分析情報を表示部36に表示させる表示処理を行う。図5Aに、表示制御部33が表示部36に表示させる表示内容の一例を示す。図5Aでは、メンタル度としてストレス度を表示している。
図5Aに示すように、表示制御部33は、メンタル度、及び分析情報を時系列で表示する。表示制御部33は、ユーザのメンタル度のグラフD1と、分析情報のグラフ、具体的には平均値のグラフD20、上限値のグラフD21、及び下限値のグラフD22と、をまとめて表示部36に表示させている。
したがって、ユーザは、自身のメンタル度(グラフD1)と、他ユーザのメンタル度(グラフD20~D22)とを容易に比較することができ、自身の精神状態を客観的に知ることができる。例えば、ユーザのメンタル度が、正規分布データに含まれていれば、ユーザは、子育てで感じているストレスを、他ユーザも同様に感じていることを知ることができ、安心感、自己肯定感等を得ることができる。
また、表示部36には、メンタル度の変化が時系列で表示されている。そのため、ユーザは、例えば、どのような時間帯にストレスが大きくなり、どのような時間帯にストレスが小さくなっているかを把握することができる。
さらに、表示制御部33は、メンタル度と共にユーザの行動情報を時系列で表示部36に表示させる。これにより、ユーザは、自身の行動とメンタル度との関係を把握することができる。そのため、ユーザは、例えば、どのような行動を行っているときにストレスが大きくなり、どのような行動を行っているときにストレスが小さくなるかを把握することできる。
また、図5Bに示すように、表示制御部33は、ユーザによる操作部37への操作内容に応じて、分析情報として他ユーザのメンタル度及び行動情報を表示部36に表示させる。具体的には、表示制御部33は、正規分布データの対象となった複数の他ユーザのうち、一人の他ユーザのメンタル度及び行動情報を表示部36に表示させる。例えば、表示制御部33は、メンタル度のグラフの表示画面において、ユーザによって選択(例えばタッチパネルディスプレイのタップ)された任意の点を通る、他ユーザのメンタル度のグラフD3、及び当該他ユーザの行動情報を表示部36に表示させる(図5B参照)。図5Bは、ユーザが、正規分布データの下限値のグラフD22上の点S1をタップした場合の表示画面の例であって、この点S1を通る、他ユーザのメンタル度のグラフD3、及び当該他ユーザの行動情報が表示されている。
これにより、ユーザは、例えば、メンタル度が比較的低い他ユーザの行動を参考に、自身の行動を見直すことができ、精神状態の改善を図ることができる。また、ユーザが、メンタル度が比較的高い他ユーザの行動を参考にした場合、どのような行動を行った場合にメンタル度が悪化するかを知ることができる。
また、図5A、図5Bに示す例では、メンタル度としてストレス度を表示しているが、他の種類のメンタル度(例えば、リラックス度、興奮度、怒り度等)を表示してもよい。表示部36に表示されるメンタル度の種類は、ユーザによる操作部37への操作によって適宜選択可能である。
また、本実施形態では、携帯端末3にコミュニケーションアプリ(アプリケーション)がインストールされている。コミュニケーションアプリとは、他者の携帯端末3との間で、メッセージ、画像(写真、イラスト、動画)等をやりとりするためのプログラムである。コミュニケーションアプリは、携帯端末3の処理部30において実行される。
図6Aにコミュニケーションアプリでの画面の一例を示す。
図6Aに示す例では、ユーザと、○○さんとの、メッセージ交換を行っている。図6Aでは、ユーザの発言が右側に表示され、○○さんの発言が左側に表示されている。○○さんがユーザに対して「元気?」と発言した後、ユーザが「元気だよ!」と返事をしている。
ここで、本実施形態の携帯端末3では、コミュニケーションアプリにおいて、ユーザの現在の精神状態を表す表情のイラスト(スタンプ)を送信する機能を有している。処理部30は、コミュニケーションアプリにおいて、ユーザが、現在の精神状態に近いイラストを送信するための操作(例えばボタン選択等)を行った場合、複数のイラストのうち、ユーザの現在の精神状態に近い状態を表すイラストを選択する。具体的には、図6Bに示すように、複数のイラストは、二次元心理モデル上の精神状態の種類に対応付けられている。処理部30は、算出部42が算出した精神評価点を取得し、精神評価点に基づいて、複数のイラストのうち、精神評価点に最も近いイラストを選択する。そして、処理部30は、コミュニケーションアプリにおいて、選択したイラスト(図6AではA1)を送信する。
これにより、ユーザは、複数のイラストから自身の精神状態に近いイラストを選択する手間を省くことができる。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。
表示システム1と同様の機能は、表示方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る表示方法は、生体情報取得処理と、表示処理と、を含む。生体情報表示処理では、ユーザの生体活動に関連する生体情報を取得する。表示処理では、生体情報に基づいたユーザの精神状態の度合いを示すメンタル度、及びメンタル度を分析した分析情報を表示部36に表示させる。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、上記の表示方法を実行させるためのプログラムである。
本開示における表示システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における表示システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、表示システム1における複数の機能が、複数の筐体(クラウドコンピューティングを含む)に分散して設けられることは表示システム1に必須の構成ではなく、表示システム1の構成要素は、1つの筐体内に集約されていてもよい。例えば、表示システム1における算出部42、及び分析部43は、携帯端末3に設けられていてもよい。
(まとめ)
第1態様に係る表示方法は、生体情報取得処理と、表示処理と、を含む。生体情報表示処理では、ユーザの生体活動に関連する生体情報を取得する。表示処理では、生体情報に基づいたユーザの精神状態の度合いを示すメンタル度、及びメンタル度を分析した分析情報を表示部(36)に表示させる。
この態様によれば、ユーザが、表示部(36)に表示されたメンタル度、分析情報を確認することにより、自身の精神状態を客観的に知ることができる。
第2態様に係る表示方法では、第1態様において、表示処理は、表示部(36)にメンタル度を時系列で表示させる。
この態様によれば、ユーザが、時間経過に伴うメンタル度の変化を把握しやすくなる。
第3態様に係る表示方法は、第1又は第2態様において、行動情報取得処理を更に含む。行動情報取得処理では、ユーザの行動に関する行動情報を取得する。表示処理では、表示部(36)に行動情報を更に表示させる。
この態様によれば、ユーザが、メンタル度と行動の関連性を把握しやすくなる。
第4態様に係る表示方法では、第1~第3態様のいずれかにおいて、分析情報は、ユーザとは異なる他ユーザの精神状態の度合いを示すメンタル度を含む。
この態様によれば、ユーザが、自身のメンタル度と他ユーザのメンタル度とを比較することができる。
第5態様に係る表示方法では、第4態様において、分析情報は、複数の他ユーザのメンタル度の代表データを含む。
この態様によれば、ユーザが、自身のメンタル度と、複数の他ユーザのメンタル度とを比較することができる。
第6態様に係る表示方法では、第4又は第5態様において、表示処理では、表示部(36)に他ユーザの行動に関する行動情報を更に表示させる。
この態様によれば、ユーザが、自身の行動と、他ユーザの行動とを比較することができ、自身のメンタル度と行動との関連性をより詳細に把握しやすくなる。
第7態様に係る表示方法では、第1~第6態様のいずれかにおいて、メンタル度は、快適度を示す快適軸と覚醒度を示す覚醒軸とで表される精神状態の二次元パラメータを、快適軸と覚醒軸との交点を通る軸を座標軸とする一次元パラメータに変換したデータである。
この態様によれば、メンタル度を一次元パラメータで定量化することができ、ユーザが自身の精神状態を把握しやすくなる。
第8態様に係るプログラムは、コンピュータシステムに、第1~第7態様のいずれかの表示方法を実行させる。
この態様によれば、ユーザが、表示部(36)に表示されたメンタル度、分析情報を確認することにより、自身の精神状態を客観的に知ることができる。
第9態様に係る表示システム(1)は、測定部(21)と、生体情報取得部(31)と、算出部(42)と、分析部(43)と、表示部(36)と、を備える。測定部(21)は、ユーザの生体活動に関連する生体情報を測定する。生体情報取得部(31)は、測定部(21)から生体情報を取得する。算出部(42)は、生体情報に基づいたユーザの精神状態の度合いを示すメンタル度を算出する。分析部(43)は、メンタル度を分析した分析情報を生成する。表示部(36)は、メンタル度及び分析情報を表示する。
この態様によれば、ユーザが、表示部(36)に表示されたメンタル度、分析情報を確認することにより、自身の精神状態を客観的に知ることができる。
1 表示システム
21 測定部
31 生体情報取得部
36 表示部
42 算出部
43 分析部

Claims (6)

  1. ユーザの生体活動に関連する生体情報を取得する生体情報取得処理と、
    前記生体情報に基づいた前記ユーザの精神状態の度合いを示すメンタル度、及び前記メンタル度を分析した分析情報を表示部に表示させる表示処理と、を含み、
    前記メンタル度は、快適度を示す快適軸と覚醒度を示す覚醒軸とで表される精神状態の二次元パラメータを、前記快適軸と前記覚醒軸との交点を通る軸を座標軸とする一次元パラメータに変換したデータであ
    前記分析情報は、前記ユーザとは異なる他ユーザの精神状態の度合いを示すメンタル度を含み、かつ、複数の前記他ユーザの前記メンタル度の代表データを含み、
    前記表示処理では、前記表示部において、前記複数の他ユーザの前記メンタル度の前記代表データとして正規分布データを表示し、前記ユーザが前記正規分布データ上の任意の点を選択すると、前記複数の他ユーザのうちの前記任意の点を通る他ユーザの前記メンタル度及び行動情報を表示する、
    表示方法。
  2. 前記表示処理では、前記表示部に前記メンタル度を時系列で表示させる、
    請求項1に記載の表示方法。
  3. 前記ユーザの行動に関する行動情報を取得する行動情報取得処理を更に含み、
    前記表示処理では、前記表示部に前記行動情報を更に表示させる、
    請求項1又は2に記載の表示方法。
  4. 前記表示処理では、前記表示部に前記他ユーザの行動に関する行動情報を更に表示させる、
    請求項1~3のいずれか1項に記載の表示方法。
  5. コンピュータシステムに、請求項1~4のいずれか1項に記載の表示方法を実行させるためのプログラム。
  6. ユーザの生体活動に関連する生体情報を測定する測定部と、
    前記測定部から前記生体情報を取得する生体情報取得部と、
    前記生体情報に基づいた前記ユーザの精神状態の度合いを示すメンタル度を算出する算出部と、
    前記メンタル度を分析した分析情報を生成する分析部と、
    前記メンタル度及び前記分析情報を表示する表示部と、を備え、
    前記メンタル度は、快適度を示す快適軸と覚醒度を示す覚醒軸とで表される精神状態の二次元パラメータを、前記快適軸と前記覚醒軸との交点を通る軸を座標軸とする一次元パラメータに変換したデータであり、
    前記分析情報は、前記ユーザとは異なる他ユーザの精神状態の度合いを示すメンタル度を含み、かつ、複数の前記他ユーザの前記メンタル度の代表データを含み、
    前記表示部は、前記複数の他ユーザの前記メンタル度の前記代表データとして正規分布データを表示し、前記ユーザが前記正規分布データ上の任意の点を選択すると、前記複数の他ユーザのうちの前記任意の点を通る他ユーザの前記メンタル度及び行動情報を表示する、
    表示システム。
JP2019036911A 2019-02-28 2019-02-28 表示方法、プログラム、及び表示システム Active JP7352789B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019036911A JP7352789B2 (ja) 2019-02-28 2019-02-28 表示方法、プログラム、及び表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019036911A JP7352789B2 (ja) 2019-02-28 2019-02-28 表示方法、プログラム、及び表示システム

Publications (2)

Publication Number Publication Date
JP2020137895A JP2020137895A (ja) 2020-09-03
JP7352789B2 true JP7352789B2 (ja) 2023-09-29

Family

ID=72279619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019036911A Active JP7352789B2 (ja) 2019-02-28 2019-02-28 表示方法、プログラム、及び表示システム

Country Status (1)

Country Link
JP (1) JP7352789B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199422A1 (ja) * 2022-04-13 2023-10-19 日本電気株式会社 内面状態推定装置、内面状態推定方法及び記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222518A (ja) 2004-01-08 2005-08-18 Daikin Ind Ltd 作業者管理システム、作業者管理方法、作業者管理装置及び作業者管理プログラム
JP2006268395A (ja) 2005-03-24 2006-10-05 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
US20110300847A1 (en) 2010-06-02 2011-12-08 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
JP2013537435A (ja) 2010-06-07 2013-10-03 アフェクティヴァ,インコーポレイテッド ウェブサービスを用いた心理状態分析
WO2016170810A1 (ja) 2015-04-23 2016-10-27 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2017213278A (ja) 2016-06-01 2017-12-07 コニカミノルタ株式会社 メンタルヘルス評価装置、該方法および該プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5241598B2 (ja) * 2009-05-14 2013-07-17 パナソニック株式会社 心理状態評価装置
TWI603213B (zh) * 2014-01-23 2017-10-21 國立交通大學 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222518A (ja) 2004-01-08 2005-08-18 Daikin Ind Ltd 作業者管理システム、作業者管理方法、作業者管理装置及び作業者管理プログラム
JP2006268395A (ja) 2005-03-24 2006-10-05 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
US20110300847A1 (en) 2010-06-02 2011-12-08 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
JP2013537435A (ja) 2010-06-07 2013-10-03 アフェクティヴァ,インコーポレイテッド ウェブサービスを用いた心理状態分析
WO2016170810A1 (ja) 2015-04-23 2016-10-27 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2017213278A (ja) 2016-06-01 2017-12-07 コニカミノルタ株式会社 メンタルヘルス評価装置、該方法および該プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
平松拓也ほか,生体情報による感情推定手法とステージの観客反応による評価,マルチメディア,分散,協調とモバイルシンポジウム,日本,情報処理学会,2017年06月,2017,2.3節、4.4節、図1-3、9,情報処理学会電子図書館

Also Published As

Publication number Publication date
JP2020137895A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
US11839473B2 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
Gupta et al. Measuring human trust in a virtual assistant using physiological sensing in virtual reality
KR102471442B1 (ko) 개인의 스트레스 레벨 및 스트레스 내성 레벨 정보를 생성하기 위한 시스템 및 방법
JP6945383B2 (ja) 評価依頼プログラム、評価依頼方法、及びコンピュータ装置
Lo et al. Measuring mental workload with low-cost and wearable sensors: Insights into the accuracy, obtrusiveness, and research usability of three instruments
US20160224750A1 (en) Monitoring system for assessing control of a disease state
DE112014006082T5 (de) Pulswellenmessvorrichtung, Mobilvorrichtung, medizinisches Ausrüstungssystem und biologisches Informations-Kommunikationssystem
US20130245396A1 (en) Mental state analysis using wearable-camera devices
WO2017068582A1 (en) System and method for monitoring and determining a medical condition of a user
US11986300B2 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
JP2017521756A (ja) 色に基づく健康状態テーマを伴うオペレーティング・システム
JP7466914B2 (ja) 健康度ポジショニングマップおよび健康関数を作成する方法、システム、およびプログラム、ならびにそれらの使用方法
JP7006597B2 (ja) 心身状態測定装置、心身状態測定方法、心身状態測定プログラムおよび記憶媒体
Pustiek et al. Challenges in wearable devices based pervasive wellbeing monitoring
JP2021157609A (ja) 情報処理装置、情報処理方法、およびプログラム
CN111436957A (zh) 一种心理状态信息处理方法及装置
Martini et al. Data-driven continuous assessment of frailty in older people
JP7352789B2 (ja) 表示方法、プログラム、及び表示システム
CN114449945A (zh) 信息处理装置、信息处理***和信息处理方法
JP2019040525A (ja) 相性分析システム、相性分析装置、相性分析方法、及びプログラム
US11896384B2 (en) Wearable maternity sensor device
JP2019109631A (ja) 情報提供装置及び情報提供システム
Del-Valle-Soto et al. Unveiling wearables: exploring the global landscape of biometric applications and vital signs and behavioral impact
Neaţu Public Health and Behavioral Economics." Nudging" Behaviors through Wearable Technology.
WO2022113276A1 (ja) 情報処理装置、制御方法及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230825

R151 Written notification of patent or utility model registration

Ref document number: 7352789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151