JP2018156485A - 携帯端末、診断方法及び診断プログラム - Google Patents
携帯端末、診断方法及び診断プログラム Download PDFInfo
- Publication number
- JP2018156485A JP2018156485A JP2017053711A JP2017053711A JP2018156485A JP 2018156485 A JP2018156485 A JP 2018156485A JP 2017053711 A JP2017053711 A JP 2017053711A JP 2017053711 A JP2017053711 A JP 2017053711A JP 2018156485 A JP2018156485 A JP 2018156485A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- music
- mobile terminal
- health
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】日常生活の中でユーザに意識させることなく、簡易且つ高精度に精神面の健康状態を推定することを課題とする。【解決手段】携帯端末は、楽曲聴取機能が使用されたときのユーザ操作に関する履歴情報と、装着型音出力装置に搭載された検出装置によって検出された生体情報とを取得し、履歴情報と、生体情報とから、携帯端末のユーザの健康状態を推定し、ユーザの健康状態が異常であると推定されたときの履歴情報を含む診断依頼情報を、健康状態を診断する診断装置に出力し、診断装置からの診断結果情報を受け付け、診断結果情報の出力を制御する。【選択図】図5
Description
本発明は、携帯端末、診断方法及び診断プログラムに関する。
近年、健康意識の高まりにより、日常的な運動量の記録、栄養摂取の状態や身体的な健康状態を管理できる機器やサービスが登場しており、自己で健康管理をする人が増加している。例えば、身体的な健康状態を管理できる機器としては、活動量計や血圧計、体組成計等が知られている。また、職場等では、精神面の健康状態に対して、調査票を利用した検査の義務が課されているところもある。但し、調査票を利用した検査は、検査項目が多く検査に時間がとられることから、煩雑に感じる利用者が一定数存在する。また、精神面の健康状態については、採血や所定機器を装着した計測によって得られた生体情報を利用した診断を、医療機関等で行なえるものの、医療機関等に出向くことが利用者にとって手間である。
ここで、生体情報については、医療機関等に出向かなくても個人で簡易に計測することができる。例えば、生体情報の計測については、直接的に身体に接触させて計測する腕時計型の機器等が提案されている。また、精神面の健康状態に関しては、音声発話の状態を分析して心の元気度を測定する機器が提案されている。また、以下のように、精神面の健康状態を考慮した様々な機器が提案されている。
特許文献1(特開2015−212870号公報)では、ユーザが楽曲を再生しているときのストレス度を測定し、感性的印象に基づいて複数次元のベクトル空間に楽曲が配置された情報をもとに、現状に合う楽曲を自動選択して再生する技術が開示されている。特許文献2(特開2016−048495号公報)では、ヘッドフォンに搭載された脈波センサから取得した脈波に基づいてユーザのストレス度を計測し、ストレス度に応じてレコメンドするコンテンツを表示する技術が開示されている。
特許文献3(特許第5171780号公報)では、操作端末に対する操作者の操作状態をもとに、サーバと連携して、操作者が通常とは異なる操作をしたことを検出すると、心身に異常の兆候があることを出力する技術が開示されている。特許文献4(特許第5530163号公報)では、カメラの撮影による撮影情報や、従業員端末から入力される従業員の行動履歴をもとに、従業員特有の行動特性を抽出して記憶し、従業員の行動が行動特性の範囲外であれば、アラートを出力するサーバの技術が開示されている。
しかしながら、従来技術は、日常生活の中でユーザに意識させることなく、簡易且つ高精度に精神面の健康状態を推定することが困難であるという問題がある。具体的には、現在のストレス度を低減させるコンテンツを選択する技術は、精神面の健康状態を推定するものではなく、たとえそのときのストレス度を出力したとしても、高精度に精神面の健康状態を推定しているとは言い難い。また、通常とは異なる端末操作が行なわれた場合に異常である旨を出力する技術は、端末を操作した履歴のみから異常を判断するものであるため、高精度に精神面の健康状態を推定しているとは言い難い。また、撮影情報をもとに異常を判断する技術は、日常生活の中で、個人で実現するのは困難である。
本発明は、上記に鑑みてなされたものであって、日常生活の中でユーザに意識させることなく、簡易且つ高精度に精神面の健康状態を推定することを目的とする。
上述した課題を解決し、目的を達成するため、本発明に係る携帯端末は、楽曲聴取機能を有する携帯端末であって、前記楽曲聴取機能が使用されたときのユーザ操作に関する履歴情報と、装着型音出力装置に搭載された検出装置によって検出された生体情報とを取得する取得部と、前記履歴情報と、前記生体情報とから、前記携帯端末のユーザの健康状態を推定する推定部と、前記ユーザの健康状態が異常であると推定されたときの前記履歴情報を含む診断依頼情報を、健康状態を診断する診断装置に出力する依頼部と、前記診断装置からの診断結果情報を受け付ける受付部と、前記診断結果情報の出力を制御する出力制御部とを有する。
本発明によれば、日常生活の中でユーザに意識させることなく、簡易且つ高精度に精神面の健康状態を推定することができるという効果を奏する。
以下に添付図面を参照して、本発明に係る携帯端末、診断方法及び診断プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。
(実施の形態1)
図1を用いて、実施の形態1に係る診断システム5のシステム構成を説明する。図1は、実施の形態1に係る診断システム5のシステム構成例を示す図である。
図1を用いて、実施の形態1に係る診断システム5のシステム構成を説明する。図1は、実施の形態1に係る診断システム5のシステム構成例を示す図である。
図1に示すように、診断システム5には、携帯端末100と、健康管理サーバ装置200と、管理端末300とが含まれる。各機器は、インターネット等のネットワーク6を介して接続される。診断システム5には、複数の携帯端末100が含まれていても良い。また、健康管理サーバ装置200は、クラウドコンピューティングにより実現することができる。
健康管理サーバ装置200は、個々の携帯端末100を識別して、携帯端末100のユーザそれぞれの個人情報を管理する機能や、健康管理のためのデータベース機能、携帯端末100との間で各種情報を送受信する機能、ユーザの健康度を判定する機能等を有する。携帯端末100は、各ユーザが専用で所持する携帯電話機やスマートフォン、タブレット端末等の情報機器である。また、携帯端末100は、楽曲聴取機能や各種センサ情報を取得する機能を有する。管理端末300は、ネットワーク6を介して、健康管理サーバ装置200に各種情報を登録したり、健康管理サーバ装置200を操作したりするための情報機器である。なお、管理端末300は、健康管理サーバ装置200に含まれていても良い。
次に、図2を用いて、実施の形態1に係る健康管理サーバ装置200のハードウェア構成を説明する。図2は、実施の形態1に係る健康管理サーバ装置200のハードウェア構成例を示すブロック図である。
図2に示すように、健康管理サーバ装置200は、CPU(Central Processing Unit)202と、ROM(Read Only Memory)203と、RAM(Random Access Memory)204と、補助記憶装置205とを有する。また、健康管理サーバ装置200は、入力部206と、ディスプレイI/F207と、ネットワークI/F208と、外部機器I/F209とを有する。上記各部は、バス201を介して相互に接続される。
CPU202は、健康管理サーバ装置200の動作を統括的に制御する。例えば、CPU202は、補助記憶装置205に格納された各種のプログラム205aやOS(Operating System)等を実行する。ROM203は、不揮発性メモリである。RAM204は、各種データ記憶するDRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の主記憶装置である。RAM204は、CPU202によって実行される際に、補助記憶装置205に格納されたプログラム205aがRAM204に展開されることで、CPU202の作業領域となる。
補助記憶装置205は、CPU202により実行されるプログラム205a、及び、プログラム205aがCPU202により実行される際に使用される各種データベースを有する。例えば、補助記憶装置205は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性メモリである。
入力部206は、健康管理サーバ装置200に各種指示を入力するためのインタフェースである。例えば、入力部206は、キーボード、マウス、タッチパネル、音声入力装置等である。但し、健康管理サーバ装置200に対する各種指示は、管理端末300からも可能であるため、入力部206は必要に応じて接続されれば良い。
ディスプレイI/F207は、CPU202からの要求により、健康管理サーバ装置200が有する各種情報をカーソル、メニュー、ウィンドウ、文字、又は、画像等の形態で、表示装置であるディスプレイ30に表示するためのインタフェースである。例えば、ディスプレイI/F207は、グラフィックチップやディスプレイI/Fである。但し、ディスプレイI/F207は、入力部206と同様に、必要に応じて接続されれば良い。
ネットワークI/F208は、ネットワークを介して、携帯端末100や他の機器と通信するためのインタフェースである。外部機器I/F209は、USBケーブルやUSBメモリ等の各種の記憶媒体40を接続するためのインタフェースである。
次に、図3を用いて、実施の形態1に係る携帯端末100のハードウェア構成を説明する。図3は、実施の形態1に係る携帯端末100のハードウェア構成例を示すブロック図である。
図3に示すように、携帯端末100は、CPU102と、ROM103と、RAM104と、補助記憶装置105と、センサ106とを有する。また、携帯端末100は、入力部107と、ディスプレイI/F108と、ネットワークI/F109と、外部機器I/F110と、外部センサI/F111とを有する。上記各部は、バス101を介して相互に接続される。
CPU102は、携帯端末100の動作を統括的に制御する。例えば、CPU102は、補助記憶装置105に格納された各種のプログラム105aやOS等を実行する。ROM103は、不揮発性メモリである。RAM104は、各種データを記憶するDRAMやSRAM等の主記憶装置である。RAM104は、CPU102によって実行される際に、補助記憶装置105に格納されたプログラム105aがRAM104に展開されることで、CPU102の作業領域となる。
補助記憶装置105は、CPU102により実行されるプログラム105a、及び、プログラム105aがCPU102により実行される際に使用される各種データベースを有する。例えば、補助記憶装置105は、HDDやSSD等の不揮発性メモリである。センサ106は、携帯端末100に搭載されているセンサであり、例えば、GPS(Global Positioning System)センサや加速度センサ等である。例えば、GPSはユーザの位置座標情報を取得することができ、加速度センサはユーザの活動量を取得することができる。
入力部107は、携帯端末100に各種指示を入力するためのインタフェースである。例えば、入力部107は、タッチパネルや音声入力装置等である。ディスプレイI/F108は、CPU102からの要求により、携帯端末100が有する各種情報をカーソル、メニュー、ウィンドウ、文字、又は、画像等の形態で、表示装置であるディスプレイ50に表示するためのインタフェースである。例えば、ディスプレイI/F108は、グラフィックチップやディスプレイI/Fである。
ネットワークI/F109は、ネットワークを介して、健康管理サーバ装置200や他の機器と通信するためのインタフェースである。ネットワークI/F109は、主に、無線通信によるデジタルネットワーク回線を使用する。例えば、ネットワークI/F109は、音声電話や電子メール、楽曲のダウンロードや画像(例えば、写真データ等)の送受信、健康管理サーバ装置200との各種情報の送受信のために使用される。また、ネットワークI/F109は、ストリーム配信で楽曲を聴取する場合にも用いられる。
外部機器I/F110は、USBケーブルやUSBメモリ等の各種の記憶媒体60を接続するためのインタフェースである。外部センサI/F111は、外部センサ70からのセンシング情報を取得するためのインタフェースである。例えば、外部センサ70は、脈波センサや温度センサ等である。
本実施の形態では、外部センサ70は、楽曲聴取の際に使用されるイヤホンに搭載される例を挙げる。イヤホンに搭載された脈波センサを使用する場合は、光を照射して耳や鼓膜等の反射光の揺らぎを測定することで、ユーザの脈拍数を取得することができる。楽曲の聴取で使用されるイヤホンに搭載された脈波センサからユーザの脈拍数を取得することで、楽曲聴取時の脈波の変化を検出することができるとともに、携帯端末100のユーザが視聴に要する装備品であり装着を忘れることがないという利点がある。
次に、図4を用いて、実施の形態1に係る健康管理サーバ装置200の機能構成を説明する。図4は、実施の形態1に係る健康管理サーバ装置200の機能構成例を示すブロック図である。
図4に示すように、健康管理サーバ装置200は、通信制御部220と、DB管理部221と、分析処理部222と、記憶部223とを有する。また、記憶部223は、個人管理DB223aと、診断情報DB223bと、コンテンツ分析情報DB223cとを有する。
DB管理部221は、記憶部223が有する各データベースを管理する。例えば、DB管理部221は、新たな情報が受け付けられた場合に、各データベースの情報を更新する。個人管理DB223aは、携帯端末100や携帯端末100のユーザ情報を記憶する。診断情報DB223bは、医師による診断情報やバイオマーカ情報を記憶する。コンテンツ分析情報DB223cは、楽曲や画像の分析によって得られた特徴情報を記憶する。
例えば、個人管理DB223aは、携帯端末100のユーザの活動の履歴情報や、健康度の判定結果の履歴情報等を記憶する。これらの履歴情報は、次回以降の健康度判定のための情報としても利用され得る。診断情報DB223bは、医師によって診断された疾病の程度や治癒状況の段階、これらに対応するバイオマーカ情報、さらに、携帯端末100から提供された楽曲の視聴情報やユーザの活動量、ストレス値の情報等を記憶する。コンテンツ分析情報DB223cは、楽曲ごとに、周波数帯域別の信号強度や曲中の時間的な変化の程度、曲のテンポ(低い周波数情報として分析)等の情報を記憶する。
分析処理部222は、コンテンツ分析情報DB223cや診断情報DB223bに記憶させる情報を作成する。例えば、分析処理部222は、楽曲の周波数帯域別の音響信号の強さ等の特徴量を分析して、コンテンツ分析情報DB223cに記憶させる情報を作成する。また、分析処理部222は、医師が診断した人(携帯端末100のユーザに限られない人)の診断結果や、携帯端末100のユーザによる楽曲視聴の履歴情報をもとに、統計処理を行ない、診断情報DB223bに記憶させる疾病状態を推定するための統計分析情報を作成する。
通信制御部220は、携帯端末100に対する情報の送信を制御したり、携帯端末100からの情報の受信を制御したりする。
次に、図5を用いて、実施の形態1に係る携帯端末100の機能構成を説明する。図5は、実施の形態1に係る携帯端末100の機能構成例を示すブロック図である。
図5に示すように、携帯端末100は、通信制御部120と、履歴蓄積部121と、特徴量収集部122と、記憶部123と、健康度判定部124と、出力部125と、アプリケーション制御部126と、センサ制御部127とを有する。また、記憶部123は、履歴情報DB123aを有する。なお、履歴蓄積部121は「取得部」に対応し、健康度判定部124は「推定部」に対応し、出力部125は「依頼部」、「出力制御部」に対応し、通信制御部120は「受付部」に対応する。
通信制御部120は、ネットワーク6に接続して健康管理サーバ装置200との間における各種情報の送受信を制御する。また、通信制御部120は、音声電話や電子メール、楽曲のダウンロードや画像(例えば、写真データ等)の送受信を制御する。これらの通信は、主に無線通信によるネットワーク回線が使用される。また、通信制御部120は、有線通信により接続されたPC(Personal Computer)等の情報機器との通信を制御することもできる。なお、通信制御部120は、楽曲のストリーム配信を使用して聴取される場合にもそのデータ通信を制御する。
履歴蓄積部121は、ユーザが携帯端末100の利用に際して操作したときの各種履歴情報を収集し、記憶部123に格納する。例えば、履歴蓄積部121は、どの楽曲をいつ聴取したかを示す情報、楽曲聴取時の設定情報、楽曲聴取の際に設定を変更した場合の変更情報、各種センサ(センサ106や外部センサ70)から入力された入力情報を、記憶部123に格納する。これらのうち、楽曲聴取時の設定情報とは、楽曲を再生するための再生アプリケーションやイコライザを使用して音質を変更したことを示す情報、周波数成分ごとの強さを示す情報、音量設定を示す情報である。各種センサから入力された入力情報とは、脈拍数の変化情報、GPSから得られる移動の状態(位置座標情報)、加速度センサから得られる活動量の情報である。
特徴量収集部122は、楽曲情報に対応する周波数帯域ごとの信号強度等を分析した特徴量表を収集して記憶部123に格納する。特徴量表は、楽曲ごとに作成される。また、特徴量表は、健康管理サーバ装置200によって作成される。すなわち、特徴量表の作成は、処理負荷が高くなるので、クラウドコンピューティングの健康管理サーバ装置200に作成の処理を依頼する。楽曲の分析結果は健康管理サーバ装置200のデータベースに保存されるので、同一の楽曲を他のユーザが使用した際に分析結果を再利用することができる。また、配信やダウンロードにより取得された楽曲については、楽曲に対応するID情報を健康管理サーバ装置200に通知することにより、対応する特徴量表のデータを取得すれば良い。また、携帯端末100側で録音した楽曲については、楽曲データを健康管理サーバ装置200に送信して、分析を依頼すれば良い。健康管理サーバ装置200との情報のやり取りは、通信制御部120を介して行なわれる。
健康度判定部124は、記憶部123に記憶された履歴情報を統計情報として処理し、健康度の判定を行なう。健康度判定部124による健康度の判定は、簡易に行なわれるものである。健康度判定部124による健康度の判定結果において、何らかの兆候があり、詳細な健康度の判定をする場合は、健康管理サーバ装置200に分析を依頼する。健康管理サーバ装置200に対する分析の依頼は、出力部125、通信制御部120を介して行なわれる。
出力部125は、健康度判定部124による健康度の判定結果を、健康管理サーバ装置200に対して出力する。このとき、詳細な健康度の判定を依頼する場合は、それが分かる情報を付加し、健康管理サーバ装置200に対して健康度の判定結果を出力する。これにより、健康管理サーバ装置200では、個人管理DB223aに健康度の判定結果が格納される。また、出力部125は、健康度の判定結果のディスプレイ50に対する表示出力を制御する。
アプリケーション制御部126は、携帯端末100が有する各種のアプリケーションの起動や実行を制御する。例えば、アプリケーション制御部126は、楽曲聴取のためのアプリケーションの起動や実行を制御する。センサ制御部127は、携帯端末100が有する各種センサ(例えば、センサ106)や、楽曲聴取で使用されるイヤホンに搭載されたセンサ(例えば、脈波センサ等の外部センサ70)の動作を制御する。
携帯端末100が有する各種センサについて説明する。携帯端末100は、制御や状態認識のために各種のセンサ機能を持つ。具体的には、携帯端末100は、ユーザの活動量を測定するためのセンサや、ユーザの生体情報を取得するセンサを有する。例えば、携帯端末100は、ユーザの活動量の測定において、位置情報を取得するためのGPS機能と、動作状態を測定する加速度センサとを使用する。これらのセンサは、主に、携帯端末100の本体内に搭載されるが、本体とは分離してユーザに装着させても良い。本体とは分離してユーザに装着させる場合は、無線通信等により携帯端末100にセンシング情報を送信するように構成すれば良い。また、位置情報の取得は、GPS機能だけではなく、屋内でも利用できるように、Wi−Fi(登録商標)等の無線通信局の受信情報を使用することで認識することもできる。加速度センサは、検出信号のパターンにより運動状態の推定(例えば、歩行状態、ジョギングしている状態、その他の運動をしている状態等)を識別するために利用される。携帯端末100は、これらの情報を用いて、ユーザの活動による交感神経の興奮度(ストレス値の情報)を算出し、楽曲聴取による影響分を推定するために利用する。すなわち、携帯端末100は、楽曲聴取のみによる純粋なストレス値を導出するために、ユーザの活動を要因としたストレス値を算出する。
また、ユーザの生体情報を取得するセンサ(脈波センサ)は、イヤホンに搭載される。携帯端末100は、脈波センサから光を照射して耳や鼓膜等の反射光の揺らぎを測定することで、脈拍数やストレス値を測定することができる。また、イヤホンをマイク代わりに使用して、低周波成分を取り出して揺らぎを測定することもできる。かかる場合は、センサが携帯端末100内に存在し、通常のイヤホン(脈波センサを搭載していないイヤホン)を使用できる。また、携帯端末100から微弱な電磁波を放射して、ユーザの心拍を検出することもできる。そのため、楽曲の聴取時に脈波センサの情報が取得できれば良く、イヤホンと脈波センサとが分離されていても良い。
脈波とは、心臓の収縮の状態変化が血圧の変化として血管内を伝わる周期的な振動情報である。手で脈拍や血圧を測定するのは、脈波の周期的な変動を観測したものである。脈波の周期情報の変動を変動幅と時間的な変化量として分析することで、自律神経の働きの強さ(交感神経/副交感神経の働き方の割合や強さ等)を検出できる。心臓への働き方や途中の血管への働き方も加わるのでより多くの生体情報を検出することができる。
具体的には、交感神経が優位になると拍動間隔が短くなり、周期のずれも小さくなることが知られている。逆に、副交感神経が優位なリラックスした状態では、脈拍の周期が長くなり、変動幅も大きくなる。また、血管の収縮も自律神経の支配を受けるので、拍動に応じて血管が拡張したり収縮したりするときの脈波の変化の幅や変化速度が変わることが知られている。末梢血管では、交感神経優位になると、血管が収縮して時間的な変化の割合が大きくなりやすい。脈波センサからの時間的な変化情報(揺らぎ情報)から自律神経の状態を検出してストレス値を求めるのは、特開2015−212870に提案されているものと同等である。例えば、文献では、脈波の変化を周波数スペクトルで解析して、変化速度の情報から交感神経と副交感神経の活動の割合を推定観測する方法が開示されている。
イヤホンに脈波センサを搭載する場合には、楽曲の聴取はある程度時間がかかる(楽曲の演奏時間がある程度長い)ので、イヤホンが身体に接触している時間が長く、安定的に身体に接触しており、また、外気温の影響を受けにくい部分の脈波を測定でき、ステレオで聴取することで左右差(左右の耳での差)を検出できる利点がある。例えば、聴覚過敏の現象を有するユーザが対象の周波数成分を持つ楽曲を聴取すると、ストレス値が上昇する傾向がある。このようなストレス反応には時間差があることと、脈波の観測にもある程度の時間を要するので、比較的長い時間で身体に触れているイヤホン等をセンサの入口にすることは有用である。なお、イヤホンには、温度センサがさらに搭載されていても良い。例えば、温度センサは、イヤホンがユーザに装着されていることを検出するためと、ユーザが運動中で体温が変化することによる影響を加味するため(活動量の測定を補うため)にイヤホンに搭載される。
ここで、図6〜図11を用いて、診断システム5に含まれるデータベースに記憶される情報について説明する。
図6は、実施の形態1に係る履歴情報DB123aに記憶される情報例を説明する図である。図6に示すように、履歴情報DB123aは、履歴番号と、開始時刻と、終了時刻と、利用機能(楽曲ID)と、聴取方法と、設定情報と、変更情報と、センサ情報とを対応付けて記憶する。履歴番号は、履歴情報DB123aに記憶される各情報を識別する番号の情報である。開始時刻は、楽曲の聴取を開始した(楽曲聴取のための操作を開始した)日時の情報である。終了時刻は、楽曲の聴取を終了した(楽曲聴取を終了する操作を行なった)日時の情報である。利用機能(楽曲ID)は、楽曲を識別するための識別情報である。聴取方法は、楽曲聴取で使用した装着型音出力装置(例えば、イヤホンや外部スピーカ等)を示す情報である。設定情報は、楽曲聴取時の音量の大きさや音質を示す情報である。変更情報は、楽曲聴取時に音質を変更したか否か、変更した際の音質を示す情報である。センサ情報は、楽曲聴取時の各種センサから得られた情報をもとに検出したユーザの状態を示す情報である。
開始時刻や終了時刻は、健康度の判定に使用する情報について、期間を限定する場合に用いられる。また、開始時刻や終了時刻は、どのような周期で楽曲聴取しているかを判定するために使用される。例えば、開始時刻や終了時刻は、週末に利用回数が多いとか、朝に聴取する傾向がある等の分析に使用される。さらに、開始時刻や終了時刻は、楽曲を最後まで聴取したのか、途中で聴取をやめたのか等の判定にも使用することができる。
利用機能(楽曲ID)は、同一の楽曲を何度も聴取した場合に、再生環境を変更したかどうかを識別するために使用することができる。また、再生環境が同一であってもストレス値が変化している場合には、健康度が変化したと判定することもできる。
センサ情報については、聴覚過敏現象によりストレス値が変化したことを検出する。そのため、楽曲聴取の開始と終了との間で、ストレス値の変化を記録しておくことが重要である。また、ユーザが移動中である場合は、脈拍数が変化するため、GPS機能により移動状態の有無等を合わせて記録することが望ましい。これにより、楽曲聴取によるストレス値の変化であるのか、運動によるストレス値の変化であるのかを区別することができる。
また、これらの他にも、利用環境情報として、どのような場所で聴取したか(例えば、自宅で聴取した、電車等の移動中に聴取した等)を、携帯端末100に搭載されたGPS機能を用いて区別することもできる。
図7は、実施の形態1に係るコンテンツ分析情報DB223cに記憶される情報例を説明する図である。図7に示すように、コンテンツ分析情報DB223cは、楽曲IDに対する、解析された周波数帯域ごとの強度分布を記憶する。コンテンツ分析情報DB223cに記憶された情報は、特徴量表として携帯端末100に対して提供される。
例えば、健康管理サーバ装置200で解析する場合は、帯域幅を小さめにしておく。携帯端末100のイコライザ機能により、複数の帯域幅がまとめられて調整されることがあるため、帯域幅を小さめにしておくことで、携帯端末100の種類が異なる場合であっても対応することができる。周波数帯域の分類例としては、20Hz〜30Hz、30Hz〜40Hz、40Hz〜60Hz、60Hz〜80Hz、80Hz〜110Hz、110Hz〜160Hz、160Hz〜220Hz、220Hz〜320Hz等とする。分類例では、周波数帯域幅を対数変化にした場合に、1帯域で1.4倍になる(2区間で1桁増加する)ように分けている。なお、上記分類例は一例であり、さらに細かく分類しても良い。このように、細かく分類することにより、携帯端末100に搭載されたイコライザ機能が異なっていても、まとめ方を変えることで対応することができる。
図8は、実施の形態1に係る設定情報の例を説明する図である。図8に示す設定情報は、図6に示した設定情報に対応し、携帯端末100のユーザによる楽曲聴取時に設定した音量や音質等の設定パターンである。この設定パターンは、楽曲聴取の度に携帯端末100に記憶される。ユーザは、次回の楽曲聴取時に何れかの設定パターンを選択することができる。従って、設定パターンは楽曲IDごとに記録される情報ではなく、ユーザは異なる楽曲で同一の設定パターンを使用して聴取する場合がある。例えば、設定パターンには、設定番号ごとに、全体の音量設定と、周波数帯域ごとの音量設定とが対応付けられている。イコライザの設定は複数の帯域で可能であるため、全体の音量設定に加え、周波数帯域ごとの音量設定も記録しておく。
全体の音量の大きさと、イコライザの設定内容とは、ユーザが耳にする音の周波数帯域の成分の信号強度を求める際に利用することができる。聴覚過敏の状態を判定する場合は、楽曲によりデジタル情報として記録されている信号強度が異なるので、各楽曲に対しての補正が必要になる。イヤホンで聴取される場合は、ユーザの耳元に安定して装着されるので、音量とイコライザの設定値とにより、実際にユーザが聴いている、より正確な音の大きさを推定することができる。
図9は、実施の形態1に係る変更情報の例を説明する図である。図9に示す変更情報は、図6に示した変更情報に対応する。図9に示すように、変更情報には、楽曲聴取中に音量や音質をどのように変更したかを示す情報が記録される。なお、変更情報には、変更がないのであれば、変更していないことを示す情報(例えば、「なし」等)が記録される。イコライザ等により部分的に周波数特性を変更した記録は重要である。部分的に周波数特性を変更した記録は、ユーザが該当の周波数帯域の音を意識して又は無意識に、不快と感じている可能性があり、聴覚過敏現象の対象となる周波数帯域成分である可能性が高い。これらから、例えば、ストレス値が上昇していても、イコライザ調整等を行なっていない場合と比べて、聴覚過敏現象の可能性が高い帯域として分け、健康度の判定に用いることができる。
図10は、実施の形態1に係るセンサ情報の例を説明する図である。図10に示すセンサ情報は、図6に示したセンサ情報に対応する。図10に示すように、センサ情報には、管理番号と、活動状態と、移動センサと、加速度センサ(運動量)と、脈波センサ(脈拍数)と、ストレス値(脈波の揺らぎ)と、分析との情報が記録される。
管理番号は、各センサ情報を識別する情報である。活動状態は、ユーザの状態を示す情報である。移動センサは、携帯端末100のGPS機能等から得られたユーザの移動状態を示す情報である。加速度センサは、携帯端末100の加速度センサから得られたユーザの運動量を示す情報である。脈波センサは、イヤホンに搭載されたセンサから得られたユーザの脈拍数を示す情報である。ストレス値は、イヤホンに搭載されたセンサから得られた脈波の揺らぎを示す情報である。分析は、各センサ情報をもとに導出されたユーザの状態を示す情報である。例えば、GPSや加速度センサによって移動中や運動中であることが検出された場合は、脈拍数も増加することが想定できるため、健康度の判定の際に除外する対象とすることができる。除外する対象とするための判定については、図11を用いて説明する。
図11は、実施の形態1に係る活動量に応じたストレス値変化の例を説明する図である。上述したように、図11に示す情報は、健康度の判定の際に除外する対象か否かを判定するために使用される情報である。図11に示すように、活動量/ストレス値テーブルには、活動量と、脈拍数と、脈拍数増加率と、ストレス値とが対応付けて記録される。具体的には、活動量/ストレス値テーブルは、活動量、脈拍数、脈拍数増加率及びストレス値それぞれの関係性から、健康度の判定の際に除外する対象とするか否かを判定するために使用される。例えば、図11に示すように、各情報の関係性から、安静時、休憩中、歩行中、軽作業中、運動中、ジョギング中等のユーザの状態を推定することができる。このようなユーザの状態は、個人差が出やすいため、複数のテーブル表を準備しておき、使用時の実測値により切り替えるようにしても良い。
また、活動習慣や運動の種類にも影響を受けるため、GPS機能による移動状況や温度センサによる体温の変化情報も合わせて利用するようにしても良い。また、健康管理サーバ装置200側でユーザの活動履歴を活動状態に応じて更新して、携帯端末100側のテーブルを必要に応じて更新するようにしても良い。
次に、図12を用いて、実施の形態1に係る携帯端末100による全体処理の流れを説明する。図12は、実施の形態1に係る携帯端末100による全体処理の流れの例を示すフローチャートである。
図12に示すように、携帯端末100は、所定条件を満たすか否かを判定する(ステップS101)。ここで、所定条件とは、分析のために使用する履歴情報が存在することである。例えば、所定条件は、対象となる期間内において必要な履歴件数があることや、前回の判定から新しい履歴情報が追加されているのであれば満たすこととする。所定条件を満たすか否かの判定は、周期的に履歴情報を確認することにより実現する。周期的な履歴情報の確認とは、携帯端末100があまり使用されていない時間帯(例えば、ユーザによる操作が少ない早朝や夜中の充電時間帯等)に履歴情報を確認することである。携帯端末100は、所定条件を満たす場合に(ステップS101:Yes)、ステップS102の処理を実行する。また、携帯端末100は、所定条件を満たさない場合に(ステップS101:No)、処理を終了する。
携帯端末100は、分析に不足する情報があるか否かを判定する(ステップS102)。例えば、携帯端末100は、コンテンツ分析情報等の不足する情報があるか否かを判定する。ユーザが新しい楽曲を購入していたり、ユーザ自ら録音記録した楽曲があったりするのであれば、これらの楽曲に対しては分析のための情報がまだ存在しない可能性がある。すなわち、ユーザが新規に楽曲を購入した場合は、健康管理サーバ装置200側で把握していない可能性がある。また、携帯端末100にCDやUSBメモリから直接的に録音した場合も同様である。このため、携帯端末100は、新しい楽曲の存在をチェックし、コンテンツ分析情報が不足しているか否かを判定する。携帯端末100は、不足する情報がある場合に(ステップS102:Yes)、ステップS103の処理を実行する。また、携帯端末100は、不足する情報がない場合に(ステップS102:No)、ステップS104の処理を実行する。
携帯端末100は、不足している情報を健康管理サーバ装置200から取得する(ステップS103)。例えば、携帯端末100は、主にコンテンツ分析情報を健康管理サーバ装置200から取得する。コンテンツ分析情報には、楽曲の周波数帯域ごとの信号強度の情報が含まれる。例を挙げると、携帯端末100は、楽曲の名称や識別番号等を健康管理サーバ装置200に送信して照会し、対応する分析結果(コンテンツ分析情報)を取得する。なお、同一名称の楽曲であっても、演奏者や利用される楽器等が異なる場合があり、周波数帯域の成分分析結果も変わるので、区別する必要がある。また、携帯端末100側で独自に録音した楽曲の場合は、必要に応じて健康管理サーバ装置200にコンテンツ分析を依頼する。健康管理サーバ装置200は、携帯端末100から受け付けた楽曲に対して詳細な分析を行なう。
携帯端末100は、履歴情報から分析可能か否かを判定する(ステップS104)。例えば、携帯端末100は、帯域低減操作をしたことを示す情報や、ストレス値が上昇した履歴情報が存在するか否かを判定する。すなわち、これらの情報が存在しないのであれば、ユーザが健康状態であると推定できるので、分析処理を行なわなくても良いものとする。帯域低減操作とは、楽曲の再生時にイコライザ設定を変更して、特定の周波数の音量を下げる操作のことである。これは、聴覚過敏現象の対象となる周波数帯域を推定するための情報となる。また、ストレス値の上昇(増減)は、対象の楽曲の中に、聴覚過敏現象の対象となる周波数帯域の存在を示す手がかりとなる。イコライザ設定の変更により、一部の帯域の音量を下げる操作が行なわれた場合は、ユーザが不快と感じたために設定変更した可能性が高いため特に重要である。このように、携帯端末100は、帯域低減操作の存在やストレス値の増減がある場合に、該当する帯域内に聴覚過敏現象を起こす信号があると推定できる。携帯端末100は、履歴情報から分析可能であると判定した場合に(ステップS104:Yes)、ステップS106の処理を実行する。また、携帯端末100は、履歴情報から分析可能でないと判定した場合に(ステップS104:No)、判断できないことを示す情報等を提示する(ステップS105)。
携帯端末100は、ストレス値が上昇した履歴を集計する(ステップS106)。ここでは、携帯端末100は、ユーザが活動中(運動中)によってストレス値が高くなっている履歴を除いて、ストレス値が上昇している履歴情報を集計する。例えば、携帯端末100は、図11で説明したストレス値の予想値よりも高くなっている履歴情報が集計の対象となる。集計処理については、帯域毎に加算又は論理和をとる方法がある。集計処理は、周波数帯域ごとに実施される。例えば、携帯端末100は、ある楽曲の周波数帯域の信号強度に対して、再生音量を加味して耳で聴こえるレベルであれば「1」を、聴こえないレベルであれば「0」を割り当てて、帯域ごとの数列を作成する。そして、携帯端末100は、これを複数の楽曲について作成し、帯域毎に加算する。これにより、信号成分のある帯域は「0」以外の数値となり、信号成分のない帯域は「0」のままで残ることになる。この結果、携帯端末100は、ストレス値上昇の要因となる候補の周波数帯域を求めることができる。もちろん、全帯域が候補となる可能性がある。ステップS106の処理は、ユーザが自覚していない程度のストレス値上昇の要因を検出するために行なわれる。ユーザが自覚していない程度のストレス値上昇の要因を検出することで、聴覚過敏現象の早期発見に役立つ。
携帯端末100は、聴覚過敏現象を起こさない楽曲(楽曲の履歴)の周波数帯域の特徴を集計する(ステップS107)。ここでは、携帯端末100は、楽曲の再生中に設定変更していない履歴情報や、ストレス値の上昇がない履歴情報を集計する。すなわち、携帯端末100は、聴覚過敏現象を起こさない楽曲の周波数帯域の特徴を集計する。この集計では、聴覚過敏現象の対象となる信号成分があまり存在しないことになる。集計処理は、上述したステップS106と同様に行なう。ステップS106とステップS107との集計処理によって、帯域別に信号成分が存在する帯域と存在しない帯域とが求まる。信号成分がある帯域は、ストレス値が上昇しない成分となる。
携帯端末100は、ステップS106とステップS107とで集計した帯域情報を比較する(ステップS108)。例えば、携帯端末100は、ステップS106とステップS107とで集計した帯域情報を比較することにより、聴覚過敏現象の要因となる周波数帯域を推定することができる。携帯端末100は、ステップS106とステップS107とで集計した帯域ごとに、排他的論理和を求める、又は、減算を行なうことにより、残った帯域をストレス値上昇の要因となる帯域の候補とすることができる。
携帯端末100は、帯域情報が異なるか否かを判定する(ステップS109)。例えば、携帯端末100は、ステップS108の比較結果により、聴覚過敏現象の要因となる周波数帯域の候補が存在するか否かを判定する。携帯端末100は、聴覚過敏現象の要因となる周波数帯域の候補が存在する場合に(ステップS109:Yes)、注意判断フラグを設定する(ステップS110)。一方、携帯端末100は、聴覚過敏現象の要因となる周波数帯域の候補が存在しない場合に(ステップS109:No)、ステップS111の処理を実行する。注意判断フラグとは、健康管理サーバ装置200に詳細な分析を依頼することを示す情報である。すなわち、注意判断フラグが設定されている場合は、後述するように、健康管理サーバ装置200に詳細な分析を依頼することになる。聴覚過敏現象は、1つ又は数個の周波数帯域成分に対して発生すると言われており、候補となった帯域が分かるようにフラグを設定しておく。
携帯端末100は、周波数帯域低減領域情報を集計する(ステップS111)。周波数帯域低減領域情報とは、イコライザ設定によってユーザにとって聴きやすい音質にした場合の共通した周波数帯域の調整箇所を示す情報である。例えば、聴覚過敏現象が存在する場合は、対象となる周波数帯域の音量を下げる傾向がある。このため、携帯端末100は、周波数帯域ごとの低減状態を加算し、音量を下げた領域を求める。なお、音量を上げた周波数帯域の部分は、この処理で除外される。集計処理は、上述してきた集計処理と同様であるが、ここではイコライザ設定の内容を加味して集計される。例えば、集計の計算方法は、「集計対象の成分=対象周波数帯域の信号強度×イコライザの低減割合−設定音量で聴こえる最低値」である。例えば、楽曲によっては該当する帯域成分が小さいためにイコライザ設定に反映されていない場合がある。そのために、設定音量で聴こえる最低値を減算し、実際にユーザの耳に伝達されると想定される信号の大きさで集計する。なお、ユーザの耳に聴こえない程度の場合は「0」とする。また、聴取に使用された携帯端末100やイヤホンの種類によって、低音域や高音域の再生可能な周波数の特徴が異なる場合があるため、機器の種類が分かっているのであれば、機器の特徴に応じた補正を行なうことが好ましい。
携帯端末100は、複数の楽曲で共通している周波数帯域があるかを検査する(ステップS112)。例えば、携帯端末100は、イコライザの設定により、特定の周波数帯域の成分が低くなっているかどうかを検査する。対象楽曲の周波数帯域成分毎の加算結果が「0」に近い部分があれば、聴覚過敏現象の対象となる周波数帯域成分の可能性がある。ここで、分析用の周波数帯域の幅と、携帯端末100のイコライザによる調整の帯域幅とが異なる場合があるため、より細かく分類して楽曲を分析した周波数帯域の幅を用いて、詳細な判断をすることが好ましい。
携帯端末100は、共通する周波数帯域が存在するか否かを判定する(ステップS113)。例えば、イコライザ設定で周波数帯域の音量を低減した箇所には、聴覚過敏現象の要因となる周波数成分が存在する可能性がある。このため、携帯端末100は、複数の楽曲で同様に音量が「0」になっている帯域が共通するか否かを判定する。共通する周波数帯域が存在する場合は聴覚過敏現象の候補の対象となる。複数の楽曲で同様に音量が「0」になっている場合は、ユーザが意識して音量を低減したという行動が伴うので、聴覚過敏現象の対象である可能性が高くなる。携帯端末100は、共通する周波数帯域が存在する場合に(ステップS113:Yes)、注意判断フラグを設定する(ステップS114)。一方、携帯端末100は、共通する周波数帯域が存在しない場合に(ステップS113:No)、ステップS115の処理を実行する。なお、注意判断フラグは、上述したものと同様の情報である。
携帯端末100は、ストレス値の上昇の原因となる周波数帯域と、イコライザ設定による周波数帯域の低減帯域とに共通する帯域成分が存在するかを検査する(ステップS115)。まず、携帯端末100は、ステップS108で検出されたストレス値上昇の要因となる周波数帯域と、ステップS111で集計されたイコライザ設定による周波数帯域の低減帯域とに、同一の領域が存在するかを検査する。ここで、イコライザ設定によりストレス値が増加しなくなった場合も有り得る。このため、次に、携帯端末100は、ステップS108で検出されたストレス値上昇の要因となる周波数帯域と、ステップS106で集計されたストレス値上昇の要因となる周波数帯域との比較も行なう。聴取した楽曲の種類によっては該当の帯域の信号が弱い場合もあるため、このように、二段階でチェックすることで、チェック漏れになることを抑制することができる。
携帯端末100は、共通する帯域成分が存在するか否かを判定する(ステップS116)。このとき、携帯端末100は、共通する帯域成分が存在する場合に(ステップS116:Yes)、注意判断フラグを設定する(ステップS117)。一方、携帯端末100は、共通する帯域成分が存在しない場合に(ステップS116:No)、ステップS118の処理を実行する。なお、注意判断フラグは、上述したものと同様の情報である。
携帯端末100は、注意判断フラグが設定されているか否かを判定する(ステップS118)。このとき、携帯端末100は、注意判断フラグが設定されている場合に(ステップS118:Yes)、健康管理サーバ装置200に対して詳細な分析を依頼する(ステップS119)。例えば、携帯端末100は、注意判断フラグが設定されていれば、必要な履歴情報(例えば、該当する楽曲ID、設定情報、ストレス値の変化情報等)や、検出した周波数帯域の分類情報等を健康管理サーバ装置200に対して送信し、詳細な分析を依頼する。聴覚過敏現象の要因となる帯域の信号は楽曲の一部分だけに存在したり、信号強度も時間的に変化したりするため、ストレス値の変化情報と合わせて健康管理サーバ装置200に分析させることにより、聴覚過敏現象の程度を推定することを可能とする。健康管理サーバ装置200では、診断情報データを使用して、バイオマーカ情報の数値を推定することにより、健康体と疾患状態との間で、どのあたりに該当するのかが推定され、健康状態が判定される。
携帯端末100は、健康管理サーバ装置200から分析結果を受信する(ステップS120)。そして、携帯端末100は、健康度の判定結果をユーザに提示する(ステップS121)。また、携帯端末100は、ユーザの要求があれば、過去の変化情報や対応方法等を追加で提示する(ステップS122)。聴覚過敏現象が長期に続いている場合は、精神面での疾病の可能性もあるので、適切な注意情報を提示する。また、長期に渡って状態変化が確認できることは、健康管理には有益である。
また、携帯端末100は、注意判断フラグが設定されていない場合に(ステップS118:No)、帯域別信号の集計情報やストレス値情報等の履歴情報を登録するように、健康管理サーバ装置200に依頼する(ステップS123)。そして、携帯端末100は、登録が完了した旨を健康管理サーバ装置200から受信する(ステップS124)。その後、携帯端末100は、健康である旨をユーザに提示し(ステップS121)、ユーザの要求に応じて、過去の変化情報や対応方法等を追加で提示する(ステップS122)。
次に、図13を用いて、実施の形態1に係る健康管理サーバ装置200による全体処理の流れを説明する。図13は、実施の形態1に係る健康管理サーバ装置200による全体処理の流れの例を示すフローチャートである。
図13に示すように、健康管理サーバ装置200は、携帯端末100から処理依頼情報を受け取る(ステップS201)。例えば、健康管理サーバ装置200は、注意判断フラグが設定されたときに、携帯端末100から処理依頼情報を受け取る。このほか、健康管理サーバ装置200は、携帯端末100から定期的に送られる履歴情報の登録のための処理依頼情報も受け付ける。
健康管理サーバ装置200は、詳細な分析が必要であるか否かを判定する(ステップS202)。例えば、健康管理サーバ装置200は、携帯端末100において注意判断フラグが設定されたことによる処理依頼情報であれば、詳細な分析が必要であると判定する。すなわち、健康管理サーバ装置200は、携帯端末100において、聴覚過敏現象の可能性が検出されたため、詳細な分析のための準備をする。健康管理サーバ装置200は、履歴情報や設定情報等を携帯端末100から受信する。このとき、健康管理サーバ装置200は、詳細な分析が必要であると判定した場合に(ステップS202:Yes)、ステップS203の処理を実行する。一方、健康管理サーバ装置200は、詳細な分析が必要でないと判定した場合に(ステップS202:No)、ステップS207の処理を実行する。なお、健康管理サーバ装置200は、携帯端末100側で独自に記録保存された楽曲がストレス値上昇の要因となる場合に、分析のために該当する楽曲情報を受け取る。
健康管理サーバ装置200は、個人管理DB223aから健康管理情報を取得する(ステップS203)。例えば、健康管理サーバ装置200は、個人管理DB223aを検索し、ユーザの過去の健康度の状態を取得する。健康管理サーバ装置200は、過去にストレス値上昇の要因と推定された周波数帯域の記録があれば、検査対象に含める。
健康管理サーバ装置200は、診断情報DB223bの検索のための情報を作成する(ステップS204)。例えば、健康管理サーバ装置200は、ユーザが聴取によりストレスと感じた楽曲の周波数帯域の信号強度と、該当する楽曲の聴取時のストレス値上昇の変化パターンとから、診断情報DB223bの検索のためのキーを作成する。ここで、周波数帯域の信号強度は、楽曲聴取時の音量設定やイコライザの帯域調整効果を考慮したものであり、ユーザの耳に届いている信号強度である。この信号強度は、携帯端末100における処理によって検出された情報が使用されれば良い。なお、携帯端末100の再生時の周波数特性やイヤホンの種類による再生周波数特性の情報が存在すれば含めて調整しても良い。
また、変化パターンとは、対象の周波数成分が同じ程度の音量で続いている場合や、時々は大きな音量で出現するが平均すると小さくなる場合等の、変化の程度を分類又は数値化したものである。また、健康管理サーバ装置200は、変化パターンについて、携帯端末100から受信した楽曲IDを使用して、コンテンツ分析情報DB223cに登録されている情報から取得しても良い。音の信号強度は、ストレス値上昇の要因となる周波数帯域が変われば、同一の楽曲であっても当然ながら異なる。
例えば、健康なユーザであれば、音の信号強度が大きくなるとストレス値も増加していき、ある程度まで信号強度が大きくなるとストレス値が急に高くなるパターン、すなわち指数関数の曲線のように下方向に膨らんだ曲線形状になりやすい。一方、聴覚過敏現象のあるユーザであれば、特定の周波数帯域の音に対して、比較的小さな信号強度の状態でストレス値が急激に高くなるパターン、すなわち対数関数の曲線のように上方向に膨らんだ曲線形状になりやすい。従って、健康管理サーバ装置200は、音の信号強度が小さな領域でストレス値の変化曲線の形状を利用して健康度の判定に用いる。
具体的には、健康管理サーバ装置200は、x軸に音の信号強度の大きさ、y軸にストレス値の増加分をプロットする。このように、健康管理サーバ装置200は、複数の楽曲での結果をプロットすることで、2つの関係性を直線又は曲線の変化情報として取得することができる。この結果、健康管理サーバ装置200は、音の信号強度に対するストレス値の変化の大きさ(直線で結んだときの傾きの大きさ)と、ストレス値が増加を始める音の大きさ(変化状態を結んだ直線とx軸との交点)とを推定できる。以下では、音の信号強度に対するストレス値の変化の大きさを「ストレス値変化率」、ストレス値が増加を始める音の大きさを「ストレス発現音量」と呼ぶ場合がある。
健康管理サーバ装置200は、診断情報DB223bを検索する(ステップS205)。例えば、健康管理サーバ装置200は、ストレス値上昇の要因となる周波数帯域の種類とその数、ストレス値変化率、ストレス発現音量を用いて、診断情報DB223bを検索し、検索条件により類似する診断情報を検索する。診断情報DB223bには、医師による複数人に対する診断をもとにした診断情報が格納されている。
同一の楽曲を聴取するユーザであっても、健康状態は日々変化する。また、診断情報は時間的にも離散的である。このため、ある程度の範囲の幅を持たせて、診断情報を推定することが好ましい。また、検索結果について複数の診断情報の候補が現れた場合には、それぞれの候補に対応した検索結果情報を切り替えて使用しても良い。また、身体的な疾患の可能性がある場合も、身体的な疾患の可能性がある旨の情報をメッセージとして携帯端末100に応答しても良い。精神面の健康状態に異常がある場合は、ストレス値上昇の要因となる帯域は1〜数個程度であるが、対象数が多い場合は、身体的な疾患の可能性があるため、優先度を決めて携帯端末100にメッセージを応答しても良い。
健康管理サーバ装置200は、健康度の推定値を求める(ステップS206)。例えば、健康管理サーバ装置200は、診断情報DB223bの検索結果をもとに、ストレス値変化率とストレス発現音量とがより近い診断情報を、推定値として求める。ここで、健康管理サーバ装置200は、複数の候補がある場合には、複数の候補の平均値等を求める。
健康管理サーバ装置200は、ストレス値の情報を利用して、健康な人と罹患者との間で、複数段階で示される数値やパーセント表記等の割合として健康度を判定する。
健康管理サーバ装置200は、ストレス値の情報を利用して、健康な人と罹患者との間で、複数段階で示される数値やパーセント表記等の割合として健康度を判定する。
健康管理サーバ装置200は、個人管理DB223aにユーザの状態結果を追加する(ステップS207)。例えば、健康管理サーバ装置200は、今回の履歴情報(携帯端末100から受け取られた処理依頼情報に含まれる履歴情報)から推定した健康度判定の結果を、個人管理DB223aに登録する。
健康管理サーバ装置200は、健康度を判定する(ステップS208)。ここでは、健康管理サーバ装置200は、ユーザの過去の情報も合わせて分析し、健康度を判定する。過去の情報を用いて健康度を判定するのは、健康度について低下傾向が継続していたり、改善していたりする状況を分析し、ユーザに対して情報を提供するためである。また、健康管理サーバ装置200は、過去にわたる健康度の傾向から、健康度の向上のための助言等があれば、助言等を追加した携帯端末100に対する応答情報を作成する。医師等による助言は、予め記憶されている情報であり、複数人の健康度の判定結果から導き出されたものである。また、健康管理サーバ装置200は、複数の疾病の予兆がある場合にも、その旨の情報や医師の受診を案内する旨の情報を応答情報に含めるようにする。
健康管理サーバ装置200は、分析結果を携帯端末100に送信する(ステップS209)。例えば、健康管理サーバ装置200は、分析結果として作成した応答情報を携帯端末100に送信する。
次に、図14を用いて、実施の形態1に係る診断情報DB223bの更新処理の流れを説明する。図14は、実施の形態1に係る診断情報DB223bの更新処理の流れの例を示すフローチャートである。なお、診断情報DB223bの更新処理は、任意のタイミングで適宜実施されれば良い。
図14に示すように、健康管理サーバ装置200は、登録した楽曲の周波数成分の強度分布を解析する(ステップS301)。例えば、健康管理サーバ装置200は、バイオマーカ情報や、携帯端末100から受け付けた履歴情報等を診断情報DB223bに追加登録する。そして、健康管理サーバ装置200は、登録した楽曲に対して周波数帯域ごとの信号強度やストレス値の変化パターン等を分析して、コンテンツ分析情報DB223cに登録する。
健康管理サーバ装置200は、どの周波数成分の信号に対してストレス値を上げているかを分析する(ステップS302)。ステップS302における処理は、履歴情報をもとに聴覚過敏現象の対象となる帯域成分を推定した携帯端末100による処理と同様である。また、健康管理サーバ装置200は、複数の周波数帯域で聴覚過敏現象が起きていると推定された場合に、その数と対応した数分のキー登録処理を行なう。隣接した帯域の場合や倍音帯域の場合もあるが、異なった周波数帯域での現象例もあるので、見落としがないように検索用のキーを用意しておく。このように、健康管理サーバ装置200は、周波数帯域の信号強度と出現パターンの該当帯域の数とを、検索用のキー情報として作成する。信号強度は、音量情報やイコライザ設定を加味し、ユーザの耳に届く信号レベルに調整しておくことが好ましい。
健康管理サーバ装置200は、楽曲聴取によるストレス値を求める(ステップS303)。例えば、健康管理サーバ装置200は、ユーザの安静時の状態や活動時のストレス値の情報等を利用して、楽曲聴取によるストレス値の増加分の割合を推定する。
健康管理サーバ装置200は、検索用のキー情報を作成する(ステップS304)。具体的には、健康管理サーバ装置200は、信号強度と対応するストレス値の変化情報(ストレス値変化率、ストレス発現音量の情報)から検索用のキー情報を作成する。例えば、健康管理サーバ装置200は、複数の楽曲の聴取結果を使用して、ストレス値上昇の要因となる周波数帯域の信号強度と、ストレス値の増加量から、ストレス値変化率やストレス発現音量を推定する。このように、予め分析して検索用のキーとして作成しておくことで、各ユーザの病態を推定する処理を速くすることができる。
健康管理サーバ装置200は、信号強度、ストレス値情報、診断情報を関連付けて、検索用のデータ(診断情報DB223bの一情報)として登録する(ステップS305)。例えば、健康管理サーバ装置200は、信号強度、ストレス値情報、診断情報を、楽曲の聴取日時と診断日に近いものを関連付けて登録する。これは、日々の健康状態により変化する可能性があるためである。診断日や検査日の間である場合は、経過情報として日付が近いものに関連付けて登録すれば良く、これにより、検索の際に日付の近い値を抽出することができる。
健康管理サーバ装置200は、全ての情報を処理したか否かを判定する(ステップS306)。このとき、健康管理サーバ装置200は、全ての情報を処理した場合に(ステップS306:Yes)、処理を終了する。一方、健康管理サーバ装置200は、全ての情報を処理していない場合に(ステップS306:No)、ステップS301の処理に戻る。
図15は、実施の形態1に係る診断情報DB223bに記憶された情報例を説明する図である。図15に示すように、診断情報DB223bは、識別番号と、診断情報と、バイオマーカ情報と、周波数帯域と、信号強度と、ストレス値との情報を対応付けて記憶する。例えば、診断情報DB223bには、医師が病気又は健康度が低下していると診断した人の病態情報(診断情報)や診断時の検査情報、バイオマーカ情報、罹患者から提供してもらった楽曲聴取時のストレス値の情報等が記録されている。これらのうち、精神面の健康状態の程度は問診等により医師が判断するが、血液検査の結果や画像検査によるバイオマーカ情報も参考情報として利用される。これらの情報と楽曲聴取時のストレス反応の程度から、病態の度合いを推定することができる。
識別番号は、病態に応じて聴覚過敏現象の状態を区別する識別情報である。例えば、同一人物であっても、病態の程度や回復状態によりバイオマーカ情報や聴覚過敏現象の程度が変化するため、同一人物に対して複数の比較項目が作成される場合がある。バイオマーカ情報は、医師が病態の程度を確認するための血液検査や画像診断装置等の結果に対応する情報である。バイオマーカ情報は、数値化しやすい情報が使用されることが好ましい。例えば、うつ病では血液中のリン酸エタノールアミンが指標になると言われている。このほか、セロトニン等の神経伝達物質やコルチゾール等のホルモン物質、BDNF(脳由来神経栄養因子)、白血球中のRNA生成量等が利用できると言われている。また、画像診断では、赤外光を用いた脳血液量の変化を測定する機器がある。但し、検査結果には個体差が大きいので、病態の程度は医師が問診等で確定する必要がある。
一方、聴覚過敏現象の程度も病態の状況に応じて変化するので、その症状から病態の程度を推定できると考えられる。そのため、聴覚過敏現象の要因となっている周波数帯域と信号強度、ストレス値の情報をより多く蓄積することにより、ユーザの聴覚過敏現象の状態に合う病態の程度を見つけることができるようになる。ストレス値の分析情報には、ストレス値変化率等の分析結果を合わせて記録しておくことで、診断情報を検索するときに役立てることができる。
上述したように、携帯端末100は、楽曲聴取時のユーザ操作に関する履歴情報と、イヤホンに搭載された脈波センサから得られた生体情報とから、ユーザの健康状態を推定し、ユーザの健康状態が異常であると推定されたときの履歴情報を含む診断依頼情報を健康管理サーバ装置200に送信し、健康管理サーバ装置200からの診断結果情報をユーザに提示するので、日常生活の中でユーザに意識させることなく、簡易且つ高精度に精神面の健康状態を推定することができる。
(変形例など)
上述した携帯端末100では、分析処理を健康管理サーバ装置200に依頼する場合を説明した。本実施の形態では、診断情報をより簡易なものにすることで、携帯端末100だけで実現することもできる。例えば、ストレス値の発生しやすい周波数帯域の数とストレス値の大きさとすることで検索を容易にすることができる。これにより、データを削減できるため、携帯端末100で実現することが可能となる。また、聴覚過敏現象の対象数は数帯域(近い帯域間)では変化することがあまりないと言われているため、対象の帯域が確定していれば、ストレス値を観測して変化分を聴覚過敏現象により出たものと推定することができる。そして、この結果をユーザに提示することで、現状を実時間で観測できるという利点がある。
上述した携帯端末100では、分析処理を健康管理サーバ装置200に依頼する場合を説明した。本実施の形態では、診断情報をより簡易なものにすることで、携帯端末100だけで実現することもできる。例えば、ストレス値の発生しやすい周波数帯域の数とストレス値の大きさとすることで検索を容易にすることができる。これにより、データを削減できるため、携帯端末100で実現することが可能となる。また、聴覚過敏現象の対象数は数帯域(近い帯域間)では変化することがあまりないと言われているため、対象の帯域が確定していれば、ストレス値を観測して変化分を聴覚過敏現象により出たものと推定することができる。そして、この結果をユーザに提示することで、現状を実時間で観測できるという利点がある。
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
また、携帯端末100で実行される診断プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記憶されて提供される。また、携帯端末100で実行される診断プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、携帯端末100で実行される診断プログラムを、インターネット等のネットワーク経由で提供又は配布するように構成しても良い。
5 診断システム
6 ネットワーク
100 携帯端末
120 通信制御部
121 履歴蓄積部
122 特徴量収集部
123 記憶部
123a 履歴情報DB
124 健康度判定部
125 出力部
126 アプリケーション制御部
127 センサ制御部
200 健康管理サーバ装置
220 通信制御部
221 DB管理部
222 分析処理部
223 記憶部
223a 個人管理DB
223b 診断情報DB
223c コンテンツ分析情報DB
300 管理端末
6 ネットワーク
100 携帯端末
120 通信制御部
121 履歴蓄積部
122 特徴量収集部
123 記憶部
123a 履歴情報DB
124 健康度判定部
125 出力部
126 アプリケーション制御部
127 センサ制御部
200 健康管理サーバ装置
220 通信制御部
221 DB管理部
222 分析処理部
223 記憶部
223a 個人管理DB
223b 診断情報DB
223c コンテンツ分析情報DB
300 管理端末
Claims (6)
- 楽曲聴取機能を有する携帯端末であって、
前記楽曲聴取機能が使用されたときのユーザ操作に関する履歴情報と、装着型音出力装置に搭載された検出装置によって検出された生体情報とを取得する取得部と、
前記履歴情報と、前記生体情報とから、前記携帯端末のユーザの健康状態を推定する推定部と、
前記ユーザの健康状態が異常であると推定されたときの前記履歴情報を含む診断依頼情報を、健康状態を診断する診断装置に出力する依頼部と、
前記診断装置からの診断結果情報を受け付ける受付部と、
前記診断結果情報の出力を制御する出力制御部と
を有することを特徴とする携帯端末。 - 前記推定部は、前記生体情報をもとに前記ユーザのストレス値を検出し、前記ストレス値が上昇したときの前記履歴情報と、前記ストレス値が上昇していないときの前記履歴情報とから、前記ユーザの健康状態を推定することを特徴とする請求項1に記載の携帯端末。
- 前記取得部は、前記ユーザの活動情報をさらに取得し、
前記推定部は、前記活動情報と前記生体情報とをもとに、前記ユーザの活動による影響を除去した前記ストレス値を検出することを特徴とする請求項2に記載の携帯端末。 - 前記推定部は、複数の楽曲で周波数帯域の低減箇所が共通している場合に、前記ユーザの健康状態に異常がある可能性があると推定することを特徴とする請求項1〜3の何れか一つに記載の携帯端末。
- 楽曲聴取機能を有する携帯端末で実行される診断方法であって、
前記楽曲聴取機能が使用されたときのユーザ操作に関する履歴情報と、装着型音出力装置に搭載された検出装置によって検出された生体情報とを取得する取得工程と、
前記履歴情報と、前記生体情報とから、前記携帯端末のユーザの健康状態を推定する推定工程と、
前記ユーザの健康状態が異常であると推定されたときの前記履歴情報を含む診断依頼情報を、健康状態を診断する診断装置に出力する依頼工程と、
前記診断装置からの診断結果情報を受け付ける受付工程と、
前記診断結果情報の出力を制御する出力制御工程と
を含むことを特徴とする診断方法。 - 楽曲聴取機能が使用されたときのユーザ操作に関する履歴情報と、装着型音出力装置に搭載された検出装置によって検出された生体情報とを取得する取得ステップと、
前記履歴情報と、前記生体情報とから、ユーザの健康状態を推定する推定ステップと、
前記ユーザの健康状態が異常であると推定されたときの前記履歴情報を含む診断依頼情報を、健康状態を診断する診断装置に出力する依頼ステップと、
前記診断装置からの診断結果情報を受け付ける受付ステップと、
前記診断結果情報の出力を制御する出力制御ステップと
をコンピュータに実行させるための診断プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017053711A JP2018156485A (ja) | 2017-03-17 | 2017-03-17 | 携帯端末、診断方法及び診断プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017053711A JP2018156485A (ja) | 2017-03-17 | 2017-03-17 | 携帯端末、診断方法及び診断プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018156485A true JP2018156485A (ja) | 2018-10-04 |
Family
ID=63717340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017053711A Pending JP2018156485A (ja) | 2017-03-17 | 2017-03-17 | 携帯端末、診断方法及び診断プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018156485A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024004926A1 (ja) * | 2022-06-28 | 2024-01-04 | ピクシーダストテクノロジーズ株式会社 | 信号処理装置、認知機能改善システム、信号処理方法、およびプログラム |
-
2017
- 2017-03-17 JP JP2017053711A patent/JP2018156485A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024004926A1 (ja) * | 2022-06-28 | 2024-01-04 | ピクシーダストテクノロジーズ株式会社 | 信号処理装置、認知機能改善システム、信号処理方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chastin et al. | Systematic comparative validation of self-report measures of sedentary time against an objective measure of postural sitting (activPAL) | |
Zhang et al. | Pdvocal: Towards privacy-preserving parkinson's disease detection using non-speech body sounds | |
US20210145306A1 (en) | Managing respiratory conditions based on sounds of the respiratory system | |
JP7293050B2 (ja) | 軽度認知障害判定システム | |
JP2019523027A (ja) | 記憶及び機能の衰えの記録及び分析のための装置及び方法 | |
US20190261863A1 (en) | System and method for providing an indication of the well-being of an individual | |
JP6899111B2 (ja) | サーバシステム、サーバシステムによって実行される方法及びプログラム | |
JP2017121286A (ja) | 情動推定システム、情動推定方法および情動推定プログラム | |
de Arriba-Pérez et al. | Study of stress detection and proposal of stress-related features using commercial-off-the-shelf wrist wearables | |
Sahyoun et al. | ParkNosis: Diagnosing Parkinson's disease using mobile phones | |
Psaltos et al. | Multimodal wearable sensors to measure gait and voice | |
EP3838142A1 (en) | Method and device for monitoring dementia-related disorders | |
JP5895345B2 (ja) | 時差ぼけ症状の推定装置、推定システム、推定方法およびプログラム | |
JP2022512610A (ja) | 自閉スペクトラム症を評価する方法、デバイス、およびシステム | |
JP2018156485A (ja) | 携帯端末、診断方法及び診断プログラム | |
US20200185110A1 (en) | Computer-implemented method and an apparatus for use in detecting malingering by a first subject in one or more physical and/or mental function tests | |
KR20210117758A (ko) | 정신 건강 진단 시스템 | |
EP3760123A1 (en) | A system for estimating a stress condition of an individual | |
Marino et al. | Quantitative assessment of Parkinsonian tremor by using biosensor device | |
JP6859622B2 (ja) | 脳波信号処理システム、脳波信号処理方法及びプログラム | |
JP7307507B2 (ja) | 病態解析システム、病態解析装置、病態解析方法、及び病態解析プログラム | |
JP6721818B2 (ja) | 瞳孔径拡大による脳活動量判定装置およびプログラム | |
US11810579B2 (en) | Systems and methods for tracking biomarkers in subjects | |
JP2009042553A (ja) | 感性評価装置及び方法 | |
Dourou et al. | IoT-enabled analysis of subjective sound quality perception based on out-of-lab physiological measurements |