JP6963668B1 - ソリューション提供システム - Google Patents

Abstract

【課題】ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供する。【解決手段】ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶する記憶部と、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得するユーザー情報取得部と、身体または動作から取得された情報に基づいてユーザー状態情報を生成するユーザー状態情報生成部と、複数のソリューションからユーザー状態情報に応じたソリューションを決定するソリューション決定部と、決定されたソリューションをユーザーに提供するソリューション提供部とを備える。【選択図】図１

Description

本発明は、ユーザーの感情又は疲労状態を改善するソリューションの提供システムに関する。

従来、生体測定装置、心身状態誘導装置が知られている（特許文献１、特許文献２参照）。

特開２０１８−１９７９１０号公報 特開２０２０−６２２８２号公報

特許文献１の発明によれば、近赤外光を用いて撮影したユーザーの顔画像から得られる脈波の情報に基づいてユーザーの状態を判定し、ユーザーの状態に応じた所定の警報を発することができる。

また特許文献２の発明によれば、ユーザーの生体情報からユーザーの体調等を特定して、体調に応じた呼吸リズムに誘導するための刺激を発することができる。

これらの技術を、ユーザーの感情又は疲労状態を分析して、ユーザーの状態に応じた適切なソリューションを提供して、ユーザーの状態を改善等するシステムに応用することが考えられる。

ユーザーの状態を改善等するためにユーザーに提供すべきソリューションの内容は、ユーザーの状態によって大きく異なる。そのため、ユーザーの状態に適さないソリューションを提供してしまうと、ユーザーの状態の改善に役立たないばかりか、かえって悪化させてしまうことも考えられる。

しかしながら特許文献１の技術ではユーザーに対して所定の警報を発することができるのみであり、また特許文献２の技術では呼吸のリズムを整えるための刺激を発することができるのみである。そのため、ユーザーの感情又は疲労状態に応じた適切なソリューションを提供できる仕組みにはなっていない。

そこで本発明は、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供することを目的とする。

本発明のソリューション提供システムは、
ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶する記憶部と、
前記ユーザーが、該ユーザーの手指の肌の画像を取得する第１状況にあるか、該ユーザーの顔の肌の画像を取得する第２状況にあるか、を認識する状況認識部と、
前記ユーザーが前記第１状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第２状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
前記ユーザーが前記第１状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第２状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
ことを特徴とする。

ソリューション提供システムを利用しようとするユーザーが置かれている状況はさまざまである。例えば肌の画像を取得させる必要がある場合に、状況によってはユーザーが自身の顔の画像を取得させることを望まないか、あるいは顔の画像を取得させたくてもそれに適した状況にないことも考えられる。
本発明によれば、状況認識部によりユーザーの置かれている状況が認識されて、当該認識された状況に応じてユーザーの肌の画像を取得する部位（顔又は手指）を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。

本発明のソリューション提供システムにおいて、
前記状況認識部は、前記ユーザーが第１状況にあるか、第２状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第１状況及び該第２状況のいずれの状況にあるかを認識する
ことが好ましい。
これにより、手指と顔とのいずれの肌の画像を取得させるかを、ユーザーの選択に応じて切り替えて、ユーザーの感情や疲労状態に応じた適切なソリューションを簡便に提供できる。
あるいは本発明のソリューション提供システムにおいて、
前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第１状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第２状況にあると認識する
ことが好ましい。

これにより、例えば昼間働いている人は、昼間の時間帯は職場などで手指の肌の画像から、就寝前の夜の時間帯は自宅などで人目を気にせずに顔の肌の画像から自身の感情や疲労状態を知ることができる。

このように、本発明によれば、時間帯に応じて取得する情報を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。

本発明のソリューション提供システムにおいて、
前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
ことが好ましい。

ソリューションの提供の結果、時間の経過等、その他の理由により、ユーザーの感情又は疲労状態は変化することが想定される。

本発明によれば、ソリューションがユーザーに提供された後に、ユーザー情報取得部によりユーザー情報が再度取得される。

そしてソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいて、ユーザー状態情報生成部によりユーザー状態情報が再生成されて、ソリューション決定部により当該再生成されたユーザー状態情報に応じたソリューションが決定される。

本発明によれば、ユーザーの感情又は疲労状態の変化に応じた個対応のソリューションを決定してユーザーに提供することができる可能性が高まる。

本発明のソリューション提供システムにおいて、
前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
本発明によれば、ユーザーが所望する感情の状態又は疲労から回復した状態に効果的に誘導することができる。
本発明のソリューション提供システムにおいて、
前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
ことが好ましい。

本発明によれば、ソリューション決定部により、ユーザー状態情報に応じて、ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導するソリューションが決定される。

本発明によれば、効果的にユーザーをリラックスした状態、冷静な状態、又は覚醒した状態に誘導することができる。

このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じたリラックスした状態、冷静な状態、又は覚醒した状態に誘導するための適切なソリューションを簡便に提供できる。

本発明のソリューション提供システムにおいて、
前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。

本発明によれば、ユーザーを基準状態情報が示す状態の感情又は疲労状態に効果的に誘導することができる。

本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
ことが好ましい。

システムから提供されるソリューションが、ユーザーに対して能動的な行動を求めるソリューションである場合には、ユーザーにソリューションの提供を受けることに伴う労力を生じさせ、かえって感情を害したり、疲労を蓄積させたりしてしまうので望ましくない。

このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切かつユーザーに労力を生じさせないソリューションを簡便に提供できる。

本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
ことが好ましい。

朗読音声、所定の周期的な振動には、副交感神経の働きを活性化させて人の緊張感を緩和し、疲労を解消させるなどの効果がある。また、音楽には人の緊張感を緩和し、又は交感神経の働きを活性化させて人の緊張感を高める効果がある。これらを適切に組み合わせれば、より効果的である。

本発明によれば、前記ソリューション決定部が決定するソリューションは、音楽と、朗読音声と、所定の周期的な振動との、ユーザーのユーザー状態に応じた組み合わせを含んでいる。

本発明によれば、豊富なソリューションを、ユーザー状態に応じて適切に組み合わせてユーザーの感情又は疲労状態をより効果的に改善することができる。

本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
ことが好ましい。

所定の香りには、人の緊張感を緩和し、疲労を解消させるなどの効果がある。

本発明によれば、前記ソリューション決定部が決定するソリューションは、ユーザーのユーザー状態に応じた所定の香りを含んでいる。

本発明によれば、ユーザーの感情又は疲労状態を効果的に改善することができる。

本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
ことが好ましい。

本発明によれば、運転者の感情の状態、疲労状態に応じた振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。

本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
ことが好ましい。

本発明によれば、医療機関で診察を受ける患者の感情の状態に応じた振動が診察台から伝わり、患者の不安感、緊張状態の低減が促されて治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。

本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
ことが好ましい。

本発明によれば、生徒の感情の状態、疲労状態に応じた振動がタブレット端末又は座席から伝わり、ストレス、疲労の回復が促されるので、生徒の授業に対する集中力が高まって、学習効果が高まることが期待できる。

本発明のソリューション提供システムの全体像を示すブロック図。 本発明のソリューション提供システムが処理に用いるデータの内容を示す図。 本発明のソリューション提供システムの処理内容を示すフローチャート。 本発明のソリューション提供システムの処理内容を示すフローチャート。 本発明のソリューション提供システムの処理内容を示すフローチャート。 本発明のソリューション提供システムの処理内容を示すイメージ図。 本発明のソリューション提供システムが処理に用いるデータの内容を示す図。

＜ソリューション提供システムの構成＞
まず図１を用いて、本実施形態のソリューション提供システムの構成について説明する。なお同一の構成については、同一の符号を付して説明を省略することがある。

本実施形態のソリューション提供システムは、携帯端末１０と、サーバー３０と、を含んで構成される。携帯端末１０とサーバー３０との間は、携帯電話網などの通信ネットワーク９０により相互に通信可能に接続される。なお携帯端末１０とサーバー３０は、いずれも複数であってよい。

携帯端末１０は、携帯端末制御部１１０と、入力部１３０と、出力部１５０と、を含んで構成される、例えばスマートフォン、タブレット端末などの汎用的な端末である。あるいは携帯端末１０は、ユーザーが携帯可能な専用端末であってもよい。

携帯端末制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置、メモリ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）デバイスなどにより構成されている。携帯端末制御部１１０は、所定のプログラムを読み込んで実行することにより例えばユーザー情報取得部１１１と、ソリューション提供部１１３として機能し、あるいはさらに所望状態受付部１１５、肌画像分析部１１７、状況認識部１１９として機能する。

ユーザー情報取得部１１１は、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得する。

ユーザー情報取得部１１１が取得するユーザーの身体または動作から得られる情報は、例えばユーザーの心拍に関する情報、ユーザーの肌の画像、ユーザーが入力する文字及び音声の一方又は両方である言語情報の少なくとも１つの情報である。

ユーザー情報取得部１１１は、例えば入力部１３０である心拍計を介してユーザーの心拍を取得する。

あるいはユーザー情報取得部１１１は、ユーザーの肌の動画像又はユーザーの肌を連続的に撮像した静止画像を、例えば入力部１３０であるカメラを介してユーザー情報として取得する。なお肌の画像とは、例えばユーザーの顔の肌の画像又は手指の肌の画像であるが、その他の部位の肌の画像であってよい。

そしてユーザー情報取得部１１１は、ユーザーによる文字及び音声の一方又は両方である言語情報を含むユーザー情報の入力を、例えば入力部１３０であるタッチパネル、マイクなどを介して受け付ける。

ソリューション提供部１１３は、ソリューション決定部３１３により決定されたソリューションを、出力部１５０を介してユーザーに提供する。

所望状態受付部１１５は、ユーザーが所望するユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を、入力部１３０を介して受け付ける。

肌画像分析部１１７は、ユーザー情報に含まれる記肌の画像を分析する。

状況認識部１１９は、ユーザーが、ユーザー情報取得部１１１にユーザーの手指の肌の画像を取得させる第１状況にあるか、ユーザーの顔の肌の画像を取得させる第２状況にあるか、を認識する。状況認識部１１９は例えば、第１状況にあるか、第２状況にあるかの、ユーザー自身による選択の入力を受け付けて、当該受け付けた選択内容に応じてユーザーが第１状況及び第２状況のいずれの状況にあるかを認識する。あるいは例えば状況認識部１１９は、現在の時間帯に基づいて、ユーザーが第１状況及び第２状況のいずれの状況にあるかを認識してもよい。

入力部１３０は、例えばカメラなどの映像取得手段であり、タッチパネル、キーボードなどの文字や選択結果等の入力機構であり、あるいはマイクなどの音声入力機構である。

出力部１５０は、例えばバイブレーターなどの振動発生部１５１と、液晶ディスプレイなどの表示部１５３と、スピーカなどの音声再生部１５５と、香りを発生させる香り発生部１５７と、を含んで構成される。なお出力部１５０の一部は外付けの装置であってよい。

すなわち例えば振動発生部１５１として、携帯端末１０に備えられたバイブレーターに代えて又は加えて、振動発生機能を備えた外付けの装置が備えられている場合には、携帯端末１０と当該外付けの装置とは、例えば無線又は有線の通信により、相互に通信可能に接続される。そして当該外付けの装置は、例えば携帯端末１０から、振動のソリューションを提供するための信号を受信して、当該信号に従って、振動のソリューションをユーザーに提供する。

サーバー３０は、サーバー制御部３１０と、サーバー記憶部３３０と、を含んで構成される、例えばコンピューターである。

サーバー制御部３１０は、ＣＰＵ等の演算処理装置、メモリ、及びＩ／Ｏデバイスなどにより構成されている。サーバー制御部３１０は、所定のプログラムを読み込んで実行することにより例えばユーザー状態情報生成部３１１、ソリューション決定部３１３として機能し、あるいはさらに心拍情報取得部３１５、自律神経バランス取得部３１７、言語情報分析部３１９として機能する。

ユーザー状態情報生成部３１１は、ユーザー情報取得部１１１によりされた身体または動作から取得された情報に基づいてユーザーのユーザー状態を示すユーザー状態情報を生成する。

すなわち例えばユーザー状態情報生成部３１１は、ユーザー情報に含まれる心拍に関する情報、肌画像分析部１１７による分析の結果、言語情報分析部３１９による分析の結果、自律神経バランス情報に基づいて、ユーザー状態情報を生成する。

ソリューション決定部３１３は、複数のソリューションからユーザー状態情報に応じたソリューションを決定する。

そして心拍情報取得部３１５は、肌の画像からユーザーの心拍に関する情報を取得する。

自律神経バランス取得部３１７は、ユーザー情報に含まれる心拍に関する情報又は、心拍情報取得部３１５により取得された心拍に関する情報に基づいて、ユーザーの自律神経バランスを示す自律神経バランス情報を取得する。

あるいは例えば自律神経バランス取得部３１７は、言語情報分析部３１９により取得された、言語情報の特徴に関する情報に基づいて、ユーザーの自律神経バランス情報を取得する。

言語情報分析部３１９は、ユーザー情報に含まれる言語情報を分析する。例えば言語情報分析部３１９は、言語情報からユーザー情報の特徴に関する情報を取得する。

より具体的にはたとえば言語情報分析部３１９は、言語情報に含まれる特徴的な語句（ネガティブな語句など）を、あるいは例えばユーザー情報に音声が含まれる場合には、該音声の抑揚をユーザー情報の特徴に関する情報として取得する。

サーバー記憶部３３０は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置により構成されている。サーバー記憶部３３０は、ユーザーに提供可能な、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶しており、あるいはさらに対応辞書３３１、判定モデル３３３、変換モデル３３５、基準状態情報３３７のほか、本実施形態のソリューション提供システムの処理結果及び、処理に必要なデータを記憶している。

サーバー記憶部３３０に記憶されているソリューションの情報は、音楽、音声、映像、所定の周期的な振動のパターンなどのデジタルデータそのものでもよく、あるいは例えば所定の香りを特定するＩＤなどの符号情報であってよい。これらのソリューションが単独で、又は組み合わせてユーザーに向けて提供されることにより、例えばユーザー状態をリラックスした状態、冷静な状態、覚醒した状態に誘導するソリューション、ユーザー状態を所望状態情報が示す状態に向けて誘導するソリューション、ユーザー状態を基準状態情報３３７が示す状態に向けて誘導するソリューションなどとして機能する。

また、サーバー記憶部３３０に記憶されているソリューションは、例えばユーザーの触覚、聴覚又は嗅覚に対する受動的な刺激を含み、より具体的には所定の周期的な振動、音楽、朗読音声、所定の香り、ネガティブな語句に対応する前向きな言い換え又は語句に比してネガティブさの度合いの低い言い換えの語句候補などである。あるいはソリューションは、例えばユーザーに所定の方法での呼吸又は瞑想を促す情報などであってもよい。

なおユーザーの感情とは、喜怒哀楽、又はネガティブな状態などのいわゆる心理状態のほか、興奮状態にあるかリラックス状態にあるかの指標の一つとしての自律神経バランスの状態及び、覚醒、休息、冷静、解放などのユーザー自身による自己認識の状態を含む概念である。

対応辞書３３１は、例えば図２に示すような、言語情報に含まれるネガティブな語句などの特徴的な語句と、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態の度合とを対応付けて記憶している対応テーブルであり、あるいはさらに語句の前向きな言い換えの語句又は当該語句に比してネガティブさの度合いの低い言い換えの語句とを対応付けて記憶していてもよい。あるいは対応辞書３３１は、音声の抑揚とユーザー状態とを対応付けて記憶している対応テーブルである。

これらの対応辞書３３１は、ユーザー状態情報生成部３１１がユーザー状態情報を生成する際又はソリューション決定部３１３がソリューションを決定する際に用いられる。

判定モデル３３３は、例えば言語情報に含まれる特徴的な語句入力としユーザー状態を出力とする判定モデル、または音声の抑揚を入力としユーザー状態を出力とする判定モデルであり、ユーザー状態情報生成部３１１がユーザー状態情報を生成する際に用いられる。

変換モデル３３５は、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルであり、ソリューション決定部３１３がソリューションを決定する際に用いられる。

基準状態情報３３７は、ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す情報であり、例えばユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準となる心拍数、心拍間隔、自律神経バランス、及びこれらのデータから求められる感情又は疲労状態の指標値が、例えば年代、性別などのユーザーの特性ごと、あるいは昼、夜などの時間帯ごとに記憶されている。

＜処理の概要＞
次に、図３〜図７を参照して、本実施形態のソリューション提供システムの処理内容について説明する。

＜所望状態受付処理＞
一連の処理を開始すると、まず必要に応じて携帯端末１０の所望状態受付部１１５は、ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付けて、サーバー３０に送信する（図３／Ｓ１１０）。

所望状態受付部１１５は、例えば携帯端末１０のディスプレイにユーザーが所望する感情及び／又は疲労状態の選択肢を複数表示し、ユーザーに選択させることで所望状態情報の入力を受け付ける。所望状態受付部１１５が表示する選択肢は、例えば「仕事のやる気をアップしたい」、「回復力を高めて疲れを取りたい」などの抽象的なものでもよく、「明るい気持ちになりたい」、「リラックスした気持ちになりたい」、「冷静になりたい」、「覚醒した状態になりたい」、「自律神経バランスを整えたい」などのより具体的なものであってもよい。

そして、サーバー３０は、所望状態情報を受信してサーバー記憶部３３０に記憶する（図３／Ｓ１３０）。

なおこのとき状況認識部１１９は例えば、ユーザーが第１状況にあるか、第２状況にあるかを選択させるための選択ボタンを携帯端末１０のディスプレイに表示し、ユーザーに選択させることで、ユーザーが第１状況及び第２状況のいずれの状況にあるかを認識する。

＜ユーザー情報取得処理＞
その後に、携帯端末１０のユーザー情報取得部１１１は、ユーザー情報を取得してサーバー３０に送信する（図３／Ｓ１５０）。

より具体的には、例えば図４に示すようにユーザー情報取得部１１１は、携帯端末１０が有するカメラを介してユーザーの肌の画像を取得し（図４／Ｓ１５１）、携帯端末１０が有するタッチパネルを介して文字や選択肢の選択結果の入力を、あるいはマイクを介して音声の入力を、言語情報として受け付ける（図４／Ｓ１５３）。

なおユーザー情報取得部１１１は、肌の画像を取得するときに、状況認識部１１９による認識結果に基づいて、ユーザーがユーザーの手指の肌の画像を取得させる第１状況にある場合にはユーザーの手指の肌の画像を取得し、ユーザーが顔の肌の画像を取得させる第２状況にある場合にはユーザーの顔の肌の画像を取得する。

そしてユーザー情報取得部１１１は、例えば肌画像分析部１１７の機能を用いて、肌の画像から心拍に関する情報の取得に必要な情報を取得する（図４／Ｓ１５５）。

なお肌画像分析部１１７は、心拍に関する情報の取得に必要な情報を取得するときに、状況認識部１１９による認識結果に基づいて、ユーザーが第１状況にある場合にはユーザーの手指の肌の画像を分析して心拍に関する情報の取得に必要な情報を取得し、第２状況にある場合にはユーザーの顔の肌の画像を分析して当該情報を取得する。

肌画像分析部１１７が肌の画像から心拍に関する情報の取得に必要な情報を取得する手法としては既知の種々の手法が用いられてよいが、肌画像分析部１１７は例えば、肌の画像である動画像又は連続的に撮像した静止画像から、ＲＧＢの各色成分の輝度の変化の情報を取得する。

そしてユーザー情報取得部１１１は、このようにして取得した、言語情報、心拍に関する情報の取得に必要な情報をユーザー情報としてサーバー３０に送信する（図４／Ｓ１５７）。

＜ユーザー情報分析処理＞
そして、サーバー３０のユーザー状態情報生成部３１１は、ユーザー情報を受信して（図３／Ｓ２１０）、心拍に関する情報の取得に必要な情報、言語情報などの、ユーザー情報に含まれる情報を分析する（図３／Ｓ２３０）。

より具体的には例えば図５に示すように、ユーザー状態情報生成部３１１は、心拍情報取得部３１５を介して、心拍に関する情報の取得に必要な情報から心拍に関する情報を取得する（図５／Ｓ２３１）。

心拍情報取得部３１５が心拍に関する情報の取得に必要な情報からユーザーの心拍に関する情報を取得する手法としては既知の種々の手法が用いられてよいが、心拍情報取得部３１５は例えば、ＲＧＢの各色成分の輝度の変化の情報に含まれる特定の色成分（例えばＧ（緑））の輝度の変化を所定のアルゴリズムを用いて分析することにより、ユーザーの心拍を取得する。

また心拍情報取得部３１５はユーザーの心拍から例えば、心拍数、心拍間隔、あるいはこれらの情報からＣＶＲ−Ｒ、ＣＣＶＴＰなどの指標値を計算して取得する。

そして心拍情報取得部３１５は、例えばＣＶＲ−Ｒ、ＣＣＶＴＰなどの指標値から、所定のアルゴリズムを用いて０〜１０の間で０．１刻みでユーザーの疲労状態を示す疲労度スコアを算出する。

またユーザー状態情報生成部３１１は、言語情報分析部３１９の機能を用いて、ユーザー情報に含まれる言語情報の特徴に関する情報を取得する（図５／Ｓ２３３）。

言語情報分析部３１９は、言語情報の特徴に関する情報として、例えば言語情報に含まれる特徴的な語句（ネガティブな語句など）を取得する。あるいは例えば言語情報分析部３１９は、ユーザー情報に音声が含まれる場合には、音声の抑揚をユーザー情報の特徴に関する情報として取得する。

言語情報分析部３１９が言語情報の特徴に関する情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば言語情報分析部３１９は、あらかじめサーバー記憶部３３０に記憶されたネガティブな語句の辞書を参照して、ユーザーが入力又は選択した語句に含まれるネガティブな語句を抽出し、当該ネガティブな語句を言語情報の特徴に関する情報として取得する。

あるいは例えば言語情報分析部３１９は、ユーザー情報に含まれる音声データを音節ごとに分割し、各音節を分析してその抑揚パターンを取得して、あらかじめサーバー記憶部３３０に記憶された、人の発言の抑揚のパターンと感情、疲労状態、自律神経バランスなどとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから特徴的な（例えば発生頻度の多い）抑揚パターンを抽出し、当該抑揚パターンを言語情報の特徴に関する情報として取得する。

その後にユーザー状態情報生成部３１１は、自律神経バランス取得部３１７の機能を用いて、心拍に関する情報及び／又は言語情報から取得された特徴に関する情報に基づいて自律神経バランス情報を取得する（図５／Ｓ２３５）。

自律神経バランス取得部３１７が自律神経バランス情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば自律神経バランス取得部３１７は、心拍の変動を周波数解析して、心拍の変動の低周波成分であるＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）と高周波成分であるＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）との比（ＬＦ／ＨＦ）を、自律神経バランス情報として取得する。

そして自律神経バランス取得部３１７は、自律神経バランス情報から、所定のアルゴリズムを用いて０〜１０の間で０．１刻みでユーザーの自律神経のバランスを示す自律神経バランススコアを算出する。

＜ユーザー状態情報生成処理＞
そして、サーバー３０のユーザー状態情報生成部３１１は、ユーザー情報分析処理における分析結果に基づいて、ユーザーのユーザー状態を示すユーザー状態情報を生成する（図３／Ｓ２５０）。

例えばユーザー状態情報生成部３１１は、上記で得られた疲労度スコアと自律神経バランススコアに基づいてユーザー状態情報を生成する。

そして、ユーザー状態情報生成部３１１は、例えば図６に示すような、疲労度を縦軸として、自律神経バランスを横軸としたマトリクス表を用いて、ユーザー疲労度と自律神経バランスとの組み合わせが当該マトリクス表のどこに位置するかを示す情報を取得して、当該取得した情報をユーザー状態情報とする。あるいは例えばユーザー状態情報生成部３１１は、このようにして取得したマトリクス表のどこに位置するかを示す情報及び疲労度スコアと自律神経バランススコアを組み合わせた情報をユーザー状態情報としてもよい。

すなわち例えば図６に示すように、縦軸においては上に行くほど疲労度が高く、下に行くほど疲労度は低い。そして横軸においては右に行くほど交感神経が優位なすなわち心が緊張した状態の自律神経バランスであり、左に行くほど副交感神経が優位なすなわち心が弛緩した状態の自律神経バランスである。

なお図６においては、自律神経スコアが０〜３．３であれば副交感神経が優位な状態とし、３．４〜６．６であれば自律神経バランスが整っている調和状態とし、６．７〜１０．０であれば交感神経が優位な状態としている。また疲労度スコアが０〜３．３であれば疲労度は低く、３．４〜６．６であれば疲労度は中程度とし、６．７〜１０．０であれば疲労度が高い状態としている。

そして、副交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度なリラックス状態（ｏｖｅｒ−ｒｅｌａｘ）、交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度な覚醒状態（ｏｖｅｒ−ａｃｔｉｖｅ）、疲労度が高ければ危険な状態（ｄａｎｇｅｒｏｕｓ）であり、その中でも自律神経のバランスが取れている場合は要注意な状態（ｃａｕｔｉｏｎ）となる。

一方で、疲労度が中程度で自律神経バランスが取れている場合は平常状態（ｍｅ−ｎｏｒｍａｌ）であり、疲労度が低く自律神経バランスが取れている場合は充実した状態（ｍｅ−ｆｕｌｌｎｅｓｓ）となる。図６は、ユーザー状態が「ｃａｕｔｉｏｎ」の状態であることを示している。

＜ソリューション決定処理＞
そして、サーバー３０のソリューション決定部３１３は、ユーザー状態情報に応じたソリューションを決定して携帯端末１０に送信する（図３／Ｓ２７０）。

より具体的には、例えば図７に示すような、疲労度と自律神経バランスとの組み合わせと、ソリューションとの対応テーブルを予めサーバー記憶部３３０に記憶しておき、ソリューション決定部３１３は、当該対応テーブルを参照して、上記のようにして得られた疲労度と自律神経バランスとの組み合わせに対応したソリューション又はソリューションの組み合わせを取得する。

すなわち例えば上記の例においては、ユーザー状態が、自律神経のバランスはとれているが疲労度が高い「ｃａｕｔｉｏｎ」の状態であるので、ソリューション決定部３１３は、振動と音声との組み合わせであって、音声としてはまずナレーション（朗読音声）が流れてそののちに音楽が流れる、６分間のソリューションの組み合わせをユーザー状態情報に応じたソリューションとして決定する。

これは、疲労度の高いユーザーに対してはまず、疲労を和らげる効果を有する振動とナレーションとの組み合わせを提供し、その後に音声を自律神経のバランスを維持する音楽に入れ替えて提供することで、疲労の低減と自律神経バランスの維持を効果的に行うことを意図した組み合わせとなっている。また、ユーザーの感情又は疲労状態が良好な状態にあれば、ソリューションの時間は相対的に短く、ユーザーの感情又は疲労状態が良好な状態になければ、ソリューションの時間はユーザーにとって無理のない範囲で相対的に長く設定される。

なおこのとき、ソリューション決定部３１３は、当該ユーザーの所望状態情報がサーバー記憶部３３０に記憶されている場合には、ユーザーの感情又は疲労状態を所望状態情報が示す状態に向けて誘導するソリューションを決定する。すなわち例えばユーザー状態が「ｃａｕｔｉｏｎ」で、ユーザーの所望状態情報が「回復力を高めて疲れを取りたい」であれば、ユーザー状態が「ｍｅ−ｎｏｒｍａｌ」又は「ｍｅ−ｆｕｌｌｎｅｓｓ」に向けて誘導できるソリューションをサーバー記憶部３３０に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。

あるいはユーザーの所望状態情報がサーバー記憶部３３０に記憶されていない場合などには、ソリューション決定部３１３は、例えばユーザー状態をリラックスした状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。

あるいはソリューション決定部３１３は、例えばユーザー状態を冷静な状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に、リラックスした状態に誘導するソリューションに比して速いスピードで、向かうように誘導するソリューションを決定するように構成されていてもよく、ユーザー状態を覚醒した状態、すなわち現在の自律神経バランスがより交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。

あるいはユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報３３７がサーバー記憶部３３０に記憶されている場合には、ソリューション決定部３１３は、ソリューション決定部３１３は、ユーザー状態及び基準状態情報３３７に基づいて、ユーザー状態を基準状態情報３３７が示す状態に向けて誘導するソリューションを決定するように構成されていてもよい。

すなわち例えば、ソリューション決定部３１３はソリューションの決定にあたって基準状態情報３３７を参照する。基準状態情報３３７として、例えば「疲労度＝０〜３．３」が指定されていれば、ソリューション決定部３１３は、疲労度を３．３以下に誘導するソリューションをサーバー記憶部３３０に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。

＜言い換えの語句候補の決定＞
なおソリューション決定部３１３が決定するソリューションは、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補であってもよい。

すなわち例えばソリューション決定部３１３は、言語情報に含まれるネガティブな語句と、該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句と、の対応辞書を用いて、該ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補をソリューションとして決定する。

より具体的には、言語情報に「悲しい」という語句が含まれていた場合に、ソリューション決定部３１３は、図２に示すような対応辞書を参照して、「悲しい」の語句の感情の度合が「−９９」点で、に対応する言い換えの語句が「切ない」又は「涙を誘う」であることを認識する。そしてソリューション決定部３１３は、例えば言語情報に「悲しい」という語句が複数回登場すれば、感情の度合を下げる必要性が高いと認識して、より感情の度合が低い「−２８」点の「涙を誘う」をネガティブさの度合いの低い言い換えの語句候補として選択し、ソリューションとして決定する。

あるいは言語情報に「ぐったり」という語句が含まれていた場合には、ソリューション決定部３１３は、図２に示すような対応辞書を参照して、「ぐったり」に対応する前向きな言い換えの語句に「充実している」、「腕の見せ所だ」などがあることを認識する。そして言語情報の内容に応じて、これらの中から適宜に語句を選択して、ソリューションとして決定する。

ソリューション決定部３１３は例えば、ユーザーが携帯端末１０の入力部１３０を介して文字を入力し、文字変換の操作を行うたびに上記の処理を実行し、選択した語句をソリューションとして携帯端末１０に送信する。

そして携帯端末１０のソリューション提供部１１３は例えば、後述するソリューション提供処理において、当該選択された語句を変換候補の一覧の上位に表示する。

なおソリューション決定部３１３は、上記の対応辞書に加えて又は代えて、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルを用いて言い換えの語句候補を決定してもよい。

＜ソリューション提供処理＞
そして携帯端末１０のソリューション提供部１１３は、ソリューションを受信して（図３／Ｓ３１０）、当該受信したソリューションをユーザーに向けて提供する（図３／Ｓ３３０）。

より具体的にはソリューション提供部１１３は、サーバー３０から受信したソリューションの内容に応じて、振動発生部１５１、表示部１５３、音声再生部１５５、香り発生部１５７を介して、所定の周期的な振動などの触覚に対する刺激、音楽、朗読音声、自然音（鳥の声、小川のせせらぎ等）などの聴覚に対する刺激、所定の香りなどの嗅覚に対する刺激などの受動的な刺激や、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補、をユーザーに向けて提供する。

すなわち例えば受信したソリューションが音楽のデジタルデータであれば、ソリューション提供部１１３は、当該音楽を音声再生部１５５に再生させる。あるいは例えば受信したソリューションが所定の香りを特定するＩＤであれば、ソリューション提供部１１３は、当該ＩＤに対応する香りを香り発生部１５７に発生させる。

なお本実施形態のソリューション提供システムは、これら一連の処理を定期的に又は不定期的に繰り返し行うように構成されていてもよい。

すなわち例えばユーザー情報取得部１１１はソリューションがユーザーに提供された後にユーザー情報を再度取得し、ユーザー状態情報生成部３１１はソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいてユーザー状態情報を再生成し、ソリューション決定部３１３は再生成されたユーザー状態情報に応じたソリューションを決定するように構成されていてもよい。

以上説明したように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。

以上、本発明の実施形態について説明したが、これに限定されない。本発明の趣旨を逸脱しない範囲で、種々の変更が可能である。

＜ソリューション提供システムの実装の例＞
以下に、ソリューション提供システムの実装の例を記載する。

＜移動体との組み合わせ＞
本発明のソリューション提供システムは、自動車などの移動体に搭載されて用いられてもよい。

この場合、例えばユーザー情報取得部１１１は、例えば自動車に設置されたカメラ及び心拍計の一方又は両方を介して、自動車の運転者又は同乗者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。また、ユーザー状態情報生成部３１１が、取得された情報に基づいて運転者又は同乗者のユーザー状態情報を生成する。

そして、ソリューション決定部３１３が決定するソリューションは、ユーザー状態に応じた、例えばユーザーに休憩を促す情報、該ユーザー状態に応じた所定の周期的な振動又はこれらの組み合わせである。

また、ソリューション提供部１１３は、自動車の例えばハンドル部分及び座席の一方又は両方に設置された振動発生部を介して、ユーザー状態に応じた所定の周期的な振動を運転者又は同乗者に提供する。なお、振動発生部は、ハンドル部分、座席に内蔵されていてもよく、あと付けの装置であってもよい。

あるいはこれに加えて又は代えて、ユーザー状態に応じた香りがソリューションとして提供されてもよい。

本発明によれば、運転者又は同乗者のストレスなどの感情の状態、疲労状態に応じて、休憩の指示を適切に行え、また休憩時には振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。特に運転者に関しては、運転に伴うストレス、疲労による集中力の低下が防止される。

＜医療機関での利用＞
本発明のソリューション提供システムは、病院や歯科医院などの医療機関で用いられてもよい。

この場合、例えばユーザー情報取得部１１１は、例えば医療機関の診察室に設置されたカメラ及び心拍計の何れか一方又は両方を介して、患者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。

そしてユーザー状態情報生成部３１１が、取得された情報に基づいて患者のユーザー状態情報を生成して、ソリューション提供部１１３は、医療機関の診察台に設置された振動発生部を介して、患者のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。

ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、患者の心拍にほぼ同期しており、その後段階的に周期を長くしていく振動パターンの振動をソリューションとして決定する。

これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーの心拍数を下げ、ユーザーの不安感、緊張状態を低減することを意図したものである。

本発明によれば、不安感、緊張状態の低減によって医療機関における治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。

＜教育機関での利用＞
本発明のソリューション提供システムは、学校などの教育機関で用いられてもよい。

この場合、例えばユーザー情報取得部１１１は、学校の生徒等に用いられるタブレット端末に備えられたカメラ及び心拍計の何れか一方又は両方を介して、各生徒の顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。

また、ユーザー状態情報生成部３１１が、取得された情報に基づいて生徒等のユーザー状態情報を生成して、ソリューション提供部１１３は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒等のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。

あるいはさらに自律神経バランス取得部は、ユーザー情報に基づいて各人の自律神経状態を分析してもよい。

この場合、ソリューション決定部３１３は、交感神経が優位の生徒、副交感神経が優位な生徒のそれぞれに対して自律神経の分析結果に応じた異なる刺激を与えて、全生徒が交感神経と副交感神経とのバランスのとれた状態に誘導するための、所定の周期的な振動のソリューションを決定する。

そしてソリューション提供部１１３は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒のユーザー状態情報に応じた所定の周期的な振動を生徒に提供する。

本発明によれば、交感神経優位の生徒、副交感神経優位の生徒が混在していて生徒のコントロールが困難な、混乱した状態が解消できることが期待できる。

＜オフィスビル等での利用＞
本発明のソリューション提供システムは、オフィスビルの休憩スポット等で用いられてもよい。

この場合、例えばユーザー情報取得部１１１は、オフィスビルの休憩スポットに設置された端末に備えられており、オフィスビルで勤務する人のユーザー情報を取得する。

ソリューション決定部３１３は、ユーザー状態に応じたソリューションを決定し、オフィスビルの休憩スポットに設置されたソリューション提供部１１３を介してユーザーに提供される。

ソリューション決定部３１３が決定するソリューションには、例えば休憩スポット内で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。

また、ユーザー情報取得部１１１が取得したユーザー情報、ユーザー状態情報生成部３１１が生成したユーザー状態情報は蓄積されて、当該オフィスビルで勤務する人の勤務先の管理者に随時に送信されてもよい。

本発明によれば、オフィスビルで勤務する人のストレス状態や疲労状態に応じて、休憩スポット内での休憩時間中に効果的にストレス状態や疲労状態を改善することができるとともに、これらの人たちの勤務先の管理者にとっては、勤務者のストレス状態や疲労状態を見える化することができるので便利である。

＜振動機能を有する電気機器への応用＞
例えば会社員などが休憩時間中にリフレッシュするために、振動機能を有する美顔器で顔の筋肉のコリをほぐしてリラックスすることが考えられる。集中力を維持するために、一度リラックスすることは有効だが、美顔器の利用後に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができればなおよい。

そのため本発明のソリューション提供システムは、振動機能を有する美顔器などの電気機器とともに用いられてもよい。

この場合、ソリューション提供システムは美顔器のタイマーと連動しており、美顔のための振動などの前半段階においては、ユーザーをリラックスした状態（副交感神経が優位な状態）に誘導するためのソリューションを提供し、美顔のための振動などの後半段階においては、ユーザーを覚醒した状態（交感神経が優位な状態）に誘導するためのソリューションを提供するように構成される。

本発明によれば、ユーザーを一時的にリラックスさせることができるとともに、休憩後の業務に向けて、覚醒した状態に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができる。

＜宿泊施設での利用＞
本発明のソリューション提供システムは、ホテル、旅館などの宿泊施設でのサービスと共に用いられてもよい。

この場合、例えばユーザー情報取得部１１１は、ホテル、旅館などの宿泊施設のフロントに設置された端末に備えられており、宿泊客等の当該施設利用者のユーザー情報を取得する。

ソリューション決定部３１３が決定するソリューションは、ユーザーが利用する客室内で提供される香り、入浴剤、食事の内容を含む宿泊施設サービス内容などが含まれる。

ソリューション決定部３１３の決定結果は、ホテル、旅館の接客担当者に送信されて、ユーザーへのサービス内容に反映される。

本発明によれば、当該施設の利用者により心地よい滞在体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。

＜観光や旅客サービスでの利用＞
本発明のソリューション提供システムは、観光や旅客サービスと共に用いられてもよい。

この場合、例えばユーザー情報取得部１１１は、旅行者が旅行中に利用する移動手段に備えられており、旅行者のユーザー情報を取得する。

ソリューション決定部３１３が決定するソリューションには、例えば移動手段の機内や座席で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。

本発明によれば、旅行者により心地よい旅行体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。

＜プラネタリウム・水族館・映画館等のイベント会場での利用＞
本発明のソリューション提供システムは、プラネタリウム・水族館・映画館等、あるいはさらに博物館、遊園地等の室内室外のイベント会場で用いられてもよい。

この場合、ユーザー情報取得部１１１は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末１０が備えるカメラ及び心拍計の何れか一方又は両方を介して、ユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。

そしてユーザー状態情報生成部３１１が、取得された情報に基づいてユーザー状態情報を生成して、ソリューション提供部１１３は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末１０が備える振動発生部を介して、ユーザー状態情報に応じた所定の周期的な振動をユーザーに提供する。

ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、ユーザーの心拍にほぼ同期しており、その後段階的に周期を長くしていくもしくは短くしていく振動パターンの振動をソリューションとして決定する。

これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーをよりリラックス、もしくは活性化することを意図したものである。これにより例えばプラネタリウムや水族館でよりリラックスした気持ちでユーザーに鑑賞させることができ、あるいは例えばアクション映画の映像とともに活性化するようにユーザーの気持ちを誘導することができるなど、ユーザーの気分を含む状態の変化をはかることができる。このように、ソリューション提供システムを、リアルな体験と組み合わせて用いることができるようにすることでユーザーの状態を、リラックスした状態、冷静な状態、又は興奮した状態、もしくは、疲労から回復した状態に効果的に誘導できる。

本発明によれば、イベントの内容に合わせて、イベントの体験をより印象深くよい体験にして、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。

以上、本発明の実装方法の例について説明したが、これらはあくまでも、想定される実装方法の例示であり、これらに関連する、あるいは派生するその他の実装方法に応用されてよいことは言うまでもない。また、本発明の趣旨を逸脱しない範囲で、さらに種々の変更が可能である。

例えば自律神経バランス取得部３１７は、上述した人の発言の抑揚のパターンと自律神経バランスとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから抽出された特徴的な抑揚パターンに対応付けられた自律神経バランスを自律神経バランス情報として取得してもよい。

あるいは例えば自律神経バランス取得部３１７は、言語情報に含まれる特徴的な語句を入力とし、自律神経バランスを出力とするモデルに、言語情報に含まれる特徴的な語句を入力することにより出力された自律神経バランスを自律神経バランス情報として取得してもよい。

あるいは例えばユーザー状態情報生成部３１１は、言語情報に含まれる特徴的な語句に基づいて、語句とユーザー状態との対応辞書及び、該語句を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を取得してもよい。

この場合、ユーザー状態情報生成部３１１は例えば、語句と感情又は疲労状態との対応辞書を参照して、言語情報に含まれる特徴的な語句に対応するユーザーの感情又は疲労状態を示す指標値を取得する。

あるいは例えばユーザー状態情報生成部３１１は、言語情報に含まれる特徴的な抑揚に基づいて、抑揚とユーザー状態との対応辞書及び、該抑揚を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を示す指標値を取得してもよい。

この場合、ユーザー状態情報生成部３１１は例えば、言語情報に含まれる特徴的な抑揚を当該判定モデルに入力して出力されたユーザーの感情又は疲労状態を示す指標値を取得する。

あるいは例えば上記においては対応辞書３３１にはネガティブな語句とユーザー状態とを対応付けて記憶させている例について説明したがこれに限定されない。すなわち例えば、喜び、楽しみを感じていることを示すポジティブな語句、又はリラックスしている、興奮していることを表す語句とユーザー状態とを対応付けて記憶していてもよい。

あるいは例えば、ユーザー情報取得部１１１は、ユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を、カメラを介してユーザー情報として取得し、言語情報分析部３１９は、顔の動画像又は静止画像に含まれる眉毛、目、鼻又は口の形や角度などからユーザーの感情の種類及びその強度を特徴情報として取得してユーザーの感情スコアを算出し、ユーザー状態情報生成部３１１は、当該感情スコアを用いてユーザー状態情報を生成するように構成されていてもよい。

あるいは例えば、ソリューション決定部３１３は、ユーザー状態情報及び所望状態情報に基づいて、振動の周期を決定するように構成されていてもよい。

より具体的には、例えばソリューション決定部３１３は、心拍に関する情報に基づいて振動の開始時の周期がユーザーの現在の心拍とほぼ同期するように振動の周期を決定する。

そしてソリューション決定部３１３は例えば、所望状態情報に基づいて該振動の開始後の該周期及び強度の一方又は両方の変化のパターンを決定する。

すなわち例えばソリューション決定部３１３は、所望状態情報に基づいて、リラックスした状態、冷静な状態などの、ユーザーの緊張が緩和された状態に誘導するべき場合には、振動の開始後に段階的に周期が長くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導されて、リラックスした状態、冷静な状態になる。

あるいは例えばソリューション決定部３１３は、所望状態情報に基づいてユーザーを覚醒した状態に誘導するべき場合には、振動の開始後に段階的に振動の周期が短く、あるいはこれに代えて又は加えて、振動の強度が強くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより交感神経優位な状態に向かうように誘導されて、覚醒した状態になる。

あるいは例えばソリューション決定部３１３は、所望状態の入力がない場合には、基準状態情報に基づいて、ユーザー状態を基準状態情報が示す状態に向けて誘導するように、振動の周期、強度を変化させる振動のパターンをソリューションとして決定する。

あるいは上記においては、携帯端末１０の肌画像分析部１１７が肌の画像から心拍に関する情報の取得に必要な情報を取得して、サーバー３０のユーザーの心拍情報取得部３１５が、心拍に関する情報の取得に必要な情報に基づいて心拍に関する情報を取得する構成について説明したが、これに限定されない。

すなわち例えば、肌画像分析部１１７又は心拍情報取得部３１５が肌の画像から心拍に関する情報を取得してもよい。その場合、肌画像分析部１１７及び心拍情報取得部３１５の一方は省略される。

あるいは例えばユーザー情報取得部１１１は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問に対する回答をユーザー状態情報として取得してもよい。

より具体的にはユーザー情報取得部１１１は、まず、入力部１３０であるカメラにより撮像されたユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を表示部１５３に表示すると共に、表示部１５３に表示されたユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を表示部１５３に表示する。

そしてユーザー情報取得部１１１は、入力部１３０を介して、質問に対するユーザーによる回答の入力を、顔の画像を表示部１５３に表示させた状態で受け付ける。この場合に入力部１３０は、質問を見ながら操作を行える位置に配置される。

なお顔の状態についての質問に対する回答は、音声や文字で入力されてもよいし、例えば５段階評価のどれに該当するかをユーザーに選択させることにより入力されてもよい。また、当該質問は、１つであっても複数であってもよい。

あるいは例えばユーザー情報取得部１１１は、顔の画像を表示部１５３に表示させる代わりに、ユーザーの顔を映す鏡部に写るユーザーの顔の映像を見せた状態で、質問に対するユーザーによる回答の入力を受け付けるように構成されていてもよい。

この場合、表示部１５３はユーザーが鏡部に写るユーザーの顔と同時に見ることができる位置に配置され、入力部１３０は鏡部に写るユーザーの顔及び表示部に表示された質問を見ながら操作を行える位置に配置される。

１０…携帯端末、３０…サーバー、１１１…ユーザー情報取得部、１１３…ソリューション提供部、１１５…所望状態受付部、１１７…肌画像分析部、１１９…状況認識部、３１１…ユーザー状態情報生成部、３１３…ソリューション決定部、３１５…心拍情報取得部、３１７…自律神経バランス取得部、３１９…言語情報分析部、３３０…サーバー記憶部、３３１…対応辞書、３３３…判定モデル、３３５…変換モデル、３３７…基準状態情報。

Claims (13)

1. ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶する記憶部と、
   前記ユーザーが、該ユーザーの手指の肌の画像を取得する第１状況にあるか、該ユーザーの顔の肌の画像を取得する第２状況にあるか、を認識する状況認識部と、
   前記ユーザーが前記第１状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第２状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
   前記ユーザーが前記第１状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第２状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
   前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
   前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
   前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
   決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
   ことを特徴とするソリューション提供システム。
2. 請求項１に記載のソリューション提供システムにおいて、
   前記状況認識部は、前記ユーザーが第１状況にあるか、第２状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第１状況及び該第２状況のいずれの状況にあるかを認識する
   ことを特徴とするソリューション提供システム。
3. 請求項１に記載のソリューション提供システムにおいて、
   前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第１状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第２状況にあると認識する
   ことを特徴とするソリューション提供システム。
4. 請求項１〜３の何れかに記載のソリューション提供システムにおいて、
   前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
   前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
   前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
   ことを特徴とするソリューション提供システム。
5. 請求項１〜４の何れかに記載のソリューション提供システムにおいて、
   前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
   前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
   ことを特徴とするソリューション提供システム。
6. 請求項１〜５の何れかに記載のソリューション提供システムにおいて、
   前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
   ことを特徴とするソリューション提供システム。
7. 請求項１〜６の何れかに記載のソリューション提供システムにおいて、
   前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
   前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
   ことを特徴とするソリューション提供システム。
8. 請求項１〜７の何れかに記載のソリューション提供システムにおいて、
   前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
   ことを特徴とするソリューション提供システム。
9. 請求項１〜８の何れかに記載のソリューション提供システムにおいて、
   前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
   ことを特徴とするソリューション提供システム。
10. 請求項１〜９の何れかに記載のソリューション提供システムにおいて、
    前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
    ことを特徴とするソリューション提供システム。
11. 請求項１〜１０の何れかに記載のソリューション提供システムにおいて、
    カメラ及び、振動発生部を備え、
    前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
    前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
    前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
    ことを特徴とするソリューション提供システム。
12. 請求項１〜１０の何れかに記載のソリューション提供システムにおいて、
    カメラ及び、振動発生部を備え、
    前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
    前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
    前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
    ことを特徴とするソリューション提供システム。
13. 請求項１〜１０の何れかに記載のソリューション提供システムにおいて、
    カメラ及び、振動発生部を備え、
    前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
    前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
    前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
    ことを特徴とするソリューション提供システム。

Images