JP5466420B2 - 感情認識メッセージシステム、移動通信端末及びメッセージ蓄積サーバ - Google Patents

Description

本発明は、通信端末によるメッセージシステムに関し、より詳細にはサーバを介して音声・映像等のメッセージを伝達するシステムに関する。

一般に、携帯電話などの移動通信における留守番電話システムにおいては、発呼側が着呼側に電話をかけ、何らかの理由で着信ができなかった場合、発呼側がサーバに音声や映像などのメッセージを記録することができる。着呼側は、サーバからメッセージが登録されたことについて通知を受け、着呼側端末からサーバに接続してメッセージを受信する。これにより発呼側は、着呼側と直接話をすることができなくても、自分の意思を着呼側に伝えることができる。

しかし、留守番電話の場合、着呼側が発呼側と直に話しているときに比べ、発呼側は感情表現がしにくくなる。つまり、留守番電話のように相手なしに話す状況では、話し手のボディランゲージや声のトーンによる感情表現の幅は、必然的に狭くなる。メッセージに映像がなく音声のみの場合は猶の事である。その結果、発呼側が残した留守番電話メッセージに、発呼側が意図した感情がうまく反映されないことがある。

このような問題に対処する技術として、例えば、発呼側が着呼側への音声メッセージに、ユーザが入力した感情種別を示す情報を付加することができ、着呼側は音声メッセージを受信する前に発呼者からの発呼メッセージを感情情報付で受け取ることができる移動通信システムが知られている（例えば、特許文献１参照）。

また、留守録音声メッセージの音声信号から発呼者の感情を判定し、感情の度合いの値または受信した音声メッセージの重要度に従って、留守録音声メッセージの再生順序を制御できる留守番電話装置も知られている（例えば、特許文献２参照）。

さらに、画像メッセージにおいて、撮像画像の表情を判別し、強調したい内容を視覚化してテレビ電話などに応用できる画像処理方法も知られている（例えば、特許文献３参照）。

さらに、音声データ及び画像データを基に感情パラメータを検出し、感情データを生成して、画像データから抽出した表情データと合成して合成表情データを作成し、合成表情データにキャラクタデータを合成してキャラクタ合成画像を生成するチャットサーバなどの通信システムも知られている（例えば、特許文献４参照）。

さらに、ユーザの音声入力に対して音声感情認識を施してメール作成を行う携帯電話も知られている（例えば、特許文献５参照）。

特開2007-184987号公報（要約、段落［0023］）

特開2007-049657号公報（要約）

特開2007-193824号公報（要約）

特開2006-330958号公報（要約）

特開2006-277567号公報（要約）

しかしながら、発呼側のユーザ自身が感情を示す情報を自ら選択したとしても、ユーザ自身が必ずしも自分の感情状態を正確に把握しているわけではなく、発呼者が意図している感情と、実際にメッセージを着信して着呼者が受ける印象とが必ずしも一致するとは限らない。逆に、感情認識ソフトによって自動的にメッセージの感情を認識させてしまうだけだと、その認識結果が発呼側のユーザが意図した感情に一致せず、受信側に誤った印象が伝わってしまう場合もあった。

本発明は、上記課題の解決のためになされたものであり、移動通信端末に過度な処理負荷をかけることなく、メッセージ送信者・受信者の間でのより円滑なコミュニケーションの促進を可能ならしめるメッセージシステム、移動通信端末及びメッセージ蓄積サーバの提供を目的とする。

本発明は、上記課題を解決するために、メッセージ蓄積サーバと複数の移動通信端末とを備えたメッセージシステムであって、前記複数の移動通信端末の各々は、前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、画像を表示する表示部と、ユーザからの音声または映像の入力を受け付ける入力受付部と、各部を制御する制御部と、を備え、前記制御部は、前記入力受付部を介して他の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、前記メッセージ蓄積サーバは、前記移動通信端末から前記他の移動通信端末宛てのメッセージを受信するメッセージ受信部と、前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、前記感情認識部によって付与された感情データを確認要求として、前記メッセージの送信者である前記移動通信端末に送信する確認要求送信部とを備え、前記制御部は、前記送信したメッセージに対する確認要求を前記メッセージ蓄積サーバから受信すると、受信した感情データに応じた画像を前記表示部に表示することを特徴とするメッセージシステムを提供する。
また、本発明は、メッセージ蓄積サーバと複数の移動通信端末とを備えたメッセージシステムであって、前記複数の移動通信端末の各々は、前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、画像を表示する表示部と、ユーザからの音声または映像の入力を受け付ける入力受付部と、各部を制御する制御部と、を備え、前記制御部は、前記入力受付部を介して他の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、
前記メッセージ蓄積サーバは、前記移動通信端末から前記他の移動通信端末宛てのメッセージを受信するメッセージ受信部と、前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、前記感情認識部によって付与された感情データを確認要求として、前記メッセージの送信者である前記移動通信端末に送信する確認要求送信部と、を備え、前記制御部は、前記送信したメッセージに対する前記確認要求を前記メッセージ蓄積サーバから受信すると、受信した感情データに応じた画像を前記表示部に表示し、前記感情認識部は、前記メッセージの送信者である前記移動通信端末から前記感情データに対する非同意応答を受信すると、前記メッセージに対して第２の感情認識処理を施し、前記非同意応答に係る感情データとは異なる第２の感情データを前記メッセージに付与し、前記確認要求送信部は、前記第２の感情データを第２の確認要求として前記メッセージの送信者である前記移動通信端末に送信する、ことを特徴とするメッセージシステムを提供する。
また、本発明は、メッセージ蓄積サーバと複数の移動通信端末とを備えたメッセージシステムであって、前記複数の移動通信端末のうち、第１の移動通信端末は、前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、画像を表示する表示部と、ユーザからの音声または映像の入力を受け付ける入力受付部と、各部を制御する制御部と、を備え、前記制御部は、前記入力受付部を介して、前記複数の移動通信端末のうち、第２の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、前記メッセージ蓄積サーバは、前記第１の移動通信端末から前記第２の移動通信端末宛てのメッセージを受信するメッセージ受信部と、前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、前記感情認識部によって付与された感情データを確認要求として、前記メッセージの送信者である前記第１の移動通信端末に送信する確認要求送信部と、前記確認要求に対する応答として、前記感情データに同意する同意応答を前記第１の移動通信端末から受信した場合には、前記蓄積部に蓄積され、前記同意した感情データに対応するメッセージの登録通知を前記第２の移動通信端末に送信する登録通知部と、前記登録通知に応答して前記第２の移動通信端末からアクセス要求を受信すると、前記蓄積したメッセージが映像によるメッセージである場合には、前記メッセージに付与された感情データの感情を最も表す画像を当該メッセージの映像データから抽出する画像抽出部と、前記画像抽出部によって抽出された画像を、前記蓄積したメッセージの属性を示すメッセージ情報の少なくとも一部として表示した選択画面を表す画面データを生成する第２生成部と、前記第２生成部が生成した前記画面データを前記第２の移動通信端末に送信する画面送信部とを備え、前記制御部は、前記送信したメッセージに対する確認要求を前記メッセージ蓄積サーバから受信すると、受信した感情データに応じた画像を前記表示部に表示する、ことを特徴とするメッセージシステムを提供する。

本発明のメッセージシステムによれば、感情データの確認要求がメッセージの送信元である端末に送信されるので、送信側端末のユーザは、メッセージ蓄積サーバの感情認識部に認識された感情が、ユーザが意図した感情に合致しているか否かを確認することが可能である。この結果、認識した感情データとユーザの意図との食い違いを最小限にすることができ、メッセージシステムの信頼度が向上する。

さらに、メッセージ蓄積サーバが感情認識を行うので、移動通信端末に感情認識機能を設ける必要がない。よって、通信端末の処理負荷を抑えつつ、送信側端末のユーザの意図に適合した感情データをメッセージに付与することが可能となる。
本発明においては、音声または映像によるメッセージは音声メッセージまたは映像メッセージである。よって、音声メッセージは音声データを含み、映像メッセージは音声と映像データを含む。

また、本発明は、メッセージ蓄積サーバを備えた移動通信システムに接続し、他の移動通信端末と通信する移動通信端末であって、受信した音声または映像によるメッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与した後に登録する前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、画像を表示する表示部と、ユーザからの音声または映像の入力を受け付ける入力部と、各部を制御する制御部とを備え、前記制御部は、前記入力部を介して他の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、前記制御部は、前記送信したメッセージの感情データを、確認要求として、前記メッセージ蓄積サーバから受信すると、前記受信した感情データに応じた画像を前記表示部に表示し、前記制御部は、前記表示部に表示された画像で示される感情の種類に前記ユーザが同意したことを示す指示入力を前記入力部が受け付けると、前記メッセージ蓄積サーバに対して、前記感情データに対する同意応答を前記送受信部により送信することを特徴とする移動通信端末を提供する。
また、本発明は、メッセージ蓄積サーバを備えた移動通信システムに接続し、他の移動通信端末と通信する移動通信端末であって、受信した音声または映像によるメッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与した後に登録する前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、画像を表示する表示部と、ユーザからの音声または映像の入力を受け付ける入力部と、各部を制御する制御部と、を備え、前記制御部は、前記入力部を介して他の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、前記制御部は、前記送信したメッセージの感情データを、確認要求として、前記メッセージ蓄積サーバから受信すると、前記受信した感情データに応じた画像を前記表示部に表示し、前記制御部は、前記表示部に表示された画像で示される感情の種類に前記ユーザが同意する又は同意しないことを示す指示入力を前記入力部が受け付けると、前記メッセージ蓄積サーバに対して、前記感情データに対する同意応答又は非同意応答を前記送受信部により送信し、前記制御部は、前記非同意応答に対する第２の確認要求として、前記非同意応答に係る感情データとは異なる第２の感情データを前記メッセージ蓄積サーバから受信すると、前記受信した第２の感情データに応じた第２の画像を前記表示部に表示する、ことを特徴とする移動通信端末を提供する。
本発明の移動通信端末によれば、上記メッセージシステムと同様の効果が達成される。

好適な態様において、前記制御部は、当該移動通信端末宛てとして前記メッセージ蓄積サーバに蓄積されたメッセージが登録されたことを通知する登録通知を、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記登録されたメッセージに対するアクセス要求を、前記送受信部を介して前記メッセージ蓄積サーバに送信し、さらに、前記制御部は、前記登録されたメッセージの属性を示すメッセージ情報を表示した選択画面を表す画面データを、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記画面データで表される選択画面を前記表示部に表示し、前記選択画面においては、当該移動通信端末が取得可能なメッセージに関わるメッセージ情報が、該当するメッセージの感情データが示す感情の種類に応じて分類されて表示され、前記制御部は、前記選択画面からメッセージが選択されると、当該メッセージの取得要求を前記メッセージ蓄積サーバに送信する。
本態様によれば、各メッセージは、感情の種別ごとに選択画面に表示される。よって、取得するメッセージの選択を、ユーザが簡単に行うことが可能となる。

別の好適な態様において、前記制御部は、当該移動通信端末宛てとして前記メッセージ蓄積サーバに蓄積されたメッセージが登録されたことを通知する登録通知を、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記登録されたメッセージに対するアクセス要求を、前記送受信部を介して前記メッセージ蓄積サーバに送信し、さらに、前記制御部は、当該移動通信端末が取得可能なメッセージに関わるメッセージ情報として、前記登録されたメッセージの属性を示すメッセージ情報を表示した選択画面を示す画面データを、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記画面データで表される選択画面を前記表示部に表示し、前記メッセージ情報は、当該メッセージに付与された前記感情データの感情を最も示す画像を含み、前記制御部は、前記選択画面からメッセージが選択されると、当該メッセージの取得要求を前記メッセージ蓄積サーバに送信する。好ましくは、前記選択画面においては、当該移動通信端末が取得可能なメッセージに関わるメッセージ情報が、該当するメッセージの感情データが示す感情の種類に応じて分類されて表示されるようにしてもよい。
この場合、メッセージ中で最も顕著に現れる感情を示す画像が受信側端末の選択画面に表示される。よって、受信側端末のユーザは、受信されたメッセージがどんな感情に関するものであるかを簡単に知ることが可能となる。さらに、メッセージが感情の種別で分類されている場合には、ユーザの利便性はさらに向上する。

加えて、本発明は、複数の移動通信端末間の通信を仲介する移動通信システムのメッセージ蓄積サーバであって、音声または映像によるメッセージであって、第１の移動通信端末から第２の移動通信端末宛てのメッセージを受信するメッセージ受信部と、前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、前記感情認識部によって付与された感情データを、確認要求として、前記メッセージの送信者である前記第１の移動通信端末に送信する確認要求送信部とを備えたメッセージ蓄積サーバを提供する。
また、本発明は、複数の移動通信端末間の通信を仲介する移動通信システムのメッセージ蓄積サーバであって、音声または映像によるメッセージであって、第１の移動通信端末から第２の移動通信端末宛てのメッセージを受信するメッセージ受信部と、前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、前記感情認識部によって付与された感情データを、確認要求として、前記メッセージの送信者である前記第１の移動通信端末に送信する確認要求送信部と、を備え、前記感情認識部は、前記第１の移動通信端末から前記感情データに対する非同意応答を受信すると、前記メッセージに対して第２の感情認識処理を施し、前記非同意応答に係る感情データとは異なる第２の感情データを前記メッセージに付与し、前記確認要求送信部は、前記第２の感情データを第２の確認要求として前記第１の移動通信端末に送信する、ことを特徴とするメッセージ蓄積サーバを提供する。
本発明のメッセージ蓄積サーバによれば、上記メッセージシステムと同様の効果が達成される。

本発明の好適な態様において、上記メッセージ蓄積サーバは、前記確認要求に対する応答として、前記感情データに同意する同意応答を前記第１の移動通信端末から受信した場合には、前記蓄積部に蓄積され、前記同意した感情データに対応するメッセージの登録通知を前記第２の移動通信端末に送信する登録通知部をさらに有する。
この態様によれば、送信側端末側が感情データに同意してはじめて、受信側端末に対してメッセージの受信が通知されるので、受信側端末のユーザは、感情データが送信側に確認された場合にのみ、サーバに蓄積されたメッセージにアクセスすることが可能となる。よって、送信側端末のユーザの意図からかけ離れた感情が受信側に送信されることはない。

別の好適な態様において、前記登録通知に応答して前記第２の移動通信端末からアクセス要求を受信すると、前記蓄積したメッセージの属性を示すメッセージ情報を表示した選択画面を表す画面データを生成する第１生成部と、前記第１生成部が生成した画面データを前記第２の移動通信端末に送信する画面送信部とをさらに備え、前記第１生成部は、前記選択画面として、前記第２の移動通信端末が取得可能なメッセージに関わる前記メッセージ情報を、該当するメッセージの感情データが示す感情の種類に応じて分類して表示した画面を生成する。

この態様によれば、選択画面において、各メッセージは感情の種別ごとに表示される。よって、ユーザは、取得するメッセージの選択を簡単に行うことが可能となる。加えて、メッセージ蓄積サーバは、受信側端末からのアクセス要求に応じて選択画面を生成し、生成した画面データを受信側端末に送信するので、受信側端末が選択画面を生成する必要がない。よって、受信側端末にかかる負担を最小限とすることができる。

さらに別の好適な態様において、上記メッセージ蓄積サーバは、前記登録通知に応答して前記第２の移動通信端末からアクセス要求を受信すると、前記蓄積したメッセージが映像によるメッセージである場合には、前記メッセージに付与された感情データの感情を最も表す画像を当該メッセージの映像データから抽出する画像抽出部と、前記画像抽出部によって抽出された画像を、前記蓄積したメッセージの属性を示すメッセージ情報の少なくとも一部として表示した選択画面を表す画面データを生成する第２生成部と、前記第２生成部が生成した画面データを前記第２の移動通信端末に送信する画面送信部とを有するようにしてもよい。
また、本発明は、複数の移動通信端末間の通信を仲介する移動通信システムのメッセージ蓄積サーバであって、音声または映像によるメッセージであって、第１の移動通信端末から第２の移動通信端末宛てのメッセージを受信するメッセージ受信部と、前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、前記感情認識部によって付与された感情データを、確認要求として、前記メッセージの送信者である前記第１の移動通信端末に送信する確認要求送信部と、前記確認要求に対する応答として、前記感情データに同意する同意応答を前記第１の移動通信端末から受信した場合には、前記蓄積部に蓄積され、前記同意した感情データに対応するメッセージの登録通知を前記第２の移動通信端末に送信する登録通知部と、前記登録通知に応答して前記第２の移動通信端末からアクセス要求を受信すると、前記蓄積したメッセージが映像によるメッセージである場合には、前記メッセージに付与された感情データの感情を最も表す画像を当該メッセージの映像データから抽出する画像抽出部と、前記画像抽出部によって抽出された画像を、前記蓄積したメッセージの属性を示すメッセージ情報の少なくとも一部として表示した選択画面を表す画面データを生成する第２生成部と、前記第２生成部が生成した前記画面データを前記第２の移動通信端末に送信する画面送信部と、を備えたメッセージ蓄積サーバを提供する。
好ましくは、前記第２生成部は、前記選択画面として、前記第２の移動通信端末が取得可能なメッセージに関わるメッセージ情報を、該当するメッセージの感情データが示す感情の種類に応じて分類して表示した画面を生成するようにしてもよい。

この場合、メッセージ中で最も顕著に現れた感情を示す画像が受信側端末の選択画面に表示される。よって、受信側端末のユーザは、受信されたメッセージがどんな感情に関するものであるかを簡単に知ることが可能となる。また、映像メッセージの場合には、選択画面に表示する画像が、もとの映像メッセージから抽出されるので、送信側端末のユーザの個人的な特徴を、選択画面に表示するメッセージの属性情報に含めることが可能となる。加えて、メッセージ蓄積サーバが、受信側端末からのアクセス要求に応じて選択画面を生成し、生成した画面データを受信側端末に送信するので、受信側端末は選択画面を生成する必要がない。よって、受信側端末にかかる負担を最小限とすることができる。
さらに、メッセージが感情の種別で分類されている場合には、ユーザの利便性はさらに向上する。

本発明の感情認識メッセージシステムにより、発信者は自分の意図した感情で音声・映像メッセージを送信し、受信者はその音声・映像メッセージ確認前に送信者の感情を確認し得るので、移動通信端末に過度な処理負荷をかけることなく、メッセージ送信者、受信者のより円滑なコミュニケーションを図ることができるメッセージシステムの提供が可能となる。

本発明の一実施形態にかかる感情認識メッセージシステム構成図である。 本発明の一実施形態にかかる通信端末の機能構成図である。 本発明の一実施形態にかかるメッセージ蓄積サーバの機能構成図である。 本発明の一実施形態にかかるメッセージ蓄積サーバにおけるデータ構造を示す図である。 本発明の一実施形態にかかる受信側通信端末の画面構成例である。 本発明の一実施形態にかかるシーケンスチャートである。 本発明の変形例にかかるシーケンスチャートである。

本発明の実施形態にかかる感情認識メッセージシステムについて、図面を用いて説明する。

まず、本実施形態にかかる感情認識機能を備えたメッセージシステムの構成について説明する。図１は本発明にかかるメッセージシステムの構成図を示す。本実施例に係るメッセージシステムは、音声・映像メッセージを送受信する通信端末１０ａ、１０ｂと、通信端末１０ａ、１０ｂから送信された音声・映像メッセージを蓄積するメッセージ蓄積サーバ２０と、これらを接続するネットワークＮとから構成される。通信端末１０ａ、１０ｂは、移動通信端末がその代表例であるが、これに限るものではなく、例えば音声通話可能なパソコンや、ＩＰ（Internet Protocol）電話などにも適用可能である。本実施形態においては、通信端末１０は移動通信端末であるとして説明する。この場合には、ネットワークＮは移動通信網である。よって、図示はしないが、ネットワークＮは通信端末 １０ａ、１０ｂが無線で接続する接続ポイントとして基地局を含む。

以降、本実施例の説明上、通信端末１０ａを送信側通信端末（第１の移動通信端末）、通信端末１０ｂを受信側通信端末（第２の移動通信端末）とし、送信側通信端末１０ａが受信側通信端末１０ｂに発呼したが、受信側通信端末１０ｂが着呼できなかったので送信側通信端末１０ａが受信側通信端末１０ｂにメッセージを残すとする。

まず、図６のシーケンスチャートを参照して本実施例の構成を大まかに説明すると、まず送信側通信端末１０ａは受信側通信端末１０ｂ宛のメッセージをメッセージ蓄積サーバ２０に送信する（S1, S2a)。送信されたメッセージはメッセージ蓄積サーバ２０に蓄積される(S2b）。後述のように、メッセージをメッセージ蓄積サーバ２０に蓄積することにより、メッセージ蓄積サーバ２０による該メッセージの感情認識プロセスがトリガされる(S3)。感情認識の結果、蓄積されたメッセージに感情データが付与されると、メッセージ蓄積サーバ２０は送信側通信端末１０ａにメッセージの確認要求を送信する(S4)。送信側通信端末１０ａのユーザは、自分が作ったメッセージをメッセージ蓄積サーバ２０から付与された感情データと共に確認し(S5)、問題ないと判断すれば再びメッセージ蓄積サーバ２０に接続して感情データに同意する同意応答を送信する(S6)。

メッセージが登録される(S7)と、メッセージ蓄積サーバ２０による受信側通信端末１０ｂへの通知プロセスがトリガされる。この通知プロセスにおいて、メッセージ蓄積サーバ２０は、メッセージ登録の通知を受信側通信端末１０ｂに送信する(S8)。通知を受け取った受信側通信端末１０ｂは、メッセージに対するアクセス要求をメッセージ蓄積サーバ２０に送信する(S9)。これに応じて、メッセージ蓄積サーバ２０は、受信側通信端末１０ｂが取得可能なメッセージを示す選択画面を生成して（S10, S11）受信側通信端末１０ｂに送信する(S12)。選択画面を受け取った受信側通信端末１０ｂは選択画面を表示し(S13)、画面に表示された各メッセージの感情種別等をユーザが見て、取得するメッセージを選択できるようにする。そして、受信側通信端末１０ｂは、ユーザが選択したメッセージの取得要求をメッセージ蓄積サーバ２０に送信する（S14）。メッセージ蓄積サーバ２０は、ユーザに選択されたメッセージを受信側通信端末１０ｂに送信して再生させる(S15, S16)。

図２は、本実施例にかかる通信端末１０の機能構成を示すブロック図である。通信端末１０は、送信側通信端末１０ａ、受信側通信端末１０ｂのいずれにも該当し得る。通信端末１０は、送受信部１０１と、入力部１０２と、制御部１０３と、表示部１０４と、音声出力部１０５とを備えている。送受信部１０１は、メッセージ蓄積サーバ２０と無線通信を行う部分であり、例えばアンテナであるが、これ以外の公知の構造でもよい。表示部１０４は、画像の表示を行う部分であり、例えば液晶スクリーンであるが、これ以外の公知の構造でもよい。入力部１０２は、キー入力のためのキーパッド、ボタンや、音声(音声メッセージの音声および映像メッセージの場合の音声)取得のためのマイクや、映像取得のためのビデオカメラが含まれるが、これ以外の公知の構造でもよい。例えば、表示部１０４がタッチスクリーンにより入力信号を生成できるものであれば、タッチスクリーンによる入力も入力部１０２に含まれる。音声出力部１０５は、入力された音声データに基づいて音声を生成し出力する。
図示は省略するが、通信端末１０は、ＣＰＵ（Central Processing Unit）、主記憶装置であるＲＡＭ（Random Access Memory）およびＲＯＭ(Read Only Memory)、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェア、および当該通信端末１０のユーザが操作する操作部を備えるコンピュータとして構成される。これらの構成要素が協働することにより、通信端末１０の機能が実現される。

図３は本発明におけるメッセージ蓄積サーバ２０の機能構成図を示す。メッセージ蓄積サーバ２０は、入出力部２０１と、蓄積部２０２と、通知部２０３と、感情認識部２０４と、データ抽出部２０５と、生成部２０６と、確認要求部２０７とを備えている。
図示は省略するが、メッセージ蓄積サーバ２０は、ＣＰＵ、主記憶装置であるＲＡＭおよびＲＯＭ、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、メッセージ蓄積サーバ２０の機能が実現される。

入出力部（メッセージ受信部、画面データ送信部）２０１は、通信端末１０ａ、１０ｂとの間で音声・映像メッセージを送受信する装置であり、例えば通信インターフェースである。送信側通信端末１０ａから受信側通信端末１０ｂ宛の音声または映像メッセージを受信すると、入出力部２０１はこれを蓄積部２０２へ転送する。確認要求部２０７は、感情認識部２０４によって認識された感情の種別を示す感情データが蓄積部２０２に記憶されると、当該感情データと対応する音声・映像メッセージデータとを蓄積部２０２から読み出して、これらのデータを、確認要求として、送信側通信端末１０ａに対して送信するように入出力部２０１に指示する。入出力部２０１は、確認要求部２０７より確認要求送信の指示を受信すると、該要求を送信側通信端末１０ａに送信する。通知部２０３は、送信側通信端末１０ａからの音声・映像メッセージが登録されると、入出力部２０１にメッセージの通知（登録通知）の送信を指示する。入出力部２０１は、通知部２０３より登録通知送信の指示を受信すると、該通知を受信側通信端末１０ｂに送信する。

本明細書において、「音声・映像メッセージの登録」とは、音声・映像メッセージが単に蓄積部２０２に蓄積されることを意味するのではなく、蓄積されたメッセージについて感情認識部２０４が行った感情認識の結果に送信側通信端末１０ａのユーザが同意済みとなった状態を示す。メッセージの登録に至るプロセスについては後述する。

受信側通信端末１０ｂは、登録通知を受けて、登録されたメッセージに対するアクセス要求メッセージをサーバ２０に送信する。入出力部２０１は、受信側通信端末１０ｂからのアクセス要求メッセージに応じて生成部２０６に生成された画面データを生成部２０６から受信すると、該画面データを受信側通信端末１０ｂに送信する。画面データは、受信側通信端末１０ｂに表示するための選択画面の画像データである。

蓄積部２０２は、音声・映像メッセージデータと共に、メッセージが登録された時刻、メッセージの登録者、各メッセージの総再生時間（長さ）、各メッセージにおいて最も顕著に現れた感情を示す感情データと、各メッセージの総再生時間のうち、その感情が最も顕著に現れた時点（認識時点）をあわせて蓄積している。（図４に蓄積部２０２のデータ構造を示す。）蓄積部２０２は、入出力部２０１より音声・映像メッセージを受信するとこれを蓄積する。また、蓄積した音声・映像メッセージについて、感情認識部２０４による感情認識が実行されると、感情認識の結果として生成された感情データを該当音声・映像メッセージに対応付けて蓄積する。感情データは、感情認識の結果認識された感情の中で最も顕著に現れた感情を示す。

感情認識部２０４は、蓄積部２０２に音声・映像メッセージが蓄積されると、当該メッセージを蓄積部２０２から読み出してその感情を認識し、認識した感情の結果を示す感情データを対応する音声・映像メッセージとあわせて蓄積部２０２に返して記憶させる。感情の認識は、メッセージ中毎秒ごとに認識する、または単位時間ごとに認識するのが良い。認識可能な感情の種別としては、例えば、「喜び」、「驚き」、「怒り」、「嫌悪」、「恐れ」、および「悲しみ」等がある。

また、一つのメッセージ中、複数の感情が認識されることが考えられるので、現れた回数が最も多い感情または感情を判別するためのパラメータ値が最も大きな感情を音声・映像メッセージごとに特定し、その感情をその音声・映像メッセージの感情として特定することが良い。蓄積部２０２には、複数の認識された感情を示す複数の感情データをそのままメッセージと関連付けて記憶しておくこともできる。なお、本実施形態では、感情認識部２０４は、ひとつのメッセージに対してひとつの感情データを付与するものとする。

感情の認識方法としては、例えば音声メッセージの場合は「嬉しい」、「悲しい」といった感情を表す表現や、声の大きさや話すスピードやトーン、音声の波形などを感情ごとに蓄積しておき、感情認識部２０４に入力された音声メッセージと蓄積された感情ごとのデータとを比較することによって、入力された音声メッセージの感情を認識することができる。また、映像メッセージの場合は、ユーザの表情（例えば、眉、目・口における特徴点の位置関係）やジェスチャを映像から抽出し、抽出したデータを感情の種別に対応して予め蓄積しておいた表情、ジェスチャを示すデータと比較して感情を認識する。なお、本実施形態において用いる音声データ、映像データからの感情認識は、公知のものであればどのようなものでもよい。

確認要求部２０７は、感情認識部２０４によって認識された感情の種別を示す感情データが蓄積部２０２に記憶されると、当該感情データと対応する音声・映像メッセージデータとを蓄積部２０２から読み出して、これらのデータを、感情データで示す感情の種別がユーザが意図したものであるかを確認するように要求する確認要求として、送信側通信端末１０ａに対して送信する。

通知部（登録通知部）２０３は、蓄積部２０２にメッセージが登録されると（すなわち、送信側通信端末１０ａから同意応答を受信すると）、該当する受信側通信端末１０ｂに対して、音声・映像メッセージを登録した送信側通信端末１０ａについての情報と登録された時間などの情報をメッセージ登録通知（登録通知）として生成し、通知の送信を入出力部２０１に対して指示する。

好適には、上記メッセージ登録通知において、感情認識部２０４が認識した感情のうち最も特徴のある感情データを含めることができる。

データ抽出部（画像抽出部）２０５は、受信側通信端末１０ｂからアクセス要求を受信すると、受信側通信端末１０ｂ宛ての音声・映像メッセージと感情データを蓄積部２０２から読み出す。読み出した音声・映像メッセージが映像データである場合には、感情データが示す感情の特徴が最も現れる場面の画像を映像データから抽出する。抽出された画像のデータは生成部２０６に転送される。音声データの場合には、その感情に合わせた文字または画像を生成部２０６に引き渡す。

感情データが示す感情の特徴が最も現れる画像の抽出方法としては、映像メッセージの場合には、蓄積部２０２に記憶されている感情データの認識時点（図４）に示される時点の画像を抽出する。このため、データ抽出部２０５は、抽出対象のメッセージに対応する認識時点のデータも蓄積部２０２から取得する。また、音声メッセージについては、感情の種別ごとに文字または画像のデータをメモリ（図示略）に予め保持しておき、感情データに対応する文字または画像をメモリから読み出す。

生成部（第１生成部、第２生成部）２０６は、データ抽出部２０５より画像データを受信すると、まず、メッセージの登録者、登録日、総再生時間などのメッセージの属性情報を蓄積部２０２から取得する。そして、画像データと属性情報とを用いて、メッセージを感情の種別ごとに表示する選択画面（例えば、図５）を示す画面データを作成し、これを入出力部２０１へ転送する。即ち、メッセージ蓄積サーバ２０から受信側通信端末１０ｂにメッセージ登録通知が送られた後に、これに応答して受信側通信端末１０ｂがサーバ２０にアクセス要求を送信した場合、生成部２０６は、受信側通信端末１０ｂのユーザに取得するメッセージを選択するように促す選択画面を作成する。このとき、選択画面を表示した受信側通信端末１０ｂのユーザがそれぞれの画像をクリックすると、蓄積部２０２に蓄積された音声・映像メッセージのうち、該当するメッセージの取得要求がメッセージ蓄積サーバ２０に対して送信されて所望のメッセージが受信・再生されるように画面を構成する。

図５は、本実施例において受信側通信端末１０ｂに表示される選択画面構成例を示す。
受信側通信端末１０ｂが、メッセージ蓄積サーバ２０からメッセージ登録の通知を受け、メッセージ蓄積サーバ２０に接続すると、感情ごとに分類された各メッセージの画像、登録者、登録された日にち、登録されているメッセージの総再生時間を示す選択画面が表示される。これらの情報は各メッセージの属性を示すメッセージ情報であり、ユーザは表示された属性情報を見て、どのメッセージを先に取得するかを判断する。
図５の例では、喜びを示すメッセージが２つと怒りを示すメッセージが１つ表示されており、それぞれ感情に従って分けて表示されている。各メッセージは、感情の特徴が最も現れる場面がサムネイル表示されている。このサムネイル表示されている場面は、データ抽出部２０５が抽出した画像データに対応する。受信側通信端末１０ｂにおいて、表示された画面から音声・映像メッセージがユーザにより選択されると、メッセージ蓄積サーバ２０より音声・映像メッセージが取得されて再生される。

なお、図４および図５に示す例の場合、メッセージ蓄積サーバ２０には、受信側通信端末１０ｂ宛てのメッセージが３つ登録されている。登録されたメッセージは、受信側通信端末１０ｂのユーザからの指示で削除することができ、削除されない限り、受信側通信端末１０ｂで取得・再生することが可能である。すなわち、登録されたメッセージは、受信側通信端末１０ｂが取得可能なメッセージである。なお、サーバ２０側が所定のルールに従って、登録メッセージの削除等を行うようにすることもできる。

続いて、本実施形態にかかる感情認識メッセージシステムの動作について説明する。図６は、感情認識メッセージシステムの動作を示すシーケンスチャートである。同図に示すように、まず、送信側通信端末１０ａが、音声・映像メッセージの入力を受け付けると（S1）、感情認識メッセージシステムにおける動作がスタートする。これは、ユーザがマイクやビデオカメラなどの入力部１０２を介して音声または映像メッセージを入力することによって行われる。

入力された音声・映像メッセージは、送信側通信端末１０ａが受信側通信端末１０ｂをメッセージの宛先として指定することにより、メッセージ蓄積サーバ２０へ送信される（S2a）。メッセージ蓄積サーバ２０は、メッセージを受信すると、当該メッセージを蓄積部２０２に蓄積する（S2b）。このメッセージの蓄積により、感情認識プロセスがトリガされる。

メッセージ蓄積サーバ２０は、音声・映像メッセージが蓄積されると、感情認識部２０４によりそのメッセージの感情を認識する（S3）。感情認識部２０４は、感情認識の結果である感情データを該当するメッセージに付与する。具体的には、感情データは対応するメッセージと共に蓄積部２０２に蓄積される。

メッセージ蓄積サーバ２０は、登録された音声・映像メッセージとステップＳ３で感情認識した結果である感情データとを含む確認要求を確認要求部２０７により送信側通信端末１０ａに送信して、音声・映像メッセージの内容と感情データが示す感情の種別を送信側通信端末１０ａにおいて確認させる（S4）。

送信側通信端末１０ａは、メッセージ蓄積サーバ２０より音声・映像メッセージと感情認識された結果の感情データとを受信すると、音声・映像メッセージを再生するとともに受信した感情データで表される感情の種別をあわせて表示する（S5）。この表示画面は、メッセージについて認識された感情の種別が自らが意図していたものであるか否かを確認するようにユーザに促すものである。このため、メッセージの再生が終了すると、送信側通信端末１０ａは、表示した感情の認識結果にユーザが同意するか否かをユーザに入力させるための画面を表示部１０４に表示する。

表示された音声・映像メッセージの感情の認識結果にユーザが同意した場合には、送信側通信端末１０ａはメッセージ蓄積サーバ２０に対して、感情の認識結果に同意する旨の応答メッセージ（同意応答）を送信する（S6）。一方、表示された感情の認識結果にユーザが同意しない場合には、送信側通信端末１０ａはメッセージ蓄積サーバ２０に対して、認識結果に同意しない旨の応答メッセージ（非同意応答）を送信する（S6）。後者の場合には、メッセージ蓄積サーバ２０は、感情認識部２０４により、前の認識結果を除いて感情認識処理を実行し（S3）、新たな認識結果を音声・映像メッセージとともに送信側通信端末１０ａに対して送信する（S4）。すなわち、メッセージ蓄積サーバ２０が送信側通信端末１０ａから同意応答を受信するまで、S3からS5までの処理を繰り返す。なお、感情認識を繰り返してもユーザから同意が得られない場合も起こり得る。その場合には、ユーザ自らが感情の種類を指定できるようにしてもよい。あるいは、感情認識を繰り返すことなく、一度目の感情認識の結果に不同意の場合にはユーザ自らが感情の種類を指定できるようにしてもよい。

メッセージ蓄積サーバ２０は、送信側通信端末１０ａより同意応答を受信すると、該当する音声・映像メッセージは登録されたものと判断（S7）し、受信側通信端末１０ｂに対して通知メッセージ（登録通知）を作成し、音声・映像メッセージが登録されたことを通知する（S8）。この際好適には、メッセージが登録されたこととあわせて、認識された感情データを通知することができる。

ステップＳ３において蓄積部２０２に蓄積されたメッセージ及びその感情データは、送信側通信端末１０ａからの認識結果に対する同意がない限り登録されることはない。従って、送信側通信端末１０ａからの同意がない限り、ステップＳ３において蓄積部２０２に蓄積されたメッセージが受信側通信端末１０ｂに通知されることはない。よって、本実施形態によれば、感情認識部２０４にメッセージの感情認識を行わせることによって、メッセージとその感情との整合性を図ることができる一方、感情認識した結果について送信側のユーザからの同意を得てから相手方に通知するので、ユーザの意図からかけ離れた感情の種別が相手方に伝わってしまうこともない。このように、主観と客観のバランスを図った結果としての感情データがメッセージに付与され、ひいてはメッセージの送信者と受信者間でのより円滑なコミュニケーションを促進することが可能となる。
なお、蓄積部２０２は、一定の期間以上登録の要請がない蓄積メッセージを、時間切れとして自動的に削除するように構成することもできる。

受信側通信端末１０ｂは、通知メッセージを受信すると、メッセージ蓄積サーバ２０へ接続することにより、音声・映像メッセージへのアクセス要求を送信する(S9)。

メッセージ蓄積サーバ２０のデータ抽出部２０５は、受信側通信端末１０ｂからのアクセス要求を受けると、蓄積部２０２に記憶されている受信側通信端末１０ｂ宛てのメッセージと対応する感情データを読み出す。読み出したメッセージが映像メッセージである場合は、感情認識部２０４が認識した感情データが示す感情の種別を最も表すシーンの画像を映像データから抽出する。また、音声メッセージである場合には、感情データに合う文字または画像をメモリから読み出す。蓄積部２０２に記憶されている受信側通信端末１０ｂ宛てのメッセージが複数ある場合には、各メッセージについて、画像の抽出や文字または画像の読み出しを行う（S10）。

メッセージ蓄積サーバ２０の生成部２０６は、データ抽出部２０５により渡された画像と、蓄積部２０２から取得したメッセージの登録日、登録者、総再生時間などのメッセージの属性情報を用いて、受信側通信端末１０ｂで表示されるべき選択画面の画像を表す画面データを生成する。この選択画面は、感情データに応じてメッセージを分類して表示する構成となっている（S11）。なお、データ抽出部２０５により抽出された画像は、登録された各メッセージについて、感情認識部２０４によって認識された感情データに応じた画像であるので、メッセージの属性である「感情の種別」を示す。よって、抽出された画像は、属性情報の一部である。

メッセージ蓄積サーバ２０は、作成した選択画面の画面データを受信側通信端末１０ｂに転送する（S12）。

受信側通信端末１０ｂは、メッセージ蓄積サーバ２０より画面データを受信すると画面データによって表される画像を表示する（S13）。

受信側通信端末１０ｂのユーザは、表示された画面を見て、再生したい音声・映像メッセージの画像の選択結果を入力し、入力した選択結果の信号は、選択したメッセージの取得要求としてメッセージ蓄積サーバ２０に送信される（S14）。この取得要求には、どの音声・映像メッセージを取得するべきかという情報が含まれている。

メッセージ蓄積サーバ２０は、取得要求を受信すると、該当する音声・映像メッセージのデータを蓄積部２０２から読み出し、これを受信側通信端末１０ｂに向けて送信する（S15）。

受信側通信端末１０ｂは、上記音声・映像メッセージのデータを受信するとメッセージを再生する（S16）。

変形例：
上記実施例では、生成部２０６はメッセージ蓄積サーバ２０に備えられていたが、選択画面の画面データを代わりに受信側通信端末１０ｂで生成するようにしてもよい。図７は、このような場合の感情認識メッセージシステムの動作を示すシーケンスチャートである。この場合、受信側通信端末１０ｂがメッセージ蓄積サーバ２０からのメッセージ登録通知(S8)に応じてサーバ２０にアクセス要求を送信すると(S9)、メッセージ蓄積サーバ２０のデータ抽出部２０５は、感情認識部２０４が認識した感情データに適合する画像を抽出する（S10）。そして、メッセージ蓄積サーバ２０は、選択画面の生成を行なうことなく、抽出したデータと、メッセージに付与された感情データ、メッセージの登録日、登録者、総再生時間などのメッセージの属性に関する情報を受信側通信端末１０ｂに送信する（S11’）。受信側通信端末１０ｂでは、制御部１０２がこれら受信したデータを基に選択画面を生成し、表示部１０４に表示する(S12’, S13)。この場合、感情の種別毎にメッセージを分類して表示することも、受信側通信端末１０ｂの制御部１０２が行う。
また、蓄積部２０２に記憶されている受信側通信端末１０ｂ宛てのメッセージが複数ある場合には、メッセージ蓄積サーバ２０は、各メッセージについて、データ抽出部２０５による画像の抽出を行い、メッセージごとに抽出したデータとメッセージの属性に関する情報とを受信側通信端末１０ｂに送信する。受信側通信端末１０ｂの制御部１０２は、受信したデータに基づいて、複数のメッセージを感情の種別ごとに表示した選択画面を生成する。

上記実施形態では、送信側通信端末１０ａから送信されたメッセージがメッセージ蓄積サーバ２０の蓄積部２０２に蓄積されることにより感情認識がトリガされたが、メッセージ蓄積サーバ２０の入出力部２０１が送信側通信端末１０ａから送信されたメッセージを受信したときに感情認識がトリガされるように構成してもよい。この場合、送信側通信端末１０ａにメッセージの確認要求を送った段階では送信メッセージ及びその感情データは蓄積部２０２には蓄積されておらず、その後送信側通信端末１０ａからメッセージ登録の要請（同意応答）があった後に該メッセージ及びその感情データを蓄積部２０２に蓄積するようにしてもよい。

上記実施形態では、図６のステップＳ４において、メッセージ蓄積サーバ２０の確認要求部２０７は、感情認識部２０４が実行した感情認識の結果である感情データを、ステップＳ２ａで受信したメッセージとともに送信側通信端末１０ａに送信していたが、メッセージ自体を送信側通信端末１０ａに送信せず、感情データだけを送信するようにしてもよい。この場合、確認要求部２０７は対応するメッセージを特定する情報とともに感情データを送信するようにしてもよい。メッセージは音声または映像データなので、このデータを送信側通信端末１０ａとメッセージ蓄積サーバ２０との間で複数回やり取りをすると、通信システムに対する負荷が大きい。しかしながら、この変形例によれば、この負荷を軽減することが可能となる。

上記実施形態では、メッセージ蓄積サーバ２０のデータ抽出部２０５は、受信側通信端末１０ｂがメッセージ蓄積サーバ２０にアクセス要求を送信（図６のＳ９）した後に、画像を抽出することとしていたが、データ抽出部２０５は、メッセージが登録されると同時に画像を抽出して、生成部２０６にすぐさま表示画面を生成させるようにしても良い。つまり、受信側通信端末１０ｂに登録通知メッセージを送信するのと同時に画面抽出、表示画面生成を行う。この構成により、受信側通信端末１０ｂがメッセージ蓄積サーバ２０にアクセス要求を送信してから、選択画面が表示されるまでの時間を短縮することが可能となる。

上記実施形態では、図５に示す選択画面は、メッセージの情報を感情の種類ごとに分類して表示するように構成したが、これに限られず、登録された日時順あるいは送信元順に一覧として表示するようにしてもよい。

上記実施形態では、データ抽出部２０５と生成部２０６とをメッセージ蓄積サーバ２０上に構成することとしていたが、両部は別のサーバで構成しても良い。すなわち、メッセージ蓄積サーバは、音声・映像メッセージの蓄積および感情認識処理に専念し、データ抽出部と生成部とはWebサーバなどで構築するというものである。これにより、メッセージ蓄積サーバの処理を簡素化すると共にWebインターフェースなどの汎用的なインターフェースにより、通信端末によるより簡易なアクセスが可能となる。

上記実施形態では、受信側通信端末１０ｂは、ステップＳ１６において、音声・映像メッセージだけを再生するとしていたが、メッセージの再生にあわせて認識された感情データを表示しても良い。すなわち、通信端末の画面を２分割して、一方の画面で音声・映像を再生しつつ、それに該当する感情データを別画面にて表示するというものである。これにより、各シーンにおいて送信者がどのような感情であったかをメッセージの進行に合わせて通知することが可能となる。なお、この場合には、感情認識部２０４によって認識された複数の感情データの各々について、その認識時点を対応付けて蓄積部２０２に記憶しておくのがよい。

上記実施形態では、メッセージ蓄積サーバ２０側で認識する感情を設定していたが、受信側通信端末１０ｂから認識してほしい感情を設定しても良い。すなわち、メッセージ蓄積サーバにログインして、通信端末ごとに全て『喜び』のシーンだけを認識するようにしたり、何種類もの感情を認識できるように設定するものである。これにより、受信側ユーザが望む感情を中心に感情認識することが可能となる。

また、上記実施形態では、データ抽出部２０５は、メッセージが音声メッセージの場合には、感情データに対応する文字または画像を取得するようにしていたが、感情認識部２０４が認識した感情を最も強く表す音声部分を抽出して生成部２０６に引き渡してもよい。この場合には、感情データの認識時点の音声を抽出するが、例えば、再生期間に認識時点を含むフレーズや単語を抽出するようにしてもよい。

１０…通信端末、１０１…送受信部、１０２…入力部、１０３…制御部、１０４…表示部、１０５…音声出力部、２０…メッセージ蓄積サーバ、２０１…入出力部、２０２…蓄積部、２０３…通知部、２０４…感情認識部、２０５…データ抽出部、２０６…生成部、２０７…確認要求部、ネットワーク…Ｎ。

Claims (12)

1. メッセージ蓄積サーバと複数の移動通信端末とを備えたメッセージシステムであって、
   前記複数の移動通信端末の各々は、
   前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、
   画像を表示する表示部と、
   ユーザからの音声または映像の入力を受け付ける入力受付部と、
   各部を制御する制御部と、
   を備え、
   前記制御部は、前記入力受付部を介して他の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、
   前記メッセージ蓄積サーバは、
   前記移動通信端末から前記他の移動通信端末宛てのメッセージを受信するメッセージ受信部と、
   前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、
   前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、
   前記感情認識部によって付与された感情データを確認要求として、前記メッセージの送信者である前記移動通信端末に送信する確認要求送信部と、
   を備え、
   前記制御部は、前記送信したメッセージに対する前記確認要求を前記メッセージ蓄積サーバから受信すると、受信した感情データに応じた画像を前記表示部に表示し、
   前記感情認識部は、前記メッセージの送信者である前記移動通信端末から前記感情データに対する非同意応答を受信すると、前記メッセージに対して第２の感情認識処理を施し、前記非同意応答に係る感情データとは異なる第２の感情データを前記メッセージに付与し、
   前記確認要求送信部は、前記第２の感情データを第２の確認要求として前記メッセージの送信者である前記移動通信端末に送信する、
   ことを特徴とするメッセージシステム。
2. メッセージ蓄積サーバと複数の移動通信端末とを備えたメッセージシステムであって、
   前記複数の移動通信端末のうち、第１の移動通信端末は、
   前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、
   画像を表示する表示部と、
   ユーザからの音声または映像の入力を受け付ける入力受付部と、
   各部を制御する制御部と、
   を備え、
   前記制御部は、前記入力受付部を介して、前記複数の移動通信端末のうち、第２の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、
   前記メッセージ蓄積サーバは、
   前記第１の移動通信端末から前記第２の移動通信端末宛てのメッセージを受信するメッセージ受信部と、
   前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、
   前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、
   前記感情認識部によって付与された感情データを確認要求として、前記メッセージの送信者である前記第１の移動通信端末に送信する確認要求送信部と、
   前記確認要求に対する応答として、前記感情データに同意する同意応答を前記第１の移動通信端末から受信した場合には、前記蓄積部に蓄積され、前記同意した感情データに対応するメッセージの登録通知を前記第２の移動通信端末に送信する登録通知部と、
   前記登録通知に応答して前記第２の移動通信端末からアクセス要求を受信すると、前記蓄積したメッセージが映像によるメッセージである場合には、前記メッセージに付与された感情データの感情を最も表す画像を当該メッセージの映像データから抽出する画像抽出部と、
   前記画像抽出部によって抽出された画像を、前記蓄積したメッセージの属性を示すメッセージ情報の少なくとも一部として表示した選択画面を表す画面データを生成する第２生成部と、
   前記第２生成部が生成した前記画面データを前記第２の移動通信端末に送信する画面送信部と、
   を備え、
   前記制御部は、前記送信したメッセージに対する確認要求を前記メッセージ蓄積サーバから受信すると、受信した感情データに応じた画像を前記表示部に表示する、
   ことを特徴とするメッセージシステム。
3. メッセージ蓄積サーバを備えた移動通信システムに接続し、他の移動通信端末と通信する移動通信端末であって、
   受信した音声または映像によるメッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与した後に登録する前記メッセージ蓄積サーバとの間でデータを送受信する送受信部と、
   画像を表示する表示部と、
   ユーザからの音声または映像の入力を受け付ける入力部と、
   各部を制御する制御部と、
   を備え、
   前記制御部は、前記入力部を介して他の移動通信端末宛ての音声または映像によるメッセージが入力されると、前記送受信部を介して、当該メッセージを前記メッセージ蓄積サーバに送信し、
   前記制御部は、前記送信したメッセージの感情データを、確認要求として、前記メッセージ蓄積サーバから受信すると、前記受信した感情データに応じた画像を前記表示部に表示し、
   前記制御部は、前記表示部に表示された画像で示される感情の種類に前記ユーザが同意する又は同意しないことを示す指示入力を前記入力部が受け付けると、前記メッセージ蓄積サーバに対して、前記感情データに対する同意応答又は非同意応答を前記送受信部により送信し、
   前記制御部は、前記非同意応答に対する第２の確認要求として、前記非同意応答に係る感情データとは異なる第２の感情データを前記メッセージ蓄積サーバから受信すると、前記受信した第２の感情データに応じた第２の画像を前記表示部に表示する、
   ことを特徴とする移動通信端末。
4. 前記制御部は、当該移動通信端末宛てとして前記メッセージ蓄積サーバに蓄積されたメッセージが登録されたことを通知する登録通知を、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記登録されたメッセージに対するアクセス要求を、前記送受信部を介して前記メッセージ蓄積サーバに送信し、
   さらに、前記制御部は、前記登録されたメッセージの属性を示すメッセージ情報を表示した選択画面を表す画面データを、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記画面データで表される選択画面を前記表示部に表示し
   前記選択画面においては、当該移動通信端末が取得可能なメッセージに関わるメッセージ情報が、該当するメッセージの感情データが示す感情の種類に応じて分類されて表示され、
   前記制御部は、前記選択画面からメッセージが選択されると、当該メッセージの取得要求を前記メッセージ蓄積サーバに送信する、
   ことを特徴とする請求項３に記載の移動通信端末。
5. 前記制御部は、当該移動通信端末宛てとして前記メッセージ蓄積サーバに蓄積されたメッセージが登録されたことを通知する登録通知を、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記登録されたメッセージに対するアクセス要求を、前記送受信部を介して前記メッセージ蓄積サーバに送信し、
   さらに、前記制御部は、当該移動通信端末が取得可能なメッセージに関わるメッセージ情報として、前記登録されたメッセージの属性を示すメッセージ情報を表示した選択画面を示す画面データを、前記送受信部を介して前記メッセージ蓄積サーバから受信すると、前記画面データで表される選択画面を前記表示部に表示し、前記メッセージ情報は、当該メッセージに付与された前記感情データの感情を最も示す画像を含み、
   前記制御部は、前記選択画面からメッセージが選択されると、当該メッセージの取得要求を前記メッセージ蓄積サーバに送信する、
   ことを特徴とする請求項３に記載の移動通信端末。
6. 前記選択画面においては、当該移動通信端末が取得可能なメッセージに関わるメッセージ情報が、該当するメッセージの感情データが示す感情の種類に応じて分類されて表示される、
   ことを特徴とする請求項５に記載の移動通信端末。
7. 複数の移動通信端末間の通信を仲介する移動通信システムのメッセージ蓄積サーバであって、
   音声または映像によるメッセージであって、第１の移動通信端末から第２の移動通信端末宛てのメッセージを受信するメッセージ受信部と、
   前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、
   前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、
   前記感情認識部によって付与された感情データを、確認要求として、前記メッセージの送信者である前記第１の移動通信端末に送信する確認要求送信部と、
   を備え、
   前記感情認識部は、前記第１の移動通信端末から前記感情データに対する非同意応答を受信すると、前記メッセージに対して第２の感情認識処理を施し、前記非同意応答に係る感情データとは異なる第２の感情データを前記メッセージに付与し、
   前記確認要求送信部は、前記第２の感情データを第２の確認要求として前記第１の移動通信端末に送信する、
   ことを特徴とするメッセージ蓄積サーバ。
8. 前記確認要求に対する応答として、前記感情データに同意する同意応答を前記第１の移動通信端末から受信した場合には、前記蓄積部に蓄積され、前記同意した感情データに対応するメッセージの登録通知を前記第２の移動通信端末に送信する登録通知部をさらに有する、
   ことを特徴とする請求項７に記載のメッセージ蓄積サーバ。
9. 前記登録通知に応答して前記第２の移動通信端末からアクセス要求を受信すると、前記蓄積したメッセージの属性を示すメッセージ情報を表示した選択画面を表す画面データを生成する第１生成部と、
   前記第１生成部が生成した画面データを前記第２の移動通信端末に送信する画面送信部と、
   をさらに備え、
   前記第１生成部は、前記選択画面として、前記第２の移動通信端末が取得可能なメッセージに関わる前記メッセージ情報を、該当するメッセージの感情データが示す感情の種類に応じて分類して表示した画面を生成する、
   ことを特徴とする請求項８に記載のメッセージ蓄積サーバ。
10. 前記登録通知に応答して前記第２の移動通信端末からがアクセス要求を受信すると、前記蓄積したメッセージが映像によるメッセージである場合には、前記メッセージに付与された感情データの感情を最も表す画像を当該メッセージの映像データから抽出する画像抽出部と、
    前記画像抽出部によって抽出された画像を、前記蓄積したメッセージの属性を示すメッセージ情報の少なくとも一部として表示した選択画面を表す画面データを生成する第２生成部と、
    前記第２生成部が生成した画面データを前記第２の移動通信端末に送信する画面送信部と、
    を有することを特徴とする請求項８に記載のメッセージ蓄積サーバ。
11. 複数の移動通信端末間の通信を仲介する移動通信システムのメッセージ蓄積サーバであって、
    音声または映像によるメッセージであって、第１の移動通信端末から第２の移動通信端末宛てのメッセージを受信するメッセージ受信部と、
    前記メッセージ受信部が受信したメッセージを蓄積する蓄積部と、
    前記メッセージに対して感情認識を施し、認識した感情を示す感情データを前記メッセージに付与する感情認識部と、
    前記感情認識部によって付与された感情データを、確認要求として、前記メッセージの送信者である前記第１の移動通信端末に送信する確認要求送信部と、
    前記確認要求に対する応答として、前記感情データに同意する同意応答を前記第１の移動通信端末から受信した場合には、前記蓄積部に蓄積され、前記同意した感情データに対応するメッセージの登録通知を前記第２の移動通信端末に送信する登録通知部と、
    前記登録通知に応答して前記第２の移動通信端末からアクセス要求を受信すると、前記蓄積したメッセージが映像によるメッセージである場合には、前記メッセージに付与された感情データの感情を最も表す画像を当該メッセージの映像データから抽出する画像抽出部と、
    前記画像抽出部によって抽出された画像を、前記蓄積したメッセージの属性を示すメッセージ情報の少なくとも一部として表示した選択画面を表す画面データを生成する第２生成部と、
    前記第２生成部が生成した前記画面データを前記第２の移動通信端末に送信する画面送信部と、
    を備えたメッセージ蓄積サーバ。
12. 前記第２生成部は、前記選択画面として、前記第２の移動通信端末が取得可能なメッセージに関わるメッセージ情報を、該当するメッセージの感情データが示す感情の種類に応じて分類して表示した画面を生成する、
    ことを特徴とする請求項１０又は１１に記載のメッセージ蓄積サーバ。

Images