JP2012004885A - 音声通話端末装置、音声通話システム、及び音声通話方法 - Google Patents
音声通話端末装置、音声通話システム、及び音声通話方法 Download PDFInfo
- Publication number
- JP2012004885A JP2012004885A JP2010138373A JP2010138373A JP2012004885A JP 2012004885 A JP2012004885 A JP 2012004885A JP 2010138373 A JP2010138373 A JP 2010138373A JP 2010138373 A JP2010138373 A JP 2010138373A JP 2012004885 A JP2012004885 A JP 2012004885A
- Authority
- JP
- Japan
- Prior art keywords
- mood
- music
- user
- mood mode
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephone Function (AREA)
- Studio Devices (AREA)
Abstract
【課題】ユーザの気分により効果音/音楽を付加して通話する音声通話装置を提供する。
【解決手段】効果音/音楽を付加して通話する音声通話装置において、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースを備える。このような気分モード通話を行う場合、気分モード分析部により、センサのデータ又はメールの文字データからユーザの感情状態を分析して気分モードと気分レベルを設定する。さらに、音楽選択/作曲部を用いて、気分モードと気分レベルにより、効果音又は音楽を選択する。そして、気分モード入力部により、選択された前記効果音又は音楽をユーザの指示を検知して変更する。
【選択図】図4
【解決手段】効果音/音楽を付加して通話する音声通話装置において、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースを備える。このような気分モード通話を行う場合、気分モード分析部により、センサのデータ又はメールの文字データからユーザの感情状態を分析して気分モードと気分レベルを設定する。さらに、音楽選択/作曲部を用いて、気分モードと気分レベルにより、効果音又は音楽を選択する。そして、気分モード入力部により、選択された前記効果音又は音楽をユーザの指示を検知して変更する。
【選択図】図4
Description
本発明は、音声通話端末装置、音声通話システム、及び音声通話方法に係り、特にユーザの気分により効果音/音楽を付加する音声通話端末装置、音声通話システム、及び音声通話方法に関する。
従来、携帯電話を始めとする携帯端末においては、電子メール等において、通常の文字の他に感情を図画的に示した「顔文字」や絵文字を用いることが一般的になっている。
ところが、携帯端末での音声通話においては、遠隔地にいる通話者同士で会話する以外に、特別な効果を用いることがあまりなかった。
そこで、音声通話時に効果音等を付加し、通話の感性効果を高める技術が考え出されている。
ところが、携帯端末での音声通話においては、遠隔地にいる通話者同士で会話する以外に、特別な効果を用いることがあまりなかった。
そこで、音声通話時に効果音等を付加し、通話の感性効果を高める技術が考え出されている。
従来の音声通話時に効果音を付加する技術として、特許文献1を参照すると、パネル面に設けられ、効果音の送出を指示する効果音送出ボタンと、予め効果音データが記憶された記憶装置と、前記効果音送出ボタンからの信号を受信し、前記効果音データを前記記憶装置から読み出す制御部と、前記効果音データをアナログ信号に変換するディジタル/アナログ変換器と、前記ディジタル/アナログ変換器の出力とユーザにより入力された音声信号とを合成する効果音ミキサーと、前記効果音ミキサーの出力を発信する発信手段とを備えることを特徴とする移動体通信装置が開示されている(以下、従来技術1とする。)。
従来技術1の移動体通信装置によれば、効果音送出ボタンからの信号によって、記憶装置から読み出された効果音データと、音声データとを効果音ミキサーで合成して送信するため、会話の途中にユーザの任意のタイミングで適宜挿入する効果音を付加することが可能となり、感性効果を高めることができる。
従来技術1の移動体通信装置によれば、効果音送出ボタンからの信号によって、記憶装置から読み出された効果音データと、音声データとを効果音ミキサーで合成して送信するため、会話の途中にユーザの任意のタイミングで適宜挿入する効果音を付加することが可能となり、感性効果を高めることができる。
しかしながら、従来技術1の移動体通信装置では、送話するユーザの気分に合わせて、効果音を変更することができなかった。
このため、単純に効果音送出ボタンにより効果音の送出をするだけで、ユーザに効果音送出機能についてすぐ飽きられてしまうという問題があった。
よって、音声通話にて効果音を用いるという機能を積極的に用いるという意欲をユーザに持たせることができなかった。
このため、単純に効果音送出ボタンにより効果音の送出をするだけで、ユーザに効果音送出機能についてすぐ飽きられてしまうという問題があった。
よって、音声通話にて効果音を用いるという機能を積極的に用いるという意欲をユーザに持たせることができなかった。
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
本発明の音声通話端末装置は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択/作曲部と、選択された前記効果音又は音楽を前記ユーザの指示を検知して変更する気分モード入力部とを備えることを特徴とする。
本発明の音声通話端末装置は、前記センサは、発汗センサ、脈拍センサ、血糖値センサ、温度センサのいずれかの生体センサを用いることを特徴とする。
本発明の音声通話端末装置は、 前記ユーザの顔画像を撮像するカメラ部を備え、前記気分モード分析部は、撮像された前記ユーザの顔画像のデータから前記ユーザの感情状態を演算することを特徴とする。
本発明の音声通話端末装置は、前記センサは、圧力センサ又は加速度センサであり、前記気分モード分析部は、端末に加えられた圧力又は端末の加速度変化により感情状態を演算することを特徴とする。
本発明の音声通話端末装置は、前記ユーザの音声を録音する録音部を更に備え、前記気分モード分析部は、録音された音声データから前記ユーザの感情状態を分析することを特徴とする。
本発明の音声通話システムは、音声通話端末装置とサーバとを備えた音声通話システムにおいて、前記音声通話端末装置は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択/作曲部と、選択された前記効果音又は音楽を前記ユーザの指示を検知して変更する気分モード入力部とを備え、前記サーバは、前記効果音を記憶する効果音データベースと、音楽の楽曲データを記憶する楽曲データベースとを備えることを特徴とする。
本発明の音声通話方法は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定し、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定し、前記気分モードと気分レベルとを前記ユーザの指示により変更する気分モード入力部とを備えることを特徴とする。
本発明の音声通話端末装置は、前記センサは、発汗センサ、脈拍センサ、血糖値センサ、温度センサのいずれかの生体センサを用いることを特徴とする。
本発明の音声通話端末装置は、 前記ユーザの顔画像を撮像するカメラ部を備え、前記気分モード分析部は、撮像された前記ユーザの顔画像のデータから前記ユーザの感情状態を演算することを特徴とする。
本発明の音声通話端末装置は、前記センサは、圧力センサ又は加速度センサであり、前記気分モード分析部は、端末に加えられた圧力又は端末の加速度変化により感情状態を演算することを特徴とする。
本発明の音声通話端末装置は、前記ユーザの音声を録音する録音部を更に備え、前記気分モード分析部は、録音された音声データから前記ユーザの感情状態を分析することを特徴とする。
本発明の音声通話システムは、音声通話端末装置とサーバとを備えた音声通話システムにおいて、前記音声通話端末装置は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択/作曲部と、選択された前記効果音又は音楽を前記ユーザの指示を検知して変更する気分モード入力部とを備え、前記サーバは、前記効果音を記憶する効果音データベースと、音楽の楽曲データを記憶する楽曲データベースとを備えることを特徴とする。
本発明の音声通話方法は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定し、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定し、前記気分モードと気分レベルとを前記ユーザの指示により変更する気分モード入力部とを備えることを特徴とする。
本発明によれば、通話する相手に合わせ、通話するユーザの感情状態から気分モードと気分レベルを演算して効果音/音楽を選択することで、ユーザの意図に沿った効果音/音楽を用いた通話を実現する音声通話端末装置を提供することができる。
<実施の形態>
図1を参照して、本発明の実施の形態に係る通話システムXの構成について説明する。
本発明の実施の形態に係る通話システムXは、端末20−1〜20−nと、サーバ40とが、無線電話網やインターネットやイントラネット等であるネットワーク5を介して、接続されている。
より具体的には、ネットワーク5は、携帯電話網、WiMAX、PHS網、無線LAN、有線電話回線、LAN、電灯線LAN、cLink、専用の回線等を用いることができる。また、ネットワークの形態としても、IPネットワークやその他のスター状やリング状のネットワーク等を用いることができる。
端末20−1〜20−n(音声通話端末装置)は、携帯電話やPDA(Personal Digital Assistant)等である携帯端末、PC(Personal Computer)やシンクライアント等であるデスクトップ端末、専用音声端末等である。端末20−1〜20−nとの間では、音声通話を行うことが可能であり、その際に後述する「気分モード」による効果を付加して通話を行うことができる。
サーバ40は、端末20−1〜20−nから、効果音や音楽等をダウンロードするためのウェブサーバ等である。
図1を参照して、本発明の実施の形態に係る通話システムXの構成について説明する。
本発明の実施の形態に係る通話システムXは、端末20−1〜20−nと、サーバ40とが、無線電話網やインターネットやイントラネット等であるネットワーク5を介して、接続されている。
より具体的には、ネットワーク5は、携帯電話網、WiMAX、PHS網、無線LAN、有線電話回線、LAN、電灯線LAN、cLink、専用の回線等を用いることができる。また、ネットワークの形態としても、IPネットワークやその他のスター状やリング状のネットワーク等を用いることができる。
端末20−1〜20−n(音声通話端末装置)は、携帯電話やPDA(Personal Digital Assistant)等である携帯端末、PC(Personal Computer)やシンクライアント等であるデスクトップ端末、専用音声端末等である。端末20−1〜20−nとの間では、音声通話を行うことが可能であり、その際に後述する「気分モード」による効果を付加して通話を行うことができる。
サーバ40は、端末20−1〜20−nから、効果音や音楽等をダウンロードするためのウェブサーバ等である。
〔端末20−1の外観と制御構成〕
次に、図2と図3とを参照して、端末20−1〜20−nの制御構成について、端末20−1を代表として説明する(以下、20−1を端末群のうちの典型的な1台として説明する)。
以下の例では、端末20−1が携帯電話である場合について主に説明する。また、端末20−1にて通話を行うユーザを送話者とよび、通話を受ける側の端末20−2〜20−nのユーザを受話者とよぶ。
次に、図2と図3とを参照して、端末20−1〜20−nの制御構成について、端末20−1を代表として説明する(以下、20−1を端末群のうちの典型的な1台として説明する)。
以下の例では、端末20−1が携帯電話である場合について主に説明する。また、端末20−1にて通話を行うユーザを送話者とよび、通話を受ける側の端末20−2〜20−nのユーザを受話者とよぶ。
まず、図2の外観図を参照すると、端末20−1には、例えば、センサ部220、音声通話のためのマイク240、スピーカ250、入力ボタンである入力部260、表示部270を備えている。
送話者は、音声通話を行う際に、通常の携帯電話と同様に、入力部260を用いて「電話帳」の機能を呼び出し、この電話帳から通話する相手である受話者を選択して通話を行う。この際、送話者の気分により「気分モード」を選択する。この気分モードの選択は、メッセージを録音してその録音データから判定されたデータを、表示部270の画面を見て選択することができる。
これにより、音声通話時に「気分モード」により、効果音/音楽を選択して再生する気分モード通話処理を行うことができる。この気分モード通話処理については後述する。
送話者は、音声通話を行う際に、通常の携帯電話と同様に、入力部260を用いて「電話帳」の機能を呼び出し、この電話帳から通話する相手である受話者を選択して通話を行う。この際、送話者の気分により「気分モード」を選択する。この気分モードの選択は、メッセージを録音してその録音データから判定されたデータを、表示部270の画面を見て選択することができる。
これにより、音声通話時に「気分モード」により、効果音/音楽を選択して再生する気分モード通話処理を行うことができる。この気分モード通話処理については後述する。
次に、図3のブロック図を参照して、端末20−1の制御構成について説明する。
端末20−1の制御部200は、CPU(Central Processing Unit、中央処理装置)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、専用プロセッサ等を備えている。
制御部200は、記憶部210に記憶されたプログラム、例えば気分モード発生部213を実行し、各種演算を行い、各部を制御する。
記憶部210は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である記憶部位である。また、記憶部210には、WWWブラウザ、Adobe社のFlashビューワー等の各種プログラムや、そのプログラムに関するデータを記憶している。さらに、後述するように、本発明の実施の形態に係るプログラム、データベース、データ等である気分モード発生部213を備えている。
センサ部220(センサ)は、生体センサ、圧力センサ、加速度センサ等の各種センサを用いることができる。生体センサとしては、身体の緊張度を電気抵抗や赤外線透過量等で測定する発汗センサ、赤外線脈拍センサ、血流量センサ、血糖値センサ、温度センサ等の生体センサを用いることができる。また、圧力センサは、圧電素子を用いたセンサ、静電容量センサ等を用いることができる。また、加速度センサとしては、MEMS(Micro Electro Mechanical Systems)を用いた3次元加速度センサ等を用いることができる。これらセンサ部220の情報は、気分モード分析部322により気分モードの分析を行う際に使用する。
カメラ部225は、端末20−1の送話者が自身の顔を撮影する自分撮りをすることが可能なイメージセンサ等のカメラである。カメラ部225は、可視光や赤外線を撮像するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を用いたカメラと、画像変換用ASIC(Application Specific Integrated Circuit)とDSP等を用いて構成できる。カメラ部225は、図2の例によると、表示部270とほぼ同一面に撮像素子を備えており、送話者の顔画像を撮像して、この顔画像のデータや赤外線分布のデータから送話者の感情状態を把握できる。
音声認識部230(音声認識手段)は、DSPや音声認識用の専用プロセッサ等とこのプロセッサで実行するプログラムを備える部位である。音声認識部230は、HMM(隠れマルコフモデル)等の公知のアルゴリズムを使用して、音声信号から単語等を認識する。また、音声認識部230は、声のトーンの変化や話すスピードやピッチの変化等により、音声から送話者の感情状態を認識することもできる。
マイク240は、コンデンサマイク等と他のIC等を備える部位である。マイク240から入力された音声信号は、電気信号に変換され、さらにA/Dコンバータでデジタル信号に変換されて入力される。
スピーカ250は、ダイナミックスピーカやピエゾ素子のスピーカ等である。スピーカ250は、D/A変換された電気信号を音声信号として出力する。
入力部260は、テンキー、カーソルキー(十字キー)、選択ボタン、キャンセルボタン、その他の各種ボタン、タッチパッドやタッチパネル等の入力手段を備えている入力部位である。また、入力部260は、ユーザインターフェイスに係る、その他の入力手段も備えている。たとえば、入力部260は、入力部260のボタンやタッチパネルを用いて送話者が入力した信号を検知して、電気信号に変換する。
表示部270は、液晶ディスプレイや有機ELディスプレイやプラズマディスプレイやプロジェクタ等を備える部位である。表示部270は、制御部200のGPUで描画された画像を表示することができる。なお、表示部270と入力部260とをタッチパネル付きのディスプレイとして、一体的に構成することもできる。
フォースフィードバック部280は、振動モータ(バイブレータ)や電磁アクチュエータやピエゾ素子等である。すなわち、フォースフィードバック部280は、気分モードによる効果音や音楽等に合わせて、振動等による効果を出力する。
RF部290は、ネットワーク5に接続するための部位である。RF部290は、例えば端末20−1が携帯電話の場合は、DSPやRFモジュレータやアンテナ等を備えている。
端末20−1の制御部200は、CPU(Central Processing Unit、中央処理装置)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、専用プロセッサ等を備えている。
制御部200は、記憶部210に記憶されたプログラム、例えば気分モード発生部213を実行し、各種演算を行い、各部を制御する。
記憶部210は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である記憶部位である。また、記憶部210には、WWWブラウザ、Adobe社のFlashビューワー等の各種プログラムや、そのプログラムに関するデータを記憶している。さらに、後述するように、本発明の実施の形態に係るプログラム、データベース、データ等である気分モード発生部213を備えている。
センサ部220(センサ)は、生体センサ、圧力センサ、加速度センサ等の各種センサを用いることができる。生体センサとしては、身体の緊張度を電気抵抗や赤外線透過量等で測定する発汗センサ、赤外線脈拍センサ、血流量センサ、血糖値センサ、温度センサ等の生体センサを用いることができる。また、圧力センサは、圧電素子を用いたセンサ、静電容量センサ等を用いることができる。また、加速度センサとしては、MEMS(Micro Electro Mechanical Systems)を用いた3次元加速度センサ等を用いることができる。これらセンサ部220の情報は、気分モード分析部322により気分モードの分析を行う際に使用する。
カメラ部225は、端末20−1の送話者が自身の顔を撮影する自分撮りをすることが可能なイメージセンサ等のカメラである。カメラ部225は、可視光や赤外線を撮像するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を用いたカメラと、画像変換用ASIC(Application Specific Integrated Circuit)とDSP等を用いて構成できる。カメラ部225は、図2の例によると、表示部270とほぼ同一面に撮像素子を備えており、送話者の顔画像を撮像して、この顔画像のデータや赤外線分布のデータから送話者の感情状態を把握できる。
音声認識部230(音声認識手段)は、DSPや音声認識用の専用プロセッサ等とこのプロセッサで実行するプログラムを備える部位である。音声認識部230は、HMM(隠れマルコフモデル)等の公知のアルゴリズムを使用して、音声信号から単語等を認識する。また、音声認識部230は、声のトーンの変化や話すスピードやピッチの変化等により、音声から送話者の感情状態を認識することもできる。
マイク240は、コンデンサマイク等と他のIC等を備える部位である。マイク240から入力された音声信号は、電気信号に変換され、さらにA/Dコンバータでデジタル信号に変換されて入力される。
スピーカ250は、ダイナミックスピーカやピエゾ素子のスピーカ等である。スピーカ250は、D/A変換された電気信号を音声信号として出力する。
入力部260は、テンキー、カーソルキー(十字キー)、選択ボタン、キャンセルボタン、その他の各種ボタン、タッチパッドやタッチパネル等の入力手段を備えている入力部位である。また、入力部260は、ユーザインターフェイスに係る、その他の入力手段も備えている。たとえば、入力部260は、入力部260のボタンやタッチパネルを用いて送話者が入力した信号を検知して、電気信号に変換する。
表示部270は、液晶ディスプレイや有機ELディスプレイやプラズマディスプレイやプロジェクタ等を備える部位である。表示部270は、制御部200のGPUで描画された画像を表示することができる。なお、表示部270と入力部260とをタッチパネル付きのディスプレイとして、一体的に構成することもできる。
フォースフィードバック部280は、振動モータ(バイブレータ)や電磁アクチュエータやピエゾ素子等である。すなわち、フォースフィードバック部280は、気分モードによる効果音や音楽等に合わせて、振動等による効果を出力する。
RF部290は、ネットワーク5に接続するための部位である。RF部290は、例えば端末20−1が携帯電話の場合は、DSPやRFモジュレータやアンテナ等を備えている。
なお、音声認識部230は、記憶部210に記憶されたプログラムとして制御部200により実行されるようにしてもよい。
また、端末20−1は、この他にもGPS(Global Positioning System)等を備えることもできる。
また、端末20−1は、この他にもGPS(Global Positioning System)等を備えることもできる。
〔気分モード発生部213の構成〕
次に、図4を参照して、端末20−1の記憶部210に記憶された気分モード発生部213の構成について説明する。
気分モード発生部213は、気分モード通話処理に係るプロセス、スレッド、クラス、オブジェクト等を含むプログラムと、リレーショナルデータベースを含む各種のデータを含む部位である。
気分モード発生部213は、主に、気分モード設定部320と、電話帳部330と、録音部340と、メール部350と、通話部360とを含んで構成される。
次に、図4を参照して、端末20−1の記憶部210に記憶された気分モード発生部213の構成について説明する。
気分モード発生部213は、気分モード通話処理に係るプロセス、スレッド、クラス、オブジェクト等を含むプログラムと、リレーショナルデータベースを含む各種のデータを含む部位である。
気分モード発生部213は、主に、気分モード設定部320と、電話帳部330と、録音部340と、メール部350と、通話部360とを含んで構成される。
気分モード設定部320は、端末20−1の送話者の通話相手への通話の処理中に挿入する効果音や音楽を選択するためのプログラムやデータからなる。気分モード設定部320は、気分モード選択部321と、気分モード分析部322と、音楽選択/作曲部324と、気分モード入力部325とを主に含んで構成される。
気分モード選択部321は、気分モード通話処理のメインプログラムである。気分モード選択部321は、気分モード分析部322により分析された送話者の気分モードや気分レベルの値と、気分モード入力部325により送話者の入力を検知した気分モードや気分レベルの値とから、音楽選択/作曲部324により音楽や効果音を出力させる制御を行う。また、気分モード選択部321は、受話者の気分モードや気分レベルを受信して、出力することもできる。
気分モード分析部322は、例えば、ベイジアンネットワーク等の統計処理や、決定木等の人工知能処理、メールからの単語等の抽出のような自然言語処理等を行い、気分モードの値を取得する部位である。
具体的に、気分モード分析部322は、音声認識部230や、マイク240で取得した周囲の音声や、ユーザDB331(ユーザデータベース)やメールDB332や自然言語DBから取得した文字データ及び/又は顔文字のデータや、センサ部220から取得したデータを基に送話者の感情状態を把握し、気分モードの値を演算する。この気分モードとしては、例えば、ヒトの脳内神経伝達物質ドーパミン、ノルアドレナリン、セロトニンのレベルに対応するような、嬉しい(幸福)、怒り、不安(悲しみ)といった感情に合わせた値を設定できる。
さらに、気分モード分析部322は、気分モード通話を行う相手である受話者の気分モードも取得して、気分モードの変化による警告値を出力することもできる。
なお、気分モード分析部322は、通常の通話やメール送信時にも、送話者と受話者の気分モードの値を測定し、ユーザDB331の気分履歴D108に記憶する。
具体的に、気分モード分析部322は、音声認識部230や、マイク240で取得した周囲の音声や、ユーザDB331(ユーザデータベース)やメールDB332や自然言語DBから取得した文字データ及び/又は顔文字のデータや、センサ部220から取得したデータを基に送話者の感情状態を把握し、気分モードの値を演算する。この気分モードとしては、例えば、ヒトの脳内神経伝達物質ドーパミン、ノルアドレナリン、セロトニンのレベルに対応するような、嬉しい(幸福)、怒り、不安(悲しみ)といった感情に合わせた値を設定できる。
さらに、気分モード分析部322は、気分モード通話を行う相手である受話者の気分モードも取得して、気分モードの変化による警告値を出力することもできる。
なお、気分モード分析部322は、通常の通話やメール送信時にも、送話者と受話者の気分モードの値を測定し、ユーザDB331の気分履歴D108に記憶する。
音楽選択/作曲部324は、気分モード通話処理にて出力する効果音や音楽を選択する部位である。音楽選択/作曲部324は、気分モードの値と、マイク240で取得した周囲の音声とを用いて、効果音/音楽DB334から効果音や音楽の楽曲データを取得、自動作曲し、通話音声のデータに付加してスピーカ250から出力させる部位である。
また、音楽選択/作曲部324はこのような効果音や音楽の楽曲データをサーバ40の音楽DB410と、効果音DB420とから選択してダウンロードすることもできる。この際に、音楽選択/作曲部324は、受話者が同一の効果音/音楽の楽曲データを用いるように、他の端末20−2〜20−nにダウンロードするように指示することもできる。
また、音楽選択/作曲部324はこのような効果音や音楽の楽曲データをサーバ40の音楽DB410と、効果音DB420とから選択してダウンロードすることもできる。この際に、音楽選択/作曲部324は、受話者が同一の効果音/音楽の楽曲データを用いるように、他の端末20−2〜20−nにダウンロードするように指示することもできる。
気分モード入力部325は、気分モード通話処理におけるユーザインターフェイスを提供する部位である。具体的に、気分モード入力部325は、気分モード通話時に、入力部260から指示された受話者を、電話帳部330から選択する。
また、気分モード入力部325は、端末20−1の送話者に、通話相手への気分を入力させるためのユーザインターフェイスを提供する。このユーザインターフェイスとしては、画面上にレベルメータ等を表示して、送話者の気分レベルを入力させることができる。このレベルの変更、変化等は、通話中であっても、入力部260から入力を検知することができる。
また、所定の効果音、楽曲データを入力部260の各キー等に対応して設定しておき、送話者の指示でリアルタイムに出力するように気分モード選択部321に指示するよう設定することもできる。
また、気分モード入力部325は、端末20−1の送話者に、通話相手への気分を入力させるためのユーザインターフェイスを提供する。このユーザインターフェイスとしては、画面上にレベルメータ等を表示して、送話者の気分レベルを入力させることができる。このレベルの変更、変化等は、通話中であっても、入力部260から入力を検知することができる。
また、所定の効果音、楽曲データを入力部260の各キー等に対応して設定しておき、送話者の指示でリアルタイムに出力するように気分モード選択部321に指示するよう設定することもできる。
電話帳部330は、送話者の連絡先及び受話者の連絡先、メールのデータ等を記憶するデータである。電話帳部330は、ユーザDB331と、メールDB332と、自然言語DB333と、効果音/音楽DB334とを含んで構成される。
ユーザDB331は、送話者及び受話者の電話番号、メールアドレス、気分モード通話処理に必要な各種データ等を備えたデータベースである。このユーザDB331のデータ構造については後述する。なお、ユーザDB331には、必ずしも気分モード通話機能をもつ端末20−1〜20−nではない音声通話のみ可能な端末をもつ受話者のデータを記憶することもできる。この場合は、後述するように同じ効果音/音楽をダウンロードさせるといった機能は使用しない。
メールDB332は、受話者から受信したり、送話者が送信したりしたメールのデータを記憶するデータベースである。本実施形態において、「メール」は、インターネットの電子メール以外にも、例えば、ショートメッセージ、チャット、ミニブログ等のユーザ間のコミュニケーションに係る主に文字と絵文字等を含むデータを用いる。また、メールDB332は、通話、録音した音声データを音声認識部230により音声認識した文字等のデータも記憶することができる。
自然言語DB333は、気分モードに係る各種キーワード、文脈上のコンテキスト、単語の出現頻度の統計値等を記憶するデータベースである。
効果音/音楽DB334は、気分モードに係る効果音のデータ、ダウンロードした音楽の楽曲データ、自動作曲のための音素片やコード進行等の楽曲データ等を記憶するデータベースである。
ユーザDB331は、送話者及び受話者の電話番号、メールアドレス、気分モード通話処理に必要な各種データ等を備えたデータベースである。このユーザDB331のデータ構造については後述する。なお、ユーザDB331には、必ずしも気分モード通話機能をもつ端末20−1〜20−nではない音声通話のみ可能な端末をもつ受話者のデータを記憶することもできる。この場合は、後述するように同じ効果音/音楽をダウンロードさせるといった機能は使用しない。
メールDB332は、受話者から受信したり、送話者が送信したりしたメールのデータを記憶するデータベースである。本実施形態において、「メール」は、インターネットの電子メール以外にも、例えば、ショートメッセージ、チャット、ミニブログ等のユーザ間のコミュニケーションに係る主に文字と絵文字等を含むデータを用いる。また、メールDB332は、通話、録音した音声データを音声認識部230により音声認識した文字等のデータも記憶することができる。
自然言語DB333は、気分モードに係る各種キーワード、文脈上のコンテキスト、単語の出現頻度の統計値等を記憶するデータベースである。
効果音/音楽DB334は、気分モードに係る効果音のデータ、ダウンロードした音楽の楽曲データ、自動作曲のための音素片やコード進行等の楽曲データ等を記憶するデータベースである。
録音部340は、気分モード通話処理において、会話を録音するための部位である。録音部340は、マイク240から入力された音声データを、必要な帯域に圧縮して、録音DB341に記憶することで録音を行う。録音部340は、気分モード通話処理において、気分モードを設定する際に通話前に短いメッセージを録音することができる。また、所定の受話者との会話をすべて録音することもできる。さらに、会話を行った全ての受話者との会話を録音することもできる。
録音DB341は、公知の音声圧縮のコーデック等を用いて圧縮された録音データを記憶するデータベースである。この録音データには、録音時間、受話者のユーザ名、GPSから取得した録音場所等のデータを加えて保存することもできる。
録音DB341は、公知の音声圧縮のコーデック等を用いて圧縮された録音データを記憶するデータベースである。この録音データには、録音時間、受話者のユーザ名、GPSから取得した録音場所等のデータを加えて保存することもできる。
メール部350は、メールの送受信を行うためのメールクライアントやウェブブラウザ等のプログラムである。このメールは、上述のような他のコミュニケーションのツールを含む。また、メール部350は、ユーザDB331とメールDB332から、所定の検索条件により必要なメールのデータを検索できる。
通話部360は、気分モード通話処理において、選択された効果音や音楽の楽曲データを音声データに変換し、マイク240からのデータに付加して出力する部位である。この際、周囲の雑音レベルに合わせて効果音や音楽の楽曲データの音量や音程等を適宜変更可能である。
〔サーバ40の構成〕
次に、図5を参照して、サーバ40の制御構成について説明する。
サーバ40は、PC/AT互換機を用いた複数のPCサーバや汎用機等であり、CPU等の制御手段、RAMやHDD等の記憶手段、ネットワーク5との間でデータを送受信可能なネットワーク接続手段を備えている。
サーバ40は、端末20−1〜20−nから気分モード通話処理を行う際にアクセスできる。また、サーバ40は、端末20−1〜20−nにて、ユーザ間で効果音や音楽の楽曲データを売買や交換する際のサービスを提供することもできる。
このために、サーバ40は、機能的なブロックとして、音楽DB410、効果音DB420、メールサーバ部430、ASP部440を含んで構成される。
音楽DB410は、気分モード通話処理において用いられる音楽の楽曲データ、端末20−1〜20−nにて作曲された音楽の楽曲データ、ダウンロード販売される音楽の音声データ等を記憶するデータベースである。
効果音DB420は、気分モード通話処理において用いられる効果音の音声データを記憶しているデータベースである。また、効果音DB420は、録音されたり通話されたりした際の怒鳴り声、笑い声、鳴き声等を記憶することもできる。
メールサーバ部430は、端末20−1〜20−nからのメールを、送信先の端末20−1〜20−nに対して送信し、受信するサーバである。このメールサーバ部430は、気分モード通話処理において、音声通話時に音声認識されたデータを入力してメールとして送信することもできる。また、音声通話時に、音声と効果音/音楽が挿入されるタイミングを取得して、端末20−1〜20−nに送信することもできる。
ASP部440は、ASP(Application Service Provider)のサーバである。ASP部440は、端末20−1〜20−nから気分モード通話処理に係る音楽の音声データを販売したり、音楽DB410、効果音DB420からのデータの販売を行うことができる。
次に、図5を参照して、サーバ40の制御構成について説明する。
サーバ40は、PC/AT互換機を用いた複数のPCサーバや汎用機等であり、CPU等の制御手段、RAMやHDD等の記憶手段、ネットワーク5との間でデータを送受信可能なネットワーク接続手段を備えている。
サーバ40は、端末20−1〜20−nから気分モード通話処理を行う際にアクセスできる。また、サーバ40は、端末20−1〜20−nにて、ユーザ間で効果音や音楽の楽曲データを売買や交換する際のサービスを提供することもできる。
このために、サーバ40は、機能的なブロックとして、音楽DB410、効果音DB420、メールサーバ部430、ASP部440を含んで構成される。
音楽DB410は、気分モード通話処理において用いられる音楽の楽曲データ、端末20−1〜20−nにて作曲された音楽の楽曲データ、ダウンロード販売される音楽の音声データ等を記憶するデータベースである。
効果音DB420は、気分モード通話処理において用いられる効果音の音声データを記憶しているデータベースである。また、効果音DB420は、録音されたり通話されたりした際の怒鳴り声、笑い声、鳴き声等を記憶することもできる。
メールサーバ部430は、端末20−1〜20−nからのメールを、送信先の端末20−1〜20−nに対して送信し、受信するサーバである。このメールサーバ部430は、気分モード通話処理において、音声通話時に音声認識されたデータを入力してメールとして送信することもできる。また、音声通話時に、音声と効果音/音楽が挿入されるタイミングを取得して、端末20−1〜20−nに送信することもできる。
ASP部440は、ASP(Application Service Provider)のサーバである。ASP部440は、端末20−1〜20−nから気分モード通話処理に係る音楽の音声データを販売したり、音楽DB410、効果音DB420からのデータの販売を行うことができる。
〔ユーザDB331の構成〕
次に、図6を参照して、ユーザDB331の主な属性について説明する。ユーザDB331は、送話者、受話者の各ユーザにおいて、例えば、電話番号D101〜気分履歴D108のようなデータを含んで構成される。
電話番号D101は、そのユーザの電話番号等の属性を示すデータである。
名前D102は、そのユーザの名前やハンドルネーム等の属性を示すデータである。
メールアドレスD103は、そのユーザのメールアドレスやアカウントやパスワード等の属性を示すデータである。
住所等D104は、そのユーザの住所等の属性を示すデータである。
関係D105は、そのユーザと関係の属性を示すデータである。具体的には、自分(送話者の場合)、家族、親戚、友人、会社の同僚、上司、部下といった関係を、所定の属性から選択して設定可能である。その際に、そのユーザに対しての「親密度」の値を設定可能である。
気分モード設定D106は、そのユーザが気分モード通話処理を行う際の条件を設定するデータである。すなわち、気分モード設定D106には、気分モード通話処理を行うことができるか否かの所定の条件の属性を示すデータを記憶する。具体的に、友人や家族の場合には、無条件で気分モード通話処理を行ったり、部下に対しては選択した場合だけで気分モード通話処理を行ったりするように設定できる。また、気分モード設定D106には、そのユーザ用に設定された気分レベルの値や、入力部260に各キーに割り付けられた効果音/音楽等の設定を記憶可能である。
気分レベルD107は、そのユーザの「気分レベル」と「気分レベルの範囲」の属性を示すデータである。具体的には、気分モード分析部322が分析した時点での気分モードの値の大きさを、「気分レベル」として記憶する。また、気分モードに対する上述の条件の設定にて、会社の部下に対して、「気分レベルの範囲」として、選択できる気分レベルの上限と下限を設定する。これにより、気分モード通話処理において失礼な効果音が付加されるのを防ぐことができる。
気分履歴D108は、そのユーザの気分履歴の属性を示すデータである。具体的に気分履歴D108には、そのユーザと気分モード通話をした際のそのユーザ及び端末20−1のユーザの気分モードの値の変化を記憶する。さらに、気分履歴D108は、気分モード通話処理以外の通常のメールの送受信や通話時においても、ユーザの気分モードの値の変化を記憶することができる。
効果音音楽履歴D109は、そのユーザの効果音音楽履歴の属性を示すデータである。そのユーザと気分モード通話をした際のそのユーザ及び端末20−1〜20−nで使用した効果音や自動作曲した音楽の楽曲データのID(Identification)を記憶する。
次に、図6を参照して、ユーザDB331の主な属性について説明する。ユーザDB331は、送話者、受話者の各ユーザにおいて、例えば、電話番号D101〜気分履歴D108のようなデータを含んで構成される。
電話番号D101は、そのユーザの電話番号等の属性を示すデータである。
名前D102は、そのユーザの名前やハンドルネーム等の属性を示すデータである。
メールアドレスD103は、そのユーザのメールアドレスやアカウントやパスワード等の属性を示すデータである。
住所等D104は、そのユーザの住所等の属性を示すデータである。
関係D105は、そのユーザと関係の属性を示すデータである。具体的には、自分(送話者の場合)、家族、親戚、友人、会社の同僚、上司、部下といった関係を、所定の属性から選択して設定可能である。その際に、そのユーザに対しての「親密度」の値を設定可能である。
気分モード設定D106は、そのユーザが気分モード通話処理を行う際の条件を設定するデータである。すなわち、気分モード設定D106には、気分モード通話処理を行うことができるか否かの所定の条件の属性を示すデータを記憶する。具体的に、友人や家族の場合には、無条件で気分モード通話処理を行ったり、部下に対しては選択した場合だけで気分モード通話処理を行ったりするように設定できる。また、気分モード設定D106には、そのユーザ用に設定された気分レベルの値や、入力部260に各キーに割り付けられた効果音/音楽等の設定を記憶可能である。
気分レベルD107は、そのユーザの「気分レベル」と「気分レベルの範囲」の属性を示すデータである。具体的には、気分モード分析部322が分析した時点での気分モードの値の大きさを、「気分レベル」として記憶する。また、気分モードに対する上述の条件の設定にて、会社の部下に対して、「気分レベルの範囲」として、選択できる気分レベルの上限と下限を設定する。これにより、気分モード通話処理において失礼な効果音が付加されるのを防ぐことができる。
気分履歴D108は、そのユーザの気分履歴の属性を示すデータである。具体的に気分履歴D108には、そのユーザと気分モード通話をした際のそのユーザ及び端末20−1のユーザの気分モードの値の変化を記憶する。さらに、気分履歴D108は、気分モード通話処理以外の通常のメールの送受信や通話時においても、ユーザの気分モードの値の変化を記憶することができる。
効果音音楽履歴D109は、そのユーザの効果音音楽履歴の属性を示すデータである。そのユーザと気分モード通話をした際のそのユーザ及び端末20−1〜20−nで使用した効果音や自動作曲した音楽の楽曲データのID(Identification)を記憶する。
〔気分モード通話処理〕
次に図7〜図9を参照して、本発明の実施の形態に係る端末20−1が実行する気分モード通話処理について説明する。
本発明の実施の形態に係る気分モード通話処理においては、まず、端末20−1のユーザである送話者が感情表現のために音声を録音する。また、マイク240で背景音を取得して、周囲の雰囲気を取得する。
これにより、受話者に対応する気分モードを設定して、通話時に気分モードに対応する効果音/音声を通話に付加して再生することができる。なお、受話者により、気分モードの設定を変更することもできる。さらに、通話中に、送話者の操作により、気分モードを変更することもできる。
以下では、端末20−1のユーザ(送話者)と端末20−2のユーザ(受話者)の間ででの気分モード通話処理について、図7のフローチャートを参照して各ステップについて詳細に説明する。
下記の処理においては、端末20−1の制御部200が、記憶部210に記憶された気分モード発生部213の各機能を、ハードウェア資源を用いて実行して、各処理を行う。
次に図7〜図9を参照して、本発明の実施の形態に係る端末20−1が実行する気分モード通話処理について説明する。
本発明の実施の形態に係る気分モード通話処理においては、まず、端末20−1のユーザである送話者が感情表現のために音声を録音する。また、マイク240で背景音を取得して、周囲の雰囲気を取得する。
これにより、受話者に対応する気分モードを設定して、通話時に気分モードに対応する効果音/音声を通話に付加して再生することができる。なお、受話者により、気分モードの設定を変更することもできる。さらに、通話中に、送話者の操作により、気分モードを変更することもできる。
以下では、端末20−1のユーザ(送話者)と端末20−2のユーザ(受話者)の間ででの気分モード通話処理について、図7のフローチャートを参照して各ステップについて詳細に説明する。
下記の処理においては、端末20−1の制御部200が、記憶部210に記憶された気分モード発生部213の各機能を、ハードウェア資源を用いて実行して、各処理を行う。
(ステップS101)
まず、制御部200は、気分モード入力部325を用いて電話帳選択処理を行う。
図8を参照して説明すると、送話者により入力部260の通話ボタン等による通話指示を検知した場合、制御部200は、気分モード入力部325により、電話帳や電話番号の入力画面を、表示部270に表示させる。
具体的には、制御部200は、電話帳部330のユーザDB331の受話者のデータを所定の処理により表示部270に表示する。
この際、制御部200は、気分モード入力部325により、名前D102、その受話者との関係D105を表示する。また、制御部200は、気分履歴D108により、その受話者に対する以前の通話やメールの際に分析された気分モードをアイコン等で表示する。その上で、制御部200は、その受話者に対する気分モード設定D106を参照して、例えば星マークをアイコンの横に表示して、気分モード通話が可能である受話者であることを表示する。なお、この電話帳画面では、各種の条件を設定して、受話者の検索等も行うことができ、また、通話履歴から返信等の処理を行うこともできる。
送話者が電話帳から通話する受話者を選択したことを検知して、制御部200は、処理をステップS102に進める。
まず、制御部200は、気分モード入力部325を用いて電話帳選択処理を行う。
図8を参照して説明すると、送話者により入力部260の通話ボタン等による通話指示を検知した場合、制御部200は、気分モード入力部325により、電話帳や電話番号の入力画面を、表示部270に表示させる。
具体的には、制御部200は、電話帳部330のユーザDB331の受話者のデータを所定の処理により表示部270に表示する。
この際、制御部200は、気分モード入力部325により、名前D102、その受話者との関係D105を表示する。また、制御部200は、気分履歴D108により、その受話者に対する以前の通話やメールの際に分析された気分モードをアイコン等で表示する。その上で、制御部200は、その受話者に対する気分モード設定D106を参照して、例えば星マークをアイコンの横に表示して、気分モード通話が可能である受話者であることを表示する。なお、この電話帳画面では、各種の条件を設定して、受話者の検索等も行うことができ、また、通話履歴から返信等の処理を行うこともできる。
送話者が電話帳から通話する受話者を選択したことを検知して、制御部200は、処理をステップS102に進める。
(ステップS102)
次に、制御部200は、気分モード入力部325を用いて、気分モード通話選択処理を行う。
具体的には、制御部200は、選択された受話者の気分モード設定D106が気分モード通話を行う設定になっている場合、気分モード通話を行うように記憶部210に設定する。この際、制御部200は、「気分モード通話を行いますか?」といったダイアログ表示を表示部270にして送話者の確認を行うこともできる。
さらに、制御部200は、所定の入力部260のキーと気分モードに係る効果音/音楽を関連づけて、ユーザDB331の受話者の気分モード設定D106に記憶することもできる。
加えて、制御部200は、気分モードの変化や、気分レベルが所定値以上/以下になった際に自動的に気分モード通話をおこなうように設定することもできる。
次に、制御部200は、気分モード入力部325を用いて、気分モード通話選択処理を行う。
具体的には、制御部200は、選択された受話者の気分モード設定D106が気分モード通話を行う設定になっている場合、気分モード通話を行うように記憶部210に設定する。この際、制御部200は、「気分モード通話を行いますか?」といったダイアログ表示を表示部270にして送話者の確認を行うこともできる。
さらに、制御部200は、所定の入力部260のキーと気分モードに係る効果音/音楽を関連づけて、ユーザDB331の受話者の気分モード設定D106に記憶することもできる。
加えて、制御部200は、気分モードの変化や、気分レベルが所定値以上/以下になった際に自動的に気分モード通話をおこなうように設定することもできる。
(ステップS103)
次に、制御部200は、上述のステップS102にて、気分モード通話を行うか否か判定する。
Yesの場合、制御部200は、処理をステップS104に進める。
Noの場合、制御部200は、処理をステップS109に進めて、気分モードを用いない通常の通話処理を行う。
次に、制御部200は、上述のステップS102にて、気分モード通話を行うか否か判定する。
Yesの場合、制御部200は、処理をステップS104に進める。
Noの場合、制御部200は、処理をステップS109に進めて、気分モードを用いない通常の通話処理を行う。
(ステップS104)
送話者が気分モード通話を行うと選択した場合、制御部200は、送話者が通話を行う前に録音をするか否か判定する。この判断の際も、制御部200は「気分モード判定の録音を行いますか?」といったダイアログ表示を表示部270にして送話者の確認を行うこともできる。
Yesの場合、制御部200は、処理をステップS105に進める。
Noの場合、制御部200は、処理をステップS106に進める。
送話者が気分モード通話を行うと選択した場合、制御部200は、送話者が通話を行う前に録音をするか否か判定する。この判断の際も、制御部200は「気分モード判定の録音を行いますか?」といったダイアログ表示を表示部270にして送話者の確認を行うこともできる。
Yesの場合、制御部200は、処理をステップS105に進める。
Noの場合、制御部200は、処理をステップS106に進める。
(ステップS105)
送話者が録音を行う場合、制御部200は、録音部340を用いて録音処理を行う。
この録音は、録音した音声から現在の送話者の気分モードを判定するために行う。具体的には、制御部200は、表示部270に「ショートメッセージを録音してください」という表示を行って送話者に録音を促す。そして、制御部200は、数秒程度の音声をマイク240から取得し、録音DB341に気分モード判定用音声データとして記憶する。このデータは、下記の気分モード分析処理に用いることができる。
なお、既に気分モード通話を行っている場合、制御部200は、マイク240から入力した音声を所定の時間間隔(ウィンドウ)で区切って、録音DB341に気分モード判定用音声データとして記憶する。
送話者が録音を行う場合、制御部200は、録音部340を用いて録音処理を行う。
この録音は、録音した音声から現在の送話者の気分モードを判定するために行う。具体的には、制御部200は、表示部270に「ショートメッセージを録音してください」という表示を行って送話者に録音を促す。そして、制御部200は、数秒程度の音声をマイク240から取得し、録音DB341に気分モード判定用音声データとして記憶する。このデータは、下記の気分モード分析処理に用いることができる。
なお、既に気分モード通話を行っている場合、制御部200は、マイク240から入力した音声を所定の時間間隔(ウィンドウ)で区切って、録音DB341に気分モード判定用音声データとして記憶する。
(ステップS106)
次に、制御部200は、気分モード分析部322を用いて、気分モード分析処理を行う。
この処理において、制御部200は、センサ部220の各種センサやカメラ部225からの情報、気分モード判定用音声データの情報、選択された受話者へ送受信したメールの情報等から、気分モードの分析を行う。
次に、制御部200は、気分モード分析部322を用いて、気分モード分析処理を行う。
この処理において、制御部200は、センサ部220の各種センサやカメラ部225からの情報、気分モード判定用音声データの情報、選択された受話者へ送受信したメールの情報等から、気分モードの分析を行う。
具体的には、制御部200は、センサ部220の生体センサにより、送話者の発汗量、脈拍、血流量、血糖値の変化、体温の変化等のデータを用いて、送話者の感情状態を演算することができる。たとえば、脈拍が高いと緊張している、すなわち「怒り」の状態であると演算することができる。このような生体センサのデータからの感情状態の演算は、公知の演算式を用いることができる。
また、制御部200は、センサ部220の圧力センサにより、送話者が端末20−1を握る力を測定することができる。これにより、例えば、握る力が強くなると「怒り」や「嬉しさ」の感情状態であると演算し、握る力が弱くなると「悲しみ」の感情状態であると演算できる。
また、制御部200は、センサ部220の3次元の加速度センサのデータより、端末20−1の傾きや送話者の移動のような加速度変化を検知することができる。これにより、例えば、送話者が端末20−1を揺すっている、足を揺らしている、早く/遅く歩いている等の状態を検知できる。そして、検知した状態を所定の関数に当てはめることで、送話者が端末20−1で通話する際の感情状態を演算することができる。たとえば、小刻みな振動が多く検出された場合「怒り」の感情状態であると演算することができる。
また、制御部200は、カメラ部225にて自分撮りされた送話者の顔画像のデータから、表情認識を行ったり、顔温度分布を把握したりして、感情状態を演算することができる。
また、制御部200は、センサ部220の圧力センサにより、送話者が端末20−1を握る力を測定することができる。これにより、例えば、握る力が強くなると「怒り」や「嬉しさ」の感情状態であると演算し、握る力が弱くなると「悲しみ」の感情状態であると演算できる。
また、制御部200は、センサ部220の3次元の加速度センサのデータより、端末20−1の傾きや送話者の移動のような加速度変化を検知することができる。これにより、例えば、送話者が端末20−1を揺すっている、足を揺らしている、早く/遅く歩いている等の状態を検知できる。そして、検知した状態を所定の関数に当てはめることで、送話者が端末20−1で通話する際の感情状態を演算することができる。たとえば、小刻みな振動が多く検出された場合「怒り」の感情状態であると演算することができる。
また、制御部200は、カメラ部225にて自分撮りされた送話者の顔画像のデータから、表情認識を行ったり、顔温度分布を把握したりして、感情状態を演算することができる。
また、制御部200は、録音DB341の気分モード判定用音声データを、音声認識部230にて音声認識し言語データを作成する。さらに、制御部200は、送話者と受話者との間のメールの文字情報をメールDB33から読み出す。
この上で、制御部200は、気分モード分析部322を用いて、言語データとメールの文字データについて自然言語処理により分析する。具体的に、制御部200は、自然言語DB333を用いて、感情に係るキーワードやコーパスを基に、統計的な文脈解析等を用いて、送話者の現在の感情状態と感情状態の変化とを演算する。
さらに、制御部200は、直前に送信したメールの顔文字や絵文字を用いて、感情状態を演算することもできる。例えば、「怒り」の絵文字や顔文字を用いていた場合、気分モードを「怒りモード」と設定可能である。
加えて、制御部200は、音声認識部230にて、感情状態のデータを取得することもできる。
この上で、制御部200は、気分モード分析部322を用いて、言語データとメールの文字データについて自然言語処理により分析する。具体的に、制御部200は、自然言語DB333を用いて、感情に係るキーワードやコーパスを基に、統計的な文脈解析等を用いて、送話者の現在の感情状態と感情状態の変化とを演算する。
さらに、制御部200は、直前に送信したメールの顔文字や絵文字を用いて、感情状態を演算することもできる。例えば、「怒り」の絵文字や顔文字を用いていた場合、気分モードを「怒りモード」と設定可能である。
加えて、制御部200は、音声認識部230にて、感情状態のデータを取得することもできる。
制御部200は、これらの感情状態、感情状態の変化の値から、気分モードの値と気分レベルの値を算出する。
制御部200は、算出した気分モードの値と気分レベルの値を、気分レベルD107と気分履歴D108とに記憶する。
また、制御部200は、マイク240からリアルタイムで音声を入力して、周囲の雑音レベルを取得する。この際、制御部200は、入力した音声について、常に音声認識部230を用いて周囲の状況、例えば、雑踏の中であるか、店の中か、静かな部屋かといった情報を得て、これも気分モードや気分レベルの分析に用いることができる。
制御部200は、算出した気分モードの値と気分レベルの値を、気分レベルD107と気分履歴D108とに記憶する。
また、制御部200は、マイク240からリアルタイムで音声を入力して、周囲の雑音レベルを取得する。この際、制御部200は、入力した音声について、常に音声認識部230を用いて周囲の状況、例えば、雑踏の中であるか、店の中か、静かな部屋かといった情報を得て、これも気分モードや気分レベルの分析に用いることができる。
(ステップS107)
次に、制御部200は、気分モード入力部325を用いて、気分モード選択処理を行う。
ここで、図9の表示部270に表示された画面例を参照して、この気分モード選択処理について説明する。制御部200は、例えば、算出された値を基に、表示欄600に、受話者の情報と気分モードとを描画し、表示欄610に気分レベルを描画する。この際、気分モード名については、アイコンを用いて視覚的に描画することができる。また、気分レベルについては、レベルメータ形式で感情状態を数段階程度に変換して描画可能である。
送話者は、この気分モードと気分レベルとを、入力部260のボタン操作等により変更することができる。
入力部260にタッチパネルを用いる場合、例えば、制御部200は、表示欄600をタッチされたことを検出して気分モードを変更可能である。
また、例えば、制御部200は、ボタン620やボタン630のタッチを検出して、気分レベルの値を変化させることもできる。制御部200は、この変更された気分レベルの値を基に、表示欄610に気分レベルを描画可能である。
これにより、送話者は、この算出された気分モードと気分レベルとを、通話前や通話時に閲覧してチェックすることができる。よって、意図した気分モードと気分レベルの効果音/音楽を加えた気分モード通話を行うことができる。また、送話者は、自分の気分モードと気分レベルを知ることで、感情をコントロールして理性的に、又は楽しく会話することができるという効果も得られる。
さらに、算出された気分モードや気分レベルと異なる気分モードや気分レベルをユーザが選択して気分モード通話を行うことで、例えば「(送話者が)怒っているのに楽しい効果音が流れる」といった、気分を和ませられるような会話が可能となる。
次に、制御部200は、気分モード入力部325を用いて、気分モード選択処理を行う。
ここで、図9の表示部270に表示された画面例を参照して、この気分モード選択処理について説明する。制御部200は、例えば、算出された値を基に、表示欄600に、受話者の情報と気分モードとを描画し、表示欄610に気分レベルを描画する。この際、気分モード名については、アイコンを用いて視覚的に描画することができる。また、気分レベルについては、レベルメータ形式で感情状態を数段階程度に変換して描画可能である。
送話者は、この気分モードと気分レベルとを、入力部260のボタン操作等により変更することができる。
入力部260にタッチパネルを用いる場合、例えば、制御部200は、表示欄600をタッチされたことを検出して気分モードを変更可能である。
また、例えば、制御部200は、ボタン620やボタン630のタッチを検出して、気分レベルの値を変化させることもできる。制御部200は、この変更された気分レベルの値を基に、表示欄610に気分レベルを描画可能である。
これにより、送話者は、この算出された気分モードと気分レベルとを、通話前や通話時に閲覧してチェックすることができる。よって、意図した気分モードと気分レベルの効果音/音楽を加えた気分モード通話を行うことができる。また、送話者は、自分の気分モードと気分レベルを知ることで、感情をコントロールして理性的に、又は楽しく会話することができるという効果も得られる。
さらに、算出された気分モードや気分レベルと異なる気分モードや気分レベルをユーザが選択して気分モード通話を行うことで、例えば「(送話者が)怒っているのに楽しい効果音が流れる」といった、気分を和ませられるような会話が可能となる。
(ステップS108)
次に、制御部200は、音楽選択/作曲部324を用いて、効果音/音楽選択処理を行う。
具体的には、制御部200は、算出されて選択された気分モードや気分レベルに従って、効果音/音楽DB334から、適切な効果音を取得し、音楽の楽曲データを取得又は作曲する。
より具体的には、制御部200は、音楽選択/作曲部324を用いて、各気分モードの値と、気分レベルの値に合わせて効果音/音楽を選択する。たとえば、制御部200は、気分モードが嬉しいモードの時は、ベルの音やファンファーレ等、怒りモードの時は太鼓の音や雷の音等、不安モードの時は単純な機械音や低周波の音等の効果音/音楽等を選択する。また、制御部200は、同じ怒りモードであっても、気分レベルが低い際には太鼓の音、高い場合には驚かせるような雷の音といった具合に、気分レベルの値に応じての効果音/音楽を選択できる。
さらに、制御部200は、音楽選択/作曲部324を用いて、送話者のダウンロードした楽曲等の好みのジャンルの傾向に合わせて自動作曲を行うことも可能である。たとえば、制御部200は、嬉しいモードの時はリズミカルで長調の曲、怒りモードの時は低音を多く用いた不安感を与える不協和音を用いた曲、不安モードの時は短調や離散和音を用いた曲等のコード進行を選択して、各気分モードの値のレベルに合わせて楽曲データを作曲可能である。
また、制御部200は、音楽選択/作曲部324を用いて、サーバ40の音楽DB410と、効果音DB420とから、効果音や音楽の楽曲データのIDを選択してダウンロードすることもできる。
なお、制御部200は、GPSを備える端末の場合には、端末20−1又は20−2のGPSの位置に合わせた効果音/音楽を選択することができる。たとえば、遊園地にいる場合には、その遊園地のテーマソングを音楽として選択し、その遊園地のキャラクタの音声を効果音として設定することができる。
次に、制御部200は、音楽選択/作曲部324を用いて、効果音/音楽選択処理を行う。
具体的には、制御部200は、算出されて選択された気分モードや気分レベルに従って、効果音/音楽DB334から、適切な効果音を取得し、音楽の楽曲データを取得又は作曲する。
より具体的には、制御部200は、音楽選択/作曲部324を用いて、各気分モードの値と、気分レベルの値に合わせて効果音/音楽を選択する。たとえば、制御部200は、気分モードが嬉しいモードの時は、ベルの音やファンファーレ等、怒りモードの時は太鼓の音や雷の音等、不安モードの時は単純な機械音や低周波の音等の効果音/音楽等を選択する。また、制御部200は、同じ怒りモードであっても、気分レベルが低い際には太鼓の音、高い場合には驚かせるような雷の音といった具合に、気分レベルの値に応じての効果音/音楽を選択できる。
さらに、制御部200は、音楽選択/作曲部324を用いて、送話者のダウンロードした楽曲等の好みのジャンルの傾向に合わせて自動作曲を行うことも可能である。たとえば、制御部200は、嬉しいモードの時はリズミカルで長調の曲、怒りモードの時は低音を多く用いた不安感を与える不協和音を用いた曲、不安モードの時は短調や離散和音を用いた曲等のコード進行を選択して、各気分モードの値のレベルに合わせて楽曲データを作曲可能である。
また、制御部200は、音楽選択/作曲部324を用いて、サーバ40の音楽DB410と、効果音DB420とから、効果音や音楽の楽曲データのIDを選択してダウンロードすることもできる。
なお、制御部200は、GPSを備える端末の場合には、端末20−1又は20−2のGPSの位置に合わせた効果音/音楽を選択することができる。たとえば、遊園地にいる場合には、その遊園地のテーマソングを音楽として選択し、その遊園地のキャラクタの音声を効果音として設定することができる。
また、制御部200は、これらの効果音/音楽を、入力部260に関連づけられるように設定することもできる。制御部200は、この関連付けの設定をユーザDB331の気分モード設定D106に記憶する。これにより、制御部200は、所定のキーが押されたり、タッチパネルの場合は所定のサイン入力が行われたことを検知して、設定付けられた効果音/音楽を通話の際に再生することができる。
また、制御部200は、選択された効果音や音楽の楽曲を表示部270に表示して、気分モード入力部325により、送話者に効果音/音楽と入力部260の関連付けを自由に選択させて設定するユーザインターフェイスを提供することもできる。
この際、送話者により、例えば、効果音の場合は選択された気分レベルと、その上下の気分レベルに対応する効果音/音楽を、例えば、並んだキーに設定することができる。
また、制御部200は、選択された効果音や音楽の楽曲を表示部270に表示して、気分モード入力部325により、送話者に効果音/音楽と入力部260の関連付けを自由に選択させて設定するユーザインターフェイスを提供することもできる。
この際、送話者により、例えば、効果音の場合は選択された気分レベルと、その上下の気分レベルに対応する効果音/音楽を、例えば、並んだキーに設定することができる。
(ステップS109)
制御部200は、気分モード選択部321を用いて、通話処理を行う。
具体的には、気分モード通話ではなく、上述のような効果音/音楽が選択されていない場合、気分モード選択部321は、通常の通話処理を行う。具体的には、制御部200は、マイク240からの送話者の話す音声をデータ化して端末20−2に送信し、逆に、端末20−2の受話者からの音声データをスピーカ250にて再生する。また、受話者、送話者の音声データについて、音声認識部230を用いて音声認識も行う。
制御部200は、気分モード選択部321を用いて、通話処理を行う。
具体的には、気分モード通話ではなく、上述のような効果音/音楽が選択されていない場合、気分モード選択部321は、通常の通話処理を行う。具体的には、制御部200は、マイク240からの送話者の話す音声をデータ化して端末20−2に送信し、逆に、端末20−2の受話者からの音声データをスピーカ250にて再生する。また、受話者、送話者の音声データについて、音声認識部230を用いて音声認識も行う。
この上で、効果音/音楽が選択されている場合には、制御部200は、適切なタイミングでマイク240からの通話音声のデータに、効果音/音楽を挿入する。
たとえば、制御部200は、選択され効果音/音楽を、受話者の電話番号等をコールして通話が成立した直後に挿入することができる。また、例えば、制御部200は、入力部260に関連付けられたボタンの押下やタッチのサインを検出して、効果音/音楽を挿入することができる。
また、制御部200は、会話時、マイク240からの送話者の話す言葉や、受話者の言葉から所定のキーワードを音声認識部230にて検出した際に、選択された効果音/音楽を挿入することもできる。
また、制御部200は、音声認識部230にて、会話の無音状態を検知した際に、効果音/音楽を挿入することもできる。これにより、会話が気まずくなった場合等に、効果的である。
また、制御部200は、気分モードや気分レベルが変化した際に、この変化に対応して選択された効果音/音楽を挿入することができる。これにより、送話者は、感情状態の変化を把握可能になる。
たとえば、制御部200は、選択され効果音/音楽を、受話者の電話番号等をコールして通話が成立した直後に挿入することができる。また、例えば、制御部200は、入力部260に関連付けられたボタンの押下やタッチのサインを検出して、効果音/音楽を挿入することができる。
また、制御部200は、会話時、マイク240からの送話者の話す言葉や、受話者の言葉から所定のキーワードを音声認識部230にて検出した際に、選択された効果音/音楽を挿入することもできる。
また、制御部200は、音声認識部230にて、会話の無音状態を検知した際に、効果音/音楽を挿入することもできる。これにより、会話が気まずくなった場合等に、効果的である。
また、制御部200は、気分モードや気分レベルが変化した際に、この変化に対応して選択された効果音/音楽を挿入することができる。これにより、送話者は、感情状態の変化を把握可能になる。
なお、音楽を挿入する場合には、制御部200は、楽曲データの場合には、PCM(Pulse Code Modulation)音源やFM(Frequency Modulation)音源や物理モデル音源等のシンセサイザを用いて演奏した音声データを作成し、これを挿入する。
これらの効果音や音楽の挿入の際には、周囲の雑音レベルや、会話時の平均音声の音量を用いて、効果的な音量で挿入する。たとえば、雑踏で気分モード通話を行っている際には大きめの音量で、静かな部屋で通話を行っている際には小さめの音量で効果音/音楽を挿入することができる。また、逆に、静かな音量で会話している際に、いきなり大きな効果音を再生して、送話者と受話者とを驚かせて、会話の流れを変化させるような構成も可能である。さらに、周囲の逆位相の音を挿入して、ノイズキャンセリングを同時に行うことも可能である。
これらの効果音や音楽の挿入の際には、周囲の雑音レベルや、会話時の平均音声の音量を用いて、効果的な音量で挿入する。たとえば、雑踏で気分モード通話を行っている際には大きめの音量で、静かな部屋で通話を行っている際には小さめの音量で効果音/音楽を挿入することができる。また、逆に、静かな音量で会話している際に、いきなり大きな効果音を再生して、送話者と受話者とを驚かせて、会話の流れを変化させるような構成も可能である。さらに、周囲の逆位相の音を挿入して、ノイズキャンセリングを同時に行うことも可能である。
(ステップS110)
次に、制御部200は、通話終了か否か判定する。具体的に、制御部200は、受話者からの通話終了コマンドを受信したり、入力部260からの通話終了キーの押下を検知した場合、制御部200は、通話終了と判断する。また、「さようなら」等、所定のキーワードを音声認識部230により認識した場合、制御部200は、通話終了と判断する。さらに、気分モードや気分レベルが所定の状態になった場合、例えば、怒りモードの気分レベルが最大値に変化した場合等、「気分が悪くなりましたので通話切断します」等の所定のメッセージを再生した上で、制御部200は、通話終了と判断する。
Yesの場合、制御部200は、処理をステップS111に進める。
Noの場合、制御部200は、処理をステップS103に戻して、通話処理を続ける。
次に、制御部200は、通話終了か否か判定する。具体的に、制御部200は、受話者からの通話終了コマンドを受信したり、入力部260からの通話終了キーの押下を検知した場合、制御部200は、通話終了と判断する。また、「さようなら」等、所定のキーワードを音声認識部230により認識した場合、制御部200は、通話終了と判断する。さらに、気分モードや気分レベルが所定の状態になった場合、例えば、怒りモードの気分レベルが最大値に変化した場合等、「気分が悪くなりましたので通話切断します」等の所定のメッセージを再生した上で、制御部200は、通話終了と判断する。
Yesの場合、制御部200は、処理をステップS111に進める。
Noの場合、制御部200は、処理をステップS103に戻して、通話処理を続ける。
(ステップS111)
次に、制御部200は、履歴保存処理を行う。
具体的には、制御部200は、気分モード通話処理時の気分モードと気分レベルとを、ユーザDB331の効果音音楽履歴D109に記憶する。
この際、制御部200は、気分モードや気分レベルの変化が大きかった場合、表示部270に心理学的なアドバイスを表示することもできる。
さらに、制御部200は、効果音音楽履歴D109に記憶された効果音と音楽の楽曲データとをサーバ40の効果音DB420又は音楽DB410に送信することができる。これにより、ユーザによる効果音と音楽を売買したり、ブログ(ウェブログ)等で用いることが可能になる。
また、制御部200は、受話者の端末20−2が、端末20−1と同様の気分モード通話機能をもつ場合、気分モードと気分レベルとを端末20−1と端末20−2との間で送受信する。これにより、制御部200は、送話者と受話者の間で、タイミングを調整して、効果音/音楽を挿入できる。また、効果音/音楽を同期して挿入することができるため、送話者、受話者お互いの感情状態の変化を敏感に察知できる。なお、送話者と受話者で気分モードと気分レベルが異なる場合、それぞれの端末のスピーカ250にて、送話者と受話者で異なる効果音/音楽を出力するように構成することもできる。また、音声通話をかけた送話者、又は受話者の気分モード/気分レベル効果音/音楽に統一して出力するように構成することも可能である。
以上により、気分モード通話処理を終了する。
次に、制御部200は、履歴保存処理を行う。
具体的には、制御部200は、気分モード通話処理時の気分モードと気分レベルとを、ユーザDB331の効果音音楽履歴D109に記憶する。
この際、制御部200は、気分モードや気分レベルの変化が大きかった場合、表示部270に心理学的なアドバイスを表示することもできる。
さらに、制御部200は、効果音音楽履歴D109に記憶された効果音と音楽の楽曲データとをサーバ40の効果音DB420又は音楽DB410に送信することができる。これにより、ユーザによる効果音と音楽を売買したり、ブログ(ウェブログ)等で用いることが可能になる。
また、制御部200は、受話者の端末20−2が、端末20−1と同様の気分モード通話機能をもつ場合、気分モードと気分レベルとを端末20−1と端末20−2との間で送受信する。これにより、制御部200は、送話者と受話者の間で、タイミングを調整して、効果音/音楽を挿入できる。また、効果音/音楽を同期して挿入することができるため、送話者、受話者お互いの感情状態の変化を敏感に察知できる。なお、送話者と受話者で気分モードと気分レベルが異なる場合、それぞれの端末のスピーカ250にて、送話者と受話者で異なる効果音/音楽を出力するように構成することもできる。また、音声通話をかけた送話者、又は受話者の気分モード/気分レベル効果音/音楽に統一して出力するように構成することも可能である。
以上により、気分モード通話処理を終了する。
以上のように構成することで以下のような効果を得ることができる。
まず、従来技術1においては、効果音送出ボタンからの信号によって、所定の効果音を適宜付加することができるが、受話者により効果音を変化させることはできず、いちいち効果音を設定し直さなければならなかった。
これに対して、本発明の実施の形態に係る端末20−1は、ユーザDB331に、ユーザ毎の気分モード設定D106に気分モード通話を行うか否か設定できる。このため、親しい友人や部下等の気分モード通話を可能な受話者と通話するときに、気分モード通話を行うことができる。また、受話者毎に気分モードと気分レベルにより効果音/音楽を関連づけて記憶することもできる。これにより、効果音を用いた気分モード通話を使いやすくすることができ、送話者のユーザの意図に沿った気分モード通話処理を行うことができる。
まず、従来技術1においては、効果音送出ボタンからの信号によって、所定の効果音を適宜付加することができるが、受話者により効果音を変化させることはできず、いちいち効果音を設定し直さなければならなかった。
これに対して、本発明の実施の形態に係る端末20−1は、ユーザDB331に、ユーザ毎の気分モード設定D106に気分モード通話を行うか否か設定できる。このため、親しい友人や部下等の気分モード通話を可能な受話者と通話するときに、気分モード通話を行うことができる。また、受話者毎に気分モードと気分レベルにより効果音/音楽を関連づけて記憶することもできる。これにより、効果音を用いた気分モード通話を使いやすくすることができ、送話者のユーザの意図に沿った気分モード通話処理を行うことができる。
また、本発明の実施の形態に係る端末20−1は、センサの情報を用いて、気分モードと気分レベルを選択するため、いちいち送話者が効果音/音楽を選択しなくても、気分モード通話を行うことができる。
これにより、より送話者のユーザの意図に沿った気分モード通話処理を行うことができる。また、送話者や受話者のユーザが無意識に気づかないうちに気分モードや気分レベルを変化させていた場合、これを効果音/音楽にて穏便に通知することができる。
これにより、より送話者のユーザの意図に沿った気分モード通話処理を行うことができる。また、送話者や受話者のユーザが無意識に気づかないうちに気分モードや気分レベルを変化させていた場合、これを効果音/音楽にて穏便に通知することができる。
なお、上述の実施の形態においては、通話前と通話時に録音して気分モードと気分レベルを設定するように説明したが、これに限られない。
たとえば、受話者との通話のデータを録音DB341に録音しておいて、通話後に、所定の受話者との録音データを気分モード分析部322により分析して、気分モードと気分レベルを設定することもできる。
これにより、次にその受話者に電話した際に、分析した気分モードと気分レベルをすぐに用いて気分モード通話を実行できる。
また、逆に、所定日数経った後は、通話時に設定された気分モードと気分レベルを消去するように設定することもできる。これにより、通話時点での送話者の気分を反映させた気分モード通話処理を実行できる。
さらに、上述の実施の形態においては、付加された効果音/音楽を受話者の端末20−2にも送信するように説明したが、これに限られない。たとえば、送話者のスピーカ250にのみ小音量で効果音を付加することで、感情状態の変化を自らのみ把握して、会話を客観的にコントロールできる。
たとえば、受話者との通話のデータを録音DB341に録音しておいて、通話後に、所定の受話者との録音データを気分モード分析部322により分析して、気分モードと気分レベルを設定することもできる。
これにより、次にその受話者に電話した際に、分析した気分モードと気分レベルをすぐに用いて気分モード通話を実行できる。
また、逆に、所定日数経った後は、通話時に設定された気分モードと気分レベルを消去するように設定することもできる。これにより、通話時点での送話者の気分を反映させた気分モード通話処理を実行できる。
さらに、上述の実施の形態においては、付加された効果音/音楽を受話者の端末20−2にも送信するように説明したが、これに限られない。たとえば、送話者のスピーカ250にのみ小音量で効果音を付加することで、感情状態の変化を自らのみ把握して、会話を客観的にコントロールできる。
〔他の実施の形態〕
なお、図10を参照して説明すると、音楽選択/作曲部324は、効果音/音楽を選択するにあたって、送話者の好きなテレビ番組のジャンルを参考にする構成が可能である。
図10の構成においては、HDD等の記憶媒体やDVD/BDディスクドライブ等を内蔵したテレビジョン受信機やHDDレコーダ等である録画装置50を備えている。録画装置50は、地上波、BS/CS放送、DVDレコーダ等の外部入力、PC入力等の全ての入力画像/音声データをアップスキャン/ダウンスキャン・コンバートしてHDD等の記憶媒体に録画・録音する機能を備えている。この際に、記憶データのTS(Transport Stream)メタデータを、ジャンル情報として記憶媒体に関連づけて記憶する。すなわち、録画装置50は、送話者のユーザの視聴した映像・音声のジャンルのロク(履歴)のデータを記憶することができる。
また、録画装置50は、端末20−1に対して、このログのデータを、例えば、赤外線通信等を用いて送信可能である。
これにより、端末20−1は、録画した映像・音声のジャンルに合わせて効果音/音楽を選択可能である。たとえば、送話者がスパイ映画をよく視聴していた場合、その映画の効果音/音楽を用いて気分モード通話処理を行うことができる。また、お料理番組をよく視聴している場合には、卵を割る音やクッキングのテーマ等を用いて気分モード通話処理を行うことができる。同様に、よくゲームをしている場合には、そのゲームのジャンルに合わせた、例えばSFや中世風の効果音/音楽を用いることができる。
なお、図10を参照して説明すると、音楽選択/作曲部324は、効果音/音楽を選択するにあたって、送話者の好きなテレビ番組のジャンルを参考にする構成が可能である。
図10の構成においては、HDD等の記憶媒体やDVD/BDディスクドライブ等を内蔵したテレビジョン受信機やHDDレコーダ等である録画装置50を備えている。録画装置50は、地上波、BS/CS放送、DVDレコーダ等の外部入力、PC入力等の全ての入力画像/音声データをアップスキャン/ダウンスキャン・コンバートしてHDD等の記憶媒体に録画・録音する機能を備えている。この際に、記憶データのTS(Transport Stream)メタデータを、ジャンル情報として記憶媒体に関連づけて記憶する。すなわち、録画装置50は、送話者のユーザの視聴した映像・音声のジャンルのロク(履歴)のデータを記憶することができる。
また、録画装置50は、端末20−1に対して、このログのデータを、例えば、赤外線通信等を用いて送信可能である。
これにより、端末20−1は、録画した映像・音声のジャンルに合わせて効果音/音楽を選択可能である。たとえば、送話者がスパイ映画をよく視聴していた場合、その映画の効果音/音楽を用いて気分モード通話処理を行うことができる。また、お料理番組をよく視聴している場合には、卵を割る音やクッキングのテーマ等を用いて気分モード通話処理を行うことができる。同様に、よくゲームをしている場合には、そのゲームのジャンルに合わせた、例えばSFや中世風の効果音/音楽を用いることができる。
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
本発明によれば、ユーザの意図に沿った効果音/音楽を用いた通話を実現し、より購買意欲を高めた音声通話端末装置を提供するため、産業上の利用可能である。
5 ネットワーク
20−1〜20−n 端末
40 サーバ
50 録画装置
200 制御部
210 記憶部
213 気分モード発生部
220 センサ部
225 カメラ部
230 音声認識部
240 マイク
250 スピーカ
260 入力部
270 表示部
280 フォースフィードバック部
290 RF部
320 気分モード設定部
321 気分モード選択部
322 気分モード分析部
324 音楽選択/作曲部
325 気分モード入力部
330 電話帳部
331 ユーザDB
332 メールDB
333 自然言語DB
334 効果音/音楽DB
340 録音部
341 録音DB
350 メール部
360 通話部
410 音楽DB
420 効果音DB
430 メールサーバ部
440 ASP部
500、510、520、530 名前表示欄
500、510、600、610 表示欄
620、630 ボタン
X 通話システム
20−1〜20−n 端末
40 サーバ
50 録画装置
200 制御部
210 記憶部
213 気分モード発生部
220 センサ部
225 カメラ部
230 音声認識部
240 マイク
250 スピーカ
260 入力部
270 表示部
280 フォースフィードバック部
290 RF部
320 気分モード設定部
321 気分モード選択部
322 気分モード分析部
324 音楽選択/作曲部
325 気分モード入力部
330 電話帳部
331 ユーザDB
332 メールDB
333 自然言語DB
334 効果音/音楽DB
340 録音部
341 録音DB
350 メール部
360 通話部
410 音楽DB
420 効果音DB
430 メールサーバ部
440 ASP部
500、510、520、530 名前表示欄
500、510、600、610 表示欄
620、630 ボタン
X 通話システム
Claims (7)
- 効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、
前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、
前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択/作曲部と、
選択された前記効果音又は音楽を、前記ユーザの指示を検知して変更する気分モード入力部とを備える
ことを特徴とする音声通話端末装置。 - 前記センサは、発汗センサ、脈拍センサ、血糖値センサ、温度センサのいずれかの生体センサを用いる
ことを特徴とする請求項1に記載の音声通話端末装置。 - 前記センサは、圧力センサ又は加速度センサであり、
前記気分モード分析部は、端末に加えられた圧力又は端末の加速度変化により感情状態を演算する
ことを特徴とする請求項1又は2に記載の音声通話端末装置。 - 前記ユーザの顔画像を撮像するカメラ部を備え、
前記気分モード分析部は、撮像された前記ユーザの顔画像のデータから前記ユーザの感情状態を演算する
ことを特徴とする請求項1乃至3のいずれか1項に記載の音声通話端末装置。 - 前記ユーザの音声を録音する録音部を更に備え、
前記気分モード分析部は、録音された音声データから前記ユーザの感情状態を分析する
ことを特徴とする請求項1乃至4のいずれか1項に記載の音声通話端末装置。 - 音声通話端末装置とサーバとを備えた音声通話システムにおいて、
前記音声通話端末装置は、
効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、
前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、
前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択/作曲部と、
選択された前記効果音又は音楽を前記ユーザの指示を検知して変更する気分モード入力部とを備え、
前記サーバは、
前記効果音を記憶する効果音データベースと、
音楽の楽曲データを記憶する楽曲データベースとを備える
ことを特徴とする音声通話システム。 - 効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定し、
前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定し、
前記気分モードと気分レベルとを前記ユーザの指示により変更する気分モード入力部とを備える
ことを特徴とする音声通話方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010138373A JP2012004885A (ja) | 2010-06-17 | 2010-06-17 | 音声通話端末装置、音声通話システム、及び音声通話方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010138373A JP2012004885A (ja) | 2010-06-17 | 2010-06-17 | 音声通話端末装置、音声通話システム、及び音声通話方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012004885A true JP2012004885A (ja) | 2012-01-05 |
Family
ID=45536357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010138373A Pending JP2012004885A (ja) | 2010-06-17 | 2010-06-17 | 音声通話端末装置、音声通話システム、及び音声通話方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012004885A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015028686A (ja) * | 2013-07-30 | 2015-02-12 | カシオ計算機株式会社 | ソーシャルタイムラインを作成する方法、ソーシャル・ネットワーク・サービスシステム、サーバー、端末並びにプログラム |
CN110853606A (zh) * | 2019-11-26 | 2020-02-28 | Oppo广东移动通信有限公司 | 一种音效配置方法、装置及计算机可读存储介质 |
-
2010
- 2010-06-17 JP JP2010138373A patent/JP2012004885A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015028686A (ja) * | 2013-07-30 | 2015-02-12 | カシオ計算機株式会社 | ソーシャルタイムラインを作成する方法、ソーシャル・ネットワーク・サービスシステム、サーバー、端末並びにプログラム |
CN110853606A (zh) * | 2019-11-26 | 2020-02-28 | Oppo广东移动通信有限公司 | 一种音效配置方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106464939B (zh) | 播放音效的方法及装置 | |
US9959783B2 (en) | Converting audio to haptic feedback in an electronic device | |
JP5225847B2 (ja) | 情報処理端末、音楽情報生成方法、およびプログラム | |
JP2014512049A (ja) | 音声対話型メッセージ交換 | |
US20060210028A1 (en) | System and method for personalized text-to-voice synthesis | |
US20080027984A1 (en) | Method and system for multi-dimensional action capture | |
WO2014008843A1 (zh) | 一种声纹特征模型更新方法及终端 | |
US20060221935A1 (en) | Method and apparatus for representing communication attributes | |
CN110568926B (zh) | 一种声音信号处理方法及终端设备 | |
JP2015515643A (ja) | インスタントコミュニケーション音声認識方法および端末 | |
CN105049318A (zh) | 消息发送方法和装置、消息处理方法和装置 | |
EP1505819B1 (en) | Portable terminal device and method of notifying an incoming call | |
EP2380170B1 (en) | Method and system for adapting communications | |
CN111601215A (zh) | 一种基于场景的关键信息提醒方法、***及装置 | |
JP2005316650A (ja) | 通信端末およびコンテンツ選択呈示方法 | |
JP2010166324A (ja) | 携帯端末、音声合成方法、及び音声合成用プログラム | |
CN112150583B (zh) | 一种口语发音测评方法及终端设备 | |
JP2012004885A (ja) | 音声通話端末装置、音声通話システム、及び音声通話方法 | |
JP2016189121A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2016052501A1 (ja) | ユーザインタフェース装置、プログラム及びコンテンツの通知方法 | |
WO2020051881A1 (zh) | 信息提示方法及相关产品 | |
CN109951504B (zh) | 信息推送方法、装置、终端及存储介质 | |
CN111696566B (zh) | 语音处理方法、装置和介质 | |
CN107645604B (zh) | 一种通话处理方法及移动终端 | |
JP5423970B2 (ja) | 音声メール実現システム、音声メール実現サーバ、その方法及びそのプログラム |