JP5338350B2 - 情報処理装置及び音声補正プログラム - Google Patents

Description

本発明は、情報処理装置及び音声補正プログラムに関する。

通信者の双方に同質な空間を設けてそれぞれに通信相手の影を生成する情報処理装置が知られている。

例えば、特許文献１の情報処理装置は、利用者の音声や映像を通信相手にインターネット等を介して送受信することで利用者と通信相手とのコミュニケーションを補助する装置であって、距離を隔てた２地点に同質な空間とともにそれぞれ設けられ、利用者を撮影するカメラと、空間に対し通信相手の影を投射する投射装置とに接続される。これにより、利用者は、音声や映像による明示的情報に加え、投射装置から投射される通信相手の影の動きにより通信相手の発する音声や通信相手を撮影した映像等の明示的情報とは異なる暗示的情報を得ることができる。

特開２００６−１５７９５９号公報

本発明の目的は、通信相手に利用者の感情を伝達するとともに不適切な音声の伝達を抑制することができる情報処理装置及び音声補正プログラムを提供することにある。

［１］複数の利用者の表情を撮影して得られる映像信号及び／又は前記複数の利用者の声から得られる音声信号に基づいて前記複数の利用者の感情をそれぞれ抽出する感情抽出手段と、
それぞれ異なる感情を表現する複数の感情表現画像を記憶する記憶手段と、
前記感情抽出手段が抽出した前記複数の利用者の感情に基づいて前記複数の感情表現画像から感情表現画像をそれぞれ選択する感情表現画像選択手段と、
前記感情抽出手段が抽出した前記感情に基づいて、当該感情の伝達を抑制するように前記音声信号を補正する音声補正手段と、
前記映像信号の表示映像上に選択された前記感情表現画像を表示するとともに、前記感情表現画像に該当する利用者をそれぞれ指し示す符号を表示した映像情報を生成処理する映像処理手段とを有する情報処理装置。

［２］前記音声補正手段が補正した前記音声信号から音声情報を生成処理する音声処理手段と、前記映像情報及び前記音声情報を外部の情報処理装置に送信する通信手段をさらに備えた前記［１］に記載の情報処理装置。

［３］前記音声補正手段が補正した前記音声信号から音声を再生処理する音声処理手段をさらに備え、前記映像処理手段は、前記映像情報を再生処理する前記［１］に記載の情報処理装置。

［４］前記感情抽出手段は、さらに前記利用者の生体情報を取得し、前記生体情報に基づいて前記利用者の感情を抽出する前記［１］に記載の情報処理装置。

［５］それぞれ異なる感情を表現する複数の感情表現画像を参照可能なコンピュータに、
複数の利用者の表情を撮影して得られる映像信号及び／又は前記利用者の声から得られる音声信号に基づいて前記複数の利用者の感情をそれぞれ抽出する感情抽出機能と、
抽出された前記複数の利用者の感情に基づいて前記感情表現画像をそれぞれ選択する感情表現画像選択機能と、
抽出された前記感情に基づいて、当該感情の伝達を抑制するように前記音声信号を補正する音声補正機能と、
前記映像信号の表示映像上に選択された前記感情表現画像を表示するとともに、前記感情表現画像に該当する利用者をそれぞれ指し示す符号を表示した映像情報を生成処理する映像処理機能とを実行させるための音声補正プログラム。

請求項１又は５に係る発明によれば、利用者の感情を感情表現画像で提示するとともに不適切な音声を補正することができる。

請求項２に係る発明によれば、通信相手に利用者の感情を伝達するとともに不適切な音声の伝達を抑制することができる。

請求項３に係る発明によれば、利用者に利用者の感情を伝達することができる。

請求項４に係る発明によれば、利用者の感情をより正確に抽出することができる。

本発明の第１の実施の形態に係る電子会議システムの構成例を示す概略図である。 本発明の第１の実施の形態に係る情報処理装置の構成例を示す概略図である。 （ａ）〜（ｆ）は、本発明の第１の実施の形態に係る音声補正プログラムの動作例を示す概略図である。 （ａ）〜（ｄ）は、本発明の第１の実施の形態に係る音声補正プログラムの動作例を示す概略図である。 本発明の第１の実施の形態に係る音声補正プログラムの動作例を示すフローチャートである。 本発明の第２の実施の形態に係る音声補正プログラムの動作例を示すフローチャートである。

［第１の実施の形態］
（電子会議システムの構成）
図１は、本発明の第１の実施の形態に係る電子会議システムの構成例を示す概略図である。

電子会議システム１は、場所Ａ及び場所Ｂにそれぞれ設置された情報処理装置２Ａ及び２Ｂをインターネット１０によって通信可能に接続することで構成される。地点Ａ及び地点Ｂに設置される機器の構成は同様であるため、以下において省略のため場所Ａの構成についてのみ説明する。

情報処理装置２Ａは、インターネット１０を介して情報処理装置２Ｂと通信するとともに、通信により送受信する情報を処理するサーバ装置であり、カメラ４Ｂ及び情報処理装置２Ｂによって撮影及び映像処理された場所Ｂの映像を表示する表示部３Ａと、場所Ａにおける状況を撮影するカメラ４Ａと、マイク６Ｂ及び情報処理装置２Ｂによって集音された音声を出力するスピーカ５Ａ、場所Ａにおける音声を集音するマイク６Ａとに接続される。

図２は、本発明の第１の実施の形態に係る情報処理装置の構成例を示す概略図である。

情報処理装置２Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部２０Ａと、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶装置から構成され情報を記憶する記憶部２１Ａと、外部と通信する通信部２２Ａとを有する。また、情報処理装置２Ａは、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置から構成される表示部３Ａと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等のセンサ及びレンズ等の光学系から構成されるカメラ４Ａと、音声を出力するスピーカ５Ａと、音声を集音するマイク６Ａと、利用者Ａ１及びＡ２の体温を測定する赤外線カメラ、血圧や体温等の生態情報を取得するバンド型センサ、又は利用者Ａ１及びＡ２の座る椅子や机、床等に設置された振動センサや圧力センサ等であるセンサ７Ａとに接続される。

制御部２０Ａは、後述する音声補正プログラム２１０を実行することで、感情抽出手段２００と、感情表現画像選択手段２０１と、音声補正手段２０２と、映像処理手段２０３と、音声処理手段２０４とを動作させる。

感情抽出手段２００は、カメラ４Ａ、マイク６Ａ及びセンサ７Ａから得られる情報に基づいて利用者Ａ１及びＡ２の感情を抽出する手段である。感情表現画像選択手段２０１は、感情抽出手段２００によって抽出された感情に応じて感情を表現するために用いられる感情表現画像を選択する手段である。音声補正手段２０２は、感情抽出手段２００によって抽出された感情又はマイク６Ａによって集音された音声の特徴に応じて音声信号を補正する手段である。映像処理手段２０３は、カメラ４Ａによって撮影された信号を処理するとともに、感情表現画像選択手段２０１によって選択された画像を表示するとともに、通信部２２Ａを介して受信した映像情報を映像として表示部３Ａに表示する手段である。音声処理手段２０４は、マイク６Ａによって集音された信号、又は音声補正手段２０２によって補正された信号を処理するとともに、通信部２２Ａを介して受信した音声情報を音声信号に変換してスピーカ５Ａに表示する手段である。

記憶部２１Ａは、制御部２０Ａを上述した各手段として動作させる音声補正プログラム２１０と、感情抽出手段２００が抽出する感情を表現する複数の画像を格納する感情表現画像２１１とを記憶する。感情表現画像２１１は、表情を示すアイコン、表情又は全身を示すアバター、写真、又は文字等を用いる。

（動作）
以下に、本発明の一実施の形態における電子会議システムの動作を各図を参照しつつ説明する。

利用者Ａ１及びＡ２は、表示部３Ａに映し出された利用者Ｂ１〜Ｂ３の映像と、スピーカ５Ａから出力される利用者Ｂ１〜Ｂ３の声とを視聴しながら会議を進める。表示部３Ａに映し出される映像、及びスピーカ５Ａから出力される音声は、情報処理装置２Ａがインターネット１０を介して情報処理装置２Ｂから受信した情報に基づいて再生される。同時に、情報処理装置２Ａは、カメラ４Ａによって撮影された利用者Ａ１及びＡ２の映像信号と、マイク６Ａによって集音された利用者Ａ２及びＡ２の声の音声信号とを処理し、映像情報と音声情報としてインターネット１０を介して情報処理装置２Ｂに送信する。

情報処理装置２Ａの感情抽出手段２００は、上記動作を実行するとともに、カメラ４Ａ、マイク６Ａ及びセンサ７Ａから得られる情報に基づいて利用者Ａ１及びＡ２の感情を抽出し、感情表現画像選択手段２０１及び音声補正手段２０２は、抽出された感情に応じて以下に説明する動作を実行する。

感情抽出手段２００は、カメラ４Ａから得た映像情報を分析し、例えば、表情から「怒り」や「楽しい」、「悲しい」といった感情を抽出する。また、表情に変化がないときには「無関心」、あくびをしたときには「退屈」、長時間うつむいているときには「眠い」といった感情を抽出する。

また、感情抽出手段２００は、マイク６Ａから得た音声情報を分析し、例えば、音声の波形の抑揚が大きいとき「興奮している」、キーが高いときや音声のピッチが速いときには「緊張している」といった感情を抽出する。

また、感情抽出手段２００は、センサ７Ａから得た情報を分析し、例えば、血圧や体温が正常値から外れたときには「怒り」「興奮している」「緊張している」等の感情を抽出する。

図３（ａ）〜（ｆ）は、本発明の第１の実施の形態に係る音声補正プログラムの動作例を示す概略図である。

感情抽出手段２００は、例えば、図３（ａ）に示すように、波形の振幅の大きい音声が入力したとき、「怒り」で声を荒げていると判断し、図３（ｂ）に示すように、音声補正手段２０２に、所定の振幅Ａ１以上の音量を有する音声を平滑化させ、不快な音量を相手に与えないようにする。

また、感情抽出手段２００は、例えば、図３（ｃ）に示すように、波形のピッチの速い音声が入力したときには、「緊張」で早口になっていると判断し、図３（ｄ）に示すように、音声補正手段２０２に、所定の間隔Ｔ１以下のピッチを有する音声間隔Ｔ２に変化させて、緊張を相手に伝えないようにする。

また、感情抽出手段２００は、例えば、図３（ｅ）に示すように、波形の振幅の小さな音声が入力したときには、「元気がない」ために声が小さくなっていると判断し、図３（ｆ）に示すように、音声補正手段２０２に、所定の振幅Ａ２以下の音量を有する音声を振幅Ａ２に拡張して、元気のなさを伝えないようにする。

図４（ａ）〜（ｄ）は、本発明の第１の実施の形態に係る音声補正プログラムの動作例を示す概略図である。

情報処理装置２Ａの感情抽出手段２００が感情を抽出していないときには、カメラ４Ａで撮影されて映像処理手段２０３によって処理された映像情報は、情報処理装置２Ｂに送信され、図４（ａ）に示すように表示映像３０Ｂを表示部３Ｂに表示する。

情報処理装置２Ａの感情抽出手段２００は、感情を抽出すると、例えば、図４（ｂ）に示すように、表示映像３０Ｂ上に抽出した感情に基づいて表情を有するアイコン等である感情表現画像３００ａ及び３００ｂを表示し、感情表現画像３００ａ及び３００ｂに該当する利用者Ａ１及びＡ２を指し示すよう符号３０１ａ及び３０１ｂを表示する。

また、情報処理装置２Ａの感情抽出手段２００は、感情を抽出すると、例えば、図４（ｃ）に示すように、実映像３１Ｂを表示するとともに、抽出した感情に基づいて全身のアバターである感情表現画像３２０ａ及び３２０ｂを用いて感情表現映像３２Ｂを表示してもよい。

また、情報処理装置２Ａの感情抽出手段２００は、感情を抽出すると、例えば、図４（ｄ）に示すように、表示映像３０Ｂ上に抽出した感情に基づいて利用者Ａ２の顔に重ねるように表情を有するアイコンである感情表現画像３３０ａを表示してもよい。

図５は、本発明の第１の実施の形態に係る音声補正プログラムの動作例を示すフローチャートである。

まず、感情抽出手段２００は、カメラ４Ａ、マイク６Ａ及びセンサ７Ａによって利用者Ａ１及びＡ２の感情を抽出する（Ｓ１０）。次に、感情表現画像選択手段２０１は、抽出された感情に基づいて図４（ｂ）〜（ｄ）に示すような感情表現画像を選択し（Ｓ１１）、表示映像に重畳処理する（Ｓ１２）。

次に、音声補正手段２０２は、例えば、図３（ａ）、（ｃ）及び（ｅ）に示す例に該当し、補正が必要と判断したとき（Ｓ１３；Ｙｅｓ）、図３（ｂ）、（ｄ）及び（ｆ）に示すように音声を補正する（Ｓ１４）。また、補正が必要ないとき（Ｓ１３；Ｎｏ）、次のステップＳ１５へ進む。

次に、映像処理手段２０３及び音声処理手段２０４は、ステップＳ１２で重畳処理した映像情報及びステップＳ１４で補正した音声情報又は補正しない音声情報を通信部２２Ａ及びインターネット１０を介して情報処理装置２Ｂへ送信する（Ｓ１５）。

［第２の実施の形態］
第２の実施の形態は、第１の実施の形態において通信相手に送信される感情表現画像及び補正された音声情報を利用者自身にフィードバックすることで利用者の感情を操作するものである。

図６は、本発明の第２の実施の形態に係る音声補正プログラムの動作例を示すフローチャートである。

まず、感情抽出手段２００は、カメラ４Ａ、マイク６Ａ及びセンサ７Ａによって利用者Ａ１及びＡ２の感情を抽出する（Ｓ２０）。次に、感情表現画像選択手段２０１は、抽出された感情に基づいて図４（ｂ）〜（ｄ）に示すような感情表現画像を選択し（Ｓ２１）、表示映像に重畳処理する（Ｓ２２）。

次に、音声補正手段２０２は、例えば、図３（ａ）、（ｃ）及び（ｅ）に示す例に該当し、補正が必要と判断したとき（Ｓ２３；Ｙｅｓ）、図３（ｂ）、（ｄ）及び（ｆ）に示すように音声を補正する（Ｓ２４）。また、補正が必要ないとき（Ｓ２３；Ｎｏ）、次のステップＳ２５へ進む。

次に、映像処理手段２０３及び音声処理手段２０４は、ステップＳ２２で重畳処理した映像情報及びステップＳ２４で補正した音声情報又は補正しない音声情報を表示部３Ａ及びスピーカ５Ａから出力することで利用者Ａ１及びＡ２に自信の感情をフィードバックする（Ｓ２５）。

なお、フィードバックは感情表現画像や音声の補正に限らず、情報処理装置２Ａと場所Ａに設置された照明を接続して照度を調整してもよいし、空調を接続して気温を調整してもよい。また、利用者の感情を抑える芳香剤を噴出する機器に接続されてもよい。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、感情表現画像は、画像に限らず動画であってもよい。

また、上記実施の形態で使用される感情抽出手段２００と、感情表現画像選択手段２０１と、音声補正手段２０２と、映像処理手段２０３と、音声処理手段２０４とは、ＣＤ−ＲＯＭ等の記憶媒体から装置内の記憶部に読み込んでも良く、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、上記実施の形態で使用される手段の一部または全部をＡＳＩＣ等のハードウェアによって実現してもよい。

１…電子会議システム、２Ａ…情報処理装置、２Ｂ…情報処理装置、３Ａ…表示部、３Ｂ…表示部、４Ａ…カメラ、４Ｂ…カメラ、５Ａ…スピーカ、５Ｂ…スピーカ、６Ａ…マイク、６Ｂ…マイク、７Ａ…センサ、７Ｂ…センサ、１０…インターネット、２０Ａ…制御部、２１Ａ…記憶部、２２Ａ…通信部、３０Ｂ…表示映像、３１Ｂ…実映像、３２Ｂ…感情表現映像、２００…感情抽出手段、２０１…感情表現画像選択手段、２０２…音声補正手段、２０３…映像処理手段、２０４…音声処理手段、２１０…音声補正プログラム、２１１…感情表現画像、３００ａ…感情表現画像、３０１ａ…符号、３２０ａ…感情表現画像、３３０ａ…感情表現画像

Claims (5)

1. 複数の利用者の表情を撮影して得られる映像信号及び／又は前記複数の利用者の声から得られる音声信号に基づいて前記複数の利用者の感情をそれぞれ抽出する感情抽出手段と、
   それぞれ異なる感情を表現する複数の感情表現画像を記憶する記憶手段と、
   前記感情抽出手段が抽出した前記複数の利用者の感情に基づいて前記複数の感情表現画像から感情表現画像をそれぞれ選択する感情表現画像選択手段と、
   前記感情抽出手段が抽出した前記感情に基づいて、当該感情の伝達を抑制するように前記音声信号を補正する音声補正手段と、
   前記映像信号の表示映像上に選択された前記感情表現画像を表示するとともに、前記感情表現画像に該当する利用者をそれぞれ指し示す符号を表示した映像情報を生成処理する映像処理手段とを有する情報処理装置。
2. 前記音声補正手段が補正した前記音声信号から音声情報を生成処理する音声処理手段と、
   前記映像情報及び前記音声情報を外部の情報処理装置に送信する通信手段をさらに備えた請求項１に記載の情報処理装置。
3. 前記音声補正手段が補正した前記音声信号から音声を再生処理する音声処理手段をさらに備え、
   前記映像処理手段は、前記映像情報を再生処理する請求項１に記載の情報処理装置。
4. 前記感情抽出手段は、さらに前記利用者の生体情報を取得し、前記生体情報に基づいて前記利用者の感情を抽出する請求項１に記載の情報処理装置。
5. それぞれ異なる感情を表現する複数の感情表現画像を参照可能なコンピュータに、
   複数の利用者の表情を撮影して得られる映像信号及び／又は前記利用者の声から得られる音声信号に基づいて前記複数の利用者の感情をそれぞれ抽出する感情抽出機能と、
   抽出された前記複数の利用者の感情に基づいて前記感情表現画像をそれぞれ選択する感情表現画像選択機能と、
   抽出された前記感情に基づいて、当該感情の伝達を抑制するように前記音声信号を補正する音声補正機能と、
   前記映像信号の表示映像上に選択された前記感情表現画像を表示するとともに、前記感情表現画像に該当する利用者をそれぞれ指し示す符号を表示した映像情報を生成処理する映像処理機能とを実行させるための音声補正プログラム。

Images