JP4829696B2 - 会話支援システム - Google Patents

Description

本発明は、会話支援システムに関する。

会話場において注目を集めて情報を効率的、効果的に伝えるためには、発話者にプレゼンテーションや会話のスキルが必要である。したがって、発話者が十分な会話のスキルを有していない場合には、効果的に情報を伝えることができず、会話の進展を妨げてしまう。

従来より、遠隔にいる相手との視線を一致させることによって、通話者相互の意思伝達を密にする装置は開発されている（特許文献１参照。）。

特開平５−２１９５０１号公報

会話場にいる参加者との会話を活性化させるためには、会話場の参加者の視線を発話者に向けさせることが有効であるが、特許文献１に開示された技術では、会話場の参加者の注目を集めることや、注目を逸らせることによって、会話場の発言促進、発言抑止を誘発することができない。

本発明は、上記実情に鑑みてなされたものであり、会話場の参加者との会話を活性化させるために、参加者の視線を誘導することができる会話支援システムを提供することを目的とする。

第１の発明によれば、会話場における複数の各参加者の発話状態を集音装置からの情報に基づいて取得し、各参加者の視線方向を撮像装置からのカメラ画像に基づいて取得し、各参加者の発話状態と視線方向とを含む会話場状態を検出する会話場状態検出手段と、会話場状態と、参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報とを互いに関連付けて記憶するデータベースと、前記会話場状態検出手段によって検出された会話場状態を条件として、前記データベースを検索することにより、検出された会話場状態に対応する参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報を算出する推奨視線方向算出手段と、 前記推奨視線方向算出手段によって算出された推奨視線方向情報によって示される視線方向に会話場の参加者の視線が誘導されるように所定の機器を制御する視線方向制御手段と、会話場状態の一部によって定義される会話場状態パラメータと、前記検出された会話場状態の履歴に含まれる情報とが一致することを検出する会話場状態パラメータ一致検出手段と、前記会話場状態パラメータ一致検出手段により一致することが検出された場合に、その一致することが検出された会話場状態に含まれる参加者の視線の方向を評価し、この評価結果に基づいて、参加者の視線方向を推奨視線方向情報として、一致することが検出された会話場状態パラメータと関連付けて前記データベースに格納するデータベース更新手段とを具備する会話支援システム、である。
第２の発明によれば、第１の発明において、前記会話場状態検出手段は、離れた会話場における参加者の発話状態と参加者の視線の方向とを含む会話場状態をネットワークを介して受信することを含むことを特徴とする会話支援システム、である。
第３の発明によれば、第１の発明又は第２の発明において、前記視線方向制御手段は、前記算出された推奨視線方向情報によって示される視線方向に参加者の視線が向くように、参加者の椅子を回転させる手段を具備することを特徴とする会話支援システム、である。
第４の発明によれば、第１の発明又は第２の発明において、前記視線方向制御手段は、前記算出された推奨視線方向情報によって示される視線方向に参加者の視線が向くように、プロジェクタによりスポットライトを当てる、あるいは、矢印の映像を投影することにより、視線を誘導することを特徴とする会話支援システム、である。
第５の発明によれば、第１の発明乃至第３の発明いずれか１つの発明において、複数の参加者を表示する表示手段と、前記推奨視線方向検出手段によって検出された推奨視線方向情報によって示される視線方向の参加者以外の前記表示手段に表示される参加者の画像を暗転する処理とをさらに具備することを特徴とする会話支援システム、である。

本発明によれば、会話場の参加者との会話を活性化させるために、参加者の視線を誘導することができる会話支援システムを提供することができる。

以下、図面を参照して、本発明の実施の形態に係る会話支援システムについて説明する。
図１及び図２は、本発明の実施の形態に係る会話支援システムの利用環境を説明するための図である。
図１は、マイクなどの集音装置及びカメラなどの撮像装置２からなるセンシング部により会話場の状態を検出し、この検出された会話場の状態に基づいて、プロジェクタなどの映像投影装置３により、会話場のテーブル４上に発話者である参加者５−１以外の参加者５−２〜５−４の視線を発話者５−１に向くように誘導する矢印型の推奨視線方向６を表示した場合を説明するための図である。

図２は、マイクなどの集音装置及びカメラなどの撮像装置２からなるセンシング部により会話場の状態を検出し、この検出された会話場の状態に基づいて、スポットライトなどの映像投影装置３により、参加者である発話者５−１にスポットライト７をあてることにより、参加者５−１以外の参加者５−２〜５−４の視線を発話者５−１に向くように誘導するものである。

図３は、本発明の実施の形態に係る会話支援システムを実現する構成を示す図である。
集音装置１は、例えば、マイクロフォンアレイ、複数台のマイクであり、会話場に取り付けられ、会話場の各参加者の発話を集音する。
撮像装置２は、カメラであり、会話場の各参加者を撮像する。

その他のセンシング装置１１は、集音装置１及び撮像装置２以外の方法で会話場状態を取得するものである。例えば、温度計、湿度計、騒音計、照度計、震度計、複数のガスセンサを利用した臭気計測装置や、参加者の心理状態を取得する、脈拍計、呼吸数計測装置、発刊計測装置、眼球運動計測装置、各参加者の視線検出装置、脳波検出装置、筋電検出装置、血圧計、血液成分検出装置、歩行或いは着座バランス検出装置である。

コンピュータ２１は、会話場状態検出部２２、推奨視線方向算出部２６、規定会話場状態のパラメータ入力部３１、規定会話場状態と会話場状態の一致判定部３２、会話場状態−推奨視線方向データベース更新部３３、会話場状態−推奨視線方向データベース３４を具備している。

会話場状態検出部２２は、集音装置１、撮像装置２、その他の会話場状態検出装置１１からの少なくとも１つの情報から、会話場における各参加者の発話状態、参加者の視線方向を含む会話場状態を検出する。
これら集音装置１、撮像装置２、その他の会話場状態検出装置１１は、同一の会話場に取り付けられていても良いし、離れた会話場に取り付けられていても良く、これら集音装置１、撮像装置２、その他の会話場状態検出装置１１からの情報は、ネットワークを介してコンピュータ２１に入力される。

会話場状態検出部２２は、具体的には、発話状態検出部２３、視線方向検出部２４、その他の会話場状態検出部２５を有している。
発話状態検出部２３は、会話場の参加者の発話状態を検出するものである。例えば、集音装置１からの情報に基づいて、どの参加者が話しているかを常時センシングする。これにより、誰が話し始めたか、話を止めたか、現時点で発話をしている人は誰かなどを検出する。また、撮像装置２からのカメラ映像情報を利用することで、各参加者の口の動きから発話状態をより正確に検出してもよい。

視線方向検出部２４は、撮像装置２からのカメラ画像により、各参加者の視線方向を、カメラ画像中の各参加者の頭の方向により検出する。カメラ画像内に参加者の「目」の領域が撮影されている場合は、より正確に参加者の視線方向を検出するようにしてもよい。

その他の会話場状態検出部２５は、発話状態検出部２３によって検出される発話状態や、視線方向検出部２４によって検出される参加者の視線方向の会話場状態以外の会話場状態を検出する。
例えば、挙手をすることが規定されている会話場において、発話の権利を推測する場合には、挙手している姿勢を撮像装置２からのカメラ映像により、挙手に伴う”はい”という発話を集音装置１からの音声情報により検出することで発話の権利を推測する挙手状態検出部が設けられる。

推奨視線方向算出部２６は、会話場状態検出部２２によって検出された会話場状態を条件に、会話場状態−推奨視線方向データベース３４を検索することにより、検出された会話場状態に対応する参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報を算出する。

また、推奨視線方向算出部２６は、算出した視線方向を示す推奨視線方向情報に基づいて、会話場の参加者の視線が推奨視線方向に向くように、映像投影装置３や、会話場の参加者が座っている椅子を回転させるための椅子回転装置１２を制御する。
参加者の視線を誘導する方法としては、大きく分けると、間接的にユーザの視線を誘導する方法と、直接的にユーザの視線を移動させる方法とがある。前者には、発話者のみプロジェクタによりスポットライトを当てて視覚的に注目させる方法や、矢印の映像を投影することにより注目させる方向に視線を誘導する方法などがある。また、後者には参加者が座っている椅子を回転することで、強制的に注目させる方向に視線を向けさせる方法がある。なお、これらの方法を併用しても良いことはいうまでもない。

また、”綱で強制的に椅子を引かれている様子”を椅子の回転駆動と綱エフェクトの動きによって提示して体の方向を強制的に移動させる方法のように、両方を利用してもよい。さらに、プロジェクタによる情報提示に加えて、複数のスピーカによる音像定位を再現することで、より効果的な誘導が可能である。

規定会話場状態のパラメータ入力部３１は、ユーザによって入力される規定の会話場状態の少なくとも一部を示すパラメータを入力するためのインターフェイスである。
規定会話場状態と会話場状態の一致判定部３２は、規定会話場状態のパラメータ入力部３１によって入力された規定会話場状態のパラメータと、会話場状態検出部２１によって検出された会話場状態の履歴に含まれる情報とが一致することを検出する。

会話場状態−推奨視線方向データベース更新部３３は、一致することが検出された会話場状態に含まれる参加者の視線を評価する。例えば、視線提示の効果を測定するデータ列によって、当該一致することが検出された会話場状態に含まれる参加者の視線の方向を評価する。

そして、この評価結果に基づいて、参加者の視線方向を推奨視線方向として、一致することが検出された会話場状態パラメータと関連付けて、会話場状態−推奨視線方向データベース３４に格納する。例えば、最も評価の高い視線方向を推奨視線方向として、規定会話場状態のパラメータと関連付けて、会話場状態−推奨視線方向データベース３４に格納する。

次に、本発明の実施の形態に係る会話支援システムの動作について、図４のフローチャートを参照して説明する。
本実施の形態の会話支援システムは、誰かが話し始める状況や、話しているの着目してもらえない状況を検出し、動作する。例えば、ブレインストーミングや会議（発話の順序がある程度守られる）での発言における利用が考えられる。

会話場状態検出部２２により、集音装置１、撮像装置２、その他の会話場状態検出装置１１からの少なくとも１つの情報から、会話場における各参加者の発話状態、参加者の視線方向を含む会話場状態を検出する（Ｓ１）。
次に、推奨視線方向算出部２６は、会話場状態検出部２２によって検出された会話場状態を条件に、会話場状態−推奨視線方向データベース３４を検索することにより（Ｓ２）、検出された会話場状態に対応する参加者の視線を集めたい対象への視線方向を示す推奨視線方向情報を算出する（Ｓ３）。

その後、推奨視線方向算出部２６は、検出した視線方向を示す推奨視線方向情報に基づいて、会話場の参加者の視線が推奨視線方向に向くように、映像投影装置３や、会話場の参加者が座っている椅子を回転させるための椅子回転装置１２を制御する（Ｓ４）。

例えば、発話者が一人の場合、当該発話者に注目させるような推奨視線方向情報を算出する。特に、他の参加者の視線が発話者方向を向いていない度合いに応じて、視線方向の制御の強度を変えてもよい。
発話者の衝突に対しては、同時に発話する参加者が検出された場合、そのうち、最も早く発言を開始した発話者を発言者と決定し、当該発言者方向に着目させるような推奨視線方向情報を算出してもよい。

発話することが望まれる人が、発話をためらう場合、当該発話者に注目させるような推奨視線方向情報を算出してもよい。このように、発言権がある発話者を明示することで、当該発話者以外の発話を抑制することができる。
上述の例では、参加者の視線を注目させるように制御する場合について説明したが、注目をそらせることで、発言を抑止させるように制御を行なってもよい。

例えば、参加者の一人が発話し続けており、他の参加者の発話が疎外されている状況を検出し、動作する。
具体的には、ブレインストーミングにもかかわらず、発言権が移動しない場合や、他の参加者の発言が一人の参加者によって常にさえぎられる状況での利用が考えられる。このような場合、発話者の連続発話時間が長い場合や、合計発話時間が長い場合を検知して、当該発話者から注目をそらすような推奨視線方向情報を算出する。この場合、全参加者の発言量に占める発言の割合に応じて、視線方向の制御の強度を変更してもよい。

上述の実施の形態においては、映像投影装置３及び椅子回転装置１２を利用して参加者の視線を誘導する場合について示したが、会話場に参加する複数の参加者を表示するディスプレイを設け、算出された推奨視線方向によって示される視線方向の参加者以外のディスプレイに表示される参加者の画像を暗転する処理を行なうことにより、参加者の視線を誘導するようにしてもよい。

次に、本発明の実施の形態に係る会話支援システムのデータベースの構築方法について、図５のフローチャートを参照して説明する。
規定会話場状態のパラメータ入力部３１を介して、規定会話場状態のパラメータが入力されると（Ｓ１１）、規定会話場状態と会話場状態の一致判定部３２は、規定会話場状態のパラメータ入力部３１によって入力された規定会話場状態のパラメータと、会話場状態検出部２１によって検出された会話場状態の履歴に含まれる情報とが一致するか否かの判断を行ない、一致する場合には、一致することが検出された会話場状態に含まれる参加者の視線を評価する（Ｓ１３）。一方、一致していない場合には、Ｓ１１の処理に戻る。

そして、この評価結果に基づいて、参加者の視線方向を推奨視線方向として、一致することが検出された会話場状態パラメータと関連付けて、会話場状態−推奨視線方向データベース３４に格納する（Ｓ１４）。
規定会話場状態のパラメータとしては、例えば、音声の途切れのない状態（会話場で音声入力が３秒以上である状態）を会話場が盛り上がっている状態のパラメータとして定義する。なお、他の状態に対するパラメータを定義することで、複数の会話場状態に対応する理想的な視線方向のデータベースを構築することが可能となる。

例えば、一人の会話場の参加者の発話が連続で続き、かつ、他の参加者の頷きが少ない場合は、聴衆が退屈に感じている状態であると定義し、一人の参加者の発話が連続で続き、かつ、他の参加者全員の頷きの頻度が多い場合は、聴衆がユーザの発話を理解している状態であると定義することができる。すなわち、規定会話場状態のパラメータは、利用する会話の場に応じて、適宜設定することが可能である。

したがって、本発明の実施の形態によれば、会話場状態に応じて、会話場の参加者の視線を誘導することができるので、会話場での参加者との会話を活性化させることができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

本発明の実施の形態に係る会話支援システムの利用環境を説明するための図である。 本発明の実施の形態に係る会話支援システムの他の利用環境を説明するための図である。 本発明の実施の形態に係る会話支援システムを実現する構成を示す図である。 本発明の実施の形態に係る会話支援システムの動作を説明するためのフローチャートである。 本発明の実施の形態に係る会話支援システムのデータベースの更新方法を説明するためのフローチャートである。

符号の説明

２２…会話場状態検出部、２６…推奨視線方向算出部、３１…規定会話場状態のパラメータ入力部、３２…規定会話場状態と現会話場状態の一致判定部、３３…会話場状態−推奨視線方向データベース更新部。

Claims (7)

1. 会話場における複数の各参加者の発話状態を集音装置からの情報に基づいて取得し、各参加者の視線方向を撮像装置からのカメラ画像に基づいて取得し、各参加者の発話状態と視線方向とを含む会話場状態を検出する会話場状態検出手段と、
   会話場状態と、参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報とを互いに関連付けて記憶するデータベースと、
   前記会話場状態検出手段によって検出された会話場状態を条件として、前記データベースを検索することにより、検出された会話場状態に対応する参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報を算出する推奨視線方向算出手段と、
   前記推奨視線方向算出手段によって算出された推奨視線方向情報によって示される視線方向に会話場の参加者の視線が誘導されるように所定の機器を制御する視線方向制御手段と、
   会話場状態の一部によって定義される会話場状態パラメータと、前記検出された会話場状態の履歴に含まれる情報とが一致することを検出する会話場状態パラメータ一致検出手段と、
   前記会話場状態パラメータ一致検出手段により一致することが検出された場合に、その一致することが検出された会話場状態に含まれる参加者の視線の方向を評価し、この評価結果に基づいて、参加者の視線方向を推奨視線方向情報として、一致することが検出された会話場状態パラメータと関連付けて前記データベースに格納するデータベース更新手段と
   を具備する会話支援システム。
2. 前記会話場状態検出手段は、離れた会話場における参加者の発話状態と参加者の視線の方向とを含む会話場状態をネットワークを介して受信することを含むことを特徴とする請求項１記載の会話支援システム。
3. 前記視線方向制御手段は、前記算出された推奨視線方向情報によって示される視線方向に参加者の視線が向くように、参加者の椅子を回転させる手段を具備することを特徴とする請求項１又は請求項２記載の会話支援システム。
4. 前記視線方向制御手段は、前記算出された推奨視線方向情報によって示される視線方向に参加者の視線が向くように、プロジェクタによりスポットライトを当てる、あるいは、矢印の映像を投影することにより、視線を誘導することを特徴とする請求項１又は請求項２記載の会話支援システム。
5. 複数の参加者を表示する表示手段と、
   前記推奨視線方向検出手段によって検出された推奨視線方向情報によって示される視線方向の参加者以外の前記表示手段に表示される参加者の画像を暗転する処理とをさらに具備することを特徴とする請求項１乃至請求項４いずれか１項に記載の会話支援システム。
6. 会話場状態と、参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報とを互いに関連付けて記憶するデータベースを具備する会話支援システムにおける会話支援方法において、
   会話場における複数の参加者の発話状態を集音装置からの情報に基づいて取得し、各参加者の視線方向を撮像装置からのカメラ画像に基づいて取得し、各参加者の発話状態と視線方向とを含む会話場状態を検出し、
   前記検出された会話場状態を条件として、前記データベースを検索することにより、検出された会話場状態に対応する参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報を算出し、
   前記算出された推奨視線方向情報によって示される視線方向に会話場の参加者の視線が誘導されるように所定の機器を制御し、
   会話場状態の一部によって定義される会話場状態パラメータと、前記検出された会話場状態の履歴に含まれる情報とが一致することを検出し、
   一致することが検出された場合に、その一致することが検出された会話場状態に含まれる参加者の視線の方向を評価し、この評価結果に基づいて、参加者の視線方向を推奨視線方向情報として、一致することが検出された会話場状態パラメータと関連付けて前記データベースに格納する
   ことを特徴とする会話支援方法。
7. 会話場状態と、参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報とを互いに関連付けて記憶するデータベースを具備する会話支援システムにおいて使用される会話支援プログラムにおいて、
   前記会話支援プログラムは、前記会話支援システムに、
   会話場における複数の各参加者の発話状態を集音装置からの情報に基づいて取得し、各参加者の視線の方向を撮像装置からのカメラ画像に基づいて取得し、各参加者の発話状態と視線方向とを含む会話場状態を検出させ、
   前記検出された会話場状態を条件として、前記データベースを検索することにより、検出された会話場状態に対応する参加者の視線を誘導したい対象への視線方向を示す推奨視線方向情報を算出させ、
   前記算出された推奨視線方向情報によって示される視線方向に会話場の参加者の視線が誘導されるように所定の機器を制御させ、
   会話場状態の一部によって定義される会話場状態パラメータと、前記検出された会話場状態の履歴に含まれる情報とが一致することを検出させ、
   一致することが検出された場合に、その一致することが検出された会話場状態に含まれる参加者の視線の方向を評価し、この評価結果に基づいて、参加者の視線方向を推奨視線方向情報として、一致することが検出された会話場状態パラメータと関連付けて前記データベースに格納させることを特徴とする会話支援プログラム。

Images