JP6547467B2

JP6547467B2 - コミュニケーション支援装置、コミュニケーション支援方法、プログラムおよびコミュニケーション支援システム

Info

Publication number: JP6547467B2
Application number: JP2015136028A
Authority: JP
Inventors: ▲徳▼郎山口
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2015-07-07
Filing date: 2015-07-07
Publication date: 2019-07-24
Anticipated expiration: 2035-07-07
Also published as: JP2017022438A

Description

本発明は、コミュニケーション支援装置、コミュニケーション支援方法、プログラムおよびコミュニケーション支援システムに関するものである。

最も直接的なコミュニケーションは、会話やミーティングなどといった対面によるコミュニケーションである。しかし、コミュニケーション相手が遠隔オフィスにいる場合などには、固定電話や、携帯電話、電子メール、ビデオ会議システム、チャットシステム、電子掲示板などのテレコミュニケーションが用いられている。このとき、直接的なコミュニケーションを開始する場合には、その前にコミュニケーション相手の様子をうかがい、コミュニケーション相手の状況を理解してから（例えば、目視などによりコミュニケーション相手の在／不在を確認してから）、コミュニケーションを開始することができる。一方、テレコミュニケーションを開始する場合には、コミュニケーション相手との間に距離的な隔たりがあるため、状況を理解することが困難である場合がある。

近年、ＰＣ（パーソナルコンピュータ）の利用状況や着座センサなどによる在席状況の推定によって、ユーザの行き先や在／不在を自動的に収集し、複数のユーザで閲覧・共有することができるプレゼンス表示システムも普及してきている（例えば、ＭｉｃｒｏｓｏｆｔＬｙｎｃ（登録商標）など）。さらに、ＰＣの利用状況や多様多種なセンサによる状況推定等に加えて、コミュニケーション相手の状況をカメラ映像から確認したり（特許文献１）、コミュニケーション前の事前調整を簡便にしたり（特許文献２）、選択できるテレコミュニケーションの手段をあらかじめ予測し、グルーピングを行ったり（特許文献３）、自動表示（従来文献４）したりする技術が開示されている。

特許文献１には、カメラから得られた撮像画像の表示画面において当該撮像画像に写っている人物をタッチすると、顔認識により撮像画像から当該人物を特定し、当該人物の電話番号を取得し、当該人物への電話によるテレコミュニケーションを行う技術が開示されている。また、特許文献２には、テレコミュニケーションの開始要求に対して、自動的にコミュニケーション可否を応答することができる技術が開示されている。また、特許文献３には、どのコミュニケーション手段を用いるのかというよりも、どのような形式（音声、テキストなど）でコミュニケーションを行うことを望むのかに着目し、複数のコミュニケーション手段をグルーピングして表示する技術が開示されている。特許文献４には、ユーザの開いているウィンドウのコンテキストに応じて、必要と推測されるコミュニケーション相手の情報を検索し、自動表示させる技術が開示されている。

このような背景から、テレコミュニケーションを利用する場合であっても、幾分かはコミュニケーション相手の状況を理解しながら、テレコミュニケーションを開始することができる。

特開２００７−２０８８６３号公報特開２０１２−４８７０８号公報特開２０１１−１５１６０８号公報特開２００５−１２２７２６号公報

しかしながら、例えば、ＰＣを用いない業務や部屋の一所にとどまらず、あちらこちらに動き回る業務、別のコミュニケーションをしながらの業務などの場合は、上述技術でも十分ではない場合がある。一例を挙げるならば、コミュニケーション相手が在席している状態であっても、ＰＣを用いない紙ベースの作業時とＰＣを用いていても電話をしながらの作業時では、求められるコミュニケーション手段が異なる。このような考えられ得る全ての行動様式を多種多様のセンサで取得・推測し、ユーザに提供することも考えられるが、それら行動様式に合わせた最適なコミュニケーション手段をユーザ自身が１つあるいは複数選択することは容易ではない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、離れた拠点のカメラから得られる撮像画像内の人物やデバイスなどに対して、当該撮像画像の表示画面を見るユーザがインタラクションをすることができ、それと同時に撮像画像内の状況（コンテキスト）を確認しながら最適なテレコミュニケーションを確立することのできるよう、簡便にかつ直感的にコミュニケーションの選択を支援することを可能とするコミュニケーション選択支援システムを提供することにある。

これにより、離れた拠点とのテレコミュニケーションであっても、あたかも拠点の近くにいて状況を見ながら話しかけ方（コミュニケーション手段）を変えられるような臨場感のあるコミュニケーションを確立できる。また、当該撮像画像から、コミュニケーションの欲求が想起されたり、誰かに連絡を取る必要があることが思い出されたりするなど、活発なコミュニケーション環境を創出することができる。

上記問題を解決するために、本発明のある観点によれば、撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、を備え、前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、コミュニケーション支援装置が提供される。

前記コミュニケーション手段決定部は、前記映像解析結果と前記プレゼンス情報とに基づいて前記ユーザの状況を示すコンテキストを特定し、前記コンテキストに基づいて前記コミュニケーション手段を決定してもよい。

前記コミュニケーション手段決定部は、前記映像解析結果および前記プレゼンス情報のうち少なくともいずれか一方が変更された場合、前記コミュニケーション手段を動的に更新してもよい。

前記コミュニケーション支援装置は、コミュニケーション支援端末に前記コミュニケーション手段を通知する通信部を備えてもよい。
また、本発明の他の観点によれば、撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、前記映像に対する指定位置に基づいて、前記映像における指定領域を指定する領域指定部と、を備え、前記映像解析部は、前記指定領域に基づいて、前記映像解析結果を得て、前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、コミュニケーション支援装置が提供される。

また、本発明の他の観点によれば、１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得ることと、前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定することと、を含み、前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、コミュニケーション支援方法が提供される。

また、本発明の他の観点によれば、コンピュータを、１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、を備え、前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、コミュニケーション支援装置として機能させるためのプログラムが提供される。

また、本発明の他の観点によれば、コミュニケーション支援装置とコミュニケーション支援端末とを有するコミュニケーション支援システムであって、前記コミュニケーション支援装置は、１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、を備え、前記コミュニケーション支援端末は、前記コミュニケーション手段の通知を受け付ける通信部と、前記コミュニケーション手段に対応するアプリケーションを起動するアプリケーション起動部と、を備え、前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、コミュニケーション支援システムが提供される。

前記コミュニケーション支援端末は、前記コミュニケーション手段に対応するアプリケーションを起動するアプリケーション起動部を備えてもよい。

前記コミュニケーション支援端末は、前記コミュニケーション手段決定部により決定された複数のコミュニケーション手段のいずれかを選択するための選択メニューを生成するメニュー制御部を備えてもよい。

前記メニュー制御部は、前記コミュニケーション手段決定部による前記複数のコミュニケーション手段の決定に変更が生じた場合、前記変更に基づいて前記選択メニューを動的に更新してもよい。

前記メニュー制御部は、前記複数のコミュニケーション手段それぞれに関連付けられている優先度に基づいて、前記選択メニューを制御してもよい。

前記メニュー制御部は、所定の質問に対する回答が入力された場合、前記回答に基づいて、前記選択メニューを制御してもよい。
また、本発明の他の観点によれば、コミュニケーション支援装置とコミュニケーション支援端末とを有するコミュニケーション支援システムであって、前記コミュニケーション支援装置は、１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、を備え、前記コミュニケーション支援端末は、前記コミュニケーション手段の通知を受け付ける通信部と、前記コミュニケーション手段に対応するアプリケーションを起動するアプリケーション起動部と、前記映像を表示する出力部と、前記映像に対する指定位置を入力する入力部と、を備え、前記コミュニケーション手段決定部は、前記指定位置に応じた指定領域と前記映像解析結果と前記プレゼンス情報とに基づいて、前記コミュニケーション手段を決定し、前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、コミュニケーション支援システムが提供される。

以上説明したように本発明によれば、離れた拠点のカメラから得られる撮像画像内の人物やデバイスなどに対して、当該撮像画像の表示画面を見るユーザがインタラクションをすることができ、それと同時に撮像画像内の状況（コンテキスト）を確認しながら最適なテレコミュニケーションを確立することのできるよう、簡便にかつ直感的にコミュニケーションの選択を支援することを可能とするコミュニケーション選択支援システムを提供することが可能である。

本発明の第１の実施形態に係るコミュニケーション支援システムの構成例を示す機能構成図である。映像の表示例を示す図である。具体的なコミュニケーション手段の第１の決定手法を説明するための図である。具体的なコミュニケーション手段の第２の決定手法を説明するための図である。具体的なコミュニケーション手段の第３の決定手法を説明するための図である。具体的なコミュニケーション手段の第４の決定手法を説明するための図である。コンテキスト情報の例を示す図である。本発明の第１の実施形態に係るコミュニケーション支援システムの動作の流れを示すフローチャートである。本発明の第２の実施形態に係るコミュニケーション支援端末の構成例を示す機能構成図である。メニュー制御部の機能を概念的に説明するための図である。１のユーザが選択された場合に表示される選択メニューの例を示す図である。他のユーザが選択された場合に表示される選択メニューの例を示す図である。本発明の第３の実施形態に係るコミュニケーション支援端末の動作の流れを示すフローチャートである。本発明の第３の実施形態に係るコミュニケーション支援端末の構成例を示す機能構成図である。所定の条件が満たされた場合に表示される質問の例を示す図である。質問の拡大例を示す図である。本発明の第３の実施形態に係るコミュニケーション支援端末の動作の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１を参照しながら、本発明の第１の実施形態に係るコミュニケーション支援システムの構成例について説明する。図１は、本発明の第１の実施形態に係るコミュニケーション支援システム１Ａの構成例を示す機能構成図である。図１に示したように、本発明の第１の実施形態に係るコミュニケーション支援システム１Ａは、コミュニケーション支援装置１０と、１または複数のコミュニケーション支援端末２０Ａ−１〜２０−ｊ（ｊは自然数）と、二つの撮像装置５０とを有している。

コミュニケーション支援装置１０は、通信網４０を介して二つの撮像装置５０と通信可能に構成されている。ここでは、撮像装置５０が二つ存在する場合を説明するが、撮像装置５０は一つであってもよいし、二つ以外の複数であってもよい。このような二つの撮像装置５０は、オフィス内の場所や公共施設などの多様な場所に設置され得る。また、コミュニケーション支援装置１０は、通信網４０を介してコミュニケーション支援端末２０Ａ−１〜２０−ｊと通信可能に構成されている。

また、図１に示したように、コミュニケーション支援装置１０は、映像受信部１１０と、通信部１２０と、領域指定部１３０と、映像解析部１４０と、コミュニケーション手段決定部１５０と、プレゼンス情報取得部１６０と、カメラ情報記憶部１７０と、オブジェクト情報記憶部１８０と、コンテキスト情報記憶部１９０とを備える。また、コミュニケーション支援装置１０の外部には、アプリケーションが記憶されている。なお、アプリケーションは、コミュニケーション支援装置１０の内部において記憶されていてもよい。

コミュニケーション支援端末２０Ａは、入力部２１０と、通信部２２０と、出力部２３０と、アプリケーション情報記憶部２４０と、アプリケーション起動部２５０とを備える。コミュニケーション支援端末２０Ａは、スマートフォン、ゲーム機、タブレットＰＣ、ＰＣなどであってよい。また、コミュニケーション支援端末２０Ａの外部には、アプリケーションが記憶されている。なお、アプリケーションは、コミュニケーション支援端末２０Ａの内部において記憶されていてもよい。以下、ユーザＵ１が利用するコミュニケーション支援端末２０Ａ−１を用いて説明する。

入力部２１０は、ユーザからの操作を入力する機能を有する。以下では、入力部２１０が出力部２３０に積層されるタッチパネルによって構成される場合を主に想定するが、入力部２１０の構成は、かかる構成に限定されない。例えば、入力部２１０は、マウスであってもよい。かかる場合、入力部２１０は、クリック操作、ドラッグ操作などを入力することが可能である。また、入力部２１０は、赤外線カメラであってもよい。かかる場合、入力部２１０は、ジェスチャによる入力が可能である。あるいは、入力部２１０は、複数の入力手法を利用してユーザからの操作を入力可能であってもよい。

出力部２３０は、各種情報を出力する機能を有する。以下では、出力部２３０がユーザによって視覚可能な形態により情報を表示する表示部（例えば、液晶ディスプレイなど）によって構成される場合を主に想定するが、出力部２３０の構成は、かかる構成に限定されない。例えば、出力部２３０は、表示部以外の他の構成（例えば、音声出力装置、バイブレータなど）をさらに有していてもよい。

撮像装置５０は，映像を撮像する機能と、通信網４０を介してコミュニケーション支援装置１０に映像を送信する機能とを有する。ここでは、図１に示したように、二つの撮像装置５０がオフィス内のさまざまな位置に設置されていることを想定している。しかし、二つの撮像装置５０が設置される場所は特に限定されない。また、撮像装置５０のカメラ情報（例えば、パン・チルト・ズーム、映像が表示対象として選択されているか否かなどといった撮像装置５０に関連する所定パラメータ）は、ユーザの操作に従って適宜に変更されてもよい。

映像受信部１１０は、二つの撮像装置５０それぞれによって撮像された映像を、通信網４０を介して受信する。このとき、映像受信部１１０は、受信した二つの映像それぞれに対して、各映像を撮像した撮像装置５０を一意に識別するための固有の識別情報（例えば、カメラ番号など）を付与してもよい。そうすれば、付与された識別情報によって映像を撮像した撮像装置５０を識別することが可能である。映像受信部１１０によって受信された二つの映像のうち、表示対象として選択されている映像は、通信部１２０を介してコミュニケーション支援端末２０Ａ−１に送信される。

コミュニケーション支援端末２０Ａ−１において、通信部２２０は、コミュニケーション支援装置１０から映像を受信する。そして、出力部２３０は、通信部２２０によって受信された映像を表示する。図２は、映像の表示例を示す図である。図２に示したように、出力部２３０は、表示対象として選択されている映像を表示する。出力部２３０によって表示されている映像には、ユーザＵ２およびユーザＵ３が会話をしている様子が写っている。

オブジェクト情報記憶部１３１は、オブジェクトに関する情報（以下、「オブジェクト情報」とも言う。）を記憶している。以下では、オブジェクトとして人物を主に例として挙げて説明するが、オブジェクトは人物に限定されず、固定電話などといったデバイスであってもよい。オブジェクト情報は、映像を特定するための表示映像ソースごとに、オブジェクトの位置およびサイズ、オブジェクト同士の関連性などを有している。

カメラ情報記憶部１７０は、例えば、パン・チルト・ズーム、映像が表示対象として選択されているか否かなどといった撮像装置５０に関連する所定パラメータをカメラ情報として記憶する。続いて、ユーザＵ１が映像における位置を指定する操作を行うと、ユーザＵ１によって指定された位置が指定位置として入力部２１０によって入力される。

領域指定部１３０は、映像に対する指定位置に基づいて、映像における指定領域を指定する。指定領域はどのように指定されてもよいが、例えば、映像にあらかじめ座席ごとに設定された複数の領域から指定位置を含んだ領域が指定領域として指定されてよい。このとき、領域指定部１３０は、映像に対する指定位置に加えて、オブジェクト情報およびカメラ情報に基づいて、指定領域を指定してもよい。

映像解析部１４０は、映像を解析してユーザに関する所定のオブジェクト（例えば、ユーザの身体、ユーザのデバイスなど）の存否を含む映像解析結果を得る。例えば、映像解析部１４０は、映像における指定領域にユーザに関する所定のオブジェクトが存するか否かを解析して映像解析結果を得てよい。例えば、図２に示した例では、映像解析結果は、Ａ席に人物（＝ユーザＵ２）が１人存在しているといった情報であってよい。

プレゼンス情報取得部１６０は、ユーザＵ２の状態を示すプレゼンス情報を取得する。プレゼンス情報は、固定電話などのデバイスによって実行されているアプリケーションから取得されてよい。例えば、固定電話が使用中であるか否かを示す情報が、固定電話からプレゼンス情報として取得されてもよい。あるいは、予定（会議への出席予定など）が入っているか否かを示す情報が予定表管理アプリケーションからプレゼンス情報として取得されてもよい。あるいは、ＭｉｃｒｏｓｏｆｔＬｙｎｃ（登録商標）などのプレゼンスツールが保持する在席情報やユーザ場所推定情報などがプレゼンス情報として取得されてもよい。

あるいは、ＰＣがオンラインであるか否か、一時退席中であるかといった情報が、通信状況管理アプリケーションからプレゼンス情報として取得されてもよい。あるいは、ビデオ電話アプリケーションが使用中であるか否かを示す情報が、ビデオ電話アプリケーションからプレゼンス情報として取得されてもよい。あるいは、音声インタフェースおよび映像インタフェースが使用中であるか否かを示す情報が、音声インタフェースおよび映像インタフェースからプレゼンス情報として取得されてもよい。あるいは、入力インタフェースが使用されていない時間が所定時間を超えたか否かがプレゼンス情報として取得されてもよい。

コンテキスト情報記憶部１９０は、コンテキスト情報を記憶する。図７は、コンテキスト情報の例を示す図である。図７に示すように、コンテキスト情報は、映像から解析されるオブジェクトの存否に関する情報（例えば、図７に示した、座席、人物検出数など）と、プレゼンス情報（例えば、図７に示した、固定電話が使用中であるか否か、予定が入っているか否か、ＰＣがオンラインであるか否か、一時退席中であるか、ビデオ電話アプリが使用中であるか否か、音声インタフェースが使用中であるか否かといった情報）と、コミュニケーション手段（例えば、図７に示した「固定電話」「メール」「チャット」「社内用携帯電話」「携帯電話」「留守録」など）と、が関連付けられた情報であってよい。

さらに、図７に示すように、これらの情報に対して、ユーザの状況を示すコンテキストが関連付けられていてもよい。コミュニケーション手段決定部１５０は、映像解析結果とプレゼンス情報とに基づいて、ユーザＵ１とのコミュニケーション手段を決定する。例えば、コミュニケーション手段決定部１５０は、映像から解析されるオブジェクトの存否に関する情報（映像解析結果）とプレゼンス情報とに関連付けられたコミュニケーション手段をコンテキスト情報記憶部１９０から取得してよい。

このとき、コミュニケーション手段決定部１５０は、映像から解析されるオブジェクトの存否に関する情報（映像解析結果）とプレゼンス情報とに基づいてコンテキストを特定し、コンテキストに基づいてコミュニケーション手段を決定してもよい。例えば、コミュニケーション手段決定部１５０は、映像から解析されるオブジェクトの存否に関する情報（映像解析結果）とプレゼンス情報とに関連付けられたコンテキストをコンテキスト情報記憶部１９０から取得し、コンテキストに関連付けられたコミュニケーション手段をコンテキスト情報記憶部１９０から取得してよい。

具体的なコミュニケーション手段の決定手法について説明する。図３は、具体的なコミュニケーション手段の第１の決定手法を説明するための図である。図３を参照すると、コミュニケーション支援端末２０Ａ−１における出力部２３０によって映像が表示されている。このとき、映像からユーザＵ２が１人写っているという映像解析結果が得られたとする。また、固定電話Ｃ２−２は使用されておらず、ビデオ電話アプリケーションが使用されておらず、音声インタフェースが使用されていないというプレゼンス情報が得られたとする。かかる場合、コミュニケーション手段決定部１５０は、コミュニケーション手段として、固定電話を決定すればよい（図７のＮｏ．１）。

図４は、具体的なコミュニケーション手段の第２の決定手法を説明するための図である。図４を参照すると、コミュニケーション支援端末２０Ａ−１における出力部２３０によって映像が表示されている。このとき、映像からユーザＵ２とユーザＵ３との２人が写っているという映像解析結果が得られたとする。ユーザＵ２とユーザＵ３とは会話中であると予想される。また、デバイスＣ２−１（ＰＣ）がオンラインであるというプレゼンス情報が得られたとする。かかる場合、コミュニケーション手段決定部１５０は、コミュニケーション手段として、メールを決定すればよい（図７のＮｏ．４）。

図５は、具体的なコミュニケーション手段の第３の決定手法を説明するための図である。図５を参照すると、コミュニケーション支援端末２０Ａ−１における出力部２３０によって映像が表示されている。このとき、映像からユーザＵ２が１人写っているという映像解析結果が得られたとする。また、音声インタフェースは使用されているが、ビデオ電話アプリケーションは使用されていないというプレゼンス情報が得られたとする。かかる場合、コミュニケーション手段決定部１５０は、コミュニケーション手段として、チャットを決定すればよい（図７のＮｏ．８）。

図６は、具体的なコミュニケーション手段の第４の決定手法を説明するための図である。図６を参照すると、コミュニケーション支援端末２０Ａ−１における出力部２３０によって映像が表示されている。このとき、映像からユーザＵ２が１人写っているという映像解析結果が得られたとする。また、音声インタフェースも使用されており、ビデオ電話アプリケーションも使用されているというプレゼンス情報が得られたとする。かかる場合、コミュニケーション手段決定部１５０は、コミュニケーション手段として、メールを決定すればよい（図７のＮｏ．９）。

コミュニケーション手段決定部１５０によって決定されたコミュニケーション手段は、通信部１２０によって、コミュニケーション支援端末２０Ａ−１に通知される。コミュニケーション支援端末２０−１においては、通信部２２０によってコミュニケーション手段の通知が受け取られる。アプリケーション情報記憶部２４０は、コミュニケーション手段とアプリケーションに関連する情報（例えば、アプリケーション名、アプリケーション格納場所など）とが関連付けられたアプリケーション情報を記憶している。

アプリケーション情報は、コミュニケーション支援端末２０Ａごとに異なっていてもよい。また、アプリケーション情報は、追加や削除などといった編集が可能であってもよい。アプリケーション起動部２５０は、アプリケーション情報を参照して、通知されたコミュニケーション手段に対応するアプリケーションを起動する。

コミュニケーション手段決定部１５０によって決定されたコミュニケーション手段は、一度決定されたら変更されなくてもよいが、動的に変更されるのがよい。すなわち、コミュニケーション手段決定部１５０は、映像解析結果およびプレゼンス情報のうち少なくともいずれか一方が変更された場合、コミュニケーション手段を動的に更新してもよい。あるいは、コミュニケーション手段決定部１５０は、所定の時間ごとにコミュニケーション手段を動的に変更してもよい。変更後のコミュニケーション手段は、同様にコミュニケーション支援端末２０Ａ−１に通知されてよい。

以上に説明したように、本発明の第１の実施形態に係るコミュニケーション支援システム１Ａによれば、離れた拠点のカメラから得られる撮像画像内の人物やデバイスなどに対して、当該撮像画像の表示画面を見るユーザがインタラクションをすることができ、それと同時に撮像画像内の状況（コンテキスト）を確認しながら最適なテレコミュニケーションを確立することのできるよう、簡便にかつ直感的にコミュニケーションの選択を支援することが可能となる。

続いて、本発明の第１の実施形態に係るコミュニケーション支援システム１Ａの動作の流れについて説明する。図８は、本発明の第１の実施形態に係るコミュニケーション支援システム１Ａの動作の流れを示すフローチャートである。図８に示すように、コミュニケーション支援装置１０は、各種情報（例えば、カメラ情報、オブジェクト情報、コンテキスト情報など）を読み込む（Ｓ１０１）。続いて、プレゼンス情報取得部１６０がプレゼンス情報を取得するとともに（Ｓ１０６）、映像受信部１１０が撮像装置５０から映像を受信する（Ｓ１０２）。

映像受信部１１０によって撮像装置５０から映像が受信されると、通信部１２０は、その映像をコミュニケーション支援端末２０−１に配信する（Ｓ１０３）。領域指定部１３０は、ユーザＵ１による指定位置が入力部２１０によって入力されると、当該指定位置とカメラ情報およびオブジェクト情報とに基づいて、映像における指定領域を選択する。コミュニケーション支援装置１０は、領域指定部１３０によって指定領域が選択されなかった場合（Ｓ１０４において「Ｎｏ」）、Ｓ１０２に戻る。一方、映像解析部１４０は、領域指定部１３０によって指定領域が選択された場合（Ｓ１０４において「Ｙｅｓ」）、指定領域に基づいて映像解析を実行する（Ｓ１０５）。

続いて、コミュニケーション手段決定部１５０は、映像解析結果とプレゼンス情報とに基づいて、コミュニケーション手段を決定する（Ｓ１０７）。通信部１２０は、決定されたコミュニケーション手段をコミュニケーション支援端末２０Ａ−１に通知し（Ｓ１０８）、コミュニケーション支援端末２０−１において、通信部２２０は、コミュニケーション手段の通知を受け取る。アプリケーション起動部２５０は、通知されたコミュニケーション手段に対応するアプリケーションを起動する。

コミュニケーション支援装置１０は、コミュニケーション支援端末２０Ａ−１においてアプリケーションが起動されてコミュニケーションが開始された場合には（Ｓ１０９において「Ｙｅｓ」）、コミュニケーション手段を決定する必要がなくなるため、動作を終了させる。一方、コミュニケーション支援装置１０は、コミュニケーション支援端末２０Ａ−１においてアプリケーションが起動されずにコミュニケーションが開始されていない場合には（Ｓ１０９において「Ｎｏ」）、Ｓ１０１に戻って、コミュニケーション手段の決定を継続して行う。

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態に係るコミュニケーション支援システム１Ｂは、本発明の第１の実施形態に係るコミュニケーション支援システム１Ａと比較して、コミュニケーション支援端末２０Ｂの構成が異なる。したがって、本発明の第２の実施形態においては、コミュニケーション支援装置１０についての説明は省略し、コミュニケーション支援端末２０Ｂについて主に説明する。まず、図９を参照しながら、本発明の第２の実施形態に係るコミュニケーション支援端末２０Ｂの構成例について説明する。図９は、本発明の第２の実施形態に係るコミュニケーション支援端末２０Ｂの構成例を示す機能構成図である。

図９に示したように、本発明の第２の実施形態に係るコミュニケーション支援端末２０Ｂは、本発明の第１の実施形態に係るコミュニケーション支援端末２０Ａと比較して、メニュー制御部２６０を有している点が異なっている。したがって、本発明の第２の実施形態においては、コミュニケーション支援端末２０Ｂが有する各構成のうち、メニュー制御部２６０について主に説明する。

図１０は、メニュー制御部２６０の機能を概念的に説明するための図である。本発明の第１の実施形態においては説明したように、コミュニケーション支援端末２０Ａ−１には、コミュニケーション支援装置１０からコミュニケーション手段が通知される。このとき、複数のコミュニケーション手段が通知される場合も想定される。例えば、固定電話、メール、チャット、携帯電話および留守録が、コミュニケーション手段として通知された場合を想定する。

かかる場合、メニュー制御部２６０は、複数のコミュニケーション手段のいずれかを選択するための選択メニューを生成してよい。このとき、メニュー制御部２６０は、アプリケーション情報記憶部２４０によって記憶されているアプリケーション情報を参照して、コミュニケーション手段に対応するアプリケーション名をメニューとして利用してもよい。そして、メニュー制御部２６０は、選択メニューを出力部２３０に出力させてよい。図１０に示した選択メニューには、固定電話メニューＺ０、メールメニューＺ１、チャットメニューＺ２、携帯電話メニューＺ３および留守録メニューＺ４が含まれている。この例では、指定領域の位置Ｅを中心とした各扇形状の内部に各メニューが配置されている。

選択メニューの表示はどのようにされてもよい。例えば、選択メニューの表示には優先度が考慮されてもよい。すなわち、メニュー制御部２６０は、複数のコミュニケーション手段それぞれに関連付けられている優先度に基づいて、選択メニューを制御してもよい。例えば、メニュー制御部２６０は、等分割された各扇形状の内部にメニューを配置してもよいし、複数のコミュニケーション手段それぞれに関連付けられている優先度に比例する角度を中心角とした各扇形状の内部にメニューを配置してもよい。

選択メニューが配置された画面の具体例について説明する。図１１は、ユーザＵ２が選択された場合に表示される選択メニューの例を示す図である。図１１に示した例では、コミュニケーション手段として、チャットおよびビデオ電話が通知されたが、固定電話は通知されなかった場合を想定している。このとき、メニュー制御部２６０は、チャットメニューＭ２およびビデオ電話アプリケーションメニューＭ３を含んだ選択メニューを生成し、出力部２３０は、ユーザＵ２の周囲に選択メニューを表示してよい。

また、メニュー制御部２６０は、固定電話メニューＭ１を選択メニューに含め、コミュニケーション手段として通知されなかった旨を示す印（例えば、×印）を固定電話メニューＭ１に付してもよい。あるいは、メニュー制御部２６０は、固定電話メニューＭ１を選択メニューに含めないようにしてもよい。ユーザＵ１の操作体Ｏｐによってメニューを選択する操作がなされると、入力部２１０は、選択操作を入力し、アプリケーション起動部２５０は、選択されたメニューに対応するアプリケーションを起動する。

図１２は、ユーザＵ２とは異なるユーザＵ５が選択された場合に表示される選択メニューの例を示す図である。図１２に示した例では、コミュニケーション手段として、固定電話、チャットおよびビデオ電話のすべてが通知された場合を想定している。このとき、メニュー制御部２６０は、固定電話メニューＭ１、チャットメニューＭ２およびビデオ電話アプリケーションメニューＭ３を含んだ選択メニューを生成し、出力部２３０は、ユーザＵ５の周囲に選択メニューを表示してよい。

かかる選択メニューの表示は、変更されなくてもよいが、動的に変更されてもよい。例えば、メニュー制御部２６０は、コミュニケーション手段決定部１５０による複数のコミュニケーション手段の決定に変更が生じた場合、変更に基づいて選択メニューを動的に更新してもよい。具体的には、コミュニケーション支援装置１０における通信部１２０から通知され、コミュニケーション支援端末２０Ｂにおける通信部２２０によって受信されるコミュニケーション手段に変更が生じた場合、変更後のコミュニケーション手段に基づいて選択メニューを更新してもよい。

なお、同一のコンテキストに対して複数のコミュニケーション手段が関連付けられている場合も想定される（例えば、図７におけるＮｏ．３とＮｏ．１３）。かかる場合、メニュー制御部２６０は、同一のコンテキストに対して複数のコミュニケーション手段それぞれをメニューとして選択メニューに含めればよい。Ｎｏ．１３におけるコミュニケーション手段「留守録」は、映像から選択されたユーザが固定電話を使用中である場合などに伝言メッセージを残すといった構内交換機の機能であってよい。

以上に説明したように、本発明の第２の実施形態に係るコミュニケーション支援システム１Ｂによれば、映像に対するユーザの入力を通じて映像内の特定の領域を指定することに加えて、映像内のコンテキストの変化やユーザの希望するコミュニケーションの形に合わせて、特定の領域の周囲にコミュニケーションメニューが表示される。これによって、ユーザはより最適なコミュニケーションをユーザの意思を尊重しながら、コミュニケーション手段を選択することが可能となる。また、これにより、離れた拠点とのテレコミュニケーションであっても、あたかも近くにいて状況を見ながら話しかけ方を変えられるコミュニケーション環境を実現することが可能となる。

続いて、本発明の第２の実施形態に係るコミュニケーション支援端末２０Ｂの動作の流れについて説明する。図１３は、本発明の第２の実施形態に係るコミュニケーション支援端末２０Ｂの動作の流れを示すフローチャートである。図１３に示すように、コミュニケーション支援端末２０Ｂにおいて、通信部２２０は、コミュニケーション支援装置１０からコミュニケーション手段の通知を受ける（Ｓ２０１）。続いて、メニュー制御部２６０は、通知されたコミュニケーション手段に基づいて、選択メニューを生成し、出力部２３０は、選択メニューを表示する（Ｓ２０２）。

続いて、コミュニケーション支援端末２０Ｂは、選択メニューからコミュニケーション手段（メニュー）が選択されなかった場合には（Ｓ２０３において「Ｎｏ」）、Ｓ２０１に戻る。これにより、選択メニューを表示している最中に、通知されたコミュニケーション手段に変更があった場合、コミュニケーション手段の変更に応じて表示内容も変更される。一方、コミュニケーション支援端末２０Ｂは、選択メニューからコミュニケーション手段（メニュー）が選択された場合には（Ｓ２０３において「Ｙｅｓ」）、アプリケーション起動部２５０は、選択されたコミュニケーション手段に対応するアプリケーションを起動する（Ｓ２０４）。アプリケーションが起動されると、コミュニケーションが開始される（Ｓ２０５）。

（３．第３の実施形態）
続いて、本発明の第３の実施形態について説明する。本発明の第３の実施形態に係るコミュニケーション支援システム１Ｃは、本発明の第２の実施形態に係るコミュニケーション支援システム１Ｂと比較して、コミュニケーション支援端末２０Ｃの構成が異なる。したがって、本発明の第３の実施形態においては、コミュニケーション支援装置１０についての説明は省略し、コミュニケーション支援端末２０Ｃについて主に説明する。まず、図１４を参照しながら、本発明の第３の実施形態に係るコミュニケーション支援端末２０Ｃの構成例について説明する。図１４は、本発明の第３の実施形態に係るコミュニケーション支援端末２０Ｃの構成例を示す機能構成図である。

図１４に示したように、本発明の第３の実施形態に係るコミュニケーション支援端末２０Ｃは、本発明の第２の実施形態に係るコミュニケーション支援端末２０Ｂと比較して、質問選択部２７０を有している点が異なっている。したがって、本発明の第３の実施形態においては、コミュニケーション支援端末２０Ｃが有する各構成のうち、質問選択部２７０について主に説明する。

本発明の第２の実施形態においては説明したように、メニュー制御部２６０は、選択メニューを生成してよい。ここで、質問選択部２７０は、所定の条件が満たされている場合には、所定の質問を選択してもよい。そして、出力部２３０は、選択された質問を表示し、メニュー制御部２６０は、ユーザが質問に対する回答を入力する操作を行い、入力部２１０によって回答が入力された場合、回答に基づいて、選択メニューを制御してもよい。かかる選択メニューの制御によって、コンテキストの推定だけではフォローしきれないユーザの機微を捉まえ、より臨場感の高いコミュニケーション手段の選択を支援することが可能となる。

なお、選択される質問は複数であってもよい。ここで、質問が表示された画面の具体例について説明する。図１５は、所定の条件が満たされた場合に表示される質問の例を示す図である。図１５には、質問選択部２７０が、指定領域に存在するユーザＵ２が会話中であるという条件が満たされた場合に、「会話に参加しますか？」といった質問Ｙ１を選択し（図１６）、出力部２３０がこの質問を表示している例が示されている。

ここで、メニュー制御部２６０は、会話に参加する旨（Ｙｅｓ）が選択された場合、会話に参加可能なコミュニケーション手段に対応するメニュー（例えば、ビデオ電話アプリケーションメニュー、スピーカ状態である電話メニューなど）を選択メニューに含め、会話に参加不可能なコミュニケーション手段に対応するメニュー（例えば、メールメニュー、チャットメニューなど）を選択メニューから消去してもよい。また、会話に参加する旨（Ｎｏ）が選択された場合、選択メニューは更新しなくてもよい。

なお、所定の条件と質問との対応関係は、かかる例に限定されない。例えば、所定の条件は、特定されたコンテキストが会話中であるという条件であってもよい。かかる場合、会話の相手によっては、ビデオ電話に参加することが望まれる場合も想定される。したがって、かかる場合には、質問選択部２７０は、「ビデオ電話に参加しますか？」といった質問を選択してもよい。

また、所定の条件は、指定領域に存在するユーザが既に他のコミュニケーションを開始しているという条件であってもよい。かかる場合、当該他のコミュニケーションに参加することが望まれる場合も想定される。したがって、かかる場合には、質問選択部２７０は、「既に開始されている他のコミュニケーションに参加しますか？」といった質問を選択してもよい。

また、所定の条件は、指定領域に所定のデバイスが存在するという条件であってもよい。かかる場合、所定領域に存在するユーザとの会話内容を周囲に聞かせたくない場合などには、そのユーザに所定のデバイス（例えば、ヘッドホンなど）を利用して欲しい場合も想定される。したがって、かかる場合には、質問選択部２７０は、「周囲に自分の声が聞こえてもよい？」といった質問を選択してもよい。

続いて、本発明の第３の実施形態に係るコミュニケーション支援端末２０Ｃの動作の流れについて説明する。図１７は、本発明の第３の実施形態に係るコミュニケーション支援端末２０Ｃの動作の流れを示すフローチャートである。図１７に示すように、コミュニケーション支援端末２０Ｃにおいて、通信部２２０は、コミュニケーション支援装置１０からコミュニケーション手段の通知を受ける。そして、メニュー制御部２６０は、所定の条件が満たされていない場合には（Ｓ３０１において「Ｎｏ」）、通知されたコミュニケーション手段に基づいて選択メニューを生成する（Ｓ３０２）。

一方、所定の条件が満たされている場合には（Ｓ３０１において「Ｙｅｓ」）、質問選択部２７０は、質問を選択し、メニュー制御部２６０は、選択された質問および通知されたコミュニケーション手段に基づいて、選択メニューを生成する（Ｓ３０２）。続いて、出力部２３０は、選択メニューを表示する（Ｓ２０２）。続いて、メニュー制御部２６０は、質問に対する回答が入力されなかった場合には（Ｓ３０４において「Ｎｏ」）、Ｓ３０６に進み、質問に対する回答が入力された場合には（Ｓ３０４において「Ｙｅｓ」）、回答に応じて選択メニューを更新する（Ｓ３０５）。

続いて、コミュニケーション支援端末２０Ｃは、選択メニューからコミュニケーション手段（メニュー）が選択されなかった場合には（Ｓ３０６において「Ｎｏ」）、Ｓ３０１に戻る。一方、コミュニケーション支援端末２０Ｃは、選択メニューからコミュニケーション手段（メニュー）が選択された場合には（Ｓ３０６において「Ｙｅｓ」）、アプリケーション起動部２５０は、選択されたコミュニケーション手段に対応するアプリケーションを起動する。アプリケーションが起動されると、コミュニケーションが開始される（Ｓ３０７）。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、等分割された各扇形状の内部にメニューが配置される例、複数のコミュニケーション手段それぞれに関連付けられている優先度に比例する角度を中心角とした各扇形状の内部にメニューが配置される例などを説明した。しかし、メニューの配置はかかる例に限定されない。例えば、メニュー制御部２６０は、所定方向に（例えば、左上から右下に）メニューを配置してもよい。また、表示される各メニューは、ディゾルブなどのアニメーションを伴ってもよい。さらに、各メニューの他に、周囲の人物の名称、プレゼンス情報なども合わせて表示されてもよい。

また、例えば、映像内の指定領域を解析する映像解析の精度を向上させるための技術が利用されてもよい。より詳細には、カメラ情報記憶部１７０によって各撮像装置５０の３次元位置情報、カメラ情報、撮像される拠点の座標系が記憶されていれば、入力部２１０によって入力される指定位置に応じた指定領域は２次元情報であるが、指定領域を３次元情報に変換することも可能である。そのため、ある領域を複数の画角からの映像を用いて解析できることとなり、映像解析の精度を向上させることができる。

また、例えば、コンテキスト情報記憶部１９０によって記憶されるコンテキスト情報（テーブル）における行項目および列項目は、ユーザから編集可能であってもよい。これは、新たなコミュニケーションデバイスやアプリケーションの追加・編集に対応するためであり、ユーザの嗜好（例えば、メールによるコミュニケーションを優先して欲しいなど）に併せて変更するためでもある。このことから、ある程度ユーザが一定の場合には、ユーザごとに異なるテーブルを保持するようにしてもよい。

また、上記では、本発明の実施形態は、一般的なオフィス環境において拠点が複数地点に分散している場合に有効に適用され得ることを説明した。しかし、本発明の実施形態は、金融機関や公共機関、一般店舗などにも応用可能である。例えば、複数の店舗を持つ金融機関で本部が各支店を映像によって遠隔監視する場合などにおいて、管理者が異常を発見した際に、すぐにコミュニケーションを取る場合や、顧客などの気を遣いながらコミュニケーション手段を選択する場合にも、本発明の実施形態は有効に適用され得る。このように、本発明の実施形態は、ユーザが直接的に映像内の人物を知らない場合にも有効に適用され得る。

１（１Ａ〜１Ｃ）コミュニケーション支援システム
１０コミュニケーション支援装置
２０（２０Ａ〜２０Ｃ）コミュニケーション支援端末
４０通信網
５０撮像装置
１１０映像受信部
１２０通信部
１３０領域指定部
１３１オブジェクト情報記憶部
１４０映像解析部
１５０コミュニケーション手段決定部
１６０プレゼンス情報取得部
１７０カメラ情報記憶部
１８０オブジェクト情報記憶部
１９０コンテキスト情報記憶部
２１０入力部
２２０通信部
２３０出力部
２４０アプリケーション情報記憶部
２５０アプリケーション起動部
２６０メニュー制御部
２７０質問選択部
Ｙ１質問

Claims

撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、
前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、
前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、
を備え、
前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、
前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、
前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、
コミュニケーション支援装置。
前記コミュニケーション手段決定部は、前記映像解析結果と前記プレゼンス情報とに基づいて前記ユーザの状況を示すコンテキストを特定し、前記コンテキストに基づいて前記コミュニケーション手段を決定する、
請求項１に記載のコミュニケーション支援装置。
前記コミュニケーション手段決定部は、前記映像解析結果および前記プレゼンス情報のうち少なくともいずれか一方が変更された場合、前記コミュニケーション手段を動的に更新する、
請求項１に記載のコミュニケーション支援装置。
前記コミュニケーション支援装置は、
コミュニケーション支援端末に前記コミュニケーション手段を通知する通信部を備える、
請求項１に記載のコミュニケーション支援装置。
撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、
前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、
前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、
前記映像に対する指定位置に基づいて、前記映像における指定領域を指定する領域指定部と、を備え、
前記映像解析部は、前記指定領域に基づいて、前記映像解析結果を得て、
前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、
前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、
コミュニケーション支援装置。
１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得ることと、
前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、
前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定することと、
を含み、
前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、
前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、
前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、
コミュニケーション支援方法。
コンピュータを、
１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、
前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、
前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、
を備え、
前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、
前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、
前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、
コミュニケーション支援装置として機能させるためのプログラム。
コミュニケーション支援装置とコミュニケーション支援端末とを有するコミュニケーション支援システムであって、
前記コミュニケーション支援装置は、
１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、
前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、
前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、を備え、
前記コミュニケーション支援端末は、
前記コミュニケーション手段の通知を受け付ける通信部と、
前記コミュニケーション手段に対応するアプリケーションを起動するアプリケーション起動部と、
を備え、
前記コミュニケーション手段が操作体によって選択された場合、前記コミュニケーション手段に対応するアプリケーションが起動され、
前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、
前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、
コミュニケーション支援システム
前記コミュニケーション手段決定部は、前記映像解析結果と前記プレゼンス情報とに基づいて前記ユーザの状況を示すコンテキストを特定し、前記コンテキストに基づいて前記コミュニケーション手段を決定する、
請求項８に記載のコミュニケーション支援システム。
前記コミュニケーション支援端末は、前記コミュニケーション手段に対応するアプリケーションを起動するアプリケーション起動部を備える、
請求項８に記載のコミュニケーション支援システム。
前記コミュニケーション支援端末は、前記コミュニケーション手段決定部により決定された複数のコミュニケーション手段のいずれかを選択するための選択メニューを生成するメニュー制御部を備える、
請求項８に記載のコミュニケーション支援システム。
前記メニュー制御部は、前記コミュニケーション手段決定部による前記複数のコミュニケーション手段の決定に変更が生じた場合、前記変更に基づいて前記選択メニューを動的に更新する、
請求項１１に記載のコミュニケーション支援システム。
前記メニュー制御部は、前記複数のコミュニケーション手段それぞれに関連付けられている優先度に基づいて、前記選択メニューを制御する、
請求項１１に記載のコミュニケーション支援システム。
前記メニュー制御部は、所定の質問に対する回答が入力された場合、前記回答に基づいて、前記選択メニューを制御する、
請求項１１に記載のコミュニケーション支援システム。
コミュニケーション支援装置とコミュニケーション支援端末とを有するコミュニケーション支援システムであって、
前記コミュニケーション支援装置は、
１または複数の撮像装置によって撮像された映像を解析してユーザに関する所定のオブジェクトの存否を含む映像解析結果を得る映像解析部と、
前記ユーザの状態を示すプレゼンス情報を取得するプレゼンス情報取得部と、
前記映像解析結果と前記プレゼンス情報とに基づいて、前記ユーザとのコミュニケーション手段を決定するコミュニケーション手段決定部と、を備え、
前記コミュニケーション支援端末は、
前記コミュニケーション手段の通知を受け付ける通信部と、
前記コミュニケーション手段に対応するアプリケーションを起動するアプリケーション起動部と、
前記映像を表示する出力部と、
前記映像に対する指定位置を入力する入力部と、
を備え、
前記コミュニケーション手段決定部は、前記指定位置に応じた指定領域と前記映像解析結果と前記プレゼンス情報とに基づいて、前記コミュニケーション手段を決定し、
前記オブジェクトは、前記ユーザの身体または前記ユーザのデバイスを含み、
前記ユーザの状態を示すプレゼンス情報は、固定電話が使用中であるか否かを示す情報、前記ユーザの予定が入っているか否かを示す情報、前記ユーザの在席情報、前記ユーザの場所推定情報、ＰＣがオンラインであるか否かを示す情報、前記ユーザが一時退席中であるかを示す情報、ビデオ電話アプリケーションが使用中であるか否かを示す情報、音声インタフェースおよび映像インタフェースが使用中であるかを示す情報、または、入力インタフェースが使用されていない時間が所定時間を超えたか否かを示す情報を含む、
コミュニケーション支援システム。