JP6551155B2 - 通信システム、通信装置、通信方法およびプログラム - Google Patents

Description

本発明は、通信システム、通信装置、通信方法およびプログラムに関する。

複数の通信装置間でデータの送受信を行う通信システムの一形態として、通信ネットワークを利用して遠隔会議を実現するビデオ（テレビ）会議システムが知られている。このビデオ会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔ビデオ会議システムの通信装置（端末装置）を用いて会議の当事者などの会議室の画像および発言などの音声をデジタルデータに変換して相手方の通信装置に送信し、相手方の会議室のディスプレイに画像を表示し、音声をスピーカから出力することで、実際の会議に近い状態で遠隔地間の会議を行うことができる。

このようなビデオ会議システムでは、会議の参加者の音声を取得するためにマイクを使用し、映像を取得するためにカメラを使用している。カメラには画角があるため、カメラの画角外にいる会議参加者の映像は撮影することができない。この問題を解決するため、周囲３６０度のパノラマ画像を取得可能なパノラマカメラを用いる方法が知られている。一方、通常のマイクは無指向性のため、参加者の発言以外の周囲の音も集音してしまう。この問題を解決するため、マイクアレイを使用してマイクの集音範囲に指向性をもたせることで、周囲の音の集音を抑え、参加者の発言をクリアにする方法が知られている。例えば特許文献１には、会議端末は、選択された参加者の配置パターンに従ってマイクアレイの集音ビームを形成する方法が開示されている。また、特許文献２には、複数のマイクを配列して構成されたマイクアレイを用いて話者の方向を検出し、その方向にカメラの撮影方向を追従させる技術が開示されている。

上記のパノラマカメラと、マイクアレイを組み合わせて、パノラマカメラで会議室全体を撮影し、かつ、発言者がいた場合は、少なくとも発言者の方向にマイクの集音範囲を向けることで、より臨場感のあるビデオ会議を実現する方法が考えられる。しかしながら、この組み合わせでは、発言者の方向にマイクの集音範囲を向けることはできるが、相手側の通信装置では、発言者にフォーカスした出力を望んでいない場合もある。したがって、この組み合わせでは、通信システムを構成する各通信装置が意図した出力を行うことができないという問題がある。

本発明は、上記に鑑みてなされたものであって、意図した出力を行うことが可能な通信システム、通信装置、通信方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置と、を含む通信システムであって、前記第１の通信装置は、前記第２の通信装置の周囲を撮像して得られる撮像画像を少なくとも含み、かつ、前記第１の通信装置が出力する映像を示す出力映像のうち、前記撮像画像が表示される領域を示す表示領域を、前記撮像画像に映り込んだ人物の数に応じて複数の単位領域に分ける領域分割部と、前記出力映像のうちユーザによって指し示された位置に対応する前記単位領域を示す座標情報を、前記第２の通信装置へ送信する制御を行う第１の送信制御部と、前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記第２の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御部と、を備え、前記第２の通信装置は、前記撮像画像を取得する取得部と、前記第１の通信装置から前記座標情報を受信した場合、前記出力映像の座標と前記撮像画像の座標との対応関係を示す対応情報に基づいて、前記取得部により取得された前記撮像画像のうち、その受信した前記座標情報に対応する領域を特定する特定部と、前記第２の通信装置に搭載された複数のマイクのうち、前記特定部により特定された領域に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御部と、前記指向性制御部により指向性が制御された音声を少なくとも含む前記出力情報を前記第１の通信装置へ送信する制御を行う第２の送信制御部と、を備える。

本発明によれば、意図した出力を行うことが可能な通信システム、通信装置、通信方法およびプログラムを提供することができる。

図１は、通信システムの構成の一例を示す図である。 図２は、会議端末のハードウェア構成の一例を示す図である。 図３は、マイクの設置例を示す図である。 図４は、会議端末の詳細を説明するための図である。 図５は、プロジェクタのハードウェア構成の一例を示す図である。 図６は、実施形態のビデオ会議の状況の一例を示す模式図である。 図７は、投射画像の切り出し範囲を指定する方法について説明するための図である。 図８は、切り出し画像を説明するための図である。 図９は、プロジェクタが有する機能の一例を示す図である。 図１０は、投射画像の一例を示す図である。 図１１は、会議端末の制御部が有する機能の一例を示す図である。 図１２は、プロジェクタの動作例を示すフローチャートである。 図１３は、会議端末の動作例を示すフローチャートである。 図１４は、会議端末の動作例を示すフローチャートである。 図１５は、会議端末の動作例を示すフローチャートである。 図１６は、投射画像の一例を示す図である。 図１７は、変形例の表示領域の分割方法を説明するための図である。

以下、添付図面を参照しながら、本発明に係る通信システム、通信装置、通信方法およびプログラムの実施形態を詳細に説明する。

図１は、本実施形態の通信システム１の構成の一例を示す図である。図１の例では、拠点Ａおよび拠点Ｂの各々に会議端末２が１台ずつ配置されている。拠点Ａおよび拠点Ｂの各々に配置された会議端末２は、インターネットなどのネットワーク３を介してサーバ４と接続される。なお、これに限らず、通信システム１に含まれる会議端末２の数（拠点の数）は任意に変更可能である。

サーバ４は、各会議端末２がサーバ４と接続しているか否かを監視し、会議開始時における会議端末２の呼び出し制御等の会議時に必要な制御を行う。会議時の会議端末２は、自装置のデータ送信時は、サーバ４に対して画像・音声データを送信し、サーバ４は、相手側の他の会議端末２に対して画像・音声データを送信する。データ受信時は、サーバ４を介して、相手側の他の会議端末２の画像・音声データを受信する。例えば拠点Ａと拠点Ｂで会議を行った場合、拠点Ａの会議端末２が送信したデータは、サーバ４を介して拠点Ｂの会議端末２に送信され、他の会議端末２（会議に参加していない会議端末２）には送信されない。同様に、拠点Ｂの会議端末２が送信したデータは、サーバ４を介して、会議に参加している拠点Ａの会議端末２に送信され、会議に参加していない他の会議端末２には送信されない。上記のような制御を行うことで、複数の会議端末２間(複数の拠点間)で会議を行うことができる。

次に、会議端末２の構成について説明する。なお、拠点Ａおよび拠点Ｂの各々に配置された会議端末２の構成は同じなので、以下の説明では、１つの会議端末２を例に挙げて説明する。図２は、会議端末２のハードウェア構成の一例を示す図である。図２に示すように、会議端末２は、パノラマカメラ１０、表示部１１、マイクアレイ１２、スピーカ１３、ＣＰＵ１４、記憶装置１５、メモリ１６、ＬＡＮ Ｉ／Ｆ部１７、操作部１８を備える。

パノラマカメラ１０は、「撮像部」の一例であり、撮像により得られる撮像画像を生成する。この例では、パノラマカメラ１０は、パノラマカメラ１０の周囲３６０度（会議端末２の周囲３６０度であると考えてもよい）を撮像して得られるパノラマ画像（撮像画像の一例）を生成し、生成したパノラマ画像をＣＰＵ１４へ送信する。例えばパノラマカメラ１０は、公知の全天球カメラなどで構成される。パノラマカメラ１０の周囲３６０度を撮像することで、パノラマカメラ１０の周囲に存在する会議参加者全員が映り込んだ撮像画像を生成することができる。ここでパノラマ画像とは、複数の撮像素子を持つカメラ、１つのカメラを動かすことや、複数のカメラを用いて撮影することで、複数枚の画像（撮像画像）を合成して生成された画像を意味する。なお、この例では、パノラマカメラ１０による撮像が行われる領域を、パノラマカメラ１０の周囲３６０度としているが、これより狭くても構わない。

表示部１１は、ＣＰＵ１４から受信した映像データを、画面に表示する機能を有する。この例では、表示部１１は、液晶型ディスプレイ装置などで構成される。

マイクアレイ１２は、会議端末２に分散して搭載された複数のマイクを含み、会議参加者の音声を取得してＣＰＵ１４に送信する機能を有する。マイクアレイとは、複数の全指向性のマイク（マイクロホン）から構成され、ビームフォーマにより指向性を形成する。一般的に、ビームフォーマとは、各マイクロホンに到達する音の時間差を利用し、指向性を形成する手法である。ビームフォーマにより形成される指向性は、マイクロホンの配置により上下方向や左右方向に自由に指向性を向けることができる。そのため、集音したいエリア（目的エリア）を任意に変更することができる。

図３は、会議端末２の筐体において、マイクアレイ１２に含まれる６つのマイクａ〜マイクｆが設置される例を示す図である。ＣＰＵ１４は、各マイクの有効／無効を切り替え、各マイクの音声を積算することにより、任意の範囲の音声を集音することができる。また、各マイクと、会議端末２の筐体における設置箇所との対応関係は、会議端末２の記憶装置１５に予め保存されている。

図２の説明を続ける。スピーカ１３は、ＣＰＵ１４から受信した音声データを出力する機能を有する。ＣＰＵ１４は、会議端末２全体の動作を統括的に制御する。例えばＣＰＵ１４は、ビデオ会議を制御する機能、パノラマカメラ１０から取得した映像やマイクアレイ１２から取得した音声データをエンコードしてＬＡＮ Ｉ／Ｆ部１７に送信し、ＬＡＮ Ｉ／Ｆ部１７で受信した会議相手側の映像・音声データをデコードして表示部１１やスピーカ１３に送信するＣＯＤＥＣ機能などを有する。ＣＰＵ１４が使用するＣＯＤＥＣの一例として、Ｈ．２６４／ＡＶＣやＨ．２６４／ＳＶＣがある。さらに、ＣＰＵ１４は、マイクアレイ１２の指向性を制御する機能や、パノラマカメラ１０から取得したパノラマ画像に映り込んだ会議参加者のうち発言者をクローズアップして表示する機能などを有する。

記憶装置１５は、ＣＰＵ１４が実行する各種の制御（ビデオ会議制御等）のプログラムや後述の変換テーブルなどを記憶する。記憶装置１５の例としては、フラッシュメモリやＨＤＤといった不揮発性の記憶媒体が挙げられる。

メモリ１６は、ＣＰＵ１４が実行するプログラムの展開、および、演算データの一時保存を行う。メモリ１６の例としては、ＤＤＲメモリなどの揮発性のメモリが挙げられる。ＬＡＮ Ｉ／Ｆ部１７はネットワーク３を経由して別の会議端末２と接続し、データ（画像・音声データ）の送受信を行う。ＬＡＮ Ｉ／Ｆ部１７は、１０Ｂａｓｅ−Ｔ、１００Ｂａｓｅ−ＴＸ、１０００Ｂａｓｅ−Ｔに対応し、Ｅｔｈｅｒｎｅｔ（登録商標）に接続する有線ＬＡＮ、８０２．１１ａ／ｂ／ｇ／ｎ／ａｃに対応した無線ＬＡＮが例として挙げられる。

操作部１８は、ユーザによる各種の操作（会議端末２の機器制御に関する各種の操作）に用いられるデバイスであり、例えばキーボードやボタン等を有する。

図４は、会議端末２の詳細を説明するための図である。会議端末２は、出力装置の一例であるプロジェクタ３００に接続されている。プロジェクタ３００は、該プロジェクタ３００が設置された拠点に設けられた投影面（例えばスクリーン）に対して、会議端末２から入力された画像を投射する機能を有する。このプロジェクタ３００は、特殊なワイヤレスインタラクティブペン（専用のスタイラスペン）を使用して、投射面のうち画像が投射された領域を直接操作することで、各種の操作（ポイント操作、クリック操作、スクロール操作等）を入力することが可能な、いわゆる対話型操作が可能である。ＴＩ社のＤＬＰインタラクティブ・プロジェクタでは、投射ビームに組み込まれて独自のピクセル・レベルで管理できるシステムにより、プロジェクタは、投影面のうち専用のスタイラスペンの指し示している位置を常に把握しているので、起動時にキャリブレーションを実行する必要がなく、プロジェクタが移動したときでもキャリブレーションが不要という特徴がある。本実施形態では、このシステムに対応したプロジェクタ３００と、専用のスタイラスペン４００とを用いている。

プロジェクタ３００は、スタイラスペン４００および会議端末２の各々と無線通信する機能を有し、スタイラスペン４００は、プロジェクタ３００と無線通信する機能を有している。プロジェクタ３００は、スタイラスペン４００と無線通信することで、スタイラスペン４００から、投影面のうちスタイラスペン４００が指し示す位置を示す情報を取得できるので、投影面のうちスタイラスペン４００が指し示す位置（ユーザによって指し示された位置であると考えてもよい）を常に把握することができる。また、会議端末２も、プロジェクタ３００と無線通信することで、投影面のうちスタイラスペン４００が指し示す位置を常に把握することができる。

この例では、拠点Ａおよび拠点Ｂの各々に、同一構成のプロジェクタ３００と専用のスタイラスペン４００との組み合わせが１つずつ配置されている。ここでは、会議端末２と、該会議端末２に接続されたプロジェクタ３００とが、「第１の通信装置」または「第２の通信装置」に対応している。なお、会議端末２に接続される出力装置の種類は任意であり、例えばインタラクティブホワイトボードが会議端末２に接続される形態であってもよい。

また、例えば会議端末２の機能と、プロジェクタ３００の機能とを有する単一の装置が各拠点に設置される形態であってもよい。この形態では、該単一の装置が「第１の通信装置」または「第２の通信装置」に対応することになる。

図４に示すように、会議端末２は、上述したパノラマカメラ１０、マイクアレイ１２、スピーカ１３、記憶装置１５等の他、ネットワーク部１００、制御部１０１、表示制御部１０２、無線通信部１０９、カメラＩ／Ｆレシーバ１１１、レンズ特性保持部１１２、歪曲補正処理部１１３を備える。ネットワーク部１００、制御部１０１、表示制御部１０２、無線通信部１０９、カメラＩ／Ｆレシーバ１１１、および、歪曲補正処理部１１３の各々の機能は、ＣＰＵ１４が記憶装置１５等に格納されたプログラムを実行することにより実現される形態であってもよいし、これらの機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）により実現される形態であってもよい。また、例えばレンズ特性保持部１１２は、記憶装置１５により実現される形態であってもよい。

ネットワーク部１００は、会議の相手となる他の会議端末２との間でのデータの送受信を行う。

制御部１０１は、各種の制御や演算を行う部分である。制御部１０１が有する機能の詳細については後述する。

表示制御部１０２は、プロジェクタ３００による表示（投影面に対する画像の投射）を制御する機能を有している。

無線通信部１０９は、プロジェクタ３００との間で無線通信を行い、プロジェクタ３００から、投影面のうちスタイラスペン４００が指し示す位置を示す位置情報を取得する。無線通信部１０９は、プロジェクタ３００から取得した位置情報を制御部１０１へ通知することができる。

パノラマカメラ１０により生成されたパノラマ画像はカメラＩ／Ｆレシーバ１１１に送られる。カメラＩ／Ｆレシーバ１１１は、ＶｂｙＯｎｅ（登録商標）やＨＤＭＩ（登録商標）等の高速なシリアルＩ／Ｆを想定している。カメラＩ／Ｆレシーバ１１１によりシリアル／パラレル変換されたパノラマ画像は歪曲補正処理部１１３により歪みを補正されて制御部１０１へ出力される。レンズ特性保持部１１２には、レンズ特性に合わせて歪曲補正するための変換パラメータが格納されており、歪曲補正処理部１１３は、この変換パラメータを用いてパノラマ画像の歪みを補正することができる。

図５は、プロジェクタ３００のハードウェア構成の一例を示す概略図である。図５に示すように、プロジェクタ３０は、ＣＰＵ３１１と、記憶部３１２と、入力部３１３と、通信Ｉ／Ｆ３１４と、投影部３１５とを備え、これらはバスを介して接続される。

ＣＰＵ３１１は、記憶部３１２に記憶されているプログラムを実行し、プロジェクタ３００の動作を統括的に制御する。記憶部３１２は、ＣＰＵ３１１が実行するプログラムやプログラムの実行に必要なデータを記憶するＲＯＭやＨＤＤ、及びＣＰＵ３１１のワークエリアなどとして機能するＲＡＭなどにより構成される。入力部３１３は、プロジェクタ３００に対する各種入力を行うものであり、タッチパネル、及びキースイッチなどが挙げられる。通信Ｉ／Ｆ３１４は、スタイラスペン４００や会議端末２と通信するためのインタフェースである。投影部３１５は、投影対象の画像データをスクリーンなどの投影面に投影する。投影部３１５は、例えば投影レンズ等の投影用の光学系を含む。プロジェクタ３００が有する機能については後述する。

図６は、本実施形態のビデオ会議の状況の一例を示す模式図である。拠点１には、会議端末２が机に置かれている。会議端末２は、パノラマカメラ１０を搭載しているため、机の中央に置かれていることを想定している。上述したように、この会議端末２は、マイクａ〜マイクｆを含むマイクアレイ１２を搭載している。拠点１では、人物Ｄ〜Ｈの５人がビデオ会議に参加していることを示している。また、拠点１に設置された会議端末２には、映像出力ケーブルを介して上述のプロジェクタ３００が接続されており、拠点２側のパノラマ画像を含む画像（拠点２側のパノラマ画像が表示された画像）が投影面に投射される。以下の説明では、拠点１側の投影面に投射された状態の画像を「投射画像１」と称し、拠点２側の投影面に投射された状態の画像を「投射画像２」と称する。両者を互いに区別しない場合は、単に「投射画像」と称する。ここでは、投射画像は、「出力映像」の一例である。投射画像１の下側には、拠点２で会議に参加している全ての人物（この例では人物Ａ〜Ｃ）が映り込んだパノラマ画像が表示されている。また、投射画像１の上側には、発言者である人物Ａを拡大した切り出し画像が表示されている。通常の話者追従機能を搭載したビデオ会議システムの場合は、何れかの会議参加者が発言すると、切り出し画像に発言者がクローズアップして表示される。

拠点２においても、会議端末２が机に置かれている。拠点１と同様に、会議端末２はパノラマカメラ１０を搭載しているため、机の中央に置かれていることを想定しており、マイクａ〜マイクｆを含むマイクアレイ１２を搭載している。拠点２では、人物Ａ〜Ｃの３人がビデオ会議に参加していることを示している。拠点１と同様に、拠点２に設置された会議端末２には、映像出力ケーブルを介して上述のプロジェクタ３００が接続されており、拠点１側のパノラマ画像を含む画像（拠点１側のパノラマ画像が表示された画像）が投影面に投射される。投射画像２の下側には、拠点１で会議に参加している全ての人物（この例では人物Ｄ〜Ｈ）が映り込んだパノラマ画像が表示されている。ここで、通常であれば、発言者が切り出し画像に表示されるが、例えば図５のように、拠点２で会議に参加している何れかの人物がスタイラスペン４００を用いて、点線で囲まれた領域を指定した場合、その指定された領域に応じて指向性が制御された音声が出力されるとともに、その指定された領域の画像が切り出し画像として投射画像２上に表示される。すなわち、パノラマ画像に映り込んだ会議参加者のうち、クローズアップしたい人物が映り込んだ領域を指定することで、その指定された領域にフォーカスした出力を行わせることができる。また、人物以外でも、パノラマ画像に映り込んだ被写体のうち、注目したい被写体が映り込んだ領域を指定することで、その指定された領域にフォーカスした出力を行わせることができる。これを実現するための会議端末２の構成（制御部１０１が有する機能）については後述する。

図７を用いて、投射画像の切り出し範囲を指定する方法について説明する。プロジェクタ３００は、切り出し範囲の指定を開始することを指示するための開始アイコン３１０の押下を受け付けると、図７の（Ａ）に示すような、切り出し範囲の指定開始を確認するポップアップ画面を表示する制御を行う（表示制御部１０２の制御の下）。そして、プロジェクタ３００は、ポップアップ画面の「ＯＫボタン」の押下を受け付けると、図７の（Ｂ）に示すような、切り出しの中心点を指定することを促すメッセージを表示する制御を行う。その後、ユーザは、スタイラスペン４００などで、切り出しの中心点を指定する操作を行うことができる。

後述するように、本実施形態では、投射画像のうち、パノラマ画像（会議相手側のパノラマ画像）が表示される領域を示す表示領域は、該パノラマ画像に映り込んだ人物の数に応じて複数の単位領域に分けられており、ユーザが、スタイラスペン４００などで、表示領域に映り込んだ何れかの人物の中心点（中心点に限らなくてもよい）を切り出しの中心点として指し示す操作を行うと、該切り出しの中心点を含む単位領域が切り出し範囲として指定される。これにより、投射画像の表示領域のうち、注目したい被写体が映り込んだ領域を指定する操作（切り出し範囲を指定する操作）を簡略化できるので、ユーザの利便性を向上させることができる。

そして、プロジェクタ３００は、図７の（Ｃ）に示すように、切り出し範囲の指定を終了することを指示するための終了アイコン３２０の押下を受け付けると、投影面のうち、指定された切り出し範囲（図７の例では点線で囲まれた矩形）の座標を示す座標情報を会議端末２へ送信する。そして、会議端末２は、プロジェクタ３００から受信した範囲情報を、会議相手となる他の会議端末２へ送信する制御を行う。

いま、図８に示すように、投射画像２（拠点２側の投影面のうち拠点１側のパノラマ画像を含む画像が投射された領域であると捉えることもできる）のうち、人物Ｈが映り込んだ領域３３０が切り出し範囲として指定された場合を想定する。この例では、領域３３０は矩形の領域であり、領域３３０の座標情報は、領域３３０の４つの頂点（Ａ，Ｂ，Ｃ，Ｄ）の各々の座標を示す情報となる。この例では、投射画像２における頂点Ａの座標は（Ｘａ，Ｙａ）、頂点Ｂの座標は（Ｘｂ，Ｙｂ）、頂点Ｃの座標は（Ｘｃ，Ｙｃ）、頂点Ｄの座標は（Ｘｄ，Ｙｄ）である。この座標情報は、拠点１側の会議端末２へ送信される。

拠点１側の会議端末２は、拠点１側のパノラマ画像のうち、拠点２側の会議端末２から受信した座標情報に対応する領域を切り出した切り出し画像と、該領域に応じて指向性が制御された音声とを含む出力情報を生成し、その生成した出力情報を拠点２側の会議端末２へ送信する。図８の例では、拠点１側の会議端末２は、自装置に搭載されたパノラマカメラ１０から取得したパノラマ画像のうち、Ａ’の座標（Ｘａ’，Ｙａ’）と、Ｂ’の座標（Ｘｂ’，Ｙｂ’）と、Ｃ’の座標（Ｘｃ’，Ｙｃ’）と、Ｄ’の座標（Ｘｄ’，Ｙｄ’）とで囲まれた矩形の領域の画像を、切り出し画像として切り出す。また、拠点１側の会議端末２は、マイクアレイ１２に含まれるマイクの位置と、パノラマ画像の座標との関係を示す位置情報に基づいて、パノラマ画像のうち、拠点２側の会議端末２から受信した座標情報に対応する領域の座標に最も近い位置に配置されたマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。

そして、拠点１側の会議端末２は、以上のようにして切り出した切り出し画像と、指向性が制御された音声とを含む出力情報を拠点２側の会議端末２へ送信する。拠点２側の会議端末２は、拠点１側の会議端末２から受信した出力情報を出力する。

以下、プロジェクタ３００、および、会議端末２の制御部１０１の各々が有する機能の詳細な内容を説明する。まず、プロジェクタ３００が有する機能について説明する。図９は、プロジェクタ３００が有する機能の一例を示す図である。図９に示すように、プロジェクタ３００は、投影制御部３２１と、領域分割部３２２と、単位領域選択部３２３と、座標情報送信制御部３２４とを有する。説明の便宜上、図９では、本実施形態に関する機能を主に例示しているが、プロジェクタ３００が有する機能は、これらに限られるものではない。

投影制御部３２１は、表示制御部１０２の制御の下、会議端末２から入力される画像を投影面に投射する制御を行う。

領域分割部３２２は、自装置が投影面に投射した状態の画像を示す投射画像のうち、会議相手となる他の会議端末２の周囲を撮像して得られるパノラマ画像（他の会議端末２側のパノラマ画像）が表示される領域を示す表示領域を、該パノラマ画像に映り込んだ人物の数に応じて複数の単位領域に分ける。本実施形態では、領域分割部３２２は、表示領域に映り込んだ人物を指し示すためのユーザの操作の数（表示領域のうちユーザの操作によって指し示された位置の数であると考えてもよい）に応じて表示領域を等間隔に分けることで、複数の単位領域を得ることができる。

例えばプロジェクタ３００によって出力された投射画像が図１０の態様である場合を想定する。本実施形態では、上述した切り出し範囲を指定するためのアイコンと同様に、投射画像上で、ユーザによる指示位置と複数の単位領域との対応関係のキャリブレーションの実行を指示するためのアイコンの押下を受け付けた場合にキャリブレーションモードに入り、領域分割部３２２は、表示領域に映り込んだ複数の人物の中心点を指し示すことを促す情報（映像でもよいし音声でもよい）を出力する制御を行う。図１０の例では、表示領域には、人物Ｄ，Ｅ，Ｆ，Ｇ，Ｈの５人が映り込んでいるので、ユーザはスタイラスペン４００などを用いて、それらの人物の中心点をポイント（指示）する操作を行う。ポイントした数（人物を指し示すためのユーザの操作の数）が表示領域に映り込んだ人物の総数となり、この例では、ポイントした数は「５」となる。したがって、領域分割部３２２は、表示領域を横方向（水平方向）に５等分することで、５つの単位領域（単位領域４０１〜単位領域４０５）を得ることができる。単位領域が得られた段階でキャリブレーションモードは終了する。

図９の説明を続ける。単位領域選択部３２３は、自装置が出力した投射画像のうち、ユーザによって指し示された位置に対応する単位領域を選択する。この例では、単位領域選択部３２３は、上述した切り出しの中心点を指定する操作を受け付けた場合、その指定された切り出しの中心点の座標を含む単位領域を選択する。

座標情報送信制御部３２４は、単位領域選択部３２３によって選択された単位領域を示す座標情報を、自装置に接続された会議端末２へ送信する制御を行う。

以上に説明したプロジェクタ３００が有する機能（投影制御部３２１、領域分割部３２２、単位領域選択部３２３、座標情報送信制御部３２４）は、ＣＰＵ３１１が記憶部３１２等に記憶されたプログラムを実行することにより実現されてもよいし、これらの機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。

次に、会議端末２の制御部１０１が有する機能について説明する。図１１は、会議端末２の制御部１０１が有する機能の一例を示す図である。説明の便宜上、図１１では、本実施形態に関する機能を主に例示しているが、制御部１０１が有する機能は、これらに限られるものではない。

図１１に示すように、制御部１０１は、第１の送信制御部１２１と、取得部１２２と、特定部１２３と、切り出し部１２４と、指向性制御部１２５と、第２の送信制御部１２６と、出力制御部１２７とを有する。

第１の送信制御部１２１は、自装置に接続されたプロジェクタ３００から上述の座標情報を受信した場合、その受信した座標情報を、会議相手となる他の会議端末２へ送信する制御を行う。つまり、第１の送信制御部１２１は、投射画像のうちユーザによって指し示された位置に対応する単位領域を示す座標情報を、会議相手となる他の会議端末２へ送信する制御を行う。

取得部１２２は、自装置の周囲を撮像するパノラマカメラ１０による撮像で得られたパノラマ画像を取得する。この例では、取得部１２２は、上述の歪曲補正処理部１１３から入力される補正後のパノラマ画像を取得する。

特定部１２３は、他の会議端末２から、該他の会議端末２が出力する投射画像の表示領域（自装置側のパノラマ画像が表示される領域）のうち、該他の会議端末２のユーザによって指し示された位置に対応する単位領域を示す座標情報を受信した場合、投射画像の座標（投影面のうち画像が投射される領域の座標と考えてもよい）とパノラマ画像の座標との対応関係を示す対応情報に基づいて、取得部１２２により取得されたパノラマ画像のうち、その受信した座標情報に対応する領域を特定する。この例では、対応情報は記憶装置１５に予め格納されている。また、通常のビデオ会議システムは自装置の映像のみを映したり、相手側の映像のみを映したり、と自由にレイアウトの変更（表示モードの変更）ができるため、投射画像の座標と、パノラマ画像の座標との関係は必ずしも１対１に対応していない。そこで、この例における対応情報は、プロジェクタ３００の表示モード（レイアウト情報）ごとに、投射画像の座標と、パノラマ画像の座標とを対応付けている。

切り出し部１２４は、取得部１２２により取得されたパノラマ画像のうち、特定部１２３により特定された領域の画像を、切り出し画像として切り出す。

指向性制御部１２５は、会議端末２に分散して搭載された複数のマイクのうち、特定部１２３により特定された領域（この例ではパノラマ画像内の領域）に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。指向性制御部１２５は、マイクアレイ１２に含まれるマイクの位置と、パノラマ画像の座標との関係を示す位置情報に基づいて、特定部１２３により特定された領域の座標に対応するマイクを決定することができる。上記位置情報は、例えば記憶装置１５などに格納されていてもよい。

第２の送信制御部１２６は、指向性制御部１２５により指向性が制御された音声を少なくとも含む出力情報を他の会議端末２へ送信する制御を行う。本実施形態では、第２の送信制御部１２６は、指向性制御部１２５により指向性が制御された音声と、切り出し部１２４によって切り出された切り出し画像とを含む出力情報を他の会議端末２へ送信する制御を行う。より具体的には、第２の送信制御部１２６は、取得部１２２により取得されたパノラマ画像と、指向性制御部１２５により指向性が制御された音声と、切り出し部１２４によって切り出された切り出し画像と、を含む出力情報を他の会議端末２へ送信する制御を行う。なお、出力情報は、指向性制御部１２５により指向性が制御された音声（取得部１２２により取得された撮像画像のうち他の会議端末２から受信した座標情報に対応する領域に応じて指向性が制御された音声）を少なくとも含む形態であればよい。例えば切り出し部１２４が設けられない形態とすることもできる。

また、第２の送信制御部１２６は、他の会議端末２から上述の座標情報を受信していない場合は、取得部１２２により取得されたパノラマ画像と、該パノラマ画像に映り込んだ会議参加者のうち発言者を切り出して拡大した切り出し画像と、マイクアレイ１２で集音された音声データとを含む通常会議情報を、他の会議端末２へ送信する制御を行う。

出力制御部１２７は、他の会議端末２から受信した画像や音声を出力する制御を行う。出力制御部１２７は、表示制御部１０２に対して、他の会議端末２から受信した画像をプロジェクタ３００から出力（投影面に投射）させることを指示し、他の会議端末２から受信した音声をスピーカ１３から出力する制御を行う。本実施形態の出力制御部１２７は、他の会議端末２から上述の出力情報を受信した場合は、その受信した出力情報を出力する制御を行う。より具体的には、出力制御部１２７は、表示制御部１０２に対して、その受信した出力情報に含まれる切り出し画像およびパノラマ画像を合成した画像を出力させることを指示し、その受信した出力情報に含まれる音声をスピーカ１３から出力する制御を行う。

また、出力制御部１２７は、他の会議端末２から上述の通常会議情報を受信した場合は、その受信した通常会議情報を出力する制御を行う。

以上に説明した制御部１０１が有する機能（第１の送信制御部１２１、取得部１２２、特定部１２３、切り出し部１２４、指向性制御部１２５、第２の送信制御部１２６、出力制御部１２７）は、ＣＰＵ１４が記憶装置１５等に記憶されたプログラムを実行することにより実現されてもよいし、制御部１０１が有する機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。

また、以上の例では、パノラマカメラ１０やスピーカ１３は、会議端末２内に含まれているが、これに限らず、例えば会議端末２外に設けられる形態であってもよい。

図１２は、切り出し範囲を指定する場合のプロジェクタ３００の動作の一例を示すフローチャートである。開始アイコン３１０の押下を受け付けた場合（ステップＳ１：Ｙｅｓ）、切り出しの中心点を指定する操作を受け付ける（ステップＳ２）。次に、ステップＳ２で指定された切り出しの中心点に対応する単位領域を選択する（ステップＳ３）。そして、終了アイコン３２０の押下を受け付けた場合（ステップＳ４：Ｙｅｓ）、ステップＳ３で選択した単位領域を示す座標情報を会議端末２へ送信する（ステップＳ５）。

図１３は、自装置に接続されたプロジェクタ３００から座標情報を受信した場合の会議端末２の動作例を示すフローチャートである。座標情報を受信した場合（ステップＳ６：Ｙｅｓ）、第１の送信制御部１２１は、その受信した座標情報を他の会議端末２へ送信する制御を行う（ステップＳ７）。

図１４は、他の会議端末２から座標情報を受信した場合の会議端末２の動作例を示すフローチャートである。他の会議端末２から座標情報を受信した場合（ステップＳ１０：Ｙｅｓ）、特定部１２３は、上述の対応情報に基づいて、取得部１２２により取得されたパノラマ画像（自装置のパノラマカメラ１０から取得したパノラマ画像）のうち、受信した座標情報に対応する領域を特定する（ステップＳ１１）。次に、切り出し部１２４は、取得部１２２により取得されたパノラマ画像のうち、ステップＳ１１で特定した領域に対応する領域の画像を切り出し画像として切り出す（ステップＳ１２）。次に、指向性制御部１２５は、会議端末２に分散して搭載された複数のマイクのうち、ステップＳ１１で特定した領域に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する（ステップＳ１３）。そして、第２の送信制御部１２６は、取得部１２２により取得されたパノラマ画像と、ステップＳ１２で切り出した切り出し画像と、ステップＳ１３の結果として指向性が制御された音声とを含む出力情報を他の会議端末２へ送信する制御を行う（ステップＳ１４）。

図１５は、他の会議端末２から出力情報を受信した場合の会議端末２の動作例を示すフローチャートである。他の会議端末２から出力情報を受信した場合（ステップＳ２０：Ｙｅｓ）、出力制御部１２７は、その受信した出力情報を出力する制御を行う（ステップＳ２１）。

以上に説明したように、本実施形態の会議端末２は、会議相手となる他の会議端末２から上述の座標情報を受信した場合、上述の対応情報に基づいて、自装置のパノラマカメラ１０から取得したパノラマ画像のうち、その受信した座標情報に対応する領域を特定し、その特定した領域の画像を切り出し画像として切り出す。また、会議端末２に分散して搭載された複数のマイクのうち、その特定した領域に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。そして、会議端末２は、切り出し画像と、指向性が制御された音声とを含む出力情報を他の会議端末２へ送信し、他の会議端末２は、その受信した出力情報を出力する。これにより、他の会議端末２は、意図した出力を行うことができる。なお、本実施形態では、パノラマカメラとして、撮影領域の範囲を周囲３６０度とした。しかしながら、本実施形態の骨子は、撮像画像の一部を切り出し画像として指定し、その切り出し画像に対応するマイクの指向性を制御するものである。したがって、撮像領域として、カメラの画角は３６０度を下回る形態であってもよく、例えば８０度程度でも構わない。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、上述の実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

上述の実施形態では、領域分割部３２２は、表示領域に映り込んだ人物を指し示すためのユーザの操作の数に応じて表示領域を等間隔に分けることで、複数の単位領域を得ているが、例えば図１６のように、表示領域に映り込んだ複数の人物の位置に偏りがある場合を想定する。この場合、表示領域に映り込んだ人物の数で、表示領域を横方向に等分すると、得られる複数の単位領域と、表示領域に映り込んだ複数の人物とは１対１に対応しないことになるので、注目したい人物が映り込んだ領域を適切に指定（切り出し範囲として指定）することが困難になるおそれがある。

そこで、例えば領域分割部３２２は、投射映像の４つの頂点と、該ユーザの操作によって指し示された表示領域内の複数の位置との相対的な位置関係に基づいて、表示領域を、ユーザの操作によって指し示された表示領域内の複数の位置と１対１に対応する複数の単位領域に分ける形態とすることもできる。以下、具体的な内容について説明する。

上述のキャリブレーションモードに入ると、領域分割部３２２は、投射画像の４つの頂点を指し示すことを促す情報（映像でもよいし音声でもよい）を出力する制御を行う。なお、例えば会議端末２に接続される出力装置がインタラクティブホワイトボードの場合は、インタラクティブホワイトボードが表示する画像（出力映像の一例）の４つの頂点の座標は予め分かっているので、この制御は不要となる。

そして、領域分割部３２２は、表示領域に映り込んだ複数の人物の中心点を指し示すことを促す情報を出力する制御を行い、ユーザの操作によって指し示された表示領域内の複数の位置を検出する。ユーザの操作によって指し示された表示領域内の複数の位置（以下の説明では「指示位置」と称する場合がある）と、表示領域の４つの頂点との相対的な位置関係を把握することにより、複数の指示位置と１対１に対応する複数の単位領域を切り出すための切り出し線（縦方向に延在する切り出し線）の位置を求めることができる。

以下、１つの指示位置に着目して説明する。以下では、着目した指示位置を「着目位置」と称する。まず、着目位置の左側に隣接する指示位置が存在し、かつ、右側に隣接する指示位置も存在する場合を想定する。この場合、着目位置を含む単位領域を切り出すための右側の切り出し線の横方向の位置は、例えば表示領域の横方向の長さと、表示領域の右辺から着目位置の横方向の位置までの距離との差分に対して、該着目位置の横方向の位置と、該着目位置の右側に隣接する指示位置の横方向の位置との間の距離の１／２を加えた距離だけ、表示領域の左辺から横方向に離れた位置として求めることができる。同様に、着目位置を含む単位領域を切り出すための左側の切り出し線の横方向の位置は、例えば表示領域の横方向の長さと、表示領域の右辺から着目位置の横方向の位置までの距離との差分から、該着目位置の横方向の位置と、該着目位置の左側に隣接する指示位置の横方向の位置との間の距離の１／２を更に差し引いた距離だけ、表示領域の左辺から横方向に離れた位置として求めることができる。

次に、着目位置の左側に隣接する指示位置が存在せず、かつ、右側に隣接する指示位置が存在する場合を想定する。この場合、着目位置を含む単位領域を切り出すための右側の切り出し線の横方向の位置は、最初のケースと同様に求めることができる。一方、着目位置を含む単位領域を切り出すための左側の切り出し線の横方向の位置は、例えば表示領域の横方向の長さと、表示領域の右辺から着目位置の横方向の位置までの距離との差分から、該着目位置の横方向の位置と、該着目位置の右側に隣接する指示位置の横方向の位置との間の距離の１／２を更に差し引いた距離だけ、表示領域の左辺から横方向に離れた位置として求めることができる。

さらに、着目位置の左側に隣接する指示位置が存在し、かつ、右側に隣接する指示位置が存在しない場合を想定する。この場合、着目位置を含む単位領域を切り出すための左側の切り出し線の横方向の位置は、最初のケースと同様に求めることができる。一方、着目位置を含む単位領域を切り出すための右側の切り出し線の横方向の位置は、例えば表示領域の横方向の長さと、表示領域の右辺から着目位置の横方向の位置までの距離との差分に対して、該着目位置の横方向の位置と、該着目位置の左側に隣接する指示位置の横方向の位置との間の距離の１／２を加えた距離だけ、表示領域の左辺から横方向に離れた位置として求めることができる。

例えば図１７に示すような投射画像を想定する。図１７において、横方向をｘ方向、縦方向をｙ方向とする。図１７の例では、投射画像の左上の頂点の座標を（ａ１、ａ２）、右上の頂点の座標を（ｂ１、ｂ２）、右下の頂点の座標を（ｃ１、ｃ２）、左下の頂点の座標を（０、０）とする。また、表示領域に映り込んだ５人の人物（人物Ｄ〜人物Ｈ）と１対１に対応する５つの指示位置の座標のうち、人物Ｄに対応する指示位置の座標を（ｄ１、ｄ２）、人物Ｅに対応する指示位置の座標を（ｅ１、ｅ２）、人物Ｆに対応する指示位置の座標を（ｆ１、ｆ２）、人物Ｇに対応する指示位置の座標を（ｇ１、ｇ２）、人物Ｈに対応する指示位置の座標を（ｈ１、ｈ２）とする。

例えば図１７に示すように、人物Ｇに対応する指示位置を含む単位領域を切り出すための右側の切り出し線の横方向の位置は、表示領域の左辺から、（ｂ１−ａ１）−（ｂ１−ｇ１）＋（（ｈ１−ｇ１）／２）だけｘ方向に離れた位置として求めることができる。また、人物Ｇに対応する指示位置を含む単位領域を切り出すための左側の切り出し線の横方向の位置は、表示領域の左辺から、（ｂ１−ａ１）−（ｂ１−ｇ１）−（（ｇ１−ｆ１）／２）だけｘ方向に離れた位置として求めることができる。

また、左側に隣接する指示位置が存在し、かつ、右側に隣接する指示位置が存在しない人物Ｈに対応する指示位置を含む単位領域を切り出すための切り出し線の求め方は以下のとおりである。人物Ｈに対応する指示位置を含む単位領域を切り出すための右側の切り出し線の横方向の位置は、（ｂ１−ａ１）−（ｂ１−ｈ１）＋（（ｈ１−ｇ１）／２）だけ、表示領域の左辺から横方向に離れた位置として求めることができる。また、人物Ｈに対応する指示位置を含む単位領域を切り出すための左側の切り出し線の横方向の位置は、（ｂ１−ａ１）−（ｂ１−ｈ１）−（（ｈ１−ｇ１）／２）だけ、表示領域の左辺から横方向に離れた位置として求めることができる。

さらに、左側に隣接する指示位置が存在せず、かつ、右側に隣接する指示位置が存在する人物Ｄに対応する指示位置を含む単位領域を切り出すための切り出し線の求め方は以下のとおりである。人物Ｄに対応する指示位置を含む単位領域を切り出すための右側の切り出し線の横方向の位置は、（ｂ１−ａ１）−（ｂ１−ｄ１）＋（（ｅ１−ｄ１）／２）だけ、表示領域の左辺から横方向に離れた位置として求めることができる。また、人物Ｄに対応する指示位置を含む単位領域を切り出すための左側の切り出し線の横方向の位置は、（ｂ１−ａ１）−（ｂ１−ｄ１）−（（ｅ１−ｄ１）／２）だけ、表示領域の左辺から横方向に離れた位置として求めることができる。

また、上述した会議端末２やプロジェクタ３００で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ 通信システム
２ 会議端末
３ ネットワーク
４ サーバ
１０ パノラマカメラ
１１ 表示部
１２ マイクアレイ
１３ スピーカ
１４ ＣＰＵ
１５ 記憶装置
１６ メモリ
１７ ＬＡＮ Ｉ／Ｆ部
１８ 操作部
１００ ネットワーク部
１０１ 制御部
１０２ 表示制御部
１１１ カメラＩ／Ｆレシーバ
１１２ レンズ特性保持部
１１３ 歪曲補正処理部
１２１ 第１の送信制御部
１２２ 取得部
１２３ 特定部
１２４ 切り出し部
１２５ 指向性制御部
１２６ 第２の送信制御部
１２７ 出力制御部
３００ プロジェクタ
４００ スタイラスペン

特開２００７−２７４４６３号公報 特許第５０２８９４４号公報

Claims (8)

1. 第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置と、を含む通信システムであって、
   前記第１の通信装置は、
   前記第２の通信装置の周囲を撮像して得られる撮像画像を少なくとも含み、かつ、前記第１の通信装置が出力する映像を示す出力映像のうち、前記撮像画像が表示される領域を示す表示領域を、前記撮像画像に映り込んだ人物の数に応じて複数の単位領域に分ける領域分割部と、
   前記出力映像のうちユーザによって指し示された位置に対応する前記単位領域を示す座標情報を、前記第２の通信装置へ送信する制御を行う第１の送信制御部と、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記第２の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御部と、を備え、
   前記第２の通信装置は、
   前記撮像画像を取得する取得部と、
   前記第１の通信装置から前記座標情報を受信した場合、前記出力映像の座標と前記撮像画像の座標との対応関係を示す対応情報に基づいて、前記取得部により取得された前記撮像画像のうち、その受信した前記座標情報に対応する領域を特定する特定部と、
   前記第２の通信装置に搭載された複数のマイクのうち、前記特定部により特定された領域に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御部と、
   前記指向性制御部により指向性が制御された音声を少なくとも含む前記出力情報を前記第１の通信装置へ送信する制御を行う第２の送信制御部と、を備える、
   通信システム。
2. 前記第２の通信装置は、
   前記取得部により取得された前記撮像画像のうち、前記特定部により特定された領域の画像を切り出し画像として切り出す切り出し部をさらに備え、
   前記第２の送信制御部は、前記切り出し部によって切り出された前記切り出し画像と、前記指向性制御部により指向性が制御された音声とを含む前記出力情報を前記第１の通信装置へ送信する制御を行う、
   請求項１に記載の通信システム。
3. 前記領域分割部は、前記表示領域に映り込んだ人物を指し示すための前記ユーザの操作の数に応じて前記表示領域を等間隔に分けることで、複数の前記単位領域を得る、
   請求項１または２に記載の通信システム。
4. 前記領域分割部は、
   前記出力映像の４つの頂点と、前記ユーザの操作によって指し示された前記表示領域内の複数の位置と相対的な位置関係に基づいて、前記表示領域を、前記ユーザの操作によって指し示された前記表示領域内の複数の位置と１対１に対応する複数の前記単位領域に分ける、
   請求項１または２に記載の通信システム。
5. 通信装置であって、
   前記通信装置と通信する他の通信装置の周囲を撮像して得られる撮像画像を少なくとも含み、かつ、前記通信装置が出力する映像を示す出力映像のうち、前記撮像画像が表示される領域を示す表示領域を、前記撮像画像に映り込んだ人物の数に応じて複数の単位領域に分ける領域分割部と、
   前記出力映像のうちユーザによって指し示された位置に対応する前記単位領域を示す座標情報を、前記他の通信装置へ送信する制御を行う送信制御部と、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記他の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御部と、を備える、
   通信装置。
6. 第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置と、を含む通信システムによる通信方法であって、
   前記第１の通信装置は、
   前記第２の通信装置の周囲を撮像して得られる撮像画像を少なくとも含み、かつ、前記第１の通信装置が出力する映像を示す出力映像のうち、前記撮像画像が表示される領域を示す表示領域を、前記撮像画像に映り込んだ人物の数に応じて複数の単位領域に分ける領域分割ステップと、
   前記出力映像のうちユーザによって指し示された位置に対応する前記単位領域を示す座標情報を、前記第２の通信装置へ送信する制御を行う第１の送信制御ステップと、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記第２の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御ステップと、を含み、
   前記第２の通信装置は、
   前記撮像画像を取得する取得ステップと、
   前記第１の通信装置から前記座標情報を受信した場合、前記出力映像の座標と前記撮像画像の座標との対応関係を示す対応情報に基づいて、前記取得ステップにより取得された前記撮像画像のうち、その受信した前記座標情報に対応する領域を特定する特定ステップと、
   前記第２の通信装置に搭載された複数のマイクのうち、前記特定ステップにより特定された領域に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御ステップと、
   前記指向性制御ステップにより指向性が制御された音声を少なくとも含む前記出力情報を前記第１の通信装置へ送信する制御を行う第２の送信制御ステップと、を含む、
   通信方法。
7. 通信装置による通信方法であって、
   前記通信装置と通信する他の通信装置の周囲を撮像して得られる撮像画像を少なくとも含み、かつ、前記通信装置が出力する映像を示す出力映像のうち、前記撮像画像が表示される領域を示す表示領域を、前記撮像画像に映り込んだ人物の数に応じて複数の単位領域に分ける領域分割ステップと、
   前記出力映像のうちユーザによって指し示された位置に対応する前記単位領域を示す座標情報を、前記他の通信装置へ送信する制御を行う送信制御ステップと、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記他の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御ステップと、を含む、
   通信方法。
8. 通信装置に搭載されたコンピュータに、
   前記通信装置と通信する他の通信装置の周囲を撮像して得られる撮像画像を少なくとも含み、かつ、前記通信装置が出力する映像を示す出力映像のうち、前記撮像画像が表示される領域を示す表示領域を、前記撮像画像に映り込んだ人物の数に応じて複数の単位領域に分ける領域分割ステップと、
   前記出力映像のうちユーザによって指し示された位置に対応する前記単位領域を示す座標情報を、前記他の通信装置へ送信する制御を行う送信制御ステップと、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記他の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御ステップと、を実行させるためのプログラム。

Images