JP2016178356A - 通信装置、通信システム、受信制御方法およびプログラム - Google Patents

Abstract

【課題】映像の受信に使用可能な通信ネットワークの帯域幅が狭い場合でも、ユーザが注視している映像をその帯域幅の範囲内で高品質の映像として適切に受信して表示させる。
【解決手段】端末は、表示画面上の注視位置を検知する注視位置検知部６１と、表示画面のレイアウト情報と検知された注視位置とに基づいて、ユーザが注視している映像を判定する注視映像判定部６２と、受信帯域幅を推定する受信帯域幅推定部６３と、表示画面の中でユーザが注視している映像の受信に使用する帯域幅が、ユーザが注視していない映像の受信に使用する帯域幅よりも大きくなるように、推定された受信帯域幅の範囲内で各映像の受信に使用する帯域幅を割り当てる帯域幅割り当て部６４と、受信する各映像の品質に関わる品質パラメータを、各映像に割り当てられた帯域幅の大きさに基づいて決定する品質パラメータ決定部６５と、を備える。
【選択図】図６

Description

本発明は、通信装置、通信システム、受信制御方法およびプログラムに関する。

インターネットなどの通信ネットワークを利用して双方向コミュニケーションを実現する通信システムの一つとして、地理的に離れた拠点間での遠隔会議を可能にするテレビ会議システムが普及している。テレビ会議システムでは、通信ネットワークに接続された各拠点の通信装置同士で通信を行い、ある拠点のカメラやマイクにより収集された映像や音声を他拠点の表示装置やスピーカから出力することにより、遠隔会議を実現している。

テレビ会議システムにより多拠点間の遠隔会議を行う場合、各拠点の表示装置に、複数の他拠点からの映像を一画面内に含む表示画面を表示させることが多い。この場合、各拠点の通信装置は複数の他拠点からの映像を一度に受信することになるが、すべての映像を高い品質で受信しようとすると、受信側の通信ネットワークの帯域幅が不足する懸念がある。そこで、表示画面を参照しているユーザの視線方向を検出し、視線方向にある映像の品質を高め、視線方向にない映像の品質を低減させることで、通信ネットワークにできるだけ負担をかけずに、ユーザが注視している映像を高品質で表示できるようにすることが提案されている（例えば、特許文献１を参照）。

なお、ここでいう通信ネットワークの帯域幅とは、通信に用いる周波数の範囲を意味するのではなく、通信ネットワークの伝送路容量（ビットレート：ｂｐｓ）、つまり通信ネットワークのデータ伝送能力（単位時間あたりにどれだけのデータ量を伝送できるか）を意味する。通信ネットワークの帯域幅は、通信ネットワークの状態によってしばしば変動する。以下においても、「帯域幅」の用語はこの意味で使用する。

特許文献１に記載の技術は、検出した視線方向にある映像を最高品質（最高の解像度および画像伝送速度）で転送する構成である。このため、受信側の通信ネットワークの状態によっては、最高品質で転送された映像を適切に受信することができず、映像の遅延や停止、映像フレームのスキップなどが生じて、ユーザが注視している映像を却って見づらいものとしてしまう懸念がある。

上述した課題を解決するため、本発明は、通信ネットワークを介して複数の映像を受信し、受信した複数の映像を一画面内に含む表示画面を表示装置に表示させる通信装置であって、前記表示画面上でユーザが注視している注視位置を検知する注視位置検知部と、前記表示画面における複数の映像の位置関係を表すレイアウト情報と、検知された前記注視位置とに基づいて、前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像を判定する注視映像判定部と、映像の受信に使用可能な前記通信ネットワークの帯域幅を表す受信帯域幅を推定する受信帯域幅推定部と、前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像の受信に使用する帯域幅が、ユーザが注視していない映像の受信に使用する帯域幅よりも大きくなるように、推定された前記受信帯域幅の範囲内で各映像の受信に使用する帯域幅を割り当てる帯域幅割り当て部と、受信する各映像の品質に関わる品質パラメータを、各映像に割り当てられた帯域幅の大きさに基づいて決定する品質パラメータ決定部と、を備える。

本発明によれば、映像の受信に使用可能な通信ネットワークの帯域幅が狭い場合でも、ユーザが注視している映像をその帯域幅の範囲内でより品質が高い映像として適切に受信して表示させることができる。

図１は、実施形態のテレビ会議システムの概略構成図である。 図２は、テレビ会議を実施している様子を示す図である。 図３は、端末のハードウェア構成の一例を示すブロック図である。 図４は、中継サーバのハードウェア構成の一例を示すブロック図である。 図５は、端末の機能的な構成例を示すブロック図である。 図６は、端末が備える受信設定モジュールの詳細を示すブロック図である。 図７は、注視位置の一例を示す図である。 図８は、レイアウト情報の一例を示す図である。 図９は、注視映像の判定結果の一例を示す図である。 図１０は、ネットワーク情報の一例を示す図である。 図１１は、帯域幅の割り当て結果の一例を示す図である。 図１２は、帯域・品質対応テーブルの一例を示す図である。 図１３は、受信設定の一例を示す図である。 図１４は、中継サーバの機能的な構成例を示すブロック図である。 図１５は、受信要求管理テーブルの一例を示す図である。 図１６は、端末の受信設定モジュールによる処理手順の一例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る通信装置、通信システム、受信制御方法およびプログラムの実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、地理的に離れた拠点間での遠隔会議を可能にするテレビ会議システムを例示する。このテレビ会議システムでは、各拠点に配置されたテレビ会議用端末（以下、「端末」と表記する）が通信ネットワークを利用した通信を行うことにより遠隔会議を実現する。ただし、本発明が適用可能な通信システムはこの例に限らない。本発明は、複数の通信装置の間で映像を送受信する各種の通信システム、および、この通信システムで用いられる各種の通信装置に対して、広く適用可能である。

図１は、本実施形態のテレビ会議システム１の概略構成図である。本実施形態のテレビ会議システム１は、図１に示すように、各拠点に配置された端末１０（「通信装置」に相当）と、中継サーバ２０（「中継装置」に相当）とが、通信ネットワーク３０を介して接続された構成である。通信ネットワーク３０は、例えば、インターネットやＬＡＮ（Local Area Network）などのネットワーク技術を単独または組み合わせて構築される。この通信ネットワーク３０には、有線だけでなく、ＷｉＦｉ（Wireless Fidelity）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。

テレビ会議システム１に含まれる端末１０の数は、会議に参加する拠点数に対応する。本実施形態では、一例として、拠点Ａ〜Ｄの４拠点間での遠隔会議を行うことを想定し、４つの端末１０が通信ネットワーク３０に接続されているものとする。なお、各端末１０の登録や管理、会議に参加する各拠点の端末１０がテレビ会議システム１にログインする処理、各拠点の端末１０間で通信を行うためのセッションを確立する処理などは、例えば特開２０１４−２０９２９９号公報などに開示された公知の技術を用いることができるので、ここでは詳細な説明は省略する。

端末１０は、他拠点の端末１０との間でのデータの送受信や、受信したデータの出力制御などを行う。ここで扱われるデータは、カメラにより撮影された各拠点の映像や、マイクにより収録された各拠点の音声などである。端末１０間の映像や音声のデータ伝送は、中継サーバ２０を介して行われる。なお、端末１０は、テレビ会議システム１に専用の専用端末であってもよいし、ＰＣ（パーソナルコンピュータ）やスマートフォン、タブレット端末などの汎用端末であってもよい。これらの汎用端末は、後述の端末用プログラムをインストールすることによって、アプリケーションの一つとして端末１０の機能を実現する。

端末１０には、図１に示すように、他拠点の端末１０から中継サーバ２０を介して送信された映像を表示する表示装置４０と、端末１０のユーザの視線方向を検出する視線検出装置５０とが、有線または無線により接続されている。なお、図１では便宜上、拠点Ａの端末１０のみに表示装置４０と視線検出装置５０とが接続された様子を図示しているが、拠点Ｂ〜Ｄの他の拠点の端末１０にも同様に、表示装置４０と視線検出装置５０とが接続される。

中継サーバ２０は、各拠点の端末１０間における映像や音声のデータ伝送を中継するサーバコンピュータである。本実施形態においては、各拠点の端末１０が送信する映像のデータは、例えばＨ．２６４／ＳＶＣフォーマットなどのスケーラブルな符号化フォーマットで符号化されているものとする。中継サーバ２０は、受信側の端末１０から送信される後述の受信要求に従って、送信元の端末１０によりスケーラブルに符号化されて送信された映像のデータを、受信側の端末１０で要求している品質のデータに変換して受信側の端末１０に転送する機能を持つ。

図２は、ある拠点のユーザが端末１０およびこれに接続された表示装置４０と視線検出装置５０を用いてテレビ会議を実施している様子を示す図である。テレビ会議が行われている間、各拠点の表示装置４０には、図２に示すように、他拠点から送信される複数の映像を一画面内に含む表示画面ＤＳが表示される。例えば拠点Ａの端末１０に接続された表示装置４０には、拠点Ｂ〜Ｄの３つの拠点の映像を一画面内に含む表示画面ＤＳが表示される。また、この表示画面ＤＳを見ながら会議を行っているユーザと正対する位置（図２の例では表示装置４０の上部）には、視線検出装置５０が設置されている。

視線検出装置５０は、ユーザの視線方向を検出する装置である。視線方向を検出する技術は公知技術であるため詳細な説明を省略するが、例えば特開２００７−１３６０００号公報に記載されているように、赤外線が照射されたユーザの眼球の画像を解析して視線方向を検出する技術を用いることができる。視線検出装置５０により検出されたユーザの視線方向は、端末１０に入力される。端末１０では、事前のキャリブレーションにより設定されるユーザの視線方向と表示装置４０の表示画面ＤＳ上の位置との対応関係を用いて、視線検出装置５０により検出されたユーザの視線方向から、ユーザが表示画面ＤＳ上で注視している注視位置を検知することができる。キャリブレーションは、例えば、表示装置４０の表示画面ＤＳ上の離散した位置にマーカを順次表示してそれをユーザに注視させ、そのときに視線検出装置５０が検出した視線方向とマーカの位置とから、ユーザの視線方向と表示画面ＤＳ上の位置との対応関係を求める処理である。

本実施形態の端末１０は、表示装置４０に表示される表示画面ＤＳ内の複数の映像の位置関係を表すレイアウト情報と、この表示画面ＤＳ上のユーザの注視位置とに基づいて、表示画面ＤＳに含まれている複数の映像のうち、どの映像をユーザが注視しているかを判定する。そして、当該端末１０が映像を受信するために使用可能な通信ネットワーク３０の帯域幅を表す受信帯域幅を推定し、その受信帯域幅の範囲内で、表示画面ＤＳに含まれる各映像の受信に使用する帯域幅を割り当てる。このとき、ユーザが注視している映像の受信に使用する帯域幅が、ユーザが注視していない映像の受信に使用する帯域幅よりも大きくなるように、各映像の受信に使用する帯域幅を割り当てる。

また、本実施形態の端末１０は、例えば、受信に使用する帯域幅と受信する映像の品質に関わる品質パラメータとを対応付けた帯域・品質対応テーブルなどを参照し、表示画面ＤＳに含まれる各映像に対して割り当てた帯域幅に基づいて、各映像の品質パラメータを決定する。ここで品質パラメータとは、例えば、映像の解像度、フレームレート、伝送速度などであり、これらのうち少なくとも一つを決定する。なお、品質パラメータはこれらに限らず、例えば映像を静止画として受信するか否か、カラーの映像として受信するかモノクロの映像として受信するかなど、映像の品質に関わる他のパラメータを含んでいてもよい。そして、端末１０は、表示画面ＤＳに含まれる各映像について、決定した品質パラメータを指定した受信要求を中継サーバ２０に送信する。その結果、表示画面ＤＳに含まれる各映像が、受信要求で指定した品質パラメータに応じて変換されて（つまり受信側で要求する品質で）中継サーバ２０から端末１０に転送される。

本実施形態の端末１０は、テレビ会議が実施されている間、上述した処理を繰り返し行うことにより、通信ネットワーク３０の状態変化により受信帯域幅が変動して、受信帯域幅が狭くなった場合であっても、表示画面ＤＳの中でユーザが注視している映像をそのときの受信帯域幅の範囲内で高品質の映像として適切に受信し、表示装置４０に表示させることができる。

次に、本実施形態のテレビ会議システム１における端末１０および中継サーバ２０のハードウェア構成について説明する。図３は、端末１０のハードウェア構成の一例を示すブロック図であり、図４は、中継サーバ２０のハードウェア構成の一例を示すブロック図である。

端末１０は、図３に示すように、端末１０全体の動作を制御するＣＰＵ（Central Processing Unit）１０１、ＩＰＬ（Initial Program Loader）などのＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３、端末用プログラム、画像データや音声データなどの各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Solid State Drive）１０５、記録メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７、通信相手となる他の端末１０を選択する場合などに操作される操作ボタン１０８、端末１０の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク３０を利用してデータ伝送をするためのネットワークＩ／Ｆ（Interface）１１１を備えている。

また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４およびスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って表示装置４０に表示する映像のデータを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、および上記各構成要素を電気的に接続するためのアドレスバスやデータバスなどのバスライン１１０を備えている。

上述した視線検出装置５０は、例えば外付けの外部機器として、外部機器接続Ｉ／Ｆ１１８に接続される。また、表示装置４０は、端末１０に外付けされる液晶パネルやプロジェクタなどの投影装置を想定するが、端末１０に内蔵された構成であってもよい。なお、図３に示す端末１０のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。

上述した端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などを用いてもよい。また、端末用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体である記録メディア１０６に記録されて提供されるようにしてもよい。また、端末用プログラムは、ＲＯＭ１０２などに予め格納された組み込みプログラムとして提供されるようにしてもよい。

中継サーバ２０は、図４に示すように、中継サーバ２０全体の動作を制御するＣＰＵ２０１、ＩＰＬなどのＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継サーバ用プログラムなどの各種データを記憶するＨＤ（hard Disc）２０４、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しまたは書き込みを制御するＨＤＤ（HD Drive）２０５、記録メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク３０を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Compact Disc Read Only Memory）２１３に対する各種データの読み出しまたは書き込みを制御するＣＤ−ＲＯＭドライブ２１４、および上記各構成要素を電気的に接続するためのアドレスバスやデータバスなどのバスライン２１０を備えている。

上述した中継サーバ用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、中継サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ−ＲＯＭ２１３などのコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、中継サーバ用プログラムは、ＲＯＭ２０２などに予め格納された組み込みプログラムとして提供されるようにしてもよい。

なお、着脱可能な記録媒体の他の例としては、ＣＤ−Ｒ（Compact Disc Recordable）、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスクなどのコンピュータで読み取り可能な記録媒体が挙げられる。上述した各種のプログラムは、これらの記録媒体に記録されて提供されるようにしてもよい。

次に、端末１０の機能構成について説明する。図５は、端末１０の機能的な構成例を示すブロック図であり、図６は、端末１０が備える受信設定モジュール６０の詳細を示すブロック図である。

端末１０は、図５に示すように、送受信部１１、操作入力受付部１２、撮像部１３、表示制御部１４、音声入力部１５、音声出力部１６、視線情報取得部１７、ネットワーク情報取得部１８、記憶・読出処理部１９、および受信設定モジュール６０を備える。これら各部は、例えば、図３に示したフラッシュメモリ１０４からＲＡＭ１０３上に展開された端末用プログラムをＣＰＵ１０１が実行することにより実現される機能である。また、端末１０は、例えば、図３に示したＲＡＭ１０３およびフラッシュメモリ１０４によって構成される記憶部１０００を有している。

記憶部１０００には、受信に使用する帯域幅と受信する映像の品質に関わる品質パラメータとを対応付けた帯域・品質対応テーブル１１００が格納されている。この帯域・品質対応テーブル１１００は、予め作成され、例えば端末１０の出荷時、あるいは端末１０の機能をアップデートする際に、記憶部１０００に格納される。また、記憶部１０００は、他拠点の端末１０から中継サーバ２０を介して送信された映像や音声のデータを一時的に保持する受信バッファとしても用いられる。

送受信部１１は、通信ネットワーク３０を介して、中継サーバ２０との間で各種データの送受信を行う。送受信部１１は、例えば、図３に示したネットワークＩ／Ｆ１１１およびＣＰＵ１０１によって実現される。

操作入力受付部１２は、端末１０を使用するユーザによる各種の操作入力を受け付ける。操作入力受付部１２は、例えば、図３に示した操作ボタン１０８、電源スイッチ１０９、およびＣＰＵ１０１によって実現される。

撮像部１３は、端末１０が設置されている拠点の映像を撮影する。撮像部１３により撮影された映像は、例えばＨ．２６４／ＳＶＣフォーマットなどのスケーラブルな符号化フォーマットで符号化され、送受信部１１から中継サーバ２０へと送信される。撮像部１３は、例えば、図３に示したカメラ１１２、撮像素子Ｉ／Ｆ１１３、およびＣＰＵ１０１によって実現される。

表示制御部１４は、送受信部１１により受信されて復号化された複数の他拠点の映像を一画面内に含む表示画面ＤＳの描画処理などを行い、処理したデータを表示装置４０に受け渡すことにより、図２に示したような表示画面ＤＳを表示装置４０に表示させる。また、表示制御部１４は、受信設定モジュール６０からの要求に応じて、表示画面ＤＳにおける複数の映像の位置関係を表すレイアウト情報を、受信設定モジュール６０に受け渡す機能を持つ。表示制御部１４は、例えば、図３に示したディスプレイＩ／Ｆ１１７およびＣＰＵ１０１によって実現される。

音声入力部１５は、端末１０が設置されている拠点の音声を入力する。音声入力部１５により入力された音声は、例えばＰＣＭ（Pulse Code Modulation）などの任意の符号化フォーマットで符号化され、送受信部１１から中継サーバ２０へと送信される。音声入力部１５は、例えば、図３に示したマイク１１４、音声入出力Ｉ／Ｆ１１６、およびＣＰＵ１０１によって実現される。

音声出力部１６は、送受信部１１により受信されて復号化された他拠点の音声を再生出力する。音声出力部１６は、例えば、図３に示したスピーカ１１５、音声入出力Ｉ／Ｆ１１６、およびＣＰＵ１０１によって実現される。

視線情報取得部１７は、受信設定モジュール６０からの要求に応じて、視線検出装置５０により検出されたユーザの視線方向を表す視線情報を視線検出装置５０から取得し、受信設定モジュール６０に受け渡す。視線情報取得部１７は、例えば、図３に示した外部機器接続Ｉ／Ｆ１１８およびＣＰＵ１０１によって実現される。

ネットワーク情報取得部１８は、受信設定モジュール６０からの要求に応じて、端末１０が各種データを送受信するために利用している通信ネットワーク３０のネットワーク状態に関するネットワーク情報を取得し、受信設定モジュール６０に受け渡す。このネットワーク情報には、映像、音声、その他のデータについて、端末１０が送信および受信に使用している現在のネットワーク帯域幅を表す情報が含まれる。このネットワーク情報は、例えば単位時間あたりに送受信部１１が送信あるいは受信したデータサイズから求めることができる。ネットワーク情報取得部１８は、例えば、図３に示したネットワークＩ／Ｆ１１１およびＣＰＵ１０１によって実現される。

記憶・読出処理部１９は、記憶部１０００に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部１９は、例えば、図３に示したＳＳＤ１０５およびＣＰＵ１０１によって実現される。

受信設定モジュール６０は、本実施形態の端末１０に特徴的な処理を行うモジュールであり、例えば、図３に示したＣＰＵ１０１が、上述した端末用プログラムに含まれる受信設定プログラムを実行することにより実現される。この受信設定モジュール６０は、図６に示すように、注視位置検知部６１と、注視映像判定部６２と、受信帯域幅推定部６３と、帯域幅割り当て部６４と、品質パラメータ決定部６５と、受信要求送信部６６とを有している。

以下、具体例を例示しながら、受信設定モジュール６０内の各サブモジュールの処理について詳しく説明する。

注視位置検知部６１は、視線情報取得部１７が視線検出装置５０から取得した視線情報と、事前のキャリブレーションにより設定したユーザの視線方向と表示画面ＤＳ上の位置との対応関係に基づいて、表示画面ＤＳ上でユーザが注視している注視位置を検知する。

図７は、注視位置検知部６１により検知された注視位置Ｐの一例を示す図である。ここでは、表示画面ＤＳの左下の角を原点とし、表示画面ＤＳの水平方向および垂直方向において原点から最も離れた位置を１００％として、注視位置Ｐを水平方向および垂直方向の割合で表している。図７に例示する注視位置Ｐは、水平方向：２０％、垂直方向：５０％の位置として表される。

注視映像判定部６２は、表示制御部１４から受け取ったレイアウト情報と、注視位置検知部６１により検知された注視位置Ｐとに基づいて、表示画面ＤＳに含まれる複数の映像のうち、ユーザが注視している映像（以下、「注視映像」と呼ぶ）を判定する。

図８は、注視映像判定部６２が表示制御部１４から受け取ったレイアウト情報の一例を示す図である。レイアウト情報は、上述したように、表示画面ＤＳ内における複数の映像の位置関係を表す情報である。ここでは、表示画面ＤＳの左下の角を原点とし、表示画面ＤＳの水平方向および垂直方向において原点から最も離れた位置を１００％として、表示画面ＤＳ内において各映像が表示されている範囲を、水平方向および垂直方向の割合で表したものをレイアウト情報としている。図８に例示するレイアウト情報は、拠点Ｂの映像が水平方向：６０％〜１００％、垂直方向：５０％〜１００％の範囲で表示され、拠点Ｃの映像が水平方向：０％〜６０％、垂直方向：０％〜１００％の範囲で表示され、拠点Ｄの映像が水平方向：６０％〜１００％、垂直方向：０％〜５０％の範囲で表示されていることを表している。

図９は、図７に例示した注視位置Ｐと図８に例示したレイアウト情報とに基づいて、注視映像判定部６２が判定した注視映像の判定結果の一例を示す図である。図７に例示した注視位置Ｐは、水平方向：２０％、垂直方向：５０％の位置であり、図８に例示したレイアウト情報では、水平方向：０％〜６０％、垂直方向：０％〜１００％の範囲に拠点Ｃの映像が表示されていることが示されている。したがって、注視映像判定部６２は、図９に示すように、表示画面ＤＳに含まれる拠点Ｂ〜Ｄの映像のうち、拠点Ｃの映像を注視映像と判定する。

受信帯域幅推定部６３は、端末１０が映像の受信に使用可能な通信ネットワーク３０の帯域幅である受信帯域幅を推定する。受信帯域幅推定部６３は、例えば、ネットワーク情報取得部１８から受け取ったネットワーク情報に基づいて、受信帯域幅を推定することができる。上述したように、ネットワーク情報取得部１８が取得するネットワーク情報には、映像、音声、その他のデータについて、端末１０が送信および受信に使用している現在のネットワーク帯域幅を表す情報が含まれている。このうち、映像の受信に使用しているネットワーク帯域幅は、現在の通信ネットワーク３０の状態において実際に映像の受信に使用している帯域幅であり、通信ネットワーク３０の状態が急激に劣化しない限り、この帯域幅の範囲内であれば映像の受信を適切に行えるものと推定される。したがって、受信帯域幅推定部６３は、ネットワーク情報取得部１８から受け取ったネットワーク情報から映像の受信に使用しているネットワーク帯域幅を抽出し、これを受信帯域幅と推定することができる。

図１０は、受信帯域幅推定部６３がネットワーク情報取得部１８から受け取ったネットワーク情報の一例を示す図である。この図１０に例示するネットワーク情報では、映像の受信に使用している現在のネットワーク帯域幅が１２００ｋｂｐｓであることが示されている。したがって、受信帯域幅推定部６３は、映像の受信に使用可能な受信帯域幅を１２００ｋｂｐｓと推定する。

なお、映像の受信に使用可能な受信帯域幅を推定する方法は、以上説明した例に限定されるものではなく、通信ネットワーク３０の定格のネットワーク帯域幅と現在の負荷状態とから受信帯域幅を推定するなど、他の方法を用いてもよい。また、例えば特開２０１３−１５３４１４号公報に記載されている方法を用いて、映像を受信している所定期間の最大の通信速度を求め、これを受信帯域幅と推定するようにしてもよい。

帯域幅割り当て部６４は、表示画面ＤＳに含まれる複数の映像のうち、注視映像判定部６２により判定された注視映像の受信に使用する帯域幅が、その他の映像（ユーザが注視していない映像）の受信に使用する帯域幅よりも大きくなるように、受信帯域幅推定部６３により推定された受信帯域幅の範囲内で各映像の受信に使用する帯域幅を割り当てる。各映像の受信に使用する帯域幅の割り当ては、予め定めた規則に従えばよい。ここでは、一例として、注視映像の受信に使用する帯域幅を受信帯域幅の１／２とし、残りの帯域幅を他の映像の受信に均等に割り当てるものとする。

図１１は、図９に例示した注視映像の判定結果と、図１０に例示したネットワーク情報から推定される受信帯域幅とから求めた各映像に対する帯域幅の割り当て結果の一例を示す図である。この例では、拠点Ｃの映像が注視映像と判定され、受信帯域幅が１２００ｋｂｐｓと推定されている。この場合、帯域幅割り当て部６４は、図１１に示すように、注視映像である拠点Ｃの映像の受信に６００ｋｂｐｓの帯域幅を割り当て、拠点Ｂの映像の受信と拠点Ｄの映像の受信とに、それぞれ３００ｋｂｐｓずつの帯域幅を割り当てる。

品質パラメータ決定部６５は、例えば記憶部１０００に格納された帯域・品質対応テーブル１１００を参照し、帯域幅割り当て部６４により各映像に対して割り当てられた帯域幅の大きさに基づいて、受信する各映像の品質パラメータを決定する。ここでは、各映像の品質パラメータとして、映像の解像度、フレームレートおよび伝送速度をそれぞれ決定するものとする。

図１２は、記憶部１０００に格納された帯域・品質対応テーブル１１００の一例を示す図である。この帯域・品質対応テーブル１１００では、受信に使用する帯域幅を複数の範囲（図１２の例では４つの範囲）に区分し、それぞれの帯域幅の範囲に対して、解像度、フレームレートおよび伝送速度を対応付けている。

図１３は、図１１に例示した帯域幅の割り当て結果と、図１２に例示した帯域・品質対応テーブル１１００とに基づいて、各映像の品質パラメータを決定することで得られる受信設定の一例を示す図である。受信設定は、各映像をどのような品質で受信するかを設定したものである。この例では、拠点Ｃの映像の受信に割り当てられた帯域幅が６００ｋｂｐｓであるため、品質パラメータ決定部６５は、拠点Ｃの映像に対する品質パラメータを解像度：８００×４５０、フレームレート：３０ｆｐｓ、伝送速度：７５０ｋｂｐｓに決定する。また、拠点Ｂの映像と拠点Ｄの映像の受信に割り当てられた帯域幅がそれぞれ３００ｋｂｐｓであるため、品質パラメータ決定部６５は、拠点Ｂの映像および拠点Ｄの映像に対する品質パラメータを解像度：６４０×３６０、フレームレート：１５ｆｐｓ、伝送速度：４００ｋｂｐｓに決定する。その結果、図１３に例示した受信設定が得られる。

なお、品質パラメータ決定部６５が決定する映像の品質パラメータは、映像の解像度、フレームレートおよび伝送速度に限らず、例えば映像を静止画として受信するか否か、カラーの映像として受信するかモノクロの映像として受信するかなど、映像の品質に関わる他のパラメータを含んでいてもよい。

受信要求送信部６６は、以上の処理により得られた受信設定に基づく受信要求を、送受信部１１から中継サーバ２０に送信する。この受信要求は、表示装置４０が表示している表示画面ＤＳに含まれる各映像について、品質パラメータ決定部６５により決定された品質パラメータを指定して、映像の受信を要求するものである。例えば図１３に例示した受信設定に基づく受信要求は、拠点Ｃの映像を解像度：８００×４５０、フレームレート：３０ｆｐｓ、伝送速度：７５０ｋｂｐｓの品質で受信し、拠点Ｂの映像および拠点Ｄの映像を解像度：６４０×３６０、フレームレート：１５ｆｐｓ、伝送速度：４００ｋｂｐｓの品質で受信することを要求するものとなる。受信要求送信部６６が中継サーバ２０に対してこのような受信要求を送信すると、その後、拠点Ｂ，Ｃ，Ｄから各々送信された映像が、中継サーバ２０において受信要求で指定された品質パラメータに応じて変換されて、拠点Ａの端末１０に送信されることになる。

次に、中継サーバ２０の機能構成について説明する。図１４は、中継サーバ２０の機能的な構成例を示すブロック図であり、図１５は、中継サーバ２０が保持する受信要求管理テーブル２１００の一例を示す図である。

中継サーバ２０は、図１４に示すように、送受信部２１、記憶・読出処理部２２および転送制御部２３を有している。これら各部は、例えば、図４に示したＨＤ２０４からＲＡＭ２０３上に展開された中継サーバ用プログラムをＣＰＵ２０１が実行することにより実現される機能である。また、中継サーバ２０は、例えば、図４に示したＨＤ２０４によって構成される記憶部２０００を有している。

記憶部２０００には、図１５に示すような受信要求管理テーブル２１００が格納されている。受信要求管理テーブル２１００は、各端末１０から送信される映像について、どの端末１０がどのような品質で受信を要求しているかを管理する。例えば、図１５に示す受信要求管理テーブル２１００の例では、各端末１０から送信される映像のデータＩＤと、その映像の宛先となる端末１０のＩＰアドレスと、宛先となる端末１０がその映像の受信を要求しているか否かを示す受信許可状態（許可／不許可）と、受信を要求している映像の解像度、フレームレートおよび伝送速度とを対応付けたかたちで管理している。１つの映像に対して宛先となる端末１０が複数ある場合は、それぞれの端末１０ごとに受信許可状態および受信の品質が管理されている。なお、図１５に示す受信要求管理テーブル２１００の形式はあくまで一例であり、この例に限定されるものではない。この受信要求管理テーブル２１００は、いずれかの端末１０から中継サーバ２０に対して、上述した受信要求が送信されるたびに更新される。

送受信部２１は、通信ネットワーク３０を介して、各端末１０との間で各種データの送受信を行う。送受信部２１は、例えば、図４に示したネットワークＩ／Ｆ２０９およびＣＰＵ２０１によって実現される。

記憶・読出処理部２２は、記憶部２０００に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部２２は、例えば、図４に示したＨＤＤ２０５およびＣＰＵ２０１によって実現される。

転送制御部２３は、記憶部２０００に格納された受信要求管理テーブル２１００を参照しながら、端末１０間における映像のデータ転送を制御する。すなわち、転送制御部２３は、ある端末１０からスケーラブルに符号化された映像がデータＩＤとともに送信されると、データＩＤをキーとして、受信要求管理テーブル２１００からその映像の宛先となる端末１０のＩＰアドレスを取得する。そして、宛先となる端末１０の受信許可状態が許可となっていることを条件として、スケーラブルに符号化された映像を指定されている解像度、フレームレートの映像に変換し、指定された伝送速度で宛先となる端末１０のＩＰアドレスに転送する。なお、音声データについては、すべての音声データを各端末１０に転送してもよいし、音量が所定値以上の一部の音声データを各端末１０に転送してもよい。転送制御部２３は、例えば、図４に示したＣＰＵ２０１によって実現される。

次に、本実施形態のテレビ会議システム１において特徴的な端末１０の動作について、図１６を参照して説明する。図１６は、端末１０の受信設定モジュール６０による処理手順の一例を示すフローチャートである。この図１６のフローチャートで示す一連の処理は、テレビ会議が実施されている間、各拠点の端末１０において所定周期で繰り返し実行される。

処理が開始されると、まず、受信設定モジュール６０の注視位置検知部６１が、視線検出装置５０により検出されたユーザの視線方向を示す視線情報を、視線情報取得部１７から入力する（ステップＳ１０１）。そして、注視位置検知部６１は、ステップＳ１０１で入力した視線情報を用いて、表示装置４０の表示画面ＤＳ上でユーザが注視している注視位置を検知する（ステップＳ１０２）。

次に、注視映像判定部６２が、表示画面ＤＳに含まれる各拠点の映像の表示画面ＤＳにおける位置関係を表すレイアウト情報を、表示制御部１４から入力する（ステップＳ１０３）。そして、注視映像判定部６２は、ステップＳ１０２で注視位置検知部６１により検知された注視位置と、ステップＳ１０３で入力したレイアウト情報とに基づいて、表示画面ＤＳに含まれる各拠点の映像のうち、ユーザが注視している注視映像を判定する（ステップＳ１０４）。

次に、受信帯域幅推定部６３が、端末１０が使用している現在のネットワーク帯域幅に関するネットワーク情報を、ネットワーク情報取得部１８から入力する（ステップＳ１０５）。そして、受信帯域幅推定部６３は、ステップＳ１０５で入力したネットワーク情報に基づき、端末１０が映像の受信に使用可能なネットワーク帯域幅である受信帯域幅を推定する（ステップＳ１０６）。

次に、帯域幅割り当て部６４が、ステップＳ１０４で注視映像判定部６２により判定された注視映像の受信に使用する帯域幅が、他の映像の受信に使用する帯域幅よりも大きくなるように、ステップＳ１０６で受信帯域幅推定部６３により推定された受信帯域幅の範囲内で、表示画面ＤＳに含まれる各映像の受信に使用する帯域幅の割り当てを行う（ステップＳ１０７）。

次に、品質パラメータ決定部６５が、ステップＳ１０７で帯域幅割り当て部６４により割り当てられた帯域幅と、記憶部１０００に格納されている帯域・品質対応テーブル１１００とに基づいて、表示画面ＤＳに含まれる各映像の品質パラメータを決定する（ステップＳ１０８）。

最後に、受信要求送信部６６が、ステップＳ１０８で品質パラメータ決定部６５により決定された品質パラメータを指定した各映像の受信要求を送受信部１１から中継サーバ２０に送信し（ステップＳ１０９）、受信設定モジュール６０による一連の処理が終了する。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態のテレビ会議システム１では、各拠点の端末１０が、映像の受信に使用可能なネットワーク帯域幅である受信帯域幅を推定し、推定した受信帯域幅の範囲内で、表示装置４０に表示している表示画面ＤＳ内の各映像の受信に使用する帯域幅を割り当てる。このとき、表示画面ＤＳに含まれる各映像のうち、ユーザが注視している注視映像の受信に使用する帯域幅が他の映像の受信に使用する帯域幅よりも大きくなるように、各映像の受信に使用する帯域幅を割り当てる。そして、割り当てた帯域幅に対応する各映像の品質パラメータを決定し、使用する帯域幅に合った品質の映像を受信するようにしている。したがって、本実施形態のテレビ会議システム１によれば、通信ネットワーク３０の状態変化により受信帯域幅が変動して、受信帯域幅が狭くなった場合であっても、各拠点の端末１０が、表示画面ＤＳの中でユーザが注視している映像をそのときの受信帯域幅の範囲内で高品質の映像として適切に受信し、表示装置４０に表示させることができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態で説明したテレビ会議システム１、端末１０、中継サーバ２０などの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。

例えば、上述した実施形態における中継サーバ２０は、単一のコンピュータによって構築されてもよいし、複数のコンピュータによって構築されていてもよい。また、中継サーバ２０のほかに、端末１０の管理やセッションの管理などを行う管理サーバを別途設けるようにしてもよい。そのほか、様々な機能を持つサーバをシステムに組み込むことにより、様々な機能拡張が実現できる。

また、上述した実施形態では、各拠点の端末１０間における映像や音声のデータ伝送を、中継サーバ２０を介して行うようにしているが、各拠点の端末１０間における映像や音声のデータ伝送を、中継サーバ２０を介さずに直接行うように構成してもよい。この構成の場合、各拠点の端末１０は、映像の送信元の端末１０に対してその映像の品質パラメータを指定した受信要求を送信し、映像の送信元の端末１０が、受信要求で指定された品質パラメータに応じた品質の映像を、受信側の端末１０に送信すればよい。この場合は、各拠点の端末１０が送信する映像をスケーラブルな符号化フォーマットで符号化する必要はなく、例えば、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ、Ｈ．２６５などの任意の形式で符号化した映像を、各拠点の端末１０間で送受信すればよい。

また、上述した実施形態では、本発明を適用した通信システムの一例としてテレビ会議システム１を例示したが、これに限られるものではない。本発明は、通信装置間で映像や音声のデータを双方向に送受信するシステム、例えば、管理センタの端末から自動車に搭載されたカーナビゲーション装置に対して地図データやルート情報などを配信するカーナビゲーションシステムなど、各種の通信システムに対して有効に適用可能である。

また、上述した実施形態では、本発明を適用した通信装置の一例としてテレビ会議用端末（端末）１０を例示したが、これに限られるものではない。本発明は、例えばＰＣやタブレット端末、スマートフォン、カメラ、プロジェクタ、ウェアラブル端末、電子黒板、自動車に搭載されるカーナビゲーション装置、プリンタ等の画像形成装置、通信機能を備えた産業用機器などの各種の通信装置に対して有効に適用可能である。

１ テレビ会議システム
１０ 端末
１１ 送受信部
１４ 表示制御部
１７ 視線情報取得部
１８ ネットワーク情報取得部
２０ 中継サーバ
２１ 送受信部
２３ 転送制御部
３０ 通信ネットワーク
４０ 表示装置
５０ 視線検出装置
６０ 受信設定モジュール
６１ 注視位置検知部
６２ 注視映像判定部
６３ 受信帯域幅推定部
６４ 帯域幅割り当て部
６５ 品質パラメータ決定部
６６ 受信要求送信部
１０００ 記憶部
１１００ 帯域・品質対応テーブル

特許第４６０２６３２号公報

Claims (8)

1. 通信ネットワークを介して複数の映像を受信し、受信した複数の映像を一画面内に含む表示画面を表示装置に表示させる通信装置であって、
   前記表示画面上でユーザが注視している注視位置を検知する注視位置検知部と、
   前記表示画面における複数の映像の位置関係を表すレイアウト情報と、検知された前記注視位置とに基づいて、前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像を判定する注視映像判定部と、
   映像の受信に使用可能な前記通信ネットワークの帯域幅を表す受信帯域幅を推定する受信帯域幅推定部と、
   前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像の受信に使用する帯域幅が、ユーザが注視していない映像の受信に使用する帯域幅よりも大きくなるように、推定された前記受信帯域幅の範囲内で各映像の受信に使用する帯域幅を割り当てる帯域幅割り当て部と、
   受信する各映像の品質に関わる品質パラメータを、各映像に割り当てられた帯域幅の大きさに基づいて決定する品質パラメータ決定部と、を備える通信装置。
2. 決定された前記品質パラメータを指定した映像の受信要求を、映像の送信元または映像の伝送を中継する中継装置に送信する受信要求送信部をさらに備える、請求項１に記載の通信装置。
3. 受信に使用する帯域幅の大きさと前記品質パラメータとを対応付けた対応テーブルを記憶する記憶部をさらに備え、
   前記品質パラメータ決定部は、前記対応テーブルを参照して、受信する各映像の前記品質パラメータを決定する、請求項１または２に記載の通信装置。
4. 前記品質パラメータは、映像の解像度、フレームレート、伝送速度の少なくともいずれかを含む、請求項１乃至３のいずれか一項に記載の通信装置。
5. 前記注視位置検知部は、視線検出装置により検出されるユーザの視線方向と、事前のキャリブレーションにより設定される視線方向と前記表示画面上の位置との対応関係に基づいて、前記注視位置を検知する、請求項１乃至４のいずれか一項に記載の通信装置。
6. 映像の伝送を中継する中継装置と、前記中継装置から通信ネットワークを介して複数の映像を受信し、受信した複数の映像を一画面内に含む表示画面を表示装置に表示させる通信装置と、を有する通信システムであって、
   前記通信装置は、
   前記表示画面上でユーザが注視している注視位置を検知する注視位置検知部と、
   前記表示画面における複数の映像の位置関係を表すレイアウト情報と、検知された前記注視位置とに基づいて、前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像を判定する注視映像判定部と、
   映像の受信に使用可能な前記通信ネットワークの帯域幅を表す受信帯域幅を推定する受信帯域幅推定部と、
   前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像の受信に使用する帯域幅が、ユーザが注視していない映像の受信に使用する帯域幅よりも大きくなるように、推定された前記受信帯域幅の範囲内で各映像の受信に使用する帯域幅を割り当てる帯域幅割り当て部と、
   受信する各映像の品質に関わる品質パラメータを、各映像に割り当てられた帯域幅の大きさに基づいて決定する品質パラメータ決定部と、
   決定された前記品質パラメータを指定した映像の受信要求を前記中継装置に送信する受信要求送信部と、を備え、
   前記中継装置は、
   映像の送信元から伝送される映像を、前記受信要求により指定された前記品質パラメータに応じて変換して前記通信装置に転送する映像転送部を備える、通信システム。
7. 通信ネットワークを介して複数の映像を受信し、受信した複数の映像を一画面内に含む表示画面を表示装置に表示させる通信装置により実行される受信制御方法であって、
   前記表示画面上でユーザが注視している注視位置を検知する工程と、
   前記表示画面における複数の映像の位置関係を表すレイアウト情報と、検知された前記注視位置とに基づいて、前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像を判定する工程と、
   映像の受信に使用可能な前記通信ネットワークの帯域幅を表す受信帯域幅を推定する工程と、
   前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像の受信に使用する帯域幅が、ユーザが注視していない映像の受信に使用する帯域幅よりも大きくなるように、推定された前記受信帯域幅の範囲内で各映像の受信に使用する帯域幅を割り当てる工程と、
   受信する各映像の品質に関わる品質パラメータを、各映像に割り当てられた帯域幅の大きさに基づいて決定する工程と、を含む受信制御方法。
8. 通信ネットワークを介して複数の映像を受信し、受信した複数の映像を一画面内に含む表示画面を表示装置に表示させる通信装置に、
   前記表示画面上でユーザが注視している注視位置を検知する機能と、
   前記表示画面における複数の映像の位置関係を表すレイアウト情報と、検知された前記注視位置とに基づいて、前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像を判定する機能と、
   映像の受信に使用可能な前記通信ネットワークの帯域幅を表す受信帯域幅を推定する機能と、
   前記表示画面に含まれる複数の映像のうち、ユーザが注視している映像の受信に使用する帯域幅が、ユーザが注視していない映像の受信に使用する帯域幅よりも大きくなるように、推定された前記受信帯域幅の範囲内で各映像の受信に使用する帯域幅を割り当てる機能と、
   受信する各映像の品質に関わる品質パラメータを、各映像に割り当てられた帯域幅に基づいて決定する機能と、を実現させるためのプログラム。

Images