JP2010141662A - 画像表示装置、テレビ会議装置、および画像表示方法 - Google Patents

Abstract

【課題】相手拠点の表示画面ではどのような表示を行っているかを把握することができる画像表示装置を提供する。
【解決手段】テレビ会議装置１００Ａは、表示画面１００上に画面１０５、１０２等を構成可能であり、画面１１５、１１３等を構成するための相手画面構成情報を受信するレイアウト受信部２１７と、画面１０５、１０２等を構成するための自画面構成情報を設定する操作部２１５と、他画面構成情報および自画面構成情報に基づいて、表示画面１００において、テレビ会議装置１Ｂの表示画面１１０における各画面に対応する対応画面領域１１５Ａ、１１３Ａ等を有する再現領域の位置を決定するレイアウト決定部１２８と、再現領域の各再現表示領域に、テレビ会議装置１Ｂの各画面に表示される各表示データを表示する表示部２１４、２１９と、を備える。
【選択図】図２

Description

本発明は、画像表示装置、テレビ会議装置、画像表示方法に関し、特に、相手画面構成を表示可能な画像表示装置等、カメラで撮影した映像データを送信して別拠点の表示画面に表示する画像表示装置等に関する。

近年、ＩＰネットワークのインフラが整備されてきたことに伴い、カメラ映像データや音声データを、ＩＰネットワークを経由して遠隔拠点に伝送して表示するテレビ会議装置が各所で導入されるようになった。

テレビ会議装置が各所に配置され、複数のテレビ会議装置で構成されたテレビ会議システムを使用する場合、各テレビ会議装置の表示画面に、相手拠点の画像を表示してテレビ会議を行うことが可能になっている。また、各テレビ会議装置のユーザは、自分がカメラに映っているかを把握したい場合には、自拠点のテレビ会議装置に、相手拠点の画像とともに自分拠点の画像を重畳表示させることも可能である。

例えば、図５では、Ａ拠点のテレビ会議装置およびＢ拠点のテレビ会議装置を用いてテレビ会議を行っている。図５に示すテレビ会議装置では、Ａ拠点の画面５００に表示されるＢ拠点の画像（相手画像）５０１の一部に、Ａ拠点の画像（自画像）５０２を重畳表示することができ、ユーザ自身がカメラに映っているかを把握することが可能である。

このような重畳表示を行う方法は、その一例として、大きく表示している相手画面の上の一部に小さく自拠点のカメラ映像データを子画面で表示する画面表示方法が知られている（例えば、特許文献１参照）。また、その子画面は、小さく表示する画面をマウス等の入力機器によって移動することにより、ユーザが望む位置に表示することができる。

特開２００４−１０１７０８号公報

しかしながら、上記の方法では、自拠点の表示画面にどのような映像データが表示されているかを把握することはできても、相手拠点の表示画面にどのような映像データが表示されているかを把握することができない。そのために、相手拠点の表示画面に自拠点の映像データの中で相手に見せたい映像データが、相手拠点の表示画面に重畳表示されている子画面によって隠れてしまい、会議がスムーズに進行しないことがある。

例えば、図５（ａ）に示すＡ拠点では、相手画像５０１の右下に自拠点の画像５０２を小さく表示させて、カメラに映っていることが確認できる。しかし、図５（ｂ）に示すＢ拠点では、相手拠点の画像を表示する子画面５１３によって、自拠点の会議の参加者５１１の顔周辺の画像の一部が隠れてしまっている。このように、実際には、相手画面に所望の映像データが映っていない場合がある。

図５（ｂ）では、Ｂ拠点において、自拠点の会議の参加者５１１および５１２が自拠点のカメラには映っていても、子画面５１３によって、会議の参加者５１１の映像データが、相手画面（Ａ拠点の表示画面）に映らない例を示している。この例は、会議の参加者自身に限らず、会議の参加者が相手拠点の参加者に見せたい物や会議中に相手拠点と共有する資料映像データ等である場合も同様に当てはまる。

本発明は、上記事情に鑑みてなされたものであり、相手拠点の表示画面ではどのような表示を行っているかを把握することができる画像表示装置、テレビ会議装置、および画像表示方法を提供することを目的とする。

本発明の画像表示装置は、表示画面上に複数の表示領域を構成可能な画像表示装置であって、通信回線を介して、他の画像表示装置の表示画面において複数の表示領域を構成するための他画面構成情報を受信するレイアウト受信部と、当該画像表示装置の表示画面において表示領域を構成するための自画面構成情報を設定する自画面構成情報設定部と、前記他画面構成情報および前記自画面構成情報に基づいて、当該画像表示装置の表示画面において、前記他の画像表示装置の表示画面における複数の表示領域に対応する複数の再現表示領域を有する再現領域の位置を決定するレイアウト決定部と、前記レイアウト決定部により決定された再現領域の各再現表示領域に、前記他の画像表示装置の表示画面における表示領域に表示される各表示データを表示する表示部と、を備える。

この構成により、相手拠点の表示画面ではどのような表示を行っているかを把握することができる。具体的には、相手拠点の表示画面を構成するための画面構成情報を取得し、自拠点の表示画面を構成するための画面構成を設定し、自拠点の表示画面上で相手拠点の表示画面を再現する。この再現表示を確認することで、相手拠点の表示形態を把握することが可能となる。

本発明によれば、相手拠点の表示画面ではどのような表示を行っているかを把握することができる。例えば、テレビ会議において、相手拠点のテレビ会議装置の表示画面がどのような画面構成をしており、この表示画面に自分の顔など相手に見せたいものが表示されているかどうかを直感的に理解することが可能となる。

以下、本発明の実施形態の画像表示装置、テレビ会議装置、画像表示方法について、添付図面を参照して詳細に説明する。

本発明の骨子は、テレビ会議装置のユーザが、相手拠点のテレビ会議装置の表示画面がどのような画面構成になっているかを、自拠点のテレビ会議装置の表示画面に再現表示することにより、直感的に把握できるようにすることである。

本実施形態では、画像表示装置の一例として、テレビ会議装置について説明する。
本実施形態では、複数のテレビ会議装置が複数の拠点に配置され、配置された複数のテレビ会議装置がテレビ会議システムを構成している。各テレビ会議装置は、所定の通信回線を介して音声データや映像データの通信を行う。ここでは、２拠点に２つのテレビ会議装置を配置する場合について説明するが、これに限られない。

図１は、各拠点に配置されたテレビ会議装置の表示画面の画面構成の一例を示す図である。図１の例では、Ａ拠点、Ｂ拠点という２つの拠点でテレビ会議装置を使ってコミュニケーションを行っているときの、それぞれの拠点の画面構成を示している。図１（ａ）は、Ａ拠点に配置されたテレビ会議装置の画面構成、図１（ｂ）はＢ拠点に配置されたテレビ会議装置の画面構成をそれぞれ示している。

なお、本実施形態では、Ａ拠点の会議参加者とＢ拠点の会議参加者が各々のテレビ会議装置を用いてテレビ会議を行うことを想定している。しかし、本実施形態は、テレビ会議に限らず、たとえば遠隔講義や遠隔医療など、テレビ会議装置によって送受信される映像データを用いて他のコミュニケーションを行うようにしてもよい。また、Ａ拠点およびＢ拠点は、必ずしも遠距離であるとは限らない。

図１（ａ）に示すＡ拠点の表示画面１００は、主画面１０５、子画面１０２、および孫画面１０３を有している。そして、図１に示す例では、主画面１０５は、Ｂ拠点のカメラで撮影されたＢ拠点の人物１０１等の映像データが表示される第１の表示領域となっている。また、子画面１０２は、Ｂ拠点の表示画面１１０の主画面１１５に表示されている映像データが、主画面１０５内の所定領域に重畳表示される第２の表示領域となっている。また、孫画面１０３は、Ｂ拠点の表示画面１１０の子画面１１３に表示されている映像データが、子画面１０２内の所定領域に重畳表示される第３の表示領域となっている。

図１（ｂ）に示すＢ拠点の表示画面１１０は、同様に、主画面１１５、子画面１１３、および孫画面１１４を有している。そして、図１（ｂ）に示す主画面１１５は、Ａ拠点のカメラで撮影されたＡ拠点の人物１１１、１１２等の映像データが表示される第１の表示領域となっている。また、子画面１１３は、Ａ拠点の表示画面１００の主画面１０５に表示されている映像データが、主画面１１５内の所定領域に重畳表示される第２の表示領域となっている。また、孫画面１１４は、Ａ拠点の表示画面１００の子画面１０２に表示されている映像データが、子画面１１３内の所定領域に重畳表示される第３の表示領域となっている。

このように、図１（ａ）および（ｂ）では、互いに相手人物の映像データを主画面に表示し、子画面に相手拠点の表示画面で表示されている表示データ（以下、相手画面表示データともいう）を表示している。相手画面表示データには、相手主画面の表示データ、相手子画面の表示データが含まれている。そのため、図１（ａ）および（ｂ）では、相手拠点の主画面の表示データを自拠点の表示画面の子画面で表示すると、付随的に相手拠点の子画面が孫画面のような形となって表れる。

また、図１（ａ）、（ｂ）の表示は、あくまで一例であり、各映像データが上記説明した画面とは異なる画面によって表示されてもよい。例えば、図１（ｃ）に示すＡ拠点の画面構成は、主画面１０５にＢ拠点の表示画面１１０の主画面１１５に表示されている映像データを表示し、子画面１０２にＢ拠点のカメラで撮影されたＢ拠点の人物１０１等の映像データを表示する。この場合、Ｂ拠点の表示画面１１０の子画面１１３は、Ｂ拠点の主画面１１５が表示される主画面１０５に重畳表示されることになる。各画面には、映像データ以外の表示データが表示されてもよい。

図１（ｂ）において、例えば、Ｂ拠点の表示画面には、表示画面１１０における左上の領域に子画面１１３が表示されており、Ｂ拠点の主画面１１５に表示されたＡ拠点の人物１１１が、子画面１１３に隠れている。Ａ拠点でテレビ会議に参加している人物は、図１（ａ）に示す画面１００の中に表示される子画面１０２を見ることで、人物１１１が子画面で隠れていて、Ｂ拠点の画面に表示されていないことを直感的に把握することができる。したがって、Ａ拠点の人物１１１は、Ｂ拠点にいる人物に口頭で指摘されることなく、必要に応じてＢ拠点の画面に表示するように移動することが可能である。さらに、Ａ拠点の人物は、相手に見せたい被写体を表示させるときにも、子画面１０２を見ながら、相手画面つまりＢ拠点の表示画面１１０に必ず表示されるように当該被写体を配置することが可能となる。

次は、図１に示すような画像表示を行うためのテレビ会議装置の構成について説明する。
図２は、本実施形態の各テレビ会議装置の主要な構成の一例を示すブロック図である。
ここでは、Ａ地点に配置されるテレビ会議装置を１Ａ、Ｂ地点に配置されるテレビ会議装置を１Ｂとして説明する。

図２に示すテレビ会議装置１Ａおよび１Ｂは、人物等の自拠点内の撮影対象を撮影するカメラ２００と、カメラ２００の映像データを送受信する映像送受信装置２１０と、受信した映像データ等を表示するディスプレイ２３０と、入力装置２４０と、を備える。映像送受信装置２１０は、カメラ２００の映像データを相手拠点のテレビ会議装置にネットワーク２２０を介して送信するとともに、相手拠点のテレビ会議装置からの映像データをネットワーク２２０を介して受信する。ディスプレイ２３０は、映像送受信装置２１０が受信した映像データ等を表示する。入力装置２４０は、ユーザの指示に応じて映像送受信装置２１０が、ディスプレイ２３０に表示する表示画面の構成の指定等を行うマウスやリモコン等である。

次に、映像送受信装置２１０について詳細に説明する。
以下、分かりやすく説明するために、テレビ会議装置１Ａについて説明するが、テレビ会議装置１Ｂはテレビ会議装置１Ａと対になる装置であり、同様の構成部位や機能を有する。図２においても、テレビ会議装置１Ｂの映像送受信装置２１０については、詳細な構成部位を省略している。

映像送受信装置２１０は、映像取得部２１１、映像送信部２１２、映像受信部２１３、映像表示部２１４、操作部２１５、レイアウト送信部２１６、レイアウト受信部２１７、レイアウト決定部２１８、および、相手画面構成表示部２１９を備える。

映像取得部２１１は、カメラ２００が撮影した映像（人物１１１、１１２等の撮影対象を含む映像）を映像データとして取得する。この映像データは、例えば、自拠点であるＡ拠点のテレビ会議装置１Ａでは子画面１０２に表示される映像データとして、相手拠点であるＢ拠点のテレビ会議装置１Ｂでは主画面１１５および孫画面１１４に表示される映像として使用される。

映像送信部２１２は、映像取得部２１１が取得した映像データを符号化し（以下、本符号化した映像データを符号化映像データと呼ぶ）、ネットワーク２２０に送信可能なデータ形式に変換する。次に、映像送信部２１２は、この符号化映像データをネットワーク２２０を介してテレビ会議装置１Ｂに送信する。なお、テレビ会議装置１Ａが送信する符号化映像データは、テレビ会議装置１Ｂの映像受信部２１３によって受信される。

映像受信部２１３は、ネットワーク２２０を介して、テレビ会議装置１Ｂから送信された人物１０１等の撮影対象を含む符号化映像データを受信し、ディスプレイ２３０に表示可能な形式に変換する。この映像データは、例えば、テレビ会議装置１Ａでは主画面１０５および孫画面１０３に表示される映像データとして、テレビ会議装置１Ｂでは子画面１１３に表示される映像データとして、使用される。なお、テレビ会議装置１Ａが受信する映像データは、テレビ会議装置１Ｂの映像送信部２１２が送信した符号化映像データである。また、映像受信部２１３は、符号化映像データ以外の表示データを受信してもよい。

レイアウト受信部２１７は、ネットワーク２２０を介して、テレビ会議装置１Ｂから送信された相手画面構成情報を受信する。相手画面構成情報とは、相手拠点であるＢ拠点に配置されるテレビ会議装置の表示画面１１０において、主画面１１５、子画面１１３等の各画面を構成するための画面構成情報を示すものである。相手画面構成情報の詳細については後述する。なお、テレビ会議装置１Ａが受信する相手画面構成情報は、テレビ会議装置１Ｂのレイアウト送信部２１６が送信した自画面構成情報である。

操作部２１５は、テレビ会議装置１Ａのユーザの指示に応じて、入力装置２４０を介して、映像表示部２１４が子画面１０２を表示するか否かを指定する情報、または、表示画面１００に対する子画面１０２の位置を指定する情報を取得する。この指定情報は、例えば、テレビ会議装置１Ａの図示しない記憶部に記憶される所定の複数のパターンから一つを選択するためのパターン選択情報である。子画面１０２が矩形の場合には、その左上の領域や右下の領域を指定する座標情報である。なお、主画面、子画面等の各画面は、必ずしも矩形である必要はなく、円形等の他の形状であってもよい。

図３は、指定情報を選択するパターン選択情報の一例を示すものである。
図３に示すように、パターン選択情報は、第１の表示データ４０１が表示される主画面１０５に対して、第２の表示データ４０２が表示される子画面１０２を、表示領域に重畳表示するための情報である。具体的な表示領域は、例えば、右下（図３（ａ））、右上（図３（ｂ））、左上（図３（ｃ））、左下（図３（ｄ））などである。また、図３（ｅ）に示す例は、図３（ａ）〜（ｄ）の場合と表示内容を逆転させ、第２の表示データ４０２が表示される主画面１０５に対して、第１の表示データ４０１が表示される子画面１０２を右下などに設定しても良い。いずれの表示形態とするかは、入力装置２４０を介して操作部２１５が決定する。

また、操作部２１５は、テレビ会議装置１Ａのユーザの指示に応じて、入力装置２４０を介して、相手画面表示データを主画面１０５、子画面１０２のいずれの画面で表示するかを指定するための情報を取得してもよい。

さらに、操作部２１５は、これらの情報を基に、自画面構成情報を生成する。自画面構成情報とは、自拠点であるＡ拠点に配置されるテレビ会議装置の表示画面１００において、主画面１０５、子画面１０２等の各画面を構成するための画面構成情報である。自画面構成情報の詳細については、後述する。

レイアウト決定部２１８は、レイアウト受信部２１７からの相手画面構成情報と操作部２１５からの自画面構成情報に基づいて、テレビ会議装置１Ｂの表示画面に表示される相手画面表示データを再現して、表示するための再現領域を決定する。この再現領域は、表示画面１００における子画面１０２、または主画面１０５の内部に設定される。例えば、子画面１０２に相手画面表示データを表示する場合には、子画面１０２内の所定領域が再現領域となり、さらに付随的に子画面１０２の所定領域に孫画面１０３が重畳的に配置される（例えば図１（ａ）参照）。また、主画面１０５に相手画面表示データを表示する場合には、主画面１０５内の所定領域が再現領域となり、さらに付随的に主画面１０５の所定領域に孫画面１０３が重畳的に配置される（例えば図１（ｃ）参照）。

レイアウト送信部２１６は、ネットワーク２２０を介して、操作部２１５からの自画面構成情報をテレビ会議装置１Ｂに送信する。また、レイアウト送信部２１６は、例えば入力装置２４０の指示により、子画面１０２を表示画面上に表示させたタイミングで、自画面構成情報を送信してもよい。なお、テレビ会議装置１Ａが送信する自画面構成情報は、テレビ会議装置１Ｂの映像送信部２１２が相手画面構成情報として受信する。

映像表示部２１４は、相手画面表示データ以外のデータを主画面１０５等に表示する。例えば、映像表示部２１４は、情報映像受信部２１３からの人物１０１等の撮影対象を含む映像データを表示する。また、映像表示部２１４は、相手画面構成表示部２１９が映像受信部２１３により受信した映像データを用いて表示する場合、この映像データを中継する。

相手画面構成表示部２１９は、レイアウト決定部２１８により決定された表示位置に基づいて、相手画面表示データを子画面１０２等に表示する。例えば、相手画面構成表示部２１９は、子画面１０２に映像表示部２１４からの人物１０１等の撮影対象を含む映像データ、映像取得部２１１からの人物１１１、および１１２等の撮影対象を含む映像データを表示する。

次に、自画面構成情報の詳細について説明する。
ここでは、自拠点のテレビ会議装置１Ａの表示画面１００が主画面１０５、子画面１０２を有する場合について説明する。

操作部１５が生成する自画面構成情報には、主画面１０５を表示させるための第１自画面構成情報、子画面１０２を表示させるための第２自画面構成情報が含まれる。そして、これらの自画面構成情報には、テレビ会議装置１Ａの主画面１０５の表示画面１００に対する表示位置情報、子画面１０２の表示画面１００に対する表示位置情報、表示画面１００の解像度情報が含まれるようにしてもよい。解像度情報とは、例えば単位をピクセルとして示す情報である。さらに、自画面構成情報には、主画面１０５または子画面１０２を、表示画面１００において画面手前側から何番目に表示するかを示す情報（表示順序情報）を含まれるようにしてもよい。

具体的には、表示順序情報を含む場合は、第１自画面構成情報として（ｘ１、ｙ１、ｘ１’、ｙ１’、Ｎ１）、第２自画面構成情報として（ｘ２、ｙ２、ｘ２’、ｙ２’、Ｎ２）という情報を生成する。ここで、ｘ１およびｙ１は、主画面１０５の矩形の左上座標を示す。また、ｘ１’およびｙ１’は、主画面１０５の矩形の右下座標を示す。また、ｘ２およびｙ２は子画面１０２の矩形の左上座標を示す。また、ｘ２’およびｙ２’は、子画面１０２の矩形の右下座標を示す。また、Ｎ１およびＮ２は、主画面１０５および子画面１０２の表示順序を示す値であり、値が大きなものほど表示画面１００の手前側に表示される。なお、解像度情報については、ここでは省略しているが、レイアウト決定部２１８が各画面の表示位置等を決定する際には不要であり、レイアウト送信部２１６から相手拠点のテレビ会議装置へ送信する場合に必要となる。

次に、相手画面構成情報の詳細について説明する。
ここでは、相手拠点のテレビ会議装置１Ｂの表示画面１１０が主画面１１５、子画面１１３を有する場合について説明する。

レイアウト受信部２１７が受信する相手画面構成情報には、テレビ会議装置１Ｂが主画面１１５を表示するために使用した第１相手画面構成情報、テレビ会議装置１Ｂが子画面１１３を表示するために使用した第２相手画面構成情報を含む。そして、これらの相手画面構成情報には、テレビ会議装置１Ｂの主画面１１５の表示画面１１０に対する表示位置情報、子画面１１３の表示画面１１０に対する表示位置情報、表示画面１１０の解像度情報が含まれる。さらに、相手画面構成情報には、主画面１１５または子画面１１３を、表示画面１１０において画面手前側から何番目に表示しているかを示す情報（表示順序情報）を含む。

具体的には、表示順序情報を含む場合、第１相手画面構成情報として（ｘ３、ｙ３、ｘ３’、ｙ３’、Ｎ３）、第２相手画面構成情報として（ｘ４、ｙ４、ｘ４’、ｙ４’、Ｎ４）、解像度情報として（Ｘ，Ｙ）という情報が含まれている。ここで、ｘ３およびｙ３は、主画面１１５の矩形の左上座標を示す。また、ｘ３’およびｙ３’は、主画面１１５の矩形の右下座標を示す。また、ｘ４およびｙ４は、子画面１１３の矩形の左上座標を示す。また、ｘ４’およびｙ４’は、子画面１１３の矩形の右下座標を示す。また、Ｎ３およびＮ４は、主画面１１５および子画面１１３の表示順序を示す値であり、値が大きなものほど表示画面１１０の手前側に表示されている。また、Ｘは、図１等において水平方向の解像度を示すものである。また、Ｙは、図１等において垂直方向の解像度を示すものである。

これらの自画面構成情報および相手画面構成情報は、基本的には同一のものである。また、ここでは、矩形の左上座標と右下座標を用いる場合を示したが、これ以外の場所の座標情報を用いてもよい。

次に、レイアウト決定部２１８が表示画面の画面構成を決定する方法について説明する。

図４は、レイアウト決定部２１８が表示画面の画面構成を決定する際の動作の一例を示すフローチャートである。ここでは、各画面の表示位置、再現領域の位置、表示順序などを決定する。図４では、座標情報から各画面の表示位置を決定することを想定している。ここでは、簡単のため、自拠点のテレビ会議装置を１Ａ、相手拠点のテレビ会議装置を１Ｂとする。また、ここでは、相手画面表示データが子画面１０２に表示されることを想定している。

まず、レイアウト決定部２１８は、レイアウト受信部２１７からの相手画面構成情報を取得する（ステップＳ１１）。

続いて、レイアウト決定部２１８は、取得した相手画面構成情報に含まれる主画面１１５の表示位置情報、子画面１１３の表示位置情報、および表示画面１１０の解像度情報を取得する（ステップＳ１２）。

続いて、レイアウト決定部２１８は、操作部２１５からの第１自画面構成情報、第２自画面構成情報、レイアウト受信部２１７からの第１相手画面構成情報、第２相手画面構成情報、相手画面の解像度情報を取得する。続いて、レイアウト決定部２１８は、取得した各情報に基づいて、テレビ会議装置１Ａの表示画面１００における画面構成を決定する。このとき、レイアウト決定部２１８は、相手画面表示データを再現表示する再現領域の描画位置も計算する（ステップＳ１３）。

次の説明は、レイアウト決定部２１８における再現領域の描画位置の計算方法の一例について行う。
レイアウト決定部２１８は、子画面１０２の表示領域内に表示されるテレビ会議装置１Ｂの主画面１１５に対応する領域を主画面対応領域１１５Ａとする。さらに、レイアウト決定部２１８は、子画面１０２の表示領域内に表示されるテレビ会議装置１Ｂの子画面１１３に対応する領域を子画面対応領域１１３Ａとする。これらの対応領域１１５Ａ、１１３Ａは、再現領域内の複数の表示領域を示す再現表示領域の一例である。この場合、レイアウト決定部２１９は、主画面対応領域１１５Ａを表示させるための第１対応画面構成情報、および、子画面対応領域１１３Ａを表示させるための第２対応画面構成情報を生成する。第１対応画面構成情報は、主画面対応領域１１５Ａの表示画面１００に対する表示位置情報および表示画面１００において、画面手前側から何番目に表示しているかを示す情報（表示順序情報）を含む。また、第２対応画面構成情報は、子画面対応領域１１３Ａの表示画面１００に対する表示位置情報および表示画面１００において、画面手前側から何番目に表示しているかを示す情報（表示順序情報）を含む。

具体的には、第１対応画面構成情報として（ｘ５、ｙ５、ｘ５’、ｙ５’、Ｎ５）、第２対応画面構成情報として（ｘ６、ｙ６、ｘ６’、ｙ６’、Ｎ６）という情報を生成する。ここで、ｘ５およびｙ５は、主画面対応領域１１５Ａの矩形の左上座標を示す。また、ｘ５’およびｙ５’は主画面対応領域１１５Ａの矩形の右下座標を示す。また、ｘ６およびｙ６は、子画面対応領域１１３Ａの矩形の左上座標を示す。また、ｘ６’およびｙ６’は、子画面対応領域１１３Ａの矩形の右下座標を示す。また、Ｎ５およびＮ６は、子画面対応領域１１５Ａおよび子画面対応領域１１３Ａを加味した場合の子画面１０２および孫画面１０３の表示順序を示す値であり、値が大きなものほど表示画面１００の手前側に表示される。なお、子画面対応領域１１３Ａは、自動的に孫画面１０３を表すものとなる。

上記のｘ５、ｙ５、ｘ５’、ｙ５’、ｘ６、ｙ６、ｘ６’、ｙ６’は、自画面構成情報、相手画面構成情報に基づいて、以下に示す（数式１）で表すことができる。

このようにして、レイアウト決定部２１８は、表示画面１００における再現領域の位置を決定することができる。

なお、テレビ会議装置１Ａとテレビ会議装置１Ｂとの間で解像度が異なる場合には、子画面１０２の領域および再現領域が異なることになる。解像度が異なる場合は、例えば、テレビ会議装置１Ａの表示画面１００がＸ：Ｙ＝１６：９であり、テレビ会議装置１Ｂの表示画面１１０がＸ：Ｙ＝４：３である。この場合は、（数式１）により、子画面１０２の水平方向長さよりも再現領域の水平方向長さの方が短くなる結果が得られる。子画面１０２内の再現領域外となる左右端部の表示領域には、例えば単色黒色の表示を行うようにしてもよい。

続いて、レイアウト決定部１２８は、主画面１０５、再現領域の主画面対応領域１１５Ａ、子画面対応領域１１３Ａについて、表示順序を決定する（ステップＳ１４）。例えば、表示順序の決定は、相手画面構成情報に含まれる表示順序情報（ここでは、Ｎ３およびＮ４）のうち、一番大きいものをＮｍａｘとすると、Ｎ５，Ｎ６は以下に示す（数式２）で表すことができる。

レイアウト決定部２１８は、以上のようにして決定した（ｘ５、ｙ５、ｘ５’、ｙ５’、Ｎ５），（ｘ６，ｙ６，ｘ６’，ｙ６’，Ｎ６）としての対応画面構成情報を相手画面構成表示部２１９に送る。また、レイアウト決定部２１８は、第１自画面構成情報（ｘ１、ｙ１、ｘ１’、ｙ１’、Ｎ１）を映像表示部２１４に送る（ステップＳ１５）。

相手画面構成表示部２１９および映像表示部２１４は、重畳する順番であるＮ１、Ｎ５、Ｎ６の値を比較して、値の大きなものが表示画面１００の上（画面手前側）に重畳表示されるように表示する。具体的には、主画面１０５、子画面１０２内の主画面対応領域１１５Ａ、孫画面１０３に相当する子画面対応領域１１３Ａに該当する表示データを表示する。つまり、表示順序は、表示順序情報の大きい孫画面１０３が一番手前に表示されることになる。

相手画面構成表示部２１９が子画面１０２を表示する際には、第１対応画面構成情報（ｘ５、ｙ５、ｘ５’、ｙ５’、Ｎ５）に示される位置に、主画面対応領域１１５Ａを適宜縮小または拡大して表示することになる。同様に、相手画面構成表示部２１９が子画面１０２を表示する際には、第２対応画面構成情報（ｘ６、ｙ６、ｘ６’、ｙ６’、Ｎ６）に示される位置に、子画面対応領域１１３Ａを適宜縮小または拡大して表示することになる。

本実施形態は、図４に示す処理を行うことで、相手拠点のテレビ会議装置の表示画面に表示された映像データ（子画面含む）を、自拠点のテレビ会議装置の表示画面に表示することができる。自拠点側のユーザは、相手拠点の表示画面に表示されている自拠点の映像データが子画面に隠れているかどうかを直感的に把握することが可能である。
本実施形態は、自拠点側で有している映像データを使って、相手拠点側から取得するレイアウト情報である相手画面構成情報に基づいて画面を構成する。これにより、本実施形態は、映像データを余計に送受信することなく、相手画面構成情報という最低限の情報量のみで実現できる。

なお、本実施形態では、表示データとして主にカメラで撮影された映像データを用いることを説明したが、自拠点および相手拠点で共有する資料映像データなど資料データを用いるようにしてもよい。資料データは、例えば図示しない記憶部に記憶される。この場合は、前述した第１相手画面構成情報（ｘ３、ｙ３、ｘ３’、ｙ３’、Ｎ３），第２相手画面構成情報（ｘ４、ｙ４、ｘ４’、ｙ４’、Ｎ４）とは、別の第３相手画面構成情報（ｘ７、ｙ７、ｘ７’、ｙ７’、Ｎ７）を準備する。レイアウト受信部２１７は、第３相手画面構成情報を含む相手画面構成情報を受信することで、レイアウト決定部２１８が、この資料データの表示位置、表示順序を決定し、資料データを再現領域に表示することができる。当然に、レイアウト決定部２１８は、資料データの情報を含む自画面構成情報を生成し、レイアウト送信部２１６により相手拠点のテレビ会議装置へ送信するようにしてもよい。

また、本実施形態では、映像送受信装置２１０の操作、各種設定情報を表示するウィンドウ、またはグラフィカル・ユーザ・インターフェース（以降ＧＵＩと呼ぶ）が、表示画面上に表示される場合でも、同様に領域表示することができる。この場合には、先に説明した第１相手画面構成情報〜第３相手画面構成情報とは、別の第４相手画面構成情報（ｘ８、ｙ８、ｘ８’、ｙ８’、Ｎ８）という情報を準備する。レイアウト受信部２１７は、第３相手画面構成情報を含む相手画面構成情報を受信することで、レイアウト決定部２１８が、このＧＵＩ等の表示位置、表示順序を決定し、ＧＵＩ等を再現領域に表示することができる。当然に、レイアウト決定部２１８は、ＧＵＩ等の情報を含む自画面構成情報を生成し、レイアウト送信部２１６により相手拠点のテレビ会議装置へ送信するようにしてもよい。

さらに、本実施形態では、表示画面上の子画面等に自拠点および相手拠点の映像データ等の表示をせずに、ウィンドウ、ＧＵＩが表示されている旨を提示するアイコン等を表示するようにしてもよい。

さらに、上記の各相手画面構成情報の項目は、相手拠点のテレビ会議装置の主画面、子画面に表示されている画像の種類を示す情報の項目Ｖを追加し、例えば（ｘ３、ｙ３、ｘ３’、ｙ３’、Ｎ３、Ｖ３）のように表してもよい。例えば、画像の種類を示す情報は、自画像の場合を１、相手画像の場合を２、資料映像データの場合を３などと割り当てる。これにより、映像表示部２１４および相手画面構成表示部２１９は、どのような種類の映像データを子画面１０２、孫画面０３に表示するかを識別することが可能となる。

本発明は、相手拠点の表示画面ではどのような表示を行っているかを把握することができる画面表示装置、テレビ会議装置等に有用である。

本発明の実施形態におけるテレビ会議装置の表示画面に表示される映像データの一例を示す図 本発明の実施形態におけるテレビ会議装置の構成の一例を示すブロック図 本発明の実施形態におけるテレビ会議装置の画面構成の例を示す模式図 本発明の実施形態におけるテレビ会議装置のレイアウト決定部が画面構成を決定する際の動作の一例を示すフローチャート 従来のテレビ会議装置の表示画面に表示される映像データを示す図

符号の説明

１、１Ａ、１Ｂ テレビ会議装置
１００、１１３ 表示画面
１０１、１１１、１１２ 人物
１０２、１１３ 子画面
１０３、１１４ 孫画面
１０５、１１５ 主画面
２００ カメラ
２１０ 映像送受信装置
２１１ 映像取得部
２１２ 映像送信部
２１３ 映像受信部
２１４ 映像表示部
２１５ 操作部
２１６ レイアウト送信部
２１７ レイアウト受信部
２１８ レイアウト決定部
２１９ 相手画面構成表示部
２２０ ネットワーク
２３０ ディスプレイ
２４０ 入力装置

Claims (12)

1. 表示画面上に複数の表示領域を構成可能な画像表示装置であって、
   通信回線を介して、他の画像表示装置の表示画面において複数の表示領域を構成するための他画面構成情報を受信するレイアウト受信部と、
   当該画像表示装置の表示画面において表示領域を構成するための自画面構成情報を設定する自画面構成情報設定部と、
   前記他画面構成情報および前記自画面構成情報に基づいて、当該画像表示装置の表示画面において、前記他の画像表示装置の表示画面における複数の表示領域に対応する複数の再現表示領域を有する再現領域の位置を決定するレイアウト決定部と、
   前記レイアウト決定部により決定された再現領域の各再現表示領域に、前記他の画像表示装置の表示画面における各表示領域に表示される各表示データを表示する表示部と、
   を備える画像表示装置。
2. 請求項１に記載の画像表示装置であって、
   前記表示部は、第１の再現表示領域の表示データに第２の再現表示領域の表示データを重畳表示する
   画像表示装置。
3. 請求項１または２に記載の画像表示装置であって、
   前記他画面構成情報は、前記他の画像表示装置の前記複数の表示領域の位置関係情報と前記他の画像表示装置の表示画面の解像度情報を含み、
   前記再現領域は、前記他の画像表示装置の前記複数の表示領域の位置関係を保持した前記複数の再現表示領域を有する
   画像表示装置。
4. 請求項３に記載の画像表示装置であって、
   前記他画面構成情報は、前記他の画像表示装置の各表示領域に表示される表示データの種類を示す情報を含む
   画像表示装置。
5. 請求項４に記載の画像表示装置であって、更に、
   当該画像表示装置が配置される自拠点の映像データを取得する映像取得部を備え、
   前記レイアウト決定部は、前記他画面構成情報および前記自画面構成情報に基づいて、前記再現領域における前記自拠点の映像データを表示する再現表示領域の位置を決定し、
   前記表示部は、前記再現表示領域に、前記自拠点の映像データを表示する
   画像表示装置。
6. 請求項４に記載の画像表示装置であって、更に、
   通信回線を介して、前記他の画像表示装置が配置される他拠点の映像データを受信する映像受信部を備え、
   前記レイアウト決定部は、前記他画面構成情報および前記自画面構成情報に基づいて、前記再現領域における前記他拠点の映像データを表示する再現表示領域の位置を決定し、
   前記表示部は、前記再現表示領域に、前記他拠点の映像データを表示する
   画像表示装置。
7. 請求項４に記載の画像表示装置であって、更に、
   前記他の画像表示装置との間で共有する資料データを記憶する記憶部を備え、
   前記レイアウト決定部は、前記他画面構成情報および前記自画面構成情報に基づいて、前記再現領域における前記資料データを表示する再現表示領域の位置を決定し、
   前記表示部は、前記再現表示領域に、前記資料データを表示する
   画像表示装置。
8. 請求項１ないし７のいずれか１項に記載の画像表示装置であって、更に、
   通信回線を介して、前記自画面構成情報設定部により設定された自画面構成情報を送信するレイアウト送信部を備える
   画像表示装置。
9. 請求項８に記載の画像表示装置であって、
   前記自画面構成情報は、当該画像表示装置の前記複数の表示領域の位置関係情報と当該画像表示装置の表示画面の解像度情報を含む
   画像表示装置。
10. 請求項９に記載の画像表示装置であって、
    前記レイアウト送信部は、当該画像表示装置の表示画面において前記複数の表示領域による表示を開始するときに、前記自画面構成情報を送信する
    画像表示装置。
11. 請求項１ないし１０のいずれか１項に記載の画像表示装置を備えるテレビ会議装置。
12. 表示画面上に複数の表示領域を構成可能な画像表示装置における画像表示方法であって、
    第２の画像表示装置の表示画面において複数の表示領域を構成するための他画面構成情報を受信するステップと、
    第１の画像表示装置の表示画面において表示領域を構成するための自画面構成情報を設定するステップと、
    前記他画面構成情報および前記自画面構成情報に基づいて、前記第１の画像表示装置の表示画面において、前記第２の画像表示装置の表示画面における複数の表示領域に対応する複数の再現表示領域を有する再現領域の位置を決定するステップと、
    前記再現領域の各再現表示領域に、前記第２の画像表示装置の表示画面における表示領域に表示される各表示データを表示するステップと
    を備える画像表示方法。

Images