JP2007086354A - 合成映像制御装置、合成映像制御方法およびプログラム - Google Patents

Abstract

【課題】 映像表示装置から受信した、合成映像に対する操作指示を適切な映像提供機器に転送できるようにする。
【解決手段】 本発明の一態様としての合成映像制御方法は、複数の映像提供機器から個別映像を受信し、複数の前記個別映像を合成するための各前記個別映像のレイアウトを保持するレイアウト情報に従って各前記個別映像を合成して合成映像を生成し、生成した前記合成映像を映像表示装置に送信し、前記映像表示装置から前記合成映像上の位置に関連づけられた制御情報を含む第１の制御信号を受信した場合は、前記合成映像上の位置が各前記個別映像の配置位置のいずれに対応するかを検出し、前記合成映像上の位置から、検出した前記配置位置に配置された個別映像上の位置を求め、求めた前記個別映像上の位置と、前記制御情報とを含む第２の制御信号を、前記検出した配置位置に配置された個別映像の提供元である映像提供機器に送信する。
【選択図】 図１

Description

本発明は、合成映像制御装置、合成映像制御方法およびプログラムに関し、例えば合成された映像を用いて遠隔操作を行うシステムにおいて、映像の合成を行う装置、および、その装置の制御方法等に関するものである。

遠隔の機器から画面情報を受け取り、また、その遠隔の機器に画面情報を更新するための制御信号を送るというシステムは、パーソナルコンピュータ（ＰＣ）の遠隔制御において利用されている。例えば、遠隔のＰＣを操作する方法として「リモートデスクトップ」という概念が提案されており、マイクロソフト社のＯＳであるＷｉｎｄｏｗｓＸＰ（登録商標）を搭載したＰＣには、このリモートデスクトップ機能が標準で搭載されている。リモートデスクトップでは、手元の機器で発生するマウス操作（マウスカーソルの移動、クリック等）やキー操作（キーボードの入力情報等）等の操作情報を遠隔の機器へ送信し、操作情報を受け取った遠隔の機器側で処理を行った結果の画面情報を作成し、それを手元の機器へと送信することで、ネットワークで接続されている遠隔にあるＰＣをあたかも手元にあるように操作することが可能となる。画面情報の送信の際には、画面の差分情報のみの送信や、送信する画像情報の圧縮等により、ネットワーク負荷を下げる工夫がなされている。

また、上記のリモートデスクトップでは、画面情報を構築する遠隔の機器から、手元の機器へは画面情報、すなわち、画像データ自体を送信するとしているが、描画命令だけを送信し、描画命令を受信した機器側で描画命令にもとづいて表示処理を行うという方法（特開平８−２９７６１７号公報）も提案されている。同種の概念として、ＶＮＣ（Virtual Networks Computing）と呼ばれて実現されているものもある。

以下、リモートデスクトップの説明にあたり、一般にはターミナルと呼ばれる画面を作成し提供する装置を「遠隔操作用映像提供サーバ」、ビューワーと呼ばれる画面を表示する側の装置を「クライアント」と表現する。また、画面を映像とも表現する。

例えば、ＷｉｎｄｏｗｓＸＰを搭載したＰＣにおけるリモートデスクトップにおいて、クライアントが遠隔操作用映像提供サーバから受信する映像には、ウィンドウなどが表示されている。クライアントを操作するユーザは、ウィンドウをそのクライアントの表示画面内において自由に移動させたり、大きさを変えたりすることができる。また、描画アプリケーションが起動しているウィンドウであれば、そのウィンドウに例えば矩形図形が描かれていた場合に、その矩形図形の位置を移動させたり、大きさを変えたりすることも可能である。クライアント側でウィンドウや矩形図形をマウスでクリックすると、それが選択されたことを示す表示に変化し、変化した図形を更にマウス操作によって位置の変更や大きさの変更が可能となる。また、Ｗｅｂブラウザウィンドウの場合、ハイパーリンクを利用して表示画面を関連先のリンクのものに変更することも可能である。

一方、ネットワークを介してデータの送受信が可能な情報機器同士が、映像や音声を交換することで多地点テレビ会議システム（あるいは、多地点ビデオ会議システム）を構築することが可能である。

複数の会議端末から構成される多地点テレビ会議システムを構築する際、各会議端末同士が映像をお互いに交換する方法と、会議サーバを利用し、各会議端末は映像を会議サーバに送信し、会議サーバでは複数の会議端末から受信した映像を１つの映像に合成（ミキシング）した後に、各端末へと配信する方法がある。特に後者では、単一の会議サーバから映像を受信するだけでよいため、前者に比べてネットワーク負荷を低減することが可能である。前者は分散型多地点会議と呼ばれ、後者は集中型多地点会議と呼ばれることもある。また、ここで言う会議サーバは、ＭＣＵ（Multipoint Control Unit）と呼ばれることもある。各端末から受信した映像をそれぞれ映像ソースと呼ぶと、合成映像において各映像ソースを配置する位置については、会議サーバ側が自動的に決めてしまう方法と、各端末から制御する方法がある。例えば、映像ソース数が４の場合、映像ソースの配置位置については、合成画像を４分割するように配置する場合や、１つの映像に対して残りの３つをピクチャーインピクチャーのように配置する場合など、いろいろな合成パターンが存在する。各端末から制御する場合は、予め決められているパターンの中から１つ選択し、それを会議サーバへ通知することで合成映像を変更する方法がある。また、パターンを指示することで映像の配置を変更する方法以外に、映像ソースの配置位置を端末側から指定する方法も提案されている。
特開平８−２９７６１７号公報

背景技術として示したように、遠隔操作用映像提供サーバから映像を受け取り、クライアントからその映像に対して操作する技術と、更に、映像を合成する技術を組み合わせることで、例えば、複数のサーバから配信された映像を一旦受信し、それらを一つの映像に合成して配信する映像合成サーバを設け、その映像合成サーバから合成映像をクライアントに配信し、一方のクライアントからは合成映像に対して操作を行うというシステムを構築することが考えられる。このようなシステムでは、映像合成サーバを介することでユーザが複数のサーバから提供される映像を同時に複数見ながら操作を行うが、このシステムを実現するためには合成映像に対する操作指示を解析し、それを適切な遠隔操作用映像提供サーバへ転送する技術を新たに開発する必要がある。これにより、例えば、あるユーザは、３台の遠隔操作用映像提供サーバが提供する映像を手元のクライアントの表示画面にて確認することができる。但し、３個の映像の全体を表すように合成すると、一つの映像は縮小されて小さくなる。そのため、それぞれの映像が操作インターフェース（例えば、Ｗｅｂブラウザウィンドウのメニューボタン等）を含む場合、合成映像の一部となった操作インターフェースを使用することは困難となる。そのため、合成映像において縮小された操作インターフェースを容易に操作可能となる方法を提供することが必要となる。

本発明は、映像表示装置から受信した、合成映像に対する操作指示を適切な映像提供機器に転送できるようにした合成映像制御装置、合成映像制御方法およびプログラムを提供する。

本発明の一態様としての合成映像制御装置は、複数の映像提供機器から個別映像を受信する映像受信手段と、複数の前記個別映像を合成するための各前記個別映像のレイアウトをレイアウト情報として管理するレイアウト管理手段と、前記レイアウト情報に従って各前記個別映像を合成して合成映像を生成する合成映像生成手段と、生成した前記合成映像を映像表示装置へ送信する合成映像送信手段と、前記映像表示装置から前記合成映像上の位置に関連づけられた制御情報を含む第１の制御信号を受信した場合は、前記合成映像上の位置が各前記個別映像の配置位置のいずれに対応するかを検出し、前記合成映像上の位置から、検出した前記配置位置に配置された個別映像上の位置を求める解析手段と、求めた前記個別映像上の位置と、前記制御情報とを含む第２の制御信号を、前記検出した配置位置に配置された個別映像の提供元である映像提供機器へ送信する制御信号送信手段と、を備える。

本発明の一態様としての合成映像制御方法は、複数の映像提供機器から個別映像を受信し、複数の前記個別映像を合成するための各前記個別映像のレイアウトを保持するレイアウト情報に従って各前記個別映像を合成して合成映像を生成し、生成した前記合成映像を映像表示装置に送信し、前記映像表示装置から前記合成映像上の位置に関連づけられた制御情報を含む第１の制御信号を受信した場合は、前記合成映像上の位置が各前記個別映像の配置位置のいずれに対応するかを検出し、前記合成映像上の位置から、検出した前記配置位置に配置された個別映像上の位置を求め、求めた前記個別映像上の位置と、前記制御情報とを含む第２の制御信号を、前記検出した配置位置に配置された個別映像の提供元である映像提供機器に送信する。

本発明の一態様としてのプログラムは、複数の映像提供機器から個別映像を受信するステップと、複数の前記個別映像を合成するための各前記個別映像のレイアウトを保持するレイアウト情報に従って各前記個別映像を合成して合成映像を生成するステップと、生成した前記合成映像を映像表示装置へ送信するステップと、前記映像表示装置から前記合成映像上の位置に関連づけられた制御情報を含む第１の制御信号を受信した場合は、前記合成映像上の位置が各前記個別映像の配置位置のいずれに対応するかを検出し、前記合成映像上の位置から、検出した前記配置位置に配置された個別映像上の位置を求めるステップと、求めた前記個別映像上の位置と、前記制御情報とを含む第２の制御信号を、前記検出した配置位置に配置された個別映像の提供元である映像提供機器に送信するステップと、をコンピュータに実行させる。

本発明により、複数の映像提供機器から配信された映像を一旦受信し、それらを一つの映像に合成して配信する合成映像制御装置を設け、その合成映像制御装置から合成映像を映像表示装置に配信し、一方映像表示装置からは合成映像に対して操作を行うというシステムを構築する場合において、合成映像制御装置は、映像表示装置から受信した合成映像に対する操作指示を適切な映像提供機器へ転送することが可能となる。また、合成映像制御装置は、複数の映像を映像表示装置に同時に配置した状態で、映像における操作部分などの最低限必要な部分のみを大きく表示して配置することや、各映像における操作部のみを一箇所にまとめて配置するなど、限られた合成映像の領域を有効に利用し、映像の一部となっている操作部を容易に操作することが可能となる。

（第１の実施の形態）
以下、本発明の第１の実施の形態を図１から図２０を参照して説明する。
図１に本発明を適用した遠隔制御システムの構成を示す。図１の遠隔制御システムにおいては、映像ソースを提供する映像ソース提供部２−１から２−ｎと、映像表示装置３と、映像合成装置１から成り、それぞれが、ネットワークＮ２−１−１やＮ３−１等で接続されている。

映像ソース提供部２−１は、例えば遠隔制御可能なPC等の端末である。映像ソース提供部２−１は、ネットワークＮ２−１−１を利用して映像合成装置１に映像Ｖ１を送信する。この際、映像ソース提供部２−１は送信する映像の座標を図２（ａ）に示すように水平方向（ｘ軸とする）と垂直方向（ｙ軸とする）をそれぞれ１００という値で正規化して管理する。なお、符号２００は映像の位置を示すための座標系を表す。また、映像合成装置１からポインタ操作の情報がネットワークＮ２−１−２により伝えられると、図２（ａ）の座標軸を用い、どの位置でどのようなイベントが発生したのかを検知する機能を備えており、その位置とイベントに応じた独自の処理を行う。映像ソース提供部２−２および映像ソース提供部２−ｎもそれぞれ図２（ｂ）、（ｃ）に示す座標を利用し、映像ソース提供部２−１と（利用するネットワークを示す番号は異なるが）同様の動作を行う。なお、図２では、映像ソース提供部２−１、２−２、２−ｎが用いる座標軸は同じスケールとして表記しているが、図３に示すように異なるものであっても良い。映像ソース提供部２−１〜２−ｎから送信される映像Ｖ１〜Ｖｎは、個別映像Ｖ１〜Ｖｎとも称される。

次に、映像表示装置３は、構成要素として、受信した映像をユーザに示すため表示画面に表示する機能と、ユーザがその表示画面を見ながら、例えば、マウス等の操作によりマウスカーソルの移動操作やクリック操作などを行うことを可能とするポインタ操作機能を備えた機器である。図１に示す映像表示部３１は、ネットワークＮ３−１を介して映像合成装置１から映像を受信し、それを表示画面に表示する機能を備える。また、図１に示すポインタ操作情報送信部３２は、ポインタ操作を検出し、ポインタの位置とイベントを映像合成装置１にネットワークＮ３−２を介して送信する。なお、映像表示装置３において表示する映像の座標は図４に示すように水平方向（Ｘ軸とする）と垂直方向（Ｙ軸とする）をそれぞれ１００という値で正規化して管理し、その座標軸を用いてポインタの位置を表現するとする。この際、表示する映像（０＜Ｘ＜１００、０＜Ｙ＜１００）以外の部分で発生したポインタ操作の情報は映像合成装置１には送信しないようにしてもよい。なお符号３００は、映像の位置を示すための座標系を表す。

ここで余談となるが、もし、映像ソース提供部２−１と映像表示装置３とが直接ネットワークで接続された場合は、背景技術で説明したリモートデスクトップのシステム構成と同じであり、映像ソース提供部２−１がターミナル（遠隔操作用映像提供サーバ）、映像装置３がビューワー（クライアント）の説明になる。

次に本発明の主となる映像合成装置１の説明を行う。図１には、映像合成装置１において本発明に関わる内部構成要素のみを示し、本発明による機能改善を実現する上で直接影響を及ぼすことがない構成要素（例えばＣＰＵ等）の表記は省略している。また図１に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。また、以降の説明においてネットワークを利用して各装置を接続する方法、ネットワークを介して指定した相手にデータを送信する方法、その際に利用するネットワークプロトコル等については、本発明の本質でないことから説明を省略する。

映像合成装置１は、その構成要素として、映像合成部１１、レイアウト管理部１２、共用操作画面生成部１３、ポインタ操作解析部１４、ポインタ操作転送部１５を持つ。

映像合成部１１は、複数の映像ソース提供部２−１〜２−ｎからネットワークを介して映像（個別映像）を受信し、受信した各映像と、共用操作画面生成部１３から入力された映像とを合成し、一つの合成映像を生成し、更にネットワークを介して合成映像を映像表示装置３へ送信する。映像合成部１１が合成映像を作成する際の配置の指示はレイアウト管理部１２から与えられる。レイアウト管理部１２は映像合成部１１に入力されている映像を認識し、それをＩＤ番号で識別する。また、レイアウト管理部１２は内部に各映像のレイアウトを示すレイアウト情報を保持している。ここではレイアウト情報としてレイアウト管理テーブルを用いる。レイアウト管理テーブルにはＩＤ番号と、各映像の配置位置、サイズ（大きさ）および階層の情報とが格納されている。図５（ａ）にレイアウト管理テーブルの形式の一例を示し、図５（ｂ）に記入例を示す。図５（ａ）（ｂ）では、映像ソース提供部２−１、２−２、２−ｎから受信し映像合成部１１に入力される映像をＶ１，Ｖ２，ＶｎというＩＤ番号を用い、また、共用操作画面生成部１３から映像合成部１１に入力される映像をＰ，ＦというＩＤ番号を用いて識別している。本実施の形態で示すレイアウト管理テーブルでは、各映像は矩形であると仮定し、配置位置は左上の頂点の座標情報（ｘ、ｙ）、大きさは横幅と縦幅の大きさ（ｗ、ｈ）、また、それぞれの映像の階層位置情報（Ｌａｙｅｒ）を管理している。例えば、レイアウト管理テーブルが図５（ｂ）の場合、映像合成部１１に対して、Ｖ１，Ｖ２，Ｖｎの映像を図６（ａ）に示すような状態に配置し、Ｆ，Ｐの映像を図６（ｂ）に示すように配置し、更に、階層構造として、前面からＰ，Ｆ，Ｖ１，Ｖ２，Ｖｎとなるように配置するように指示を与える。なお符号１００は、映像の位置を示すための座標系を表す。映像合成部１１は、レイアウト管理部１２の指示に従い、それぞれのＩＤ番号が示す映像を認識し、それぞれの映像を縮小、あるいは拡大して、それらを適切に配置して合成映像Ｍを作成する。さて、共用操作画面生成部１３については、本実施の形態では２つの映像を映像合成部１１に出力している。共用操作画面生成部１３の扱う映像の一つの映像はポインタを表す映像であり、レイアウト管理部１２ではＩＤ番号Ｐで識別されるものであり、図６（ｂ）の例では矢印の形で表されるものである。また、共用操作画面生成部１３の扱うもう一つの映像は、合成映像を形成するための映像ソース提供部からの映像の一つに対して、それがアクティブであることを示すために用いる補助的な映像であり、レイアウト管理部１２ではＩＤ番号Ｆで識別されるものであり、図６（ｂ）の例では枠を示す線（点線）のみが不透明で、内側は透明であるものとしている。（なお、枠については、実際には４つの線を利用し、それぞれをＦ１，Ｆ２，Ｆ３，Ｆ４としてレイアウト管理テーブルで管理するようにしても良いが、本実施の形態では、説明を簡略化するため枠以外が透明である特殊な映像を例として用いる。）

ポインタ操作解析部１４は、映像表示装置３から受信したポインタ操作情報から、ポインタの位置とイベントの解析を行う。解析した結果をレイアウト管理部１２へ入力すると、レイアウト管理部１２で必要に応じてレイアウト管理テーブルが変更され、変更処理が終了するとその旨がポインタ操作解析部１４に通知される。ポインタ操作解析部１４は、変更済みのレイアウト管理テーブルを参照し、ポインタが位置する場所に位置する映像ソース提供部からの映像のＩＤ（図５の場合はＶ１，Ｖ２，Ｖｎのいずれか）を検出し、更に、そのＩＤ番号に対応する配置情報としてレイアウト管理テーブルのｘ、ｙ、ｗ、ｈの値を確認する。ここで、ポインタ操作解析部１４は映像表示装置３で指定された位置を映像ソース提供部で管理する座標情報に変換する処理を行う。例えば、映像表示装置３においてポインタの位置が図４の座標で(３０,３０)であるとする。図４の座標軸は図６で示すようにレイアウト管理部１２の座標と一致していることから、先の(３０,３０)の位置に対応するＩＤ番号はＶ１となり、ｘ、ｙ、ｗ、ｈの値はそれぞれ１５，１５，２５，２５ということが検出できる。ここで、ポインタ操作解析部１４は(３０,３０)の値が、Ｖ１の表示領域のどの位置に相当するのかを計算し、それを映像ソース提供部２−１の座標軸情報の値とする。この例の場合、(３０,３０)は、ｘ=15、ｙ=15のオフセット値と、w=25、h=25となる縮小率を考慮すると、映像ソース提供部２−１の座標軸では（６０，６０）という値になる。また、図４の座標で(２０,２５)の場合は、映像ソース提供部２−１の座標軸では（２０，４０）となる。ポインタ操作解析部１４は、検出した映像のＩＤ番号と変換した座標情報と共に、映像表示装置３から通知されたイベント情報をあわせてポインタ操作転送部１５へ出力する。

ポインタ操作転送部１５は、ポインタ操作解析部１４から、映像のＩＤ番号とポインタ操作情報として（変換された）座標情報とイベント情報が入力されると、ＩＤ番号から対応する映像ソース提供部のアドレス情報を検出し、そのアドレス情報に従い対応する映像ソース提供部へとポインタ操作情報を転送する。例えば、先の例で、ＩＤ番号がＶ１の場合は、映像ソース提供部２−１のアドレスを検出し、映像ソース提供部２−１へポインタ操作情報を転送する。なお、映像ソース提供部のアドレス情報と映像ソースのＩＤ番号の対応は映像合成装置１内で管理されており、本実施の形態では説明を省略しているが、例えば、最初に映像ソース提供部と映像合成装置１とが接続される際にそれらの対応を管理するテーブルが作成されるものとする。

次に、今まで説明した映像表示装置３におけるポインタ操作情報送信部３２、映像合成装置１におけるポインタ操作解析部１４、ポインタ操作転送部１５、レイアウト管理部１２の動作例をフローチャートで示す。図７はポインタ操作情報送信部３２の処理例、図８はポインタ操作解析部１４の処理例、図９はポインタ操作転送部１５の処理例、図１０はレイアウト管理部１２の処理例をそれぞれ示している。

図７において、ポインタ操作情報送信部３２は、タイマー処理（Ｓ１１）を行った後、座標系３００上の表示エリアにおいて、ポインタの位置および操作情報（クリック等）を検出する（Ｓ１２）。そして、ポインタの位置（ＸＹ座標系における位置）および操作情報（クリック等）をポインタ操作解析部１４へ通知する（Ｓ１３）。Ｓ１３の後、終了指示を検知した場合は（Ｓ１４のＹＥＳ）処理を終了し、そうでない場合は（Ｓ１４のＮＯ）Ｓ１１に戻る。

図８において、ポインタ操作解析部１４は終了指示を検知したか否かを判定し（Ｓ２１）、検知した場合は（Ｓ２１のＹＥＳ）処理を終了する。終了指示を検知しない場合は（Ｓ２１のＮＯ）、ポインタ操作情報送信部３２から通知されたポインタの位置（ＸＹ座標系における位置）および操作情報（クリック等）の検出処理を行う（Ｓ２２）。検出が成功しなかった場合は（Ｓ２３のＮＯ）Ｓ２１に戻り、成功した場合は（Ｓ２３のＹＥＳ）、レイアウト管理部１２へポインタの位置情報および操作情報（クリック等）を通知する（Ｓ２４）。レイアウト管理テーブルの変更終了の検出処理を行い（Ｓ２５）、検出が成功しなかった場合は（Ｓ２６のＮＯ）Ｓ２１に戻り、成功した場合は（Ｓ２６のＹＥＳ）、レイアウト管理部１２の管理するレイアウト管理テーブルを参照し、ポインタの位置が含まれる領域のＩＤ番号を検出する（Ｓ２７）。ポインタ操作情報送信部３２から通知されたポインタの位置を、検出したＩＤ番号における座標系の位置情報に変換する（Ｓ２８）。ＩＤ番号と、変換したポインタの位置情報、ポインタ操作情報送信部３２から通知された操作情報（クリック等）をポインタ操作転送部１５へ通知し（Ｓ２９）、Ｓ２１へ戻る。

図９において、ポインタ操作転送部１５は、終了指示を検知したか否かを判定し（Ｓ３１）、検知した場合は（Ｓ３１のＹＥＳ）処理を終了する。検知しない場合は（Ｓ３１のＮＯ）、ポインタ操作解析部１４から通知されたＩＤ番号、変換したポインタの位置情報、および、操作情報（クリック等）の検出処理を行う（Ｓ３２）。検出処理が成功しなかった場合は（Ｓ３３のＮＯ）Ｓ３１に戻り、成功した場合は（Ｓ３３のＹＥＳ）ＩＤ番号に対応する映像ソース提供部の検出処理を行う（Ｓ３４）。そして、検出した映像ソース提供部に対して、ポインタの位置情報、および、操作情報を送信する（Ｓ３５）。

図１０において、レイアウト管理部１２は、終了指示を検知したか否かを判定し（Ｓ４１）、検知した場合は（Ｓ４１のＹＥＳ）処理を終了する。検知しない場合は（Ｓ４１のＮＯ）、ポインタ操作解析部１４から通知されたポインタの位置（ＸＹ座標系における位置）および操作情報（クリック等）の検出処理を行う（Ｓ４２）。検出が成功しなかった場合は（Ｓ４３のＮＯ）Ｓ４１に戻り、成功した場合は（Ｓ４３のＹＥＳ）、レイアウト管理テーブルを参照し、ポインタの位置が含まれる領域のＩＤ番号を検出する（Ｓ４４）。検出に成功しなかった場合は（Ｓ４５のＮＯ）Ｓ４１に戻り、成功した場合は（Ｓ４５のＹＥＳ）、ポインタの位置が境界線上にあるか否かを判定し（Ｓ４６）、境界線上にない場合は（Ｓ４６のＮＯ）、必要に応じてＩＤ番号に対応する領域を選択領域とし、選択済みの表示に変更する（枠Ｆのレイアウトを変更する）（Ｓ４７）。そしてレイアウト管理テーブルの変更終了を映像合成部１１へ通知する（Ｓ５１）。Ｓ４６においてポインタの位置が境界線上にある場合は（Ｓ４６のＹＥＳ）、ポインタ操作解析部１４から通知されたポインタの位置（ＸＹ座標系における位置）および操作情報（クリック等）を一定期間蓄える（Ｓ４８）。そして、選択領域の移動処理あるいはリサイズ処理を実行し（Ｓ４９）、レイアウト管理テーブルを変更する（Ｓ５０）。この後、レイアウト管理テーブルの変更終了を映像合成部１１に通知する。

図１０のフローチャートで示したレイアウト管理部１２の動作例について以下補足説明を行う。

まず、本実施の形態では、ポインタＰを示す映像を共用操作画面生成部１３が提供するとしている。そこで、ポインタ操作情報送信部３２からポインタ操作解析部１４を介してポインタ操作情報の解析結果がレイアウト管理部１２へ入力されると、レイアウト管理部１２はポインタＰの位置情報に従って常にレイアウト管理テーブルにおけるＩＤ番号Ｐの映像の位置情報(ｘ、ｙ)を更新し、映像合成部１１に配置の指示を与える。

次に、図１１（ａ）に映像表示装置３において表示画面上でポインタ操作を行った場合の一例を示しているが、これは、表示画面において映像の頂点以外の境界線上の位置をクリックし、クリックした状態でポインタを移動させた場合を示している。この場合、レイアウト管理部１２はポインタ操作の位置情報が映像の境界線上でクリックされ、そのまま移動されていることを認識可能であり、結果、映像の移動処理を映像合成部１１に指示することになる。図１１（ａ）の操作が行われる前のレイアウト管理テーブルの状態を図１２（ａ）で示すと、この操作の後にはレイアウト管理テーブルは図１２（ｂ）となり、また、この結果が映像合成部１１に通知され、最終的に映像表示装置３における表示映像も図１１（ｂ）のように変化する。

また、図１３（ａ）に映像表示装置３において表示画面上でポインタ操作を行った場合の一例を示しているが、これは、表示画面においてちょうど映像の頂点をクリックし、クリックした状態でポインタを移動させた場合を示している。この場合、レイアウト管理部１２はポインタ操作の位置情報がちょうど映像の頂点でクリックされ、そのまま移動されていることを認識可能であり、結果、映像のリサイズ処理を映像合成部１１に指示することになる。図１３（ａ）の操作が行われる前のレイアウト管理テーブルの状態を図１４（ａ）で示すと、この操作の後にはレイアウト管理テーブルは図１４（ｂ）となり、また、この結果が映像合成部１１に通知され、最終的に映像表示装置３における表示映像も図１３（ｂ）のように変化する。

なお、図１１、図１２、図１３、図１４の例では、映像の移動処理、あるいはリサイズ処理を行う場合に、映像が選択されている（アクティブである）ことを示すため、ＩＤ番号Ｆの枠も一緒に変化させ、重ね合わせて表示させる場合の例を示している。しかし、アクティブ状態を示す別の方法としては、例えば、図１５（ａ）に示すようにアクティブな映像の全体の色調を変化させる方法や、図１５（ｂ）に示すよう合成映像の境界付近のみの色を特別な色に変化させる方法を用いても良い。この場合、例えば、レイアウト管理部１２の管理するレイアウト管理テーブルにおいてアクティブ状態を示す情報（Ｆｏｃｕｓ）を図１６（ａ）のように設け、図１６（ｂ）に示すようにアクティブなものは１、非アクティブなものは０というような値を設定し区別することで、映像合成部１１がそれを検知して図１５に示すような特別な映像に変化させて合成する方法としても良い。また、ＩＤ番号Ｆの枠を利用しない場合は、共用操作画面生成部１３から映像合成部１１に対して枠の映像提供を行わなくても良い。

また、本実施の形態では、映像表示装置３においてポインタの表示を行う機能部を設けていないため、映像合成装置１において合成映像に組み込まれるポインタの「絵」を利用してポインタ操作を行うようにしているが、映像表示装置３においてポインタの「絵」を生成し表示する機能を有するのであれば、共用操作画面生成部１３から映像合成部１１に対してポインタの映像提供を行わなくても良い。

以下では、映像合成部１１内の処理について補足説明を行う。

図１７に映像合成部１１の内部構成の一例を示す。映像合成部１１は、映像ソース提供部（２−１〜２−ｎ）から入力のネットワーク（Ｎ２−１−１〜Ｎ２−１−ｎ）により受信する映像は例えばＭＰＥＧ４のような形式で圧縮されているとし、そのため、それぞれをデコードするデコーダ（１１２−１〜１１２−ｎ）を備える。また、共用操作画面生成部１３から入力される映像が同様にＭＰＥＧ４のような形式で圧縮されている場合は、それをデコードするデコーダ（１１２−０）を備える。デコーダ（１１２−１〜１１２−ｎ、１１２−０）でデコードされた映像データは合成処理部１１１で合成される。合成処理部１１１で合成された映像は、エンコーダ１１３−１にて映像表示装置３で取り扱う形式の映像データにエンコードし、ネットワークＮ３−１を通して映像表示装置３へ送信する。また、合成処理部１１１の内部構成の一例を図１８に示す。合成処理部１１１は、配置処理部１１１１、レイアウト命令部１１１２、縮小拡大処理部１１１３−０、１１１３−１〜１１１３−ｎ、映像記憶部１１１４−０、１１１４−１〜１１１４−ｎで構成している。縮小拡大処理部１１１３−ｋ（ｋは０、１〜ｎとする）は、入力された映像を各種サイズに変換し、各種サイズのデータを映像記憶部１１１４−ｋに記憶する。レイアウト命令部１１１２は、レイアウト管理部１２からレイアウト情報を受け取り、その配置レイアウトの指示を配置処理部１１１１へ行う。配置処理部１１１１は配置レイアウトの指示に従って、映像記憶部１１１４−０、１１１４−１〜１１１４−ｎに記憶されているデータから適切なサイズのものを選択し、それらを、利用して合成映像を作成する。なお、図１９は映像記憶部１１１４−ｋが各種サイズの映像データの格納している様子を示すイメージ図である。図１９の場合、映像記憶部１１１４−ｋは５種類のサイズの映像データを格納する５個のフレームバッファが存在している。

第１の実施の形態では、本発明を適用した遠隔制御システムの構成を示した。この構成では、映像ソース提供部２−１〜２−ｎが提供する遠隔操作用の映像を、映像合成装置１が合成することで、複数の遠隔制御用の映像から成る合成映像を映像表示装置３にて表示することが可能となると共に、映像表示装置３で発生したポインタ操作が、映像合成装置１にて解析され、それが、適切な映像ソース提供部に転送される仕組みについて示した。例えば、映像ソース提供部２−１が図２０（ａ）の座標系２００−１に示すような操作ボタンＢ１，Ｂ２，Ｂ３，Ｂ４を備えた映像（以下、映像Ｖ１と呼ぶ）を映像合成装置１に送信する場合、映像Ｖ１は映像合成装置１が作成する合成映像Ｍの一部となる。そのため、例えば、映像合成装置１から受信した合成映像Ｍを表示する映像表示装置３においては、表示映像は、図２０（ｂ）の座標系３００に示すようになる。この合成映像Ｍの一部にはＶ１が表示されており、また、そのＶ１の中に操作ボタンＢ１，Ｂ２，Ｂ３，Ｂ４も表示される。映像表示装置３を操作するユーザはポインタＰを動かして、例えば、操作ボタンＢ１をクリックすると、その情報が映像合成装置１を介して映像ソース提供部２−１に転送され、映像ソース提供部２−１において操作ボタンＢ１に応じた処理（遠隔操作）が行われる。

以上、本発明により、受信した映像を表示する機能と、ポインタ操作情報を送信する機能を備えた比較的簡易な機器を用いて、遠隔操作用の画面を提供する複数の機器からの映像を同時に表示し、それらの画面を確認しながら対応する機器を遠隔操作することが可能となる。

（第２の実施の形態）
以下、本発明の第２の実施の形態を図２１から図２６を参照して説明する。
第１の実施の形態で図２０を用いて説明した遠隔制御システムの例の場合、映像ソース提供部２−１から送信される映像Ｖ１においては、操作ボタンＢ１はユーザが操作するのに十分な大きさであったとしても、映像合成装置１内で合成映像を作成する際に一つの映像ソースとして縮小される結果、映像表示装置３側では合成映像内において操作ボタンＢ１を操作することが困難となる場合が想定される。本実施の形態は、縮小にともない先に示したように遠隔操作に対する操作性が悪くなる問題を解決する手法について説明する。

以下、本実施の形態では、第１の実施の形態との差分のみを示す。説明を省略するところについては第１の実施の形態で示したとおりであるとする。

レイアウト管理部１２は図２１（ａ）に示すレイアウト管理テーブルを管理するものとする。第１の実施の形態では、レイアウト管理テーブルは映像を識別するＩＤ番号（ＩＤ）、合成映像を作成する際の配置位置情報（ｘ、ｙ）、サイズ情報（ｗ、ｈ）、階層情報（Ｌａｙｅｒ）から構成していたが、これに加えて、有効な領域情報（ｘ’、ｙ’、ｗ’、ｈ’）を含める。有効な領域情報（ｘ’、ｙ’、ｗ’、ｈ’）とは、映像合成部１１が合成映像を生成する際に例えば映像Ｖ１を図２１（ｂ）に示した破線の領域のみを使用する場合に、その情報をレイアウト管理テーブルのｘ’、ｙ’、ｗ’、ｈ’の値として設定する。合成映像Ｍを作成する際にはすべての領域を有効にする場合は、ｘ’、ｙ’、ｗ’、ｈ’の値は、それぞれ０，０，１００，１００となる。

レイアウト管理部１２は、有効な領域情報をデフォルトではｘ’＝０、ｙ’＝０、ｗ’＝１００、ｈ’＝１００とし、この場合は映像合成部１１に対し第１の実施の形態と同様に配置の指示を与えるが、有効な領域情報がデフォルト値以外の値になった場合には、その有効な領域のみを合成に利用するように指示を与える。また、映像合成部１１においても、有効な領域のみを合成に利用することが可能な機能を備えているものとする。

次に、映像表示装置３のユーザが有効な領域を指定する方法について説明する。

映像表示装置３における表示画面においてポインタＰを操作し、図２２に示すように有効領域Ａｒｅａ１を指定し、有効領域Ａｒｅａ１が表示映像の座標系３００において、左上の座標（ａ１、ａ２）、右下の座標（ａ３、ａ４）であったとする。この有効領域を指定する際には、例えば右クリックをしながらポインタを動かすなど、有効領域を指定する操作であることがわかる操作とする。この有効領域を指定するポインタ操作情報はポインタ操作情報送信部３２からポインタ操作解析部１４へ送信され、更に、ポインタ操作解析部１４からレイアウト管理部１２へ入力される。

レイアウト管理部１２は、有効領域を指定するポインタ操作情報であることを検知できるものとし、これを検知すると次の処理を行う。

(1) 左上の座標（ａ１、ａ２）、右下の座標（ａ３、ａ４）で指定される領域に位置されている映像ソースのＩＤを全て検出する。

(2) (1)で検出したＩＤの映像ソースそれぞれに対して、指定された領域に含まれる部分と含まれない部分の比率を計算し、含まれる部分の比率が一番大きな映像ソースのＩＤを検出する。（同じ比率の場合は、階層情報を確認し、前面にある映像ソースのＩＤとする）
(3) (2)で検出したＩＤの映像ソースについて、指定された領域に含まれる部分を有効な領域情報として、ｘ’、ｙ’、ｗ’、ｈ’それぞれの値を算出する。

(4) (2)で検出したＩＤの映像ソースに関する情報のコピーを作成しレイアウト管理テーブルの最後の行に追加する。但し、この際、ＩＤ番号については新たに割り当てる。また、階層についてはコピーして追加したものが、もともとの映像の一つ上位の階層にくるようにレイアウト管理テーブルの値を修正する。また、ｘ’、ｙ’、ｗ’、ｈ’については、(3)で計算した値で上書きする。また、ｘ、ｙに関しては、オフセット値を加えた値とする。

例えば、図２２で示した有効領域Ａｒｅａ１の左上の座標が（３５、５）、右下の座標が（４７、４７）であるとする。この場合、レイアウト管理部１２は、Ａｒｅａ１に含まれる映像ソースのＩＤはＶ１とＶ２の２つであると検出する。ここで、Ｖ１とＶ２それぞれにおいて、Ａｒｅａ１に含まれる比率を計算する。図２２の場合は、Ｖ１は２０％がＡｒｅａ１に含まれ、Ｖ２は０．１６％がＡｒｅａ１に含まれていることになる。そこで、レイアウト管理部１２は、Ａｒｅａ１に含まれる部分の比率が最大であるＶ１を選択し、実際含まれている部分を有効な領域情報として計算する。図２２の場合は、ｘ’＝８０、ｙ＝０’、ｗ’＝２０、ｈ＝１００となる。例えば、図２２で示した有効領域Ａｒｅａ１を示した時点でのレイアウト管理テーブルが図２３（ａ）であったとすると、レイアウト管理部１２はレイアウト管理テーブルを図２３（ｂ）に示すように変更する。ここでコピーにより追加された情報を表すＩＤ値をｃＶ１とし、オフセット値は２としている。なお、図２３（ａ）（ｂ）では共用操作画面生成部１３からはポインタＰのみの映像が映像合成部１１に入力されているものとしている。以上の処理を行った後、レイアウト管理部１２は更新された図２３（ｂ）に示すレイアウト管理テーブルの内容に従い、映像合成部１１に対し配置の指示を与えるが、この際、ｃＶ１の映像については、コピー元であるＶ１の映像を利用して合成するように指示し、また、有効な領域のみを合成に利用するように指示を与える。なお、図２４に最終的に映像合成部１１から映像表示装置３に送信される合成映像Ｍの様子を示す。図２４ではｃＶ１の映像については、有効な領域のみがコピーされてオフセット分ずれて表示されている。

ｃＶ１のように一旦コピーされた映像は、その後、映像表示装置３においては、他の映像Ｖ１，Ｖ２，Ｖｎと同様に扱うことが可能となり、ポインタＰを操作して、ｃＶ１の位置や大きさを変更することも可能である。図２５にｃＶ１を移動させ拡大した場合の合成映像Ｍを映像表示装置３の座標系３００に示している。また、図２５の配置の場合のレイアウト管理テーブルを図２６に示す。図２６の状態で、映像表示装置３のユーザがポインタ操作を行い、ｃＶ１の映像の部分に表示されている操作ボタンｃＢ１，ｃＢ２，ｃＢ３，ｃＢ４を操作することも可能であり、例えば、操作ボタンｃＢ１をクリックすると、そのポインタ操作情報が映像合成装置１のポインタ操作解析部１４へ送信され、図２６のレイアウト管理テーブルを管理するレイアウト管理部１２と連携動作することで、ポインタ操作転送部１５も正しく映像ソース提供部２−１へポインタ操作情報を転送することが可能となる。

なお、ｃＶ１のように一旦コピーされた映像を削除する方法については、ポインタ操作の一つに削除を示す特別な信号を割り当てておき、それをレイアウト管理部１２が検知すると削除するようにしても良い。例えば、ｃＶ１上で右ダブルクリックなどを検出すると削除命令と判断するとしても良い。また、ポインタ操作により、ｃＶ１がオリジナルのＶ１の上で一定時間変化がなければレイアウト管理部１２が自動的に削除するようにしても良い。

以上、本発明の第２の実施の形態として、第１の実施の形態で示した遠隔制御システムを機能拡張する方法について示した。例えば、遠隔作業の画面となる映像を縮小して合成すると、縮小に伴い操作性が悪くなるが、本発明により、操作に関係する必要な部分のみをコピーし、別途位置や大きさを変えて配置することが可能となり、結果、操作性の劣化を防ぐことが可能となる。

（第３の実施の形態）
以下、本発明の第３の実施の形態を図２７から図２９を参照して説明する。

第１の実施の形態では、共用操作画面生成部１３がポインタＰや枠Ｆの映像を映像合成部１１に入力する場合を例として示したが、本実施の形態では共用操作画面生成部１３がそれ以外の映像を映像合成部１１に入力する場合を示す。なお、説明を省略するところについては第１の実施の形態、あるいは、第2の実施の形態で示したとおりであるとする。

図２７に本発明を適用した遠隔制御システムの構成を示す。第１の実施の形態で示した遠隔制御システムとの違いは、映像合成装置１内において、ポインタ操作解析部１４からのポインタ操作情報が共用操作画面生成部１３に入力されることと、共用操作画面生成部１３から制御信号がポインタ操作転送部１５へと入力されることにある。

例えば、図２８（ａ）は、共用操作画面生成部１３がポインタＰと共にソフトウェアキーボードＳＫの映像を生成し、それが映像合成部１１で映像Ｖ１と映像Ｖ２と共に合成された合成映像Ｍを映像表示装置３の座標系３００において表している。映像表示装置３のユーザが、ポインタＰを移動させ、ソフトウェアキーボードＳＫ上にあるキーを叩く（クリックする）と、それはポインタ操作情報として、ポインタ操作情報送信部３２からポインタ操作解析部１４へ送信され、更に、ポインタ操作解析部１４からレイアウト管理部１２へ入力される。ここで、レイアウト管理部１２との連携動作の結果、ポインタ操作がソフトウェアキーボードＳＫ上で行われたとポインタ操作解析部１４が判断した場合、ポインタ操作解析部１４はポインタ操作情報をソフトウェアキーボードＳＫの位置を表現する座標情報に変換した後に共用操作画面生成部１３へ出力する。また、ここで、ポインタ操作解析部１４は、ソフトウェアキーボードＳＫが接している映像のＩＤ番号を検出する機能も備えており、検出したＩＤ番号をあわせて共用操作画面生成部１３へ出力する。例えば、図２８（ｂ）の場合は、映像Ｖ１に接していることから、ポインタ操作情報と共にＩＤ番号Ｖ１を共用操作画面生成部１３へ出力する。共用操作画面生成部１３はポインタ操作情報（ソフトウェアキーボードＳＫの位置を表現する座標情報）が入力されると、それを解析し、どのようなキー操作が行われたかを検出可能であり、そのキー操作情報を、上記映像のＩＤ番号と共に、ポインタ操作転送部１５に出力する。ポインタ操作転送部１５は、共用操作画面生成部１３からキー操作情報と映像のＩＤ番号が入力されると、ＩＤ番号から対応する映像ソース提供部のアドレス情報を検出し、そのアドレス情報に従い対応する映像ソース提供部へとキー操作情報を転送する。この例の場合、映像のＩＤ番号がＶ１であることから、キー操作情報は映像ソース提供部２−１へと転送される。

上記では、ポインタ操作解析部１４は、ソフトウェアキーボードＳＫが接している映像のＩＤ番号を検出し、それを共用操作画面生成部１３へ出力するとしたが、接するという以外に、重なっている、あるいは、一定の距離以内に位置する映像のＩＤ番号を検出し、それを全て共用操作画面生成部１３へ出力しても良い。また、検出の結果、ポインタ操作解析部１４が複数の映像のＩＤを共用操作画面生成部１３へ出力しても良く、その場合は、共用操作画面生成部１３からキー操作情報と一緒にポインタ操作転送部１５に出力する映像のＩＤ番号も複数となり、ポインタ操作転送部１５も複数の映像ソース提供部へとキー操作情報を転送する。

また、図２９（ａ）は、共用操作画面生成部１３がポインタＰと共にソフトウェアタッチパッドＳＴの映像を生成し、それが映像合成部１１で映像Ｖ１と映像Ｖｎと共に合成された状態を映像表示装置３の座標系３００において表したものである。また、図２９（ｂ）は、映像Ｖ１にソフトウェアタッチパッドＳＴを接し、ソフトウェアタッチパッドＳＴ上で、Ｖ１内のポインタ（図示せず）を操作している様子を示している。この場合も、映像合成装置１において先に示したソフトウェアキーボードＳＫ上での動作と同様の仕組みで解析されることで、タッチパッド操作情報は映像ソース提供部２−１へと転送される。

以上、本発明の第３の実施の形態として、第１、第２の実施の形態で示した遠隔制御システムを機能拡張する方法について示した。ソフトウェエアキーボードなどの入力専用のインターフェース画面が各映像の内部に含まれている場合、それが縮小されて合成されると操作が困難となるが、本発明により、各映像に対して共用で利用可能な使いやすい入力専用のインターフェース画面を提供することが可能となる。

本発明の第１の実施の形態に係る遠隔制御システムの概略図。 本発明の第１の実施の形態に係る各映像ソース提供部２−１〜２−ｎにおいて映像の位置を示すための座標系例１を表す図。 本発明の第１の実施の形態に係る各映像ソース提供部２−１〜２−ｎにおいて映像の位置を示すための座標系例２を表す図。 本発明の第１の実施の形態に係る映像表示装置３において表示する映像の位置を示すための座標系を表す図。 本発明の第１の実施の形態に係るレイアウト管理テーブルの第１の形式とその記述例１を示す図。 本発明の第１の実施の形態に係るレイアウト管理部１２および映像合成部１１において合成映像を生成する際に利用する座標系と合成映像の配置例を示す図。 本発明の第１の実施の形態に係るポインタ操作情報送信部３２の処理を示すフローチャート。 本発明の第１の実施の形態に係るポインタ操作解析部１４の処理を示すフローチャート。 本発明の第１の実施の形態に係るポインタ操作転送部１５の処理を示すフローチャート。 本発明の第１の実施の形態に係るレイアウト管理部１２の処理を示すフローチャート。 本発明の第１の実施の形態に係る映像表示装置３において表示画面上でポインタ操作を行った場合の例１を示す図。 本発明の第１の実施の形態に係るレイアウト管理テーブルの第１の形式とその記述例２を示す図。 本発明の第１の実施の形態に係る映像表示装置３において表示画面上でポインタ操作を行った場合の例２を示す図。 本発明の第１の実施の形態に係るレイアウト管理テーブルの第１の形式とその記述例３を示す図。 本発明の第１の実施の形態に係る映像が選択されている（アクティブである）ことを示す方法例を示す図。 本発明の第１の実施の形態に係るレイアウト管理テーブルの第２の形式とその記述例を示す図。 本発明の第１の実施の形態に係る映像合成部１１の内部構成の一例を示すための第１の図。 本発明の第１の実施の形態に係る映像合成部１１の内部構成の一例を示すための第２の図。 本発明の第１の実施の形態に係る映像合成部１１の内部構成の一例を示すための第３の図。 本発明の第２の実施の形態に係る各映像ソース提供部２−１が提供する映像と合成映像１１にて合成された映像の例とその関係を示す図。 本発明の第２の実施の形態に係るレイアウト管理テーブルの第３の形式とそれを補足説明する図。 本発明の第２の実施の形態に係る映像表示装置３において表示する映像の位置を示すための座標系とそこに表示される合成映像の例１を示す図。 本発明の第２の実施の形態に係るレイアウト管理テーブルの第３の形式とその記述例１を示す図。 本発明の第２の実施の形態に係る映像合成部１１から映像表示装置３に送信される合成映像Ｍの例を示す図。 本発明の第２の実施の形態に係る映像表示装置３において表示する映像の位置を示すための座標系とそこに表示される合成映像の例２を示す図。 本発明の第２の実施の形態に係るレイアウト管理テーブルの第３の形式とその記述例２を示す図。 本発明の第３の実施の形態に係る遠隔制御システムの概略図。 本発明の第３の実施の形態に係る映像表示装置３において表示する映像の位置を示すための座標系とそこに表示される合成映像の例１を示す図。 本発明の第３の実施の形態に係る映像表示装置３において表示する映像の位置を示すための座標系とそこに表示される合成映像の例１を示す図。

符号の説明

１ ‥‥ 映像合成装置
２−１、２−２、２−ｎ ‥‥ 映像ソース提供部
３ ‥‥ 映像表示装置装置
Ｎ２−１−１、Ｎ２−２−１、Ｎ２−ｎ−１、 ‥‥ ネットワーク
Ｎ２−１−２、Ｎ２−２−２、Ｎ２−ｎ−２ ‥‥ ネットワーク
Ｎ３−１、Ｎ３−２ ‥‥ ネットワーク
１１ ‥‥ 合成映像部
１２ ‥‥ レイアウト管理部
１３ ‥‥ 共用操作画面生成部
１４ ‥‥ ポインタ操作解析部
１５ ‥‥ ポインタ操作転送部
３１ ‥‥ 映像表示部
３２ ‥‥ ポインタ操作情報送信部
Ｖ１、Ｖ２、Ｖｎ ‥‥ 映像ソース提供部からの映像、または、その識別ＩＤ
Ｐ、Ｆ、ＳＫ、ＴＫ ‥‥ 共用操作画面生成部からの映像、または、その識別ＩＤ
３−１１、３−１２ ‥‥ 通信路
Ｍ ‥‥ 合成映像
１００ ‥‥ 座標系
２００、２００−１、２００−２、２００−ｎ ‥‥ 座標系
３００ ‥‥ 座標系
１１１ ‥‥ 合成処理部
１１２−０、１１２−１、１１２−２、１１２−ｎ ‥‥ デコーダ
１１３−１ ‥‥ エンコーダ
１１１１ ‥‥ 配置処理部
１１１２ ‥‥ レイアウト命令部
１１１３−０、１１１３−１、１１１３−２、１１１３−ｎ ‥‥ 縮小拡大処理部
１１１４−０、１１１４−１、１１１４−２、１１１４−ｎ ‥‥ 映像記憶部
B１、Ｂ２、Ｂ３、Ｂ４ ‥‥ 映像内において操作ボタンを示す絵
ｃＶ１ ‥‥ コピーされた映像
ｃB１、ｃＢ２、ｃＢ３、ｃＢ４ ‥‥ コピーされた映像内において操作ボタンを示す絵

Claims (14)

1. 複数の映像提供機器から個別映像を受信する映像受信手段と、
   複数の前記個別映像を合成するための各前記個別映像のレイアウトをレイアウト情報として管理するレイアウト管理手段と、
   前記レイアウト情報に従って各前記個別映像を合成して合成映像を生成する合成映像生成手段と、
   生成した前記合成映像を映像表示装置へ送信する合成映像送信手段と、
   前記映像表示装置から前記合成映像上の位置に関連づけられた制御情報を含む第１の制御信号を受信した場合は、前記合成映像上の位置が各前記個別映像の配置位置のいずれに対応するかを検出し、前記合成映像上の位置から、検出した前記配置位置に配置された個別映像上の位置を求める解析手段と、
   求めた前記個別映像上の位置と、前記制御情報とを含む第２の制御信号を、前記検出した配置位置に配置された個別映像の提供元である映像提供機器へ送信する制御信号送信手段と、
   を備えた合成映像制御装置。
2. 前記レイアウト管理手段は、各前記個別映像のサイズと、各前記個別映像の配置位置と、各前記個別映像の階層情報とを含むレイアウト管理テーブルを前記レイアウト情報として管理することを特徴とする請求項１記載の合成映像制御装置。
3. 前記解析手段は、前記映像表示装置から、前記合成映像上の位置に関連づけられた映像複製命令を含む第３の制御信号を受信し、
   前記レイアウト管理手段は、前記映像複製命令に基づき、前記合成映像上において複製すべき映像部分を複製映像として決定し、前記複製映像のレイアウトを作成し、作成したレイアウトを前記レイアウト情報に追加する、
   ことを特徴とする請求項１または２に記載の合成映像制御装置。
4. 前記レイアウト管理手段は、前記合成映像上の位置によって示される領域における前記合成画像の部分画像と、前記合成映像に含まれる個別映像との共通部分を、前記複製映像とすることを特徴とする請求項３に記載の合成映像制御装置。
5. 前記合成映像上の位置によって示される領域が前記合成映像に含まれる２以上の前記個別映像にまたがる場合は、前記個別映像ごとに前記共通部分が占める割合を計算し、前記割合が最も高い個別映像における前記共通部分を前記複製映像とすることを特徴とする請求項４に記載の合成映像制御装置。
6. 前記解析手段は、前記映像表示装置から、前記個別映像のレイアウトの変更命令を含む第４の制御信号を受信し、
   前記レイアウト管理手段は、前記変更命令にしたがって前記個別映像のレイアウトを変更することを特徴とする請求項１ないし５のいずれかに記載の合成映像制御装置。
7. 前記レイアウトの変更命令は、前記個別映像の位置の変更命令、または、前記個別映像のサイズの変更命令を含むことを特徴とする請求項６に記載の合成映像制御装置。
8. インターフェース映像を生成する操作画面生成手段をさらに備え、
   前記レイアウト管理手段は、さらに前記インターフェース映像のレイアウトを前記レイアウト情報によって管理し、
   前記合成映像生成手段は、各前記個別映像と、前記インターフェース映像とを合成することを特徴とする請求項１ないし７のいずれかに記載の合成映像制御装置。
9. 前記操作画面生成手段は、前記インターフェース映像としてポインタ映像を生成し、
   前記解析手段は、前記映像表示装置から、前記ポインタ映像の移動命令を含む第５の制御信号を受信し、
   前記レイアウト管理手段は、前記移動命令に基づいて、前記インターフェース映像のレイアウトを変更することを特徴とする請求項８に記載の合成映像制御装置。
10. 前記解析手段は、前記第１の制御信号に含まれる前記合成映像上の位置が、前記インターフェース映像の配置位置に対応する場合は、前記合成映像上の位置から、前記インターフェース映像上の位置を求め、また、前記合成映像において前記インターフェース映像と最も相関の高い配置位置の個別映像を検出し、
    前記操作画面生成手段は、求めた前記インターフェース映像上の位置に割り当てられた操作情報を特定し、
    前記制御信号送信手段は、前記制御情報として前記操作情報を含む前記第２の制御信号を、前記最も相関の高い配置位置の個別映像の提供元へ送信することを特徴とする請求項８に記載の合成映像制御装置。
11. 前記解析手段は、前記最も相関の高い配置位置の個別映像として、前記合成映像において前記インターフェース映像と接している、重なっている、または、一定の距離の範囲内に位置する個別映像を検出することを特徴とする請求項１０に記載の合成映像制御装置。
12. 前記操作画面生成手段は、前記インターフェース映像として、キー入力装置を表す映像、または、ポインティイング操作を行う装置を表す映像を生成することを特徴とする請求項１０または１１に記載の合成映像制御装置。
13. 複数の映像提供機器から個別映像を受信し、
    複数の前記個別映像を合成するための各前記個別映像のレイアウトを保持するレイアウト情報に従って各前記個別映像を合成して合成映像を生成し、
    生成した前記合成映像を映像表示装置に送信し、
    前記映像表示装置から前記合成映像上の位置に関連づけられた制御情報を含む第１の制御信号を受信した場合は、前記合成映像上の位置が各前記個別映像の配置位置のいずれに対応するかを検出し、前記合成映像上の位置から、検出した前記配置位置に配置された個別映像上の位置を求め、
    求めた前記個別映像上の位置と、前記制御情報とを含む第２の制御信号を、前記検出した配置位置に配置された個別映像の提供元である映像提供機器に送信する、
    合成映像制御方法。
14. 複数の映像提供機器から個別映像を受信するステップと、
    複数の前記個別映像を合成するための各前記個別映像のレイアウトを保持するレイアウト情報に従って各前記個別映像を合成して合成映像を生成するステップと、
    生成した前記合成映像を映像表示装置へ送信するステップと、
    前記映像表示装置から前記合成映像上の位置に関連づけられた制御情報を含む第１の制御信号を受信した場合は、前記合成映像上の位置が各前記個別映像の配置位置のいずれに対応するかを検出し、前記合成映像上の位置から、検出した前記配置位置に配置された個別映像上の位置を求めるステップと、
    求めた前記個別映像上の位置と、前記制御情報とを含む第２の制御信号を、前記検出した配置位置に配置された個別映像の提供元である映像提供機器に送信するステップと、
    をコンピュータに実行させるためのプログラム。

Images