JP5903936B2 - 情報の選択及び切り替えのための方法、記憶媒体及び装置 - Google Patents

Description

本発明の実施形態は、一般に電子的連携（ｅｌｅｃｔｒｏｎｉｃ ｃｏｌｌａｂｏｒａｔｉｏｎ）に関し、特に連携装置（ｃｏｌｌａｂｏｒａｔｉｖｅ ｓｙｓｔｅｍ）により表示された情報を自動的に選択しかつ変更する技術に関する。

テレビ会議は、２つまたはそれ以上の遠隔地に位置された関係者間の「フェイスツーフェイス（ｆａｃｅ−ｔｏ−ｆａｃｅ）」での映像／音声のやりとりを容易にするために広く使われている。例えば、ＬｉｆｅＳｉｚｅ通信社により提供されるＬｉｆｅＳｉｚｅ Ｒｏｏｍ ２２０のようなテレビ会議装置では、ユーザは、会議参加者の表示とコンピュータの表示とを切り替えることができる。この切り替えは、遠隔制御のボタンを使用してシステムのユーザにより手動にて行われる。しかしながら、ほとんどのユーザは遠隔制御の使用方法を知らないため、これは大変厄介である。たとえ遠隔制御の使用が既知であったとしても、要求される手動の切り替えは、特に、行ったり来たりの討論タイプのシナリオで、その処理を非常に扱いにくくさせる。

本発明の実施形態は、表示された情報を自動的に選択する技術に関する。表示された情報は、１またはそれ以上の事前に設定された条件の変更に応じて自動的にかつ動的に変更され得る。

一実施形態では、方法、装置、及びデータが固定化された（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）コンピュータ読み取り可能な記憶媒体に記憶された複数の実行可能な命令群を含む技術が、表示される情報を選択するために提供される。第１の装置は、第１の情報に基づき、条件に合致するかを決定してもよい。そして、第１の装置は、条件をチェックした結果に基づき信号を生成してもよい。第１の組の１またはそれ以上の情報ストリームを含む信号は、前記条件に合致するとの決定に基づき生成されてもよい。第２の組の１またはそれ以上の情報ストリームを含む信号は、前記条件に合致しないとの決定に基づき生成されてもよい。前記第２の組の情報ストリームは、前記第１の組の情報ストリームと異なっていてもよい。例えば、前記第２の組の情報ストリームは、前記第１の組の情報ストリームを含まない、少なくとも１つの情報ストリームを含んでもよい。そして、前記第１の装置は、前記信号に含まれる前記第１の組又は前記第２の組の情報ストリームに対応する情報が表示されるように前記生成された信号を出力させてもよい。

前記条件は、異なるタイプであってもよい。一実施形態では、前記条件は位置情報に基づくものである。そのような形態では、前記第１情報は、第１のオブジェクトの位置を示す情報を含んでもよい。例えば、前記第１情報は、深度センサ（ｄｅｐｔｈ ｓｅｎｓｏｒ）、近接センサ（ｐｒｏｘｉｍｉｔｙ ｓｅｎｓｏｒ）又は圧力センサにより生成されたデータを含んでもよい。

一実施形態では、前記第１のオブジェクトが第２のオブジェクトから所定距離内に位置しているとき、前記条件に合致しているとしてもよい。例えば、前記第２のオブジェクトは描画面（ｄｒａｗｉｎｇ ｓｕｒｆａｃｅ）であってもよく、前記第１のオブジェクトは該描画面を使用するユーザであってもよい。

前記第１の組の情報ストリーム及び前記第２の組の情報ストリームは、異なるタイプの情報を含む１またはそれ以上のストリームをそれぞれ有してもよい。例えば一実施形態では、前記第１の組の情報ストリームは、第１の装置から遠隔に配置された第２の装置にて取得された描画のデジタル表示を有する第１ストリームと、前記第１の装置にて取得された描画のデジタル表示を有する第２ストリームと、含んでもよい。前記第２の組の情報ストリームは、前記第２の装置にて取得された映像ストリームを有する第３ストリームと、前記第１の装置にて取得された映像ストリームを有する第４ストリームと、含んでもよい。

一実施形態では、前記条件に合致すると決定されることができ、そして第１の組の１又はそれ以上の情報ストリームを有する信号が生成されることができる。第１の組の１又はそれ以上の情報ストリームを有する前記信号を生成することに続いて、前記条件に合致しないと決定されてもよい。前記条件に合致しないとの決定に応答して、変更された信号に前記第１の組の情報ストリームの替わりに第２の組の１またはそれ以上の情報ストリームが含まれるように、前記変更された信号を生成するために前記信号を変更してもよい。そして、第１の装置は、前記変更された信号に含まれる前記第２の組の情報ストリームに対応する情報が表示されるように、前記変更された信号を出力させてもよい。そのような一実施形態では、前記第１の組の情報ストリームは、前記第１の装置から遠隔に配置された第２の装置にて取得された描画のデジタル表示を有する第１ストリームと、前記第１の装置にて取得された描画のデジタル表示を有する第２ストリームと、を含んでもよい。前記第２の組の情報ストリームは、前記第２の装置にて取得された映像ストリームを有する第３ストリームと、前記第１の装置にて取得された映像ストリームを有する第４ストリームと、を含んでもよい。

上述の記載は、以下の明細書、クレーム、及び添付図面を参照したとき、その他の特徴及び態様とともに、より明らかになるであろう。

本発明の一実施形態に従った連携装置の簡易化されたブロック図である。 本発明の一実施形態に従った、複数の連携装置がネットワーク化され得る環境での簡易化されたブロック図である。 本発明の一実施形態に従った連携装置により遂行され得る処理フロー図である。 本発明の一実施形態に従った、描画面上への投影のために生成され得る映像信号の簡易化された描写である。 発明の一実施形態に従った、描画面上への投影のために生成され得る映像信号の簡易化された描写である。 本発明の一実施形態に従った、画面上に表示可能な映像ストリームを有する情報の簡易化された描写である。 本発明の一実施形態に従った、画面上に表示され得る撮像画像に対応するデジタル表示を有する情報の簡易化された描写である。 本発明の一実施形態に従ったローカル制御装置の簡易化されたブロック図を示す。 本発明の一実施形態に従った連携セッションに参加している連携装置によって遂行される処理を示す簡易化されたフローチャートを示す。 本発明の一実施形態に従ったコンピュータ装置の簡易化されたブロック図である。

以下の記載では、本発明の実施形態の理解を提供するという説明の目的のために、多数の詳細が示される。しかしながら、当業者であれば、ある実施形態はこれらのいくつかの詳細がなくても実施し得ることは明らかであろう。

図１は、本発明の一実施形態に従った連携装置１００の簡易化されたブロック図である。示されるように、連携装置１００は、描画面１０２、描画取得装置１０４、ビデオカメラ１０６、マイクロホン１０８、制御装置１１０及びプロジェクタ１１２を含み得る。

描画面１０２（又はディスプレイ面またはホワイトボードとも呼ばれる）は、連携装置１００の入力及び出力インタフェイスの両方として動作可能である。入力インタフェイスとして、描画面１０２は、ユーザ（例えばユーザ１１４）によって作成された描画（ｄｒａｗｉｎｇｓ）（ライティング（ｗｒｉｔｉｎｇｓ）とも呼ばれる）を受け取り可能である。描画面１０２は、描画取得装置１０４と連携して、それらの描画を電子的な形式で撮影する。出力インタフェイスとして、描画面１０２は、撮像された描画及び遠隔連携装置（例えば装置１１８）から受信した情報を含む映像信号を表示可能である。ある実施形態では、映像信号は、プロジェクタ１１２のようなフロントプロジェクタ（ｆｒｏｎｔ ｐｒｏｊｅｃｔｏｒ）により描画面１０２上に投影され得る。

本開示の目的のために、「描画（ｄｒａｗｉｎｇ）」、「ライティング（ｗｒｉｔｉｎｇ）」、「ライティング情報（ｗｒｉｔｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）」、「描画情報（ｄｒａｗｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）」の言葉は、１つまたはそれ以上のキャラクタ（ｃｈａｒａｃｔｅｒ）、文字（ｌｅｔｔｅｒ）、シンボル（ｓｙｍｂｏｌ）、単語（ｗｏｒｄ）、文（ｓｅｎｔｅｎｃｅ）、テーブル（ｔａｂｌｅｓ）、描画（ｄｒａｗｉｎｇｓ）、スケッチ（ｓｋｅｔｃｈｅｓ）、図形（ｆｉｇｕｒｅｓ）又はライティング手段１１６を用いて提供され得る他のあらゆる入力を含み得る。他の例としては、ライティング又は描画は、いずれかの言語又はフォーマットで表された、手書き文字、数字又はシンボルを含むことができる。更に他の例としては、ライティング又は描画は、手で描いた絵及びテキストの構成要素の組み合わせを有することができる。

描画面１０２は、いずれのタイプの画面、ボード、スクリーン、又はユーザによる描画も可能であって画面上に投影して情報を表示可能なその他の物理的な媒体、を用いて実行され得る。いくつかの実施形態では、描画面１０２は、従来のホワイトボード又は対話型ホワイトボードに近い寸法を有し得る。例えば、特定の実施形態では、描画面１０２は、幅が少なくとも３６インチ及び高さが少なくとも２４インチであり得る。ある実施形態では、描画面１０２は、テレビ（ＴＶ）、ハイビジョンテレビ（ＨＤＴＶ）、ワイドＸＧＡ（ＷＸＧＡ）、の産業基準アスペクト比である４：３、１６：９又は１６：１０のアスペクト比を有することが可能である。更なる形態では、描画面１０２は、壁やその他の垂直面に取り付けられることを可能にする奥行きを持っていてもよい。例えば、特定の実施形態では、描画面１０２は、６インチより小さい奥行きを有してもよい。

ある実施形態では、ユーザ１１４は、ライティング手段１１６のような、１又はそれ以上のライティング手段を用いて描画面１０２上に描くことができる。一般的に言えば、ライティング手段１１６は、描画面１０２上へのストローク（ｓｔｒｏｋｅ）を確定するために使用可能などんなタイプの物理的な物であることもできる。ある実施形態では、ライティング手段１１６は、たとえばユーザ１１４の指又は電気的ポインタ又はスタイラスのように、描画面１０２に使われたとき、どんな視覚的に見えるマークも残さない道具であることができる。他の形態では、ライティング手段１１６は、たとえばペン又は従来のホワイトボードマーカ（ｄｒｙ ｅｒａｓｅ ｍａｒｋｅｒ）のように、視覚的に見えるマークを残すように設計された道具であることができる。一実施形態では、描画面１０２は、ユーザが同時に多数のマークを付けることができるように、同時に多数のタッチを感知することが可能である。

ライティング手段１１６の性質によらず、ライティング手段１１６を使用して描画面１０２上にライティング手段１１６でユーザ１１４が書いた描画は、描画取得装置１０４により撮影され得る。特に、一実施形態では、描画取得装置１０４は、１又はそれ以上のセンサ及び／又は他のコンポーネントを含み得る。１又はそれ以上のセンサ及び／又は他のコンポーネントは、ユーザ１１４が描画面１０２に接触して（又は実質的に近接して）ライティング手段１１６を位置付け、描画又はライティングの目的のために画面上でライティング手段１１６を移動するとき、描画取得装置１０４が検知できるようにする。

ある実施形態では、描画取得装置１０４は、描画面１０２の全体部であり得る。例えば、描画取得装置１０４は、描画面１０２に内蔵されたタッチ又はマルチタッチセンサ（例えば、容量性の、抵抗性の、感圧性の等）を具備し得る。これらの内蔵されたセンサは、ライティング手段１１６が描画面１０２に対して位置づけられるときを検出し、画面上でのライティング手段１１６の移動を示すセンサデータのストリームを生成することができる。これらの実施形態では、タッチ又はマルチタッチセンサはまた、例えば検出された総圧力又は画面１０２と接触するライティング手段１１６の面積によりユーザ１１４が画面１０２上で描く力を検出し得る。

別の実施形態では、描画取得装置１０４は描画面１０２から物理的に分離され得る。例えば、描画取得装置１０４は、描画面１０２の前に位置づけられ、かつライティング手段１１６を用いて画面１０２上に描かれた任意の目に見えるマークの画像を撮影するように構成された１又はそれ以上のカメラを具備し得る。他の例として、描画取得装置１０４は、描画面１０２の外部に存在し、画面１０２上に描くためにユーザ１１４により用いられたとき、ライティング手段１１６の動作を（二次元又は三次元のいずれかで）取り込むように構成された１又はそれ以上のセンサを具備し得る。

いくつかの実施形態では、描画取得装置１０４は、描画取得を容易にするためにライティング手段１１６と通信によるリンクがなされ得る。このリンクは、有線又は無線（例えば、赤外（ＩＲ）、無線周波数（ＲＦ）、電磁気）のリンクであり得る。

ビデオカメラ１０６は、描画面１０２内に内蔵され、画面１０２の前方領域の映像を撮るように構成される、従来の又は特別の映像撮影デバイスであり得る。ある実施形態では、ビデオカメラ１０６は、カメラを調整するために描画面１０２内で必要とされる開口が、スレッショルドサイズを超えないように相対的に小さなフロントレンズ要素を有するように設計され得る。

一実施形態では、ビデオカメラ１０６は、彼又は彼女が描画面１０２と向かい合うとき、ユーザ１１４の正面像を含むユーザ１１４の映像ストリームを撮影することができる。下記で更に詳細を述べるように、この映像ストリームは、遠隔連携装置１１８に転送され得る。これにより、遠隔連携装置１１８のユーザは、「フェイスツーフェイス」のテレビ会議にユーザ１１４とともに参加することができる。

特定の実施形態では、ビデオカメラ１０６は、ギラギラする光を避け、迷光（例えばプロジェクタ１１２からの光）を抑止するために描画面１０２の前面からわずかに内側に配置され得る。例えば、ビデオカメラ１０６は、１／２インチよりも小さく描画面１０２の前面から内側に配置され得る。

ビデオカメラ１０６により行われる映像撮影と並行して、マイクロホン１０８は、描画面１０２の近くの音声情報を取得し得る。例えば、マイクロホン１０８は、彼又は彼女が描画面１０２の前にいる間、ユーザ１１４が話した言葉を含む音声ストリームを取得するように構成され得る。一実施形態では、この音声ストリームは、テレビ会議セッション中、ビデオカメラ１０６により撮られた映像ストリームと同期して、映像ストリームとともに遠隔連携装置１１８まで転送され得る。マイクロホン１０８は図１では描画面１０２に埋め込まれているように示されているが、いくつかの実施形態では、マイクロホン１０８は画面１０２から分離することができる。更に、マイクロホン１０８は図１にではビデオカメラ１０６から分けられるように示されているが、いくつかの実施形態では、マイクロホン１０８はカメラ１０６と一体化され得る。

制御装置１１０は、連携装置１００の様々なコンポーネントを連携するために、かつ連携装置１００によって連携機能が提供できるように、中央処理コンポーネントとして動作し得る。ある実施形態では、制御装置１１０は、例えば後述する図１０に対して記述されたシステム１０００のようなコンピュータ装置を用いて実行され得る。別の実施形態では、制御装置１１０は、プロセッサ、プログラマブル論理デバイス等を用いて実行され得る。

図１に示されるように、制御装置１１０は、描画面１０２、描画取得装置１０４、プロジェクタ１１２及び遠隔連携装置１１８と通信接続され得る。ある実施形態では、制御装置１１０は、描画面１０２から撮られた１又はそれ以上の描画に対応する描画取得装置１０４からの情報を受信し得る。制御装置１１０は、それから、撮られた描画を表示するデジタル情報を決定するために受信された情報を処理し得る。例えば、描画取得装置１０４から受信された情報は、例えば圧力読み込み、二次元（又は三次元）座標等のセンサデータの生データを含み得る。制御装置１１０は、例えば時系列のストローク、画素ベース画像（ａ ｐｉｘｅｌ−ｂａｓｅｄ ｉｍａｇｅ）、標準又はフォーマットされたテキストのように、撮られた描画の高水準デジタル表示を生成するために生センサデータを処理し得る。

描画取得装置１０４から情報を受信すると同時に、制御装置１１０は、遠隔連携装置１１８からの情報を受信し得る。遠隔連携装置１１８は、描画情報及び／又は遠隔連携装置１１８で撮影された映像／音声情報を表示する。例えばある実施形態では、遠隔連携装置１１８は、構成において連携装置１００に実質的に類似してもよい。連携装置１００は、遠隔描画面、遠隔描画取得装置、遠隔ビデオカメラ、遠隔マイクロホン、遠隔制御装置等を有する。これらの実施形態では、制御装置１１０は、遠隔連携装置１１８からデジタル情報を受信し得る。デジタル情報は、遠隔描画面上で遠隔ユーザによって作成された（かつ遠隔描画装置を介して取得された）描画、及び／又は遠隔ビデオカメラ及び遠隔マイクロホンによって撮られた（例えば、遠隔ユーザの）映像／音声ストリームを表示する。

（１）描画面１０２上にユーザ１１４により作られた描画を示すデジタル情報、（２）遠隔描画面上に遠隔ユーザにより作られた描画を示すデジタル情報、及び（３）遠隔ビデオカメラにより撮影された映像ストリームに基づき、制御装置１１０は、（１）、（２）及び（３）を組み入れることにより描画面１０２上に（プロジェクタ１１２を介して）投影するための映像信号を生成する。この手段では、ユーザ１１４は遠隔連携装置１１８にて遠隔ユーザの「フェイスツーフェイス」の映像供給と同様に、描画面１０２上にローカルに及び遠隔に作られた描画を同時に見ることができる。ある実施形態によれば、ユーザ１１４は、ライティング手段１１６（又は、イレーシング手段等のその他の手段）を用いて描画面１０２上に、更なる描画又はストロークを作成することにより投影された描画を相互に扱うことができる。

なお、いくつかのケースでは、制御装置１１０は、映像信号を生成するタイミングにおいて描画面１０２上で作成された描画又は装置１１８の遠隔描画面上で作成された描画に関するいかなる情報も持たないかもしれない。これは、例えば、ユーザ１１４が描画面１０２にまだ何も描いておらず、装置１１８にて遠隔ユーザが遠隔描画面にまだ何も描いていない場合に生じ得る。このようの状況では、生成された映像信号が、遠隔連携装置１１８（又は下記図５に関して述べられるように、例えば、文書又は他のいくつかの共有情報の部分等の画像）にて遠隔ユーザの映像ストリームを簡単に含み得る。

ローカルの描画面１０２上への投影に対して上述した映像信号を生成することと並行して、制御装置１１０は、装置１１８の遠隔描画面上に対応する映像信号の投影を可能とするための遠隔連携装置１１８に情報を送信し得る。例えば、制御装置１１０は、ビデオカメラ１０６及びマイクロホン１０８によって取得されたユーザ１１４の映像／音声ストリームを描画面１０２から受信し得る。制御装置１１０は、それから、これらの映像／音声ストリームを、（もし利用可能ならば）描画面１０２上にユーザ１１４により作成された描画を表示するデジタル情報とともに、遠隔連携装置１１８に送信し得る。装置１１８にて、遠隔制御装置は、遠隔描画面上への投影のための本情報に基づき適切な映像信号を組み立て可能である。それから、装置１１８にて遠隔ユーザは、ユーザ１１４に対して述べたことと同じような方法で投影された映像を視聴／相互作用し得る。

プロジェクタ１１２は、画面の前方に設置（例えばフロントプロジェクタ）されている間、映像信号又は画像を画面上に投影することが可能などんなタイプのデバイスであってもよい。上述したように、ある実施形態では、プロジェクタ１１２は、ユーザ１１４によりローカルに作成された描画、遠隔連携装置１１８にて遠隔に作成された描画、及び／又は遠隔連携装置１１８にて遠隔に撮影された映像ストリームを含む映像信号を制御装置１１０から受信することができる。プロジェクタ１１２はまた、映像信号を描画面１０２上に投影することができる。特定の実施形態では、プロジェクタ１１２は、描画面１０２上で作成された特別な描画の投影された表示が、それがオリジナルに描かれた画面１０２上の同じ位置に現われるように、映像信号を投影することができる。更なる実施形態では、プロジェクタ１１２は、装置１１８の遠隔描画面上で作成された特定の描画の投影された表示が、それが遠隔描画面上でオリジナルに描かれた同じ位置にて画面１０２上に現われるように、映像信号を投影することができる。

ある実施形態では、プロジェクタ１１２は、描画面１０２上にプロジェクタによる光の放射が実質的にビデオカメラ１０６により実行される映像撮影と干渉しないように構成され、及び／又は位置付けられ得る。一実施形態では、プロジェクタ１１２は、（投射画像の幅により分けられた描画面１０２までのプロジェクタのレンズの距離として定義される）０．４より小さい投影比率（ｔｈｒｏｗ ｒａｔｉｏ）を有する、超短投射（ｕｌｔｒａ−ｓｈｏｒｔ−ｔｈｒｏｗ ：ＵＳＴ）のフロントプロジェクタであってもよい。そのようなプロジェクタの一例は、日立社により製造されたＣＰ−ＡＷ２５０ＮＭである。他の実施形態では、プロジェクタ１１２は、描画面１０２の前面の６０インチ以内に位置付けられ得る。

当然のことながら、図１は一実施例であり、本発明の実施形態を限定することを意図しない。例えば、装置１００は、他のコンポーネントの可能性又は図１で示したそれらより多い又は少ないコンポーネント又は他のコンポーネントの可能性を有してもよい。当事者の一人であれば、他のバリエーション、変更及び代替手段を認識しえるであろう。

図２は、本発明の一実施形態に従った、複数の連携装置がネットワーク化され得る環境での簡易化されたブロック図である。図２は、これらのネットワーク化されたシステムのユーザが、どのようにしてフェイスツーフェイスのテレビ会議でやりとりし、描画及び／又はその他の情報を相互作用的に共有するのかのフロー例を図示するために提示される。

示されているように、環境２００は、通信ネットワーク２５０を介して遠隔連携装置２５２と通信接続されたローカル連携装置２０２を有することができる。ローカル連携装置２０２及び遠隔連携装置２５２は、それぞれ図１の協調システム１００と実質的に類似した構成であり得る。例えば、装置２０２及び２５２は、各描画面（２０４、２５４）、ビデオカメラ（２０６、２５６）、制御装置（２０８、２５８）及びプロジェクタ（２１０、２６０）をそれぞれ有することができる。装置２０２及び２５２はまた、図１の連携装置１００に対して記載されたその他のコンポーネントを有することもできる。例えば、示されていないが、装置２０２及び２５２の描画面２０４及び２５４は、装置１００の描画取得装置１０４及びマイクロホン１０８に類似する描画取得装置及びマイクロホンをそれぞれ組み込むこともできる。

通信ネットワーク２５０は、データ通信が可能な、どんなタイプのネットワークであってもよく、例えば、ローカルエリアネットワーク（ＬＡＮ：ａ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：ａ ｗｉｄｅ−ａｒｅａ ｎｅｔｗｏｒｋ）、バーチャルプライベートネットワーク（例えばＶＰＮ：ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、メトロエリアネットワーク（ＭＡＮ：ａ ｍｅｔｒｏ−ａｒｅａ ｎｅｔｗｏｒｋ）、又はインターネットであってもよい。ある実施形態では、通信ネットワーク２５０は、相互接続されたネットワークの集まりを備えてもよい。

ある実施形態では、ローカル連携装置２０２を操作するローカルユーザ２１２は、遠隔ユーザ２６２と対話型テレビ会議を行う目的のために、ローカル連携装置２０２と遠隔連携装置２５２との接続を確立し得る。このセットアップタスクは、ユーザインタフェイスが含まれ得るローカルプロジェクタ２１０（ユーザインタフェイス（ＵＩ）は図示せず）からローカル描画面２０４上に投影されたユーザインタフェイスを介してローカルユーザ２１２によって実行され得る。ユーザインタフェイスは、例えば、ＩＰアドレス又は遠隔連携装置２５２の名称を入力する又は選択するためのユーザインタフェイスエレメント（ＵＩ ｅｌｅｍｅｎｔ）が含まれてもよい。

一旦接続が確立されると、ローカル連携装置２０２のローカルビデオカメラ２０６は、ローカルユーザ２１２の映像及び音声ストリームの取得を始めることができ、映像／音声ストリームをローカル制御装置２０８に送信することができる。それから、ローカル制御装置２０８は、これらの映像／音声ストリームを遠隔連携装置２５２の遠隔制御装置２５８に転送することを開始可能となる。同時に、遠隔連携装置２５２の遠隔ビデオカメラ２５６は、遠隔ユーザ２６２の映像及び音声ストリームの取得することができ、映像／音声ストリームを遠隔制御装置２５８に送信することができる。それから、遠隔制御装置２５８は、これらの映像／音声ストリームをローカル連携装置２０２のローカル制御装置２０８に転送することを開始可能となる。

遠隔制御装置２５８から映像／音声ストリームを受信すると、ローカル制御装置２０８は、ローカルプロジェクタ２１０を介してローカル描画面２０４上への投影のために受信された映像ストリームを含む映像信号を生成し得る。同様に、ローカル制御装置２０８から映像／音声ストリームを受信すると、遠隔制御装置２５８は、遠隔プロジェクタ２６０を介して遠隔描画面２５４上への投影のために受信された映像ストリームを含む映像信号を生成し得る。この方法では、ローカルユーザ２１２と遠隔ユーザ２６２とは、彼らの各描画面を介して互いを見ることができ、かつテレビ会議でやり取りすることができる。

ローカルビデオカメラ２０６は、ローカル描画面２０４の前方面から外側に向くように設計されているから（そして、ローカルユーザ２１２は、おそらく画面２０４と向かい合うであろうから）、遠隔描画面２５４上に投影された、ローカルユーザ２１２の映像ストリーム（すなわち、映像ストリーム２６４）は、ローカルユーザ２１２の正面像を表示することができる。同様に、遠隔ビデオカメラ２５６は、遠隔描画面２５４の前方面から外側に向くように設計されているから（そして、遠隔ユーザ２６２は、おそらく画面２５４と向かい合うであろうから）、ローカル描画面２０４上に投影された、遠隔ユーザ２６２の映像ストリーム（すなわち、映像ストリーム２１４）は、遠隔ユーザ２６２の正面像を表示することができる。よって、ローカルユーザ２１２及び遠隔ユーザ２６２は、フェイスツーフェイスのコミュニケーションでつながっている印象を持つころができる。図２では、ストリーム２１４及び２６４はシンプルな線画を使用して示されているが、実際の操作では、ストリーム２１４及び２６４は、標準又は高い解像度の映像画像を備えてもよい。

ある実施形態では、ローカルユーザ２１２及び遠隔ユーザ２６２の映像ストリームは、遠隔描画面２５４及びローカル描画面２０４上にそれぞれ投影される前にミラー（ｍｉｒｒｏｒｅｄ）させて映し出してもよい。これは、彼／彼女の描画面に対して一のユーザによってなされたどんなジェスチャーも、他のユーザに正しく現れることを確かにし得る。例えば、もしローカルユーザ２１２が、ローカル描画面２０４の右手側の位置を指したならば、ローカルビデオカメラ２０６により撮影されたとき、ジェスチャーは、水平方向に反転する（すなわち、左手側の位置に現れる）であろう。よって、ローカルユーザ２１２の映像ストリームは、遠隔ユーザ２６２によって見られるとき、ローカルユーザ２１２が遠隔描画面２５４の右手側に位置づけて現れるようにミラーさせる必要がある。様々な態様では、このミラーリングは、映像ストリームを転送する制御装置又は映像ストリームを受信する制御装置によって遂行され得る。

テレビ会議セッション中のあるポイントで、ローカルユーザ２１２及び／又は遠隔ユーザ２６２は、彼／彼女それぞれの描画面上に（図１の１１６のようなライティング手段を用いて）描画を開始することができる。たとえば、ローカルユーザ２１２が、ローカル描画面２０４に長方形を描くと仮定する。それに応じて、ローカル描画面２０４は、長方形の描画を撮影し、描画撮像情報をローカル制御装置２０８に送信可能である。それから、ローカル制御装置２０８は、描画撮像情報に基づき、長方形（たとえば、ストローク−ベース（ｓｔｒｏｋｅ−ｂａｓｅｄ）又は画素ベースの表示）を示すデジタル情報を決定することができる。ローカル制御装置２０８は、デジタル情報及び映像ストリーム２１４に基づき、長方形及び映像ストリームを含む更新された映像信号を更に生成することができる。そして、ローカル制御装置２０８は、更新された映像信号を、ローカル描画面２０４上への投影のためにローカルプロジェクタ２１０に送信することができる。

同時に、ローカル制御装置２０８は、長方形を表すデジタル情報を遠隔制御装置２５８に送信し得る。遠隔制御装置２５８は、デジタル情報及び映像ストリーム２６４に基づき、長方形及び映像ストリームを含む更新された映像信号を生成可能である。そして、遠隔制御装置２５８は、更新された映像信号を、遠隔描画面２５４上への投影のために遠隔プロジェクタ２６０に送信することができる。

本方法では、ローカルユーザ２１２により作成された描画（例えば、長方形）は、ローカル及び遠隔描画面の両方にて電子的形態で表示され得る。要するに、本方法では、ローカルユーザ２１２及び遠隔ユーザ２６２が単一の描画面を共有する印象を持つ環境を提供する。

更なる例としては、続いて、遠隔ユーザ２６２が遠隔描画面２５４上に楕円を描くことを想定する。これに応じて、遠隔描画面２５４は、楕円の描画を撮影し、描画撮像情報をローカル制御装置２０８に送信し得る。遠隔制御装置２５８は、それから、描画撮像情報に基づき、楕円を表示するデジタル情報を決定し得る。遠隔制御装置２５８は、更に楕円を表示するデジタル情報、長方形を表示するデジタル情報及び映像ストリーム２１４に基づき、楕円、長方形及び映像ストリームを含む更新された映像信号を生成し得る。そして、遠隔制御装置２５８は、更新された映像信号を、遠隔描画面２５４上への投影のために遠隔プロジェクタ２６０に送信することができる。

同時に、遠隔制御装置２５８は、楕円を表すデジタル情報をローカル制御装置２０８に送信し得る。ローカル制御装置２０８は、楕円を表示するデジタル情報、長方形を表示するデジタル情報及び映像ストリーム２６４に基づき、楕円、長方形及び映像ストリームを含む更新された映像信号を生成可能である。そして、ローカル制御装置２０８は、更新された映像信号を、ローカル描画面２０４上への投影のためにローカルプロジェクタ２１０に送信することができる。

それ故、ローカルユーザ２１２により描かれた長方形のように、遠隔ユーザ２６２により描かれた楕円は、ローカル及び遠隔描画面の両方にて電子的形態で表示され得る。ある実施形態では、これらの描画は、（図２に示したように）描画面２０４及び２５４のそれぞれに表示されるとき、映像ストリーム２１４及び２６４に重ねられ得る。他の実施形態では、描画及び映像ストリーム２１４／２６４の相対位置が、１又はそれ以上の要因（下記図４および図５に対しての詳細で述べられる）に基づき変わり得る。

上述した流れに続いて、ローカルユーザ２１２及び遠隔ユーザ２６２は、彼らの各描画面上に追加の描画又はストロークを作成することにより更に互いに交流し合うことができる。これらの追加の描画又はストロークは、撮影され得、両サイド上に表示され得る。この相互作用は、ローカルユーザかリモートユーザがセッションを終わらせるまでいつまでも続き得る。

当然のことながら、図２は説明に役立たせるためであり、本発明の実施形態を限定することを意図しない。例えば、図２には２つの連携装置のみが示されているが、どんな数のそのような装置をも互いにネットワークで繋がり得、対話型テレビ会議セッションへの参加が可能である。更に、図２に対応して記載された流れは、様々な手法に変更可能である。例えば、ある実施形態では、遠隔ユーザ２６２は、ローカルユーザ２１２に先立って描画を開始することができる。又は、２人のユーザが、実質的に同時に彼らのそれぞれの描画面上に描画することができる。順番を考慮することなく、一人のユーザによって作成された描画は、ローカル及び遠隔の両サイドにて観察され得、操作され得る。

図３は、本発明の一実施形態に従い、遠隔連携装置２５２を用いて対話型テレビ会議セッションに参加する際、図２のローカル連携装置２０２により遂行され得る並行処理３００及び３５０の流れ図である。特に、処理３００及び３５０は、装置２０２のローカル制御装置２０８により実行され得る。処理３００及び３５０は、ハードウエア、ソフトウエア又はそれらの組み合わせで実行され得る。ソフトウエアとして、処理３００及び３５０は、コンピュータ読込可能記憶媒体に格納されたプログラムコードとしてコード化され得る。

ブロック３０２にて、ローカル連携装置２０２のローカル制御装置２０８は、ローカル描画面２０４上でローカルユーザ２１２により作成された描画に対応して取得された情報を受信し得る。この情報は、例えば、画面２０４に埋め込まれた１又はそれ以上のセンサにより取得されたセンサ読み込みの形式であってもよい。

ブロック３０４にて、ローカル制御装置２０８は、ブロック３０２で受信した情報に基づき、取得された描画を表示する第１のデジタル情報を生成し得る。例えば、第１のデジタル情報は、時系列のストローク、画素ベース画像（ａ ｐｉｘｅｌ−ｂａｓｅｄ ｉｍａｇｅ）、標準又はフォーマットされたテキスト等に対応することができる。ある実施形態では、ブロック３０２にて受信された情報は、ローカル制御装置２０８によりどんな更なる処理をも要求しない手段で、すでにフォーマット化されているかもしれない。これらの実施形態では、ブロック３０４は省略され得る。

描画撮像情報を受信すると同時に、ローカル制御装置２０８は、ローカル描画面２０４に内蔵されたローカルビデオカメラ２０６により撮像されている第１の映像ストリームを受信し得る（ブロック３０６）。この第１の映像ストリームは、例えば、彼が画面２０４の前に立っている（又は座っている）ようにローカルユーザ２１２の正面像を含み得る。図３に示されていないが、ローカル制御装置２０８はまた、第１の映像ストリームとともに音声ストリームも同時に受信しえる。例えば、音声ストリームは、ローカルユーザ２１２により話された言葉及び／又は描画面２０４の近くのその他の音声を含み得る。

ブロック３０８にて、ローカル制御装置２０８は、ブロック３０４にて生成された第１のデジタル情報及びブロック３０６にて受信された第１の映像ストリームを遠隔連携装置２５２の遠隔制御装置２５８に送信し得る。遠隔制御装置２５８は、それから、受信された情報を処理し、（例えば遠隔プロジェクタ２６０を介して）遠隔描画面２５４上への投影のための適切な映像信号を生成し得る。

処理３５０では、ローカル制御装置２０８は、遠隔ビデオカメラ２５６により撮像された第２の映像ストリーム及び／又は遠隔描画面２５４上で遠隔ユーザ２５２により作成された描画を表示する第２のデジタル情報を遠隔制御装置２５８から受信し得る（ブロック３５２）。処理３５０は、処理３００と並行して又は直列的な方法で実行されるかもしれない。ブロック３５４にて、ローカル制御装置２０８は、ブロック３０２又は３０４にて生成された第１のデジタル情報、第２のデジタル情報及び第２の映像ストリームに基づき、ローカル描画面２０４上への投影のための映像信号を生成し得る。もし、ローカル制御装置２０８が、そのような映像信号を前もって生成していた場合には、ブロック３５４の処理は、更新された映像信号を生成することを含み得る。

次に、ブロック３５６にて、ローカル制御装置２０８は、生成された映像信号を、ローカル描画面２０４上への投影のためのローカルフロントプロジェクタ２１０に送信し得る。様々な実施形態にて、映像信号は、ローカルユーザ２１２により作成された描画、遠隔ユーザ２６２により作成された描画、及び遠隔ビデオカメラ２５６により撮像された（例えば遠隔ユーザ２６２の）映像ストリームを含み得る。本方法では、ローカルユーザ２１２は、遠隔ユーザ２６２の「フェイスツーフェイス」の映像供給と同様に、ローカルに又は遠隔に作成された描画を画面２０４上で同時に見ることができる。異なるフォーマットが画面２０４上に情報を表示するために使用されてもよい。例えば、ピクチャ−イン−ピクチャ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ）のフォーマットが使用されてもよい。ピクチャ−イン−ピクチャでは、大きなピクチャーは、遠隔連携装置にて撮像された映像を表示し、該ピクチャー内より小さなピクチャー（ピクチャ−イン−ピクチャ：ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ）は、ローカル連携装置にて撮像された映像を表示するために使用される。

当然のことながら、処理３００及び３５０は一実施例であり、そのバリエーション及び変更が可能である。順番に記載されたステップ群は、並行して実行され得る。ステップの順序は変更され得、ステップ群も変更され、組み合わせられ、追加され又は削除され得る。当業者の一人であれば、その他のバリエーション、変更及び代替手段が認識されよう。

一の実施形態では、図３のブロック３５４にて生成された映像信号は、ローカル描画面２０４及び遠隔描画面２５４から取得された描画が遠隔連携装置２５２から受信された映像ストリーム上に重ねられるように構成され得る。図４は、そのような映像信号からのフレーム４００の一例を示す。図示されているように、フレーム４００は、（例えば遠隔ユーザ２６２の）映像ストリーム４０２を含む。映像ストリーム４０２は、フレームの高さ及び幅のほとんど全体を包含している。描画４０４及び４０６は、映像ストリーム４０２の上に重ねられ、ローカル及び遠隔地の両方で作成されている描画を表す。このタイプの構成は、ローカルユーザ２１２にローカル描画面２０４上の一つの合成画像として遠隔ユーザ及び描画を簡単に見せることができる。一実施形態では、映像ストリーム４０２は、ホワイトボードの上部に半透明に作成され得、これにより、映像ストリームに対して描画４０４及び４０６を視覚的に目立たせることができる。他の実施形態では、フレーム４００は、ローカルユーザ２１２の撮られている映像ストリームを表示するために、映像ストリーム４０８を表示する小ウインドウ（例えば、ピクチャ−イン−ピクチャ形式）を含んでもよい。図４で分かるように、映像ストリーム４０８は、ローカル連携装置２０２にて複数のユーザを示す。ローカル連携装置又は遠隔連携装置に１人又はそれ以上のユーザがいてもよい。

別の実施形態では、図３のブロック３５４にて生成された映像信号は、ローカル描画面２０４及び遠隔描画面２５４から取得された描画が静的なバックグラウンド上に表示されるように構成され得る。例えば、図５は、そのような映像信号から描画５０２及び５０４が表示されるフレーム５００の一例を図示する。例えば、この構成は、ローカル連携装置２０２にて撮影され、遠隔連携装置２５２から受信された映像ストリームが、映像ストリーム上に重ねられた描画５０２及び５０４の視聴を困難にしている場合に望ましいかもしれない。これらの実施形態では、受信された映像ストリームは、ローカル描画面２０４上にまだ表示され得る。しかし、図５に示したように、小エリア５０６を覆ってもよい。

他の実施形態では、図６に図示したフレーム６００により示されるように、映像ストリームは、ローカル制御装置２０８により生成され、ローカルプロジェクタ２１０によりローカル描画面２０４上に投影されている。映像ストリームは、それが遠隔連携装置２５２にて撮像され、フレームの高さ及び幅のほとんど全体を包含している映像信号（例えば、遠隔ユーザ２６２のビデオストリーム６０２）と、ローカル連携装置２０２にて撮影された映像ストリーム（例えば、ローカルユーザ２１２のビデオストリーム６０４）を含むように構成されてもよい。この例では、ローカル連携装置２０２か遠隔連携装置２５２のいずれかで撮られた描画のデジタル表示は示されていない。このタイプの構成では、ローカルユーザ２１２は、遠隔ユーザを簡単に見ることができ、描画に対応する画像によって気を散らすことなく、フェイス−ツー−フェイスの討論を容易にすることができる。

一実施形態では（図示せず）、ローカル連携装置にて撮影された映像ストリーム又はローカル及び遠隔地にて撮影された描画のデジタル表示を表示することなく、遠隔連携装置２５２にて撮られた映像ストリームのみがローカル描画面２０４に表示されるかもしれない。例えば、そのような形態では、映像ストリーム６０２のみが示され、映像ストリーム６０４は示されないかもしれない。

更に別の実施形態では、図７に図示したフレーム７００により示されるように、ローカル制御装置２０８により生成され、ローカルプロジェクタ２１０によりローカル描画面２０４上に投影される映像ストリームは、それがローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画のデジタル表示７０２及び７０４だけを含むように構成されてもよい。この実施形態では、ローカル連携装置２０２又は遠隔連携装置２５２にて撮影された映像ストリームは示されない。このタイプの構成では、ローカルユーザ２１２は、より簡単に描画を見ることができ、映像ストリームによって気を散らすことなく、ローカル及び遠隔ホワイトボード上に作成された描画に集中することができる。

図４、図５、図６及び図７に示した実施形態では、ローカル連携装置及び遠隔連携装置にて撮影された映像ストリームと、ローカル連携装置及び遠隔連携装置にて撮影された描画のデジタル表示との様々な組み合わせが表示され得る。別の実施形態では、スライドプレゼンテーション（ｓｌｉｄｅｓ ｐｒｅｓｅｎｔａｔｉｏｎ）、ワードプロセッサ文書等を具備する情報ストリームのように、他の情報ストリームもまた表示し得る。一実施形態では、これらの他の情報ストリームは、連携装置のプロジェクタにより投影される映像信号中に組み込まれてもよい。別の実施形態では、他の情報ストリームが連携装置のプロジェクタ以外のソース源から出力されてもよい。これらの他のソース源は、例えば、別のプロジェクタ、コンピュータ、又はどんな出力デバイスであってもよい。

上述したように、連携装置の制御装置は、信号（例えば映像信号）を生成し、連携装置のプロジェクタに通信する。次に、プロジェクタは、映像信号を連携装置の描画面上に投影する。例えば、図２に示した実施形態では、ローカル制御装置２０８は、映像信号を生成し、ローカルプロジェクタ２１０に通信するように構成されている。ローカルプロジェクタ２１０は、映像信号に含まれる情報が連携装置２０２のユーザによって見られるように、映像信号をローカル描画面２０４上に順に投影するように構成されている。

一実施形態では、制御装置により生成された映像信号は、（１）ローカルに撮影した描画のデジタル表示（例えば、ローカル連携装置にて撮られた描画に対応するデジタル情報）、（２）遠隔に撮影した描画のデジタル表示（例えば、遠隔連携装置にて撮られた描画に対応するデジタル情報）、（３）ローカル連携装置にてビデオカメラにより撮影された映像ストリーム、及び（４）遠隔連携装置にてビデオカメラにより撮影された映像ストリーム、に基づいてもよい。例えば、図２のローカル制御装置２０８により生成された映像信号は、ローカル連携装置２０２にてローカルに撮影された描画のデジタル表示、遠隔連携装置２５２にて撮影された描画のデジタル表示、ローカル連携装置２０２にてローカルビデオカメラ（例えば、ローカルユーザ２１２の正面像を撮影することができるカメラ２０６）により撮影された映像ストリーム、及び遠隔連携装置２５２にてビデオカメラ（例えば、遠隔ユーザ２６２の正面像を撮影することができるカメラ２５６）により撮影された映像ストリームに基づいてもよい。

一実施形態によれば、ローカル制御装置２０８は、生成されてプロジェクタに送信される信号中に含まれる情報をプログラムで決定するように構成される。例えば、ローカル制御装置２０８は、デジタル表示及び／又は映像ストリームのいずれが、生成されてローカル描画面２０４上への投影のためにローカルプロジェクタ２０４に送信される映像信号中に含まれているか、を決定するように構成される。生成された映像信号中に含まれる情報を制御することにより、ローカル制御装置２０８は、描画面２０４上に表示される又は投影される情報を実質的に制御する。描画面２０４は、様々な情報のかたまりを表示するための一般的な共有表示領域をとして機能する。

図８は、本発明の一実施形態に従ったローカル制御装置２０８の簡易化されたブロック図を示す。示されているように、制御装置２０８は、セレクタモジュール８０２を具備する。セレクタモジュール８０２は、多数の情報ストリームを入力８０４として受信し、出力信号８０８（例えば、映像信号又は映像ストリーム）を生成するように構成される。入力８０４は、１の情報ストリーム又はそれ以上のマルチ情報ストリームを具備する。セレクタ８０２により生成された出力映像信号８０８はローカルプロジェクタ２１０に通信される。次に、ローカルプロジェクタ２１０は、信号８０８を含む情報が表示され、ローカル連携装置２０２のユーザが見ることができるように、信号をローカル描画面２０４上に投影する。セレクタ８０２は、ハードウエア、ソフトウエア（たとえば、プロセッサにより実行可能なプログラム、コード、命令）又はそれらの組み合わせで実行されてもよい。

セレクタ８０２への入力は、ローカル連携装置２０２からの入力８１０と遠隔連携装置２５２からの入力８１２とを含み得る。例えば、図８に示したように、入力８１０は、ローカル連携装置２０２にて撮影された描画に対するデジタル表示（例えば、ローカル描画面２０４上に描かれた描画）、及びローカル連携装置２０２にて撮影された映像ストリーム（例えば、ローカル描画面２０４上に位置づけられたビデオカメラ２０６により撮影された映像ストリーム）を含んでもよい。セレクタ８０２への入力８１２は、遠隔連携装置２５２からローカル連携装置２０２によって受信された情報に対応してもよい。例えば、入力８１２は、遠隔連携装置２５２にて撮影された描画（例えば、遠隔描画面２５４上で作成された描画）に対して遠隔制御装置２５８によって決定されたデジタル表示及び遠隔連携装置２５２にて撮影された映像ストリーム（例えば、遠隔描画面２５４上に配置されたビデオカメラ２５により撮影された映像ストリーム）を具備するストリームを含んでもよい。

連携装置が１又はそれ以上の遠隔連携装置にて撮られた情報を受け得るには、様々な方法がある。一実施形態では、ローカル連携装置２０２は、ジャバメッセージサーバ（Ｊａｖａ(登録商標) Ｍｅｓｓａｇｅ Ｓｅｒｖｅｒ：ＪＭＳ）仕様に従った共有メッセージサーバを用いてＬＡＮやＷＡＮを通じて遠隔連携装置２５２に接続されてもよい。遠隔またはローカル連携装置のいずれかから取得された各ストロークは、同じチャネル又はＪＭＳにおける「トピック」にパブリッシュ（ｐｕｂｌｉｓｈ）され得、そのトピックに許可された、すべての接続されたデバイスは、メッセージを受信する。この方法では、チャネルにパブリッシュされたどんなストロークも、すべての連携装置により受信される。当業者であれば、ＬＡＮやＷＡＮを通じて情報を共有するための多くの装置及びそれを実行するための多くの手段があることがわかるであろう。

セレクタ８０２は、入力信号８０４に基づき出力信号（例えば映像ストリーム）８０８を生成するために構成されている。セレクタ８０２は、映像ストリーム８０８中に１又はそれ以上の入力信号８０４を含んでもよい。映像ストリーム８０８は、生成されてローカル描画面２０４上への投影のためにローカルプロジェクタ２１０に通信される。例えば、一例では、セレクタ及び８０２は、デジタル表示と映像ストリームとの両方を含んでもよい。そのデジタル表示は、ローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画に対応する。その映像ストリームは、生成されてローカルプロジェクタ２１０に出力される映像ストリーム８０８のうちローカル連携装置２０２及び遠隔連携装置２５２にて撮影される。次に、ローカルプロジェクタ２１０は、受信された映像ストリーム８０８をローカル描画面２０４上に投影してもよい。そのような構成は、結果的に図４にて示された出力フレームとなり得る。図４に示したように、フレーム４００は、（例えば遠隔ユーザ２６２の）映像ストリーム４０２、ローカル及び遠隔地の両方で作成された描画のデジタル表示４０４及び４０６、ローカル連携装置２０２にて撮られている（例えばローカルユーザ２１２の）映像ストリームを表示するための小ウインドウ４０８を含む。

他の例では、セレクタ８０２は、生成されてローカルプロジェクタ２１０に出力される映像ストリーム８０８のうち、ローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画に対応するデジタル表示のみを含んでもよい。ローカルプロジェクタ２１０は、受信された映像ストリーム８０８をローカル描画面２０４上に投影してもよい。そのような構成は、結果的に図７にて示された出力となるかもしれない。図７に示したように、フレーム７００は、ローカル及び遠隔地の両方で作成された描画のデジタル表示７０２及び７０４を含む。

更に他の例では、セレクタ８０２は、生成されてローカルプロジェクタ２１０に出力された映像ストリーム８０８のうち、ローカル連携装置２０２及び遠隔連携装置２５２にて撮影された映像ストリームのみを含んでもよい。ローカルプロジェクタ２１０は、それから受信された映像ストリーム８０８をローカル描画面２０４上に投影してもよい。そのような構成は、結果的に図６にて示された出力となるかもしれない。図６に示したように、フレーム６００は、遠隔連携装置２５２にて撮影された映像ストリーム６０２（例えば遠隔ユーザ２６２の映像ストリーム）及びローカル連携装置２０２にて撮影された映像ストリーム６０４（例えばローカルユーザ２１２の映像ストリーム）を含む。

他の実施形態では、セレクタ８０２は、生成されてローカルプロジェクタ２１０に出力された映像ストリーム８０８のうち、ローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画に対応したデジタル表示、及び遠隔連携装置２５２にて撮影された映像ストリームのみを含んでもよい。ローカルプロジェクタ２１０は、それから受信された映像ストリーム８０８をローカル描画面２０４上に投影してもよい。そのような構成は、結果的に図５にて示された出力フレームとなるかもしれない。図５に示したように、フレーム５００は、遠隔連携装置２５２にて撮影された映像ストリーム５０６（例えば遠隔ユーザ２６２の映像ストリーム）及びローカル及び遠隔地で作成された描画のデジタル表示５０２及び５０４を含む。

別の実施形態では、セレクタ８０２は、セレクタ８０２が受信する入力のその他の組み合わせに基づき映像ストリーム８０８を生成するように構成されてもよい。一実施形態では、セレクタ８０２は、セレクタ８０２にアクセス可能な選択情報８０６に基づき、入力群のいずれを映像ストリーム８０８内に含むか決定する。選択情報８０６は、ローカル連携装置２０２のコンポーネント又はその他のコンポーネントを含む異なるソース源から受けられ得る。一実施形態では、セレクタ８０２は、選択情報８０６を処理し、それから、その処理結果に基づき、ローカルプロジェクタ２１０に送信される映像ストリーム８０８中に含まれる、１又はそれ以上の入力情報ストリームを決定する。

一実施形態では、選択情報８０６は、連続して又は周期的にモニタされ得、選択情報８０６内の変更が、映像ストリーム８０８に含まれる情報を動的に変更させるようにしてもよい。例えば、一実施形態では、セレクタ８０２は、特別な条件（Ｃ）が合致しているかどうかを決定するために選択情報８０６を使用してもよい。条件Ｃが合致していると決定すると、セレクタ８０２は、選択情報８０６に基づき、ローカルプロジェクタ２１０に送られる映像ストリーム８０８内に第１の組の１又はそれ以上の入力情報ストリームを含むように構成されてもよい。しかしながら、条件Ｃが合致しないと決定された場合には、セレクタ８０２は、ローカルプロジェクタ２１０に送られる映像ストリーム８０８内に第２の組の１又はそれ以上の入力情報ストリームを含むように構成されてもよい。第１の組の情報ストリームは、第２の組の情報ストリームと異なっていてもよい。

例えば、一実施形態では、第１の組の情報ストリームは、ローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画に対応するデジタル表示を具備するストリームのみを含んでもよい。そのようなローカル描画面２０４上の映像ストリームの、ローカルプロジェクタ２１０による投影は、結果的に図７に示したように表示された情報となってもよい。第２の組の情報ストリームは、ローカル連携装置２０２及び遠隔連携装置２５２にて撮影された映像ストリームのみを含んでもよい。そのようなローカル描画面２０４上の映像ストリームの、ローカルプロジェクタ２１０による投影は、結果的に図６に示したように表示された情報となってもよい。従って、一実施形態では、もし条件Ｃが合致するときには情報が図７に示したように表示され、もし条件Ｃが合致しないときには情報が図６に示したように表示されてもよい。更に、選択情報８０６は、時間の経過とともに変更してもよい。結果として、条件Ｃが合致するか否かもまた、時間とともに変更し得る。セレクタ８０２は、選択情報８０６に基づき条件Ｃが合致するか否かに応じて図７に示した表示と図６に示した表示とを自動的かつ動的に切り替えるように構成されている。

一実施形態では、位置情報に基づき、映像ストリーム８０８に含まれるための情報ストリームを選択してもよい。例えば、選択は、別のオブジェクトに対する第１のオブジェクトの位置に基づいてもよい。一実施形態では、選択は、連携装置の描画面に対する（ローカルか遠隔のいずれかの）ユーザの位置に基づいてもよい。例えば、ローカル制御装置２０８のセレクタ８０２により映像ストリーム８０８に含まれる情報ストリームの選択は、遠隔描画面２５４に対する遠隔ユーザ２６２の位置に基づいてもよい。このような実施形態では、条件Ｃが合致するとき又は条件Ｃが合致しないとき、条件Ｃ及び表示される情報は、次のように構成され得る。

条件Ｃ＝遠隔ユーザ２６２が、遠隔描画面２５４の距離Ｄ内にいるか？
条件Ｃが合致する場合（例えば、上記質問に対する答えが「Ｙｅｓ」の場合）には、映像ストリーム８０８内にローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画に対応するデジタル表示のみを含む。
条件Ｃが合致しない場合には、映像ストリーム８０８内にローカル連携装置２０２及び遠隔連携装置２５２にて撮影された映像ストリームのみを含む。

このような実施形態では、セレクタ８０２により設定された映像ストリーム８０８及びその映像ストリーム内に含まれる情報（及び最終的にはローカル描画面２０４上に投影される）は、遠隔描画面２５４に対して遠隔ユーザ２６２の位置に依存する。遠隔ユーザ２６２の位置に応じて、ローカル描画面２０４上に投影される情報は、自動的かつ動的に図７（条件Ｃが合致しているとき）と図６（条件Ｃが合致しないとき）との表示間で切り替えてもよい。この実施形態では、もし、遠隔ユーザ２６２が、（例えば、画面上に描画する目的のために）画面２５４の距離Ｄ内に移動するならば、ローカル制御装置２０８は、図７で示したような描画のデジタル表示を含むための映像信号８０８を設定することができる。もし、遠隔ユーザ２６２が、遠隔描画面２５４から複数歩の離れるならば（すなわち、距離Ｄ内でない）、ローカル制御装置２０８は、図６に示したようにローカル及び遠隔地にて撮影された映像ストリームを含むための映像信号８０８を設定する。

投影のためのプロジェクタに送られる映像ストリーム内に含まれるために、ユーザの位置（ローカル又は遠隔のいずれか）が情報ストリームを選択するために用いられる実施形態では、選択情報８０６は、ユーザの位置を示す位置情報を具備し得る。様々なセンサ及び／又はデバイスが、ユーザの位置の決定に使用され得る情報を生成するために用いられてもよい。例えば、一実施形態では、遠隔画面２５４上又は近くに設置されたカメラ２５６が、遠隔画面２５４に対してユーザ２６２の位置を決定するために用いられてもよい。カメラ２５６は、ユーザ２６２に向けられ、ユーザ２６２をオートフォーカスするように構成されてもよい。ユーザ２６２の位置が遠隔画面２５４に対して変化するように、カメラ２５６の自動焦点距離もまた、ユーザへのフォーカスを維持するために遠隔画面２５４に対して変化する。そして、カメラのオートフォーカスは、描画面２５４に対するユーザ２６２の位置を決定するために使用されることが可能である。

別の実施形態では、１又はそれ以上の近接センサが、遠隔画面２５４からの遠隔ユーザ２６２の距離を決定するために用いられてもよい。この１又はそれ以上の近接センサは、距離を測定するために反射された超音波パルス（ｕｌｔｒａｓｏｎｉｃ ｐｕｌｓｅ）又は赤外パルス（ｉｎｆｒａｒｅｄ ｐｕｌｓｅ）に作用してもよい。これらのセンサの出力は、ローカル制御装置２０８に転送され得る。ローカル制御装置２０８は、条件Ｃが合致するかどうかを決定するためにこの情報を使用する。そして、ローカル画面２０４上への投影のためにローカルプロジェクタ２１０に送られる映像ストリーム内に含まれる情報ストリームを選択する。

更なる実施形態では、１又はそれ以上の深度センサ（例えば、ＰｒｉｍｅＳｅｎｓｅ社により提供される深度センサ）が、ユーザの物理的位置を追跡するために用いられてもよい。例えば、そのような深度センサは、遠隔画面２５４に対する遠隔ユーザ２６２の位置が追跡可能なように、遠隔画面２５４上又はその付近に置かれてもよい。これらのセンサの出力は、ローカル画面２０４上への投影のためにローカルプロジェクタ２１０に送られる映像ストリーム８０８に含まれる情報ストリームを選択するためにローカル制御装置２０８に転送されてもよい。

別の実施形態では、感圧抵抗グリッド型（ｆｏｒｃｅ ｓｅｎｓｉｔｉｖｅ ｒｅｓｉｓｔａｎｃｅ ｇｒｉｄｓ）の圧力分布センサ（ｐｒｅｓｓｕｒｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｓｅｎｓｏｒ）（例えば、それらはマサチューセッツ州、南ボストンのＴｅｋＳｃａｎ社から利用可能）が、描画面に対するユーザの位置を追跡するために用いられてもよい。例えば、圧力分布センサは遠隔画面２５４の前方であってかつ遠隔画面２５４に近接したエリア内の地面に置かれてもよく、画面２５４にて、立っているユーザの足の位置が測定され得、ユーザの位置を追跡できるようにしてもよい。これらのセンサの出力は、映像ストリーム８０８に含まれる情報ストリームを選択するためにローカル制御装置２０８に転送されてもよい。映像ストリーム８０８は、ローカル画面２０４への投影のためにローカルプロジェクタ２１０に送信される。

更なる実施形態では、遠隔画面２５４に対向して、前方に置かれた１又はそれ以上のカメラが、遠隔画面２５４に対してユーザ２６２の位置を撮影するために用いられ得る。各カメラは、画面２５４とカメラとの間に位置づけられたオブジェクトの画像を含む画面２５４の画像を撮るように構成され得る。このようなオブジェクト（たとえばユーザ２６２）の位置は、画像から決定されてもよい。一実施形態では、深度カメラ例えば、（ＰｒｉｍｅＳｅｎｓｅ社からの深度カメラ）が用いられ得る。更なる実施形態では、マイクロソフト（登録商標）Ｋｉｎｅｃｔデバイスのようなデバイスが描画面に対するユーザの物理的位置を感知するために用いられてもよい。一実施形態では、例えばＢｕｍｂｌｅｂｅｅ２等のＰｏｉｎｔ Ｇｒｅｙ Ｒｅｓｅａｒｃｈからの製品のようなステレオカメラが、三次元のユーザの位置を認識するために表示されたユーザの２点の位置を撮像するために用いられ得る。様々な他のセンサが、他の実施形態にて、描画面に対するユーザの位置を決定するために使用されてもよい。当業者であれば、他のバリエーション、変更及び代替手段が認識されるであろう。

別の実施形態では、描画面に対するユーザの位置を決定するために、音声位置認識技術（ｓｏｕｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）が用いられ得る。例えば、描画面に沿って配置されたマイクロホン（図１に示されたマイクロホン１０８）が、ユーザによって話された音声情報を取得するために使用されてもよい。取得された音声情報は、描画面に対するユーザの位置を決定するために、音声位置認識技術を使用して処理されてもよい。

上述のように、描画面に対するユーザの位置は、制御装置によって設定された映像信号内に含まれる情報ストリームを選択し、動的に変化させるための条件として使用され得、描画面上への投影のためにプロジェクタに送信され得る。別の実施形態では、１又はそれ以上の条件が予め設定されてもよい。条件が合致するかしないかは、画面上への投影のためのプロジェクタに送信される映像信号内の情報ストリームに含まれるものを決定する。

様々な異なる条件が、連携装置のために設定され得る。例えば、一実施形態では、制御装置によって生成された映像信号のコンポーネントは、連携装置の描画面における活動のレベルに基づくかもしれない。一実施形態では、これは、ユーザが描画面を使用しているか否かに基づくかもしれない。異なる技術が、ユーザが描画面を使用しているか否かを検出するために使用されてもよい。一実施形態では、描くまたは書く動作が進行中にその動作を検出するために、圧力センサが描画面上に設置されてもよい。画面上での描くまたは書く動作が検出されると、第１の組の１又はそれ以上の情報ストリームが、生成された映像信号内に含まれ得る。書く／描く動作が検出されないと、第２の組の１又はそれ以上の情報ストリームが、生成された映像信号内に含まれ得る。センサからの読み込みは制御装置に転送されてもよい。これにより、制御装置のセレクタは、生成されてプロジェクタに通信される映像信号に含まれる情報を決定するためにその情報を使用することができる。例えば、一実施形態では、条件Ｃ及び表示された情報は、条件Ｃが合致する又は合致しないにより、次のように設定され得る。
条件Ｃ＝遠隔描画面２５４上に書く／描く動作が生じているか？
条件Ｃが合致する場合には、映像ストリーム８０８内にローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画に対応するデジタル表示のみを含む。
条件Ｃが合致しない場合には、映像ストリーム８０８内にローカル連携装置２０２及び遠隔連携装置２５２にて撮影された映像ストリームのみを含む。

このような実施形態では、セレクタ８０２により設定された映像ストリーム８０８及びその映像ストリーム内に含まれる情報（及び最終的にはローカル描画面２０４上に投影される）は、遠隔描画面２５４上へ描画する動作に依存する。描画する動作に応じて、ローカル描画面２０４上に投影される情報は、自動的かつ動的に図７（条件Ｃが合致しているとき）と図６（条件Ｃが合致しないとき）との表示間で切り替えられ得る。

図９は、本発明の一実施形態に従った協調セッションに参加する連携装置によって遂行される処理を示す簡易化されたフローチャート９００である。図９に示された処理は、例えば、連携装置の制御装置のように、協調処理の１又はそれ以上のコンポーネントにより遂行されてもよい。処理は、制御装置のプロセッサにより実行されるソフトウエア（例えば、コード、命令、プログラム）、制御装置のハードウエア、又はそれらの組み合わせを使用して遂行されてもよい。一実施形態では、制御装置により実行されるソフトウエアは、データが固定化された（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）コンピュータ読み取り可能な記憶媒体に格納されてもよい。図９に示したステップ群又は図９に示した処理ステップ群の特定の部分は、本発明の実施形態の範囲を限定することを意味しない。他の又は異なる処理ステップ群が、替わりの実施形態にて遂行されてもよい。図９に示した１又はそれ以上のステップは、並行して遂行されてもよく、又は連続して遂行されてもよい。

図９に示したフローチャート９００の説明を進めるために、処理は、図２に示した、遠隔連携装置２５２との協調セッションに参加するローカル連携装置２０２により遂行されると仮定される。処理は、ローカル連携装置２０２のローカル制御装置２０８により遂行されてもよい。

ローカル連携装置２０２の制御装置２０８のセレクタは、多数の情報ストリーム（ステップ９０２）及び選択情報（ステップ９０４）を受信し得る。情報ストリームは、例えばローカル強調装置２０２にてローカルに取得された描画のデジタル表示、遠隔連携装置２５２にて撮られた描画のデジタル表示、ローカル連携装置２０２にて撮像された映像ストリーム、遠隔連携装置２５２にて撮像された映像ストリーム、を具備するストリームを含んでもよい。その他のストリームが代替の態様にて受信されてもよい。

ローカル制御装置２０８は、それから、ステップ９０４にて受信された選択情報に基づき、ステップ９０２にて受信された情報ストリームから、１又はそれ以上の情報ストリームを決定する（ステップ９０６）。１又はそれ以上の情報ストリームには、生成されて、ローカル画面２０４上への投影のためにローカルプロジェクタ２１０に送信される映像信号が含まれる。一実施形態では、ストリーム９０６の処理は、装置のために設定された１またはそれ以上の条件が合致する（又は合致しない）かを決定するために選択情報を使用することを含み得る。そして、決定に基づき、含まれるべき情報ストリームを選択する。

ローカル制御装置２０８は、それから、ステップ９０６にて決定された１又はそれ以上の情報ストリームを含む信号（例えば映像信号又は映像ストリーム）を生成する（ステップ９０８）。ステップ９０８にて生成された信号は、それからローカル画面２０４上への投影のためにローカルプロジェクタ２１０に送信される（ステップ９１０）。この方法では、プロジェクタ２１０に送られる信号８０８内に含まれる情報ストリームに包含される情報は、ローカル連携装置２０２のユーザによって見ることができるように、ローカル画面２０４上に出力される。ステップ９０６及び９０８の処理を遂行することによって、ローカル制御装置２０８は、ローカルプロジェクタ２１０に送信され、ローカル画面２０４に表示される信号８０８に含まれる情報を制御する。

選択情報は、時間の経過とともに変化してもよい。ローカル制御装置２０８は、選択情報をモニタし、選択情報内の変化に応じてローカルプロジェクタ２１０に送られる信号８０８に含まれる情報を動的に変更させるように構成される（ステップ９１２）。この方法では、選択情報内の変化は、プロジェクタに送信された信号に含まれる情報が自動的にかつダイナミックに作られるための変化のきっかけになり得る。プロジェクタは、ローカル画面２０４上に投影される情報を変更する。

例えば、前述したように、ある実施形態では、ローカル制御装置２０８により生成される映像ストリームに含まれる情報ストリームの選択は、遠隔画面２５４に対する遠隔ユーザ２６２の位置に基づいてもよい。そのような実施形態では、遠隔ユーザ２６２が、遠隔画面２５４から距離Ｄ内にいるとき、ステップＳ９０８にて生成され、かつローカルプロジェクタ２１０に送られた信号は、ローカル連携装置２０２及び遠隔連携装置２５２にて撮影された描画に対応するデジタル表示のみを含んでもよい。さもなければ、ローカル連携装置２０２及び遠隔連携装置２５２にて撮像された映像ストリームのみを生成された映像ストリーム中に含んでもよい。遠隔ユーザ２６２の位置が、遠隔画面２５４に対して変化するように、この変化は、ローカル制御装置２０８により受信された選択情報内に反映される。遠隔ユーザの位置の変化が検出されたとき、ローカル制御装置２０８は、（例えば図７にて示された）第１の表示と、（例えば図６にて示された）第２の表示との間で自動的かつダイナミックに切り替えを行ってもよい。第１の表示では、ローカル連携装置２０２及び遠隔連携装置２５２にて撮像された描画に対応するデジタル表示のみが表される。第２の表示では、ローカル連携装置２０２及び遠隔連携装置２５２にて撮られた映像ストリームのみが表される。この方法では、表示の切り替えが、どんな手動の介在も必要とせずに条件の変化に応じて自動的に行われる。

上記の記載では、連携装置の画面上に表示される情報の変化をもたらし得る、ある条件が記載されているが、これらの条件はなんらかの限定をすることを意図せず、様々な他の条件が代替の態様として設定され得る。これらの条件は、ユーザが設定することも可能である。例えば、一実施形態では、ローカル及び遠隔連携装置の両方の画面上に現された表示は、情報の組み合わせに基づいてもよい。例えば、いずれかのユーザが各描画面に近接していれば、ローカル及び遠隔地にて撮られた描画のデジタル表示が両方のユーザに表示されてもよい。例えば、両方のユーザが各描画面から離れていれば、映像ストリームが両方のユーザ等に表示されてもよい。

図１０は、本発明の一実施形態に従ったコンピュータ装置１０００の簡易化されたブロック図である。一実施形態では、コンピュータ装置１０００は、上述した図１に図示された制御装置１１０及び図２に示された制御装置２０８及び２５８を実行するために用いられ得る。図１０に示したように、コンピュータ装置１０００は、バスサブシステム１００４を介して多数の周辺サブシステムと通信する、１又はそれ以上の処理部（ｐｒｏｃｅｓｓｏｒ）１００２を含み得る。これらの周辺サブシステムは、記憶サブシステム１００６、ユーザインタフェイス入力デバイス１０１２、ユーザインタフェイス出力デバイス１０１４およびネットワークインタフェイスサブシステム１０１６を含み得る。記憶サブシステム１００６は、メモリサブシステム１００８及びファイル記憶サブシステム１０１０を含む。

バスサブシステム１００４は、様々なコンポーネント及びコンピュータ装置１０００のサブシステム群が目的どおりに互いに通信可能とするためのメカニズムを供給することができる。バスサブシステム１００４は、単一のバスとして概略的に示されているが、バスサブシステムの他の実施形態では、多重化したバスを利用することもできる。

ネットワークインタフェイスサブシステム１０１６は、他の装置及び／又はネットワークからデータを受信するためのインタフェイス、および他の装置及び／又はネットワークへデータを送信するためのインタフェイスとして機能し得る。例えば、ネットワークインタフェイスサブシステム１０１６は、一の連携装置（例えば、図２のローカル連携装置２０２）の制御装置を他の遠隔的に位置する連携装置（例えば、図２の遠隔連携装置２５２）の制御装置と、インターネットなどの通信ネットワークを介して通信させることができる。

ユーザインタフェイス入力デバイス１０１２は、描画面（例えば、図１の画面１０２）、キーボード、例えば、マウス、トラックボール、タッチパッド、グラフィックタブレット等のポインティングデバイス、又は、スキャナ、バーコードスキャナ、ディスプレイ内に組み込まれたタッチスクリーン、音声認識装置、マイクロホン等の音声入力デバイス、その他のタイプの入力デバイスを含み得る。一般に、「入力デバイス（ｉｎｐｕｔ ｄｅｖｉｃｅ）」の言葉の使用は、コンピュータシステム１０００に情報を入力するためのすべての可能なタイプのデバイス及びメカニズムを含むことを意味する。

ユーザインタフェイス出力デバイス１０１４は、ディスプレイサブシステム、プリンタ、ファクシミリ機又は音声出力装置等の画像表示のないものを含み得る。表示サブシステムは、ブラウン管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ：ＣＲＴ）、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ：ＬＣＤ）等のフラットパネルデバイス、又はプロジェクションデバイス（例えば図１のプロジェクタ１１２）であり得る。一般に、「出力デバイス（ｏｕｔｐｕｔ ｄｅｖｉｃｅ）」の言葉の使用は、コンピュータシステム１０００から情報を出力するためのすべての可能なタイプのデバイス及びメカニズムを含むことを意味する。

記憶サブシステム１００６は、本発明の機能を提供する基本的なプログラミング及びデータ構造を記憶するための（データが固定化された（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記憶装置を含む）コンピュータ読み取り可能な記憶媒体を提供可能である。ソフトウエア（例えば、プログラミ、コードモジュール、命令等）は、本発明の機能を提供するプロセッサにより実行されるとき、記憶サブシステム１００６に記憶され得る。これらのソフトウエアモジュール群又は命令群は、処理部１００２により実行され得る。記憶サブシステム１００６はまた、本発明に従って使用されたデータを記憶するための格納場所を提供することができる。記憶サブシステム１００６は、メモリサブシステム１００８及びファイル／ディスク記憶サブシステム１０１０を備え得る。

メモリサブシステム１００８は、プログラム実行中、命令及びデータの記憶のための主ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）１０１８、及び固定した命令群が記憶されたリードオンリーメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）１０２０を含む多数のメモリを含み得る。ファイル記憶サブシステム１０１０は、データが固定化された（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）持続性のある（不揮発性の）、プログラムやデータファイルのための記憶装置を提供することができる。ファイル記憶サブシステム１０１０は、連結した着脱可能媒体とともにフロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光デバイス、着脱可能媒体カートリッジ、及び／又はその他の記憶メディアを含んでもよい。

コンピュータ装置１０００は、パーソナルコンピュータ、電話、携帯型コンピュータ、ワークステーション、ネットワークコンピュータ又はその他のデータ処理措置を含む様々なタイプのものであり得る。コンピュータ及びネットワークの絶え間なく変化する性質のために、図１０に示されたコンピュータ装置１０００の記載は、コンピュータ装置の一実施例を図示するための特定の例示としてのみ意図する。図１０に示された装置よりも多い又は少ないコンポーネントを有する多くの他の構成があり得る。

本発明の特定の形態が記載されているが、様々な変更、修正、他の構成及び等価物もまた、本発明の範囲に包含される。例えば、本発明の実施形態は、ある特定のデータ処理環境内での操作に限定されず、複数のデータ処理環境内で操作することも自由である。更に、本発明の実施形態は、特定の種類のトランザクション及びステップを使用して記載されているが、これらは、本発明の実施形態の範囲を限定することを意図するものではない。

更に、本発明の実施形態は、ハードウエアとソフトウエアとの特定の組み合わせを使用して記載しているが、ハードウエアとソフトウエアとの他の組み合わせもまた本発明の範疇に含まれると認識すべきである。例えば、本発明の実施形態は、ハードウエアのみで実行されてもよいし、ソフトウエアのみで実行されてもよいし、それらの組み合わせを使用して実行されてもよい。

従って、明細書及び図面は、限定的な意味というよりはむしろ、例示的とみなされる。追加、差分、削除、及び他の修正及び変更が、発明の広い精神及び範囲から逸脱することなく、そこになされ得ることは明らかであろう。

Claims (19)

1. 第１の装置によって、第１のオブジェクトの位置を示す情報を含む第１の情報に基づき、位置情報に基づく条件に合致するか否かを決定する決定ステップと；
   前記第１の装置によって、前記決定ステップに基づき信号を生成する生成ステップであって、前記条件に合致する旨の判定に応じて、前記生成された信号に第１の組の１つ以上の情報ストリームを含め、及び、前記条件に合致しない旨の判定に応じて、前記生成された信号に、前記第１の組の情報ストリームと異なる第２の組の１つ以上の情報ストリームを含めるステップと；
   前記信号に含まれる前記第１の組又は前記第２の組の情報ストリームに対応する情報が表示されるように、前記生成された信号を出力させる出力ステップと；
   を有する方法。
2. 前記第１の情報は、深度センサ、近接センサ又は圧力センサにより生成されたデータを含む、
   請求項１に記載の方法。
3. 前記第１のオブジェクトが第２のオブジェクトから所定距離内に位置しているとき、前記条件は合致している、
   請求項１に記載の方法。
4. 前記第２のオブジェクトは描画面であり、前記第１のオブジェクトは該描画面を使用するユーザである、
   請求項３に記載の方法。
5. 前記決定ステップは、前記条件に合致することを決定するステップを有し；
   前記生成ステップは、前記第１の組の１つ以上の情報ストリームを有する前記信号を生成するステップを有し；
   前記方法は、更に：
   前記第１の組の１つ以上の情報ストリームを有する前記信号を生成するステップに続いて、前記条件に合致しないことを決定するステップと；
   前記条件に合致しない旨の判定に応答して、前記第１の組の情報ストリームの替わりに、変更された信号が前記第２の組の１つ以上の情報ストリームを含むように前記変更された信号を生成するために前記信号を変更するステップと；
   前記変更された信号に含まれる前記第２の組の情報ストリームに対応する情報が表示されるように、前記変更された信号を出力させるステップと；
   を有する請求項１に記載の方法。
6. 前記第１の組の情報ストリームは、
   前記第１の装置から遠隔に配置された第２の装置にて取得された描画のデジタル表示を有する第１ストリームと、前記第１の装置にて取得された描画のデジタル表示を有する第２ストリームと、を含み；
   前記第２の組の情報ストリームは、
   前記第２の装置にて取得された映像ストリームを有する第３ストリームと、前記第１の装置にて取得された映像ストリームを有する第４ストリームと、を含む、
   請求項１ないし５のうちの何れか１項に記載の方法。
7. 第１の装置による実行のために複数の命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、
   前記複数の命令は：
   第１のオブジェクトの位置を示す情報を示す第１の情報に基づき、位置情報に基づく条件が合致するか否かを前記第１の装置に決定させる決定命令と；
   前記決定命令に基づき、前記第１の装置に信号を生成させる生成命令であって、前記第１の装置に前記信号を生成させる前記生成命令は、前記条件に合致する旨の判定に応じて、前記生成された信号に第１の組の１つ以上の情報ストリームを含めることを前記第１の装置に行わせ、及び、前記条件に合致しない旨の判定に応じて、前記生成された信号に、前記第１の組の情報ストリームと異なる第２の組の１つ以上の情報ストリームを含めることを前記第１の装置に行わせる命令と；
   前記信号に含まれる前記第１の組又は前記第２の組の情報ストリームに対応する情報が表示されるように、前記生成された信号を出力することを前記第１の装置に行わせる出力命令と；
   を有するコンピュータ読み取り可能な記憶媒体。
8. 前記第１の情報は、深度センサ、近接センサ又は圧力センサにより生成されたデータを含む、
   請求項７に記載の記憶媒体。
9. 前記第１のオブジェクトが第２のオブジェクトから所定距離内に位置しているとき、前記条件は合致している、
   請求項７に記載の記憶媒体。
10. 前記第２のオブジェクトは描画面であり、前記第１のオブジェクトは該描画面を使用するユーザである、
    請求項９に記載の記憶媒体。
11. 前記条件に合致するか否かを前記第１の装置に決定させる決定命令は、前記条件に合致することを前記第１の装置に決定させる命令を含み；
    前記第１の装置に前記信号を生成させる生成命令は、前記第１の組の１つ以上の情報ストリームを含む前記信号を前記第１の装置に生成させる命令を含み；
    更に、前記複数の命令は：
    前記第１の組の１つ以上の情報ストリームを含む前記信号を生成することに続いて、前記条件に合致しないことを前記第１の装置に決定させる命令と；
    前記条件に合致しない旨の判定に応答して、前記第１の組の情報ストリームの替わりに、変更された信号が前記第２の組の１つ以上の情報ストリームを含むように前記変更された信号を生成するために前記信号を変更することを前記第１の装置にさせる命令と；
    前記変更された信号に含まれる前記第２の組の情報ストリームに対応する情報が表示されるように、前記変更された信号を出力することを前記第１の装置にさせる命令と、
    を有する請求項９に記載の記憶媒体。
12. 前記第１の組の情報ストリームは、
    前記第１の装置から遠隔に配置された第２の装置にて取得された描画のデジタル表示を有する第１のストリームと、前記第１の装置にて取得された描画のデジタル表示を有する第２のストリームと、含み；
    前記第２の組の情報ストリームは、
    前記第２の装置にて取得された映像ストリームを有する第３のストリームと、前記第１の装置にて取得された映像ストリームを有する第４のストリームと、を含む、
    請求項７ないし１１のうち何れか１項に記載の記憶媒体。
13. メモリと；
    前記メモリに接続された処理部と；
    を備える装置であって、前記処理部は：
    第１のオブジェクトの位置を示す情報を含む第１の情報に基づき、位置情報に基づく条件に合致するか否かを決定すること；
    前記決定に基づき、信号を生成することであって、該生成された信号は、前記条件に合致することが決定された場合には第１の組の１つ以上の情報ストリームを含み、前記条件に合致しないことが決定された場合には、前記第１の組の情報ストリームと異なる第２の組の１つ以上の情報ストリームを含む、こと；及び
    前記信号に含まれる前記第１の組又は前記第２の組の情報ストリームに対応する情報が表示されるように、前記生成された信号を出力させること；
    を行うように構成される、装置。
14. 前記第１の情報は、深度センサ、近接センサ又は圧力センサにより生成されたデータを含む、
    請求項１３に記載の装置。
15. 前記第１のオブジェクトが第２のオブジェクトから所定距離内に位置しているとき、前記条件は合致している、
    請求項１３に記載の装置。
16. 前記第２のオブジェクトは描画面であり、前記第１のオブジェクトは該描画面を使用するユーザである、
    請求項１５に記載の装置。
17. 前記処理部は、
    前記条件に合致することを決定し；
    前記第１の組の１つ以上の情報ストリームを含む前記信号を生成し；
    前記第１の組の１つ以上の情報ストリームを含む前記信号を生成することに続いて、前記条件に合致しないことを決定し；
    前記条件に合致しない旨の判定に応答して、前記第１の組の情報ストリームの替わりに、変更された信号が前記第２の組の１つ以上の情報ストリームを含むように前記変更された信号を生成するために前記信号を変更し；及び
    前記変更された信号に含まれる前記第２の組の情報ストリームに対応する情報が表示されるように、前記変更された信号を出力させる、
    ように構成される、請求項１３に記載の装置。
18. 前記第１の組の情報ストリームは、
    第１の装置から遠隔に配置された第２の装置にて取得された描画のデジタル表示を有する第１のストリームと、前記第１の装置にて取得された描画のデジタル表示を有する第２のストリームと、を含み；
    前記第２の組の情報ストリームは、
    前記第２の装置にて取得された映像ストリームを有する第３のストリームと、前記第１の装置にて取得された映像ストリームを有する第４のストリームと、を含む、
    請求項１３ないし１７のうち何れか１項に記載の装置。
19. 請求項１ないし６のうち何れか１項に記載の方法を装置のコンピュータに実行させるコンピュータプログラム。

Images