JP2006521070A - プロジェクタのセットからクラスタを形成する方法 - Google Patents

Abstract

【課題】方法は、プロジェクタのセットからクラスタを形成する。
【解決手段】セット中の各プロジェクタは、カメラサブシステムに対して固定された物理的関係にあるプロジェクタサブシステムと、メッセージを送受信する通信サブシステムとを含む。プロジェクタにおいて通信サブシステムを介して較正メッセージが受信される。プロジェクタによって通信サブシステムを用いて準備完了メッセージがブロードキャストされる。プロジェクタの各々によってプロジェクタサブシステムを用いて表示面上に構造化パターンが順次投影される。プロジェクタの各々によってカメラサブシステムを用いて構造化パターンの入力画像が順次取得される。プロジェクタは入力画像に従って互いに、および表示面とグローバルアライメントされる。

Description

本発明は、包括的にプロジェクタに関し、特に、複数のプロジェクタをアライメントすることに関する。

プロジェクタの最も利用されている特徴は、対応するＣＲＴデバイスやＬＣＤデバイスによって生成される画像よりも大きなサイズの画像を表示し、プロジェクタから離れた任意の表面に画像を映す能力である。ＣＲＴおよびＬＣＤベースのデバイスと同様に、プロジェクタは通常、平坦な矩形の画像を表示する。残念ながら、プロジェクタベースのディスプレイに特有の多くの特徴のほとんどが利用されていない。

ＣＲＴデバイスやＬＣＤデバイスとは異なり、プロジェクタは表示面と分離しているため、プロジェクタは、それが生成する画像のサイズよりも遥かに小さいサイズにすることができる。複数のプロジェクタからの重複する画像を表示面上に効果的に重ねることができ、仕様およびフォームファクタの大きく異なるプロジェクタからの画像をブレンドすることもできる。さらに、表示面は平面または硬質である必要はなく、よって、多くのタイプの表面および合成された投影画像を用いて物理的環境を増強することができる。

プロジェクタのトレンド
プロジェクタは小型化、軽量化、高輝度化および低価格化が進んでいる。デバイスが小型になると、フォームファクタの柔軟性が新たな使用モードおよび新たな応用を生む。例えば、将来のプロジェクタは、固定された場所でまたはモバイルセットアップで用いることができる。

分散され商品化されたコンピューティングトレンド
コンピューティングはますます、よくまとまったメインフレームのセットではなく異機種の独立型（self-sufficient）コンピューティングユニットのクラスタにわたって分散されている。より低価格で高性能のコンピュータの進化がこのトレンドを加速している。

同様に、プロジェクタシステムでは、大型でモノリシックな同機種システムから、異機種の独立型プロジェクタで構成されたネットワークへの移行が望まれている。このようなプロジェクタは、ＰＣやＰＤＡと同様に独立モードで用いられるか、またはコンピューティンググリッドと同様にクラスタで協働して動作することができる。

ここ数年で、プロジェクタは、エンターテイメント、フライトシミュレータ、およびプレゼンテーション用途における従来の役割から抜け出した。その結果、プロジェクタベースのシステムにおける進歩は大きな注目を集めており、プロジェクタはこれまでにない目的に用いられ始めている。

プロジェクタベースの環境
最近では、物理的環境を増強するディスプレイデバイス、例えば据え付け用の大型モニタ、投影スクリーン、ＬＣＤまたはプラズマスクリーン、ならびに移動用途のハンドヘルドＰＤＡがより普及してきた。これらのディスプレイのほとんどは、必ずしも没入を目的としていない。

サイズおよびコストの縮小により、プロジェクタはますます、従来のディスプレイデバイスおよび媒体に取って代わりつつある。Raskar等著「Multiprojector Displays using Camera-based Registration」（IEEE Visualization, 1999）、Underkoffler等著「Emancipated pixels: realworld graphics in the luminous room」（SIGGRAPH 99 Conference Proceedings, pp., 385-392, 1999）、Pinhanez著「The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces」（Ubiquitous Computing, Ubicomp '01, 2001）、Sukthankar等著「Scalable Alignment of Large-Format Multi-Projector Displays Using Camera Homography Trees」（Proceedings of Visualization, 2002）、およびStork著「Projection-based Augmented Reality in Engineering Applications」（2002）を参照のこと。

幾何学的形状の観点では、これらの従来技術のプロジェクタシステムは、中央処理ユニットを補助する１つまたは複数の環境センサを用いる。処理ユニットは、プロジェクタと表示面のユークリッド関係またはアフィン関係を計算する。

対照的に、個々の内蔵型プロジェクタに基づく分散型プロジェクタシステムを提供することが望ましい。

従来技術のプロジェクタシステムのなかには、プロジェクタのクラスタを用いてシームレスな表示の自動位置合わせを行うものもある。Yang著「PixelFlex: A Reconfigurable Multi-Projector Display System」（IEEE Visualization 01, 2001）、およびBrown等著「A Practical and Flexible Large Format Display system」（The Tenth Pacific Conference on Computer Graphics and Applications, pp. 178-183, 2002）を参照のこと。しかし、それらのシステムは、環境センサを必要とし、いずれか１つのセンサの範囲を越えるプロジェクタを許容せず、一次平面にしか機能しない。

環境センサを使用することなく円筒体およびドーム等のより高次の表面上に画像を表示することができるプロジェクタを提供することが望ましい。

改良型プロジェクタ
従来技術のディスプレイシステムのなかには、改良型センサおよびさらなる計算を用いるものもある。上記Underkoffler等によって記載される、同じ場所に配置されたプロジェクタおよびカメラを用いる「Ｉ／Ｏバルブ」を参照のこと。チルトセンサを自動キーストン（台形歪）補正に用いることができる。Raskar著「A Self Correcting Projector」（IEEE Computer Vision and Pattern Recognition, 2001）を参照のこと。

さらに、ネットワーク機能を有するプロジェクタを提供し、プロジェクタが幾何学的形状を認識し自己構成可能にして、プロジェクタが互いに通信し表示面の物理的形状および環境に存在する物体に反応できるようにすることが望ましい。

本発明は、幾何学的形状を認識するプロジェクタ、ならびにこれらの幾何学的形状を認識するプロジェクタのうちの１つまたは複数からなる自己構成可能なディスプレイシステムを支援する新規の技法を提供する。

本発明はまた、他のプロジェクタが存在するときに異なるタイプの表面および物体上に画像を表示するための較正およびレンダリング技法を提供する。

これらの技法は、従来のプロジェクタベースの環境に適用して、新たなタイプの応用およびインタフェースを可能にすることができる。

したがって、本発明の目的は、形状適応性プロジェクタシステムを提供することである。形状適応性の、すなわち幾何学的形状を認識するプロジェクタは、局所歪を最小にして平面または非平面上に画像を表示する。本システムは、対応する等角投影問題、ならびに水平方向および垂直方向の制約の変化に対処する。

また本発明の目的は、いかなる環境センサも使用することなく、内蔵型プロジェクタによって投影される複数の画像から単一のシームレスな画像のような外観をレンダリングすることができる自己構成型のアドホックプロジェクタクラスタを提供することである。

本発明の目的は、シーンのマスタおよびユークリッド情報を用いて複数の画像をグローバルアライメントする方法を提供することである。これは、投影された四辺形の画像の結合すなわち任意形状のポリゴンに内接する最大の矩形画像を求める方法を含む。

本発明の目的は、湾曲した表示面、具体的には二次曲面上に画像を表示するプロジェクタシステムを提供することである。したがって、単純化されたパラメータ化伝達方法が提供される。湾曲面に対処するために、本発明はまた、対をなす関係において湾曲面上の投影画像の歪による小さな誤差が存在するときに画像をグローバルにアライメントし位置合わせする方法を提供する。

幾何学的形状を認識するプロジェクタ
図１は、本発明による、幾何学的形状を認識するプロジェクタ１００を示す。プロジェクタ１００は、正面投影モードと背面投影モードの両方で、また単独でまたは他の同様のプロジェクタと協働して組み合わせて用いることができることに留意すべきである。

本発明のプロジェクタ１００は、バス１４０により接続された、全体として処理ユニットをなすマイクロプロセッサ１１０、メモリ１２０、およびＩ／Ｏインタフェース１３０を含む。処理ユニットの電気的構造は従来と同様であるが、本明細書中に記載される方法ステップを実行する際の動作は従来と異なる。

プロジェクタはまた、出力画像を表示するプロジェクタサブシステム１５０と、入力画像を取得するカメラサブシステム１６０とを含む。

ネットワークサブシステム１７０により、プロジェクタは、他の同様のデバイス、または他のローカルあるいはリモートのコンピューティングデバイスと通信することができる。したがって、ネットワークシステムは、通信媒体に応じてアンテナまたは赤外線送受信機１８０に接続されることができる。

ユーザインタフェース１９０は、入力および出力データを供給して、プロジェクタの操作を容易にすることができる。内部センサ１９５（例えばチルトセンサまたは加速度計）は、プロジェクタの向きを判定することができる。センサは内部専用であり、プロジェクタ外部の環境は検知しないことに留意すべきである。

プロジェクタの動作
プロジェクタ１００は、カメラサブシステム１６０用のスマートキーストン補正、向きにより補償された画像強度、自動輝度、ズームおよびフォーカス、幾何学的形状およびテクスチャを取り込む３Ｄ走査、およびスマートフラッシュを含むいくつかの機能を行うことができる。この最後の機能に関して、プロジェクタ機能はカメラ機能の補助である。ここではプロジェクタは、カメラによって観察されるシーンの特定のエリアを照明するに過ぎない。

いくつかのさらなる適応的な機能をさらに詳細に後述する。

本発明では、プロジェクタ外部のいずれのユークリッド情報（例えば、室内のアクティブビーコン、表示スクリーン上の境界または人力）にも頼ることを望まないため、完全な自己較正型プロジェクタ−カメラ立体対を用いて「プラグアンドディスプレイ」機能を補助する。

プロジェクタ１００は、シーン中の他のデバイスおよび物体と通信して必要な幾何学的関係を「学習」することができる。プロジェクタが動作している間に、これらの関係を動的に学習する能力は、事前に構成された幾何学的セットアップ、複雑な較正、通信およびユーザによる補助を必要とする従来技術のプロジェクタと大きく異なる点である。

単純な平面ホモグラフィ（planar homography）を用いて完全な較正を回避する従来技術のプロジェクタシステムは、表示面に関するいくらかのユークリッド情報（例えばスクリーンの縁またはマーカー）を必要とするか、あるいはプロジェクタが「理想的な」場所にある、すなわち投影中心（ＣｏＰ）が平坦な表示面に略垂直であると仮定する。

自己構成可能なアドホックプロジェクタクラスタ
図２Ａおよび図２Ｂに示すように、プロジェクタ１００は単独で、またはワイヤレスイーサネット（登録商標）、ＲＦ、または赤外線等のネットワーク２１０を介して互いに通信する、自己構成可能なアドホックネットワーク化されたプロジェクタのクラスタ２００で用いることができる。クラスタ２００として構成された場合、プロジェクタ１００は、図２Ｂにおいて点描で示す単一のシームレスな合成画像２０１の知覚を表示する。合成画像２０１は実際には、表示面２３０または他の物理的物体上の複数の投影画像２２０で構成される。なお、表面２３０は二次曲面とすることができる。この例では、逆さまのキーストンから認められるように、２台のプロジェクタが下から、１台が上から投影している。

後述するように、プロジェクタの配置は無造作であってよい、すなわち画像の境界がアライメントされている必要はない。必要なのは、投影画像の結合が表示面上でｎ辺のポリゴンを形成し、知覚される単一の合成出力画像が形成されるということだけである。

形状適応性プロジェクタ
プロジェクタ１００を無造作に、おそらくはモバイルセットアップで用いる場合、平坦な表示面がいつも利用できるとは限らない。実際には、部屋の角、柱、またはドーム形の天井に画像を表示することが望ましい場合がある。したがって、出力画像を補正して歪を最小化することが必要になる。複数のプロジェクタを用いる場合はさらに、おそらくは照明強度が適合しないプロジェクタによって生成される複数の出力画像をシームレスに合成することが問題となる。なおこれは、「理想的な」場所に配置された、すなわち投影中心（ＣｏＰ）が平坦な表示面に略垂直である単一のプロジェクタに対して出力画像が事前にワーピングされる従来技術の問題とは異なる。

本発明では、表面の形状に一致した単一の出力画像のような外観を生成したい。３次元のキューは、例えば湾曲した壁面のポスターを片側から見る場合、あるいは円筒形の物体のラベルを読む場合、あるいは湾曲した建物の壁画を見る場合に不可欠な人間の視覚の一部である。したがって本発明は、通常の視覚体験と一致する出力画像を投影する。

等角投影
本発明の方法は、表示面の照明された領域全体に歪を最小にした画像を表示する。例えば、映画のスクリーンのような平面において、解は、観客が映画を正面から平行に（in a front-to-parallel fashion）見ているかのように画像を投影することである。プロジェクタが傾いている場合、キーストン補正を適用する。

湾曲面、すなわち全体として平坦でない表面の場合、表示面上に単数または複数の画像の「壁紙を貼り付け」、表示面上の各ポイントが法線に沿って見た場合に局所的に歪んでいないようにしたい。

法線は変化する可能性があるため、出力画像の面積と表示面上の対応する面積との比が一定である等角画像を求める。

伸張のない解（zero-stretch solution）は、面が展開可能である場合にのみ可能である。可展面の例は、角で交わる２つの平坦な壁、または直円柱のセグメント（segment）、すなわち平面に対して垂直に押し出された（extruded）平面曲線である。角で交わる２つの平坦な壁と天井、または部分的な球面といった他の場合には、伸張を最小化する（minimum stretch）問題を最小二乗法で（in the least squares sense）解く。

本発明の方法を用いた場合、入力画像におけるテクスチャのスクロールは、画像領域のサイズや形状に変化のない、照明された表面上の滑らかなスクロールのように見える。Levy等著「Least Squares Conformal Maps for Automatic Texture Atlas Generation」（SIGGRAPH 2002 Proceeding, 2002）により記載される最小二乗等角写像（ＬＳＣＭ）を適用することによって表示面の３Ｄ形状の写像を求める。Levyは、平坦な画像をレンダリングしている間に三角形をテクスチャマッピングすることを主題としているが、本発明では、可展面上に画像を投影する必要がある。

ＬＳＣＭは、３Ｄ表面とその２Ｄのパラメータ化空間上の対応領域間の角歪および不均一なスケーリングを最小化する。可展面の場合、解は完全に等角である。３Ｄメッシュ上の所与のポイントＸについて、２Ｄテクスチャ座標（ｕ，ｖ）が複素数（ｕ＋ｉｖ）によって表現され、表示面が局所的な正規直交基底（ｘ＋ｉｙ）の座標を用いる場合、等角写像の目的は、Ｘを通るｉｓｏ−ｕおよびｉｓｏ−ｖ曲線の接線ベクトルが確実に直交する、すなわち次式で表されるようにすることである。

Levy等は、三角形毎に問題を解き、（ｕ，ｖ）のパラメータ化を用いてディスクと同相の任意の表面を写像することによって歪を最小化する。

平面伝達方法
図３は本発明の等角投影法３００のステップを示す。

プロジェクタサブシステム１５０によって構造化パターン（例えば均一なチェッカー盤または正方形の格子）を表示面上に投影すること３１０で開始する。カメラサブシステム１６０によって、構造化パターンの入力画像を取得する３１５。

入力画像のパターンの形状から、３ＤポリゴンメッシュＤ^ｐ（例えば三角形で構成されたメッシュ）を生成する３２０。メッシュは、プロジェクタの座標枠に生成される。可展面または曲面の場合、メッシュは、表示面の形状を反映するために歪む。

内部センサ１９５を用いて表示面の座標枠Ｄにおけるプロジェクタの向きを検知し３３０、メッシュＤ^ｐを回転させて３３５、表示面の座標枠Ｄと軸合わせする。

次に、ＬＳＣＭを用いてテクスチャ座標Ｕを求め３４０、よってユークリッド平面の座標枠Ｄの２次元埋め込みＤ^Πを見つける。

表示面上に最大の領域を投影する場合、表示面の座標枠Ｄにおいて可能な限り大きく可能な限り「上向き」である埋め込みＤ^Πの表示可能領域（例えば矩形）の位置を見つけ３４５、それに従って表示面に合わせてテクスチャ座標を更新する３５０。

次にテクスチャ座標Ｕを用いて、出力画像をメッシュＤ^ｐ上に上にテクスチャマッピングし３５５、プロジェクタの視点から表示面上にメッシュをレンダリングする３６０。テクスチャリングされた三角形のレンダリングは従来のハードウェアまたはソフトウェアベースの技法を用いて行うことができる。

ステップ３４５において、（ｕ，ｖ）平面における出力画像の向きＲ^ｔｅｘを見つけようと試みる。表示面が垂直な直円柱（vertical right cylinder）の一部、すなわち水平面における垂直方向の曲線の押し出し（垂直な壁が交わる角または支柱等）であると仮定すると、本発明の目的は、表示面上に投影したときの出力画像の垂直軸を表示面の垂直軸とアライメントすることである。

さらに本発明では、表示面の座標枠におけるプロジェクタの向きを用いる。これが内部センサ１９５を用いる理由である。表面が垂直な直円柱でなく、例えばドームである場合、本発明の解は、出力画像を最小二乗法でアライメントする。

向き決め（orientation）方法
図４に示すように、２Ｄの向きＲ^ｔｅｘを判定するステップは以下の通りである。

３Ｄにおけるメッシュの、頂点ｐ_１、ｐ_２、ｐ_３を有する三角形ｔ_ｊ毎に、局所アフィン（２Ｄ）ｘ−ｙ座標系をまず求める４１０。
Ｘ＝ｐ_１＋ｘ（ｐ_２−ｐ_１）＋ｙ（ｐ_３−ｐ_１）

三角形ｔ_ｊ上への表示面の垂直軸の投影に対応するベクトルを、
［０ １ ０］^Ｔ＝ｘ_ｊ（ｐ_２−ｐ_１）＋ｙ_ｊ（ｐ_３−ｐ_１）
を最小二乗法で解くことによって見つける。

本発明では、テクスチャ空間において全ての［ｘ_ｊ，ｙ_ｊ］を［０，１］にアライメントしたい。これには２Ｄの回転および平行移動が伴う。したがって、ベクトル［ｘ_ｊ，ｙ_ｊ］を正規化した後、次のように共分散行列を求める４２０。

行列Ｍ＝ＵＳＶ^Ｔに特異値分解を適用し、所望の２Ｄ回転をＲ^ｔ＝ＵＶ^Ｔとして得る４３０。

最後に、Ｕ_{ｖｅｒｔｉｃａｌ}＝Ｒ^ｔｅｘＵＴを用いて全てのテクスチャ座標を回転させる４４０。

垂直面の照明
時には、他の方向に歪を生じても一方向において画像特徴の形状を維持することが望ましい。例えば、略垂直であるが展開できない面（球面セグメント等）上に投影されるバナーテキストは、同じ高さのテキスト文字が、水平方向に歪んだとしても全て見えなければならない。

したがって、ＬＳＣＭ技法を修正して、この新たな制約を考慮する。センサ１９５による読取値のために回転には垂直の概念が符号化されているため、最小二乗等角写像のコスト関数を変更することができる。４つの偏微分係数に対するさらなる制約を次の形式で表す。
ｗｅｉｇｈｔ^＊∂ｖ／∂ｙ−ｃｏｎｓｔ

通常、そのような制約を１つだけ用いる。例えば、上記の制約は、垂直方向に沿った伸張を最小に抑える、すなわち、式は、全ての三角形にわたる∂ｖ／∂ｙの偏差にペナルティを与えて最小化する。なお、この場合、三角形の局所的な正規直交ｘ，ｙ基底は、ｘ軸が水平に沿って表示面上のあらゆる場所を指すように選択される。

上記の等角投影法は、角で交わる２つまたは３つの平面部分、「Ｗ」字型表面、および凹形ドーム等の非可展面を有するディスプレイを含むいくつかの表示面に用いることができる。

プロジェクタのクラスタ
図５に示すように、本発明の、幾何学的形状を認識するプロジェクタ１００のクラスタ２００を用いて、平坦なおよび湾曲した表示面５０１上にレンダリングすることができる。

プロジェクタ２００のアドホッククラスタにはいくつかの利点がある。クラスタは、中央管理なしで動作するため、個々のプロジェクタがクラスタに動的に出入することができる。クラスタは、外部環境センサを必要とせず、内部センサのいずれか１つの範囲を越える画像を表示する。

クラスタ２００の基本動作を平坦な表示面の状況で説明する。二次曲面等のより高次の表示面の場合、本発明は新規の二次伝達方法を提供する。

アドホッククラスタを用いた平面ディスプレイ
アドホッククラスタ２００を用いたシームレスなマルチプロジェクタ重複ディスプレイは多くの利点を提供する。クラスタは、非常に高いアスペクト比（図２Ａおよび図２Ｂを参照）ならびにプロジェクタと表示面の間の短い距離を可能にする。本発明では、異機種プロジェクタおよびより高次の表面を用いることもできる。異機種プロジェクタとは、表示特性（例えば光強度、アスペクト比、およびピクセル解像度）の異なるプロジェクタを意味する。クラスタは、より高いピクセル解像度およびより高輝度なディスプレイを可能にする。さらに、複数のクラスタを用いることもできる。

カメラベースの位置合わせにより無造作にアライメントされたプロジェクタを利用する従来技術のシステムは、表示面により生じる異なるプロジェクタの視点のホモグラフィを用いる。ホモグラフィの関係ならびにいくつかのユークリッド基準枠を用いて画像を事前にワーピングし、表示される画像がディスプレイ上で幾何学的に位置合わせされて歪まないようにする。

しかし、高いアスペクト比で画像を投影することは問題であった。本発明ではこの問題を、１台のプロジェクタのプロジェクタサブシステムと、隣接プロジェクタのカメラサブシステムとの間の対をなすホモグラフィに頼る新規のグローバルアライメント方法を用いることによって克服する。

本発明では、近い位置にあって同様のピクセル解像度比で投影された画像を見る複数の分散カメラにより、対をなすホモグラフィを計算することができる。対をなすホモグラフィを用いて、一次連立方程式を解くことによって、クラスタのグローバルに一致するホモグラフィセットを計算する。これにより、ピクセルの位置合わせが向上する。

グローバルアライメント動作は、大きな事前の計画またはプログラミングを必要とせずに行われる。これは、全てのプロジェクタが個別に動作するとともに独自の観察および計算を対称的に行うために可能である。スクリーンの角またはマスタカメラのアライメント等のユークリッド情報は不要である。内部センサおよびカメラにより、各プロジェクタは幾何学的形状を認識することができ、プロジェクタはクラスタに動的に出入することができる。これに対して、従来技術のマルチプロジェクタディスプレイシステムはセットアップおよび管理が難しい。

クラスタの形成
図６は、プロジェクタのクラスタ２００を形成する方法６００を示す。本方法は、「較正」メッセージの受信６１０に応答する。較正メッセージは、クラスタ２００に入りたいプロジェクタＵ_ｋによってブロードキャストされることができる。別法として、較正メッセージは、既にクラスタ内にある任意のプロジェクタによって、その向きが変わったときにセンサ１９５に従ってブロードキャストされることができる。さらにメッセージは、環境内の他の何らかの発信源によって、例えば表示面の形状または向きが変わったことを示すためにブロードキャストされることができる。当然ながらメッセージは、ユーザがプロジェクタを無造作に配置した後で、最初のインスタンシエーションにおいてクラスタを形成する必要があるときにブロードキャストされることもできる。メッセージは、近くにあるｍ台のプロジェクタ全てにおけるワイヤレスイーサネット（登録商標）、ＲＦ、または赤外線等の近接（proximity）ネットワーク２１０を介して受信される。

これによりｍ台のプロジェクタＵ_ｉ（ｉ＝１，．．．，ｍ）全てのカメラが注意モードに入り、受信側のプロジェクタは全て、「準備完了」メッセージをブロードキャストすることによって応答する６２０。

この時点で、プロジェクタは、クラスタ２００のプロジェクタに内蔵されたｍ台のカメラＣ_ｉ（ｉ＝１，．．．，ｍ）のうちの１つまたは複数に見える構造化パターンを順次投影する６３０。任意数の通信プロトコル技法を用いて、構造化パターンの順次投影を同期させることができる。

既存のクラスタのいずれか１台のカメラが投影されたパターンを取得すると６４０、クラスタ全体がグローバルアライメントを行って６５０、プロジェクタＵ_ｋまたは任意の他のプロジェクタを含める。アライメントは、後述のように、クラスタ内のプロジェクタ間の対をなす幾何学的関係を求めることを含む。

特定のカメラがパターンを取得できない場合、１台のプロジェクタが近くにあるが、その投影パターンは、クラスタによって表示される画像の範囲と重複しないとみなされる。しかし、本方法は、全てのプロジェクタに全てのパターンが見えることを必要としない。一般性を失うことなく、クラスタは現在ｎ台のプロジェクタを含むものとみなされる。

対をなす幾何学的なアフィン関係
図７に示すように、重複する画像の画像位置合わせを行う。画像間の関係はホモグラフィとして表される。３Ｄでの不透明な平面の２つの任意の透視ビュー間の写像は、あるスケールまで定義された３×３行列として表される平面投影伝達を用いて表すことができる。

２つのビューにおける４個以上の対応性から８自由度を計算することができる。さらに、線形関係により、ホモグラフィ行列をカスケードにして画像伝達を伝播させることができる。

ネットワーク２１０を用いて、プロジェクタＰ_ｋはクラスタ内の各プロジェクタＰ_ｉに、構造化パターン（例えば均一なチェッカー盤）を１度に１台ずつ投影するように指示する。

投影画像は、クラスタ内の各プロジェクタ内のカメラ１６０によって同時に取得される。これによりプロジェクタは、プロジェクタＰ_ｉからの構造化パターンをカメラＣ_ｊの入力画像に伝達するために、対をなすホモグラフィＨ_ｐｉｃｊを求めることができる。信頼度の値Ｖも求める７４０。

各プロジェクタの対をなすホモグラフィＨ_{ｐｉ，ｐｊ}ならびに信頼度の値をＨ_ｐｉｃｉＨ^１ _ｐｊｃｉとして間接的に計算する。簡単にするために、これをＨ_ｉｊと書く。信頼度の値Ｖは表示面上で構造化パターンが重複する割合と関係している。信頼度の値はグローバルアライメント中に用いられる。

本発明では均一なチェッカー盤パターンを用いるため、信頼度の値のよい近似は、（カメラＣ_ｉによって取得されるプロジェクタＰ_ｊの構造化パターンの特徴の数）対（プロジェクタＰ_ｊのパターンにおける特徴の総数）の比ｒ_ｉｊである。信頼度ｈ_ｉｊ＝ｒ^４ _ｉｊは良好な評価尺度であることが分かる。カメラＣ_ｉにプロジェクタＰ_ｊが表示するパターンが見えなかった場合、この値は自動的にゼロとなる。

グローバルアライメント
本発明では、環境センサを用いずに、表示面と全てのプロジェクタの間の相対的な３Ｄポーズを計算して、シームレスな単一の表示画像を可能にする。既知のポーズがない場合、計算される解が正しいのはホモグラフィによる変換までであり、表示面上では歪んで見える。さらに、表面が垂直面である場合、本発明の手法は、投影画像を自動的に水平軸および垂直軸とアライメントする。

しかし、グローバルアライメント７５０の３Ｄポーズを計算するために、本発明では、プロジェクタの立体較正およびチルトセンサパラメータといった信頼度の低い情報を避け、上記で求めたホモグラフィ等、比較的頑強な画像空間における計算を利用する。

したがって本発明では、グローバルに一致するホモグラフィをまず計算する。サイクルΠ^ｋ−１ _ｉ＝０Ｈ_{（ｉ＋１％ｋ）（ｉ）}に沿ってカスケードにされたホモグラフィ変換のセットはアイデンティティに等しくなる（equal identity）べきである。ここで、「％」の記号はモジュロ演算子を示す。これは、特徴の場所が定かでないため、めったにない。したがって、目的は、小さな誤差があっても意味のあるモザイクを生成することである。

単純な解は、表示領域を見る１台のカメラを用いて、その空間で計算を行うことになる。１台のカメラではディスプレイ全体を見ることができない場合、最小スパニングツリーに基づく手法を用いることができる。その場合、プロジェクタは、重複するプロジェクタにグラフのエッジで接続されたノードであり、最小のホモグラフィセットのみが残る。ディスプレイの中央付近のプロジェクタをツリーのルートノードとして用いることによって、この手法は、カスケードにされたホモグラフィの数を減らし、よって累積誤差を低減するために役立つ。

その代わりに、本方法７００は、全ての入手可能なホモグラフィからの情報を用いることによって、グローバルに一致する位置合わせを見つける。ホモグラフィをカスケードにすることによる累積誤差は、別個に計算された対をなすホモグラフィ行列から導出された一次連立方程式を解くことによって、選択された基準枠または平面に関して同時に低減される。本発明の方法は、Davis著「Mosaics of scenes with moving objects」（IEEE Computer Vision and Pattern Recognition (CVPR), pp. 354-360, 1998）により記載される方法から適応されたものである。

本発明ではその方法を修正して、測定された対をなすプロジェクタホモグラフィＨ_ｉｊの信頼度ｈ_ｉｊを考慮する。グローバルホモグラフィＧ_ｉは、プロジェクタＰ_ｉにおけるからの出力画像Ｉ_ｉをグローバルな基準枠に伝達する。これは、ホモグラフィＨ_ｉｊを用いた画像Ｉ_ｉから画像Ｉ_ｊへの伝達と、それに続くグローバルホモグラフィＧ_ｊを用いたグローバルフレームへの伝達として、次のように表すこともできる。

したがって、各ホモグラフィＨ_ｉｊが既知である場合、スパース連立一次方程式を作り、未知のグローバル伝達を計算する。

各ホモグラフィはあるスケールファクタまで定義されるため、正規化して、｜Ｇ_ｊＨ_ｉｊ−Ｇ_ｉ｜を直接最小化できるようにすることが重要である。正規化されたホモグラフィ行列式は１、すなわちＨ（＾）＝Ｈ｜（ｄｅｔ｜Ｈ｜）^１／３である。簡単にするために「ハット」は省略する。さらに、上記でｈ_ｉｊとして計算したホモグラフィＨ_ｉｊの信頼度によって、個々の一次方程式をスケーリングする。したがって、各ｉ、ｊの数式セットは次のように表される。（なお、Ｈ（＾）は、Ｈの上にハットがあることを表す。）

個々の対をなすホモグラフィの数がプロジェクタプロジェクタの数よりも多い場合、一次連立方程式は過制約となり、これを最小二乗法で解く。これにより、計算された対をなす投影のセットからの偏差が最小であるグローバルな位置合わせ行列のセットが生じる。

対をなすホモグラフィを交換した後、各プロジェクタは、各自の画像を基準面として処理することによって、グローバルアライメント７５０を別々に並行して行う。この段階で、グローバルな画像伝達およびスクリーンにアライメントされた投影の解は、各プロジェクタＰ_ｉと表示面の間の未知のホモグラフィＨ_ｉ０まで分かる。

ユークリッド再構成
本発明では、環境からのユークリッド情報を用いずに、スクリーンに対するプロジェクタＰ_ｊの３Ｄポーズを計算することによってＨ_ｉ０を見つける。３Ｄでポーズを求めると雑音が多くなるが、本発明によるプロジェクタ間の画像伝達は以前、すなわちシームレスな単一の出力画像を保証するグローバル伝達に基づく場合と変わらない。本発明による、ホモグラフィＨ_ｉ０を求める手法は、Raskar等著「A Self Correcting Projector」（IEEE Computer Vision and Pattern Recognition (CVPR), 2001）により記載される方法に基づく。

図８に示すように、本発明による、再構成を行う方法８００は、各プロジェクタＰ_ｉにより並行して行われる。

ステップは以下の通りである。プロジェクタＰ_ｉおよびカメラＣ_ｉの画像空間の対応するポイントを三角形分割して、３ＤのポイントＸ＝｛ｘ_１，ｘ_２，．．．｝を生成する８１０。

最もよく適合する平面を見つけて、Ｘを局所座標間の回転Ｒ^πにより変換する８２０。ここで表示面はｚ＝０である。

チルトによる回転を適用し８３０、Ｘ_０＝Ｒ^ｔｉｌｔＲ^πＸとすると、Ｘ_０がアラインされる、すなわちｚ座標が０になる。表示面の垂直面のポイントは同じｘ座標を持ち、水平面のポイントは同じｙ座標を持つ。

プロジェクタＰ_ｉのポイントＸの像をＸ_０の対応するポイントに写像するホモグラフィＨ_ｉ０を、ｚ値を無視して求める８４０。

最後に、全ての他のプロジェクタについてホモグラフィＨ_ｊ０＝Ｈ_ｉ０Ｈ_ｊｉを求める８５０。ここでＨ_ｊｉは、プロジェクタＰ_ｉにより計算されるグローバルホモグラフィＧ_ｊである。

レンダリング
図９に示すように、あるプロジェクタについてレンダリングに適した投影行列を見つけることは、スクリーン上におけるプロジェクタの貢献領域をまず計算し、次にその完全な表示範囲をプロジェクタ画像に再投影することを伴う。

第１のステップにおいて、クラスタ内の１台のプロジェクタによって照明される四辺形の範囲を求める９１０。この範囲はスクリーンにアライメントされた（Ｘ_０）座標にある。したがって、正規化されたプロジェクタの画像平面の４つの角［±１ ±１］を、Ｈ_ｊ０［±１±１ １］^Ｔを用いて変換する。

スクリーンＸ_０空間の全ての投影された四辺形は結合して、凹形の平面ポリゴンＬとなる可能性がある。

次に後述のように、ポリゴンＬの内側に収まる最大の矩形画像Ｓを見つける９２０。

ｎ台のプロジェクタの各々が、Ｘ_０のユークリッド再構成の誤差に応じて、わずかに異なるＳ_ｉを計算する。Ｓのグローバルな一致には、Ｓ_ｉの４つの頂点の各々の重み付き平均をとる。重みは、頂点からのプロジェクタＰ_ｉの距離である。

第２のステップにおいて、Ｈ^−１ _ｊ０を用いてプロジェクタの画像空間において矩形Ｓの角の投影を見つける９３０。なお、矩形Ｓの再投影された角は大抵の場合、プロジェクタの物理的な画像寸法を越えて延びる。矩形Ｓは、表示可能な領域を表すため、表示される入力画像Ｔの範囲を示す。したがって、この範囲を超える出力画像のピクセルは照明されない。

したがって、出力画像とその投影Ｈ_Ｔｊの間のホモグラフィを見つけることができる９４０。

最後に、出力画像を正確なアスペクト比の単位矩形にテクスチャマッピングして、Ｈ_Ｔｊから導出した投影行列を用いてレンダリングする９５０。

画像が重複する場所では、グラフィックスハードウェアのアルファチャネルを用いて強度ブレンディングを行う。ブレンディングウェイトは、画像境界への距離に比例して割り当てられる。全てのステップは、全てのプロジェクタにおいて対称的に行われる。

ポリゴンに内接する最大の矩形画像
図１０は、おそらくは凹形のポリゴンＬ１００１内の所定のアスペクト比ａを有する最大の軸合わせされた矩形Ｓを見つける方法を示す。ポリゴンＬは、投影された四辺形の結合によって形成される。３つの未知数（２つが位置で１つが矩形Ｓのスケール）の解は、不等式を示すことによって得ることができる。数式は、凹形のポリゴンの場合ではわずかに異なる。

問題の単純な再パラメータ化を行う。

真横から見た状態で（edge on）示すポリゴンＬ１００１が奥行値ｚ＝１の第１の奥行平面１００２に描かれ、アスペクト比ａの矩形Ｒ１００６がｚ＝０の第２の奥行平面１００３に描かれる。ｚが［０，１］の範囲にあり、ｚ＝１平面において矩形Ｒを矩形Ｓに写像する投影中心１００４ Ｗ＝（ｘ，ｙ，ｚ）は、矩形Ｒが完全にポリゴンＬ内にある場合に有効とみなされる。奥行平面は奥行バッファに格納することができる。

奥行ｚが最小となる投影中心（ＣｏＰ）を見つける。これは、そのＣｏＰが最大の内接矩形Ｓを定めるからである。

Ｗの禁止ゾーン１００５（影付きで示す）を考える。ポリゴンＬ上のポイントにより矩形Ｒを底辺として作られるピラミッドのセットの内側のＣｏＰはいずれも無効である。

ポリゴンＬのエッジを矩形Ｒのエッジと接続するピラミッドを作成する。平面ｚ＝０およびｚ＝１を接続するピラミッドの面は全て三角形であるため、本発明の方法は、各三角形の３つの（triple）交点を計算し、ｚ値の最も小さい三角形を保持する。

図１０に示すように、２種類の三角形、すなわちポリゴンＬの頂点を矩形Ｒのエッジと接続する三角形、およびポリゴンＬのエッジを矩形Ｒの頂点と接続する三角形のみを考えればよい。

ｎ辺のポリゴンＬ１００１の場合、例えば図２Ｂではｎ＝１４であり、Ｏ（ｎ^４）の複雑度を有する８ｎ個の三角形ができる。これは明らかに、Ｏ（ｎ^２）の方法（P.K.等、P.K著「Largest placements and motion planning of a convex polygon」（2nd International Workshop on Algorithmic Foundation of Robotics, 1996）を参照）と比べると最適とは言えない。しかし、本発明の方法は、数行のコードにおいて比較的実施し易い。ｎはＯ（プロジェクタの数）であるため、本発明の方法のランタイムは依然として無視できる程度である。

例えば、プロジェクタを無造作に配置し、投影画像が生じるはずの大まかなエリアに向けた場合、対をなすホモグラフィを見つけるのに１台のプロジェクタにつき約５秒かかる。グローバルアライメント、内接矩形およびブレンディングウェイトの計算はさらに３秒かかる。６台の無造作に設置されたプロジェクタのクラスタの場合、動作クラスタを形成するのに約３０秒かかる。

アドホッククラスタを用いる湾曲ディスプレイ
このセクションでは、二次曲面（ドーム、円筒形スクリーン、楕円、または放物面等）の上に画像を自動的に位置合わせする方法を説明する。コンピュータビジョンにおいて、画像伝達に二次曲面を用いるいくつかの従来技術の方法が既知である。Shashua等著「The Quadric Reference Surface: Theory and Applications」（International Journal of Computer Vision (IJCV), 23(2), 185-198, 1997）を参照のこと。

マルチプロジェクタシステムでは、平面伝達すなわち平面ホモグラフィの関係に基づくシームレスなマルチプロジェクタ平面ディスプレイ（Chen等著「Automatic Alignment of High-Resolution Multi-Projector Displays Using An Un-Calibrated Camera」（IEEE Visualization, 2000）を参照）およびＰｉｘｅｌＦｌｅｘシステム（上記Yang等を参照）のためのいくつかの方法が記載されている。

しかし、それらの方法のなかには、より高次の表面のパラメータ化ワーピングおよび自動位置合わせのための技法はないようである。これは、プロジェクタベースのディスプレイでは二次曲面が多くの形状および形態で実際に現れるため、手抜かりであると思われる。大型のフライトシミュレータは従来から円筒体形状またはドーム形状であり、プラネタリウムおよびＯｍｎｉＭａｘシアターは半球形スクリーンを使用しており、多くのバーチャルリアリティシステムは円筒形のスクリーンを使用している。

従来技術において、アライメントは通常手動で行われる。手動プロセスは、「ナビゲータ」パターンの投影によって補助される場合もある。Jarvis著「Real Time 60Hz Distortion Correction on a Silicon Graphics IG」（Real Time Graphics 5, 7 pp. 6-7, February 1997）を参照のこと。湾曲した表示スクリーンを用いるマルチプロジェクタシステムのなかには、スクリーンセグメントが区分的に平面となるように処理するものもある。

本発明は、上述の平面方法に似た全自動方法を提供する。本発明のパラメトリック方法は、カメラ解像度に対する制約を少なくし、ピクセル局所化誤差に対する許容範囲を広げ、較正を高速化し、パラメータ化ワーピングプロセスを遥かに単純にする。

本発明は、二次伝達問題を再び公式化し、その解をシームレスな表示への応用に用いる。

二次伝達の単純化
３Ｄでの不透明な二次曲面Ｑの２つの任意の透視ビュー間の写像は、二次伝達を用いて表すことができる。平面伝達は４個以上のピクセルの対応性から計算することができるが、二次伝達Ｔは９個以上の対応性を必要とする。

３Ｄの同次ポイントＸが４×１ベクトルで表され、ポイントＸが、４×４対称行列として表される二次曲面Ｑにある場合、Ｘ^ＴＱＸ＝０であり、２つのビューの対応するピクセルｘおよびｘ’の同次座標は次式によって関係付けられる。

ピクセルの対応性（ｘ，ｘ’）が与えられると、この式は従来、未知数：３Ｄ二次曲面Ｑ＝［Ｑ_３３ｑ；ｑ^Ｔ１］、３×３ホモグラフィ行列Ｂ、および同次座標におけるエピポールｅを計算するために用いられてきた。この形態はShashua等により使用されており、より最近の研究は２１個の変数を含む。Wexler等著「Q-warping: Direct Computation of Quadratic Reference Surfaces」（IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), June, 1999）を参照のこと。これは、実際に必要であるよりも４個多い。

本発明の方法は単純な観察に基づく。次の定義を行うことによって曖昧さの一部を取り除き、

本発明において使用する形態を次のように得ることができる。

ここで、ｘ^ＴＥｘ＝０は、プライミングされていない（unprimed）（ｘ）ビューの二次曲面の輪郭円錐曲線を定め、Ａは、プライミングされた（primed）（ｘ’）ビューとプライミングされていない（ｘ）ビューの間の極平面を介してのホモグラフィである。

全体スケールから離れて、本発明の形態は、Ｅおよびｅの相対的なスケーリングに起因する曖昧な自由度を１つだけ含む。この曖昧さは、Ｅ（３，３）＝１等、さらなる正規化制約を導入することによって取り除くことができる。さらに、平方根の前にある符号は、画像中の輪郭円錐曲線内で固定である。

カメラの場合、二次伝達パラメータすなわちＡ、Ｅおよびｅをポイントの対応性から直接計算する従来技術の方法は、３Ｄにおいて二次曲面Ｑを推定することを伴う（Shashua等を参照）。カメラの別の線形的方法は、対応するピクセルの三角形分割を用いる（Cross等著「Quadric Surface Reconstruction from Dual- Space Geometry」（Proceedings of 6th International Conference on Computer Vision, pp. 25-31, 1998）を参照）。２つのビューの内部パラメータが既知でない場合、全ての計算は、基本行列を計算した後に投影空間において行われる。

しかし、カメラではなくプロジェクタが関与する場合、従来技術の線形的方法は、ＸＧＡプロジェクタの場合に２０または３０ピクセル程度の非常に大きな再投影誤差を生じることが認められる。１台のプロジェクタにより照明される二次曲面上のポイントにはほとんどの場合に顕著な奥行変動がないことを考えると、基本行列の計算は本質的に質が悪い。

したがって本発明は、既知の内部パラメータおよび推定ユークリッド剛体変換を用いる。それにより、平面の場合と異なり、この場合の正確な画像伝達の計算には、計算の初期において３次元量が関わる。

二次伝達方法
図１１に示す本発明の方法１１００は、カメラとプロジェクタの間の対応性をまず求める１１１０。次に、３Ｄにおいて三角形分割を行って二次伝達式を生成する１１２０。次に、二次伝達パラメータを求め、この二次伝達パラメータを用いて入力画像をワーピングする１１４０。

平面クラスタの場合と同様に、各プロジェクタＰ_ｋ（ｋ＝１，．．．，ｎ）は、構造化パターンを二次曲面上に１度に１台ずつ投影する。パターンは、カメラＣ_ｉ（ｉ＝１，．．．，ｎ）によって見られる。しかし、プロジェクタＰ_ｉとカメラＣ_ｋの間の剛体変換Γ^Ｃｋ _Ｐｉをまず見つけることなく二次伝達Ｔ_ＰｉＣｋを直接見つけることはできない。

図１２は、カメラＣ_ｋのステップを示す。Γ^Ｃｋ _Ｐｉは既知であるため、プロジェクタＰ_ｉおよびカメラＣ_ｉの対応するポイントを三角形分割し１２１０、表示面上の３ＤポイントＤ_ｉを得て、カメラＣ_ｉの座標系のポイントを格納する。

プロジェクタＰ_ｉにより投影されるポイントＤ_ｉと、隣接プロジェクタのカメラＣ_ｋにより観察される対応するポイントとが与えられると、剛体変換Γ^Ｃｋ _Ｐｉ＝Γ^Ｃｋ _ＰｉΓ^Ｃｉ _Ｐｉを求める１２２０。

次に、３Ｄ二次伝達Ｑ_ｉをＣ_ｉの座標系のポイントＤ_ｉに当てはめる１２３０。

本発明の単純化した二次伝達の公式を用いて、Ｑ_ｉ、投影行列Ｍ_ｃｋおよびＭ_ｐｉ、およびピクセルの対応性から伝達パラメータＡ_ｉ、Ｅ_ｉ、およびｅ_ｉを求める１２４０。

最後に、伝達パラメータＡ_ｉ、Ｅ_ｉおよびｅ_ｉの非線形的精緻化（refinement）を行って１２５０、ピクセルの再投影誤差を最小化する。

なお、二次曲面上の既知の３Ｄポイントからカメラのポーズを見つけると、３Ｄポイントが通常は平面にごく近いため、誤りを生じやすい。本発明では、カメラの内部パラメータが既知であるため、ホモグラフィに基づいて外部パラメータの最初の推測をまず行い、次に反復手順を用いて推測を訂正する。Lu等著「Fast and globally convergent pose estimation from video images」（IEEE Transactions on Pattern Analysis and Machine Intelligence 22, 6, pp. 610-622, 2000）を参照のこと。

レンダリング
レンダリングのために、二次伝達を、極平面を介してのホモグラフィ、すなわちＥおよびｅによって定義されるピクセル毎のシフトをＡに加えたものとして処理する。平面ディスプレイ用のクラスタと同様に、本発明では、シーン中のいかなる外部環境センサまたはユークリッドマーカの助けも借りることなく、このホモグラフィをプロジェクタＵ_ｋにおける内部センサの読取値とともに利用して、出力画像を表示面の水平軸および垂直軸とアライメントする。

出力画像と、カメラＣ_ｋによって取得される入力画像との関係、ならびにカメラＣ_ｋと全てのプロジェクタＰ_ｉ（Ｉ＝１，．．．，ｎ）の間の二次伝達が与えられると、各プロジェクタは、出力画像を各自の画像空間にワーピングする。なお、二次伝達を用いての画像のワーピングは、従来技術において既知である、二次曲面をレンダリングする従来技術とは異なる。Watson等著「A fast algorithm for rendering quadratic curves on raster displays」（Proc. 27th Annual SE ACM Conference, 1989）を参照のこと。

本発明は、単純な頂点シェーダ手順またはグラフィックスハードウェアを用いてレンダリングを行う。プロジェクタ毎に、テクスチャとしての出力画像を矩形の密なモザイク状の（densely tessellated）三角形メッシュ上に写像し、二次伝達を用いてメッシュの各頂点の投影を計算する。

本発明のシステムおよび方法は、高価なインフラを使用しないシングルまたはマルチプロジェクタによるシームレスな表示に理想的である。本発明により可能となる新たな応用としては、低コストで柔軟性のあるドーム形ディスプレイ、ショッピングアーケード、および円筒形の柱または支柱上のディスプレイがある。本発明の手法は、平面ディスプレイから任意の自由形状のディスプレイまでの間の中間ステップとして扱うこともできる。

本発明を、好ましい実施形態の例として記載してきたが、本発明の精神および範囲内で様々な他の適応形態および修正形態を行うことができることが理解される。したがって、併記の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変更形態および修正形態をすべて網羅することである。

本発明による幾何学的形状を認識するプロジェクタのブロック図である。 本発明による自己構成可能なアドホックプロジェクタクラスタのブロック図である。 図２Ａのクラスタによって表示される合成画像のブロック図である。 図１のプロジェクタを用いて画像を適応的にレンダリングする方法のフロー図である。 投影する出力画像の向きを判定する方法のフロー図である。 プロジェクタのクラスタによって増強された円筒形の物体のブロック図である。 図２Ａおよび図２Ｂのクラスタを形成する方法のフロー図である。 図２Ａおよび図２Ｂのクラスタによって投影される画像をグローバルアライメントする方法のフロー図である。 図１のプロジェクタにおけるユークリッド再構成を求める方法のフロー図である。 図１のプロジェクタを用いたレンダリング方法のフロー図である。 照明された任意形状のポリゴンに内接する最大の矩形画像を見つけるブロック図である。 図１のプロジェクタの二次伝達を求める方法のフロー図である。 図１のプロジェクタの剛体変換を求める方法のフロー図である。

Claims (16)

1. プロジェクタのセットからクラスタを形成する方法であって、前記セット中の各プロジェクタは、カメラサブシステムに対して固定された物理的関係にあるプロジェクタサブシステムと、メッセージを送受信する通信サブシステムとを含み、
   各プロジェクタにおいて前記通信サブシステムを用いて較正メッセージを受信すること、
   前記較正メッセージに応答して各プロジェクタから前記通信サブシステムを用いて準備完了メッセージをブロードキャストすること、
   各プロジェクタにおいて前記プロジェクタサブシステムを用いて構造化パターンを表示面上に順次投影すること、
   各プロジェクタにおいて前記カメラサブシステムを用いて前記構造化パターンの入力画像を順次取得すること、
   及び
   前記入力画像に従って前記プロジェクタを互いに、かつ前記表示面とグローバルアライメントすること
   を含むプロジェクタのセットからクラスタを形成する方法。
2. 前記構造化光パターン及び前記入力画像の結合がポリゴンを形成するように前記プロジェクタを配置することをさらに含む
   請求項１記載の方法。
3. 特定の構造化パターンの場合に前記プロジェクタのサブセットが前記画像を取得する
   請求項１記載の方法。
4. 前記アライメントすることは、前記プロジェクタのセットにおいて同時に行われる
   請求項１記載の方法。
5. 前記構造化パターンはチェッカー盤パターンである
   請求項１記載の方法。
6. 前記ポリゴン内の最大矩形を見つけること、
   及び
   前記グローバルアライメントにより前記最大矩形内で複数の出力画像から単一の知覚される表示画像を合成することをさらに含む
   請求項１記載の方法。
7. 前記プロジェクタのセットは異機種である
   請求項１記載の方法。
8. 前記プロジェクタは異なる表示特性を有する
   請求項７記載の方法。
9. 前記異なる表示特性は、強度、アスペクト比、及びピクセル解像度を含む
   請求項８記載の方法。
10. 前記表示面は二次である
    請求項１記載の方法。
11. 各ホモグラフィが１つのプロジェクタからの前記構造化パターンを別のプロジェクタの前記入力画像に伝達する、複数のホモグラフィを求めることをさらに含む
    請求項１記載の方法。
12. 各ホモグラフィに信頼度の値を割り当てることをさらに含む
    請求項１１記載の方法。
13. 前記信頼度の値は、前記表示面上における前記１つのプロジェクタの前記構造化画像と前記別のプロジェクタの前記入力画像との間の重複率に関係する
    請求項１２記載の方法。
14. 前記信頼度の値は、前記１つのプロジェクタの前記パターン中の特徴の総数に対する、前記別のプロジェクタの前記入力画像中に取得された前記１つのプロジェクタの前記構造化パターンの特徴の数の比である
    請求項１３記載の方法。
15. 前記単一の知覚される表示画像を前記表示面の水平軸及び垂直軸とアライメントすることをさらに含む
    請求項６記載の方法。
16. 前記１つのプロジェクタからの出力画像をグローバル基準枠に伝達するグローバルホモグラフィを求めることをさらに含む
    請求項１２記載の方法。

Images