JP2010092050A - 画像処理方法 - Google Patents

Abstract

【課題】望ましい画像を作成するために必要な映写は何かを判定する方法を提供しそれを
適用したプロジェクターカメラシステムの較正を簡素化すること。
【解決手段】重なる投影領域を有する2台のデジタル・プロジェクターを用いて３Ｄ画像
が作成される。2台のデジタル・プロジェクター双方とも偏光された光を放射し、互いに
異なる角度に配置され、各々のデジタル・プロジェクターから投影される個々の画像は偏
光眼鏡に使用により識別できる。個別的な光輸送行列を用いて2台のデジタル・プロジェ
クターが互いに連係される。
【選択図】図２

Description

本発明はデジタル・プロジェクターを用いて３Ｄ画像（又は三次元画像。以下同様。）
コンテンツを作成する方法に関わり、特にプロジェクター−カメラ・システムを用いた３
Ｄ画像コンテンツの作成に関わる。本発明はさらにプロジェクター−カメラ・システムの
補正において光拡散および光ノイズを補正する方法に関する。

プロジェクターとカメラを組み合わせると、光を投射しかつ取り込むことのできるハイ
ブリッド装置およびシステムが生まれる。この新たに台頭してきた撮像装置およびシステ
ムは研究の世界においてプロジェクター‐カメラ・システムとして知られている。通常映
写表面の幾何学的形状など表示環境に関する属性を推定するためには1台以上のカメラで
取り込まれた画像が使用される。次にこれらのプロジェクター‐カメラ・システムのプロ
ジェクターが映像を適応させて、映写表面の形状不規則性を補正し、もたらされる影像を
向上させる。言い換えれば、カメラを使用することによりプロジェクターは投影画像にお
ける歪みを「見る」ことができ、それにより投影画像を調節して観察される歪みを低減す
ることができる（例えば、特許文献１参照。）

これを達成するために、観察される画像の歪みは投影環境の凹凸（すなわち表面上の凹
凸）によるもので、プロジェクターまたはカメラに内在する不整または互いの相対的配向
によるものではないことを保証すべく、カメラとプロジェクターは互いの撮像パラメータ
ーに対し較正される必要がある。
このように、プロジェクター‐カメラ・システムの製作者が解決しなければならない重
要な問題は各装置の内部撮像パラメーター（すなわち固有パラメーター）の判定およびシ
ステム内のすべてのプロジェクターおよびカメラ間の幾何学的関係（すなわち外的パラメ
ーター）の判定である。この問題は通常システム較正の問題と呼ばれる。

しかしシステムが実質的に較正された後でも、映写を調節して映像の歪みを補正するこ
とは簡単でない。映写歪みを識別し補正することは非常に演算集約的な作業であり得、そ
のため従来非専門分野への適用は相当限定されていた。

米国特許出願公開第２００７／０１７１３８１号明細書

プロジェクター‐カメラ・システムの較正をより良く理解するために、出願者はコンピ
ューター・ビジョンの分野で見られるマルチ・カメラ画像化システムを研究した。このよ
うなマルチ・カメラ画像化システムは画像撮影装置のみで構成され、画像投影装置は含ま
ないが、このようなマルチ・カメラ画像化システムの較正に関しコンピューター・ビジョ
ンの分野において一連の研究があり、複数の画像撮影装置ではあるもののこれらの方法か
ら複数装置の較正に関し何らかの識見が得られるのではないかと思われた。
コンピューター・ビジョンの世界で通常用いられる方法はZhengyou Zhang著の論文「適
応性を有するカメラ較正用の新規手法」（「A flexible new technique for camera cali
bration」）、IEEEパターン分析および人工知能紀要（Transactions on Pattern Analysi
s and Machine Intelligence）、22（11）:1330‐1334、2000年、に記載され、引用によ
り全体として本明細書に組み入れられる。この方法において、いくつかの既知の特徴点（
通常グリッドを形成）でマークされた平たい被写体をカメラに対しさまざまな角度のポー
ズに置き、平たい被写体の複数の画像がカメラにより取り込まれる。各特徴点の画像位置
が抽出され、各特徴点の相対位置は知られているので次に特徴点位置の集合を用いてカメ
ラを較正することができる。撮像システムに2台以上のカメラが存在する場合、存在する
カメラ間の幾何学的関係と併せて固有パラメーターはすべてのカメラに平たい被写体の各
ポーズ角度における画像を取り込ませることにより推定することができる。

プロジェクターとカメラは影像化の幾何学という点で非常に類似しているので、複数カ
メラの画像化システムにおけるカメラの較正に適した手法はプロジェクター‐カメラ・シ
ステムにおけるプロジェクターの較正に適すると仮定することが合理的と思われるかもし
れない。しかし、カメラの較正手法はすべて較正を必要とするカメラ（すなわち較正され
る撮像装置）が画像をいくつか取り込むことが必要であるため、プロジェクターは画像を
取り込むことができないのでカメラの較正手法はプロジェクターに容易に適用できないよ
うである。

従って従来のプロジェクター‐カメラ・システムでは、プロジェクターに加え少なくと
も2台のカメラが必要とされている。まず2台のカメラが通常複数カメラの撮像システム較
正手法を用いて較正され、ステレオ・カメラの対を確立する。より具体的に、これらのシ
ステムは「ブートストラップ的」手順を用いて2台のカメラを較正しステレオの対を形成
する。業界で知られるように、ステレオ・カメラの対は深度を推定する（すなわち擬似遠
近の光景を達成する）のに用い、ステレオ・カメラの対に見える特徴点の外見上の深度知
覚を確立することができる。較正されたステレオ・カメラの対は次にプロジェクターを較
正するために用いられる。基本的にこの外見上の深度知覚の確立を用い映写表面の、従っ
て映写表面に投影された映像の、表面深度凹凸を識別する。プロジェクターを次に較正し
、投影画像における表面深度凹凸を補正することができる。基本的に、外見上の深度知覚
を用いてプロジェクターを較正するためには、まずプロジェクターに特徴点を、凹凸表面
を有する可能性のある表示環境（すなわち映写表面）に投影させる。予め較正されたステ
レオ・カメラの対を用いて投射された点の遠近的深度位置を解像する。次に投射された点
の深度位置による判定に基づき映写表面における表面／深度凹凸について補正するように
プロジェクターを較正することができる。このブートストラップ的手法はプロジェクター
‐カメラ・システム向けの実証済みの較正方法であるが、予め較正され、好都合に配置さ
れた外付けのステレオ・カメラの対を必要とし、オペレーターの介入を多く必要とするた
め内蔵型のプロジェクター‐カメラ・システムには適用できない。

同様に関連するものとしてデュアル・フォトグラフィーと呼ばれる手法があり、Sen他
により論文「デュアル・フォトグラフィー」（「Dual Photography」）、ACM SIGGRRAPH
予稿、2005年、の中で提案されており、引用により本明細書に全体として組み入れられる
。デュアル・フォトグラフィーはヘルムホルツの相反定理を利用して実カメラで取り込ん
だ画像を用いプロジェクターから「見えた」（または事実上「取り込んだ」）画像をシミ
ュレートする擬似画像（すなわちデュアル画像）を合成する。つまり、擬似画像はプロジ
ェクターから「見た」取り込み画像をシミュレートし、従ってプロジェクターが画像を取
り込むことができたとした場合プロジェクターにより取り込まれた画像がどうなるかを表
す。この方法はプロジェクターを擬似カメラとして扱うことを可能にするので、プロジェ
クターの較正に関わる問題のいくつかを除去できるかもしれない。

ヘルムホルツの相反定理は、光の流れはその輸送特性を変えることなく有効に逆向きに
できるという概念に基づいている。ヘルムホルツの相反定理は計算の複雑さを低減するた
めに多くのコンピューター・グラフィックス用途に使用されている。コンピューター・グ
ラフィックス関連の文献でこの相反定理は入射（ωi）および出射（ωo）方向間の反射強
度転移の対称性を説明する方程式として通常fr（ωi→ωo） =fr（ωo→ωi）と要約され
、ここでfrはある表面の双方向反射率分布関数（BRDF）を表す。
このようにデュアル・フォトグラフィーは、理想的には映像および取り込み画像のデュ
アルな性質（すなわちデュアリティー関係）を利用して前者を後者からシミュレートする
。さらに詳細に後述するように、デュアル・フォトグラフィー（より正確にはヘルムホル
ツの相反定理）はカメラとプロジェクター間の光輸送特性を取り込む必要がある。より具
体的に、デュアル・フォトグラフィーは放射光線を取り込み光線に関連付ける光輸送特性
（すなわち光輸送係数）の判定を必要とする。

しかしデジタル・カメラおよびデジタル・プロジェクターを扱う場合、デュアル・フォ
トグラフィーは各プロジェクター・ピクセル（すなわちすべての放射光線）を1つ1つのカ
メラ・ピクセル（すなわち放射光線の一部を取り込むすべての光センサー）に関連づける
別個の光輸送係数を双方の装置の解像度において取り込む必要がある。デジタル・プロジ
ェクターおよびデジタル・カメラ双方とも各々何百万のピクセルを有し得るので、多数の
光輸送係数の獲得、格納、および操作はこの手法の実際的な使用を制限する可能性がある
。従ってデュアル・フォトグラフィーは理論的に非常に利点を提供するように見えるが、
実際上デュアル・フォトグラフィーは非常に大量のコンピューター・メモリー（アーカイ
ブ用のディスク型メモリーおよびアクティブ・ソリッドステート・メモリー双方）を必要
とし、広範囲コンピューター処理能力を要し、機器を設定してプロジェクター‐カメラ・
システムが使用されるすべての投影環境に対する大量の光線を放射し取り込むために多く
の時間とユーザー介入を必要とするという物理的かつ非実用的な要件により深刻に制限さ
れる。

デュアル・フォトグラフィーのより明確な理解は図１（ａ）および図１（ｂ）を参照し
て得られる。図１（ａ）において「根本構成」（すなわちデュアル変換以前の実際の物理
的な装置の構成）は、実デジタル・プロジェクター11、実映像13、および実デジタル・カ
メラ15を含む。実プロジェクター11から光が発射され、実カメラ15により取り込まれる。
映写された各投射光線（実プロジェクター11内の各プロジェクター・ピクセルeから）を
対応する各取り込み光線（実カメラ15内の各カメラ・センサー・ピクセルgにおいて取り
込まれた）に関連づける係数は光輸送係数と呼ばれる。光輸送係数を用いると、取り込ま
れた光線から映写された光線の特徴を判定することが可能となる。

本例において、実プロジェクター11は象徴的に点線枠として示され、s行およびr列の個
々のプロジェクター・ピクセルeからなるプロジェクター・ピクセル・アレー17を有する
デジタル・プロジェクターであることが好ましい。各プロジェクター・ピクセルeは別個
に放射された光線の源であり得る。プロジェクター・ピクセル・アレー17のサイズは実プ
ロジェクター11の解像度に依存する。例えばVGA解像度は640×480ピクセルのアレー（す
なわち307，200個のプロジェクター・ピクセルe）からなることができ、SVGA解像度は800
×600ピクセルのアレー（すなわち480，000個のプロジェクター・ピクセルe）を有し得、
XVG解像度は1024×768ピクセルのアレー（すなわち786，732個のプロジェクター・ピクセ
ルe）を有し得、SXVG解像度は1280×1024ピクセルのアレー（すなわち1，310，720個のプ
ロジェクター・ピクセルe）を有し得、以下同様でより高い解像度のプロジェクターはよ
り多数のプロジェクター・ピクセルeを必要とする。
同様に実カメラ15は象徴的に点線枠として示され、u行およびv列の個々のカメラ・ピク
セルgからなるカメラ・センサーのピクセル・アレー19を有するデジタル・カメラである
。各カメラ・ピクセルgは放射された光線の一部を受光する、すなわち取り込む、ことが
できる。カメラ・センサーのピクセル・アレー19のサイズもまた実カメラ15の解像度に依
存する。但し、実カメラ15は4メガピクセル（すなわち4，194，304の受容ピクセルg）以
上を有しているのが普通である。

カメラ・センサーのピクセル・アレー19内の各カメラ・ピクセルgは区別可能なプロジ
ェクター・ピクセルeから放射された光線の一部を取り込むことができ、別々のプロジェ
クター・ピクセルe各々は別個の光線を放射し得るので、別々のプロジェクター・ピクセ
ルe各々をすべてのカメラ・ピクセルgに関連付けるためには大量の光輸送係数が必要とな
る。言い換えれば、単一のプロジェクター・ピクセルeから放射された光線はカメラ・セ
ンサーのピクセル・アレー19全体を覆う可能性があり、従って各カメラ・ピクセルgは放
射された光線の異なった量を取り込む。従って、個々のカメラ・ピクセルgは個別に放射
された光線をどれだけ受光したかを示す異なった光輸送係数を有することになる。カメラ
・センサーのピクセル・アレー19が4，194，304個の個別のカメラ・ピクセルgを有する（
すなわち4メガピクセルの解像度を有する）場合、個別のプロジェクター・ピクセルeはカ
メラ・センサーのピクセル・アレー19に関連付けられるために各々4，194，304個の個別
光輸送係数の組を別々に必要とすることになる。従って、プロジェクター・ピクセル・ア
レー17全体をカメラ・センサーのピクセル・アレー19に関連付け、実プロジェクター11お
よび実カメラ15との間にデュアリティー関係を確立するためには別個に判定した何百万組
の光輸送係数（プロジェクター・ピクセルe毎に1組）が必要となる。

本例において別々のプロジェクター・ピクセルe各々は実カメラ15に関連付けられるた
めに4，194，304個の個別的に判定された光輸送係数の別個の組を必要とし、実プロジェ
クター11は何百万個の別々のプロジェクター・ピクセルeを有する可能性があるので、光
輸送係数の各組を別々の光輸送係数のアレーとみなし、これらの別々のアレーを集めて1
つの光輸送行列（T）にまとめることが有益である。光輸送係数の各アレーは光輸送行列T
内で別々の列を構成する。従って、Tにおける各列は別個のプロジェクター・ピクセルeに
対応する1組の光輸送係数を構成する。

本例において実プロジェクター11は個別の光プロジェクター・ピクセルeのアレーを有
するデジタル・プロジェクターで、実カメラ15は個別のカメラ・ピクセルgのアレーを有
するデジタル・カメラであるので、実プロジェクター11および実カメラ15の間のデュアリ
ティー関係を定義するのに光輸送行列Tが用いられる。以下の考察において行列要素T_geは
個別の実プロジェクター・ピクセルeを個別の実カメラ・ピクセルgの関連付ける個別の光
輸送係数（光輸送行列T内の）を特定する。

実カメラ15に取り込まれた実画像はカメラ・センサーのピクセル・アレー19内の各カメ
ラ・ピクセルgにより個別的に取り込まれたすべての光線からなる。従ってカメラ・セン
サーのピクセル・アレー19で判定された実取り込み画像を実画像取り込み行列、C、に編
成することが役に立つ。同様に、プロジェクター・ピクセル・アレー17内における個々の
プロジェクター・ピクセルeの活性化により構成される実映写画像を実画像映写行列、P、
に編成することが有用である。この記号を用い、実取り込み画像（実画像取り込み行列C
で定義された）はC=TPという関係に従い光輸送行列Tにより実映写画像（実画像映写行列P
）に関連付けることができる。

図１（ａ）のデュアリティー変換、すなわちデュアル構成、が図１（ｂ）に示される。
このデュアル構成において、図１（ａ）の実プロジェクター11は仮想カメラ11”に変換さ
れ、図１（ａ）の実カメラ15は仮想プロジェクター15”に変換される。仮想カメラ11”お
よび仮想プロジェクター15”は各々実プロジェクター11および実カメラ15のデュアルな対
応を表し、それら自体実装置でないことが理解されよう。つまり、仮想カメラ11”は仮定
上のカメラ（すなわち仮想カメラ11”）が図１（ａ）の実プロジェクターが映写する実画
像13に類似した仮定上の映像13”を取り込むためにどのように挙動するかを数学的に表し
たものである。同様に、仮想プロジェクター15”は仮定上のプロジェクター（すなわち仮
想プロジェクター15”）が実カメラ15（図１（ａ）の）で取り込まれた実画像13に実質的
に合致する仮定上の画像13”を映写するためにどのように挙動するかを数学的に表したも
のである。このように図１（ａ）における実プロジェクター11および実カメラ15の位置は
図１（ｂ）において仮想カメラ11”および仮想プロジェクター15”に交換される。

実装置のピクセル解像度は対応する仮想装置（すなわちデュアル装置）に持ち越される
ことが特記される。従って仮想カメラ11”はs行およびr列からなる仮想光カメラ・センサ
ーのピクセル・アレー17”を有し、実プロジェクター11のプロジェクター・ピクセル・ア
レー17に合致している。同様に仮想プロジェクター15”はu行およびv列からなる仮想プロ
ジェクター・ピクセル・アレー19”を有し実カメラ15のカメラ・センサーのピクセル・ア
レー19に合致している。

デュアル光輸送行列T”がこのデュアル構成の光輸送行列で、デュアル画像取り込み行
列C”（仮想カメラ11”で取り込まれるデュアル画像13”を定義する）はデュアル画像映
写行列P”（仮想プロジェクター15”で映写されるデュアル画像13”を定義する）に対しC
”=T”P”という形で関係していると仮定すると、T”_egが個別の仮想プロジェクター・ピ
クセルg”を個別の仮想カメラ・ピクセルe”に関連付ける個別のデュアル光輸送係数とな
る。
ヘルムホルツの相反定理はピクセルからピクセルへの輸送係数は双方向において（すな
わち実プロジェクター11から実カメラ15へ、および仮想プロジェクター15”から仮想カメ
ラ11”へ）等しいと規定している。すなわちT”_eg=T_geで、これはT”=T^Tを意味する（す
なわちデュアル光輸送行列T”は実光輸送行列Tに対する数学的行列転置の結果に等しい）
。従って、光輸送行列Tが与えられると、T^Tを用いてデュアル構成において得られるデュ
アル、または仮想、画像を合成することができる。

このように、光輸送行列Tはプロジェクターにより取り込まれたように見える画像を作
り出すことを可能にし、カメラは第2プロジェクターの役割を果たす。しかし、上記に説
明するように、光輸送行列Tを生成し操作することの高度な複雑さのため今までその適用
は、特にプロジェクター‐カメラ・システムの較正分野において、非常に限定されていた
。

プロジェクター‐カメラ・システムに関する他の問題はプロジェクターの視線を遮る可
能性のある光拡散物体をどのように補正するかである。関連するものとしてプロジェクタ
ー‐カメラ・システムが典型より複雑な画像を達成するのに用いることができるかという
問題である。例えば、このようなシステムは複数のプロジェクターによる複数の画像を組
み合わせて単一の合成画像を作成することができるであろうか。あるいは、「３−Ｄ」画
像または以前はより複雑な機器およびより複雑な映写設備を必要とした他の視覚上の効果
を生成することができるであろうか。さらに、プロジェクター‐カメラ・システムのカメ
ラをより有効に活用し、カメラが画像作成プロセスの能動的な部分になることができるで
あろうか。さらに、このようなにプロジェクター‐カメラ・システムにおいて低解像度で
安価なカメラを用いることはどのような影響があるであろうか。

以前の研究 [Raskar他1998;UnderkofflerおよびIshii1998]はインテリジェント照明の
概念を提示し、プロジェクターを用いて仕事場のやりとりを向上させ問題解決の新規ツー
ルの役割を果たせることを示している。以来プロジェクター‐カメラの世界はインテリジ
ェント・プロジェクターに関する多くの技術的問題を解決している。特に複数プロジェク
ターの自動モザイク化において相当な進歩がなされている[Chen他2002;Yang他2001;Raij
他2003;Sukthankar他2001;Raskar他2003]。

[Raskar他2001]は複雑な物体への映写を実証している。前以て作成された物体の３Ｄモ
デルを用い、複数のプロジェクターで些細でない複雑な形状を有する実際の物理的物体に
仮想テクスチャーおよびアニメーションを加えることができる。

[Fujii他2005]は同軸プロジェクター‐カメラ・システムを用いてリアルタイムで物体
の外観を改変する方法を提案した。[Grossberg他2004]は区分的な多項式３Ｄモデルを組
み入れて非同軸プロジェクター‐カメラ・システムが光景の映写を行なえるようにした。
プロジェクター‐カメラ・システムは深度マップを抽出するためにも用いられ[Zhangお
よびNayar2006]、深度エッジを回復する手段として時空多重化照明が提案されている[Ras
kar他2004]。

詳細に後述されるように、本発明は望ましい画像を作成するために何をプロジェクター
が映写する必要があるかをどのように判定するかという問題に、光輸送行列の逆を用いて
対応しており、その適用はさらにプロジェクター‐カメラ・システムの較正を簡素化する
。

本発明の画像処理方法は、所定の基準視点から知覚される三次元画像である遠近画像を
作成する画像処理方法であって、
基準ベースを基準に第1配向に沿って配置される第1投影領域を有する第1デジタルプロ
ジェクターを提供するステップと、
前記基準ベースを基準に第2配向に沿って配置される第2投影領域を有する第2デジタル
プロジェクターを提供するステップであって、前記第2投影領域は前記第1投影領域と少な
くとも一部重なるステップと、
前記第1投影領域と前記第2投影領域との重なる区域内で三次元撮像領域を定義するステ
ップと、
前記三次元撮像領域を包含する前記第1投影領域の部分に及ぶ第1光輸送行列T₁を確立す
るステップであって、前記第1光輸送行列T₁はc₁=T₁ p₁の関係に従い前記所定の基準視点
から見た第1画像c₁を前記第1デジタルプロジェクターからの第1投影画像p₁に関連付ける
ステップと、
前記三次元撮像領域を包含する前記第2投影領域の部分に及ぶ第2光輸送行列T₂を確立す
るステップであって、前記第2光輸送行列T₂はc₂=T₂p₂の関係に従い前記所定の基準視点か
ら見た第2画像c₂を前記第2デジタルプロジェクターからの第2投影画像p₂に関連付けるス
テップと、
前記第1デジタルプロジェクターに第1撮像シーケンスを提供するステップであって、前
記第1撮像シーケンスは前記第1光輸送行列T₁により定義される前記基準視点を基準に前記
三次元撮像領域内に画像被写体の第1の角度付きビューを提供するステップと、
前記第2デジタルプロジェクターに第2撮像シーケンスを提供するステップであって、前
記第2撮像シーケンスは前記第2光輸送行列T₂により定義される前記基準視点を基準に前記
３Ｄ撮像領域内に前記画像被写体の第2の角度付きビューを提供するステップとを有する
ことを特徴とする。

また、本発明の画像処理方法において、前記第1光輸送行列T₁は、前記第1デジタルプロ
ジェクターの前記３Ｄ撮像領域に寄与するプロジェクターピクセルのみについて構築され
ることを特徴とする。

また、本発明の画像処理方法において、さらに前記所定の基準視点において眼鏡を提供
するステップを有し、
前記眼鏡は、
前記第1デジタルプロジェクターからの光を取り込み、前記第2デジタルプロジェクター
からの光を退ける第１偏光レンズと、
前記第2デジタルプロジェクターからの光を取り込み、前記第1デジタルプロジェクター
からの光を退ける第2偏光レンズとを有することを特徴とする。

また、本発明の画像処理方法において、前記第1配向は前記第2配向に対し90度であるこ
とを特徴とする。

また、本発明の画像処理方法において、前記第1デジタルプロジェクターは第1組の赤、
緑、および青の投影パネルを有し、前記第1組内の2つの投影パネルは前記基準ベースを基
準に第1偏光配向に沿って偏光されるとともに、前記第1組内の第3の投影パネルは前記基
準ベースを基準に第2偏光配向に沿って偏光され、
前記第2デジタルプロジェクターは第２組の赤、緑、および青の投影パネルを有し、前
記第2組内の2つの投影パネルは前記基準ベースを基準に第2偏光配向に沿って偏光される
とともに、前記第2組内の第3の投影パネルは前記基準ベースを基準に第1偏光配向に沿っ
て偏光され、
さらに、
前記第1撮像シーケンスにおいて前記第1組内の前記第3投影パネルに対応する第1撮像情
報を特定し、前記第2デジタルプロジェクターによる投影のために前記第1撮像情報を前記
第2デジタルプロジェクターに転送するステップと、
前記第2撮像シーケンスにおいて前記第2組内の前記第3投影パネルに対応する第2撮像情
報を特定し、前記第1デジタルプロジェクターによる投影のために前記第2撮像情報を前記
第1デジタルプロジェクターに転送するステップとを有することを特徴とする。

また、本発明の画像処理方法において、前記第1撮像シーケンスはR1（赤1）、G1（緑1
）、およびB1（青1）の撮像チャンネルを有し、
前記第２撮像シーケンスはR2（赤2）、G2（緑2）、およびB2（青2）の撮像チャンネル
を有し、
さらに、前記第1および第2撮像シーケンスのR1およびR2のチャンネルを交換するステッ
プを有することを特徴とする。
また、本発明の画像処理方法において、前記第1光輸送行列T₁を確立するステップは、
前記所定の基準視点においてカメラを用い、前記第1デジタルプロジェクターから画像が
投影されない状態で周辺光の下で前記第1投影領域の少なくとも一部の基準ノイズ画像C₀
を取り込むステップと、
前記所定の基準視点において前記カメラを用い、前記第1投影領域内において前記第1デ
ジタルプロジェクターにより投影される第1テストパターンの第1画像を取り込むステップ
であって、前記第1テストパターンは前記第1デジタルプロジェクター内における投影ピク
セルの第1グループを同時に活性化することにより作成されるとともに前記第1テストパタ
ーンにないすべての投影ピクセルはオフにされるステップと、
前記所定の基準視点において前記カメラを用い、前記第1投影領域内において前記第1デ
ジタルプロジェクターにより投影される第2テストパターンの第2画像を取り込むステップ
であって、前記第2テストパターンは前記第1デジタルプロジェクター内における投影ピク
セルの第2グループを同時に活性化することにより作成されとともに、前記第2テストパタ
ーンにないすべての投影ピクセルはオフにされ、かつ、投影ピクセルの前記第1および第2
グループは目標投影ピクセルを定義する1つのみの投影ピクセルを共通に有するステップ
と、
前記第1画像から前記基準ノイズ画像C₀を差し引いて第1補正画像を作成するステップと
、
前記第2画像から前記基準ノイズ画像C₀を差し引いて第2補正画像を作成するステップと
、
前記第1補正画像の画像ピクセルを前記第2補正画像の対応画像ピクセルと比較し、比較
された画像ピクセルのより暗い方を保持することで、保持された画像ピクセルは合成画像
を構成するステップと、
前記合成画像におけるすべての暗くない画像ピクセルを特定するステップと、
前記合成画像における前記暗くないピクセルを前記目標投影ピクセルに結び付いた非ゼ
ロの光輸送係数として選択的に特定するステップと、
をさらに有することを特徴とする。

また、本発明の画像処理方法において、前記合成画像内で所定最小値未満でない光度値
を有するピクセルのみが前記暗くない画像ピクセルとして特定されることを特徴とする。

また、本発明の画像処理方法において、前記所定最小値は最大光度値の25%であること
を特徴とする。

また、本発明の画像処理方法において、前記特定された暗くない画像ピクセルは画像内
におけるそれらの位置関係に従い隣接するピクセルクラスターに配置され、所定数のピク
セル未満でないクラスター内のピクセルのみが暗くないピクセルとして特定されることを
特徴とする。

また、本発明の画像処理方法において、前記所定数のピクセルは前記第1デジタルプロ
ジェクター内の1つの投影ピクセルをオンにすることにより作成される前記カメラ内のカ
メラピクセルアレーに作成される平均サイズの光フットプリント内のピクセル数で定義さ
れることを特徴とする。

また、本発明の画像処理方法において、前記所定数のピクセル未満でないサイズを有す
るクラスター内の重心は前記目標投影ピクセルに対応するカメラピクセルアレーの推定を
構成することを特徴とする。

また、本発明の画像処理方法において、
（a）望まれる合成画像cを定義するステップと、
（b）前記p₂をゼロに設定し、式p₁=T₁ ^-1 （c−T₂p₂）においてp₁を解くステップと、
（c）前記p₁に対し今解いた値を用い、式p₂=T₂ ^-1 （c−T₁p₁）においてp₂を解くステッ
プと、
（d）前記p₂に対し今解いた値を用い、式p₁=T₁ ^-1 （c−T₂p₂）においてp₁を解くステッ
プと、
（e）前記p₁が第1モザイク画像に収束し前記p₂が第２モザイク画像に収束するまで、前
記工程（c）および（d）を順に繰り返すステップとをさらに有することを特徴とする。

また、本発明の画像処理方法において、前記望まれる合成画像cはc=c₁＋c₂と定義され
ることを特徴とする。

また、本発明の画像処理方法において、前記T₁ ^-1またはT₂ ^-1の少なくとも1つは一般光
輸送行列Tの逆の推定であって、前記推定は、
前記一般光輸送行列Tにおける列を順に目標列として特定し、前記目標列を基準にゼロ
化されていない入力値に対し正規値を計算するステップと、
前記一般光輸送行列Tと等しいサイズの中間行列を作成するステップと、
前記中間行列における各列を前記一般光輸送行列Tにおけるその対応目標列の計算され
た正規値で埋めるステップであって、前記中間行列において埋められた各列の各正規化値
は前記一般光輸送行列Tにおけるその対応列の前記ゼロ化されていない入力値と1対1の対
応を維持しているステップと、
前記中間行列に転置行列演算を適用するステップと、によって生成されることを特徴と
する。

また、本発明の画像処理方法において、前記中間行列がT^Vと表示され、一般光輸送行列
Tにおける目標列がTrと表示され、T^Vにおける対応列がT^Vrと表示されると、T^Vの構成と埋
め込みはT^Vr=Tr/（‖Tr‖）²と定義され、T₁ ^-1が一般光輸送行列の逆T^-1の推定の場合p₁=
（T^V ₁）^T（c−T₂p₂）で、T₂ ^-1が一般光輸送行列の逆T^-1の推定の場合p₂=（T^V ₂）T（c−T₁
p₁）であることを特徴とする。

また、本発明の画像処理方法において、前記T₁またはT₂の少なくとも1つは各々のデジ
タルプロジェクターにおける各プロジェクターピクセルと1対1の対応を有しない光フット
プリントのサンプリングから生成される推定光輸送行列であることを特徴とする。

デュアル・フォトグラフィーを実施するための従来の構成を示す図である。 本発明によるデュアル・フォトグラフィーの構成を示す図である。 １つのプロジェクター・ピクセルから投射される光線が場面から反射されカメラ・センサーのピクセル・アレーに小さな光フットプリントを形成する例である。 映像が情報のアレーとしてどのように表示され得るかの例である。 カメラ・センサーのピクセル・アレーに取り込まれた光フットプリントが情報のアレーとしてどのように表示され得るかの例である。 （ａ）は、プロジェクターにおける１つのプロジェクター・ピクセルの活性化によりもたらされるデジタル・カメラ内の光センサー・アレーに投影されるフットプリント示す図である。（ｂ）は、図３の例を反映した、行列T内における光輸送係数の列を示す図である。 （ａ）および（ｂ）は市松格子パターンを有する場面に同時に投影される２列のプロジェクター・ピクセルの2つの例を示す図である。 （ａ）および（ｂ）は市松格子パターンを有する場面に同時に投影される２行のプロジェクター・ピクセルの2つの例を示す図である。 （ａ）は、図７（ａ）および図８（ａ）の画像を組み合わせることにより作成される、１つのプロジェクター・ピクセルによりもたらされる発生光線のフットプリントを示す図である。（ｂ）は、図７（ｂ）および図８（ｂ）の画像を組み合わせることにより作成される、１つのプロジェクター・ピクセルによりもたらされる発生光線のフットプリントを示す図である。 プロジェクター・ピクセルを図９（ａ）または図９（ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデックスの第1例である。 プロジェクター・ピクセルを図９（ａ）または図９（ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデックスの第2例である。 （ａ）は、実カメラで撮影した実取り込み画像を示す図である。（ｂ）は、実プロジェクターから見た、本発明の方法を用いて生成されたデュアル取り込み画像を示す図である。 プロジェクターを較正するためにホモグラフィーの使用により得られた結果の例である。 プロジェクターと場面の間に置かれた2つのワイン・グラスにより歪められた映像を示す図である。 2つの別個のプロジェクター・ピクセルにより実現された2つの重なり合った隣接光フットプリントの例である。 本発明による、任意の場面に表示制約を課すためのプロセスの例である。 図１６に示された表示制約を賦課する際のさらなる工程を示す図である。 本発明がポスター画像の色補正に適用される例を示す図である。 図１４の映写場面で、本発明の光歪みを補正する方法を適用した状態を示す図である。 没入型表示システムの作成にデュアル・フォトグラフィーを用いる典型的な映写設定である。 没入型プロジェクターP2が前面投射型プロジェクターP1をシミュレートするために用いられるところを示す図である。 図２１の仮想プロジェクター実施を用いて生成された画像の例を示す図である。 （ａ）は、実前面投射型プロジェクターにより投影された画像の右側を示す図である。（ｂ）は、（ａ）に示す画像の左側を示すが、（ｂ）においては画像の左側は没入型プロジェクターにより投影される図である。（ｃ）は、（ａ）の右側画像を（ｂ）の左側画像に接合したところを示す図である。 さらに没入型プロジェクターにより生成された左側の画像を前面投射型プロジェクターにより生成された右側の画像を接合した2つの例を示す図である。 （ａ）〜（ｃ）は、実際の部屋の中に仮想モデル部屋で作り出された仮想画像を再現した、本発明の別の適用を示す図である。 画像の歪みなしに実際の部屋における映写空間より大きい画像を投影する、図２５（ａ）〜２５（ｃ）の手法の適用例を示す図である。 本発明の最小限の形態に従った典型的映写システムを示す図である。 図２７の設計に基づくプロトタイプを示す図である。 図２８の構成を別の角度から示す図である。 （ａ）は、図２８および図２９の映写システムを設置した部屋を周辺光の下で示す図である。（ｂ）は、（ａ）の部屋を没入型映写照明の下で示す図である。 （ａ）は、較正されていない画像を投影した図３０（ａ）の部屋を示す図である。（ｂ）は、較正された画像を投影した図３０（ａ）の部屋を示す図である。 （ａ）は、較正されていない空白の映像を投影した図３０（ａ）の部屋を示す図である。（ｂ）は、較正された空白の映像を投影した図３０（ａ）の部屋を示す図である。 本発明をドーム型ミラー・プロジェクターに適用する第1工程の図である。 本発明をドーム型ミラー・プロジェクターに適用する第2工程の図である。 本発明をドーム型ミラー・プロジェクターに適用する第3工程の図である。 ドーム型ミラー・プロジェクターの投影用に正確に歪められた画像を実現するために本発明を望ましい画像に適用したところを示す図である。 図３６の歪んだ画像を投影した結果を示す図である。 天井据付運転の別の設計の図である。 本発明の別の構成の図である。 本発明のさらに別の構成を示す図である。 2つ以上のプロジェクター‐カメラ・システムをモザイク化して合成画像を作成する設定を示す図である。 複数のプロジェクター‐カメラ・システムによる画像の合成を示す図である。 マルチ・プロジェクター‐カメラ・システムにおける2つのプロジェクター‐カメラ・システムの内1つ目により投影された画像を示す図である。 マルチ・プロジェクター‐カメラ・システムにおける2つのプロジェクター‐カメラ・システムの内2つ目により投影された画像を示す図である。 複雑な表面に市松格子パターンを投影することに本発明を適用した例を示す図である。 （ａ）は、1つの曲面ミラー125および複数のプロジェクター‐カメラ対145を使用する設計を示す図である。（ｂ）は、1つのミラー・ピラミッド151および複数のプロジェクター‐カメラ対145を使用する設計を示す図である。 全体により大きい映写FOVを達成するために複数の大FOVプロジェクター153aおよび153bを用い得ることを示す図である。 ３Ｄの視覚画像を達成すべく異なる偏光の画像を投射するよう配向されう2台のプロジェクターの構成例を示す図である。 図４８の構成の象徴的な描写を示す図である。 図４８の構成で示される偏光眼鏡の象徴的な描写を示す図である。 2台のプロジェクター間で各々のRGB画像におけるR成分の交換を示す図である。 各々2つのプロジェクターから投射された2つの画像の望ましい均等な偏光を示す図である。 投射された2つの画像の交差領域内における３Ｄ視覚コンテンツの作成を示す図である。

目的は輸送行列Tの生成を簡素化し、デュアル・フォトグラフィーにおける光輸送係数
の実施を簡素化し、光輸送行列Tをさらに簡素化しながら改変して光拡散効果または光ノ
イズに対する補正を組み入れたシステムにより満足される。上記目的はさらに輸送行列T
を用いて2つのデジタル・プロジェクターを異なる角度に調節し、知覚３Ｄ画像を作成す
るよう仕組まれる個別的ではあるが完全に協調的な画像を投影することを簡素化するシス
テムにより満足される。

デュアル・フォトグラフィーの適用は（p×q）のプロジェクター・ピクセル・アレーの
光輸送行列Tを生成するのに必要な取り込み画像数を（p×q）の画像から（p＋q）の画像
に削減することにより簡素化される。光輸送行列Tの操作は、完全に埋められた光輸送行
列Tの使用を非ゼロの光輸送値にのみ結び付けるインデックスで置き換えることにより、
簡素化される。ゼロ値の光輸送係数の使用を排除することにより、デュアル・フォトグラ
フィーを実施するためのメモリーおよび処理要件が非常に低減される。このデュアル・フ
ォトグラフィー手法がプロジェクター‐カメラ・システムの較正に適用される。
添付図面と併せて以下の説明およびクレームを参照することにより他の目的および成果
と共に発明のより深い理解が明らかになろう。

カメラ較正手法をプロジェクターに適用するためには、プロジェクターが画像を取り込
めなければならない。つまり、プロジェクターが画像を取り込むことができたら、プロジ
ェクター‐カメラ・システムはマルチ・カメラ・システムのように扱うことができ、プロ
ジェクター‐カメラ・システムを較正する標準的なカメラ較正手法（上記に説明）を用い
ることができるかもしれない。言い換えれば、プロジェクターを擬似カメラとして扱うこ
とができれば、上述のマルチ・カメラ・システムのカメラ較正段階に類似した方法で実カ
メラとともに較正することができ、以前にプロジェクター‐カメラ・システムを較正する
ために用いられた「ブートストラップ的」プロジェクター較正段階を排除できるかもしれ
ない。

図2Aに関し、本発明に従った撮像構成は実プロジェクター21および実カメラ21を含み得
る。実プロジェクター21はデジタル・プロジェクターであることが好ましく、p行およびq
列の個別の撮像映写要素（すなわち映写ピクセルj）からなる撮像映写アレー（すなわち
プロジェクター・ピクセル・アレー27）を含む撮像要素を有する。プロジェクター・ピク
セル・アレー27は実プロジェクター21の内部にあり、説明の便宜上図２（ａ）において点
線の正方形内の十字線で示される。実プロジェクター21は液晶表示（LCD）型、デジタル
光処理（DLP（登録商標））型、反射型液晶パネル（liquid crystal on silicon＝LCOS）
、または他のデジタル映写技術型であることが好ましい。

実カメラ25はm行およびn列の個別のカメラ・ピクセルi（すなわち画像センサー要素ま
たは受光ピクセル）からなるカメラ・センサーのピクセル・アレー29（すなわち受光アレ
ーまたは画像センサー・アレー）を含む画像センサーを有するデジタル・カメラであるこ
とが好ましい。簡単にするため、カメラ・センサーのピクセル・アレー29は実カメラ25上
に示されるが、カメラ・センサーのピクセル・アレー29は実カメラ25の内部にあることが
理解されよう。

実プロジェクター21および実カメラ25を用いたこの物理的構成は「根本」構成と呼ばれ
ることが好ましい。実プロジェクター21内の個別のプロジェクター・ピクセルjから発射
された光線は不規則なまたは平面の形状を有し得る映写表面（すなわち表示環境または場
面）から反射されることにより実画像23を形成し、光線の一部は最終的に実カメラ25内の
画像センサーに到達する。一般的に各光線は場面で分散、反射、および屈折し、カメラ・
センサーのピクセル・アレー29にわたりいくつか異なった位置でカメラの画像センサーに
当たる。このように、実プロジェクター21の撮像プロジェクター・ピクセルjから放射さ
れた1つの光線が実カメラ25に到達すると、個々に投射された光線はm×nの画像をカメラ
のピクセル・アレー29上で形成し、個々のカメラ・ピクセルiは投射光線から一定量の光
を受ける。

従って理想的には1つのプロジェクター・ピクセルjをオンにして1つの光線を放射させ1
つのカメラ・ピクセルiに当たるようにして1つのプロジェクター・ピクセルjを1つのカメ
ラ・ピクセルiに関連付ける1つの光輸送係数を判定することができるように見えるかもし
れないが、実際にはそうでない。実際にはカメラ・センサーのピクセル・アレー29全体が
放射された1つの光線からの光度の異なった寄与を受ける。従って、個々のプロジェクタ
ー・ピクセルj各々から放射される各光線はカメラ・センサーのピクセル・アレー29内の
カメラ・ピクセルi各々に対し1つの異なった組、またはアレー、の個別的光輸送係数を生
成する。従って、各組（すなわちアレー）は各カメラ・ピクセルiに対し1つとなる（m×n
）（すなわち（m掛けるn））の個別的光輸送係数からなることになる。

光輸送係数の各組を係数の列として配列し複合輸送行列、T、を形成すると、複合光輸
送行列Tは個別のプロジェクター・ピクセルj各々に対し異なった光輸送係数の列を有する
ことになる。さらに、各列内の各光輸送係数入力（すなわち行列要素）と各カメラ・ピク
セルとの間には1対1の対応があるので、各列は1つのプロジェクター・ピクセルjをオンに
した結果カメラ25で取り込まれた画像全体を表す。従って、光輸送行列T全体（すなわち
複合の）は（p×q）［すなわち（p掛けるq）］列（オンにされた各個別のプロジェクター
・ピクセルjにつき1列［すなわち取り込み画像］）および（m×n）行（各個別のカメラ・
ピクセルiにつき1行）からなる。

以下の考察において実投影画像を、（p×q）要素（各プロジェクター・ピクセルjにつ
き１つ）を有する第1ベクトル、Rprjct、（すなわち実投影ベクトル）として、また結果
としてもたらされる実取り込み画像を、（m×n）要素（各カメラ・ピクセルiにつき１つ
）を有する第2ベクトル、Rcptr、（すなわち実取り込みベクトル）として見ることが役立
つ。

実投影画像（すなわちプロジェクター・ピクセル・アレー27全体を用いて投影した画像
）は（p×q）の実投影ベクトル「Rprjct」（すなわち「p掛けるqベクトル」と表される記
号、および対応する実取り込み画像（すなわちカメラ・センサーのピクセル・アレー29全
体を用いて取り込まれた画像）は（m×n）の実取り込みベクトル（すなわち「m掛けるnベ
クトル」）と表される記号を用いると、実プロジェクター21と実カメラ25との間の光輸送
関係は、
Rcptr=T Rprjct
と書くことができ、Tは実プロジェクター21を実カメラ25に関連付ける複合光輸送行列で
ある。光輸送行列Tは例えば個々かつ別々に各プロジェクター・ピクセルをjをオンにして
各個別的カメラ・ピクセルiの対応光輸送係数を判定することにより前以て生成されてい
ることが理解されよう。

要約すると、各プロジェクター・ピクセルjはカメラ・センサーのピクセル・アレー29
全体にわたり拡散される光線をもたらすので、各個別のカメラ・ピクセルは各個別のプロ
ジェクター・ピクセルjから受けた所定の光特性の強度値を示す異なった値の光輸送係数
を有する。本実施形態で、この光特性は光度の尺度であることが好ましい。従って各プロ
ジェクター・ピクセルjは（m×n）の個別的光輸送係数からなる列をもたらし、各係数は
各カメラ・ピクセルiが受けた光度の量を示す。実プロジェクター21は（p×q）のプロジ
ェクター・ピクセルjを有するので、光輸送行列Tは（p×q）列［各プロジェクター・ピク
セルjにつき1列］および（m×n）行［各カメラ・ピクセルiにつき1行］を有する。従って
光輸送行列Tは従来非常に大きく、（p×q×m×n）の個別の光輸送係数からなっていた。

図２（ｂ）に関し、「デュアル」な構成において実プロジェクター21は実プロジェクタ
ー・ピクセル・アレー27とサイズが等しい仮想カメラ・センサーのピクセル・アレー27”
を有する仮想カメラ21”で置き換えられる。このように仮想カメラ21”はp行掛けるq列の
仮想カメラ・ピクセルj”からなる仮想カメラ・センサーのピクセル・アレー27”を有す
る。同様にこの「デュアル」な構成において、実カメラ25は実カメラ・センサーのピクセ
ル・アレー29とサイズが等しい仮想プロジェクター・ピクセル・アレー29”を有する仮想
プロジェクター25”で置き換えられる。このように仮想プロジェクター25”はm行掛けるn
列の仮想プロジェクター・ピクセルi”からなる仮想プロジェクター・ピクセル・アレー2
9”を有する。

この場合、仮想画像23”（仮想プロジェクター25”により投影される）は（m×n）の仮
想投影ベクトルVprjct”で表すことができる。同様に、仮想カメラ21”により取り込まれ
た仮想取り込み画像は（p×q）仮想取り込みベクトルVcptr”で表すことができる。従っ
てこのデュアル構成において仮想取り込みベクトルVcptr”は「デュアル」光輸送行列T”
により仮想投影ベクトルVprjct”に関連付けられる。ヘルムホルツの相反性の原理により
、光輸送は双方向において等しい。従ってデュアル構成（すなわちデュアリティー変換構
成）に対するデュアル光輸送行列T”は次の関係で仮想取り込みベクトルVcptr”を仮想投
影ベクトルVprjct”に関連づける。
Vcptr”=T” Vprjct”

しかしこの関係はデュアル光輸送行列T”を構成し、仮想的に投影された画像を仮想的
に取り込まれた画像に関連付ける大量の「仮想」光輸送係数をどのように判定できるかと
いう問題を提議する。注目すべきは、実光輸送行列Tからそのデュアル光輸送行列T”への
デュアリティー変換は実光輸送行列に対し転置行列演算を行なうことにより達成される。
従って、T”はTの転置で、T”=T^TおよびVcptr”=T^T Vprjct”となる。

行列計算方法で周知のように、一般的な[x×y]行列Aの転置行列演算は上付き文字「T」
を加えることにより示され（例えばA^Tのように）、第1列が行列Aの第1行、第2列は行列A
の第2行、第3列は行列Aの第3行、以下同様、である[y×x]の行列で定義される。容易に明
らかなように、この行列演算は単に第1要素を中心として元の行列Aを反転させ、その第1
要素（すなわち位置（1，1）において）は変化せず、第1列の下端が第1行の終りになるよ
うにする。従って根本構成に対する実光輸送行列Tを獲得、あるいは別途判定できれば、
デュアル構成に対するデュアル光輸送行列T”は上述のように実光輸送行列Tを反転させて
その転置T^Tを得ることにより容易に計算できる。以下のさらなる考察において、デュアル
光輸送行列および転置光輸送行列T^Tは互換的に用いることができる。

しかしTを判定するのに簡略化された方法を提供できれば、デュアリティー変換につい
てはTから直接T^Tを判定できることが特記される。Tの判定を簡略化する方法を提案する前
に、まずTを判定するための従来の方法の難しさをいくつか考察することが有益である。

上記で説明されたように、実光輸送行列Tは実プロジェクター21の各個別のプロジェク
ター・ピクセルjと実カメラの個別のカメラ・ピクセルiすべてとの間で対応する個別の光
輸送係数を留保している。従って、個別のプロジェクター・ピクセルjとすべてのカメラ
・ピクセルiとの間で対応する各個別の光輸送係数の判定はプロジェクター・ピクセル・
アレー27における他のプロジェクター・ピクセルjからの光線寄与を避けるべきである。

これを達成するために、まずj番目のプロジェクター・ピクセルを1の値に設定し（すな
わちオンにし）、プロジェクター・ピクセル・アレー27における他のすべての要素をゼロ
値に設定する（すなわちオフにする）ことにより作成された初期の実投影画像_jを検討す
ることができる。この場合、j番目のピクセルは光輸送係数を判定するためにテストされ
るプロジェクター・ピクセルである。これらのテスト条件はj番目のプロジェクター・ピ
クセルに結び付いた入力位置において1の値を有し、すべての他のプロジェクター・ピク
セルをゼロの値に設定している実投影ベクトルRprjct_jとして記号化することができる。
次に実投影画像_jを取り込み対応する（m×n）の実取り込みベクトル_jを判定することが
でき、これは行列Tのj番目の列を定義する。

所定のj番目のプロジェクター・ピクセルに対する行列Tの光輸送係数の列を得るこの方
法は行列T全体を取り込む系統だった方法は実プロジェクター21の各プロジェクター・ピ
クセルjを順にオンにし（プロジェクター・ピクセルを１つずつ）、実カメラでその対応
する実画像Rcptr_jを取り込むことであることを示唆している。p×q個のプロジェクター
・ピクセルjがすべて順にオンにされ、それらに対応する実画像Rcptr_jが取り込まれると
、取り込まれたすべての取り込み画像ベクトルRcptr_1からRcptr_（p×q）はグループ化
され行列Tを形成する。各取り込み画像ベクトルRcptr_jは行列Tにおいて光輸送係数入力
の1列をなす。これは（p×q）列および（m×n）行の個別の光輸送係数を有する行列Tをも
たらす。

しかし行列Tを判定するためのこの簡単で系統だったプロセスは（p×q）の画像投影・
取り込み工程を必要とする、明らかに時間のかかるプロセスである。さらに、得られる光
輸送行列Tは非常に大きく、（p×q×m×n）の要素からなる。行列Tのサイズから、デュア
ル画像を計算するのはデュアル光輸送行列T^T（行列Tと同数の要素を有する）と仮想投影
ベクトルVprjct”（（m×n）の要素を有する長いベクトルである）との間で行列乗算を必
要とする極めて計算集中的な演算である。

過去において、行列Tを判定するプロセスを速めるために実プロジェクター（図１（ａ
）のプロジェクター11のような）の複数ピクセルをいちどきに適応的にオンにすることに
より行列Tを判定する仕組みが提案されている。しかし、この方法は複雑で、投影される
画像が複数の区域に分割され、各区域から1つのプロジェクター・ピクセルを選択する必
要がある。選択されたプロジェクター・ピクセルはすべて同時に点灯され、かつ同時に点
灯されたプロジェクター・ピクセルはその間の光干渉を排除するために互いに充分な距離
を確保するようにする。従って、この仕組みは選択された個々のプロジェクター・ピクセ
ル間の光干渉が最小限であることを確保する必要があるので場面に依存する（すなわち表
示環境に依存する）。このように複数区域の作成は表示環境に依存する。この仕組みは投
影区域の物理的な検査および手動の設定を必要とするので、一般的な使用または自動化に
あまり適さない。

本発明の一特徴は実光輸送行列Tの決定における手順工程を削減する方法を提案する。
すなわち、（p×q）の画像投影・取り込み工程（およびp×qの取り込み画像の格納）を必
要とする代わりに、ここで提案される方法は「p足すq」（すなわち（p＋q））画像しか取
り込まず、以下に説明する特定の状況においてこの数はさらに劇的に減らすことができる
。

本方法は次の仮定に基づいている。つまり殆どのプロジェクター‐カメラ表示用途にお
いて、実プロジェクター21から放射される任意の別個の光線bおよびcは通常カメラ・セン
サーのピクセル・アレー29における別個の部分に当たる。すなわち、プロジェクター・ピ
クセルjから放射された任意の光線はカメラ・センサーのピクセル・アレー29全体にわた
って拡散されず、カメラ・センサーのピクセル・アレー29内の明確な部分で光フットプリ
ントを形成する小グループのカメラ・ピクセル内に主に集中する。さらに、隣接する光フ
ットプリントにおいて重なり合いはないか無視できる（すなわち別個のプロジェクター・
ピクセルjから投射された別個の光線が当たるカメラ・ピクセルiに重複が殆どない）。こ
の理想的な光線分布条件は実カメラ25の解像度がが実プロジェクター21の解像度よりはる
かに高い（すなわち少なくとも2倍高い）場合に仮定できる。

別個の光線が重ならないというこの仮定はもちろん一般的に正しくない。例えば、実カ
メラ25の解像度が実プロジェクター21の解像度に匹敵するか、またはそれより小さい場合
、または光拡散材料が実プロジェクター21からカメラ・センサーのピクセル・アレー29に
投影された光線の光パスの間に位置する場合理想的な光線分布条件は達成できないかもし
れない。例えば、映写場面（すなわち表示環境または映写表面／領域）がコップ一杯の牛
乳など光拡散材料を含む場合、投射された光線は拡散され、カメラ・センサーのピクセル
・アレー29において異なった光線間でかなり光の重なり合いがある可能性は非常に増える
。しかし高解像度の映写を確保するよう設計された表示構成はこのような光拡散材料がな
い可能性が高く、投射された光のフットプリントは各々隣とは実質的に区別されることが
殆ど保証される。つまり、高解像度の映写が望ましい会場や設定の場合、投影画像の光パ
スに沿って光拡散物品はない可能性が高い。

本第1実施形態において、実カメラ25のピクセル解像度は実プロジェクター21のそれよ
り少なくとも4倍高く、映写場面には光拡散材料がなく、理想的な光線分布状態の条件が
満足されると仮定される。しかし、実カメラ25の解像度が実プロジェクター21より高いも
のに限定されず、または実プロジェクター21と実カメラ25との間の光パスが光拡散材料の
ないものに限定されない、より一般的な状況に関する別の実施形態も下記に説明される。

この仮定およびベクトル生成方法の最初の図形的描写が図３から図５に示される。図３
を参照すると、本発明の図示例は実カメラ・センサーのピクセル・アレー29より低いピク
セル解像度を有する実プロジェクター・ピクセル・アレー27を示す。説明の便宜上、プロ
ジェクター・ピクセル・アレー27は6行と7列（すなわちp=6でq=7）のみからなり合計解像
度が42プロジェクター・ピクセルj（すなわち（6×7）要素）となるように図示される。
同様に説明の便宜上、カメラ・センサーのピクセル・アレー29は12行と14列（すなわちm=
12でn=14）のみからなり合計解像度が168カメラ・ピクセルi（すなわち（12×14）要素）
となるように図示される。カメラ・センサーのピクセル・アレー29の解像度はプロジェク
ター・ピクセル・アレー27の解像度より4倍高く、プロジェクター・ピクセル・アレー27
からカメラ・センサーのピクセル・アレー29への光パス内に光拡散材料は存在せず、従っ
て本第1実施形態の理想的な光線分布条件が満足されていることが特記される。

図３においてプロジェクター・ピクセル・アレー27内の各正方形は異なるプロジェクタ
ー・ピクセルjを表す。本例において、第3行と第5列に位置するプロジェクター・ピクセ
ルjの光輸送係数を得ることが求められる（すなわちプロジェクター・ピクセルj=（5，3
）がテストされるピクセルである）。上記に説明されるように光拡散、または光散乱、は
無視される。このように、プロジェクター・ピクセルj=（5，3）はオンにされている、す
なわち点灯されている、ことが白い正方形で示されるように図示され、他のすべてのプロ
ジェクター・ピクセルは濃い灰色の正方形で示されるようにオフのままとして図示される
。プロジェクター・ピクセルj=（5，3）は光線1を放射し、これはプロジェクター・レン
ズ3を通過した後映写表面5（これは基本的に実プロジェクター21および実カメラ25が位置
する環境で決定される一般的な映写場面である）に当たる。光拡散は本例において無視さ
れるので、光線1は映写表面5から反射し、カメラ・レンズ7を通過した後カメラ・ピクセ
ルiのグループに当たり、円Ft1で示されるように光線フットプリントを形成する。各プロ
ジェクター・ピクセルjの解像度はカメラ・ピクセルiのそれよりはるかに粗いので、カメ
ラ・センサーのピクセル・アレー29に作成された光線フットプリントFt1は数個のカメラ
・ピクセルiを覆い、光線フットプリントFt1の中央にあるカメラ・ピクセルi（白い正方
形で示される）がもっとも高い光度を受け、光線フットプリントFt1の周辺部にあるカメ
ラ・ピクセルi（薄い灰色の正方形で示される）はより少ない光度を受け、光線フットプ
リントFt1内にないカメラ・ピクセルi（濃い灰色の正方形で示される）は光を受けない。
次に、カメラ・センサーのピクセル・アレー29内のすべてのカメラ・ピクセルの光度測定
を判定することによりテストされるプロジェクター・ピクセルj=（5，3）に対応する各カ
メラ・ピクセルiの光輸送係数を決定することができる。

上記に説明されたように、プロジェクター・ピクセル・アレー27を第1ベクトル（実投
影ベクトルRprjct）と見て、得られるカメラ・センサーのピクセル・アレー29にわたる取
り込み画像を第2ベクトル（実取り込みベクトルRcptr）と見ることが役に立つ。実プロジ
ェクター・ベクトルRprjctをどのように構築できるかを図示したものが図４に示される。
まずプロジェクター・ピクセル・アレー27を6つの行、row_1からrow_6に分け、次に各行
を90度回転させ6つの列セグメントcol_seg_r1からcol_seg_r6を形成する。6つの列セグメ
ントcol_seg_r1からcol_seg_r6を次に端と端をつないで（p×q）要素（すなわち（6×7）
または42要素）からなる1つの合成列を形成する。本例において、要素col_1_row_19（す
なわち列col_1の上から19番目の要素）はプロジェクター・ピクセル・アレー27のアレー
位置（5，3）にあるプロジェクター・ピクセルjに対応する。要素col_1_row_19は白い正
方形として示され、他の要素はすべて暗くされた正方形で、要素col_1_row_19がオンにな
っている唯一のプロジェクター・ピクセルであることを示している。

同様のプロセスが図５においてカメラ・センサーのピクセル・アレー29に適用され、実
取り込みベクトルRcptrが構築される。本例の場合、カメラ・センサーのピクセル・アレ
ー29はm行（すなわち12行）に分けられ、各々90度回転させられ図示されていない12の列
セグメントを形成する。図４でプロジェクター・ピクセル・アレー27の配置を変えたのと
同じように、12個の列セグメントは端と端をつないで（m×n）要素（すなわち（12×14）
または168要素）からなる1つの合成列cmra_col_1（すなわちベクトルRcptr）を形成する
。

本例において、アレー位置（5，3）にあるプロジェクター・ピクセルjから放射される
光線はカメラ・センサーのピクセル・アレー27上に光線フットプリントFt1を形成すると
仮定される。光線フットプリントFt1の範囲は円で示され、カメラ・センサーのピクセル
・アレー29の4つの異なる行の12個のカメラ・ピクセルiを包含する。光線フットプリント
Ft1内のカメラ・ピクセルiは図３または図４のプロジェクター・ピクセルj=（5，3）（す
なわち行列要素col_l_row_19）により放射された光線からの光度の少なくとも一部を受け
る。光フットプリントFt1の中央にあるカメラ・ピクセルはもっとも多く光度を受け、白
い正方形で識別され、光フットプリントFt1の周辺部にあるカメラ・ピクセルはより少な
く光度を受け、薄い灰色の正方形として識別される。光線フットプリントFt1内にないカ
メラ・ピクセルは濃い灰色の正方形で示される。図５に図示されるように、これらの白お
よび薄い灰色の正方形は取り込み画像内の非ゼロ要素をなし、ベクトルRcptr（すなわち
列cmra_col_1）内で多数のゼロ値要素（すなわち濃い灰色の正方形）の間に散在する白お
よび薄い灰色の正方形（すなわち非ゼロ値のNZ要素）として示される。
プロジェクター・ピクセルjからの1つの光線の光フットプリントがどのように数個のカ
メラ・ピクセルiを覆うかの拡大図を提供する第2の例が図６（ａ）および図６（ｂ）に示
される。図６（ａ）において、別の典型的なカメラ・センサーのピクセル・アレー29の部
分図は第1行において1からnまで、第2行において（n＋1）から（2n）まで、および第3行
において（2n＋1）から（3n）まで等々と水平に番号が付けられた個々のカメラ・ピクセ
ルiを示す。このシーケンスを続けると、最下段の行に沿ったカメラ・ピクセルiは（m−1
）n＋1から（mn）まで番号が付けられることが理解されよう。

別の典型的な1つのプロジェクター・ピクセルjからの1つの光線で、カメラ・センサー
のピクセル・アレー29に作用する第2の光線フットプリントFt2が円として示される。例示
の目的から、光線フットプリントFt2内にないカメラ・ピクセルi［すなわちj番目のプロ
ジェクター・ピクセルから放射された1つの光線が当たらないカメラ・ピクセルi］は非常
に暗く示され、フットプリントFt2により部分的に覆われるカメラ・ピクセルiは多少暗く
示され、完全にフットプリントFt2内にあるカメラ・ピクセルiは暗くされずに示される。
技術的に周知のように、光線フットプリントFt2に少なくとも部分的に覆われる各カメラ
・ピクセルiは、受けた光の量に比例する光度値を記録する。この光度値はその個別的カ
メラ・ピクセルiの光輸送係数として割り当てることができる。あるいは、各カメラ・ピ
クセルiの光輸送係数は個々のカメラ・ピクセルiにより記録された光度値に比例するよう
にすることもできる。しかし、j番目のプロジェクター・ピクセルからの投射ビームが直
接当たらないカメラ・ピクセルiは光度値がゼロ（またはゼロに近く、または所定の閾値
光度値未満）になるはずで、これらに対応する光輸送係数も同様に光度値がゼロ（または
ゼロに近く）になるはずである。

図６（ｂ）を参照すると、図６（ａ）のフットプリントFt2に対応するような取り込み
画像ベクトルRcptr_j［または行列Tのj番目の列］が示される。この行列Tのj番目の列は
図６（ａ）のカメラ・センサーのピクセル・アレー29において番号の付けられたカメラ・
ピクセルiに各々対応する、光輸送係数の番号付けされた垂直シーケンスとして図示され
る。取り込みベクトルRcptr_jの数のシーケンスは図６（ａ）に示されるカメラ・センサ
ーのピクセル・アレーにおける個々のカメラ・ピクセルiの水平に番号付けされたシーケ
ンスに追従することが好ましい。図示されるように、取り込み画像化ベクトル内で光線フ
ットプリントFt2により覆われたカメラ・ピクセルiに対応する要素のみ光輸送係数として
非ゼロ値、すなわち「NZ」、を有する。他のセンサー・ピクセルはすべて光輸送係数とし
て「ZERO」値を有する。「NZ」は任意の非ゼロ光輸送値を表し、この値は対応するカメラ
・ピクセルiが受けた光度の量に関連することが理解されよう。光線フットプリントFt2は
カメラ・センサーのピクセル・アレー29の数行にまたがっているので、各行は取り込み画
像ベクトルRcptr_jに順に記載されており、ゼロ値光輸送係数の数個の長いシーケンスが3
，4個の非ゼロ、NZ、値光輸送変数の間に散在する。

行列Tを決定する本新規方法に戻ると、まずプロジェクター・ピクセルjの個別の光輸送
係数は光輸送行列Tのj列にマップすることが特記される。プロジェクター・ピクセル間の
最小限の重なりを仮定すると、撮像プロジェクター・ピクセル・アレー27内のプロジェク
ター・ピクセルの第1組S1は光輸送行列Tの対応する列の組（プロジェクター・ピクセル毎
に1つ）にマップすることになる。
[すなわち S1⊂{1，…，（p×q）}]

さらにプロジェクター・ピクセルの第1組S1は目標プロジェクター・ピクセルj、すなわ
ちテストされる目標プロジェクター・ピクセル、を含むと仮定される。
実カメラ25により取り込まれたプロジェクター・ピクセルの第1組を同時に活性化する
ことにより作成される投影画像の第1実画像をRcptr_S1とする。
次にプロジェクター・ピクセルの第1セットS1とはテストされるプロジェクター・ピク
セルjのみ共有するプロジェクター・ピクセルの第2セット、[すなわちS1∩S2={j}]を考え
る。

実カメラ25により取り込まれたプロジェクター・ピクセルの第2セットを同時に活性化
することにより作成される投影画像の第2実画像をRcptr_S2とする。光輸送行列Tのj番目
の列の（テストされる目標プロジェクター・ピクセルに対応する、すなわちjに対応する
）光輸送係数は、取り込まれた実画像Rcptr_S1およびRcptr_S2より、これらが共有する唯
一の光線フットプリント（すなわち図３、図５、または図６（ａ）の光線フットプリント
Ft1またはFt2に類似）を特定することにより直接得られる。この共通光線フットプリント
は第1組S1および第2組S2が共有する唯一の点灯されたプロジェクター・ピクセルjである
、目標プロジェクター・ピクセルjから放射された光線に対応することになる。

従って次のステップは取り込み実画像Rcptr_S1およびRcptr_S2が共有する1つの光線フ
ットプリントをどのように特定するかを判定することである。この共通の光線のフットプ
リントを特定するには取り込み画像Rcptr_S1およびRcptr_S2A双方をピクセル毎に比較し
て、比較した2つのピクセルの暗い方を特定する方法がある。例えば第1の取り込み画像Rc
ptr_S1において、個々の光線フットプリント内の、各々プロジェクター・ピクセルの第1
セットS1の同時点灯に対応する、センサー・ピクセルのみが非ゼロ（NZ）の光度値を有し
、取り込み画像Rcptr_S1内における他のすべてのピクセルはゼロ値を有する、すなわち比
較的暗くなる。同様に第2の取り込み画像Rcptr_S2において、光線フットプリント内の、
同時点灯されたプロジェクター・ピクセルの第2組S2に対応するセンサー・ピクセルのみ
が非ゼロ（NZ）の光度値を有し、他のすべてのピクセルはゼロ値（または暗い）を有する
（すなわち所定の閾値未満）。2つの組S1およびS2は目標プロジェクター・ピクセルjのみ
を共有しているので、取り込み画像双方の直接比較でRcptr_S1およびRcptr_S2双方に共通
する唯一の非ゼロ領域（すなわち暗くない領域）を特定することにより光線フットプリン
ト内でプロジェクター・ピクセルjに対応するカメラ・ピクセルが迅速に特定される。言
い換えれば、Rcptr_S1およびRcptr_S2における点灯領域（すなわち光線フットプリント）
の交差点が特定され、この特定された光線フットプリントはテストされる目標プロジェク
ター・ピクセルjに対応する。

これを達成する一方法は取り込み画像Rcptr_S1およびRcptr_S2A双方をピクセル毎に比
較し、比較された2つのピクセルの暗い方を留保することである。このプロセスは、

と表すことができ、Tjは行列Tのj番目の列で、「MIN」はRcptr_S1およびRcptr_S2にお
いてより低い値のカメラ・ピクセル（すなわちより低い取り込み光度値を有する、より暗
いピクセル）が留保され、より高い値（すなわちより明るい）カメラ・ピクセルは切り捨
てられる。このように、留保される唯一の高光度値はS1およびS2双方に共通する光線フッ
トプリントに対応する。

言い換えれば、各個別のプロジェクター・ピクセルjの寄与はカメラ・センサーのピク
セル・アレー29のはっきりと区別された部分にマップされるため、センサー・ピクセルi=
1からi=（m×n）までの中に取り込み画像Rcptr_S1およびRcptr_S2に共通で目標プロジェ
クター・ピクセルjに対応するカメラ・ピクセルiの組Lがある。
[すなわちＬ⊂ {1，…，（m×n）}]
目標プロジェクター・ピクセルjはプロジェクター・ピクセルの組S1およびS2の交差点
で（すなわちjは組S1およびS2双方に共通する唯一のプロジェクター・ピクセルである）
、
S1∩S2={j}
となることが再度特記される。従って、目標プロジェクター・ピクセルjに対応しない（
すなわち組Lに含まれないピクセル）取り込み画像ピクセル中（Rcptr_S1およびRcptur_S2
双方において）、Rcptr_S1またはRcptr_S2のいずれかで比較されたカメラ・ピクセルの少
なくとも1つは光を受けていない。光を受けるカメラ・ピクセルは光を受けないカメラ・
ピクセルより明るくなるため、演算MIN（Rcptr_S1， Rcptr_S2）はセットLに含まれるピ
クセル［すなわち∈L］のみ点灯され、これはTj、すなわち行列Tにおけるj番目の列、の
良好な概算となる。

これはプロジェクター・ピクセル・アレー27における隣接プロジェクター・ピクセルの
組が列および行（または１点のみで交差する、すなわち１つのプロジェクター・ピクセル
jのみを共有する、任意のパターンの対）で点灯され、プロジェクター・ピクセルの点灯
された列に対し取り込み画像の第1集合Rcptr_Syが作られ、プロジェクター・ピクセルの
点灯された行に対し取り込み画像の第2集合Rcptr_Sxが作られた場合、任意の個別のプロ
ジェクター・ピクセルに対する光輸送係数は双方の集合を比較し点灯された列の取り込み
画像が点灯された行の取り込み画像と交差する領域Lを特定することにより得られ、交差
点はプロジェクター・ピクセルjを単独に活性化することにより映写される光線に対応す
る。

このように、輸送行列Tを決定する一方法は点灯されたq列のプロジェクター・ピクセル
のq個の取り込み画像に対応する画像Rcptr_Sy_1からRcptr_Sy_qの第１セットを集め、点
灯されたプロジェクター・ピクセルの点灯されたp行のp個の取り込み画像に対応する画像
Rcptr_Sx_1からRcptr_Sx_pの第２組を構築することである。次にプロジェクター・ピクセ
ル・アレー27におけるすべてのプロジェクター・ピクセルj=1からj=（p×q）に対し、行
および列の取り込み画像の対、Rcptr_Sy_aおよびRcptr_Sx_bが存在し、組Rcptr_Sy_aおよ
びRcptr_Sx_bのの交差点は目標プロジェクター・ピクセルjの活性化により作成される光
線フットプリントに対応する。従って、投影画像のセット、
Rprjct_Sy_1からRprjct_Sy_qおよびRprjct_Sx_1からRprjct_Sx_p
を構築する必要があり、ここで各投影画像Rprjct_Sy_1からRprjct_Sy_qは任意の投影画像
Rprjct_Sx_1からRprjct_Sx_pと対にされ、投影画像の各対は1つの光線フットプリントの
みを共有する。すなわち、
∀j ∈{1，…，（p×q）}∃ Rprjct_Sy_a， Rprjct_Sx_b|Rprjct_Sy_a∩Rprjct_Sx_b={
j}
となる。上記の式は{1…（p×q）}におけるすべてのプロジェクター・ピクセルjについて
投影画像の対が存在し、各々は異なって構成されたパターンを有し、構成されたパターン
の交差点は共通のプロジェクター・ピクセルjに対応する1点（すなわちパターンの区分、
または１つの光フットプリント領域）において交差することを意味すると解釈される。構
成されたパターンのこのような対の基本例として垂直な光の線および水平な光の線の投影
対があげられる。この場合、垂直な光の線の取り込み画像と、水平な光の線の取り込み画
像との交差点はテストされる目標プロジェクター・ピクセルjに対応するすべてのカメラ
・ピクセルi（すなわちテストされるプロジェクター・ピクセルjから放射された光線によ
り作成される光線フットプリント内に入るすべてのカメラ・ピクセルi）を含む。

従って輸送行列T内の任意の列Tj［ここでj=1から（p×q）］は画像Rcptr_Sy_1からRcpt
r_Sy_qおよびRcptr_Sx_1からRcptr_Sx_pにより合成することができる。この特性を満足す
る方法はピクセル座標を使用することである：Rprjct_Sx_jはjに等しいx座標を有するピ
クセルのみオンになる第1投影画像とし、Rprjct_Sy_kはkに等しいy座標を有するピクセル
のみオンになる第2投影画像とする。そうするとMIN（Rprjct_Sx_j，Rprjct_Sy_k）はプロ
ジェクター・ピクセル（j，k）がオンにされたことに対応する画像を与える。このプロセ
スは図７（ａ）、７（ｂ）、８（ａ）、８（ｂ）、９、および１０を参照するとより良く
理解できる。

図７（ａ）において、場面または表示環境は市松格子パターンを有する平たい表面41と
して例示される。市松格子パターンは投影光線の対比を提供することにより単に本説明を
分かり易くするために示され、表示環境は全くパターンがなくても良く、不規則な形状を
していても良いことが理解されよう。各垂直な光の線および水平な光の線の相対位置は、
これらを作成する時にどのプロジェクター・ピクセルがオンにされたか分かっているため
、既知のもので、以下により詳細に説明するように、それらの既知の相対移動を用いて実
プロジェクター21を較正することができる。

まず、明るい垂直線、または垂直な光ビーム（すなわち投影プロジェクターピクセルの
列から同時に放射された光線の列）47_kが実プロジェクター21により表面41に投影される
。この場合、明るい垂直線47_kはプロジェクター・ピクセル・アレー27内の、kに等しいy
座標を有するすべてのプロジェクター・ピクセルをオンにすることにより生成される。実
カメラ25が次にこの実画像、Rcptr_Sy_k、をプロジェクター・ピクセルの点灯された列の
一例として取り込む。

図７（ｂ）では、図７（ａ）に類似したすべての要素が同様の参照番号を有するが、実
プロジェクター21が光線の第2の明るい垂直線47_tを表面41に投影する。この場合、明る
い垂直線47_tはtに等しいy座標を有するすべてのプロジェクター・ピクセルをオンにする
ことにより生成される。実カメラ25が次にこの画像、Rcptr_Sy_t、を点灯された映写ピク
セル列の別例として取り込む。実プロジェクター21はプロジェクター・ピクセル・アレー
27のq列各々に対し光線の別の明るい垂直線を投影でき、実カメラ25は投影された明るい
垂直線各々の別の画像を取り込めることが理解されよう。

図８（ａ）に関し、図７（ａ）および７（ｂ）に類似したすべての要素は同様の参照番
号を有し、上記に説明される。この場合実プロジェクター21は明るい水平線、すなわち一
行の投影[プロジェクター・？]ピクセルから同時に映写表面41に放射された水平な光線か
らなる光ビーム49_jを映写表面41に投影することが好ましい。明るい水平線49_jはjに等
しいx座標を有するすべてのプロジェクター・ピクセルをオンにすることにより生成され
る。実カメラ25は次にこの画像、Rcptr_Sx_j、をプロジェクター・ピクセルの点灯された
行の一例として取り込む。

図８（ｂ）において、実プロジェクター21は光線の第2の明るい水平線49_r（同時に点
灯された個別の光線からなる）を表面41に映写する。前と同じように、水平ビーム49_rは
rに等しいx座標を有するすべてのプロジェクター・ピクセルをオンにすることにより生成
され得る。実カメラ25は次にこの画像、Rcptr_Sx_r、をプロジェクター・ピクセルの点灯
された行の別例として取り込む。実プロジェクター21はプロジェクター・ピクセル・アレ
ー27のp行各々に対し光線の別の明るい水平線を投影でき、実カメラ25は投影された明る
い水平線各々の別の画像を取り込めることが理解されよう。

図７（ａ）からの取り込み画像Rcptr_Sy_kおよび図８（ａ）からの取り込み画像Rcptr_
Sx_jをピクセル毎に比較し（あるいは各々の明るい垂直線および明るい水平線のみを比較
して）、演算MIN（Rcptr_Sx_j，Rcptr_Sy_k）を用いてで比較された2画像のピクセルの内
より暗い方のみを留保し2つの内明るい方を切り捨てると、図９（ａ）に示される画像43
’が生成される。図９（ａ）および９（ｂ）ににおいて図７（ａ）、７（ｂ），８（ａ）
及び８（ｂ）に類似したすべての要素は同様の参照番号を有しているがアポストロフィが
加えられ、上記に説明される。

画像Rcptr_Sx_jのほとんどは画像Rcptr_Sy_kと同じであるため（すなわち、両者ともほ
とんど平たい表面41上の投影光線による単純な市松格子パターンからなる）、比較された
2つのピクセルの内より暗い方を留保しても結果として得られる画像の大半は変わらない
。つまり、比較された2つのピクセルが比較的同じである場合、いずれのピクセルを他方
の代わりに選んでも結果として得られる画像43’はあまり影響されない。しかし、取り込
み画像Rcptr_Sy_kの明るい垂直線47_kを取り込み画像Rcptr_Sx_jの明るい水平線49_j上に
ない対応ピクセルと比較した場合、2つの画像ピクセルのより暗い方を留保することは画
像Rcptr_Sy_kからの明るい垂直線のピクセルを切り捨て、画像Rcptr_Sx_jからの、プロジ
ェクター・ピクセルではなく周辺光で照明されたそのままのピクセルを留保することにな
る。

従って、明るい垂直線は生成画像43’から取り除かれる。同様に画像Rcptr_Sx_jの明る
い水平線49_j上のピクセルを画像Rcptr_Sy_kの明るい垂直線47_k上にない対応ピクセルと
比較した場合、2つの画像ピクセルのより暗い方を留保することは画像Rcptr_Sx_jからの
明るい水平線上のピクセルを切り捨て、画像Rcptr_Sy_kからの、プロジェクター・ピクセ
ルではなく周辺光で照明されたそのままのピクセルを留保することになる。これにより水
平線49_jも生成画像43’から取り除かれる。しかし、明るい垂直線47_kが明るい水平線49
_jと交差する領域内では、比較される画像ピクセルは双方とも光線による影響を示す明る
く点灯されたピクセルである。この交差点領域内のこれら2つの画像ピクセルを比較する
と、2つの明るいビームのピクセルのいずれかが画像41’用に選択されることになる。そ
の結果、画像41’はプロジェクター・ピクセル・アレー27の座標（j，k）から放射される
投影光線に対応する、明るく点灯した領域53を示す。

このように、座標（j，k）を有するプロジェクター・ピクセルに対する光輸送係数は（
j，k）におけるプロジェクター・ピクセルから個別的に投射される光線の画像を物理的に
取り込む必要なくして、生成画像53から抽出することができる。

図９（ｂ）に第2の例が示され、図７（ｂ）および図８（ｂ）に対応する実取り込み画
像（これは上述の指名方法に従い各々実取り込み画像Rcptr_Sy_tおよびRcptr_Sx_rに対応
する）の組み合わせがプロジェクター・ピクセル・アレー27の座標（r，t）から放射され
た投影光線に対応する第2の明るく点灯した領域55をもたらす。

同様のプロセスに従い、各投影ピクセルjを1つずつ個別的にオンにし投影することなく
、プロジェクター・ピクセル・アレー27におけるすべての投影ピクセルの光輸送係数を特
定することができる。仮定的かつ単独的に活性化されたプロジェクター・ピクセルを生成
してプロジェクター・ピクセルの光輸送係数を得るこの方法は実プロジェクター21のプロ
ジェクター・ピクセル・アレー27におけるプロジェクター・ピクセルの各行および列に対
する（p＋q）個の取り込み画像しかせいぜい必要としない。さらに、一旦すべてのピクセ
ル映写位置が特定されると、（p＋q）個の取り込み画像は廃棄することができ、保存する
必要があるのはインデックスおよび対応フットプリント情報のみである。

この方法の例が図１０に示され、プロジェクター・ピクセル・アレー27（網目パターン
として図示）の部分図がカメラ・センサーのピクセル・アレー29（同様に網目パターンと
して図示）と比較される。本例において実カメラ25のピクセル密度（すなわち解像度）が
実プロジェクター21の解像度より高いことが好ましく、従って単一のプロジェクター・ピ
クセルjから放射された光ビームは数個のカメラ・ピクセルiにかかる光フットプリント（
F1などの）を作り出す可能性があることをよりよく示すために図解上、部分的なカメラ・
センサーのピクセル・アレー29を図示する網目パターンはプロジェクター・ピクセル・ア
レー27をあらわす網目パターンより濃くなっている。

図１０の本例において、実プロジェクター・ピクセル・アレー27のインデックスは円1
，2，3，…（q＋1）…（2q＋1）…等々が個々のプロジェクター・ピクセルjを表す部分ア
レーで表される。同様に実カメラ・センサーのピクセル・アレー29は個々に活性化された
プロジェクター・ピクセルjに対応するフットプリント情報を表した円形光フットプリン
トF1，F2，F3，…F（q＋1），…等々の対応部分アレーが重ねられて示される（光散乱は
無視すると仮定して）。このように、フットプリントF1，F2，F3，…，F（q＋1），…等
々は各々プロジェクター・ピクセル1，2，3，…，（q＋1）等々に対応する。

この方法に従うと、2組の情報しか格納する必要がない。第1組の情報はプロジェクター
・ピクセルjのインデックスに対応し、第2組はカメラ・ピクセルiのグループを各プロジ
ェクター・ピクセルjに結び付けたフットプリント情報に対応する。言い換えれば、ゼロ
値の係数は格納する必要がなく、メモリー要件がかなり削減される。

この情報を体系付ける第2の例が図１０に示され、プロジェクター・ピクセルjのインデ
ックス61はグレースケール（すなわち非ゼロ値、または「NZグレースケール」）のカメラ
・ピクセルiの情報のグループ63（すなわちもたらされた光ビームのフットプリントに対
応する）を指す、またはそれに対応するように図示される。

デュアル・フォトグラフィーに向けて必要な光輸送係数を生成するために格納する必要
のある画像数をどのように削減するか、および格納し操作する必要のあるデータの量をど
のように削減するかを示した上、以下次の部分ではデュアル・フォトグラフィーを実施す
る際の実際的な問題のいくつかを扱う。上記で説明したとおり、光輸送行列Tは非常に大
きい可能性があり、その使用（またはその数学的転置のデュアル光輸送行列T^Tの使用）に
は大量のアクティブ・メモリー（例えばDRAM）および法外な演算処理能力／時間を必要と
する。従ってデュアル画像の一般的な使用は今まで実用的でなかった。

効率的にデュアル画像を構築するには、先ず、
Vcptr”=T^T Vprjct”
であることが特記される。仮想カメラ21”における仮想カメラ・センサーのピクセル・ア
レー27”は実際には実プロジェクター21における実プロジェクター・ピクセル・アレー27
に対応するため、仮想カメラ21”で得たVcptr”内の任意の仮想カメラ・ピクセルに対し
同じインデックスjを用いることが便利である。従って、仮想取り込み画像における各仮
想プロジェクター・ピクセルj対T^Tにおいて対応する要素の行の関係は、
Vcptr”（j）=T^Tj Vprjct”
と示すことができ、T^TjはT^Tにおけるj番目の行を指す。

上述のように、T^Tは光輸送行列の数学的転置（すなわち行列Tを対角線で回転させる）
で、行T^Tjの値（ここでjは1から（p×q）の任意の値）は従って行列Tのj番目の列に対応
する（すなわちT_COLj）。Tの各列は（m×n）個の要素を有するので（すなわち実カメラ25
のピクセル解像度に等しい）、これは大量の要素のようにみえる。しかし、本実施におい
て行列Tの各列において限定数の要素しか非ゼロでない（すなわち垂直および水平光ビー
ムの交差点が当たったカメラ・センサー・ピクセルi、すなわち光のフットプリント、に
対応するもの）ことを鑑みると、行列Tの各列j内（さらには各行T^Tj内）における（m×n
）個の要素の内数個のみ非ゼロであることは自明である。従ってVcptr”（j）を演算する
際にT_COLjのすべての要素を調べる必要はない。実際図１０および１１に関連して上述の
ように、すべての個別に活性化されるプロジェクター・ピクセルjおよびそれらに対応す
る光ビームのフットプリント情報63を示す単一のインデックス61が格納されることが好ま
しい。

図１１に示すように、インデックス61は投影された各光線（実プロジェクター21の個別
のプロジェクター・ピクセルjからの）についてグレースケール入力63のリストを結び付
ける。グレースケール入力63の各グループはTの各列内の非ゼロ入力に対応しており、光
輸送行列Tのある列の各行列演算の際にはこれら非ゼロのグレースケール値のみ調べる必
要があることが理解されよう。このように、Vcptr”（j）=T^Tj Vprjct”の各値を決定す
るのに必要な計算の数はかなり削減される。

言い換えれば、処理する必要のある行列Tの各列G内における要素のこのサブセットSVcp
tr”（G）はT_COLG（a）と定義することができ、ここでaはVcptr”（G）における任意の仮
想取り込みピクセルである[すなわちa∈{1，…，（p×q）}]。従って、各SVcptr”（G）
に対し調べるべき要素のセットは：
SVcptr”（G）={a|∀z∈{1，…，（p×q）}T_COLG（a）≧T T_COLz（a）}
と定義することができる。一般的に‖SVcptr”（G）‖≪（p×q）であるので、

を演算する方が、
Vcptr”（j）=T^Tj Vprjct”
を演算するよりはるかに時間がかからない。

この方法を用いて生成されたデュアル画像の例を図１２（ａ）および１２（ｂ）に示す
。図１２（ａ）は実プロジェクターにより投影された根本画像を示す。図１２（ｂ）は本
方法の実施による演算の結果もたらされるデュアル画像を示す。図１２（ｂ）のデュアル
画像は実プロジェクター27（すなわち仮想カメラ21”）により仮想的に取り込まれた画像
を表しており、または言葉を変えると実プロジェクター21が「見た」画像である。

上記の考察はより少ない画像の組から効率的にデュアル画像を演算する方法を示し、こ
れは演算時間と併せて画像取り込み時間も節約する。上述のように、実取り込み画像およ
びデュアル取り込み画像は各々実カメラ25および実プロジェクター21双方を較正するのに
用いることができる。

つまり、プロジェクター視点からの画像を直接取り込むことはできないため、簡単な解
決はデュアル・フォトグラフィー手法を用いて対応カメラ画像からプロジェクター視点画
像（すなわちデュアル画像）を構成し、次に構成された画像を用いてプロジェクターを較
正することである。例えば、入念に測定した特徴を有する既知の被写体の実画像をさまざ
まな角度からいくつか撮った後、被写体の既知の寸法を用いて異なった角度の視点により
生じた歪みを補正することにより実カメラを較正することができる。同じ取り込み画像か
らデュアル・フォトグラフィーを用いて実プロジェクターが見た仮想画像を次に上述のよ
うに生成し、実カメラに類似した方法で実プロジェクターを較正することができる。

しかしこの簡単な方法と結び付いた一つの問題は光輸送行列Tを生成し操作し、大量の
カメラおよびプロジェクター画像ピクセルによりもたらされる大きな画像ベクトルを演算
する難しさである。この労働集約的で高価なプロセスは上述のデュアル・フォトグラフィ
ー方法を用いることにより相当緩和されるものの、図２（ａ）に示すようなプロジェクタ
ー‐カメラ・システムにおける実プロジェクター21を較正する目的から出願者は完全なT
行列を生成し完全なデュアル画像を作成する必要を避けながらもデュアル画像（すなわち
実プロジェクター21が「見た」画像）を用いる利点のいくつかを利用して実プロジェクタ
ー21の較正を簡単にする新規な方法を開発した。

映写場面が比較的平たいと仮定すると、光輸送係数を判定しなければならない光フット
プリントの数を大幅に減らすことができる。言い換えれば、プロジェクターを較正するた
めに完全なデュアル画像を構築することなく、特に映写表面にあまり凹凸がない場合戦略
的な点の組の位置を判定するだけで良いことに注目することにより完全なT行列の生成を
全く避けることができる。例えば、戦略的な点の組は図5Aにおけるプロジェクターから見
た平たい表面41の市松格子パターン内における正方形の角であることができる。映写場面
の表面凹凸が大きいほど、戦略的に選ばれた点の組における点の数が多くなる。逆に映写
場面が平たいほど、戦略的な点の組における点の数が少なくなる。

この戦略的な組における点の数を減らすという目標を達成し、それにより完全なT行列
を生成し操作することを避け、さらにデュアル画像生成プロセスのいくつかの特徴を較正
プロセスそのものに組み入れるために出願者はホモグラフィーに基づく方法を適合させた
。本発明のこの別の実施形態はプロジェクター視点画像にわたり市松の角の特徴（または
他の既知の特徴）の座標を、デュアル画像の構築および構築されたデュアル画像からの角
の検出を必要とすることなく、直接的に演算する。

この新規な方法において、実カメラを用いて平面状の市松格子の画像を取り込み、取り
込み画像にわたり市松ブロックの角を検出することができる。市松模様は全く例示的な目
的で用いられ、どのような場面を取り込むこともできることが理解されよう。本件の場合
、投影された垂直および水平線の配向は知られているので、場面にかかわらず投影線の変
動を特定し補正することができる。このように、プロジェクター‐カメラ・システムの構
成要素はすべて同時に較正される。

次に、プロジェクター画像は2つ（またはそれ以上）の別個の視点から見た単一場面の2
つ（またはそれ以上）の眺めを関連付ける、いわゆる透視映写モデルに追随していること
が観察される。つまり、異なった眺めは場面に対し異なった角度に位置しているので、同
じ場面の異なった眺め（または画像）を「見る」ことになる。しかし、実場面は1つしか
ないので（場面の眺めの数に関係なく）、異なった眺め間の数学的関係を実現し、任意の
視点における任意の点を実場面において対応する点に結び付ける（かつ他の視点各々にお
いて対応する点に結び付ける）ことができる。

これら別個の眺めの１つが実プロジェクターの「見た」仮想画像であると仮定し、第2
の別個の眺めが実カメラにより取り込まれた実画像であるとみなすと、完全なデュアル画
像を生成することなく透視映写モデル（2つの眺めを共通の実場面に関連付ける）により
取り込み実画像から仮想画像に関係する何らかの情報を抽出できることになる。

この方法を用い、出願者は完全なデュアル画像を必要とせずに実プロジェクターを較正
するために充分な情報を抽出する方法を考案した。従って、デュアル画像が完全に作成さ
れなくても、迂回的な方法ではあるがプロジェクターにカメラ較正手法を適用することが
できる。

透視映写モデルの下で、平たい被写体を異なった眺めから映写した2つの画像間の関係
は単純な線形投影変換またはホモグラフィーである。この変換は平たい被写体上の任意点
の座標（すなわち同次座標）をその平たい被写体の具体的な眺め上で対応する点の座標に
関連付ける。本実施形態で、平たい市松格子のプロジェクター視点画像は対応するカメラ
画像のホモグラフィーである。具体的には、実場面（すなわち市松格子）の任意点Pにつ
いて、そのプロジェクター視点画像Up= （up， vp， 1）における同次座標およびカメラ
画像Uc=（uc，vc，1）における座標は次の方程式を満足する。

Up=λHUc
ここでλはスカラーで、Hは3×3ホモグラフィー変換行列（技術的に知られているよう
に）で、右下の入力は1に設定される。対応座標対は3つの線形方程式を提供し、方程式の
内１つがスカラーを決定し、他の2つはホモグラフィー変換行列Hを決定するために用いら
れる。3×3行列Hには8つの未知の入力があるので、市松模様上のNの座標点（ここでN≧4
）の対応が与えられると、プロジェクター視点画像およびカメラ画像間のホモグラフィー
は2Nの線形方程式を解くことにより再生することができる。Nの数が大きければ大きいほ
ど、プロジェクター視点およびカメラ画像間の座標点を関連付けるエラーが低くなる。

対応する座標を得るために、10個の白点が市松格子パターンなどの場面上に投影される
ことが好ましい。投影された白点を有する市松格子パターンの画像が実カメラ25などの実
カメラを用いて取り込まれ、カメラ画像における10個の点の座標が演算される。本プロセ
スで、10個の点は取り込み画像において対応する座標の演算中区別されていることのみが
必要である。これは10個の点を順に投影し、対応する座標を順に判定することによって達
成できる。あるいは、異なった色の点を同時に投影して、異なった点を色で識別すること
ができる。

プロジェクターは好ましくは既知の相互関係において点を投影したので、投影画像にお
ける点の座標は分かっている。これは10対の対応座標をもたらし、1組は実カメラで取り
込まれたもの、第2組は実プロジェクターで投影されたものである。一旦ホモグラフィー
が再生されると、カメラ画像において検出された市松格子の角の座標を直接変換してプロ
ジェクター視点画像において対応する角座標を演算することができる。次に前述のような
カメラ較正方法を用いてプロジェクター・パラメーターを較正することができる。

この方法の例を図１３に示す。図１３において、特徴取り込み結果は次のとおりである
。輪郭で示されない円、または点（例えば点81）はホモグラフィーを推定するために用い
られ、輪郭を描かれた円、または点（例えば点83）は角の点特徴である。見られるように
、輪郭を描かれた点83は実際の角上にあり、検出された各角のプロジェクター座標が正し
く取り込まれたことを示している。

しかし点を投影する代わりに、1点で交差する複数対の線（すなわち上述の水平および
垂直線）を投影する上述の方法を使用し、線の各対の1交差点から点情報を抽出すること
ができることが理解されよう。さらに、投影された線の対の空間関係は既に分かっている
ので、線を上述の市松格子パターンのような既知のパターン上に投影する必要はない。つ
まり、プロジェクター・ピクセル・アレーのどの列と行が同時に点灯されたか分かってい
るので、その空間関係も分かっている。さらに、カメラはその特定の場面に対し予め較正
されている必要はないことが特記される。逆にプロジェクターとカメラは同時に較正され
ることができる。

前記に説明したとおり、点情報を抽出するためにパターンを使用するこの方法は一連の
パターン投影および画像取り込み工程を含む。従って、較正されていないカメラが各投影
パターン（すなわち垂直または水平線）を取り込む際、映写表面の凹凸による投影パター
ンの歪みをその時点では無視することができる。すべてのパターンが取り込まれると、垂
直および水平線間の空間関係が分かっているのでプロジェクターとカメラとの間の空間関
係（または変換）を設定することができる。つまり、投影された垂直および水平線間の空
間関係は、それらを生成する際どのプロジェクター・ピクセルが点灯されたか分かってい
るので、分かる。さらに、垂直および水平線の真の配向が分かっているので、映写場面上
の凹凸および眺めの角度を補正することができる。

垂直線の取り込み画像を水平線の取り込み画像と組み合わせて点情報を抽出する際、ど
のプロジェクター・ピクセルが抽出された点に関連しているかが分かっており、さらにカ
メラ・ピクセルのどのグループが抽出された点（垂直および水平線の交差点で判定される
）に対応するかを判定することができる。このようにプロジェクターとカメラとの間のホ
モグラフィー関係（すなわち一方の眺めを他方のに変換）はいずれかの装置を個別に特定
の映写場面（または映写表面）に対し較正する必要なく達成することができる。

この方法は上述の輸送行列Tを生成する簡略化された方法を取り入れているが、必要な
画像投影・取り込み工程の数を（p＋q）から、望ましい点の数で決定される、（p＋q）の
ほんの一部にまで削減する。場面環境が平たい映写表面であるプロジェクター‐カメラ・
システムを較正するのに最小限4個の点が用いられるが、映写表面の凹凸、画像取り込み
工程におけるエラーの可能性、および投影された光の線またはパターンの周辺光ノイズの
存在による識別エラーを考慮に入れるため、7つの水平線および7つの垂直線を投影して多
ければ14から49個の点を生成すればほとんどのエラーを克服するのに十分であることが見
出されている。映写場面の表面凹凸が多いほど、交差する線の対の必要数が多いことが理
解されるであろうが、この7つの垂直線と7つの水平線という数は多くの実在する状況に十
分であることが見出されている。（p＋q）個よりはるかに少ない点の数しか必要でない１
つの理由は、デュアル・フォトグラフィーで使用するために完全な輸送行列を生成しよう
としているのではなく、むしろ2つの視点、すなわち実カメラの実視点と実プロジェクタ
ーからの仮想視点、の間のホモグラフィー関係を見出すために既知の関係の点を数個特定
することに関心があるからである。しかし、完全な光輸送行列Tの推定は点の間に円滑な
遷移を仮定すれば数個の関係する点から生成できることが強調される。つまり、一旦ホモ
グラフィー関係が得られると、Up=λHUcの同じ関係を用いて推定光輸送行列Tを構築する
際に隙間を埋めることができる。

上述の輸送行列Tを生成する方法のさらに別の用途は以下の問題：つまりプロジェクタ
ーとカメラの対があるとして、カメラが特定場面（すなわち投影環境）上で望ましい眺め
を「見る」ようにしたい場合、望ましい眺めを実現するためにプロジェクターは何を場面
に照らすべきか、を解決するために適用することができる。この課題は以下「ビュー投影
」と呼ぶ。

投影に必要な画像を見つけることは明らかに場面の幾何学的形状およびプロジェクター
装置の投影特性とともに、プロジェクターからの光の反射が正確な望ましい眺めを実現す
るよう場面の測光特性の詳細かつ正確な知識を必要とする。均一なアルベド、すなわち反
射性、およびパラメトリック形状を有する表示表面の場合、これら必要な測定は明示的に
なすことができる。

しかし恣意的に複雑で、不均一な表面反射率特性を有するノンパラメトリック形状上で
高画質の画像を実現するのはまだ困難な課題で、幅広い種類のツールに精通していること
と人間による相当な介入を必要とする本発明の一目的は完全に自動的で、平常通りのハー
ドウェア設定以上のユーザー介入またはパラメーターの微調整を必要としない測定を考案
することである。言い換えれば、「ビュー投影」能力を達成したプロジェクター‐カメラ
・システムはボタンを押すだけで完全に自ら較正すべきである。

困難な周囲環境の下で複雑な表面に正しく表示できる映写システムは多くの実社会の用
途を有する。これを完全に自動化すると、専門的な表示設定が必ずしもないような周囲環
境において使用することができる。本発明の別の目的は非標準的な機器の必要性を減らし
、普通の消費者が入手できるような市販部品で良質な較正を達成することである。この目
標はこれまでの実施形態の特徴および利点を自動化され簡略化されたプロセスに組み合わ
せることにより達成することができる。

図２（ａ）における、1台の実プロジェクター21および1台の実カメラ25からなる画像設
定に関連して前記に説明したように、実プロジェクター21はp行×q列のプロジェクター・
ピクセル・アレー27を有し、実カメラはm行×n列のカメラ・センサーのピクセル・アレー
29を有する。実プロジェクター21から放射される光線は場面（すなわち映写表面）から反
射し、ある部分は最終的に実カメラ・センサーのピクセル・アレー29に到達する。一般的
に、各光線は場面において分散、反射、屈折され、カメラ・センサーのピクセル・アレー
29のいくつか異なった箇所に当たる。このように、プロジェクター・ピクセルjから放射
される光線は実カメラ25に到達し、カメラ・センサーのピクセル・アレー29全体にわたり
m×nの画像を形成し、各カメラ・ピクセルiはある程度の光の量を受ける。投影された画
像を（p×q）要素の実画像ベクトルRprjctと表し、取り込まれた画像を（m×n）要素の取
り込み画像ベクトルRcptrと表すと、実プロジェクター21およ実カメラ25間の光輸送は以
下のように記述することができる。
Rcptr=T Rprjct
ここでTは光輸送行列である。図２（ｂ）に図示されるように、ヘルムホルツの相反定
理によると、方程式
Vcptr”=T^T Vprjct”
を用い、プロジェクター21はp行×q列の仮想カメラ21”とみなされ、実カメラ25はm行×n
列の仮想プロジェクター25”とみなされる「デュアル」な設定をモデル化できることが示
されている。これにより「デュアル・フォトグラフィー」が可能になり、実プロジェクタ
ー21により取り込まれたように見える画像を合成することができ、場面は実カメラ25から
発せられた光で照らされるように見える。

本実施形態の目的である「ビュー投影」は別の問題に取り組んでいる。「ビュー投影」に
おける関心は場面を照らすために用いた場合、カメラが所定の望ましい画像を取り込める
ようなプロジェクター画像を見出すことである。光輸送の見地からすると、Tおよび望ま
しいRcptrが与えられ、Rprjctを再生、すなわち生成、したいわけである。光輸送行列Tの
逆、T^-1、を判定できればRprjctは明らかに次の方程式で見出すことができる。
Rprjct=T^-1 Rcptr

光輸送行列Tの逆は過去において他の目的に用いられている。例えば、Seitz他による論
文「逆光輸送の理論」（「A Theory of Inverse Light Transport」）、（IEEE Internat
ional Conference on Communications、ICC V05）は引用により全体として本明細書に組
み入れられるが、これにおいて、光輸送行列Tの逆を用いて任意の場面における光の跳ね
方を分析している。この方法において、場面はη個の跳ね画像の総計に分解され、各画像
はカメラに到達する前にη回跳ねる光の寄与を記録する。「インパルス画像」の行列を用
い、各η個の跳ね画像を演算して光がどのように場面を通して伝播するかを推測する。

Seitz他が取り組んでいる問題はもちろん「ビュー投影」が課すものとは異なり、後者
の場合は望ましい画像（例えばRcptr）が提供または想定され、望ましい画像を実現でき
る未知の投影源を推測しようとする。この場合はRprjct=T^-1 Rcptrを演算することが有益
である。デュアル・フォトグラフィーのT^T Rprjct”は仮想取り込み画像Vcptr”を具現し
、これはRcptrの異なったビューであるが、投影画像Rprjctの実際の源は示されないこと
が特記される。

しかし輸送行列Tの逆、T^-1、は転置より演算が難しく、演算リソースをはるかに多く必
要とする。事実、Tの全体の大きさが故にT^-1の演算は甚大な演算リソースを必要とする極
めて困難なタスクである。尚悪いことには、任意の行列の逆を見出すことは常に可能では
ない。つまり、行列によっては逆がないこともある。

技術的に周知のように、恒等行列、または単位行列はIで示され、所定の行列Aに対し次
の関係が適用できる。
AI=IA=A
行列Aが配列m×nの行列である場合、乗法前の恒等行列Iは配列m×mとなり、一方乗法後
の恒等行列Iは配列n×nとなる。
行列の乗法的な逆は通常単位行列Iの点から定義される。行列Aの左乗法的な逆はBA=Iと
なるような行列Bで、行列Aの右乗法的な逆はAC=Iとなるような行列Cである。行列Aの左お
よび右乗法的な逆が等しい場合、左および右乗法的な逆は単に「乗法的な逆」、または逆
と呼ばれ、A^-1で示される。

幸いに、出願者は多くの表示設定において、輸送行列Tの逆の近似はより簡単に演算さ
れ得、充分かもしれないことを見出した。しかし行列の逆に対する適当な近似を作成する
ことは一般的に光輸送行列Tにない特定の基準を満足することが必要となる。従って逆T^-1
の近似を作成する前に、適当に修正された光輸送行列Tを作成する必要がある。

一般的にT^-1≠T^Tである。しかし上記T^Tの推定を生成するのに用いられた制約の1つは同
様にT^-1の構築にも有用である。上述のように、ほとんどのプロジェクター‐カメラの表
示用途において、プロジェクターから発射された任意の区別可能な2つの光線jおよびkは
通常カメラ・センサーの区別可能な部分にあたる、すなわち光線jおよびk各々からの光に
当たるカメラ・センサーのピクセルはあまり重複していないという限定を一般的に用いる
ことができる。この特徴は以下「表示制約」と呼ばれる。

場面が牛乳の入ったコップからなり、光が牛乳により拡散されかなりの重複をもたらす
上述の例のように、一般的に場面においてかなりの光散乱がある場合「表示制約」に違反
する可能性がある。「表示制約」に違反する場面の例が図１４に示され、ここでは2個の
ワイン・グラスがプロジェクターと映写場面との間に含まれかなりの光散乱をもたらす。
本例において文字からなる投影画像が場面に投影され、ワイン・グラスのために多くの光
学的歪みを受けることが示される。以下に「表示制約」が破られた場合にこのような光散
乱を補正する方法が提供されるが、本考察に関しては、「表示制約」が満足され、投影さ
れる各ピクセルが次のものと区別可能であるとまず仮定される。

さらに前記に説明したとおり、輸送行列Tの各列はプロジェクターからの1ピクセルによ
りもたらされる投影画像である。従って列入力のすべては対応するプロジェクター・ピク
セルから放射される光が当たったカメラ・ピクセルに対応するものを除きゼロ値を有する
。

隣接する光フットプリント（隣接して点灯されたプロジェクター・ピクセルにより作成
）に重複がない場合Tの列は直交することに出願者たちは気が付いた。実世界の用途にお
いては、表示制約により、隣接する光フットプリント間の重複は最小限で、これは異なっ
たプロジェクター・ピクセルからの光は主に異なったカメラ・ピクセルに当たることを意
味している。この結果、2列のTが隣り合わせに配置されると、非ゼロ入力は殆どの場合並
ばず、点の積はゼロに近くなる。これはTの列が互いにほぼ直交していることを意味して
いる。本手法において、これらの最小限に重なりあるピクセルはT行列の作成から取り除
かれ、その結果定義上直交する近似T行列がもたらされる。より詳細に後述されるように
、この手法によりT行列の作成および操作をさらに簡略化することが可能になる。

「表示制約」により、異なったプロジェクター・ピクセルによる光は主に異なったカメ
ラ・センサー・ピクセルに当たる、すなわち異なったプロジェクター・ピクセルに対応す
るカメラ・ピクセルは互いにあまり重複しない。この例は図１５に示され、ここで第1プ
ロジェクター・ピクセルからの第1光フットプリントは第2プロジェクター・ピクセルから
の第2光フットプリントと2つの周辺カメラ・ピクセル2iを共有する。これは光輸送行列T
の列が互いの隣に配置されると、異なった列の間で非ゼロ入力は殆どの場合並ばず（すな
わちより暗い非ゼロ入力がある程度の重複がある）、点の積はゼロに近くなる。

この例が図１６に示され、ここでC1からC4の4列の光輸送行列Tが互いに隣接して図示さ
れる。列C1において、円Pixel_1cおよびPixel_1cは列C1内に画像として記録されている第
1ピクセルの光フットプリントの最も明るい部分（すなわち中央部分）を特定する。図示
されるように、完全な光フットプリントは他のそれほど明るくないピクセルPixel_1b、お
よびPixel_1eを含む。しかし説明の便宜上、各列C1‐C4内の各光フットプリントの最も明
るい部分のみ円で特定され、円は修正（すなわち推定）光輸送行列Tの構築の際留保され
るピクセル係数入力を特定する。図１５に示されたように、任意の光フットプリントの最
も明るい部分は他のいずれの光フットプリントの最も明るい部分とも重なり合わない。従
って光フットプリントのより暗い、周辺部分（すなわちPixel_1bおよびPixel_1c）を無視
してサイズを変更した光フットプリントを形成すると、サイズを変更した光フットプリン
ト間には重複が存在しないことが保証される。図１６に示すように、隣接する列に沿って
円で囲まれたピクセルのグループを比較すると、隣接する列の円に囲まれたピクセルはい
ずれも重複しないことが特記される。例えば、列C1における部分的光フットプリントPixe
l_1cは列2における部分的光フットプリントPixel_2cとは水平方向にオフセットされ、後
者は順に列3の部分的光フットプリントPixel_3cとオフセットされており、同様にこれは
列4における部分的光フットプリントPixel_4cとオフセットされており、以下同様である
。同様に各列内の他の明るい部分的光フットプリントの円で囲まれた部分（すなわちPixe
l_1d、Pixel_2b、Pixel_3b、およびPixel_4b）のいずれも互いに水平方向に並ばない。

「表示制約」により異なったプロジェクター・ピクセルからの光は主に異なってカメラ
・ピクセルに当たるので、対応プロジェクター・ピクセルから放射された光に当たるカメ
ラ・ピクセルを定義する光フットプリント以外、列入力の殆どはゼロ値入力である。これ
は2列のTが互いに隣接して配置された場合非ゼロの入力は殆どの場合並ばず、点の積はゼ
ロに近くなることを意味する。これはTの列が互いに直交することを意味する。

これは光フットプリントの暗い周辺部を無視し、光フットプリントの最も明るい部分か
らなる、サイズを変更した光フットプリントを扱う場合は特に当てはまる。この場合、T
の列は互いに真に直交することになり、特定の列に自己以外の任意の列を掛けたものの変
換はゼロ結果になることを意味する。

このように、Tの直交的性質は改変Tを生成する上述のプロセスにおいてTの構築され方
により確保されることができる。上記に説明するとおり、各列内の非ゼロ値のみを格納す
ることによりTを格納するのに必要なメモリーの量も同様に削減することができる。改変T
においてこのプロセスは、格納される非ゼロ値はTの各行内の最も明るい値のみを格納す
ることにより迅速に特定でき、これによりサイズを変更した光フットプリントが自動的に
作成されるので簡略化される。例えば図１６において、円Pixel_1cからPixel_4c、Pixel_
2bからPixel_4b、およびPixel_1dで示される、Tの行に沿った（すなわち別個のプロジェ
クター・ピクセルに対応しTの隣接する列に配列される隣接画像情報の中）最も明るいピ
クセルを特定することができる。各行内の最も明るい値の入力のみが留保されると、図１
７の構造が得られる。特定された明るい部分は次に改変行列T（以下光輸送行列Tおよび改
変光輸送行列Tは別途記述されない限り互換的に使用される）のベクトル表示40に組み合
わせることができる。図示されるように、ベクトル表示40はTの各行内の最も明るいピク
セル値のみに自らを限定することによりTの隣接する列の間の重複を取り除き、任意の場
面に対し「表示制約」を有効に課す。従ってTのこの構成は意図的に直交している。改変
光輸送行列Tを完全に定義するには、どの部分的光フットプリント部分のグループがサイ
ズの変更された同じ光フットプリントに属するかを示すインデックス情報を保持する第2
の行列の列、または第2のアレーのみが必要であることが理解されよう。例えば本例の場
合、グループPixel_1cとPixel_1dは第1ピクセルに対応する、サイズが変更された1つの光
フットプリントの一部である。同様に光フットプリント部分Pixel_2bとPixel_2cは合わせ
て第2ピクセルに対する第2のサイズが変更された光フットプリントを形成し、以下同様で
ある。

Tの逆の近似を決定（すなわちT^-1を決定）するため、まずAA^-1=Iで、恒等行列Iは左上
の角から（行列位置（1，1）から始まり）右下の角まで（行列位置（r，g）で終わる）の
対角線に沿い「1」の値に設定された入力値を有し、他の個所はすべて「ゼロ」（すなわ
ち0）に設定された入力値を有する行列からなることを特記することが有益である。T^-1を
演算するために、まず行列T^Vを定義し、T^Vにおける各列は正規化値で構成され、T^Vの各列
が光輸送行列T（または改変光輸送行列T）における列に対応する。つまり、
T^Vr=Tr/ （‖Tr‖）²，r=1， 2， 3，…，pq
ここでT^VrはT^Vのr番目の列である。演算‖Tr‖は行列Tの列rにおける全値の平方した合
計の平方根を定義しているので、‖Tr‖の平方は単に列rにおける全値の平方の合計であ
る。つまり、

列rにおける各値の入力を列rにおける全値の入力を平方した合計で割ることにより、演
算{Tr/（‖Tr‖）²}は行列Tの列rにおける値の入力を正規化する効果を有する。ここでT^V
rの転置を取ると、すなわち第1列が最上行になり、最後列が最下行になるように横に反転
させると、Tにおける要素の対応列の正規化値である要素の行がもたらされる。従ってTの
各列について次の結果が得られる。
（T^Vr^T）×（Tr） =1、および （T^Vr^T）×（Tω）=0，forr≠ω
言い換えれば、Tのある列をT^Vr^Tの対応行で乗じると常に数字の1となり、Tのすべての
列をT^Vr^Tの対応行で乗じると、対角線に沿って数字の1がある行列を実現し、他のすべて
の個所にゼロを置いて実現された行列を完全に埋めることができる。

従って列が互いに直交する（またはさせられる）行列Tの場合、かつ行列T^Vの特定の構
成が与えられる場合、T^Vの転置は当然Tの逆に等しく（すなわちT^VT=T^-1）、または少なく
ともT^VはTの左乗法的な逆であることが示されている。従ってRprjct'=T^VT Rcptr'となる
。

実際にカメラ・センサーに当たるプロジェクター・ピクセルの部分のみ再生できること
が特記される。いずれのカメラ・ピクセルにも当たらないプロジェクター・ピクセルに対
し、Tの対応列はゼロを含み、上記方程式T^Vr=Tr/（‖Tr‖）²は未定義である。このよう
な場合、T^Vの対応列はゼロ列として設定されることが好ましい。このようにT^VTはプロジ
ェクターおよびカメラの視野で重なる領域を覆うTの部分の逆であり、Rprjct'において重
なる領域に入るプロジェクター・ピクセルのみ再生し、他のピクセルは抹消する。

以下の考察において、行列T^VTはビュー投影行列と呼ばれ、望ましい眺めcが与えられた
場合p=（T^VTc）と定義される画像pを見出すことができ、画像pを投影すると基準カメラ位
置から見た場合cと同じ外観を有する場面を実現する。T^VTは事実上逆行列T^-1の近似であ
り、本明細書ではそのように用いられるので、以下考察の残りの部分で逆行列T^-1と「ビ
ュー投影」行列T^VTは別途の指示がない限り互換的に用いられる。

真の逆行列T^-1の近似を演算する効率的な方法が実証されたが、原形において行列は未
だに膨大で、大量の記憶および言うまでもなく行列乗算を行なうだけでも相当な演算能力
を必要とする。ここでも、真の逆行列T^-1は「表示制約」に支配されている。

従ってT^Tを縮小するための上記に記述された圧縮手法に類似したものを「ビュー投影」
行列T^VTに適用することが望ましい。このように、T^VTは非ゼロ入力の第1列および対応す
るインデックス値の第2列からなる表示に縮小することができる。「表示制約」はTの別個
の列における非ゼロ入力が同じ行に並ばないことが要件であることが想起されよう。これ
はTの各行において非ゼロ入力が1つのみ（または所定の閾値を越えた入力が１つ）存在し
、行列Tを表示するにはその入力とともにその列インデックスのみを格納すれば良い（格
納されないTの入力位置はデフォルトでゼロ値が指定されるという了解のもとで）。従っ
て、Tを格納するために必要な空間は非ゼロのT入力の1列とインデックス値の第2列に縮小
することができる。

しかし実世界の状況ではTの点灯されていない入力の多く（すなわち光フットプリント
内にないカメラ・ピクセルi）はセンサー・ノイズ（すなわちカメラ・ピクセルが捕らえ
たものの1つの指定された、すなわちオンにされた、プロジェクター・ピクセルに由来し
ない光）のため厳密にゼロではない。従って各行に複数の非ゼロ値が存在する可能性があ
り、単一の非ゼロ値入力は光フットプリントに対応し、残りの非ゼロ入力は光ノイズによ
るものである。この場合、光フットプリントに対応する単一の非ゼロ入力は行内で最高の
値を有する（すなわち最も明るい値を有する）可能性が高い。従って、光ノイズを除去す
るために各行の最高値の入力（すなわち行最高値）を、その行において光フットプリント
に対応する単一の非ゼロ入力として特定し指定することができる。これは光ノイズによる
低い値の入力を除去する。これらの行最高入力値を特定することにより、各列の非ゼロ値
が得られる。従って各プロジェクター・ピクセルに対し、対応するカメラ・ピクセルの組
とともにこれらカメラ・ピクセル間の光度の分布が特定される。通常の対応カメラ・ピク
セルの組（任意の所定プロジェクター・ピクセルに結び付いた）はカメラ画像全体の非常
に小さいサブセットである。行列演算の際これらの対応カメラ・ピクセルからの入力のみ
を考慮すれば良いので、この疎行列表示を用いてビュー投影画像変換を行なうのは非常に
効率的である。

実際には、「表示制約」を活用してプロセスを速める固定パターン走査手法を用いるこ
とが好ましい。上述のように、プロジェクター・ピクセルjからの寄与は光輸送行列Tの列
jにマップされる。従ってプロジェクター・ピクセルの組⊂{1，…，p×q}はTにおける対
応する列の組にマップされる。このような、S1∩S2={j}であるような2組のピクセルを考
え、2組のピクセルを点灯した時に取り込まれる2つの画像をC_S1およびC_S2とする。そうす
ると、

となることが示され、ここでTjはTのj番目の列である。C_S1、C_S2はTにおける各々の列の
総計、すなわちC_S=Σ_j∈STj、である。各個別的プロジェクター・ピクセルjの寄与がカメ
ラ・センサーの別個の部分にマップされるとすると、取り込まれた画像C_S1、C_S2において
プロジェクター・ピクセルjに対応するピクセルの共通の組l⊂{1，…，m×n}が存在する
。次に、S1∩S2={j}であるので、取り込まれた残りの画像ピクセルについて、画像の少な
くとも1つはプロジェクター・ピクセルの組S1またはS2の1つから光を受けなかったことに
なる。光を受けたピクセルは光を受けないピクセルより明るくなるので、MIN（C_S1，C_S2
）はピクセル∈lのみが点灯された画像を実現し、これはTjの良好な近似である。

これは、もし
Y1，…，Yp，X1，…，Xq，
の組を構築することができ、ここで
∀i∈{1，…，（p×q）}，∃ X_j，Y_k|X_j∩Y_k={i}，
の場合、j=画像C_X1、…、C_Xq、およびC_Y1、…、C_Ypからの1、…、p×qであるTjを合成す
ることができる。

上述の考察において、投影画像の各対は1つの交差点しか共通していない。この特性を
満足する一構成は次のピクセル座標を指標として用いる：Xjはx座標がjに等しいすべての
ピクセルがオンにすることにより作成される画像とし、Ykはkに等しいy座標がオンにする
ことにより作成される画像とする。そうするとMIN（Xj，Yk）は座標（j，k）がオンであ
る画像を与える。この方法を用い、p＋q個の画像を取り込むことはTのp×q列をすべて合
成できることになる。Tを取り込むためのこの方法が各ピクセルを個別に取り込むより速
く、上述のSen他、2005年、に関して説明された適合的仕組みより簡単ではあるが、この
方法は文献で既に提案されている他の仕組みに比べまだ遅い可能性があることが特記され
る。特にプロジェクター‐カメラのピクセルの対応を確立する1つの方法はXおよびY座標
を時間系列的なバイナリー・コードで投影することで、理論的はすべての対応がlog（N）
時間で取り込むことができ、ここでNは最大座標値である。実際には、この方法は特に最
小有効ビットが投影される際にカメラ・センサーの解像度に厳しい条件を課す。必要な画
像数を減らすために同時に複数の縞を投影することも提案できる。しかしこれは画像にお
いて取り込まれた各縞を特定する何らかの方法、例えば目印となる縞のサブセットを特定
すること、または色分けもしくは他の区別できるパターンを活用すること、が必要である
。これらの仕組みは事実取り込みプロセスを速めるかもしれないが、さらに複雑さや脆弱
性をもたらし、しばしば仕組みが正しく機能するように特徴検出パラメーターを微調整し
なくてはならない。本明細書の好ましい実施形態において微調整するパラメーターはなく
、ハードウェアの故障がない限り通常一度の取り込みでビュー投影行列の良好なコピーが
得られる。

上記に説明されたように、ビュー投影行列T^VTは投影光学系、表示表面、およびこれら
の相対位置付けにより導入される幾何学的および測光的歪みを補正することができる。T^V
Tのビュー投影能力の有効性はいくつかの実験を通して試験された。
ある場面の望ましい外観を制御できることを示すために、印刷されたポスターの外観を
動的に変え得ることが示された。図１８に例を示す。左側のポスター画像は白光の下で示
される。右側のポスター画像はビュー投影照明の下で示される。キューブの面は同じ色に
見えるようにされている。右側のポスター画像の上に1枚の白い紙を置くとこの望ましい
眺めを実現するために用いられた実際の投影画像が明かされる。見る人たちは動画を見た
後すぐポスターの元の外観を忘れることが見出された。紙上で示すのは難しいが、カメラ
で観察されたこの場面は人間の目で観察されたものにかなり近い。ポスターはポスター内
の色をサイクルして色が均一であるがごとく見せるようにして動画化された。測光的補正
がリアルタイムで行われる間ポスターの上に映画も映写して、下のポスター画像の跡をす
べて取り除いた。

前述のように、現在好まれる輸送行列Tの構成は隣接して点灯されたプロジェクター・
ピクセルによりもたらされた隣接する光フットプリント間で最小限の重複を規定する「表
示制約」に依存する。「表示制約」が守られない状況の例が図１４に関し上記で考察され
、ここでは2つのワイン・グラスがプロジェクターと映写表面、または場面、の間に配置
される。しかしさらに上記に説明されるように、ビュー投影行列T^VTはTの逆の近似を作成
する際Tの各列内の最も明るいピクセルのみを選択することにより任意の場面に「表示制
約」を執行する（すなわち強要する）ことができる。本発明のアルゴリズムの有効性を各
種条件の下（その有効性と正当化の基となる「表示制約」の下だけではなく）で試験する
ために「表示制約」が満足されない場合にどのように挙動するかを判定する実験が行われ
た。図１４に図示する実験は、1対のワイン・グラスがプロジェクターとその表示表面と
の間に置かれた形で設定された。ガラスにより導入された相当量の歪みのため、別個のプ
ロジェクター・ピクセルによるセンサーの光フットプリントに多くの重複がある。この場
面にビュー投影行列T^VTの生成において「表示制約」を執行するのと同じ取得方法および
同じアルゴリズムを適用した。結果として演算されたビュー投影行列T^VTは図１９に示す
ように、望ましくない歪みのほとんどを取り除くことができ、プロジェクターは指定表示
表面に補正された画像を表示できることが見出された。

別の言葉で述べると、「表示制約」が保証できない場合、投影環境に擬似「表示制約」
を強要する、ビュー投影行列T^VTの生成方法を光輸送行列Tの生成に適用することができる
。具体的に、図１５〜１７に関し上述された簡略化光輸送行列Tを生成する際、光フット
プリントのコンポーネントを特定するのに各行の最も明るいピクセルを選ぶことができ、
それにより光拡散によるエラーおよび光ノイズによるエラーを大幅に削減し、または取り
除くことができる。

行列Tの逆を近似させる方法を定義した上、次に没入型表示システムにデュアル・フォ
トグラフィーを用いて新型かつ複雑な設定をどのように達成できるかを説明する。

図２０について、好ましい実施形態において従来の前面投射型プロジェクターP1（図２
（ａ）の実プロジェクター21に類似）が没入型プロジェクターP2と併せて用いられる。視
野（すなわちFOV）91で示されるように、好ましい本実施形態では前面投射型プロジェク
ターP1のFOV91で覆われる表示表面の部分は没入型プロジェクターP2の視野のサブセット
であり、視野線93で示される。前面投射型プロジェクターP1のFOV91は没入型プロジェク
ターP2のFOV93の範囲内に入るため、没入型プロジェクターP2が前面投射型プロジェクタ
ーP1により生み出された投影画像をシミュレートすることが望ましい。しかし、一般的に
前面投射型プロジェクターP1のFOV91は没入型プロジェクターP2のFOV93におけるいずれの
部分とも重なる必要は必ずしもないことが強調される。

没入型プロジェクターP2のFOV93が前面投射型プロジェクターP1のFOV91の一部と重なる
必要はないが、カメラCを前面投射型プロジェクターP1および没入型プロジェクターP2に
別個に結び付ける2つの輸送行列が作成されることが望ましい。P1およびP2のFOVが必ずし
も重ならないので2つの輸送行列は別個に生成できることが理解されよう。

しかし好ましい本実施形態の具体例において、カメラCはカメラCのFOV95が前面投射型
プロジェクターP1のFOV91のスーパーセットで没入型プロジェクターP2のFOV93のサブセッ
トであるように配置される。FOV線95で示されるように、カメラCの視野は前面投射型プロ
ジェクターP1のFOV91を完全に包含するが、没入型プロジェクターP2のFOV93により完全に
包含される。没入型プロジェクターP2を用いて前面投射型プロジェクターP1から投影され
た画像をシミュレートするには、前面投射型プロジェクターP1からの第1投影画像p₁をカ
メラCからの第1取り込み画像c₁にc₁=T₁p₁となるように関連付ける第1光輸送行列T₁をまず
決定する。次に、没入型プロジェクターP2からの第2投影画像p₂をカメラCからの第2取り
込み画像c₂にc₂=T₂p₂となるように関連付ける第2光輸送行列T₂を決定する。その結果、次
の関係が成立する。
c₁=T₁p₁、およびc₂=T₂p₂
没入型プロジェクターP2を用いて前面投射型プロジェクターP1からの投影画像p₁をシミ
ュレートするためには、c₁（すなわち前面投射型プロジェクターP1から投影された画像の
取り込み画像）がc₂（すなわち没入型プロジェクターP2から投影された画像の取り込み画
像）と同じであることが必要である、すなわち、c₂=c₁であることが必要で、これは次の
関係、T₂p₂=T₁p₁につながる。p₂（すなわち没入型プロジェクターP2により投影された画
像）を解くと次の関係が得られる。
p₂= （T₂ ^-1）（T₁p₁）

これは画像p₁を作成するために前面投射型プロジェクターP1を用いて画像を直接投影す
ることができ、または変換された画像［（T₂ ^-1）（T₁p₁）と定義］を没入型プロジェクタ
ーP2で投影することにより同じ効果が得られることを意味する。ビュー投影行列は自然に
プロジェクター‐カメラ対応をプロジェクター‐プロジェクター対応に移すことが特記さ
れる。

このような投影は図２１に示され、没入型プロジェクターP2を用いて図２０のプロジェ
クターP1のような前面投射型プロジェクターがシミュレートされる。図２１において、プ
ロジェクターP2によりシミュレートされる仮想プロジェクターP1”は点線で示される。従
って図２０の前面投射型プロジェクターP1により投影される画像p₁は図２１の没入型プロ
ジェクターP2で変換画像（T₂ ^-1）×（T₁p₁）を投影することにより再現することができる
。これにより、見る人100a、100b、および100cは前面投射型プロジェクター、すなわちP1
またはP1”、を遮蔽することを心配しなくて済む。画像は明らかに歪みがなく、仮想プロ
ジェクターによる映画の再生はリアルタイムで流すことができる。上述のようにT₂ ^-1は近
似行列T^VT ₂で置き換え得ることが理解されよう。上記で述べたように、逆行列T^-1を近似
するビュー投影行列T^VTは以下の考察において別途記述されない限り自由にT^-1を置き換え
ることができる。

この仮想プロジェクター実装を用いて生成された画像例が図２２に示される。前面投射
型プロジェクター画像101が大視野表示システムを用いてシミュレートされる。図２２の
下部に位置するプロジェクター103は大視野表示システムの一部で、図２２中央に示され
る画像101を生成するのに用いられる。

図２３（ａ）から21Cは前面投射の実画像（図２３（ａ））および前面投射のシミュレ
ートされた画像（図２３（ｂ））を並べてシームレスに連結したもの（図２３（ｃ））を
示すことによりシミュレーションの画質を図示する。図２３（ａ）は図２０のP1のような
実前面投射型プロジェクターにより投影された画像の右側を示す。図２３（ｂ）は図２３
（ａ）の前面投射画像の左側を示すが、図２３（ｂ）において画像の左側は図２１のP2の
ような没入型プロジェクターにより図２１のP1”のような仮想前面投射型プロジェクター
をシミュレートするように投影される。没入型プロジェクターにより作成される、左側の
シミュレートされた前面投射画像の画質は図２３（ｃ）でより良く図示され、ここで図２
３（ａ）の右側の前面投射画像は図２３（ｂ）の左側の前面投射画像に繋げられ、並んで
示され、実前面投射型プロジェクターおよびシミュレートされた仮想前面投射型プロジェ
クターにより各々作成された画像のシームレスな位置合わせがもたらされる。

実前面投射型プロジェクターにより作成された実前面投射画像と没入型プロジェクター
により作成された、シミュレートされた前面投射画像を並べた比較を示す2つの追加例が
図２４に示される。図２４において、表示画像の左半分は没入型プロジェクターにより仮
想前面投射型プロジェクターからの表示をシミュレートするように作成され、表示画像の
右側半分は実前面投射型プロジェクターにより作成されている。

本手法の別の用途は図２５（ａ）から２５（ｃ）を参照するとより良く理解される。本
例において、図２５（ｃ）の没入型プロジェクターP2を用いて各種の周囲照明効果（すな
わち仮想環境）が作成される。カメラを、そのFOVが表示部屋のかなりの部分を覆うよう
に配置すれば、ビュー投影を用いて壁が仮想モデルに従い照明されるような没入型環境を
作り出すことができる。これを達成するために、図２５（ａ）に示すようにカメラCはそ
のFOVが表示部屋111の相当な部分を覆うように配置される。図２５（ａ）において、カメ
ラCおよび没入型プロジェクターP2はカメラCのFOVが没入型プロジェクターP2のFOVの全部
（好ましくはより多く）と言わないまでも殆どを包含するように配置される。本例におい
て、P2は没入型プロジェクターとして示されるが、プロジェクターP2は前面投射型プロジ
ェクターなど任意の種類のプロジェクターであって良い。カメラCおよびプロジェクターP
2間に関係を確立するために、カメラCをプロジェクターP2に関連付ける光輸送行列T₃が前
記に説明されたいずれかの方法を用いて取り込まれる、すなわち決定される。一旦これが
なされると、カメラCにより見られる（すなわち取り込まれる）画像c₃はプロジェクターP
2により投影される投影画像p₃に次の関係に従って関連付けられる。
c₃=T₃p₃
これは次をもたらす。
p₃= （T₃ ^-1）× （c₃）

このように、部屋111における表示表面の仮想モデルを構築することができる。図２５
（ｂ）に示す構築された仮想モデル部屋111”は例えばコンピューター・シミュレーショ
ンであって良い。一旦仮想部屋111”が作成されると、各種のシミュレートされた照明効
果（または投影画像または浮遊画像）を仮想部屋111”に加えることができる。例えば、
図２５（ｂ）は仮想モデル部屋111”が大きなロウソク113からのロウソクの光により照明
されるところを示す。コンピューター・モデルはさらにカメラCの位置および解像度（図
２５（ａ）における）をモデル化し、図２５（ｂ）で点線の枠Cとして示される。コンピ
ューター・モデルは次にカメラCの視点から仮想部屋111”の合成的眺めc₃”を「取り込み
」（すなわち作成し）、図２５（ａ）の実カメラCにより取り込まれたかのようにの仮想
部屋111”の実画像をシミュレートする。図２５（ｂ）のシミュレートされた照明効果は
次にP2を用いて変換画像（T₃ ^-1）×（c₃”）を投影することにより図２５（ｃ）の実部屋
111において再現することができる。

この手法の適用例が図２６に示される。この場合、実部屋111の壁より大きい画像117を
映写することが望ましい。上記で考察したように、映写壁に対する実部屋111の壁および
天井の角度を補正するために各種の方法を用いて実プロジェクターを較正することができ
るが、本発明は異なった方法を用いてこの問題を解決する。本例において、仮想部屋111
”（図２５（ｂ）の）は実部屋111（図２５（ｃ）および２４の）に類似した寸法を有し
、画像117は歪みのない形で仮想部屋111”に重ね合わせられる。次にカメラCの視点から
仮想部屋111”上の歪みなしの画像117の合成的眺めc₃”（すなわち合成取り込み画像）が
作成される。次に没入型プロジェクターP2に変換画像（T₃ ^-1）×（c₃”）を投影させ、実
部屋111の壁に歪みのない特大画像117を再現させる。図２６に示すように、結果は映写表
面上の曲面（または他の凹凸）を補正するためにプロジェクターP2を較正する必要がなか
った歪みのない投影が得られる。

示されたように、仮想プロジェクターおよび環境を組み合わせ、没入型映画ビュアーを
作成することができる。仮想環境はアクティブな視界でもあるので、より大きい視野の表
示を動画化し、より興味の湧く体験を作り出すことができる。

上記に説明した手法は大視野（すなわち大きいFOV）表示の作成に適用することができ
る。大きいFOVは没入感を作り出し、見る人にとってより興味の湧く体験を提供する。本
方法は非常に大きいFOVを有する没入型映写システムを説明する。システムはさらに映写
のFOVが覆う領域からの光を取り込むことができる内蔵型大FOVカメラ／光センサーを有し
て設計されている。センサーによりシステムは画質を最適化し、より全般的にシステムが
その環境とインタラクトできるように映写光を適合させることができる。本システムは主
にサラウンド・ビデオ・コンテンツを表示したいことから主に動機付けられているが、こ
の新映写システムは従来のビデオ・コンテンツを見るためにも用いることができることを
特記することが重要である。

図２７に関し、本発明による代表的な映写システムの最小限の形態は次のコンポーネン
ト：プロジェクター121；デジタル・スチル・カメラまたはデジタル・ビデオ・カメラで
あり得るカメラ123；球形または別途の曲面ミラー125；および上記コンポーネントの据付
機構；からなる。プロジェクター121からの光は曲面ミラー125から反射されてから、建物
の壁、床、天井、および専用映写スクリーンを含む任意の表面であり得る表示表面127に
到達する。表示表面127はさらに任意の形状であって良い。曲面ミラーで投射光を反射さ
せるとプロジェクターのFOVが拡大される。プロジェクターを元とする場合もしない場合
もある、環境からの光線も曲面ミラー125から反射されてからカメラに到達する。これも
同様にカメラFOVを拡大する。

図２８は図２７の設計に基づいたプロトタイプを示し、図２８の中で図２７のものに類
似した要素は類似した参照番号を有し、上記に説明される。本構成は、マルチ・ウォール
の没入型仮想環境を構築すつという、スマート・プロジェクター‐カメラ・システムの主
要な用途を際立てさせている。従って、本例は従来の前面投射型プロジェクター121、高
解像度のデジタル・スチル・カメラ123、および半球形の曲面ミラー125からなる簡単なパ
ノラマ映写設定を用いている。本設定において、曲面ミラー125（「ドーム型プロジェク
ター」と呼ぶことができる）は地域のコンビニ店で使用されるような低価格のプラスチッ
ク製半球型警備用ミラー・ドームである。このようなミラー・ドームは専門的に設計され
製作された光学グレードのミラーに比べ少なくとも3桁は安い。さらに、据付機構も通常
の金物・建材店で入手できる安価な部品で作られた。この構成で実験した際、ミラー・ド
ーム125は真の半球面からは（さらに言えばいずれの単純なパラメトリック形状からも）
程遠いことが見出された。

図２９は図２８における設定の別のビューで、カメラ123の観点から見た（非常に大雑
把に）ミラー123125のビューを示す。図２９においてミラー125の反射で見られるように
、カメラ123はミラー125の反射により床、少なくとも3つの垂直な壁、および天井を「見
る」ことができる。

図３０（ａ）において、本映写システムを設置した部屋が周辺光の下で示される。図３
１（ａ）は較正されていないドーム型プロジェクターが市松格子の画像を表示するところ
を図示する。表示画像には明らかに相当な量の非線形幾何学的な歪みがある。図３１（ｂ
）は同じ設定を示すが、ビュー投影行列を用いて幾何学的補正がなされている。画像は基
準カメラの位置から撮られたので、ビューにおける直線は複数の壁にわたり直線のままで
ある。

図３０（ａ）において、本映写システムを設置した部屋が周辺光の下で示される。図３
１（ａ）は較正されていないドーム型プロジェクターが市松格子の画像を表示するところ
を図示する。表示画像には明らかに相当な量の非線形幾何学的な歪みがある。図３１（ｂ
）は同じ設定を示すが、ビュー投影行列を用いて幾何学的補正がなされている。画像は基
準カメラの位置から撮られたので、ビューにおける直線は複数の壁にわたり直線のままで
ある。

ビュー投影行列T^VTはさらに色および強度の変動とともに表示表面のアルベド／反射率
特性の不均一に対しても測光的に補正する。図３２（ａ）は較正されていないドーム型プ
ロジェクターが均一強度の画像を表示するところを図示する。見られるように、もたらさ
れた画像は前方壁の左上および右上方向においてかなり暗い。図３２（ｂ）では同じ均一
強度の画像が較正されたドーム型プロジェクターで投影され、より均一な強度を実現する
ことが示される。
さらに、図２７〜３２（ｂ）における本例のドーム型プロジェクター設定は図２０およ
び２１の没入型プロジェクターP2の代わりに用いて上述のように前面投射型プロジェクタ
ーのシミュレーションを実現し、または図２５（ａ）〜２５（ｃ）における没入型プロジ
ェクターP2の代わりに用いて上述のように仮想環境を作り出すために使用できることが理
解されよう。
本プロジェクター‐カメラ・システムを用いた没入型投影照明の例を図３０（ｂ）に示
す。見られるように、本プロジェクター‐カメラ・システムは天井に加え2つの壁にも画
像を投影することができる。この効果がビュー投影行列T^VTを用いてどのように達成され
るかの例を図３３〜３５に示す。

ビュー投影行列T^VTがまず上述のいずれかの方法を用いて生成される。上記に説明され
る通り、映写表面が主に平たい表面（または結合された平たい表面）、からなる場合、7
本の光の垂直線および交差する7本の光の水平線を用いて完全なビュー投影行列T^VTを近似
することにより49以下の基準点を生成することができ、かつプロジェクター対カメラの良
好なレベルの較正を実現することができる。この場合、映写表面は平たいと仮定されるの
で、抜けている行列入力値は49の基準点から外挿することができる。

しかし、図２７〜３２（ｂ）の例において映写表面は曲面ミラーからなるため、プロジ
ェクターの解像度で完全なビュー投影行列T^VTが生成されることが好ましい。本例におい
てプロジェクター121はp×q個のプロジェクター・ピクセルの解像度を有するので、プロ
ジェクター121とカメラ123との間の較正はp×q個の光輸送基準点を生成することにより達
成できるはずである。

図３３に関し、図２８のプロジェクター121はq本の一連の垂直線VL_1からVL_qを個別的
に映写表面（すなわちこの場合は図２８のミラー125）に投影し、これらは個別的かつ自
動的に図２８のカメラ123により取り込まれる。図３４で、プロジェクター121は次にp本
の一連の水平線を個別的に投影し、続いてこれらも個別的かつ自動的にカメラ123により
取り込まれる。上記に説明されるように、取り込まれた垂直および水平線は各々個別的に
組み合わされそのユニークに一致する基準点Ft（すなわち光フットプリント）が特定され
る。このプロセスはすべてのユニークな交差点が特定され（図３５において白い円で図示
）、その光輸送情報が抽出されるまで続けられる。プロジェクター121から放射される垂
直および水平線は完全に垂直および水平であるが、もたらされるドーム型ミラー125の投
影線はドーム・ミラー125の湾曲に追随することが理解されよう。
上述のように、ビュー投影行列T^VTの構築に「表示制約」が執行されることが好ましい
。従って、望ましい画像、C、があり、ミラー125経由で部屋111に望ましい画像Cを歪みな
しに表示するためにどのように投影画像Pを変換するか判定したい場合、P=T^VT×Cと定義
される画像Cの歪んだバージョンを投影する必要がある。

これは図３６に図示され、ここで望ましい画像Cはm×n個の画像ピクセル入力値、C₁か
らC_m×n、からなるベクトル200として書かれている。ベクトル200に作成された（p×q）
行および（m×n）列からなるビュー投影行列T^VTを掛け、（p×q）の変換画像Pが生み出さ
れ、これはベクトル201として書かれ、各々プロジェクター121の（p×q）個のプロジェク
ター・ピクセルにおいて対応するピクセルに適用される（p×q）個の画像ピクセル入力値
からなる。もたらされる変換画像Pはp行およびq列からなるように図示されている。

図３７に関し、図３６からの変換画像PはプロジェクターLCD画像Pとしてプロジェクタ
ー121に送られ、ミラー125（図２８）に投影される。部屋111にもたらされる画像203は図
３７の望ましい画像Cの歪んでいない表示である。
本例の場合、カメラ123およびプロジェクター121は変換画像Pを作成される前に較正さ
れなかったことが特記される。逆に変換画像Pの歪みは、カメラ‐プロジェクター対の較
正補正情報を含むビュー投影行列T^VTを用いて構築されたのでカメラ123とプロジェクター
121間で較正されていないことに関連する問題を本質的に補正している。

望ましい画像がビデオ画像である場合、ビュー投影行列T^VTはビデオ画像に適用される
ことが理解されよう。つまり、ビデオ画像は順に並べられた複数のスチル画像を有してな
るので、ビュー投影行列変換T^VTを順序付けられたスチル画像の各々に適用して変換ビデ
オ投影を実現することになる。
さらに強調すべきは、プロジェクター121のFOVとカメラ123のFOVとは一般的に異なって
おり、重なっても重ならなくても良い点である。2つのFOVが相当重なる場合、カメラ123
により取り込まれた画像は上述の方法に類似した方法でプロジェクター121からの投影画
像の質を向上させるためのフィードバックとして用いることができる。例えば、カメラ12
3からプロジェクター121へのフィードバックを用いて表示表面の反射特性および形状の変
化（カメラ123から見た）を補正し、投影画像が平たく白い表面に投影されているが如く
見えるようにすることができる。

カメラ123のFOVはプロジェクター121のFOVで覆われない領域を含むこともできる。例え
ば、プロジェクター121が図３０（ａ）および３０（ｂ）に示すテスト部屋の前および横
の壁を覆うのに対し、カメラはプロジェクターFOV外の、場合によって見る人たちがいる
領域を含む、領域を取り込むことができる。これによりシステムは見る人達または見る人
達のポインティング・デバイスを検出し追跡することにより見る人達に適応しインタラク
トすることができる。カメラ123が例えばリモコンに搭載された小型の光を追跡してユー
ザー・インタラクションを促進することも可能かもしれない。

図３８に関し、図２７の構成に基づくが天井据付操作を対象とした別の構成が図示され
る。図２７に類似した要素はすべて類似した参照番号を有し、上記に説明される。

図３９および４０において、さらに2つの別の構成が示される。図３９および４０にお
いて図２０に類似した要素はすべて類似した参照番号を有し、上記に説明される。

図３９では平面ミラー141が光路を折ることによりプロジェクター121およびカメラ123
を曲面ミラー125の下に配置することができ、より小さいフットプリントを達成している
。図４０は展示ブース操作のためにプロジェクター121、カメラ123、曲面ミラー125、お
よび平面ミラー141をブース143内に入れるブース用設計を示す。この構成を用いると、同
時に2つの投影画像：第1表示表面A上の第1の前方（または後方）投影画像および第2表示
表面B上の第2の後方投影画像を実現することができる。

上述の設計のいくつかにおいて、プロジェクターおよびカメラは共通の光心を有しない
。しかし、光心が同配列されたプロジェクター‐カメラ対を設計することは可能である。
同配列光心を有するシステムはプロジェクターとカメラが全く同一の視野を有することが
できるが、同配列でない光心を有するシステムは環境の３Ｄ再現ができる可能性がある。

ここまでは、提供された例は1台のカメラと1台のプロジェクターで構成されていたが、
上記に示唆するように、複数のカメラおよびプロジェクターの組み合わせを使用すること
もできる。これは異なった視野を有する2台以上のプロジェクターからの2つ以上の投影画
像をどのようにシームレスに統合もしくは組み合わせるか、または複数のプロジェクター
を組み合わせてどのように大型視野の表示を作成するかという問題を呈する。従って複数
のプロジェクターを用いることにより可能になる視覚効果をいくつか説明する前に、まず
複数のプロジェクターをどのようにシームレスにいっしょに使えるかを考察することが有
用であろう。つまり、本発明を1台のプロジェクターと1台のカメラからなるシステムに適
用された場合の効果は複数のプロジェクターおよび1台（またはそれ以上）のカメラを有
するシステムにも拡大できるのである。

プロジェクター‐カメラ・システムを較正し、上述の「ビュー投影問題」を解決するた
めのノンパラメトリック方法の開発が上記で考察している。つまり、カメラが望ましいビ
ューを見るように、プロジェクターがどのように場面を照明すべきかを定義すること（す
なわちプロジェクターが場面に何を投影すべきかを定義すること）のビュー投影問題が上
記で考察される。要約すると、上述の開発はまず、プロジェクターから投影された画像p
をカメラで取り込まれた画像cにc=Tpという関係で関連付ける光輸送行列Tについて複数の
構成を提供した。次に中間作業行列T^Vが次の関係により、埋められると定義された。

T^Vr=Tr/ （‖Tr‖）²，r=1，2， 3，…，pq （１）
ここでT^VrはT^Vのr番目の列で、pqはTにおける列の数である。次に「表示制約」の下では
ビュー投影行列T^VTを次のように定義できることが示され、
T^VT=T^-1
これは次の関係をもたらす。
p=T^VTc

上記に説明されたとおり、「表示制約」は情報表示を目的とした通常のプロジェクター
−カメラの設定において、別個のプロジェクター・ピクセルから放射された任意の2つの
光線は通常カメラ・センサーのピクセル・アレーにおいて別々の部分に当たる、すなわち
別個の光線の各々からの光に当たったカメラ・ピクセルiにあまり重複がないという観察
に由来する。これはTの列が互いに直交していることを意味し、方程式（1）の正規化プロ
セスによりTの逆をもたらすことができる。さらに上記に説明されるように、「表示制約
」が自然に守られない状況において、Tの構成を修正し、Tの各行における最も明るいピク
セルが別個の光線によりもたらされる光フットプリントと一部であると宣言し、Tの同じ
の行における他のピクセルすべてがゼロ値の入力であると宣言することにより「表示制約
」を人工的に強要することができる。この操作によりTは強制的に直交にされ、方程式（1
）の適用が可能になる。

このようにビュー投影行列T^VTは、望ましい眺めcが与えられた場合、p=T^VTであり、pを
投影すると基準カメラから見た場合cと同じ外観を有する場面を実現する画像p=T^VTを見出
すという、ビュー投影問題を解決する。

実際上大型視野表示、壁画面に囲まれる仮想居住ステーション、および他の多くの用途
は個別プロジェクター各々の限られた視野のため1台より多いプロジェクターの使用を必
要とする。一般的に、1台を越えるプロジェクターを使用する場合これらのプロジェクタ
ーの視野は互いに部分的に重なり合う。このような2台以上のプロジェクターを有する表
示システムを用いてビュー投影を達成する（または実際のこと異なった視野にわたり連続
的な画像を投影する）には、個々のプロジェクターをモザイク化して望ましいカメラ・ビ
ューを生成する必要がある。

本発明を用いたモザイク化の例が2台のプロジェクター・システムを使用して提示され
る。より多くのプロジェクターを有するシステムへの拡張は簡単なので、モザイク表示を
構築する本方法は3台以上のプロジェクターを有する表示システムにも拡張できることが
理解されよう。つまり、第1プロジェクターからの第1投影画像を第2プロジェクターから
の第2投影画像と組み合わせるという、以下に説明するプロセスは第2プロジェクターから
の第2投影画像を第3プロジェクターからの第3投影画像を組み合わせるのに適用でき、第1
、第2、および第3投影画像を組み合わせたモザイク画像が作成される。同様に同じプロセ
スが第3投影画像を第4プロジェクターからの第4画像と組み合わせるのに適用でき、第1、
第2、第3、および第4投影画像を組み合わせたモザイク画像が作成される。

重なり合う視野（FOV）および双方のプロジェクターのスーパーセットとなるFOVを有す
るカメラからなるマルチ・プロジェクター表示システムを検討する。各々各プロジェクタ
ー画像p₁およびp₂をカメラで取り込まれた対応画像c₁およびc₂に関連付けつ光輸送行列T₁
およびT₂（別個に決定）は次の方程式をもたらす。
c₁=T₁ p_1、および、c₂=T₂ p₂

双方のプロジェクターの視野、FOV、にわたる画像を表示するには、語複合画像、c、が
シームレスな形でc₁およびc₂を組み合わせるようなc₁およびc₂を見出す必要がある。つま
り、c=c₁＋c₂と定義される複合画像cはカメラから見た望ましい画像である。より具体的
に、望ましい複合画像cを表示するために次の線形方程式を解いて適当なプロジェクター
画像p₁およびp₂を演算する必要がある。
c＝c₁＋c₂、または、c＝（T₁p₁）＋（T₂p₂）＝[T₁T₂][p₁p₂]^T （２）

このような設定において、カメラ・ピクセルは1台のプロジェクターからの1個のプロジ
ェクター・ピクセルにより、または各々のプロジェクターからの2個のプロジェクター・
ピクセルにより同時に、点灯される。前者の場合、カメラ・ピクセルはp₁またはp₂におけ
る対応プロジェクター・ピクセルについて線形方程式を呈する。カメラ・ピクセルが2台
のプロジェクターのFOVで重なる部分に当たる後者の場合、p₁またはp₂における2個の対応
プロジェクター・ピクセルについて線形方程式を呈する。各プロジェクター・ピクセルは
いくつかのカメラ・ピクセルを覆うので、いくつかの線形方程式により制約される。従っ
てすべてのカメラ・ピクセルからのこのような方程式はプロジェクター画像p₁またｈp₂に
対し制約過剰の線形システムを形成する。

しかし、2台のプロジェクター・システムの場合、上述の単独プロジェクター・システ
ムでできるようにビュー投影行列を直接演算することができなくなる（すなわち[T₁T₂]の
逆を直接演算できない）。これは異なったプロジェクターからのピクセルの投影は重なり
合うことができるためで、従って「表示制約」も複数のプロジェクター間では成立せず、
すなわちT₁における列はT₂における列と必ずしも直交せず、よって[T₁T₂]に対するビュー
投影行列を演算するのに方程式（1）を用いることができない。従って、方程式（2）の線
形システムを直接解く代わりに、収束するまで次の2工程を反復する交互性の線形解法が
開発された。
1.p₂の現行推定を仮定し、p₁= （T^V ₁）^T （c−T₂p₂）を演算
2.p₁の現行推定を仮定し、p₂= （T^V ₂）^T （c−T₁p₁）を演算

すぐ上の2つの式において、 （T^V ₁）^Tおよび（T^V ₂）^Tは2台のプロジェクターの各々の
ビュー投影行列で、最初の工程においてp₂はゼロに等しく設定される。ビュー投影行列は
プロジェクターとカメラとの画像間の対応とマッピングを自然に伝えるので、式1および2
（すぐ上の）p₁およびp₂が各々の補完的画像に収束するまで多くの反復を必要としない。
実際上、p₁およびp₂が組み合わせるとモザイク画像を形成する各々の補完的画像に収束す
るために数回（通常5回以下）の反復プロセスしかかからない。つまり、p₁は第1画像に収
束し、p₂は第2画像に収束し、p₁およびp₂の画像が投影され重ね合わされると、組み合わ
せられたモザイク画像を形成する。

図４１に関し、このプロセスを実施したシステムの例は第1プロジェクター‐カメラ・
システム対221および第2プロジェクター‐カメラ・システム対223を含む。第1プロジェク
ター‐カメラ・システム対221は、上述方法のいずれかを用いて構築された第1ビュー投影
行列T^V ₁により関連付けられた第1プロジェクター21aおよび第1カメラ25aを含む。同様に
、第2プロジェクター‐カメラ・システム対223は、同じく上述方法のいずれかを用いて構
築された第2ビュー投影行列T^V ₂により関連付けられた第2プロジェクター21bおよび第2カ
メラ25bを含む。さらにT^V ₁およびT^V ₂は各々独立して生成され、T^V ₁が生成される間第2プ
ロジェクター‐カメラ・システム対223は消されており、T^V ₂が生成される間第1プロジェ
クター‐カメラ・システム対221は消されていることが理解されよう。

第1プロジェクター‐カメラ・システム対221は第1投影領域Reg_1を定義する第1視野FOV
_1を有し、第2プロジェクター‐カメラ・システム対223は第2投影領域Reg_2を定義する第
2視野FOV_2を有する。図示されるように、Reg_1とReg_2は網目印で特定される区域内で互
いに重なり合う。この重複領域はさらにReg_1＋2という記号が付けられている。重複領域
Reg_1＋2のサイズは説明の便宜上大きくされており、小さい重複領域の方がより典型的で
あるが、重複の量は本用途にとって重要ではないことが理解されよう。
式p₁= （T^V ₁）^T （c−T₂p₂）およびp₂= （T^V ₂）^T （c−T₁p₁）
は幾何学的（すなわち空間的）および測光的（すなわち照明）補正を考慮しており、従っ
て隣接する表示画像間での必要な融合を処理することが特記される。これは光輸送行列T
が幾何学的情報を組み入れており、その結果ビュー投影行列T^Vもそうであるからである。
さらに、代表的な光輸送行列Tの光フットプリント情報を特定する際、光フットプリント
内の取り込まれた各ピクセルは各カメラ・ピクセルの3色（RGB）のサブコンポーネントに
おける任意の光度変動について値の入力を有するので、完全な測光的情報も得られる（例
えば図３におけるFt1または図６（ａ）におけるFt2の光フットプリントを構成する白およ
び各明度の灰色のブロックを参照）。

しかし、行列TがバイナリーのON/OFFの方法で構成されるとすると（すなわち光フット
プリント内のピクセルは完全にONと分類され（すなわち0から255の代表的な光度尺度で25
5の光度値を有すると分類）、光フットプリント外のピクセルは完全にOFFと分類される（
すなわち0の光度値を有すると分類））、行列Tを構成するこのバイナリーのON/OFFの方法
は測光的情報をあまり有しない（事実上黒白の画像になるので）。しかしこの行列Tを構
成するこのバイナリーのON/OFFの方法は完全な幾何学的情報を有するので、上記p₁の式（
1）およびp₂の式（2）の2式は複数の投影画像の幾何学的モザイク化を判定することはで
きる。しかしこの場合、複数の投影画像をモザイク化する際複数の投影画像の光度を融合
させるために光融合工程（以下に説明）を追加すると有用である。

複数の投影画像の光度を融合する追加工程が有用かもしれない別の状況は光輸送行列T
が限られた数の光フットプリント情報から作成される場合である。上述のとおり、映写表
面（または場面）が平たく、光輸送行列Tは限られた数の交差パターンを用い特定された
限られた数の光フットプリントを生成して推定されるような状況に当てはまる。映写表面
は平たいので、光輸送行列T内で欠ける幾何学的情報はホモグラフィー手法を用いて推測
することができる。推定された光輸送行列Tは従って完全な幾何学的情報を提供するが、
一般的に特定された限られた数の光フットプリント間の場所について測光的情報は提供し
ない。

映写表面が均一に白色である（たとえば白い映写キャンバスまたは白い壁）と仮定する
と、すべての特定および推測された光フットプリント情報に対し測光的情報として単に白
色情報を挿入することにより光融合工程は飛ばすことができる。あるいは、映写表面が必
ずしも白ではないが、均一の色であると仮定すると、とく栄された1つの光フットプリン
ト（または2つ以上の平均）の測光的情報を割り当てることにより推定測光的測定を定義
することができる。つぎに推測された光フットプリントすべての測光的情報をこのように
定義された推定測光的測定で埋めることができる。

追加的光融合工程の話に戻り、利用可能なピクセル情報すべてを用いて生成された光輸
送行列Tがある場合でも、複数の投影画像をモザイク化する際光融合工程を追加すること
は投影画像にとって有益である。この場合、追加的光融合工程から得られる情報は式p₁=
（T^V ₁）^T （c−T₂p₂）およびp₂= （T^V ₂）^T （c−T₁p₁）から得られた融合結果に対し追加
的パラメーターとなることができる。

この追加的光融合工程を明らかにする複数の投影領域の簡略化されたビューを図４２に
示す。前と同様に、Reg_1はプロジェクター‐カメラ・システム対221が提供する投影領域
で、Reg_2はプロジェクター‐カメラ・システム対223が提供する投影領域である。説明の
便宜Reg_1は垂直な平行線で示され、Reg_2は水平な平行線で示される。重複領域Reg_1＋2
はしたがって垂直および水平な平行線の交差で示される。特に興味があるのは領域Reg_1
、Reg_2、およびReg_1＋2の一部にかかる濃い輪郭で示された望ましい投影領域225の定義
である。望ましい投影領域225は望ましい組み合わせ（すなわちモザイク）画像が表示さ
れる領域を定義する。望ましい領域225にはプロジェクター‐カメラ・システム221および
223双方から画像寄与がある。望ましい投影領域225内でReg_Aはプロジェクター‐カメラ
・システム221のみにより提供される画像領域225の部分を特定し、Reg_Cはプロジェクタ
ー‐カメラ・システム223のみにより提供される画像領域225の部分を特定し、Reg_Bはプ
ロジェクター‐カメラ・システム221および223の組み合わせにより提供される画像領域22
5の部分を特定する。Reg_Bはプロジェクター‐カメラ・システム221または223のいずれか
片方のみにより提供されることもできることが理解されようが、画像境界（1つのプロジ
ェクター‐カメラ・システムにより提供される画像が終わり第2のプロジェクター‐カメ
ラ・システムにより投影される第2の画像が始まる個所）における視覚的アーティファク
トはプロジェクター‐カメラ・システム間の遷移を融合することにより緩和され、または
取り除かれることが見出されている。従って、この好ましい実施形態で、プロジェクター
‐カメラ・システム221および223双方がReg_B内に作成された画像に寄与している。ここ
で問題は、Reg_B内の画像のどれだけ（すなわちどの部分）をプロジェクター‐カメラ・
システム221および223が各々提供しているかである。

説明を簡単にするために、図４３はReg_1およびプロジェクター‐カメラ・システム221
のFOV内にある望ましい画像225の部分、すなわちReg_B、が図示される。垂直な平行線は
望ましい画像225に寄与しないため暗くされたReg_1の部分を示す。矢印1A、1B、1C、およ
び1Dは領域Reg_1の境界からReg_Bに向かった離れ、望ましい画像225の境界に近づき、プ
ロジェクター‐カメラ・システム223により提供される望ましい画像225に近づく際正規化
された光度がどのように変化するかを示す。区域Reg_Aは組み合わせ部分Reg_Bの外にあり
、プロジェクター‐カメラ・システム221のみによって提供される。Reg_1の左側の境界か
ら矢印1Aを横切りReg_Bに近づくと、矢印1Aは暗く図示され、すべての画像成分がプロジ
ェクター‐カメラ・システム221により提供されていることを示す。矢印1Aに従いReg_Bに
入ると、矢印1Aは最初暗く図示され、次に明るくなり（すなわち縞が細くなるよう図示）
、画像の強度が最初は強くプロジェクター‐カメラ・システム221により提供されるが、
矢印1Aに沿ってReg_BおよびReg_1の右側の境界に向かい左から右に横切るにつれ強度が下
がることを示している。矢印1Dは最初Reg_Bの右端においてプロジェクター‐カメラ・シ
ステム221により強度は提供されないが、Reg_B内で矢印1Aの終端に向かい右から左に横切
るにつれプロジェクター‐カメラ・システム221からの光度は増加することを示す。同様
に矢印1Bは領域225の境界から離れるように矢印1Bを下がると光度が下がることを示す。
同じく、矢印1Cは領域225の境界から離れるように矢印1Cを上がると光度が下がることを
示す。

言い換えれば、画像における光度の変動は定義された最高光度値、すなわち正規化値、
の係数として表現することができる。この正規化値に係数1を掛けると定義された最高光
度値が提供され、同じ正規化値に係数0.5を掛けると定義された最高光度値の半分が提供
される。一定領域内で正規化値を変えることにより、その一定領域内の画像の強度を変え
ることができる。本例の場合、境界においてピクセルの光度を急に変えるのではなく、画
像境界を徐々に融合することにより境界における望ましくない光のアーティファクトを避
ける。

プロジェクター‐カメラ・システム223の視点から見た同様の構成が図４４に示される
。ここでも水平な平行線は望ましい画像225に寄与していないので暗くされたReg_2の部分
を示す。前と同様、Reg_Bは画像がプロジェクター‐カメラ・システム221および223双方
の組み合わせにより提供される融合区域を示し、領域Reg_Cはプロジェクター‐カメラ・
システム223のみによって提供される望ましい画像領域225の部分を示す。矢印2A、2B、2C
、および2DはReg_2から望ましい領域の境界に向かい、またReg_B内でプロジェクター‐カ
メラ・システム221によって提供される望ましい画像225の部分に向かい移動するにつれ正
規化光度が変化するかを示す。区域Reg_Cは組み合わせ部分Reg_Bの外にあり、プロジェク
ター‐カメラ・システム221のみによって提供される望ましい画像225の部分を定義する。
Reg_Bに入ると、矢印2Aは画像の強度が最初は強くプロジェクター‐カメラ・システム223
により提供されるが、矢印2Aに沿ってReg_Bの左側の境界に向かい右から左に横切るにつ
れ強度が下がることを示している。矢印2Dは最初Reg_Bの左端においてプロジェクター‐
カメラ・システム223により強度は提供されないが、Reg_B内で左から右に横切るにつれプ
ロジェクター‐カメラ・システム223からの光度は増加することを示す。同様に矢印2BはR
eg_B内で望ましい領域225の境界から離れるように矢印2Bを下がると光度が下がることを
示す。同じく、矢印2Cは領域225の境界から離れるように矢印2Cを上がると光度が下がる
ことを示す。

プロジェクター‐カメラ・システム221により投影される各ピクセルについて、Reg_1お
よびReg_Bの左、右、上部、および下部の境界に対するその投影ピクセルの近さが判定さ
れる。これらのパラメーターは投影されるピクセルの正規化光度に影響する。プロジェク
ター‐カメラ・システム221からの投影ピクセルがReg_1のいずれかの境界に近いほどその
境界のパラメーター寄与が高くなり、より明るい正規化強度となる。プロジェクター‐カ
メラ・システム223からの投影ピクセルの場合も同じで、Reg_2およびReg_Bの4つの境界に
対する投影ピクセルの近さが判定される。さらに、境界において急な光度の変化を避ける
ために、境界に近い投影ピクセルの光度は境界に近づくに合わせて調節される。

例えば図４２において、領域Reg_Aで矢印A1に沿って左から右に進むとプロジェクター
‐カメラ・システム221により完全に提供される望ましい画像領域225の左の境界から、領
域Reg_2、およびプロジェクター‐カメラ・システム221および223双方により提供される
領域Reg_Bの左の境界に移ることになる。矢印A1に沿って左から右に進むとReg_1の左の境
界から離れて行くが、画像はプロジェクター‐カメラ・システム221のみにより提供され
るので、プロジェクター‐カメラ・システム221により出されるピクセルの正規化光度は
正規の最も高い値にある。矢印A1の終わりに到達し、矢印A2の初めに到達すると、光融合
はまさに始まるところなのでプロジェクター‐カメラ・システム221はまだ最も高い正規
化値にある。矢印A2の初めにおいてプロジェクター‐カメラ・システム221は最も高い正
規化光度を有し、プロジェクター‐カメラ・システム223はまだ最も低い正規化値を有す
る。矢印A2に沿って左から右に進むと（すなわちプロジェクター‐カメラ・システム221
により専ら提供されるReg_Aからプロジェクター‐カメラ・システム223により専ら提供さ
れるReg_Cに向かって）、プロジェクター‐カメラ・システム221の正規化光度は最も高い
正規化光度から最も低いものに下がる。逆に矢印A2に沿って左から右に移動すると、プロ
ジェクター‐カメラ・システム223の正規化光度は最も低い正規化光度から最も高いもの
に上がる。この光遷移は必ずしも直線的でないことが理解されよう。例えば、プロジェク
ター‐カメラ・システム221における正規化光度は矢印A2に沿って右側の境界またはReg_B
の右側の境界に近づくにつれより大きい変化が起こることが好ましい。

従って、矢印A2の終わりで、プロジェクター‐カメラ・システム223は正規化光度が最
高であり、プロジェクター‐カメラ・システム221は正規化光度が最低である。矢印A3に
沿って左から右に移動するとプロジェクター‐カメラ・システム223が投影される光をす
べて提供し、プロジェクター‐カメラ・システム221による光の寄与はない。このように
、領域Rev_C内で、プロジェクター‐カメラ・システム223は最も高い正規化光度に維持さ
れ得る。

上述の式p₁= （T^V ₁）^T （c−T₂p₂）およびp₂= （T^V ₂）^T （c−T₁p₁）は幾何学的および
測光的双方の情報を用い、図４５に示すように塑像に対し2台のプロジェクターをモザイ
ク化することによってテストされた。2台のプロジェクターはカメラから見えるすべての
表面を覆う必要があるので、これは無理に作った例ではない。この設定を用い、シームレ
スで歪みのない画像（カメラの視点から見た）が塑像上に投影することに成功した。さま
ざまな照明条件の下で塑像の画像をビュー投影することにより簡単に照明を変えることも
できる。

図４６（ａ）および４６（ｂ）は複数のプロジェクターを組み合わせる上記方法を用い
た大型FOVプロジェクター・システムの構成を示す。図４６（ａ）では1つの曲面ミラー12
5が複数のプロジェクター‐カメラ対145と組み合わせて用いられる。図４６（ｂ）では1
つのミラー・ピラミッド151が複数のプロジェクター‐カメラ対145と用いられ、大きいFO
Vを実現している。図４６（ｂ）の構成の場合、すべてのプロジェクターの光心をミラー
・ピラミッド内に同配列して、1つの仮想大型FOVプロジェクターを作り出すことができる
。同様にカメラの光心も同配列して1つの仮想大型FOVカメラを作り出すことができる。

図４７は複数の大きいFOVプロジェクター153aおよび153bを用いてより大きい全体的投
影FOVを達成することができることを示す。1つ以上の通常のプロジェクター155も組み合
わせて使用することができる。見られるように、点線157で示されるプロジェクター153a
のFOVは点線159で示されるプロジェクター154bのFOVと、重複量161だけ重なっている。プ
ロジェクター153aおよび153bからの画像は複数のプロジェクターを組み合わせるための上
述の方法を用いて組み合すことができる。

複数プロジェクターの別の用途は三次元撮像（すなわち３Ｄ撮像、または遠近撮像）の
分野で、３Ｄ画像の錯視が作られる。３Ｄ撮像の作成はデジタル・プロジェクター、特に
LCDプロジェクターの特徴により、デジタル・プロジェクターと併せた光輸送特性の当該
の使用に特に向いている。

LCDプロジェクターは元来偏光を放射する。従って異なる配向の偏光を放射する2台のLC
Dプロジェクターがあると、偏光眼鏡があればユーザーの各々の目は各々のプロジェクタ
ーから1つづつ異なる画像を見ることができるので、ユーザーは３Ｄの視覚的コンテンツ
（すなわち３Ｄ画像）を見ることができる。

異なる配向の偏光を形成する１つの方法は2台のプロジェクターが互いに90度になるよ
うに配置することである。構成例を図４８に示し、ここで第1プロジェクター301は第2プ
ロジェクター303に対し角度を持つように配向される。第1プロジェクター301は第2プロジ
ェクター303に対し90度（90°）に配向されることが好ましい。参考までに偏光眼鏡305も
図４８に示される。３Ｄの視覚的コンテンツを作成するこの方法は図４８に示す台307の
ような簡単な台以上にプロジェクターに改変を加える必要がない。

図４８の構成の象徴的描写を図４９および５０で示し、ここで図４８に類似した要素は
すべて類似した参照文字で特定される。従って図４９において第2プロジェクター303は底
部を下にした水平方向において示され、第1プロジェクター301は第2プロジェクター303に
対し垂直に配向され、横になって示される。さらに完全を期すために第1プロジェクター3
01と連携し、第1プロジェクター301を較正し、または第1プロジェクター301に対し光輸送
情報を生成するために前述のようなプロジェクター−カメラ・システムを形成するカメラ
301aが示される。同様に完全を期してカメラ303aが示され、第2プロジェクター303を較正
し、または第2プロジェクター303に対し光輸送情報を生成するために前述のようなプロジ
ェクター−カメラ・システムを形成する。一旦第1および第2プロジェクター301および303
用に必要な光輸送および較正情報が生成されると、カメラ301aおよび303aは図示されるシ
ステムの他の構成要素が動かされない限り取り除くことができることが理解されよう。さ
らに、カメラ301aは第1プロジェクター301の配向を模写するために横になった配向で示さ
れるが、本発明から逸脱することなくカメラ301a底部を床と水平となるように配向して用
い得ることが理解されよう。

第1プロジェクター301は第1画像315を第1映写表面317（すなわちキャンバスまたは壁な
どの映写場面）に映写する。好ましい本例において、第1プロジェクター301の投影ピクセ
ルは標準RGB形式（赤、緑、青）を用い、各々赤、緑、および青の投影パネルを使用して
色を投影する。図示されるように、第1プロジェクター301からのすべてのRGB光は、第1プ
ロジェクターの底部に平行の共通方向に沿って配向される矢印R₁、G₁、およびB₁で示され
るように、共通の方向に沿って偏光されることが好ましい。但し、第1プロジェクター301
は横に配向されているのでR₁、G₁、およびB₁は垂直に図示されている。

第2プロジェクター303は第2画像311を第1映写表面313に映写する。後述するように、第
1および第2プロジェクター301および302は３Ｄを作り上げるために必要なように、共通の
映写表面に各々の画像を映写できることが理解されよう。しかし説明の目的から、第2プ
ロジェクター303の赤、緑、および青の投影パネルは共通方向に配向されることが好まし
く、かつ第2プロジェクター303の底部に平行して配向されることが好ましいことを強調す
るために第2画像311は第2映写表面313上に表示される。従って、第2プロジェクター303か
ら投影されるRGB光は3つの水平な矢印R₂， G₂， B₂で象徴的に図示される。

図５０において、偏光眼鏡305は典型として1対の偏光レンズ321および323を有するよう
に示される。偏光レンズ321および323の偏光は異なる角度で配向される平行線として図示
される。すなわち、レンズ321の偏光は垂直の平行線で示され、レンズ323の偏光は水平の
平行線として示される。一般的に、片方のレンズ（323）の他方（321）に対する偏光は片
方のプロジェクター（303）の他方（301）に対する偏光に類似すべきである。
市場に出回るLCDプロジェクターのいくつかはすべてのRGBパネルが同じ配向の偏光を伝
送するようになっていないかもしれないことが特記される。たとえば、Rパネルは1つの配
向で偏光を形成する一方、G， BパネルはRパネルに対し、典型的には90°の、異なる配向
で偏光を形成するかもしれない。

これは図５１の左側に図示される。図５１の左側では、投影される第2画像311はその偏
光成分G₂およびB₂が水平方向に図示されるが、その偏光成分R₂は垂直に、G₂，B₂成分に対
し90°に配向されて示される。同様に、投影される第1画像315はそのその偏光成分G₂およ
びB₂が垂直方向に図示されるが、その偏光成分R₂は水平に、G₂，B₂成分に対し90°に配向
されて示される。これは当然３Ｄの視覚的コンテンツの作成を妨げることになる。各プロ
ジェクターから伝送されるRGB光は同じ配向であることが望ましいので、この問題は2台の
プロジェクターに伝わるビデオ信号のRチャンネルを交換することにより解決でき、これ
は図５１の右側に図示される。ビデオ信号のRチャンネルの交換は、交換前に第1画像315
の一部であったはずのビデオ信号の一部であるチャンネルR₁が第2画像311を形成するプロ
ジェクターに送られることを示す点線の矢印で象徴的に図示される。同様に矢印は、交換
前には第2画像311として投影されたはずのビデオ画像のチャンネルR₂が第1画像315の一部
として投影されることを示す。この交換はハードウェアまたはソフトウェアで行なうこと
ができ、または画像処理の際実施することができる。

このように、第2投影画像311（前は第2プロジェクター303に送信）からの偏光成分R₂は
代わりに第1プロジェクター301に送信され、そこでG₁およびB₁と並んで形成される。同様
に、第1投影画像315（前は第1プロジェクター301に送信）からの偏光成分R₁は代わりに第
2プロジェクター303に送信され、そこでG₂およびB₂と並んで形成される。
2組の偏光画像、ImgAおよびImgB、を実現するのにどのような手段を取ろうと、結果は
図５２に示すとおりであり、ここでR_A，G_A，B_AおよびR_B，G_B，B_Bは、図４８、４９、およ
び５１に示されるような2台の異なって配向されたプロジェクターにより作成された2つの
異なった偏光の画像を表す。３Ｄの視覚的コンテンツは2つの異なる偏光画像、ImgAおよ
びImgB、が交差する任意の領域内で作成することができる。本例の場合、この領域は太い
点線の境界線331、すなわち交差領域331、によって特定される。

前記にp×q画像の代わりにp＋q画像を用いて光輸送行列を取り込む方法が説明された。
この手法は、
∀i∈{1，…，（p×q）}，∃ X_j，Y_k|Xj∩Y_k={i}，
となるような集合
Y={Y1，…，Yp}，およびX={X1，…，Xq}，
の構築を必要とする。

しかし図５２に示すように、交差領域331は偏光画像ImgAおよびImgB双方の単なるサブ
セットである。プロジェクター・ピクセルSの少数（交差領域331と定義）のみが対象とな
るので、Sの各要素に対応するX、Yのサブセットにはカメラ画像C_X，C_Yを取り込むだけで
良い。

専門的に設置された表示環境においては、周囲光なしに光輸送行列を取り込むことがで
きる、すなわち放射される唯一の光はプロジェクターからである。しかし略式の家庭向け
の設置においてこれは現実的な要件ではない。したがってシステムにおけるすべてのプロ
ジェクターが黒だけの画像を表示している場合の画像c₀も取り込むことができる。従って
この取り込まれた画像は環境内の周囲光の量を尺度となる。

これは各要素からc₀を引くことによりC_X，C_Yから新しい画像の組D_X，D_Yを作成できるこ
とになる。基本的に、取り込み画像C_X，C_Y各々の各取り込みピクセルから対応する周囲光
を引くことになる。周囲光がない場合、C_X，C_Yを直接用いることができる。
新しい画像の組D_X，D_Yは周囲光なしの下で取り込まれた画像をシミュレートし、特徴の
検出に用いることができる。周囲光の存在を仮定すると、DX，DYは、
D_X={d_x|d_x=c−c₀， c∈C_X}
D_Y={d_y|d_y=c−c₀， c∈C_Y}
となるように生成される。
もしd_xi， d_yjをプロジェクター・ピクセルkに対応する画像とすると、光輸送行列の対
応列T_kは前述の方法と同様に、
T_k=MIN（d_xi，d_yj）
と構築することができる。

光輸送行列T、またはビュー投影行列T^VTを生成すると、図５２に示すように双方のプロ
ジェクターからの画像を重ね合わせ、前述のモザイク手法を用いることにより合成画像を
作成することができる。すなわち、交差領域331内の合成画像はp₁=（T^V ₁）^T（c‐T₂p₂）
およびp₂=（T^V ₂）^T（c‐T₁p₁）を反復することにより生成することができる。式p₁および
p₂において、周囲光成分を除去する必要がある場合cの代わりにD_XおよびD_Yから生成され
た改変画像を用い得ることが理解されよう。

交差領域331内に実現された３Ｄ画像、すなわち３Ｄの視覚的コンテンツ、の例を図５
３に示す。
付け加えると、プロジェクター・ピクセルkにより照らされるカメラ・ピクセルのセッ
トはT_kの成分を閾値化してバイナリー・ベクトルB_kを得ることにより判定することができ
る。すなわち、一旦T_kが生成されると、その内容を所定の光度閾値（最大光度値の25%な
ど）と比較し、T_k内で閾値を超える成分のみ画像の一部であるとみなすことができる。閾
値を超えない他の成分はゼロに設定することができる。従って、B_kにおける非ゼロ点のカ
メラ画像座標の重心はプロジェクター座標に対応するカメラ座標kの推定となる。

ノイズの多い設定において、B_kにおける非ゼロ点のすべてが必ずしもプロジェクターか
らの光により生じるのではない可能性がある。従ってB_kにおける非ゼロ点のすべてが予め
設定されたサイズの小さな長方形内（すなわち所定数のピクセルにわたる長方形面積また
は他の所定の領域）に含まれることを確認することができる。この条件が満足されない場
合、すなわち所定サイズの長方形または領域がみつからない場合、画像B_kは放棄され、画
像の検出は失敗したことになる。これによりその後の操作において質の高い特徴のみが使
用されることを保証する。

長方形面積、または他の定義領域形状のサイズはノイズのない条件（すなわち光ノイズ
のない条件）の下における取り込みカメラ画像上の1つの投影ピクセルにより作り出され
る面積フットプリントに類似した（または実質的に等しい）面積を有するようにすること
が好ましい。例えば、定義される長方形領域は図６（ａ）におけるフットプリントft2を
ちょうど囲める面積にすることができる。この図６（ａ）の例において、定義される長方
形の領域は取り込み画像における15個のカメラ・ピクセルのクラスターで規定される面積
と定義することができる。

定義された面積（長方形または他の形状の）はカメラ解像度の所定割合として定義する
こともできる。言い換えれば、面積はカメラ・ピクセルの所定グループのクラスターと同
等の面積と定義することができ、グループにおけるカメラ・ピクセル数は本プロジェクタ
ー・システムを較正するのに用いられる画像の取り込みに使用されるカメラのピクセル解
像度のパーセンテージと定義される。これは異なるピクセル解像度の複数カメラについて
のフットプリントのサイズが前以て判定され、類似した解像度の異なるカメラは類似した
サイズの光フットプリントを有することが見出されている場合に便利である。

発明はいくつかの具体的な実施形態に関連して説明されたが、前述の説明に照らし当業
者であればさらに多くの代替、改変、および別形態が明らかであろう。従って、本明細書
で説明した発明は添付クレームの精神および範囲に含まれるこのような代替、改変、用途
、および別形態すべてを包含することを意図している。

１１ 実プロジェクター、１３ 実映像、１５ 実カメラ、１７ プロジェク
ターピクセルアレー、１９ カメラセンサーのピクセルアレー、２１ 実プロジェク
ター、２３ 実画像、２５ 実カメラ、２７ プロジェクターピクセルアレー、２
９ カメラセンサーのピクセルアレー、４１ 表面、８１ 点、９１ 視野、９
３ 視野線、１１１ 実部屋、２２５ 画像領域、３０１ 第１プロジェクター、３０
３ 第２プロジェクター。

Claims (17)

1. 所定の基準視点から知覚される三次元画像である遠近画像を作成する画像処理方法であ
   って、
   基準ベースを基準に第1配向に沿って配置される第1投影領域を有する第1デジタルプロ
   ジェクターを提供するステップと、
   前記基準ベースを基準に第2配向に沿って配置される第2投影領域を有する第2デジタル
   プロジェクターを提供するステップであって、前記第2投影領域は前記第1投影領域と少な
   くとも一部重なるステップと、
   前記第1投影領域と前記第2投影領域との重なる区域内で三次元撮像領域を定義するステ
   ップと、
   前記三次元撮像領域を包含する前記第1投影領域の部分に及ぶ第1光輸送行列T₁を確立す
   るステップであって、前記第1光輸送行列T₁はc₁=T₁ p₁の関係に従い前記所定の基準視点
   から見た第1画像c₁を前記第1デジタルプロジェクターからの第1投影画像p₁に関連付ける
   ステップと、
   前記三次元撮像領域を包含する前記第2投影領域の部分に及ぶ第2光輸送行列T₂を確立す
   るステップであって、前記第2光輸送行列T₂はc₂=T₂ p₂の関係に従い前記所定の基準視点
   から見た第2画像c₂を前記第2デジタルプロジェクターからの第2投影画像p₂に関連付ける
   ステップと、
   前記第1デジタルプロジェクターに第1撮像シーケンスを提供するステップであって、前
   記第1撮像シーケンスは前記第1光輸送行列T₁により定義される前記基準視点を基準に前記
   三次元撮像領域内に画像被写体の第1の角度付きビューを提供するステップと、
   前記第2デジタルプロジェクターに第2撮像シーケンスを提供するステップであって、前
   記第2撮像シーケンスは前記第2光輸送行列T₂により定義される前記基準視点を基準に前記
   ３Ｄ撮像領域内に前記画像被写体の第2の角度付きビューを提供するステップとを有する
   画像処理方法。
2. 前記第1光輸送行列T₁は、前記第1デジタルプロジェクターの前記３Ｄ撮像領域に寄与す
   るプロジェクターピクセルのみについて構築される請求項1に記載の画像処理方法。
3. さらに前記所定の基準視点において眼鏡を提供するステップを有し、
   前記眼鏡は、
   前記第1デジタルプロジェクターからの光を取り込み、前記第2デジタルプロジェクター
   からの光を退ける第１偏光レンズと、
   前記第2デジタルプロジェクターからの光を取り込み、前記第1デジタルプロジェクター
   からの光を退ける第2偏光レンズとを有する請求項1に記載の画像処理方法。
4. 前記第1配向は前記第2配向に対し90度である請求項1に記載の画像処理方法。
5. 前記第1デジタルプロジェクターは第1組の赤、緑、および青の投影パネルを有し、前記
   第1組内の2つの投影パネルは前記基準ベースを基準に第1偏光配向に沿って偏光されると
   ともに、前記第1組内の第3の投影パネルは前記基準ベースを基準に第2偏光配向に沿って
   偏光され、
   前記第2デジタルプロジェクターは第２組の赤、緑、および青の投影パネルを有し、前
   記第2組内の2つの投影パネルは前記基準ベースを基準に第2偏光配向に沿って偏光される
   とともに、前記第2組内の第3の投影パネルは前記基準ベースを基準に第1偏光配向に沿っ
   て偏光され、
   さらに、
   前記第1撮像シーケンスにおいて前記第1組内の前記第3投影パネルに対応する第1撮像情
   報を特定し、前記第2デジタルプロジェクターによる投影のために前記第1撮像情報を前記
   第2デジタルプロジェクターに転送するステップと、
   前記第2撮像シーケンスにおいて前記第2組内の前記第3投影パネルに対応する第2撮像情
   報を特定し、前記第1デジタルプロジェクターによる投影のために前記第2撮像情報を前記
   第1デジタルプロジェクターに転送するステップとを有する請求項１に記載の画像処理方
   法。
6. 前記第1撮像シーケンスはR1（赤1）、G1（緑1）、およびB1（青1）の撮像チャンネルを
   有し、
   前記第２撮像シーケンスはR2（赤2）、G2（緑2）、およびB2（青2）の撮像チャンネル
   を有し、
   さらに、前記第1および第2撮像シーケンスのR1およびR2のチャンネルを交換するステッ
   プを有する請求項１に記載の画像処理方法。
7. 前記第1光輸送行列T₁を確立するステップは、
   前記所定の基準視点においてカメラを用い、前記第1デジタルプロジェクターから画像
   が投影されない状態で周辺光の下で前記第1投影領域の少なくとも一部の基準ノイズ画像C
   ₀を取り込むステップと、
   前記所定の基準視点において前記カメラを用い、前記第1投影領域内において前記第1デ
   ジタルプロジェクターにより投影される第1テストパターンの第1画像を取り込むステップ
   であって、前記第1テストパターンは前記第1デジタルプロジェクター内における投影ピク
   セルの第1グループを同時に活性化することにより作成されるとともに前記第1テストパタ
   ーンにないすべての投影ピクセルはオフにされるステップと、
   前記所定の基準視点において前記カメラを用い、前記第1投影領域内において前記第1デ
   ジタルプロジェクターにより投影される第2テストパターンの第2画像を取り込むステップ
   であって、前記第2テストパターンは前記第1デジタルプロジェクター内における投影ピク
   セルの第2グループを同時に活性化することにより作成されとともに、前記第2テストパタ
   ーンにないすべての投影ピクセルはオフにされ、かつ、投影ピクセルの前記第1および第2
   グループは目標投影ピクセルを定義する1つのみの投影ピクセルを共通に有するステップ
   と、
   前記第1画像から前記基準ノイズ画像C₀を差し引いて第1補正画像を作成するステップと
   、
   前記第2画像から前記基準ノイズ画像C₀を差し引いて第2補正画像を作成するステップと
   、
   前記第1補正画像の画像ピクセルを前記第2補正画像の対応画像ピクセルと比較し、比較
   された画像ピクセルのより暗い方を保持することで、保持された画像ピクセルは合成画像
   を構成するステップと、
   前記合成画像におけるすべての暗くない画像ピクセルを特定するステップと、
   前記合成画像における前記暗くないピクセルを前記目標投影ピクセルに結び付いた非ゼ
   ロの光輸送係数として選択的に特定するステップと、
   をさらに有する請求項1に記載の画像処理方法。
8. 前記合成画像内で所定最小値未満でない光度値を有するピクセルのみが前記暗くない画
   像ピクセルとして特定される請求項7に記載の画像処理方法。
9. 前記所定最小値は最大光度値の25%である請求項8に記載の画像処理方法。
10. 前記特定された暗くない画像ピクセルは画像内におけるそれらの位置関係に従い隣接す
    るピクセルクラスターに配置され、所定数のピクセル未満でないクラスター内のピクセル
    のみが暗くないピクセルとして特定される請求項7に記載の画像処理方法。
11. 前記所定数のピクセルは前記第1デジタルプロジェクター内の1つの投影ピクセルをオン
    にすることにより作成される前記カメラ内のカメラピクセルアレーに作成される平均サイ
    ズの光フットプリント内のピクセル数で定義される請求項10に記載の画像処理方法。
12. 前記所定数のピクセル未満でないサイズを有するクラスター内の重心は前記目標投影ピ
    クセルに対応するカメラピクセルアレーの推定を構成する請求項10に記載の画像処理方法
    。
13. (a)望まれる合成画像cを定義するステップと、
    (b)前記p₂をゼロに設定し、式p₁=T₁ ^-1 (c−T₂p₂)においてp₁を解くステップと、
    (c)前記p₁に対し今解いた値を用い、式p₂=T₂ ^-1 (c−T₁p₁)においてp₂を解くステップと
    、
    (d)前記p₂に対し今解いた値を用い、式p₁=T₁ ^-1 (c−T₂p₂)においてp₁を解くステップと
    、
    (e)前記p₁が第1モザイク画像に収束し前記p₂が第２モザイク画像に収束するまで、前記
    工程(c)および(d)を順に繰り返すステップとをさらに有する請求項1に記載の画像処理方
    法。
14. 前記望まれる合成画像cはc=c₁+c₂と定義される、請求項13に記載の画像処理方法。
15. 前記T₁ ^-1またはT₂ ^-1の少なくとも1つは一般光輸送行列Tの逆の推定であって、前記推定
    は、
    前記一般光輸送行列Tにおける列を順に目標列として特定し、前記目標列を基準にゼロ
    化されていない入力値に対し正規値を計算するステップと、
    前記一般光輸送行列Tと等しいサイズの中間行列を作成するステップと、
    前記中間行列における各列を前記一般光輸送行列Tにおけるその対応目標列の計算され
    た正規値で埋めるステップであって、前記中間行列において埋められた各列の各正規化値
    は前記一般光輸送行列Tにおけるその対応列の前記ゼロ化されていない入力値と1対1の対
    応を維持しているステップと、
    前記中間行列に転置行列演算を適用するステップと、によって生成される請求項13に記
    載の画像処理方法。
16. 前記中間行列がT^Vと表示され、一般光輸送行列Tにおける目標列がTrと表示され、T^Vに
    おける対応列がT^Vrと表示されると、T^Vの構成と埋め込みはT^Vr=Tr/ (‖Tr‖)²と定義され
    、T₁ ^-1が一般光輸送行列の逆T^-1の推定の場合p₁= (T^V ₁)^T (c−T₂p₂)で、T₂ ^-1が一般光輸
    送行列の逆T^-1の推定の場合p₂= (T^V ₂)^T (c−T₁p₁)である、請求項15に記載の画像処理方
    法。
17. 前記T₁またはT₂の少なくとも1つは各々のデジタルプロジェクターにおける各プロジェ
    クターピクセルと1対1の対応を有しない光フットプリントのサンプリングから生成される
    推定光輸送行列である請求項13に記載の画像処理方法。