JP2008182706A - 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列tにシミュレートされた表示制約を課す方法、および第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法 - Google Patents
任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列tにシミュレートされた表示制約を課す方法、および第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法 Download PDFInfo
- Publication number
- JP2008182706A JP2008182706A JP2008012293A JP2008012293A JP2008182706A JP 2008182706 A JP2008182706 A JP 2008182706A JP 2008012293 A JP2008012293 A JP 2008012293A JP 2008012293 A JP2008012293 A JP 2008012293A JP 2008182706 A JP2008182706 A JP 2008182706A
- Authority
- JP
- Japan
- Prior art keywords
- projector
- matrix
- image
- camera
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】光輸送行列の生成を簡素化し、デュアル・フォトグラフィにおける光輸送係数の
実施を簡素化し、光輸送行列をさらに簡素化しながら改変して光拡散効果または光ノイズ
に対する補正を組み入れたシステムを提供する。
【解決手段】プロジェクタ−カメラ・システムにおいて光ノイズまたはプロジェクタから
カメラの画像センサへの光ビームのパスにある光散乱物体による光の歪みは光輸送行列T
に対する簡単な修正により緩和、または除去、される。光輸送行列Tにおける各行に対し
、共通行に沿って入力が比較され、行の最高値入力以外はすべてゼロ化、すなわち無効に
、される。光輸送行列Tおよびその修正されたバージョンを2つのアレイに減らすために
アレイおよび記録表記を用いることが好ましい。
【選択図】図1
実施を簡素化し、光輸送行列をさらに簡素化しながら改変して光拡散効果または光ノイズ
に対する補正を組み入れたシステムを提供する。
【解決手段】プロジェクタ−カメラ・システムにおいて光ノイズまたはプロジェクタから
カメラの画像センサへの光ビームのパスにある光散乱物体による光の歪みは光輸送行列T
に対する簡単な修正により緩和、または除去、される。光輸送行列Tにおける各行に対し
、共通行に沿って入力が比較され、行の最高値入力以外はすべてゼロ化、すなわち無効に
、される。光輸送行列Tおよびその修正されたバージョンを2つのアレイに減らすために
アレイおよび記録表記を用いることが好ましい。
【選択図】図1
Description
本発明はプロジェクタ−カメラ・システムの較正方法に関し、より具体的にはこのよう
な方法の自動化に関する。本発明はさらにプロジェクタ−カメラ・システムの補正におい
て光拡散および光ノイズの補正方法に関する。
な方法の自動化に関する。本発明はさらにプロジェクタ−カメラ・システムの補正におい
て光拡散および光ノイズの補正方法に関する。
米国特許出願60/886475号明細書は引用により全体として本明細書に組み入れ
られる。本出願は35U.S.C.§119(e)の下で2007年1月24日に出願された米
国特許仮出願60/886475号明細書の特典を主張し、Title35,U.S.C
.§120の下で2007年1月12日に出願された係属中の米国特許出願11/623/01
6号明細書の特典を主張する米国特許出願60/886475号明細書は引用により全体
として本明細書に組み入れられる。本出願は35U.S.C.§119(e)の下で2007
年1月24日に出願された米国特許仮出願60/886475号明細書の特典を主張し、T
itle35,U.S.C.§120の下で2007年1月12日に出願された係属中の米国特
許出願11/623/016号明細書の特典を主張する。
られる。本出願は35U.S.C.§119(e)の下で2007年1月24日に出願された米
国特許仮出願60/886475号明細書の特典を主張し、Title35,U.S.C
.§120の下で2007年1月12日に出願された係属中の米国特許出願11/623/01
6号明細書の特典を主張する米国特許出願60/886475号明細書は引用により全体
として本明細書に組み入れられる。本出願は35U.S.C.§119(e)の下で2007
年1月24日に出願された米国特許仮出願60/886475号明細書の特典を主張し、T
itle35,U.S.C.§120の下で2007年1月12日に出願された係属中の米国特
許出願11/623/016号明細書の特典を主張する。
プロジェクタとカメラを組み合わせると、光を投射しかつ取り込むことのできるハイブ
リッド装置およびシステムが生まれる。この新たに台頭してきた撮像装置およびシステム
は研究の世界においてプロジェクタ−カメラ・システムとして知られている。通常映写表
面の幾何学的形状など表示環境に関する属性を推定するためには1台以上のカメラで取り
込まれた画像が使用される。次にこれらのプロジェクタ・カメラ・システムのプロジェク
タが映像を適合して、映写表面における歪みを補償してもたらされる影像を向上させる。
言い換えれば、カメラを使用することによりプロジェクタは投影画像における歪みを「見
る」ことができ、それにより投影画像を調節して見られた歪みを低減することができる。
リッド装置およびシステムが生まれる。この新たに台頭してきた撮像装置およびシステム
は研究の世界においてプロジェクタ−カメラ・システムとして知られている。通常映写表
面の幾何学的形状など表示環境に関する属性を推定するためには1台以上のカメラで取り
込まれた画像が使用される。次にこれらのプロジェクタ・カメラ・システムのプロジェク
タが映像を適合して、映写表面における歪みを補償してもたらされる影像を向上させる。
言い換えれば、カメラを使用することによりプロジェクタは投影画像における歪みを「見
る」ことができ、それにより投影画像を調節して見られた歪みを低減することができる。
これを達成するために、見られた画像の歪みは投影環境の凹凸(すなわち表面上の凹凸
)によるもので、プロジェクタまたはカメラに内在する不整または相対的な配向によるも
のではないことを確保すべく、カメラとプロジェクタは互いの画像化パラメータに対し較
正される必要がある。
)によるもので、プロジェクタまたはカメラに内在する不整または相対的な配向によるも
のではないことを確保すべく、カメラとプロジェクタは互いの画像化パラメータに対し較
正される必要がある。
このように、プロジェクタ−カメラ・システムの製作者が解決しなければならない重要
な問題は各装置の内部影像パラメータ(すなわち固有パラメータ)の判定およびシステム
内のすべてのプロジェクタおよびカメラ間の幾何学的関係(すなわち外的パラメータ)の
判定である。この問題は通常システム較正の問題と呼ばれる。
な問題は各装置の内部影像パラメータ(すなわち固有パラメータ)の判定およびシステム
内のすべてのプロジェクタおよびカメラ間の幾何学的関係(すなわち外的パラメータ)の
判定である。この問題は通常システム較正の問題と呼ばれる。
しかしシステムが実質的に較正された後でも、映写を調節して映像の歪みを補正するこ
とは簡単でない。映写歪みを識別し補正することは非常に演算集約的な作業であり得、そ
のため従来非専門分野への適用は相当限定されていた。
とは簡単でない。映写歪みを識別し補正することは非常に演算集約的な作業であり得、そ
のため従来非専門分野への適用は相当限定されていた。
プロジェクタ−カメラ・システムの較正をより良く理解するために、出願者たちはコン
ピュータ・ビジョンの分野で見られるマルチ・カメラ・撮像システムを研究した。コンピ
ュータ・ビジョンの分野において、このようなマルチ・カメラ・撮像システムは画像を撮
像するデバイスのみからなり、画像を投影するデバイスは含まないが、撮像システムの較
正に関し一連の研究があり、複数の画像を撮像デバイスであったが複数のデバイスの較正
のためのアプローチから何らかの洞察が得られるかもしれないと考えた。コンピュータ・
ビジョンの世界で通常用いられる方法はZhengyou Zhang著の論文「適応性を有するカメラ
較正用の新規手法」(”A flexible new technique for camera calibration”)、IE
EEパターン分析および人工知能紀要(Transactions on Pattern Analysis and Machine
Intelligence)、22(11):1330-1334、2000年、に記載され、引用により全体として本明
細書に組み入れられる。この方法において、いくつかの既知の特徴点(通常グリッドを形
成)でマークされた平たい被写体をカメラに対しさまざまな角度のポーズに置き、平たい
被写体の複数の画像がカメラにより取り込まれる。各特徴点の画像位置が抽出され、各特
徴点の相対位置は知られているので次に特徴点位置の集合を用いてカメラを較正すること
ができる。撮像システムに2台以上のカメラが存在する場合、存在するカメラ間の幾何学
的関係と併せて固有パラメータはすべてのカメラに平たい被写体の各ポーズ角度における
画像を取り込ませることにより推定することができる。
ピュータ・ビジョンの分野で見られるマルチ・カメラ・撮像システムを研究した。コンピ
ュータ・ビジョンの分野において、このようなマルチ・カメラ・撮像システムは画像を撮
像するデバイスのみからなり、画像を投影するデバイスは含まないが、撮像システムの較
正に関し一連の研究があり、複数の画像を撮像デバイスであったが複数のデバイスの較正
のためのアプローチから何らかの洞察が得られるかもしれないと考えた。コンピュータ・
ビジョンの世界で通常用いられる方法はZhengyou Zhang著の論文「適応性を有するカメラ
較正用の新規手法」(”A flexible new technique for camera calibration”)、IE
EEパターン分析および人工知能紀要(Transactions on Pattern Analysis and Machine
Intelligence)、22(11):1330-1334、2000年、に記載され、引用により全体として本明
細書に組み入れられる。この方法において、いくつかの既知の特徴点(通常グリッドを形
成)でマークされた平たい被写体をカメラに対しさまざまな角度のポーズに置き、平たい
被写体の複数の画像がカメラにより取り込まれる。各特徴点の画像位置が抽出され、各特
徴点の相対位置は知られているので次に特徴点位置の集合を用いてカメラを較正すること
ができる。撮像システムに2台以上のカメラが存在する場合、存在するカメラ間の幾何学
的関係と併せて固有パラメータはすべてのカメラに平たい被写体の各ポーズ角度における
画像を取り込ませることにより推定することができる。
プロジェクタとカメラは影像化の幾何学という点で非常に類似しているので、カメラの
較正手法をプロジェクタ−カメラ・システムにおけるプロジェクタの較正に適用できるこ
とが合理的と思われるかもしれない。しかし、カメラの較正手法はすべて較正を必要とす
るカメラ(すなわち較正される影像装置)が画像をいくつか取り込むことが必要であるた
め、プロジェクタは画像を取り込むことができないのでカメラの較正手法はプロジェクタ
に容易に適用できないようである。
較正手法をプロジェクタ−カメラ・システムにおけるプロジェクタの較正に適用できるこ
とが合理的と思われるかもしれない。しかし、カメラの較正手法はすべて較正を必要とす
るカメラ(すなわち較正される影像装置)が画像をいくつか取り込むことが必要であるた
め、プロジェクタは画像を取り込むことができないのでカメラの較正手法はプロジェクタ
に容易に適用できないようである。
従って従来のプロジェクタ−カメラ・システムでは、プロジェクタに加え少なくとも2
台のカメラが必要であった。まず2台のカメラが通常のマルチ・カメラ・撮像システムの
較正手法を用いて較正され、ステレオ・カメラの対を確立する。より具体的に、これらの
システムは「ブートストラップ的」手順を用いて2台のカメラを較正しステレオの対を形
成する。業界で知られるように、カメラのステレオの対は深度(すなわち擬似的な遠近)
を推定し、カメラのステレオ対から見える特徴点擬似的深度知覚を確立するのに用いるこ
とができる。次に較正されたステレオ・カメラの対を用いてプロジェクタを較正する。基
本的にこの擬似的な深度知覚の確立を用い、映写表面の、従ってその映写表面に投影され
た映像の、表面深度凹凸を識別する。次にプロジェクタは投影画像内の表面深度を補償す
るために構成することができる。要するに、この擬似的深度知覚を用いてプロジェクタを
較正するためにはプロジェクタはまず特徴点を、凹凸表面を持ち得るディスプレイ環境(
すなわち映写表面)に投影する。予め較正されたカメラのステレオ対を用いて投射された
点の遠近的深度位置を解明する。次に投射された点の深度位置による判定に基づき映写表
面における表面/深度凹凸について補正するようにプロジェクタを較正することができる
。このブートストラップ的手法はプロジェクタ−カメラ・システム向けの実証済みの較正
方法であるが、予め較正され、戦略的に配置された外付けカメラのステレオの対を必要と
し、オペレータの介入を多く必要とするため内蔵型のプロジェクタ−カメラ・システムに
は適用できない。
台のカメラが必要であった。まず2台のカメラが通常のマルチ・カメラ・撮像システムの
較正手法を用いて較正され、ステレオ・カメラの対を確立する。より具体的に、これらの
システムは「ブートストラップ的」手順を用いて2台のカメラを較正しステレオの対を形
成する。業界で知られるように、カメラのステレオの対は深度(すなわち擬似的な遠近)
を推定し、カメラのステレオ対から見える特徴点擬似的深度知覚を確立するのに用いるこ
とができる。次に較正されたステレオ・カメラの対を用いてプロジェクタを較正する。基
本的にこの擬似的な深度知覚の確立を用い、映写表面の、従ってその映写表面に投影され
た映像の、表面深度凹凸を識別する。次にプロジェクタは投影画像内の表面深度を補償す
るために構成することができる。要するに、この擬似的深度知覚を用いてプロジェクタを
較正するためにはプロジェクタはまず特徴点を、凹凸表面を持ち得るディスプレイ環境(
すなわち映写表面)に投影する。予め較正されたカメラのステレオ対を用いて投射された
点の遠近的深度位置を解明する。次に投射された点の深度位置による判定に基づき映写表
面における表面/深度凹凸について補正するようにプロジェクタを較正することができる
。このブートストラップ的手法はプロジェクタ−カメラ・システム向けの実証済みの較正
方法であるが、予め較正され、戦略的に配置された外付けカメラのステレオの対を必要と
し、オペレータの介入を多く必要とするため内蔵型のプロジェクタ−カメラ・システムに
は適用できない。
同様に関連するものとしてデュアル・フォトグラフィと呼ばれる手法があり、Sen他に
より論文「デュアル・フォトグラフィ」(”Dual Photography”)、ACM SIGGRRAPH予稿
、2005年、の中で提案されており、引用により本明細書に全体として組み入れられる。デ
ュアル・フォトグラフィはヘルムホルツの相反定理を利用して実カメラで取り込んだ画像
を用いプロジェクタから「見えた」(または事実上「取り込んだ」)画像をシミュレート
する擬似画像(すなわちデュアル画像)を合成する。つまり、擬似画像はプロジェクタか
ら「見た」取り込み画像をシミュレートし、従ってプロジェクタが画像を取り込むことが
できたとした場合プロジェクタにより取り込まれた画像がどうなるかを表す。この方法は
プロジェクタを擬似カメラとして扱うことを可能にするので、プロジェクタの較正に関わ
る問題のいくつかを除去できるかもしれない。
より論文「デュアル・フォトグラフィ」(”Dual Photography”)、ACM SIGGRRAPH予稿
、2005年、の中で提案されており、引用により本明細書に全体として組み入れられる。デ
ュアル・フォトグラフィはヘルムホルツの相反定理を利用して実カメラで取り込んだ画像
を用いプロジェクタから「見えた」(または事実上「取り込んだ」)画像をシミュレート
する擬似画像(すなわちデュアル画像)を合成する。つまり、擬似画像はプロジェクタか
ら「見た」取り込み画像をシミュレートし、従ってプロジェクタが画像を取り込むことが
できたとした場合プロジェクタにより取り込まれた画像がどうなるかを表す。この方法は
プロジェクタを擬似カメラとして扱うことを可能にするので、プロジェクタの較正に関わ
る問題のいくつかを除去できるかもしれない。
ヘルムホルツの相反定理は、光の流れはその輸送特性を変えることなく有効に逆向きに
できるという概念に基づいている。ヘルムホルツの相反定理は計算の複雑さを低減するた
めに多くのコンピュータ・グラフィックス用途に使用されている。コンピュータ・グラフ
ィックス関連の文献でこの相反定理は入射(ωi)および出射(ωo)方向間の反射強度
転移の対称性を説明する方程式として通常fr(ωi→ωo)=fr(ωo→ωi)と要
約され、ここでfrはある表面の双方向反射率分布関数(BRDF)を表す。
できるという概念に基づいている。ヘルムホルツの相反定理は計算の複雑さを低減するた
めに多くのコンピュータ・グラフィックス用途に使用されている。コンピュータ・グラフ
ィックス関連の文献でこの相反定理は入射(ωi)および出射(ωo)方向間の反射強度
転移の対称性を説明する方程式として通常fr(ωi→ωo)=fr(ωo→ωi)と要
約され、ここでfrはある表面の双方向反射率分布関数(BRDF)を表す。
このようにデュアル・フォトグラフィは、理想的には映像および取り込み画像のデュア
ルな性質(すなわちデュアリティ関係)を利用して前者を後者からシミュレートする。さ
らに詳細に後述するように、デュアル・フォトグラフィ(より正確にはヘルムホルツの相
反定理)はカメラとプロジェクタ間の光輸送特性を取り込む必要がある。より具体的に、
デュアル・フォトグラフィは放射光線を取り込み光線に関連付ける光輸送特性(すなわち
光輸送係数)の判定を必要とする。
ルな性質(すなわちデュアリティ関係)を利用して前者を後者からシミュレートする。さ
らに詳細に後述するように、デュアル・フォトグラフィ(より正確にはヘルムホルツの相
反定理)はカメラとプロジェクタ間の光輸送特性を取り込む必要がある。より具体的に、
デュアル・フォトグラフィは放射光線を取り込み光線に関連付ける光輸送特性(すなわち
光輸送係数)の判定を必要とする。
しかしデジタル・カメラおよびデジタル・プロジェクタを扱う場合、デュアル・フォト
グラフィは各プロジェクタ・ピクセル(すなわちすべての放射光線)を1つ1つのカメラ
・ピクセル(すなわち放射光線の一部を取り込むすべての光センサ)に関連づける別個の
光輸送係数を双方の装置の解像度において取り込む必要がある。デジタル・プロジェクタ
およびデジタル・カメラ双方とも各々何百万のピクセルを有し得るので、多数の光輸送係
数の獲得、格納、および操作はこの手法の実際的な使用を制限する可能性がある。従って
デュアル・フォトグラフィは理論的に非常に利点を提供するように見えるが、実際上デュ
アル・フォトグラフィは非常に大量のコンピュータ・メモリ(アーカイブ用のディスク型
メモリおよびアクティブ・ソリッドステート・メモリ双方)を必要とし、広範囲コンピュ
ータ処理能力を要し、機器を設定してプロジェクタ−カメラ・システムが使用されるすべ
ての投影環境に対する大量の光線を放射し取り込むために多くの時間とユーザ介入を必要
とするという物理的かつ非実用的な要件により深刻に制限される。
グラフィは各プロジェクタ・ピクセル(すなわちすべての放射光線)を1つ1つのカメラ
・ピクセル(すなわち放射光線の一部を取り込むすべての光センサ)に関連づける別個の
光輸送係数を双方の装置の解像度において取り込む必要がある。デジタル・プロジェクタ
およびデジタル・カメラ双方とも各々何百万のピクセルを有し得るので、多数の光輸送係
数の獲得、格納、および操作はこの手法の実際的な使用を制限する可能性がある。従って
デュアル・フォトグラフィは理論的に非常に利点を提供するように見えるが、実際上デュ
アル・フォトグラフィは非常に大量のコンピュータ・メモリ(アーカイブ用のディスク型
メモリおよびアクティブ・ソリッドステート・メモリ双方)を必要とし、広範囲コンピュ
ータ処理能力を要し、機器を設定してプロジェクタ−カメラ・システムが使用されるすべ
ての投影環境に対する大量の光線を放射し取り込むために多くの時間とユーザ介入を必要
とするという物理的かつ非実用的な要件により深刻に制限される。
デュアル・フォトグラフィのより明確な理解は図47(A)および図47(B)を参照
して得られる。図47(A)において「根本構成」(すなわちデュアル変換以前の実際の
物理的な装置の構成)は実デジタル・プロジェクタ11、実映像13、および実デジタル
・カメラ15を含む。実プロジェクタ11から光が発射され、実カメラ15により取り込
まれる。映写された各投射光線(実プロジェクタ11内の各プロジェクタ・ピクセルeか
ら)を対応する各取り込み光線(実カメラ15内の各カメラ・センサ・ピクセルgにおい
て取り込まれた)に関連づける係数は光輸送係数と呼ばれる。光輸送係数を用いると、取
り込まれた光線から映写された光線の特徴を判定することが可能となる。
して得られる。図47(A)において「根本構成」(すなわちデュアル変換以前の実際の
物理的な装置の構成)は実デジタル・プロジェクタ11、実映像13、および実デジタル
・カメラ15を含む。実プロジェクタ11から光が発射され、実カメラ15により取り込
まれる。映写された各投射光線(実プロジェクタ11内の各プロジェクタ・ピクセルeか
ら)を対応する各取り込み光線(実カメラ15内の各カメラ・センサ・ピクセルgにおい
て取り込まれた)に関連づける係数は光輸送係数と呼ばれる。光輸送係数を用いると、取
り込まれた光線から映写された光線の特徴を判定することが可能となる。
本例において、実プロジェクタ11は象徴的に点線枠として示され、s行およびr列の
個々のプロジェクタ・ピクセルeを含むプロジェクタ・ピクセル・アレイ17を有するデ
ジタル・プロジェクタであることが好ましい。各プロジェクタ・ピクセルeは別個に放射
された光線の源であり得る。プロジェクタ・ピクセル・アレイ17のサイズは実プロジェ
クタ11の解像度に依存する。例えばVGA解像度は640×480ピクセルのアレイ(
すなわち307,200個のプロジェクタ・ピクセルe)を含むことができ、SVGA解
像度は800×600ピクセルのアレイ(すなわち480,000個のプロジェクタ・ピ
クセルe)を有し得、XVG解像度は1024×768ピクセルのアレイ(すなわち78
6,732個のプロジェクタ・ピクセルe)を有し得、SXVG解像度は1280×10
24ピクセルのアレイ(すなわち1,310,720個のプロジェクタ・ピクセルe)を
有し得、以下同様でより高い解像度のプロジェクタはより多数のプロジェクタ・ピクセル
eを必要とする。
個々のプロジェクタ・ピクセルeを含むプロジェクタ・ピクセル・アレイ17を有するデ
ジタル・プロジェクタであることが好ましい。各プロジェクタ・ピクセルeは別個に放射
された光線の源であり得る。プロジェクタ・ピクセル・アレイ17のサイズは実プロジェ
クタ11の解像度に依存する。例えばVGA解像度は640×480ピクセルのアレイ(
すなわち307,200個のプロジェクタ・ピクセルe)を含むことができ、SVGA解
像度は800×600ピクセルのアレイ(すなわち480,000個のプロジェクタ・ピ
クセルe)を有し得、XVG解像度は1024×768ピクセルのアレイ(すなわち78
6,732個のプロジェクタ・ピクセルe)を有し得、SXVG解像度は1280×10
24ピクセルのアレイ(すなわち1,310,720個のプロジェクタ・ピクセルe)を
有し得、以下同様でより高い解像度のプロジェクタはより多数のプロジェクタ・ピクセル
eを必要とする。
同様に実カメラ15は象徴的に点線枠として示され、u行およびv列の個々のカメラ・
ピクセルgを含むカメラ・センサのピクセル・アレイ19を有するデジタル・カメラであ
る。各カメラ・ピクセルgは放射された光線の一部を受光する、すなわち取り込む、こと
ができる。カメラ・センサのピクセル・アレイ19のサイズもまた実カメラ15の解像度
に依存する。但し、実カメラ15は4メガピクセル(すなわち4,194,304の受容
ピクセルg)以上を有しているのが普通である。
ピクセルgを含むカメラ・センサのピクセル・アレイ19を有するデジタル・カメラであ
る。各カメラ・ピクセルgは放射された光線の一部を受光する、すなわち取り込む、こと
ができる。カメラ・センサのピクセル・アレイ19のサイズもまた実カメラ15の解像度
に依存する。但し、実カメラ15は4メガピクセル(すなわち4,194,304の受容
ピクセルg)以上を有しているのが普通である。
カメラ・センサのピクセル・アレイ19内の各カメラ・ピクセルgは区別可能なプロジ
ェクタ・ピクセルeから放射された光線の一部を取り込むことができ、別々のプロジェク
タ・ピクセルe各々は別個の光線を放射し得るので、別々のプロジェクタ・ピクセルe各
々をすべてのカメラ・ピクセルgに関連付けるためには大量の光輸送係数が必要となる。
言い換えれば、単一のプロジェクタ・ピクセルeから放射された光線はカメラ・センサの
ピクセル・アレイ19全体を覆う可能性があり、従って各カメラ・ピクセルgは放射され
た光線の異なった量を取り込む。従って、個々のカメラ・ピクセルgは個別に放射された
光線をどれだけ受光したかを示す、異なった光輸送係数を有することになる。カメラ・セ
ンサのピクセル・アレイ19が4,194,304個の個別のカメラ・ピクセルgを有す
る(すなわち4メガピクセルの解像度を有する)場合、個別のプロジェクタ・ピクセルe
はカメラ・センサのピクセル・アレイ19に関連付けられるために各々4,194,30
4個の個別光輸送係数の組を別々に必要とすることになる。従って、プロジェクタ・ピク
セル・アレイ17全体をカメラ・センサのピクセル・アレイ19に関連付け、実プロジェ
クタ11および実カメラ15との間にデュアリティ関係を確立するためには別個に判定し
た何百万組の光輸送係数(プロジェクタ・ピクセルe毎に1組)が必要となる。
ェクタ・ピクセルeから放射された光線の一部を取り込むことができ、別々のプロジェク
タ・ピクセルe各々は別個の光線を放射し得るので、別々のプロジェクタ・ピクセルe各
々をすべてのカメラ・ピクセルgに関連付けるためには大量の光輸送係数が必要となる。
言い換えれば、単一のプロジェクタ・ピクセルeから放射された光線はカメラ・センサの
ピクセル・アレイ19全体を覆う可能性があり、従って各カメラ・ピクセルgは放射され
た光線の異なった量を取り込む。従って、個々のカメラ・ピクセルgは個別に放射された
光線をどれだけ受光したかを示す、異なった光輸送係数を有することになる。カメラ・セ
ンサのピクセル・アレイ19が4,194,304個の個別のカメラ・ピクセルgを有す
る(すなわち4メガピクセルの解像度を有する)場合、個別のプロジェクタ・ピクセルe
はカメラ・センサのピクセル・アレイ19に関連付けられるために各々4,194,30
4個の個別光輸送係数の組を別々に必要とすることになる。従って、プロジェクタ・ピク
セル・アレイ17全体をカメラ・センサのピクセル・アレイ19に関連付け、実プロジェ
クタ11および実カメラ15との間にデュアリティ関係を確立するためには別個に判定し
た何百万組の光輸送係数(プロジェクタ・ピクセルe毎に1組)が必要となる。
本例において別々のプロジェクタ・ピクセルe各々は実カメラ15に関連付けられるた
めに4,194,304個の個別的に判定された光輸送係数の別個の組を必要とし、実プ
ロジェクタ11は何百万個の別々のプロジェクタ・ピクセルeを有する可能性があるので
、光輸送係数の各組を別々の光輸送係数のアレイとみなし、これらの別々のアレイを集め
て1つの光輸送行列(T)にまとめることが有益である。光輸送係数の各アレイは光輸送
行列T内で別々の列を構成する。従って、光輸送行列Tにおける各列は別個のプロジェク
タ・ピクセルeに対応する1組の光輸送係数を構成する。
めに4,194,304個の個別的に判定された光輸送係数の別個の組を必要とし、実プ
ロジェクタ11は何百万個の別々のプロジェクタ・ピクセルeを有する可能性があるので
、光輸送係数の各組を別々の光輸送係数のアレイとみなし、これらの別々のアレイを集め
て1つの光輸送行列(T)にまとめることが有益である。光輸送係数の各アレイは光輸送
行列T内で別々の列を構成する。従って、光輸送行列Tにおける各列は別個のプロジェク
タ・ピクセルeに対応する1組の光輸送係数を構成する。
本例において実プロジェクタ11は個別の光プロジェクタ・ピクセルeのアレイを有す
るデジタル・プロジェクタで、実カメラ15は個別のカメラ・ピクセルgのアレイを有す
るデジタル・カメラであるので、実プロジェクタ11および実カメラ15の間のデュアリ
ティ関係を定義するのに光輸送行列Tが用いられる。以下の考察において行列要素Tgeは
個別の実プロジェクタ・ピクセルeを個別の実カメラ・ピクセルgの関連付ける個別の光
輸送係数(光輸送行列T内の)を特定する。
るデジタル・プロジェクタで、実カメラ15は個別のカメラ・ピクセルgのアレイを有す
るデジタル・カメラであるので、実プロジェクタ11および実カメラ15の間のデュアリ
ティ関係を定義するのに光輸送行列Tが用いられる。以下の考察において行列要素Tgeは
個別の実プロジェクタ・ピクセルeを個別の実カメラ・ピクセルgの関連付ける個別の光
輸送係数(光輸送行列T内の)を特定する。
実カメラ15に取り込まれた実画像はカメラ・センサのピクセル・アレイ19内の各カ
メラ・ピクセルgにより個別的に取り込まれたすべての光線(すなわち光のビーム)から
なる。従ってカメラ・センサのピクセル・アレイ19で判定された取り込み実画像を実画
像取り込み行列、C、に編成することが役に立つ。同様に、プロジェクタ・ピクセル・ア
レイ17内の個々のプロジェクタ・ピクセルeの活性化により構成される映写実画像を実
画像映写行列、P、に編成することが有用である。この記号を用い、取り込み実画像(実
画像取り込み行列Cで定義された)はC=TPという関係に従い光輸送行列Tにより映写
実画像(実画像映写行列P)に関連付けることができる。
メラ・ピクセルgにより個別的に取り込まれたすべての光線(すなわち光のビーム)から
なる。従ってカメラ・センサのピクセル・アレイ19で判定された取り込み実画像を実画
像取り込み行列、C、に編成することが役に立つ。同様に、プロジェクタ・ピクセル・ア
レイ17内の個々のプロジェクタ・ピクセルeの活性化により構成される映写実画像を実
画像映写行列、P、に編成することが有用である。この記号を用い、取り込み実画像(実
画像取り込み行列Cで定義された)はC=TPという関係に従い光輸送行列Tにより映写
実画像(実画像映写行列P)に関連付けることができる。
図47(A)のデュアリティ変換、すなわちデュアル構成、が図47(B)に示される
。このデュアル構成において、図47(A)の実プロジェクタ11は仮想カメラ11”に
変換され、図47(A)の実カメラ15は仮想プロジェクタ15”に変換される。仮想カ
メラ11”および仮想プロジェクタ15”は各々実プロジェクタ11および実カメラ15
のデュアルな対応を表し、それら自体実装置でないことが理解されよう。つまり、仮想カ
メラ11”は仮定上のカメラ(すなわち仮想カメラ11”)が図47(A)の実プロジェ
クタが映写する実画像13に類似した仮定上の映像13”を取り込むためにどのように挙
動するかを数学的に表したものである。同様に、仮想プロジェクタ15”は仮定上のプロ
ジェクタ(すなわち仮想プロジェクタ15”)が実カメラ15(図47(A)の)で取り
込まれた実画像13に実質的に合致する仮定上の画像13”を映写するためにどのように
挙動するかを数学的に表したものである。このように図47(A)における実プロジェク
タ11および実カメラ15の位置は図47(B)において仮想カメラ11”および仮想プ
ロジェクタ15”に交換される。
。このデュアル構成において、図47(A)の実プロジェクタ11は仮想カメラ11”に
変換され、図47(A)の実カメラ15は仮想プロジェクタ15”に変換される。仮想カ
メラ11”および仮想プロジェクタ15”は各々実プロジェクタ11および実カメラ15
のデュアルな対応を表し、それら自体実装置でないことが理解されよう。つまり、仮想カ
メラ11”は仮定上のカメラ(すなわち仮想カメラ11”)が図47(A)の実プロジェ
クタが映写する実画像13に類似した仮定上の映像13”を取り込むためにどのように挙
動するかを数学的に表したものである。同様に、仮想プロジェクタ15”は仮定上のプロ
ジェクタ(すなわち仮想プロジェクタ15”)が実カメラ15(図47(A)の)で取り
込まれた実画像13に実質的に合致する仮定上の画像13”を映写するためにどのように
挙動するかを数学的に表したものである。このように図47(A)における実プロジェク
タ11および実カメラ15の位置は図47(B)において仮想カメラ11”および仮想プ
ロジェクタ15”に交換される。
実装置のピクセル解像度は対応する仮想装置(すなわちデュアル装置)に持ち越される
ことが特記される。従って仮想カメラ11”はs行およびr列からなる仮想光カメラ・セ
ンサのピクセル・アレイ17”を有し、実プロジェクタ11のプロジェクタ・ピクセル・
アレイ17に合致している。同様に仮想プロジェクタ15”はu行およびv列からなる仮
想プロジェクタ・ピクセル・アレイ19”を有し実カメラ15のカメラ・センサのピクセ
ル・アレイ19に合致している。
ことが特記される。従って仮想カメラ11”はs行およびr列からなる仮想光カメラ・セ
ンサのピクセル・アレイ17”を有し、実プロジェクタ11のプロジェクタ・ピクセル・
アレイ17に合致している。同様に仮想プロジェクタ15”はu行およびv列からなる仮
想プロジェクタ・ピクセル・アレイ19”を有し実カメラ15のカメラ・センサのピクセ
ル・アレイ19に合致している。
デュアル光輸送行列T”がこのデュアル構成の光輸送行列で、デュアル画像取り込み行
列C”(仮想カメラ11”で取り込まれるデュアル画像13”を定義する)はデュアル画
像映写行列P”(仮想プロジェクタ15”で映写されるデュアル画像13”を定義する)
に対しC”=TP”という形で関係していると仮定すると、T”egが個別の仮想プロジェ
クタ・ピクセルg”を個別の仮想カメラ・ピクセルe”に関連付ける個別のデュアル光輸
送係数となる。
列C”(仮想カメラ11”で取り込まれるデュアル画像13”を定義する)はデュアル画
像映写行列P”(仮想プロジェクタ15”で映写されるデュアル画像13”を定義する)
に対しC”=TP”という形で関係していると仮定すると、T”egが個別の仮想プロジェ
クタ・ピクセルg”を個別の仮想カメラ・ピクセルe”に関連付ける個別のデュアル光輸
送係数となる。
ヘルムホルツの相反定理はピクセルからピクセルへの輸送係数は双方向において(すな
わち実プロジェクタ11から実カメラ15へ、および仮想プロジェクタ15”から仮想カ
メラ11”へ)等しいと規定している。すなわちT”eg=Tgeで、これはT”=TTを意
味する(すなわちデュアル光輸送行列T”は実光輸送行列Tに対する数学的行列転置の結
果に等しい)。従って、光輸送行列Tが与えられると、TTを用いてデュアル構成におい
て得られるデュアル、または仮想、画像を合成することができる。
わち実プロジェクタ11から実カメラ15へ、および仮想プロジェクタ15”から仮想カ
メラ11”へ)等しいと規定している。すなわちT”eg=Tgeで、これはT”=TTを意
味する(すなわちデュアル光輸送行列T”は実光輸送行列Tに対する数学的行列転置の結
果に等しい)。従って、光輸送行列Tが与えられると、TTを用いてデュアル構成におい
て得られるデュアル、または仮想、画像を合成することができる。
このように、光輸送行列Tはプロジェクタにより取り込まれたように見える画像を作り
出すことを可能にし、カメラは第2プロジェクタの役割を果たす。しかし、上記に説明す
るように、光輸送行列Tを生成し操作することの高度の複雑さのため今までその適用は、
特にプロジェクタ−カメラ・システムの較正分野において、非常に限定されていた。
出すことを可能にし、カメラは第2プロジェクタの役割を果たす。しかし、上記に説明す
るように、光輸送行列Tを生成し操作することの高度の複雑さのため今までその適用は、
特にプロジェクタ−カメラ・システムの較正分野において、非常に限定されていた。
プロジェクタ−カメラ・システムに関する他の問題はプロジェクタの視線を遮る可能性
のある光拡散物体をどのように補正するかである。関連するものとしてプロジェクタ−カ
メラ・システムが典型より複雑な画像を達成するのに用いることができるかという問題で
ある。例えば、このようなシステムは複数のプロジェクタによる複数の画像を組み合わせ
て単一の合成画像を作成することができるであろうか。あるいは、”3−D”画像または
以前はより複雑な機器およびより複雑な映写設備を必要とした他の視覚上の効果を生成す
ることができるであろうか。さらに、プロジェクタ−カメラ・システムのカメラをより有
効に活用し、カメラが画像作成プロセスの能動的な部分になることができるであろうか。
さらに、そのようなプロジェクタ・カメラ・システムの、低解像度で安価なカメラを用い
ることの意味合いはどんなものがあるだろうか。
のある光拡散物体をどのように補正するかである。関連するものとしてプロジェクタ−カ
メラ・システムが典型より複雑な画像を達成するのに用いることができるかという問題で
ある。例えば、このようなシステムは複数のプロジェクタによる複数の画像を組み合わせ
て単一の合成画像を作成することができるであろうか。あるいは、”3−D”画像または
以前はより複雑な機器およびより複雑な映写設備を必要とした他の視覚上の効果を生成す
ることができるであろうか。さらに、プロジェクタ−カメラ・システムのカメラをより有
効に活用し、カメラが画像作成プロセスの能動的な部分になることができるであろうか。
さらに、そのようなプロジェクタ・カメラ・システムの、低解像度で安価なカメラを用い
ることの意味合いはどんなものがあるだろうか。
以前の研究(Ramesh Raskarら著の論文「未来のオフィス−画像に基づくモデリングと
空間没入型ディスプレイの統合アプローチ」(The office of the future: a unified ap
proach to image-based modeling and spatially immersive displays, Proceedings of
the 25th annual conference on Computer graphics and interactive techniques, p.17
9-188, July 1998)、および John Underkofflerら著の論文「照明灯−発光する有形イン
ターフェースを有する光学設計」(Illuminating light: an optical design tool with
a luminous-tangible interface, Proceedings of the SIGCHI conference on Human fac
tors in computing systems, p.542-549, April 18-23, 1998)はインテリジェント照明
の概念を提示し、プロジェクタを用いて仕事場のやりとりを向上させ問題解決の新規ツー
ルの役割を果たせることを示している。以来プロジェクタ−カメラの世界はインテリジェ
ント・プロジェクタに関する多くの技術的問題を解決している。特に複数プロジェクタの
自動モザイク化において相当な進歩がなされている(Han Chenら著の論文「カメラ・ホモ
グラフィ・ツリーを用いた大型マルチ・プロジェクタ・ディスプレイの拡張性のある位置
合わせ」(Scalable alignment of large-format multi-projector displays using came
ra homography trees, Proceedings of the conference on Visualization '02, October
27-November 01, 2002)、Ruigang Yangら著の論文「PixelFlex−再構成可能なマルチ・
プロジェクタ・ディスプレイ・システム」(PixelFlex: a reconfigurable multi-projec
tor display system, Proceedings of the conference on Visualization '01, October
21-26, 2001)、A. Raijら著の論文「PixelFlex2−総合的に自動的にカジュアルに位置合
わせされるマルチ・プロジェクタ・システム」(PixelFlex2: A Comprehensive, Automat
ic, Casually-Aligned Multi-Projector Display. In Proc. of PROCAMS'03, 2003.)、R
. Sukthankarら著の論文「カメラ−プロジェクタ・システムにおけるホモグラフィーを活
用したよりスマートなプレゼンテーション」(”Smarter presentations: Exploiting ho
mography in camera-projector systems,” In Proceedings of International Conferen
ce on Computer Vision, 2001)およびR. Raskarら著の論文「iLamps−幾何学的認識と自
己設定可能なプロジェクタ」(iLamps: geometrically aware and selfconfiguring proj
ectors. ACM Trans. Graph., 22 (3). 809-818.)。
空間没入型ディスプレイの統合アプローチ」(The office of the future: a unified ap
proach to image-based modeling and spatially immersive displays, Proceedings of
the 25th annual conference on Computer graphics and interactive techniques, p.17
9-188, July 1998)、および John Underkofflerら著の論文「照明灯−発光する有形イン
ターフェースを有する光学設計」(Illuminating light: an optical design tool with
a luminous-tangible interface, Proceedings of the SIGCHI conference on Human fac
tors in computing systems, p.542-549, April 18-23, 1998)はインテリジェント照明
の概念を提示し、プロジェクタを用いて仕事場のやりとりを向上させ問題解決の新規ツー
ルの役割を果たせることを示している。以来プロジェクタ−カメラの世界はインテリジェ
ント・プロジェクタに関する多くの技術的問題を解決している。特に複数プロジェクタの
自動モザイク化において相当な進歩がなされている(Han Chenら著の論文「カメラ・ホモ
グラフィ・ツリーを用いた大型マルチ・プロジェクタ・ディスプレイの拡張性のある位置
合わせ」(Scalable alignment of large-format multi-projector displays using came
ra homography trees, Proceedings of the conference on Visualization '02, October
27-November 01, 2002)、Ruigang Yangら著の論文「PixelFlex−再構成可能なマルチ・
プロジェクタ・ディスプレイ・システム」(PixelFlex: a reconfigurable multi-projec
tor display system, Proceedings of the conference on Visualization '01, October
21-26, 2001)、A. Raijら著の論文「PixelFlex2−総合的に自動的にカジュアルに位置合
わせされるマルチ・プロジェクタ・システム」(PixelFlex2: A Comprehensive, Automat
ic, Casually-Aligned Multi-Projector Display. In Proc. of PROCAMS'03, 2003.)、R
. Sukthankarら著の論文「カメラ−プロジェクタ・システムにおけるホモグラフィーを活
用したよりスマートなプレゼンテーション」(”Smarter presentations: Exploiting ho
mography in camera-projector systems,” In Proceedings of International Conferen
ce on Computer Vision, 2001)およびR. Raskarら著の論文「iLamps−幾何学的認識と自
己設定可能なプロジェクタ」(iLamps: geometrically aware and selfconfiguring proj
ectors. ACM Trans. Graph., 22 (3). 809-818.)。
R. Raskarら著の論文「Shader Lamps−実在の事物に画像ベースの照明でアニメーショ
ンを加える方法」(”Shader Lamps: Animating Real Objects with Image-Based Illumi
nation”, Chapel Hill: University of North Carlina at Chapel Hill, 2000)は複雑
な物体への映写を実証している。前以て作成された物体の3Dモデルを用い、複数のプロ
ジェクタで些細でない複雑な形状を有する実際の物理的物体に仮想テクスチャおよびアニ
メーションを加えることができる。
ンを加える方法」(”Shader Lamps: Animating Real Objects with Image-Based Illumi
nation”, Chapel Hill: University of North Carlina at Chapel Hill, 2000)は複雑
な物体への映写を実証している。前以て作成された物体の3Dモデルを用い、複数のプロ
ジェクタで些細でない複雑な形状を有する実際の物理的物体に仮想テクスチャおよびアニ
メーションを加えることができる。
Kensaku Fujiiら著の論文「動的環境に対するリアルタイムな測光適応を備えたプロジ
ェクタ−カメラシステム」(A Projector-Camera System with Real-Time Photometric A
daptation for Dynamic Environments. CVPR (1) 2005: 814-821)は同軸プロジェクタ−
カメラ・システムを用いてリアルタイムで物体の外観を改変する方法を提案した。Michae
l D. Grossbergら著の論文「一つの対象物を別のものに見せる−プロジェクタ−カメラシ
ステムを用いた外観制御方法」(Making One Object Look Like Another: Controlling A
ppearance Using a Projector-Camera System. CVPR (1) 2004: 452-459)は区分的な多
項式3Dモデルを組み入れて非同軸プロジェクタ−カメラ・システムがビューの映写を行
えるようにした。
ェクタ−カメラシステム」(A Projector-Camera System with Real-Time Photometric A
daptation for Dynamic Environments. CVPR (1) 2005: 814-821)は同軸プロジェクタ−
カメラ・システムを用いてリアルタイムで物体の外観を改変する方法を提案した。Michae
l D. Grossbergら著の論文「一つの対象物を別のものに見せる−プロジェクタ−カメラシ
ステムを用いた外観制御方法」(Making One Object Look Like Another: Controlling A
ppearance Using a Projector-Camera System. CVPR (1) 2004: 452-459)は区分的な多
項式3Dモデルを組み入れて非同軸プロジェクタ−カメラ・システムがビューの映写を行
えるようにした。
L.Zhangらによる、「シーン獲得と画像表示のための投影デフォーカス分析」(Project
ion Defocus Analysis for Scene Capture and Image Display. In ACM SIGGRAPH Annual
Conference, Boston, MA, Aug., 2006)ではプロジェクタ−カメラ・システムは深度マ
ップを抽出するためにも用いられ、R. Raskarらによる「非フォトリアリズムなカメラ−
深度エッジ検出とマルチ・フラッシュ・イメージングを用いた様式化されたレンダリング
」(”Non-photorealistic Camera: Depth Edge Detection and Stylized Rendering usi
ng Multi-Flash Imaging”. ACM Transactions on Graphics (SIGGRAPH 2004), Vol. 23,
Issue 3, August 2004)では深度エッジを回復する手段として時空多重化照明が提案さ
れている。
ion Defocus Analysis for Scene Capture and Image Display. In ACM SIGGRAPH Annual
Conference, Boston, MA, Aug., 2006)ではプロジェクタ−カメラ・システムは深度マ
ップを抽出するためにも用いられ、R. Raskarらによる「非フォトリアリズムなカメラ−
深度エッジ検出とマルチ・フラッシュ・イメージングを用いた様式化されたレンダリング
」(”Non-photorealistic Camera: Depth Edge Detection and Stylized Rendering usi
ng Multi-Flash Imaging”. ACM Transactions on Graphics (SIGGRAPH 2004), Vol. 23,
Issue 3, August 2004)では深度エッジを回復する手段として時空多重化照明が提案さ
れている。
詳細に後述されるように、本発明は望ましい画像を作成するために何をプロジェクタが
映写する必要があるかをどのように判定するかという問題に、光輸送行列の逆(inve
rse)を用いて対応しており、その適用はさらにプロジェクタ−カメラ・システムの較
正を簡素化する。
映写する必要があるかをどのように判定するかという問題に、光輸送行列の逆(inve
rse)を用いて対応しており、その適用はさらにプロジェクタ−カメラ・システムの較
正を簡素化する。
上記目的は光輸送行列Tの生成を簡素化し、デュアル・フォトグラフィにおける光輸送
係数の実施を簡素化し、光輸送行列Tをさらに簡素化しながら改変して光拡散効果または
光ノイズに対する補正を組み入れたシステムにより満足される。
係数の実施を簡素化し、光輸送行列Tをさらに簡素化しながら改変して光拡散効果または
光ノイズに対する補正を組み入れたシステムにより満足される。
デュアル・フォトグラフィの適用は(p×q)のプロジェクタ・ピクセル・アレイの光
輸送行列Tを生成するのに必要な取り込み画像数を(p×q)の画像から(p+q)の画
像に削減することにより簡素化される。光輸送行列Tの操作は完全に入力された光輸送行
列Tを各プロジェクタ・ピクセルを非ゼロの光輸送係数値にのみ結び付けるインデクスで
置き換えることにより、光輸送行列Tの使用を簡素化される。ゼロ値の光輸送係数の使用
を排除することにより、デュアル・フォトグラフィを実施するためのメモリおよび処理要
件が非常に低減される。このデュアル・フォトグラフィ手法がプロジェクタ−カメラ・シ
ステムの較正に適用される。
輸送行列Tを生成するのに必要な取り込み画像数を(p×q)の画像から(p+q)の画
像に削減することにより簡素化される。光輸送行列Tの操作は完全に入力された光輸送行
列Tを各プロジェクタ・ピクセルを非ゼロの光輸送係数値にのみ結び付けるインデクスで
置き換えることにより、光輸送行列Tの使用を簡素化される。ゼロ値の光輸送係数の使用
を排除することにより、デュアル・フォトグラフィを実施するためのメモリおよび処理要
件が非常に低減される。このデュアル・フォトグラフィ手法がプロジェクタ−カメラ・シ
ステムの較正に適用される。
本発明の第1実施形態で、デジタル・プロジェクタをデジタル・カメラに関連付ける光
輸送係数を生成する方法が示される。デジタル・プロジェクタが映写ピクセルのアレイを
有し、デジタル・カメラがセンサ・ピクセルのアレイを有する場合、方法は、プロジェク
タ内の映写ピクセルの第1グループを同時に活性化し映写場面上に第1テスト・パターン
を投影することで、前記第1テスト・パターンに入っていない映写ピクセルは暗く維持さ
れることと、映写場面上の第1テスト・パターンの第1画像を取り込むことと、プロジェ
クタ内の映写ピクセルの第2グループを同時に活性化し映写場面上に2テスト・パターン
を映写することで、前記第2テスト・パターンに入っていない残りの映写ピクセルは暗く
維持され、映写ピクセルの第1および第2グループは目標映写ピクセルを定義する1つの
みの共通映写ピクセルを有することと、前記映写場面上の前記第2テスト・パターンの第
2画像を取り込むことと、第1画像の画像ピクセルを第2画像の対応画像ピクセルと比較
し、2つの比較された画像ピクセルの暗い方を留保することで、留保された画像ピクセル
は合成画像を形成することと、および合成画像において暗くないすべての画像ピクセルを
特定することで、暗くない画像ピクセルは目標映写ピクセルに結び付いた非ゼロの光輸送
係数を定義することと、を含む。
輸送係数を生成する方法が示される。デジタル・プロジェクタが映写ピクセルのアレイを
有し、デジタル・カメラがセンサ・ピクセルのアレイを有する場合、方法は、プロジェク
タ内の映写ピクセルの第1グループを同時に活性化し映写場面上に第1テスト・パターン
を投影することで、前記第1テスト・パターンに入っていない映写ピクセルは暗く維持さ
れることと、映写場面上の第1テスト・パターンの第1画像を取り込むことと、プロジェ
クタ内の映写ピクセルの第2グループを同時に活性化し映写場面上に2テスト・パターン
を映写することで、前記第2テスト・パターンに入っていない残りの映写ピクセルは暗く
維持され、映写ピクセルの第1および第2グループは目標映写ピクセルを定義する1つの
みの共通映写ピクセルを有することと、前記映写場面上の前記第2テスト・パターンの第
2画像を取り込むことと、第1画像の画像ピクセルを第2画像の対応画像ピクセルと比較
し、2つの比較された画像ピクセルの暗い方を留保することで、留保された画像ピクセル
は合成画像を形成することと、および合成画像において暗くないすべての画像ピクセルを
特定することで、暗くない画像ピクセルは目標映写ピクセルに結び付いた非ゼロの光輸送
係数を定義することと、を含む。
あるいは、光輸送係数を生成する方法はさらに選択された数の目標映写ピクセルに対す
る光輸送係数を特定することを含むことができ、これは選択された数の目標映写ピクセル
各々を対応して結び付いた非ゼロの光輸送係数に結び付けるインデクスを生成すること、
および非ゼロの光輸送係数のみを格納することを含む。
る光輸送係数を特定することを含むことができ、これは選択された数の目標映写ピクセル
各々を対応して結び付いた非ゼロの光輸送係数に結び付けるインデクスを生成すること、
および非ゼロの光輸送係数のみを格納することを含む。
光輸送行列は全行列形式または光輸送係数入力の第1アレイと、第1アレイのどの光輸
送係数が光輸送行列のどの列に対応するかを示す記録を維持する第2アレイからなる簡略
化された2アレイ形式のいずれかで書くことができるので、光ノイズおよび光拡散効果を
補正する改変プロセスも全行列形式またはまたは2アレイ形式のいずれかに適用すること
ができる。いずれの場合もプロセスは表示制約を課すことを含み、課さなければ適用する
ことができない。
送係数が光輸送行列のどの列に対応するかを示す記録を維持する第2アレイからなる簡略
化された2アレイ形式のいずれかで書くことができるので、光ノイズおよび光拡散効果を
補正する改変プロセスも全行列形式またはまたは2アレイ形式のいずれかに適用すること
ができる。いずれの場合もプロセスは表示制約を課すことを含み、課さなければ適用する
ことができない。
従って最初の工程は任意の場面においてプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課すことで、表示制約はプロジェクタから放射された
光線は区別可能な部分でカメラの画像センサに当たることを規定する。これは次の方法で
行うことができる。光輸送行列Tの各列について、光輸送行列の共通行に沿って行列の入
力を比較し、共通行における最高値の行列入力を留保し、光輸送アレイに前記光輸送行列
Tの各行からの最高値の行列入力を入れ、光輸送アレイの各入力が光輸送行列のどの列か
ら由来するかの記録を維持し、必要に応じ記録および光輸送アレイを用い、プロジェクタ
の各プロジェクタ・ピクセルについて光フットプリント情報を抽出する。この方法では、
任意の場面において前記プロジェクタから前記カメラへの光のパスに光拡散物体が含まれ
ても構わず、前記方法は光拡散効果を補正するのに有効である。
Tにシミュレートされた表示制約を課すことで、表示制約はプロジェクタから放射された
光線は区別可能な部分でカメラの画像センサに当たることを規定する。これは次の方法で
行うことができる。光輸送行列Tの各列について、光輸送行列の共通行に沿って行列の入
力を比較し、共通行における最高値の行列入力を留保し、光輸送アレイに前記光輸送行列
Tの各行からの最高値の行列入力を入れ、光輸送アレイの各入力が光輸送行列のどの列か
ら由来するかの記録を維持し、必要に応じ記録および光輸送アレイを用い、プロジェクタ
の各プロジェクタ・ピクセルについて光フットプリント情報を抽出する。この方法では、
任意の場面において前記プロジェクタから前記カメラへの光のパスに光拡散物体が含まれ
ても構わず、前記方法は光拡散効果を補正するのに有効である。
さらにこの方法において、光輸送行列Tの各列はプロジェクタの単一のプロジェクタ・
ピクセルを活性化することにより実現されカメラの画像センサ全体で取り込まれた画像に
対応し、各光フットプリント情報はそれに対応するプロジェクタ・ピクセルの光輸送値を
構成する。
ピクセルを活性化することにより実現されカメラの画像センサ全体で取り込まれた画像に
対応し、各光フットプリント情報はそれに対応するプロジェクタ・ピクセルの光輸送値を
構成する。
光輸送アレイおよび記録は前記光輸送行列Tの代わりに使用できる改変光輸送行列をな
し、改変光輸送行列はデュアル・フォトグラフィでの使用に適していることがさらに特記
される。
し、改変光輸送行列はデュアル・フォトグラフィでの使用に適していることがさらに特記
される。
上述の方法は次の工程により光輸送行列の推定逆行列を生成するのに用いることができ
る。正規化光フットプリント情報を各々のプロジェクタ・ピクセルに対応するグループで
計算し、中間アレイを作成し、その中間アレイに対応する光フットプリント情報の計算さ
れた正規化値を入れ、中間アレイの各入力を対応する正規化光フットプリントに結び付け
るために中間アレイ用の中間記録を維持し、中間アレイおよび中間記録を中間行列の表記
として解釈し、前記中間アレイに転置行列演算を適用する。
る。正規化光フットプリント情報を各々のプロジェクタ・ピクセルに対応するグループで
計算し、中間アレイを作成し、その中間アレイに対応する光フットプリント情報の計算さ
れた正規化値を入れ、中間アレイの各入力を対応する正規化光フットプリントに結び付け
るために中間アレイ用の中間記録を維持し、中間アレイおよび中間記録を中間行列の表記
として解釈し、前記中間アレイに転置行列演算を適用する。
この正規化光フットプリント情報を各々のプロジェクタ・ピクセルに対応するグループ
で計算するプロセスは1つの光フットプリントを構成する光輸送アレイのグループの二乗
の総計を生成し、光輸送アレイ入力の各入力を総計で割ることを含むこともさらに特記さ
れる。
で計算するプロセスは1つの光フットプリントを構成する光輸送アレイのグループの二乗
の総計を生成し、光輸送アレイ入力の各入力を総計で割ることを含むこともさらに特記さ
れる。
任意の場面においてプロジェクタ−カメラ・システムの光輸送行列Tにシミュレートさ
れた表示制約を課す別の方法では次の方法に従うことができる。光輸送行列Tの各行につ
いて、光輸送行列Tの共通行に沿った行列入力を比較し、共通行における最高値の行列入
力以外をすべて無効化する。結果として得られた行列は改変光輸送行列T*となる。この
方法で、行列入力はゼロ値を割り当てられることにより無効化される。前と同じように、
この方法は表示制約が真にサポートされていないものも含みどのような任意の場面にでも
用いることができる。従って任意の場面が前記プロジェクタから前記カメラへの光パスの
間に光を拡散する物体が含まれていても問題ない。改変光輸送行列は相変わらず光拡散効
果を補正するのに有効である。改変光輸送行列T*は相変わらずデュアル・フォトグラフ
ィでの使用に適していることはさらに有用である。
れた表示制約を課す別の方法では次の方法に従うことができる。光輸送行列Tの各行につ
いて、光輸送行列Tの共通行に沿った行列入力を比較し、共通行における最高値の行列入
力以外をすべて無効化する。結果として得られた行列は改変光輸送行列T*となる。この
方法で、行列入力はゼロ値を割り当てられることにより無効化される。前と同じように、
この方法は表示制約が真にサポートされていないものも含みどのような任意の場面にでも
用いることができる。従って任意の場面が前記プロジェクタから前記カメラへの光パスの
間に光を拡散する物体が含まれていても問題ない。改変光輸送行列は相変わらず光拡散効
果を補正するのに有効である。改変光輸送行列T*は相変わらずデュアル・フォトグラフ
ィでの使用に適していることはさらに有用である。
前と同様、改変光輸送行列T*の推定逆行列は、改変光輸送行列T*における各列を順に
目標列として特定し、前記目標列に関し目標列の無効化されていない入力値の正規化値を
計算することと、前記改変光輸送行列T*と等しいサイズの中間行列を作成することと、
改変光輸送行列における対応目標列の計算された正規化値を中間行列の各列に入れること
で、中間行列の埋められた各列における各正規化値は改変光輸送行列T*の対応列におけ
る無効化されていない入力値と1対1の対応を維持することと、転置行列演算を前記中間
行列に適用することにより生成することができる。
目標列として特定し、前記目標列に関し目標列の無効化されていない入力値の正規化値を
計算することと、前記改変光輸送行列T*と等しいサイズの中間行列を作成することと、
改変光輸送行列における対応目標列の計算された正規化値を中間行列の各列に入れること
で、中間行列の埋められた各列における各正規化値は改変光輸送行列T*の対応列におけ
る無効化されていない入力値と1対1の対応を維持することと、転置行列演算を前記中間
行列に適用することにより生成することができる。
この方法で、改変光輸送行列の対応目標列における無効化されていない入力値の正規化
値が入っていない中間行列への値の入力はゼロ値が入れられる。さらに、目標列に関し目
標列の無効化されていない入力値の正規化値を計算するプロセスは目標列の無効化されて
いない入力値のみの二乗の総計を生成し、目標値の無効化値をすべて無視し、無効化され
ていない各値を総計で割ることを含む。
値が入っていない中間行列への値の入力はゼロ値が入れられる。さらに、目標列に関し目
標列の無効化されていない入力値の正規化値を計算するプロセスは目標列の無効化されて
いない入力値のみの二乗の総計を生成し、目標値の無効化値をすべて無視し、無効化され
ていない各値を総計で割ることを含む。
別の言い方をすると、中間行列をΞとし、改変光輸送行列T*の目標列をT*rとし、Ξ
の対応する列をΞrとすると、Ξの構成と入力はΞr=T¬*r/(‖T*r‖)2と定義さ
れる。
の対応する列をΞrとすると、Ξの構成と入力はΞr=T¬*r/(‖T*r‖)2と定義さ
れる。
形態1の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミ
ュレートされた表示制約を課す方法は、前記表示制約はプロジェクタから放射された任意
な2つの別個な光線はカメラの画像センサの別個な部分に当たることを規定し、前記方法
は、光輸送行列Tにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較
し、共通行における最高値の行列入力を留保することと、前記光輸送行列Tの各行から最
高値の行列入力で光輸送アレイを埋めることと、前記光輸送行列のどの列から前記光輸送
アレイの各入力が由来したかを示す記録を維持することと、前記記録および前記光輸送ア
レイを用いて前記プロジェクタにおける各プロジェクタ・ピクセルの光フットプリント情
報を必要に応じて抽出することと、をその要旨とする。
ュレートされた表示制約を課す方法は、前記表示制約はプロジェクタから放射された任意
な2つの別個な光線はカメラの画像センサの別個な部分に当たることを規定し、前記方法
は、光輸送行列Tにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較
し、共通行における最高値の行列入力を留保することと、前記光輸送行列Tの各行から最
高値の行列入力で光輸送アレイを埋めることと、前記光輸送行列のどの列から前記光輸送
アレイの各入力が由来したかを示す記録を維持することと、前記記録および前記光輸送ア
レイを用いて前記プロジェクタにおける各プロジェクタ・ピクセルの光フットプリント情
報を必要に応じて抽出することと、をその要旨とする。
また、形態2の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、表示制約は前記任意の場面でサポートされ
ていないことをその要旨とする。
にシミュレートされた表示制約を課す方法は、表示制約は前記任意の場面でサポートされ
ていないことをその要旨とする。
また、形態3の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、前記任意の場面は前記プロジェクタから前
記カメラへの光パスの間に光散乱物体を含み、前記方法は光散乱効果を補正するのに有効
であることをその要旨とする。
にシミュレートされた表示制約を課す方法は、前記任意の場面は前記プロジェクタから前
記カメラへの光パスの間に光散乱物体を含み、前記方法は光散乱効果を補正するのに有効
であることをその要旨とする。
また、形態4の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、前記光輸送行列Tにおける各列は前記プロ
ジェクタにおける1つのプロジェクタ・ピクセルを活性化することにより実現されカメラ
の画像センサ全体により取り込まれた画像に対応し、各光フットプリント情報はその対応
プロジェクタ・ピクセルに対する光輸送値をなすことをその要旨とする。
にシミュレートされた表示制約を課す方法は、前記光輸送行列Tにおける各列は前記プロ
ジェクタにおける1つのプロジェクタ・ピクセルを活性化することにより実現されカメラ
の画像センサ全体により取り込まれた画像に対応し、各光フットプリント情報はその対応
プロジェクタ・ピクセルに対する光輸送値をなすことをその要旨とする。
また、形態5の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、前記光輸送アレイおよび記録は前記光輸送
行列Tの代わりに用いられる修正光輸送行列をなすことをその要旨とする。
にシミュレートされた表示制約を課す方法は、前記光輸送アレイおよび記録は前記光輸送
行列Tの代わりに用いられる修正光輸送行列をなすことをその要旨とする。
また、形態6の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、前記修正光輸送行列はデュアル・フォトグ
ラフィにおける使用に適していることをその要旨とする。
にシミュレートされた表示制約を課す方法は、前記修正光輸送行列はデュアル・フォトグ
ラフィにおける使用に適していることをその要旨とする。
また、形態7の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、さらに、各々のプロジェクタ・ピクセルに
対応するグループとして正規化光フットプリント情報を計算することと、中間アレイを作
成し、前記中間アレイをその対応光フットプリント情報の計算された正規化値で埋めるこ
とと、前記中間アレイについて、前記中間アレイの各入力をその対応する正規化光フット
プリントに結び付ける中間記録を維持することと、前記中間アレイおよび中間記録を中間
行列の表記として解釈し、前記中間アレイに転置行列演算を適用することと、により、前
記光輸送行列の推定逆行列を生成することをその要旨とする。
にシミュレートされた表示制約を課す方法は、さらに、各々のプロジェクタ・ピクセルに
対応するグループとして正規化光フットプリント情報を計算することと、中間アレイを作
成し、前記中間アレイをその対応光フットプリント情報の計算された正規化値で埋めるこ
とと、前記中間アレイについて、前記中間アレイの各入力をその対応する正規化光フット
プリントに結び付ける中間記録を維持することと、前記中間アレイおよび中間記録を中間
行列の表記として解釈し、前記中間アレイに転置行列演算を適用することと、により、前
記光輸送行列の推定逆行列を生成することをその要旨とする。
また、形態8の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、各々のプロジェクタ・ピクセルに対応する
グループとして正規化光フットプリント情報を計算するプロセスは1つの光フットプリン
トをなす光輸送アレイ入力グループを平方した合計を出し、光輸送アレイ入力グループの
各入力を前記合計で割ることをその要旨とする。
にシミュレートされた表示制約を課す方法は、各々のプロジェクタ・ピクセルに対応する
グループとして正規化光フットプリント情報を計算するプロセスは1つの光フットプリン
トをなす光輸送アレイ入力グループを平方した合計を出し、光輸送アレイ入力グループの
各入力を前記合計で割ることをその要旨とする。
また、形態9の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法は、前記表示制約はプロジェクタから放射され
た任意な2つの別個な光線はカメラの画像センサの別個な部分に当たることを規定し、光
輸送行列Tにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較し、共
通行における最高値の行列入力以外すべて無効にされ、もたらされた行列は修正光輸送行
列T*であることを含むことをその要旨とする。
にシミュレートされた表示制約を課す方法は、前記表示制約はプロジェクタから放射され
た任意な2つの別個な光線はカメラの画像センサの別個な部分に当たることを規定し、光
輸送行列Tにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較し、共
通行における最高値の行列入力以外すべて無効にされ、もたらされた行列は修正光輸送行
列T*であることを含むことをその要旨とする。
また、形態10の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、行列入力はゼロ値を割り当てられること
により無効にされることをその要旨とする。
Tにシミュレートされた表示制約を課す方法は、行列入力はゼロ値を割り当てられること
により無効にされることをその要旨とする。
また、形態11の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、表示制約は前記任意の場面でサポートさ
れていないことをその要旨とする。
Tにシミュレートされた表示制約を課す方法は、表示制約は前記任意の場面でサポートさ
れていないことをその要旨とする。
また、形態12の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、前記任意の場面は前記プロジェクタから
前記カメラへの光パスの間に光散乱物体を含み、前記修正光輸送行列は光散乱効果を補正
するのに有効であることをその要旨とする。
Tにシミュレートされた表示制約を課す方法は、前記任意の場面は前記プロジェクタから
前記カメラへの光パスの間に光散乱物体を含み、前記修正光輸送行列は光散乱効果を補正
するのに有効であることをその要旨とする。
また、形態13の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、修正光輸送行列はデュアル・フォトグラ
フィにおける使用に適していることをその要旨とする。
Tにシミュレートされた表示制約を課す方法は、修正光輸送行列はデュアル・フォトグラ
フィにおける使用に適していることをその要旨とする。
また、形態14の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、前記修正光輸送行列の推定逆行列は、前
記修正光輸送行列の各列を目標列として順に特定し、前記目標列における無効にされてい
ない入力値について前記目標列に関し正規化値を計算することと、前記修正光輸送行列に
等しいサイズの中間行列を作成することと、前記中間行列の各列を前記修正光輸送行列の
対応目標列の計算された正規化値で埋めることで、前記中間行列の埋められた各列におけ
る各正規化値は前記修正光輸送行列の対応列における前記無効にされていない入力値と1
対1の対応を維持していることと、前記中間行列に転置行列演算を適用することと、によ
り生成されることをその要旨とする。
Tにシミュレートされた表示制約を課す方法は、前記修正光輸送行列の推定逆行列は、前
記修正光輸送行列の各列を目標列として順に特定し、前記目標列における無効にされてい
ない入力値について前記目標列に関し正規化値を計算することと、前記修正光輸送行列に
等しいサイズの中間行列を作成することと、前記中間行列の各列を前記修正光輸送行列の
対応目標列の計算された正規化値で埋めることで、前記中間行列の埋められた各列におけ
る各正規化値は前記修正光輸送行列の対応列における前記無効にされていない入力値と1
対1の対応を維持していることと、前記中間行列に転置行列演算を適用することと、によ
り生成されることをその要旨とする。
また、形態15の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、前記修正光輸送行列の対応目標列におけ
る無効にされていない入力値からの正規化値が入力されていない前記中間行列における値
の入力はゼロ値を入力されることをその要旨とする。
Tにシミュレートされた表示制約を課す方法は、前記修正光輸送行列の対応目標列におけ
る無効にされていない入力値からの正規化値が入力されていない前記中間行列における値
の入力はゼロ値を入力されることをその要旨とする。
また、形態16の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、前記目標列における無効にされていない
入力値について前記目標列に関し正規化値を計算プロセスは前記目標列における前記無効
にされていない入力値のみ平方して合計を出し、前記目標列における無効にされた値をす
べて無視し、無効にされた入力値各々を前記合計で割ることを含むことをその要旨とする
。
Tにシミュレートされた表示制約を課す方法は、前記目標列における無効にされていない
入力値について前記目標列に関し正規化値を計算プロセスは前記目標列における前記無効
にされていない入力値のみ平方して合計を出し、前記目標列における無効にされた値をす
べて無視し、無効にされた入力値各々を前記合計で割ることを含むことをその要旨とする
。
また、形態17の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Tにシミュレートされた表示制約を課す方法は、前記中間行列をΞで示し、修正光輸送行
列T*の目標列をT*rで示した場合、Ξの対応列をΞrで示した場合、Ξの構造および入
力はΞr=Tr/(‖Tr‖)2 ¬¬と定義されることをその要旨とする。
Tにシミュレートされた表示制約を課す方法は、前記中間行列をΞで示し、修正光輸送行
列T*の目標列をT*rで示した場合、Ξの対応列をΞrで示した場合、Ξの構造および入
力はΞr=Tr/(‖Tr‖)2 ¬¬と定義されることをその要旨とする。
また、形態18の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法で、(a)
前記第1プロジェクタ−カメラ・システムの第1カメラ画像c1を関係c1=T1p1に従い
前記第1プロジェクタ−カメラ・システムの第1プロジェクタ画像p1に関連付ける第1
光輸送行列T1を確立することと、(b)前記第2プロジェクタ−カメラ・システムの第
2カメラ画像c2を関係c2=T2p2に従い前記第2プロジェクタ−カメラ・システムの第
2プロジェクタ画像p2に関連付ける第2光輸送行列T1を確立することと、(c)望まし
い複合画像”c”を定義することと、(d)p2をゼロに等しく設定し、式p1=T1 -1*
(c−T2p2)をp1について解くことと、(e)今解かれたp¬1の値を用い、式p2=
T2 -1*(c−T1p1)をp2について解くことと、(f)今解かれたp¬2の値を用い、
式p1=T1 -1*(c−T2p2)をp1について解くことと、(g)p1¬¬が第1モザイク
化画像に収束し、p2が第2モザイク化画像に収束するまで工程(e)および(f)を順
に繰り返すことと、を含むことをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法で、(a)
前記第1プロジェクタ−カメラ・システムの第1カメラ画像c1を関係c1=T1p1に従い
前記第1プロジェクタ−カメラ・システムの第1プロジェクタ画像p1に関連付ける第1
光輸送行列T1を確立することと、(b)前記第2プロジェクタ−カメラ・システムの第
2カメラ画像c2を関係c2=T2p2に従い前記第2プロジェクタ−カメラ・システムの第
2プロジェクタ画像p2に関連付ける第2光輸送行列T1を確立することと、(c)望まし
い複合画像”c”を定義することと、(d)p2をゼロに等しく設定し、式p1=T1 -1*
(c−T2p2)をp1について解くことと、(e)今解かれたp¬1の値を用い、式p2=
T2 -1*(c−T1p1)をp2について解くことと、(f)今解かれたp¬2の値を用い、
式p1=T1 -1*(c−T2p2)をp1について解くことと、(g)p1¬¬が第1モザイク
化画像に収束し、p2が第2モザイク化画像に収束するまで工程(e)および(f)を順
に繰り返すことと、を含むことをその要旨とする。
また、形態19の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記望
ましい複合画像”c”は”c”=c1+c2と定義されることをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記望
ましい複合画像”c”は”c”=c1+c2と定義されることをその要旨とする。
また、形態20の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、さらに
、前記第1モザイク化画像を前記第1プロジェクタ−カメラ・システムで投影し、前記第
2モザイク化画像を前記第2プロジェクタ−カメラ・システムで投影することを含むこと
をその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、さらに
、前記第1モザイク化画像を前記第1プロジェクタ−カメラ・システムで投影し、前記第
2モザイク化画像を前記第2プロジェクタ−カメラ・システムで投影することを含むこと
をその要旨とする。
また、形態21の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、T1 -1
またはT2 -1の少なくとも1つは一般的光輸送行列の逆T¬¬-1の推定で、前記推定は、
前記一般的光輸送行列Tにおける各列を目標列として順に特定し、前記目標列における無
効にされていない入力値について、前記目標列に関し正規化値を計算することと、前記一
般的光輸送行列Tと等しいサイズの中間行列を作成することと、前記中間行列における各
列に、前記一般的光輸送行列Tにおける対応目標列の計算された正規化値を入力すること
で、前記中間行列における入力された各列における各正規化値は前記一般的光輸送行列T
の対応列における前記無効にされていない入力値と1対1の対応を保っていることと、前
記中間行列に転置行列演算を適用することと、により生成されることをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、T1 -1
またはT2 -1の少なくとも1つは一般的光輸送行列の逆T¬¬-1の推定で、前記推定は、
前記一般的光輸送行列Tにおける各列を目標列として順に特定し、前記目標列における無
効にされていない入力値について、前記目標列に関し正規化値を計算することと、前記一
般的光輸送行列Tと等しいサイズの中間行列を作成することと、前記中間行列における各
列に、前記一般的光輸送行列Tにおける対応目標列の計算された正規化値を入力すること
で、前記中間行列における入力された各列における各正規化値は前記一般的光輸送行列T
の対応列における前記無効にされていない入力値と1対1の対応を保っていることと、前
記中間行列に転置行列演算を適用することと、により生成されることをその要旨とする。
また、形態22の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記中
間行列をΞで示し、一般的光輸送行列Tにおける目標列をTrで示し、Ξにおける対応列
をΞrで示した場合、Ξの構造および入力はΞr=T¬r/(‖Tr‖)2 ¬¬と定義され
、T1 -1が一般的光輸送行列の逆T¬¬-1 ¬の推定である場合はp1=(Ξ1)T*(c−T
2p2)で、T2 -1が一般的光輸送行列の逆T¬¬-1 ¬の推定である場合はp2=(Ξ2)T*
(c−T1p1)となることをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記中
間行列をΞで示し、一般的光輸送行列Tにおける目標列をTrで示し、Ξにおける対応列
をΞrで示した場合、Ξの構造および入力はΞr=T¬r/(‖Tr‖)2 ¬¬と定義され
、T1 -1が一般的光輸送行列の逆T¬¬-1 ¬の推定である場合はp1=(Ξ1)T*(c−T
2p2)で、T2 -1が一般的光輸送行列の逆T¬¬-1 ¬の推定である場合はp2=(Ξ2)T*
(c−T1p1)となることをその要旨とする。
また、形態23の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、T1ま
たはT2の少なくとも1つは各々のプロジェクタ−カメラ・システムの各々のプロジェク
タにおけるすべてのプロジェクタ・ピクセルと1対1の対応を有しない光フットプリント
情報のサンプリングから生成された推定光輸送行列であることをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、T1ま
たはT2の少なくとも1つは各々のプロジェクタ−カメラ・システムの各々のプロジェク
タにおけるすべてのプロジェクタ・ピクセルと1対1の対応を有しない光フットプリント
情報のサンプリングから生成された推定光輸送行列であることをその要旨とする。
また、形態24の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、さらに
、(h)前記第1および第2モザイク化画像の少なくとも1つに測光的融合操作を適用す
ることを含むことをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、さらに
、(h)前記第1および第2モザイク化画像の少なくとも1つに測光的融合操作を適用す
ることを含むことをその要旨とする。
また、形態25の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記測
光的融合操作は、(i)前記第1プロジェクタ−カメラ・システムの第1プロジェクタ視
野、FOV1で専ら覆われるモザイク化画像の第1領域を特定することと、(ii)FOV
1および前記第2プロジェクタ−カメラ・システムの第2プロジェクタ視野、FOV2で
覆われる前記モザイク化画像の第2領域を特定することと、(iii)前記第1領域と前記
第2領域との間の第1境界を特定し、前記第1プロジェクタ−カメラからの第1投影画像
の光強度を、前記第1投影画像が前記第1境界から離れ、前記第2領域を通って伸びるに
つれ減らすことと、を含むことをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記測
光的融合操作は、(i)前記第1プロジェクタ−カメラ・システムの第1プロジェクタ視
野、FOV1で専ら覆われるモザイク化画像の第1領域を特定することと、(ii)FOV
1および前記第2プロジェクタ−カメラ・システムの第2プロジェクタ視野、FOV2で
覆われる前記モザイク化画像の第2領域を特定することと、(iii)前記第1領域と前記
第2領域との間の第1境界を特定し、前記第1プロジェクタ−カメラからの第1投影画像
の光強度を、前記第1投影画像が前記第1境界から離れ、前記第2領域を通って伸びるに
つれ減らすことと、を含むことをその要旨とする。
また、形態26の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記測
光的融合操作はさらに、(iv)前記第2プロジェクタ−カメラ・システムの第3プロジェ
クタ視野、FOV3で専ら覆われるモザイク化画像の第3領域を特定することと、(v)
前記第3領域と前記第2領域との間の第2境界を特定し、前記第2プロジェクタ−カメラ
からの第2投影画像の光強度を、前記第2投影画像が前記第2境界から離れ、前記第2領
域を通って伸びるにつれ減らすことと、を含むことをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記測
光的融合操作はさらに、(iv)前記第2プロジェクタ−カメラ・システムの第3プロジェ
クタ視野、FOV3で専ら覆われるモザイク化画像の第3領域を特定することと、(v)
前記第3領域と前記第2領域との間の第2境界を特定し、前記第2プロジェクタ−カメラ
からの第2投影画像の光強度を、前記第2投影画像が前記第2境界から離れ、前記第2領
域を通って伸びるにつれ減らすことと、を含むことをその要旨とする。
また、形態27の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記第
1投影画像の光強度は前記第2境界において実質的にゼロであることをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記第
1投影画像の光強度は前記第2境界において実質的にゼロであることをその要旨とする。
また、形態28の、第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記第
2投影画像の光強度は前記第1境界において実質的にゼロであることをその要旨とする。
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法は、前記第
2投影画像の光強度は前記第1境界において実質的にゼロであることをその要旨とする。
添付図面と併せて以下の説明およびクレームを参照することにより他の目的および成果
と共に発明のより深い理解が明らかになろう。
と共に発明のより深い理解が明らかになろう。
カメラ較正手法をプロジェクタに適用するためには、プロジェクタが画像を取り込めな
ければならない。つまり、プロジェクタが画像を取り込むことができたら、プロジェクタ
−カメラ・システムはマルチ・カメラ・システムのように扱うことができ、プロジェクタ
−カメラ・システムを較正する標準的なカメラ較正手法(上記に説明)を用いることがで
きるかもしれない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば
、上述のマルチ・カメラ・システムのカメラ較正段階に類似した方法で実カメラとともに
較正することができ、以前にプロジェクタ−カメラ・システムを較正するために用いられ
た「ブートストラップ的」プロジェクタ較正段階を排除できるかもしれない。
ければならない。つまり、プロジェクタが画像を取り込むことができたら、プロジェクタ
−カメラ・システムはマルチ・カメラ・システムのように扱うことができ、プロジェクタ
−カメラ・システムを較正する標準的なカメラ較正手法(上記に説明)を用いることがで
きるかもしれない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば
、上述のマルチ・カメラ・システムのカメラ較正段階に類似した方法で実カメラとともに
較正することができ、以前にプロジェクタ−カメラ・システムを較正するために用いられ
た「ブートストラップ的」プロジェクタ較正段階を排除できるかもしれない。
図1(A)に関し、本発明に従った撮像構成は実プロジェクタ21および実カメラ21
を含み得る。実プロジェクタ21はデジタル・プロジェクタであることが好ましく、p行
およびq列の個別の撮像映写要素(すなわち映写ピクセルj)を含む撮像映写アレイ(す
なわちプロジェクタ・ピクセル・アレイ27)を含む撮像要素を有する。プロジェクタ・
ピクセル・アレイ27は実プロジェクタ21の内部にあり、説明の便宜上図1(A)にお
いて点線の正方形内の十字線で示される。実プロジェクタ21は液晶表示(LCD)型、
デジタル光処理(DLP(登録商標))型、反射型液晶パネル(Liquid Crystal On Sili
con=LCOS)、または他のデジタル映写技術型であることが好ましい。
を含み得る。実プロジェクタ21はデジタル・プロジェクタであることが好ましく、p行
およびq列の個別の撮像映写要素(すなわち映写ピクセルj)を含む撮像映写アレイ(す
なわちプロジェクタ・ピクセル・アレイ27)を含む撮像要素を有する。プロジェクタ・
ピクセル・アレイ27は実プロジェクタ21の内部にあり、説明の便宜上図1(A)にお
いて点線の正方形内の十字線で示される。実プロジェクタ21は液晶表示(LCD)型、
デジタル光処理(DLP(登録商標))型、反射型液晶パネル(Liquid Crystal On Sili
con=LCOS)、または他のデジタル映写技術型であることが好ましい。
実カメラ25はm行およびn列の個別のカメラ・ピクセルi(すなわち画像センサ要素
または受光ピクセル)を含むカメラ・センサのピクセル・アレイ29(すなわち受光アレ
イまたは画像センサ・アレイ)を含む画像センサを有するデジタル・カメラであることが
好ましい。簡単にするため、カメラ・センサのピクセル・アレイ29は実カメラ25上に
示されるが、カメラ・センサのピクセル・アレイ29は実カメラ25の内部にあることが
理解されよう。
または受光ピクセル)を含むカメラ・センサのピクセル・アレイ29(すなわち受光アレ
イまたは画像センサ・アレイ)を含む画像センサを有するデジタル・カメラであることが
好ましい。簡単にするため、カメラ・センサのピクセル・アレイ29は実カメラ25上に
示されるが、カメラ・センサのピクセル・アレイ29は実カメラ25の内部にあることが
理解されよう。
実プロジェクタ21および実カメラ25を用いたこの物理的構成は「根本」構成と呼ば
れることが好ましい。実プロジェクタ21内の個別のプロジェクタ・ピクセルjから発射
された光線は不規則なまたは平面の形状を有し得る映写表面(すなわち表示環境または場
面)から反射されることにより実画像23を形成し、光線の一部は最終的に実カメラ25
内の画像センサに到達する。一般的に各光線は場面で分散、反射、および屈折し、カメラ
・センサのピクセル・センサ・アレイ29にわたりいくつか異なった位置でカメラの画像
センサに当たる。このように、実プロジェクタ21の撮像プロジェクタ・ピクセルjから
放射された1つの光線が実カメラ25に到達すると、個々に投射された光線はm×nの画
像をカメラのピクセル・アレイ29上で形成し、個々のカメラ・ピクセルiは投射光線か
ら一定量の光を受ける。
れることが好ましい。実プロジェクタ21内の個別のプロジェクタ・ピクセルjから発射
された光線は不規則なまたは平面の形状を有し得る映写表面(すなわち表示環境または場
面)から反射されることにより実画像23を形成し、光線の一部は最終的に実カメラ25
内の画像センサに到達する。一般的に各光線は場面で分散、反射、および屈折し、カメラ
・センサのピクセル・センサ・アレイ29にわたりいくつか異なった位置でカメラの画像
センサに当たる。このように、実プロジェクタ21の撮像プロジェクタ・ピクセルjから
放射された1つの光線が実カメラ25に到達すると、個々に投射された光線はm×nの画
像をカメラのピクセル・アレイ29上で形成し、個々のカメラ・ピクセルiは投射光線か
ら一定量の光を受ける。
従って理想的には1つのプロジェクタ・ピクセルjをオンにして1つの光線を放射させ
1つのカメラ・ピクセルiに当たるようにして1つのプロジェクタ・ピクセルjを1つの
カメラ・ピクセルiに関連付ける1つの光輸送係数を判定することができるように見える
かもしれないが、実際にはそうでない。実際にはカメラ・センサのピクセル・アレイ29
全体が放射された1つの光線からの光強度の異なった寄与を受ける。従って、個々のプロ
ジェクタ・ピクセルj各々から放射される各光線はカメラ・センサのピクセル・アレイ2
9内のカメラ・ピクセルi各々に対し1つの異なった組、またはアレイ、の個別的光輸送
係数を生成する。従って、各組(すなわちアレイ)は各カメラ・ピクセルiに対し1つと
なる(m×n)[すなわちm掛けるn]の個別的光輸送係数を含むことになる。
1つのカメラ・ピクセルiに当たるようにして1つのプロジェクタ・ピクセルjを1つの
カメラ・ピクセルiに関連付ける1つの光輸送係数を判定することができるように見える
かもしれないが、実際にはそうでない。実際にはカメラ・センサのピクセル・アレイ29
全体が放射された1つの光線からの光強度の異なった寄与を受ける。従って、個々のプロ
ジェクタ・ピクセルj各々から放射される各光線はカメラ・センサのピクセル・アレイ2
9内のカメラ・ピクセルi各々に対し1つの異なった組、またはアレイ、の個別的光輸送
係数を生成する。従って、各組(すなわちアレイ)は各カメラ・ピクセルiに対し1つと
なる(m×n)[すなわちm掛けるn]の個別的光輸送係数を含むことになる。
光輸送係数の各組を係数の列として配列し複合光輸送行列T、を形成すると、この複合
光輸送行列Tは個別のプロジェクタ・ピクセルj各々に対し異なった光輸送係数の列を有
することになる。さらに、各列内の各光輸送係数入力(すなわち行列要素)と各カメラ・
ピクセルとの間には1対1の対応があるので、各列は1つのプロジェクタ・ピクセルjを
オンにした結果カメラ25で取り込まれた画像全体を表す。従って、光輸送行列T全体(
すなわち複合光輸送行列)は(p×q)[すなわちp掛けるq]列(オンにされた各個別
のプロジェクタ・ピクセルjにつき1列[すなわち取り込み画像])および(m×n)行
(各個別のカメラ・ピクセルiにつき1行)を含む。
光輸送行列Tは個別のプロジェクタ・ピクセルj各々に対し異なった光輸送係数の列を有
することになる。さらに、各列内の各光輸送係数入力(すなわち行列要素)と各カメラ・
ピクセルとの間には1対1の対応があるので、各列は1つのプロジェクタ・ピクセルjを
オンにした結果カメラ25で取り込まれた画像全体を表す。従って、光輸送行列T全体(
すなわち複合光輸送行列)は(p×q)[すなわちp掛けるq]列(オンにされた各個別
のプロジェクタ・ピクセルjにつき1列[すなわち取り込み画像])および(m×n)行
(各個別のカメラ・ピクセルiにつき1行)を含む。
以下の考察において実投影画像を、(p×q)要素(各プロジェクタ・ピクセルjにつ
き1つ)を有する第1ベクトル、Rprjct、(すなわち実投影ベクトル)として、ま
た結果としてもたらされる実取り込み画像を、(m×n)要素(各カメラ・ピクセルiに
つき1つ)を有する第2ベクトル、Rcptr、(すなわち実取り込みベクトル)として
見ることが役立つ。
き1つ)を有する第1ベクトル、Rprjct、(すなわち実投影ベクトル)として、ま
た結果としてもたらされる実取り込み画像を、(m×n)要素(各カメラ・ピクセルiに
つき1つ)を有する第2ベクトル、Rcptr、(すなわち実取り込みベクトル)として
見ることが役立つ。
実投影画像(すなわちプロジェクタ・ピクセル・アレイ27全体を用いて投影した画像
)は(p×q)の実投影ベクトル”Rprjct”(すなわち「p掛けるqベクトル」)
と表される記号、および対応する実取り込み画像(すなわちカメラ・センサのピクセル・
アレイ29全体を用いて取り込まれた画像)は(m×n)の実取り込みベクトル(すなわ
ち「m掛けるnベクトル」)と表される記号を用いると、実プロジェクタ21と実カメラ
25との間の光輸送関係は、
)は(p×q)の実投影ベクトル”Rprjct”(すなわち「p掛けるqベクトル」)
と表される記号、および対応する実取り込み画像(すなわちカメラ・センサのピクセル・
アレイ29全体を用いて取り込まれた画像)は(m×n)の実取り込みベクトル(すなわ
ち「m掛けるnベクトル」)と表される記号を用いると、実プロジェクタ21と実カメラ
25との間の光輸送関係は、
列である。光輸送行列Tは例えば個々かつ別々に各プロジェクタ・ピクセルをjをオンに
して各個別的カメラ・ピクセルiの対応光輸送係数を判定することにより前以て生成され
ていることが理解されよう。
要約すると、各プロジェクタ・ピクセルjはカメラ・センサのピクセル・アレイ29全
体にわたり拡散される光線をもたらすので、各個別のカメラ・ピクセルは各個別のプロジ
ェクタ・ピクセルjから受けた所定の光特性の強度値を示す、異なった値の光輸送係数を
有する。本実施形態で、この光特性は光強度の尺度であることが好ましい。従って各プロ
ジェクタ・ピクセルjは(m×n)の個別的光輸送係数を含む列をもたらし、各係数は各
カメラ・ピクセルiが受けた光強度の量を示す。実プロジェクタ21は(p×q)のプロ
ジェクタ・ピクセルjを有するので、光輸送行列Tは(p×q)列[各プロジェクタ・ピ
クセルjにつき1列]および(m×n)行[各カメラ・ピクセルiにつき1行]を有する
。従って光輸送行列Tは従来非常に大きく、(p×q×m×n)の個別の光輸送係数から
なっていた。
体にわたり拡散される光線をもたらすので、各個別のカメラ・ピクセルは各個別のプロジ
ェクタ・ピクセルjから受けた所定の光特性の強度値を示す、異なった値の光輸送係数を
有する。本実施形態で、この光特性は光強度の尺度であることが好ましい。従って各プロ
ジェクタ・ピクセルjは(m×n)の個別的光輸送係数を含む列をもたらし、各係数は各
カメラ・ピクセルiが受けた光強度の量を示す。実プロジェクタ21は(p×q)のプロ
ジェクタ・ピクセルjを有するので、光輸送行列Tは(p×q)列[各プロジェクタ・ピ
クセルjにつき1列]および(m×n)行[各カメラ・ピクセルiにつき1行]を有する
。従って光輸送行列Tは従来非常に大きく、(p×q×m×n)の個別の光輸送係数から
なっていた。
図1(B)に関し、「デュアル」な構成において実プロジェクタ21は実プロジェクタ
・ピクセル・アレイ27とサイズが等しい仮想カメラ・センサのピクセル・アレイ27”
を有する仮想カメラ21”で置き換えられる。このように仮想カメラ21”はp行掛ける
q列の仮想カメラ・ピクセルj”を含む仮想カメラ・センサのピクセル・アレイ27”を
有する。同様にこの「デュアル」な構成において、実カメラ25は実カメラ・センサのピ
クセル・アレイ29とサイズが等しい仮想プロジェクタ・ピクセル・アレイ29”を有す
る仮想プロジェクタ25”で置き換えられる。このように仮想プロジェクタ25”はm行
掛けるn列の仮想プロジェクタ・ピクセルi”を含む仮想プロジェクタ・ピクセル・アレ
イ29”を有する。
・ピクセル・アレイ27とサイズが等しい仮想カメラ・センサのピクセル・アレイ27”
を有する仮想カメラ21”で置き換えられる。このように仮想カメラ21”はp行掛ける
q列の仮想カメラ・ピクセルj”を含む仮想カメラ・センサのピクセル・アレイ27”を
有する。同様にこの「デュアル」な構成において、実カメラ25は実カメラ・センサのピ
クセル・アレイ29とサイズが等しい仮想プロジェクタ・ピクセル・アレイ29”を有す
る仮想プロジェクタ25”で置き換えられる。このように仮想プロジェクタ25”はm行
掛けるn列の仮想プロジェクタ・ピクセルi”を含む仮想プロジェクタ・ピクセル・アレ
イ29”を有する。
この場合、仮想画像23”(仮想プロジェクタ25”により投影される)は(m×n)
の仮想投影ベクトルVprjct”で表すことができる。同様に、仮想カメラ21”によ
り取り込まれた仮想取り込み画像は(p×q)仮想取り込みベクトルVcptr”で表す
ことができる。従ってこのデュアル構成において仮想取り込みベクトルVcptr”は「
デュアル」光輸送行列T”により仮想投影ベクトルVprjct”に関連付けられる。ヘ
ルムホルツの相反性の原理により、光輸送は双方向において等しい。従ってデュアル構成
(すなわちデュアリティ変換構成)に対するデュアル光輸送行列T”は次の関係で仮想取
り込みベクトルVcptr”を仮想投影ベクトルVprjct”に関連づける。
の仮想投影ベクトルVprjct”で表すことができる。同様に、仮想カメラ21”によ
り取り込まれた仮想取り込み画像は(p×q)仮想取り込みベクトルVcptr”で表す
ことができる。従ってこのデュアル構成において仮想取り込みベクトルVcptr”は「
デュアル」光輸送行列T”により仮想投影ベクトルVprjct”に関連付けられる。ヘ
ルムホルツの相反性の原理により、光輸送は双方向において等しい。従ってデュアル構成
(すなわちデュアリティ変換構成)に対するデュアル光輸送行列T”は次の関係で仮想取
り込みベクトルVcptr”を仮想投影ベクトルVprjct”に関連づける。
しかしこの関係はデュアル光輸送行列T”を構成し、仮想的に投影された画像を仮想的
に取り込まれた画像に関連付ける大量の「仮想」光輸送係数をどのように判定できるかと
いう問題を提起する。注目すべきは、実光輸送行列Tからそのデュアル光輸送行列T”へ
のデュアリティ変換は実光輸送行列に対し転置行列演算を行うことにより達成される。従
って、T”はTの転置で、T”=TTおよびVcptr”=TT*Vprjct”となる。
に取り込まれた画像に関連付ける大量の「仮想」光輸送係数をどのように判定できるかと
いう問題を提起する。注目すべきは、実光輸送行列Tからそのデュアル光輸送行列T”へ
のデュアリティ変換は実光輸送行列に対し転置行列演算を行うことにより達成される。従
って、T”はTの転置で、T”=TTおよびVcptr”=TT*Vprjct”となる。
行列計算方法で周知のように、一般的な[x×y]行列Aの転置行列演算は上付き文字
”T”を加えることにより示され(例えばATのように)、第1列が行列Aの第1行、第
2列は行列Aの第2行、第3列は行列Aの第3行、以下同様、である[y×x]の行列で
定義される。容易に明らかなように、この行列演算は単に第1要素を中心として元の行列
Aを反転させ、その第1要素(すなわち位置(1,1)において)は変化せず、第1列の
下端が第1行の終りになるようにする。従って根本構成に対する実光輸送行列Tを獲得、
あるいは別途判定できれば、デュアル構成に対するデュアル光輸送行列T”は上述のよう
に実光輸送行列Tを反転させてその転置TTを得ることにより容易に計算できる。以下の
さらなる考察において、デュアル光輸送行列および転置光輸送行列TTは互換的に用いる
ことができる。
”T”を加えることにより示され(例えばATのように)、第1列が行列Aの第1行、第
2列は行列Aの第2行、第3列は行列Aの第3行、以下同様、である[y×x]の行列で
定義される。容易に明らかなように、この行列演算は単に第1要素を中心として元の行列
Aを反転させ、その第1要素(すなわち位置(1,1)において)は変化せず、第1列の
下端が第1行の終りになるようにする。従って根本構成に対する実光輸送行列Tを獲得、
あるいは別途判定できれば、デュアル構成に対するデュアル光輸送行列T”は上述のよう
に実光輸送行列Tを反転させてその転置TTを得ることにより容易に計算できる。以下の
さらなる考察において、デュアル光輸送行列および転置光輸送行列TTは互換的に用いる
ことができる。
しかしTを判定するのに簡略化された方法を提供できれば、デュアリティ変換について
はTから直接TTを判定できることが特記される。Tの判定を簡略化する方法を提案する
前に、まずTを判定するための従来の方法の難しさをいくつか考察することが有益である
。
はTから直接TTを判定できることが特記される。Tの判定を簡略化する方法を提案する
前に、まずTを判定するための従来の方法の難しさをいくつか考察することが有益である
。
上記で説明されたように、実光輸送行列Tは実プロジェクタ21の各個別のプロジェク
タ・ピクセルjと実カメラの個別のカメラ・ピクセルiすべてとの間で対応する個別の光
輸送係数を留保している。従って、個別のプロジェクタ・ピクセルjとすべてのカメラ・
ピクセルiとの間で対応する各個別の光輸送係数の判定はプロジェクタ・ピクセル・アレ
イ27における他のプロジェクタ・ピクセルjからの光線寄与を避けるべきである。
タ・ピクセルjと実カメラの個別のカメラ・ピクセルiすべてとの間で対応する個別の光
輸送係数を留保している。従って、個別のプロジェクタ・ピクセルjとすべてのカメラ・
ピクセルiとの間で対応する各個別の光輸送係数の判定はプロジェクタ・ピクセル・アレ
イ27における他のプロジェクタ・ピクセルjからの光線寄与を避けるべきである。
これを達成するために、まずj番目のプロジェクタ・ピクセルを1の値に設定し(すな
わちオンにし)、プロジェクタ・ピクセル・アレイ27における他のすべての要素をゼロ
値に設定する(すなわちオフにする)ことにより作成された初期の実投影画像_jを検討
することができる。この場合、j番目のピクセルは光輸送係数を判定するためにテストさ
れるプロジェクタ・ピクセルである。これらのテスト条件はj番目のプロジェクタ・ピク
セルに結び付いた入力位置において1の値を有し、すべての他のプロジェクタ・ピクセル
をゼロの値に設定している実投影ベクトルRprjct_jとして記号化することができ
る。次に実投影画像_jを取り込み対応する(m×n)の実取り込みベクトル_jを判定す
ることができ、これは行列Tのj番目の列を定義する。
わちオンにし)、プロジェクタ・ピクセル・アレイ27における他のすべての要素をゼロ
値に設定する(すなわちオフにする)ことにより作成された初期の実投影画像_jを検討
することができる。この場合、j番目のピクセルは光輸送係数を判定するためにテストさ
れるプロジェクタ・ピクセルである。これらのテスト条件はj番目のプロジェクタ・ピク
セルに結び付いた入力位置において1の値を有し、すべての他のプロジェクタ・ピクセル
をゼロの値に設定している実投影ベクトルRprjct_jとして記号化することができ
る。次に実投影画像_jを取り込み対応する(m×n)の実取り込みベクトル_jを判定す
ることができ、これは行列Tのj番目の列を定義する。
所定のj番目のプロジェクタ・ピクセルに対する行列Tの光輸送係数の列を得るこの方
法は行列T全体を取り込む系統だった方法は実プロジェクタ21の各プロジェクタ・ピク
セルjを順にオンにし(プロジェクタ・ピクセルを1つずつ)、実カメラでその対応する
実画像Rcptr_jを取り込むことであることを示唆している。p×q個のプロジェク
タ・ピクセルjがすべて順にオンにされ、それらに対応する実画像Rcptr_jが取り
込まれると、取り込まれたすべての取り込み画像ベクトルRcptr_1からRcptr_
(p×q)はグループ化され行列Tを形成する。各取り込み画像ベクトルRcptr_j
は行列Tにおいて光輸送係数入力の1列をなす。これは(p×q)列および(m×n)行
の個別の光輸送係数を有する行列Tをもたらす。
法は行列T全体を取り込む系統だった方法は実プロジェクタ21の各プロジェクタ・ピク
セルjを順にオンにし(プロジェクタ・ピクセルを1つずつ)、実カメラでその対応する
実画像Rcptr_jを取り込むことであることを示唆している。p×q個のプロジェク
タ・ピクセルjがすべて順にオンにされ、それらに対応する実画像Rcptr_jが取り
込まれると、取り込まれたすべての取り込み画像ベクトルRcptr_1からRcptr_
(p×q)はグループ化され行列Tを形成する。各取り込み画像ベクトルRcptr_j
は行列Tにおいて光輸送係数入力の1列をなす。これは(p×q)列および(m×n)行
の個別の光輸送係数を有する行列Tをもたらす。
しかし行列Tを判定するためのこの簡単で系統だったプロセスは(p×q)の画像投影
・取り込み工程を必要とする、明らかに時間のかかるプロセスである。さらに、得られる
光輸送行列Tは非常に大きく、(p×q×m×n)の要素を含む。行列Tのサイズから、
デュアル画像を計算するのはデュアル光輸送行列TT(行列Tと同数の要素を有する)と
仮想投影ベクトルVprjct”((m×n)の要素を有する長いベクトルである)との
間で行列乗算を必要とする極めて計算集中的な演算である。
・取り込み工程を必要とする、明らかに時間のかかるプロセスである。さらに、得られる
光輸送行列Tは非常に大きく、(p×q×m×n)の要素を含む。行列Tのサイズから、
デュアル画像を計算するのはデュアル光輸送行列TT(行列Tと同数の要素を有する)と
仮想投影ベクトルVprjct”((m×n)の要素を有する長いベクトルである)との
間で行列乗算を必要とする極めて計算集中的な演算である。
過去において、行列Tを判定するプロセスを速めるために実プロジェクタ(図47(A
)のプロジェクタ11のような)の複数ピクセルをいちどきに適応的にオンにすることに
より行列Tを判定する仕組みが提案されている。しかし、この方法は複雑で、投影される
画像が複数の区域に分割され、各区域から1つのプロジェクタ・ピクセルを選択する必要
がある。選択されたプロジェクタ・ピクセルはすべて同時に点灯され、かつ同時に点灯さ
れたプロジェクタ・ピクセルはその間の光干渉を排除するために互いに充分な距離を確保
するようにする。従って、この仕組みは選択された個々のプロジェクタ・ピクセル間の光
干渉が最小限であることを確保する必要があるので場面に依存する(すなわち表示環境に
依存する)。このように複数区域の作成は表示環境に依存する。この仕組みは投影区域の
物理的な検査および手動の設定を必要とするので、一般的な使用または自動化にあまり適
さない。
)のプロジェクタ11のような)の複数ピクセルをいちどきに適応的にオンにすることに
より行列Tを判定する仕組みが提案されている。しかし、この方法は複雑で、投影される
画像が複数の区域に分割され、各区域から1つのプロジェクタ・ピクセルを選択する必要
がある。選択されたプロジェクタ・ピクセルはすべて同時に点灯され、かつ同時に点灯さ
れたプロジェクタ・ピクセルはその間の光干渉を排除するために互いに充分な距離を確保
するようにする。従って、この仕組みは選択された個々のプロジェクタ・ピクセル間の光
干渉が最小限であることを確保する必要があるので場面に依存する(すなわち表示環境に
依存する)。このように複数区域の作成は表示環境に依存する。この仕組みは投影区域の
物理的な検査および手動の設定を必要とするので、一般的な使用または自動化にあまり適
さない。
本発明の一特徴は実光輸送行列Tの決定における手順工程を削減する方法を提案する。
すなわち、(p×q)の画像投影・取り込み工程(およびp×qの取り込み画像の格納)
を必要とする代わりに、ここで提案される方法は”p足すq”[すなわち(p+q)]画
像しか取り込まず、以下に説明する特定の状況においてこの数はさらに劇的に減らすこと
ができる。
すなわち、(p×q)の画像投影・取り込み工程(およびp×qの取り込み画像の格納)
を必要とする代わりに、ここで提案される方法は”p足すq”[すなわち(p+q)]画
像しか取り込まず、以下に説明する特定の状況においてこの数はさらに劇的に減らすこと
ができる。
本方法は次の仮定に基づいている。つまり殆どのプロジェクタ−カメラ表示用途におい
て、実プロジェクタ21から放射される任意の別個の光線bおよびcは通常カメラ・セン
サのピクセル・アレイ29における別個の部分に当たる。すなわち、プロジェクタ・ピク
セルjから放射された任意の光線はカメラ・センサのピクセル・アレイ29全体にわたっ
て拡散されず、カメラ・センサのピクセル・アレイ29内の明確な部分で光フットプリン
トを形成する小グループのカメラ・ピクセル内に主に集中する。さらに、隣接する光フッ
トプリントにおいて重なり合いはないか無視できる(すなわち別個のプロジェクタ・ピク
セルjから投射された別個の光線が当たるカメラ・ピクセルiに重複が殆どない)。この
理想的な光線分布条件は実カメラ25の解像度が実プロジェクタ21の解像度よりはるか
に高い(すなわち少なくとも2倍高い)場合に仮定できる。
て、実プロジェクタ21から放射される任意の別個の光線bおよびcは通常カメラ・セン
サのピクセル・アレイ29における別個の部分に当たる。すなわち、プロジェクタ・ピク
セルjから放射された任意の光線はカメラ・センサのピクセル・アレイ29全体にわたっ
て拡散されず、カメラ・センサのピクセル・アレイ29内の明確な部分で光フットプリン
トを形成する小グループのカメラ・ピクセル内に主に集中する。さらに、隣接する光フッ
トプリントにおいて重なり合いはないか無視できる(すなわち別個のプロジェクタ・ピク
セルjから投射された別個の光線が当たるカメラ・ピクセルiに重複が殆どない)。この
理想的な光線分布条件は実カメラ25の解像度が実プロジェクタ21の解像度よりはるか
に高い(すなわち少なくとも2倍高い)場合に仮定できる。
別個の光線が重ならないというこの仮定はもちろん一般的に正しくない。例えば、実カ
メラ25の解像度が実プロジェクタ21の解像度に匹敵するか、またはそれより小さい場
合、または光拡散材料が実プロジェクタ21からカメラ・センサのピクセル・アレイ29
に投影された光線の光パスの間に位置する場合理想的な光線分布条件は達成できないかも
しれない。例えば、映写場面(すなわち表示環境または映写表面/領域)がコップ一杯の
牛乳など光拡散材料を含む場合、投射された光線は拡散され、カメラ・センサのピクセル
・アレイ29において異なった光線間でかなり光の重なり合いがある可能性は非常に増え
る。しかし高解像度の映写を確保するよう設計された表示構成はこのような光拡散材料が
ない可能性が高く、投射された光のフットプリントは各々隣とは実質的に区別されること
が殆ど保証される。つまり、高解像度の映写が望ましい会場や設定の場合、投影画像の光
パスに沿って光拡散物品はない可能性が高い。
メラ25の解像度が実プロジェクタ21の解像度に匹敵するか、またはそれより小さい場
合、または光拡散材料が実プロジェクタ21からカメラ・センサのピクセル・アレイ29
に投影された光線の光パスの間に位置する場合理想的な光線分布条件は達成できないかも
しれない。例えば、映写場面(すなわち表示環境または映写表面/領域)がコップ一杯の
牛乳など光拡散材料を含む場合、投射された光線は拡散され、カメラ・センサのピクセル
・アレイ29において異なった光線間でかなり光の重なり合いがある可能性は非常に増え
る。しかし高解像度の映写を確保するよう設計された表示構成はこのような光拡散材料が
ない可能性が高く、投射された光のフットプリントは各々隣とは実質的に区別されること
が殆ど保証される。つまり、高解像度の映写が望ましい会場や設定の場合、投影画像の光
パスに沿って光拡散物品はない可能性が高い。
本第1実施形態において、実カメラ25のピクセル解像度は実プロジェクタ21のそれ
より少なくとも4倍高く、映写場面には光拡散材料がなく、理想的な光線分布状態の条件
が満足されると仮定される。しかし、実カメラ25の解像度が実プロジェクタ21より高
いものに限定されず、または実プロジェクタ21と実カメラ25との間の光パスが光拡散
材料のないものに限定されない、より一般的な状況に関する別の実施形態も下記に説明さ
れる。
より少なくとも4倍高く、映写場面には光拡散材料がなく、理想的な光線分布状態の条件
が満足されると仮定される。しかし、実カメラ25の解像度が実プロジェクタ21より高
いものに限定されず、または実プロジェクタ21と実カメラ25との間の光パスが光拡散
材料のないものに限定されない、より一般的な状況に関する別の実施形態も下記に説明さ
れる。
この仮定およびベクトル生成方法の最初の図形的描写が図2、図3、図4に示される。
図2を参照すると、本発明の図示例は実カメラ・センサ・ピクセル・アレイ29より低い
ピクセル解像度を有する実プロジェクタ・ピクセル・アレイ27を示す。説明の便宜上、
プロジェクタ・ピクセル・アレイ27は6行と7列(すなわちp=6でq=7)のみから
なり合計解像度が42プロジェクタ・ピクセルj(すなわち(6×7)要素)となるよう
に図示される。同様に説明の便宜上、カメラ・センサのピクセル・アレイ29は12行と
14列(すなわちm=12でn=14)のみからなり合計解像度が168カメラ・ピクセ
ルi(すなわち(12×14)要素)となるように図示される。カメラ・センサのピクセ
ル・アレイ29の解像度はプロジェクタ・ピクセル・アレイ27の解像度より4倍高く、
プロジェクタ・ピクセル・アレイ27からカメラ・センサのピクセル・アレイ29への光
パス内に光拡散材料は存在せず、従って本第1実施形態の理想的な光線分布条件が満足さ
れていることが特記される。
図2を参照すると、本発明の図示例は実カメラ・センサ・ピクセル・アレイ29より低い
ピクセル解像度を有する実プロジェクタ・ピクセル・アレイ27を示す。説明の便宜上、
プロジェクタ・ピクセル・アレイ27は6行と7列(すなわちp=6でq=7)のみから
なり合計解像度が42プロジェクタ・ピクセルj(すなわち(6×7)要素)となるよう
に図示される。同様に説明の便宜上、カメラ・センサのピクセル・アレイ29は12行と
14列(すなわちm=12でn=14)のみからなり合計解像度が168カメラ・ピクセ
ルi(すなわち(12×14)要素)となるように図示される。カメラ・センサのピクセ
ル・アレイ29の解像度はプロジェクタ・ピクセル・アレイ27の解像度より4倍高く、
プロジェクタ・ピクセル・アレイ27からカメラ・センサのピクセル・アレイ29への光
パス内に光拡散材料は存在せず、従って本第1実施形態の理想的な光線分布条件が満足さ
れていることが特記される。
図2にプロジェクタ・ピクセル・アレイ27内の各正方形は異なるプロジェクタ・ピク
セルjを表す。本例において、第3行と第5列に位置するプロジェクタ・ピクセルjの光
輸送係数を得ることが求められる(すなわちプロジェクタ・ピクセルj=(5,3)がテ
ストされるピクセルである)。上記に説明されるように光拡散、または光散乱、は無視さ
れる。このように、プロジェクタ・ピクセルj=(5,3)はオンにされている、すなわ
ち点灯されている、ことが白い正方形で示されるように図示され、他のすべてのプロジェ
クタ・ピクセルは濃い灰色の正方形で示されるようにオフのままとして図示される。プロ
ジェクタ・ピクセルj=(5,3)は光線1を放射し、これはプロジェクタ・レンズ3を
通過した後映写表面5(これは基本的に実プロジェクタ21および実カメラ25が位置す
る環境で決定される一般的な映写場面である)に当たる。光拡散は本例において無視され
るので、光線1は映写表面5から反射し、カメラ・レンズ7を通過した後カメラ・ピクセ
ルiのグループに当たり、円Ft1で示されるように光線フットプリントを形成する。各
プロジェクタ・ピクセルjの解像度はカメラ・ピクセルiのそれよりはるかに粗いので、
カメラ・センサのピクセル・アレイ29に作成された光線フットプリントFt1は数個の
カメラ・ピクセルiを覆い、光線フットプリントFt1の中央にあるカメラ・ピクセルi
(白い正方形で示される)がもっとも高い光強度を受け、光線フットプリントFt1の周
辺部にあるカメラ・ピクセルi(薄い灰色の正方形で示される)はより少ない光強度を受
け、光線フットプリントFt1内にないカメラ・ピクセルi(濃い灰色の正方形で示され
る)は光を受けない。次に、カメラ・センサのピクセル・アレイ29内のすべてのカメラ
・ピクセルの光強度測定を判定することによりテストされるプロジェクタ・ピクセルj=
(5,3)に対応する各カメラ・ピクセルiの光輸送係数を決定することができる。
セルjを表す。本例において、第3行と第5列に位置するプロジェクタ・ピクセルjの光
輸送係数を得ることが求められる(すなわちプロジェクタ・ピクセルj=(5,3)がテ
ストされるピクセルである)。上記に説明されるように光拡散、または光散乱、は無視さ
れる。このように、プロジェクタ・ピクセルj=(5,3)はオンにされている、すなわ
ち点灯されている、ことが白い正方形で示されるように図示され、他のすべてのプロジェ
クタ・ピクセルは濃い灰色の正方形で示されるようにオフのままとして図示される。プロ
ジェクタ・ピクセルj=(5,3)は光線1を放射し、これはプロジェクタ・レンズ3を
通過した後映写表面5(これは基本的に実プロジェクタ21および実カメラ25が位置す
る環境で決定される一般的な映写場面である)に当たる。光拡散は本例において無視され
るので、光線1は映写表面5から反射し、カメラ・レンズ7を通過した後カメラ・ピクセ
ルiのグループに当たり、円Ft1で示されるように光線フットプリントを形成する。各
プロジェクタ・ピクセルjの解像度はカメラ・ピクセルiのそれよりはるかに粗いので、
カメラ・センサのピクセル・アレイ29に作成された光線フットプリントFt1は数個の
カメラ・ピクセルiを覆い、光線フットプリントFt1の中央にあるカメラ・ピクセルi
(白い正方形で示される)がもっとも高い光強度を受け、光線フットプリントFt1の周
辺部にあるカメラ・ピクセルi(薄い灰色の正方形で示される)はより少ない光強度を受
け、光線フットプリントFt1内にないカメラ・ピクセルi(濃い灰色の正方形で示され
る)は光を受けない。次に、カメラ・センサのピクセル・アレイ29内のすべてのカメラ
・ピクセルの光強度測定を判定することによりテストされるプロジェクタ・ピクセルj=
(5,3)に対応する各カメラ・ピクセルiの光輸送係数を決定することができる。
上記に説明されたように、プロジェクタ・ピクセル・アレイ27を第1ベクトル(実投
影ベクトルRprjct)と見て、得られるカメラ・センサのピクセル・アレイ29にわ
たる取り込み画像を第2ベクトル(実取り込みベクトルRcptr)と見ることが役に立
つ。実プロジェクタ・ベクトルRprjctをどのように構築できるかを図示したものが
図3に示される。まずプロジェクタ・ピクセル・アレイ27を6つの行、row_1から
row_6に分け、次に各行を90度回転させ6つの列セグメントcol_seg_r1か
らcol_seg_r6を形成する。6つの列セグメントcol_seg_r1からcol_
seg_r6を次に端と端をつないで(p×q)要素(すなわち(6×7)または42要
素)を含む1つの合成列を形成する。本例において、要素col_1_row_19(すな
わち列col_1の上から19番目の要素)はプロジェクタ・ピクセル・アレイ27のア
レイ位置(5,3)にあるプロジェクタ・ピクセルjに対応する。要素col_1_row
_19は白い正方形として示され、他の要素はすべて暗くされた正方形で、要素col_1
_row_19がオンになっている唯一のプロジェクタ・ピクセルであることを示している
。
影ベクトルRprjct)と見て、得られるカメラ・センサのピクセル・アレイ29にわ
たる取り込み画像を第2ベクトル(実取り込みベクトルRcptr)と見ることが役に立
つ。実プロジェクタ・ベクトルRprjctをどのように構築できるかを図示したものが
図3に示される。まずプロジェクタ・ピクセル・アレイ27を6つの行、row_1から
row_6に分け、次に各行を90度回転させ6つの列セグメントcol_seg_r1か
らcol_seg_r6を形成する。6つの列セグメントcol_seg_r1からcol_
seg_r6を次に端と端をつないで(p×q)要素(すなわち(6×7)または42要
素)を含む1つの合成列を形成する。本例において、要素col_1_row_19(すな
わち列col_1の上から19番目の要素)はプロジェクタ・ピクセル・アレイ27のア
レイ位置(5,3)にあるプロジェクタ・ピクセルjに対応する。要素col_1_row
_19は白い正方形として示され、他の要素はすべて暗くされた正方形で、要素col_1
_row_19がオンになっている唯一のプロジェクタ・ピクセルであることを示している
。
同様のプロセスが図4においてカメラ・センサのピクセル・アレイ29に適用され、実
取り込みベクトルRcptrが構築される。本例の場合、カメラ・センサのピクセル・ア
レイ29はm行(すなわち12行)に分けられ、各々90度回転させられ図示されていな
い12の列セグメントを形成する。図3でプロジェクタ・ピクセル・アレイ27の配置を
変えたのと同じように、12個の列セグメントは端と端をつないで(m×n)要素(すな
わち(12×14)または168要素)を含む1つの合成列cmra_col_1(すなわ
ちベクトルRcptr)を形成する。
取り込みベクトルRcptrが構築される。本例の場合、カメラ・センサのピクセル・ア
レイ29はm行(すなわち12行)に分けられ、各々90度回転させられ図示されていな
い12の列セグメントを形成する。図3でプロジェクタ・ピクセル・アレイ27の配置を
変えたのと同じように、12個の列セグメントは端と端をつないで(m×n)要素(すな
わち(12×14)または168要素)を含む1つの合成列cmra_col_1(すなわ
ちベクトルRcptr)を形成する。
本例において、アレイ位置(5,3)にあるプロジェクタ・ピクセルjから放射される
光線はカメラ・センサのピクセル・アレイ27上に光線フットプリントFt1を形成する
と仮定される。光線フットプリントFt1の範囲は円で示され、カメラ・センサのピクセ
ル・アレイ29の4つの異なる行の12個のカメラ・ピクセルiを包含する。光線フット
プリントFt1内のカメラ・ピクセルiは図2または図3のプロジェクタ・ピクセルj=
(5,3)(すなわち行列要素col_l_row_19)により放射された光線からの光
強度の少なくとも一部を受ける。光フットプリントFt1の中央にあるカメラ・ピクセル
はもっとも多く光強度を受け、白い正方形で識別され、光フットプリントFt1の周辺部
にあるカメラ・ピクセルはより少なく光強度を受け、薄い灰色の正方形として識別される
。光線フットプリントFt1内にないカメラ・ピクセルは濃い灰色の正方形で示される。
図4に図示されるように、これらの白および薄い灰色の正方形は取り込み画像内の非ゼロ
要素をなし、ベクトルRcptr(すなわち列cmra_col_1)内で多数のゼロ値要
素(すなわち濃い灰色の正方形)の間に散在する白および薄い灰色の正方形(すなわち非
ゼロ値のNZ要素)として示される。
光線はカメラ・センサのピクセル・アレイ27上に光線フットプリントFt1を形成する
と仮定される。光線フットプリントFt1の範囲は円で示され、カメラ・センサのピクセ
ル・アレイ29の4つの異なる行の12個のカメラ・ピクセルiを包含する。光線フット
プリントFt1内のカメラ・ピクセルiは図2または図3のプロジェクタ・ピクセルj=
(5,3)(すなわち行列要素col_l_row_19)により放射された光線からの光
強度の少なくとも一部を受ける。光フットプリントFt1の中央にあるカメラ・ピクセル
はもっとも多く光強度を受け、白い正方形で識別され、光フットプリントFt1の周辺部
にあるカメラ・ピクセルはより少なく光強度を受け、薄い灰色の正方形として識別される
。光線フットプリントFt1内にないカメラ・ピクセルは濃い灰色の正方形で示される。
図4に図示されるように、これらの白および薄い灰色の正方形は取り込み画像内の非ゼロ
要素をなし、ベクトルRcptr(すなわち列cmra_col_1)内で多数のゼロ値要
素(すなわち濃い灰色の正方形)の間に散在する白および薄い灰色の正方形(すなわち非
ゼロ値のNZ要素)として示される。
プロジェクタ・ピクセルjからの1つの光線の光フットプリントがどのように数個のカ
メラ・ピクセルiを覆うかの拡大図を提供する第2の例が図5(A)および図5(B)に
示される。図5(A)において、別の典型的なカメラ・センサのピクセル・アレイ29の
部分図は第1行において1からnまで、第2行において(n+1)から(2n)まで、お
よび第3行において(2n+1)から(3n)まで等々と水平に番号が付けられた個々の
カメラ・ピクセルiを示す。このシーケンスを続けると、最下段の行に沿ったカメラ・ピ
クセルiは((m−1)n)+1から(mn)まで番号が付けられることが理解されよう
。
メラ・ピクセルiを覆うかの拡大図を提供する第2の例が図5(A)および図5(B)に
示される。図5(A)において、別の典型的なカメラ・センサのピクセル・アレイ29の
部分図は第1行において1からnまで、第2行において(n+1)から(2n)まで、お
よび第3行において(2n+1)から(3n)まで等々と水平に番号が付けられた個々の
カメラ・ピクセルiを示す。このシーケンスを続けると、最下段の行に沿ったカメラ・ピ
クセルiは((m−1)n)+1から(mn)まで番号が付けられることが理解されよう
。
別の典型的な1つのプロジェクタ・ピクセルjからでカメラ・センサのピクセル・アレ
イ29に作用する1つの光線の光線フットプリントFt2が円として示される。例示の目
的から、光線フットプリントFt2内にないカメラ・ピクセルi[すなわちj番目のプロ
ジェクタ・ピクセルから放射された1つの投射ビームが当たらないカメラ・ピクセルi]
は非常に暗く示され、フットプリントFt2により部分的に覆われるカメラ・ピクセルi
は多少暗く示され、完全にフットプリントFt2内にあるカメラ・ピクセルiは暗くされ
ずに示される。技術的に周知のように、光線フットプリントFt2に少なくとも部分的に
覆われる各カメラ・ピクセルiは受けた光の量に比例する光強度値を記録する。この光強
度値はその個別的カメラ・ピクセルiの光輸送係数として割り当てることができる。ある
いは、各カメラ・ピクセルiの光輸送係数は個々のカメラ・ピクセルiにより記録された
光強度値に比例するようにすることもできる。しかし、j番目のプロジェクタ・ピクセル
からの投射ビームが直接当たらないカメラ・ピクセルiは光強度値がゼロ(またはゼロに
近く、または所定の閾値光強度値未満)になるはずで、これらに対応する光輸送係数も同
様に光強度値がゼロ(またはゼロに近く)になるはずである。
イ29に作用する1つの光線の光線フットプリントFt2が円として示される。例示の目
的から、光線フットプリントFt2内にないカメラ・ピクセルi[すなわちj番目のプロ
ジェクタ・ピクセルから放射された1つの投射ビームが当たらないカメラ・ピクセルi]
は非常に暗く示され、フットプリントFt2により部分的に覆われるカメラ・ピクセルi
は多少暗く示され、完全にフットプリントFt2内にあるカメラ・ピクセルiは暗くされ
ずに示される。技術的に周知のように、光線フットプリントFt2に少なくとも部分的に
覆われる各カメラ・ピクセルiは受けた光の量に比例する光強度値を記録する。この光強
度値はその個別的カメラ・ピクセルiの光輸送係数として割り当てることができる。ある
いは、各カメラ・ピクセルiの光輸送係数は個々のカメラ・ピクセルiにより記録された
光強度値に比例するようにすることもできる。しかし、j番目のプロジェクタ・ピクセル
からの投射ビームが直接当たらないカメラ・ピクセルiは光強度値がゼロ(またはゼロに
近く、または所定の閾値光強度値未満)になるはずで、これらに対応する光輸送係数も同
様に光強度値がゼロ(またはゼロに近く)になるはずである。
図5(B)を参照すると、図5(A)のフットプリントFt2に対応するような画像取
り込みベクトルRcptr_j[または行列Tのj番目の列]が示される。この行列Tの
j番目の列は図5(A)のカメラ・センサのピクセル・アレイ29において番号の付けら
れたカメラ・ピクセルiに各々対応する、光輸送係数の番号付けされた垂直シーケンスと
して図示される。取り込みベクトルRcptr_jの数のシーケンスは図5(A)に示さ
れるカメラ・センサのピクセル・アレイにおける個々のカメラ・ピクセルiの水平に番号
付けされたシーケンスに追従することが好ましい。図示されるように、取り込み画像化ベ
クトル内で光線フットプリントFt2により覆われたカメラ・ピクセルiに対応する要素
のみ光輸送係数として非ゼロ値、すなわち”NZ”、を有する。他のカメラ・ピクセルは
すべて光輸送係数として”ZERO”値を有する。「は任意の非ゼロ光輸送値を表し、こ
の値は対応するカメラ・ピクセルiが受けた光強度の量に関連することが理解されよう。
光線フットプリントFt2はカメラ・ピクセル・アレイ29の数行にまたがるため、各行
は取り込み画像ベクトルRcptr_jに順に記載されており、ゼロ値光輸送係数の数個
の長いシーケンスが3,4個の非ゼロ、NZ、値光輸送変数の間に散在する。
り込みベクトルRcptr_j[または行列Tのj番目の列]が示される。この行列Tの
j番目の列は図5(A)のカメラ・センサのピクセル・アレイ29において番号の付けら
れたカメラ・ピクセルiに各々対応する、光輸送係数の番号付けされた垂直シーケンスと
して図示される。取り込みベクトルRcptr_jの数のシーケンスは図5(A)に示さ
れるカメラ・センサのピクセル・アレイにおける個々のカメラ・ピクセルiの水平に番号
付けされたシーケンスに追従することが好ましい。図示されるように、取り込み画像化ベ
クトル内で光線フットプリントFt2により覆われたカメラ・ピクセルiに対応する要素
のみ光輸送係数として非ゼロ値、すなわち”NZ”、を有する。他のカメラ・ピクセルは
すべて光輸送係数として”ZERO”値を有する。「は任意の非ゼロ光輸送値を表し、こ
の値は対応するカメラ・ピクセルiが受けた光強度の量に関連することが理解されよう。
光線フットプリントFt2はカメラ・ピクセル・アレイ29の数行にまたがるため、各行
は取り込み画像ベクトルRcptr_jに順に記載されており、ゼロ値光輸送係数の数個
の長いシーケンスが3,4個の非ゼロ、NZ、値光輸送変数の間に散在する。
行列Tを決定する本新規方法に戻ると、まずプロジェクタ・ピクセルjの個別の光輸送
係数は光輸送行列Tのj列にマップすることが特記される。プロジェクタ・ピクセル間の
最小限の重なりを仮定すると、撮像プロジェクタ・ピクセル・アレイ27内のプロジェク
タ・ピクセルの第1組S1は光輸送行列Tの対応する列の組(プロジェクタ・ピクセル毎
に1つ)にマップすることになる。すなわち、
係数は光輸送行列Tのj列にマップすることが特記される。プロジェクタ・ピクセル間の
最小限の重なりを仮定すると、撮像プロジェクタ・ピクセル・アレイ27内のプロジェク
タ・ピクセルの第1組S1は光輸送行列Tの対応する列の組(プロジェクタ・ピクセル毎
に1つ)にマップすることになる。すなわち、
ちテストされる目標プロジェクタ・ピクセル、を含むと仮定される。
実カメラ25により取り込まれたプロジェクタ・ピクセルの第1組を同時に活性化する
ことにより作成される投影画像の第1実画像をRcptr_S1とする。
ことにより作成される投影画像の第1実画像をRcptr_S1とする。
次にプロジェクタ・ピクセルの第1セットS1とはテストされるプロジェクタ・ピクセ
ルjのみ共有するプロジェクタ・ピクセルの第2セット、すなわち、
ルjのみ共有するプロジェクタ・ピクセルの第2セット、すなわち、
時に活性化することにより作成される投影画像の第2実画像をRcptr_S2とする。
光輸送行列Tのj番目の列の(テストされる目標プロジェクタ・ピクセルに対応する、す
なわちjに対応する)光輸送係数は、取り込まれた実画像Rcptr_S1およびRcp
tr_S2より、これらが共有する唯一の光線フットプリント(すなわち図2、図4、ま
たは図5(A)の光線フットプリントFt1またはFt2に類似)を特定することにより
直接得られる。この共通光線フットプリントは第1組S1および第2組S2が共有する唯
一の点灯されたプロジェクタ・ピクセルjである、目標プロジェクタ・ピクセルjから放
射された光線に対応することになる。
従って次のステップは取り込み実画像Rcptr_S1およびRcptr_S2が共有す
る1つの光線フットプリントをどのように特定するかを判定することである。この共通の
光線のフットプリントを特定するには取り込み画像Rcptr_S1およびRcptr_S
2A双方をピクセル毎に比較して、比較した2つのピクセルの暗い方を特定する方法があ
る。例えば第1の取り込み画像Rcptr_S1において、個々の光線フットプリント内
の、各々プロジェクタ・ピクセルの第1セットS1の同時点灯に対応する、センサ・ピク
セルのみが非ゼロ(NZ)の光強度値を有し、取り込み画像Rcptr_S1内の他のす
べてのピクセルはゼロ値を有する、すなわち比較的暗くなる。同様に第2の取り込み画像
Rcptr_S2において、光線フットプリント内の、同時点灯されたプロジェクタ・ピ
クセルの第2組S2に対応するセンサ・ピクセルのみが非ゼロ(NZ)の光強度値を有し
、他のすべてのピクセルはゼロ値(または暗い)を有する(すなわち所定の閾値未満)。
2つの組S1およびS2は目標プロジェクタ・ピクセルjのみを共有しているので、取り
込み画像双方の直接比較でRcptr_S1およびRcptr_S2双方に共通する唯一の
非ゼロ領域(すなわち暗くない領域)を特定することにより光線フットプリント内でプロ
ジェクタ・ピクセルjに対応するカメラ・ピクセルが迅速に特定される。言い換えれば、
Rcptr_S1およびRcptr_S2における点灯領域(すなわち光線フットプリント
)の交差点が特定され、この特定された光線フットプリントはテストされる目標プロジェ
クタ・ピクセルjに対応する。
る1つの光線フットプリントをどのように特定するかを判定することである。この共通の
光線のフットプリントを特定するには取り込み画像Rcptr_S1およびRcptr_S
2A双方をピクセル毎に比較して、比較した2つのピクセルの暗い方を特定する方法があ
る。例えば第1の取り込み画像Rcptr_S1において、個々の光線フットプリント内
の、各々プロジェクタ・ピクセルの第1セットS1の同時点灯に対応する、センサ・ピク
セルのみが非ゼロ(NZ)の光強度値を有し、取り込み画像Rcptr_S1内の他のす
べてのピクセルはゼロ値を有する、すなわち比較的暗くなる。同様に第2の取り込み画像
Rcptr_S2において、光線フットプリント内の、同時点灯されたプロジェクタ・ピ
クセルの第2組S2に対応するセンサ・ピクセルのみが非ゼロ(NZ)の光強度値を有し
、他のすべてのピクセルはゼロ値(または暗い)を有する(すなわち所定の閾値未満)。
2つの組S1およびS2は目標プロジェクタ・ピクセルjのみを共有しているので、取り
込み画像双方の直接比較でRcptr_S1およびRcptr_S2双方に共通する唯一の
非ゼロ領域(すなわち暗くない領域)を特定することにより光線フットプリント内でプロ
ジェクタ・ピクセルjに対応するカメラ・ピクセルが迅速に特定される。言い換えれば、
Rcptr_S1およびRcptr_S2における点灯領域(すなわち光線フットプリント
)の交差点が特定され、この特定された光線フットプリントはテストされる目標プロジェ
クタ・ピクセルjに対応する。
これを達成する一方法は取り込み画像Rcptr_S1およびRcptr_S2A双方を
ピクセル毎に比較し、比較された2つのピクセルの暗い方を留保することである。このプ
ロセスは、
ピクセル毎に比較し、比較された2つのピクセルの暗い方を留保することである。このプ
ロセスは、
びRcptr_S2においてより低い値のカメラ・ピクセル(すなわちより低い取り込み
光強度値を有する、より暗いピクセル)が留保され、より高い値(すなわちより明るい)
カメラ・ピクセルは切り捨てられる。このように、留保される唯一の高光強度値はS1お
よびS2双方に共通する光線フットプリントに対応する。
言い換えれば、各個別のプロジェクタ・ピクセルjの寄与はカメラ・センサのピクセル
・アレイ29のはっきりと区別された部分にマップされるため、センサ・ピクセルi=1
からi=(m×n)までの中に取り込み画像Rcptr_S1およびRcptr_S2に共
通で目標プロジェクタ・ピクセルjに対応するカメラ・ピクセルiの組Lがある。すなわ
ち、
・アレイ29のはっきりと区別された部分にマップされるため、センサ・ピクセルi=1
からi=(m×n)までの中に取り込み画像Rcptr_S1およびRcptr_S2に共
通で目標プロジェクタ・ピクセルjに対応するカメラ・ピクセルiの組Lがある。すなわ
ち、
で(すなわちjは組S1およびS2双方に共通する唯一のプロジェクタ・ピクセルである
)、
すなわち組Lに含まれない、つまり∈Lでないピクセル)取り込みピクセル中(Rcpt
r_S1およびRcptur_S2双方において)、Rcptr_S1またはRcptr_S
2のいずれかで比較されたカメラ・ピクセルの少なくとも1つは光を受けていない。光を
受けるカメラ・ピクセルは光を受けないカメラ・ピクセルより明るくなるため、演算MI
N(Rcptr_S1,Rcptr_S2)はセットLに含まれるピクセル[すなわち∈L
]のみ点灯され、これはTj、すなわち行列Tにおけるj番目の列、の良好な概算となる
。
これはプロジェクタ・ピクセル・アレイ27における隣接プロジェクタ・ピクセルの組
が列および行(または1点のみで交差する、すなわち1つのプロジェクタ・ピクセルjの
みを共有する、任意のパターンの対)で点灯され、プロジェクタ・ピクセルの点灯された
列に対し取り込み画像の第1集合Rcptr_Syが作られ、プロジェクタ・ピクセルの
点灯された行に対し取り込み画像の第2集合Rcptr_Sxが作られた場合、任意の個
別のプロジェクタ・ピクセルに対する光輸送係数は双方の集合を比較し点灯された列の取
り込み画像が点灯された行の取り込み画像と交差する領域Lを特定することにより得られ
、交差点はプロジェクタ・ピクセルjを単独に活性化することにより映写される光線に対
応する。
が列および行(または1点のみで交差する、すなわち1つのプロジェクタ・ピクセルjの
みを共有する、任意のパターンの対)で点灯され、プロジェクタ・ピクセルの点灯された
列に対し取り込み画像の第1集合Rcptr_Syが作られ、プロジェクタ・ピクセルの
点灯された行に対し取り込み画像の第2集合Rcptr_Sxが作られた場合、任意の個
別のプロジェクタ・ピクセルに対する光輸送係数は双方の集合を比較し点灯された列の取
り込み画像が点灯された行の取り込み画像と交差する領域Lを特定することにより得られ
、交差点はプロジェクタ・ピクセルjを単独に活性化することにより映写される光線に対
応する。
このように、輸送行列Tを決定する一方法は点灯されたq列のプロジェクタ・ピクセル
のq個の取り込み画像に対応する画像Rcptr_Sy_1からRcptr_Sy_qの第1
セットを集め、点灯されたプロジェクタ・ピクセルの点灯されたp行のp個の取り込み画
像に対応する画像Rcptr_Sx_1からRcptr_Sx_pの第2組を構築することで
ある。次にプロジェクタ・ピクセル・アレイ27におけるすべてのプロジェクタ・ピクセ
ルj=1からj=(p×q)に対し、行および列の取り込み画像の対、Rcptr_Sy_
aおよびRcptr_Sx_bが存在し、組Rcptr_Sy_aおよびRcptr_Sx_b
の交差点は目標プロジェクタ・ピクセルjの活性化により作成される光線フットプリント
に対応する。従って、投影画像のセット
Rprjct_Sy_1からRprjct_Sy_q、およびRprjct_Sx_1からR
prjct_Sx_p
を構築する必要があり、ここで各投影画像Rprjct_Sy_1からRprjct_S
y_qは任意の投影画像Rprjct_Sx_1からRprjct_Sx_pと対にされ、対
になった投影画像の各組は1つの光線フットプリントのみを共有する。すなわち、
のq個の取り込み画像に対応する画像Rcptr_Sy_1からRcptr_Sy_qの第1
セットを集め、点灯されたプロジェクタ・ピクセルの点灯されたp行のp個の取り込み画
像に対応する画像Rcptr_Sx_1からRcptr_Sx_pの第2組を構築することで
ある。次にプロジェクタ・ピクセル・アレイ27におけるすべてのプロジェクタ・ピクセ
ルj=1からj=(p×q)に対し、行および列の取り込み画像の対、Rcptr_Sy_
aおよびRcptr_Sx_bが存在し、組Rcptr_Sy_aおよびRcptr_Sx_b
の交差点は目標プロジェクタ・ピクセルjの活性化により作成される光線フットプリント
に対応する。従って、投影画像のセット
Rprjct_Sy_1からRprjct_Sy_q、およびRprjct_Sx_1からR
prjct_Sx_p
を構築する必要があり、ここで各投影画像Rprjct_Sy_1からRprjct_S
y_qは任意の投影画像Rprjct_Sx_1からRprjct_Sx_pと対にされ、対
になった投影画像の各組は1つの光線フットプリントのみを共有する。すなわち、
jについて投影画像の対が存在し、各々は異なって構成されたパターンを有し、構成され
たパターンの交差点は共通のプロジェクタ・ピクセルjに対応する1点(すなわちパター
ンの区分、または1つの光フットプリント領域)において交差することを意味すると解釈
される。構成されたパターンのこのような対の基本例として垂直な光の線および水平な光
の線の投影対があげられる。この場合、垂直な光の線の取り込み画像と、水平な光の線の
取り込み画像との交差点はテストされる目標プロジェクタ・ピクセルjに対応するすべて
のカメラ・ピクセルi(すなわちテストされるプロジェクタ・ピクセルjから放射された
光線により作成される光線フットプリント内に入るすべてのカメラ・ピクセルi)を含む
。
従って輸送行列T内の任意の列Tj[ここでj=1から(p×q)]は画像Rcptr
_Sy_1からRcptr_Sy_qおよびRcptr_Sx_1からRcptr_Sx_pによ
り合成することができる。この特性を満足する方法はピクセル座標を使用することである
。Rprjct_Sx_jはjに等しいx座標を有するピクセルのみオンになる第1投影画
像とし、Rprjct_Sy_kはkに等しいy座標を有するピクセルのみオンになる第2
投影画像とする。そうするとMIN(Rprjct_Sx_j,Rprjct_Sy_k)は
プロジェクタ・ピクセル(j,k)がオンにされたことに対応する画像を与える。このプ
ロセスは図6(A)、図6(B)、図7(A)、図7(B)、図8(A)、および図8(
B)を参照するとより良く理解できる。
_Sy_1からRcptr_Sy_qおよびRcptr_Sx_1からRcptr_Sx_pによ
り合成することができる。この特性を満足する方法はピクセル座標を使用することである
。Rprjct_Sx_jはjに等しいx座標を有するピクセルのみオンになる第1投影画
像とし、Rprjct_Sy_kはkに等しいy座標を有するピクセルのみオンになる第2
投影画像とする。そうするとMIN(Rprjct_Sx_j,Rprjct_Sy_k)は
プロジェクタ・ピクセル(j,k)がオンにされたことに対応する画像を与える。このプ
ロセスは図6(A)、図6(B)、図7(A)、図7(B)、図8(A)、および図8(
B)を参照するとより良く理解できる。
図6(A)において、場面または表示環境は市松格子パターンを有する平たい表面41
として例示される。市松格子パターンは投影光線の対比を提供することにより単に本説明
を分かり易くするために示され、表示環境は全くパターンがなくても良く、不規則な形状
をしていても良いことが理解されよう。各垂直な光の線および水平な光の線の相対位置は
、これらを作成する時にどのプロジェクタ・ピクセルがオンにされたか分かっているため
、既知のもので、以下により詳細に説明するように、それらの既知の相対移動を用いて実
プロジェクタ21を較正することができる。
として例示される。市松格子パターンは投影光線の対比を提供することにより単に本説明
を分かり易くするために示され、表示環境は全くパターンがなくても良く、不規則な形状
をしていても良いことが理解されよう。各垂直な光の線および水平な光の線の相対位置は
、これらを作成する時にどのプロジェクタ・ピクセルがオンにされたか分かっているため
、既知のもので、以下により詳細に説明するように、それらの既知の相対移動を用いて実
プロジェクタ21を較正することができる。
まず、光ビームの明るい垂直線(すなわち光線の列)47_kが実プロジェクタ21に
より表面41に投影される。この場合、明るい垂直線47_kはプロジェクタ・ピクセル
・アレイ27内の、kに等しいy座標を有するすべてのプロジェクタ・ピクセルをオンに
することにより生成される。実カメラ25が次にこの画像、Rcptr_Sy_k、をプロ
ジェクタ・ピクセルの点灯された列の一例として取り込む。
より表面41に投影される。この場合、明るい垂直線47_kはプロジェクタ・ピクセル
・アレイ27内の、kに等しいy座標を有するすべてのプロジェクタ・ピクセルをオンに
することにより生成される。実カメラ25が次にこの画像、Rcptr_Sy_k、をプロ
ジェクタ・ピクセルの点灯された列の一例として取り込む。
図6(B)では図6(A)に類似したすべての要素が同様の参照番号を有するが、実プ
ロジェクタ21が光線の第2の明るい垂直線47_tを表面41に投影する。この場合、
明るい垂直線47_tはtに等しいy座標を有するすべてのプロジェクタ・ピクセルをオ
ンにすることにより生成される。実カメラ25が次にこの画像、Rcptr_Sy_t、を
点灯された映写ピクセル列の別例として取り込む。実プロジェクタ21はプロジェクタ・
ピクセル・アレイ27のq列各々に対し光線の別の明るい垂直線を投影でき、実カメラ2
5は投影された明るい垂直線各々の別の画像を取り込めることが理解されよう。
ロジェクタ21が光線の第2の明るい垂直線47_tを表面41に投影する。この場合、
明るい垂直線47_tはtに等しいy座標を有するすべてのプロジェクタ・ピクセルをオ
ンにすることにより生成される。実カメラ25が次にこの画像、Rcptr_Sy_t、を
点灯された映写ピクセル列の別例として取り込む。実プロジェクタ21はプロジェクタ・
ピクセル・アレイ27のq列各々に対し光線の別の明るい垂直線を投影でき、実カメラ2
5は投影された明るい垂直線各々の別の画像を取り込めることが理解されよう。
図7(A)に関し、図6(A)および図6(B)に類似したすべての要素は同様の参照
番号を有し、上記に説明される。この場合実プロジェクタ21は光線の明るい水平線49
_jを映写表面41に投影することが好ましい。明るい水平線49_jはjに等しいx座標
を有するすべてのプロジェクタ・ピクセルをオンにすることにより生成される。実カメラ
25は次にこの画像、Rcptr_Sx_j、をプロジェクタ・ピクセルの点灯された行の
一例として取り込む。
番号を有し、上記に説明される。この場合実プロジェクタ21は光線の明るい水平線49
_jを映写表面41に投影することが好ましい。明るい水平線49_jはjに等しいx座標
を有するすべてのプロジェクタ・ピクセルをオンにすることにより生成される。実カメラ
25は次にこの画像、Rcptr_Sx_j、をプロジェクタ・ピクセルの点灯された行の
一例として取り込む。
図7(B)において、実プロジェクタ21は光線の第2の明るい水平線ム49_rを表
面41に映写する。前と同じように、水平ビーム49_rはrに等しいx座標を有するす
べての映写ピクセルをオンにすることにより生成される。実カメラ25は次にこの画像、
Rcptr_Sx_r、をプロジェクタ・ピクセルの点灯された行の別例として取り込む。
実プロジェクタ21はプロジェクタ・ピクセル・アレイ27のp行各々に対し光線の別の
明るい水平線を投影でき、実カメラ25は投影された明るい水平線各々の別の画像を取り
込めることが理解されよう。
面41に映写する。前と同じように、水平ビーム49_rはrに等しいx座標を有するす
べての映写ピクセルをオンにすることにより生成される。実カメラ25は次にこの画像、
Rcptr_Sx_r、をプロジェクタ・ピクセルの点灯された行の別例として取り込む。
実プロジェクタ21はプロジェクタ・ピクセル・アレイ27のp行各々に対し光線の別の
明るい水平線を投影でき、実カメラ25は投影された明るい水平線各々の別の画像を取り
込めることが理解されよう。
図6(A)からの取り込み画像Rcptr_Sy_kおよび図7(A)からの取り込み画
像Rcptr_Sx_jをピクセル毎に比較し(あるいは各々の明るい垂直線および明るい
水平線のみを比較する)、演算MIN(Rcptr_Sx_j,Rcptr_Sy_k)を用
いてで比較された2画像のピクセルの内より暗い方のみを留保し2つの内明るい方を切り
捨てると、図8(A)に示される画像41’が生成される。図8(A)および図8(B)
において図6(A)、図6(B)、図7(A)、および図7(B)に類似したすべての要
素は同様の参照番号を有しているがアポストロフィが加えられ、上記に説明される。
像Rcptr_Sx_jをピクセル毎に比較し(あるいは各々の明るい垂直線および明るい
水平線のみを比較する)、演算MIN(Rcptr_Sx_j,Rcptr_Sy_k)を用
いてで比較された2画像のピクセルの内より暗い方のみを留保し2つの内明るい方を切り
捨てると、図8(A)に示される画像41’が生成される。図8(A)および図8(B)
において図6(A)、図6(B)、図7(A)、および図7(B)に類似したすべての要
素は同様の参照番号を有しているがアポストロフィが加えられ、上記に説明される。
画像Rcptr_Sx_jのほとんどは画像Rcptr_Sy_kと同じであるため(すな
わち、両者ともほとんど平たい表面41上の投影光線による単純な市松格子パターンを含
む)、比較された2つのピクセルの内より暗い方を留保しても結果として得られる画像の
大半は変わらない。つまり、比較された2つのピクセルが比較的同じである場合、いずれ
のピクセルを他方の代わりに選んでも結果として得られる画像41’はあまり影響されな
い。しかし、取り込み画像Rcptr_Sy_kの明るい垂直線47_kを取り込み画像R
cptr_Sx_jの明るい水平線49_j上にない対応ピクセルと比較した場合、2つの
画像ピクセルのより暗い方を留保することは画像Rcptr_Sy_kからの明るい垂直線
のピクセルを切り捨て、画像Rcptr_Sx_jからの、プロジェクタ・ピクセルではな
く周辺光で照明されたそのままのピクセルを留保することになる。従って、明るい垂直線
は生成画像41’から取り除かれる。同様に画像Rcptr_Sx_jの明るい水平線49
_j上のピクセルを画像Rcptr_Sy_kの明るい垂直線47_k上にない対応ピクセル
と比較した場合、2つの画像ピクセルのより暗い方を留保することは画像Rcptr_S
x_jからの明るい水平線上のピクセルを切り捨て、画像Rcptr_Sy_kからの、プ
ロジェクタ・ピクセルではなく周辺光で照明されたそのままのピクセルを留保することに
なる。これにより水平線49_jも生成画像41’から取り除かれる。しかし、明るい垂
直線47_kが明るい水平線49_jと交差する領域内では、比較される画像ピクセルは双
方とも光線による影響を示す明るく点灯されたピクセルである。この交差点領域内のこれ
ら2つの画像ピクセルを比較すると、2つの明るいビームのピクセルのいずれかが画像4
1’用に選択されることになる。その結果、画像41’は撮像映写アレイ27の座標(j
,k)から放射される投影光線に対応する、明るく点灯した領域53を示す。このように
、座標(j,k)を有するプロジェクタ・ピクセルに対する光輸送係数は(j,k)にお
けるプロジェクタ・ピクセルから個別的に投射される光線の画像を物理的に取り込む必要
なくして、生成画像53から抽出することができる。
わち、両者ともほとんど平たい表面41上の投影光線による単純な市松格子パターンを含
む)、比較された2つのピクセルの内より暗い方を留保しても結果として得られる画像の
大半は変わらない。つまり、比較された2つのピクセルが比較的同じである場合、いずれ
のピクセルを他方の代わりに選んでも結果として得られる画像41’はあまり影響されな
い。しかし、取り込み画像Rcptr_Sy_kの明るい垂直線47_kを取り込み画像R
cptr_Sx_jの明るい水平線49_j上にない対応ピクセルと比較した場合、2つの
画像ピクセルのより暗い方を留保することは画像Rcptr_Sy_kからの明るい垂直線
のピクセルを切り捨て、画像Rcptr_Sx_jからの、プロジェクタ・ピクセルではな
く周辺光で照明されたそのままのピクセルを留保することになる。従って、明るい垂直線
は生成画像41’から取り除かれる。同様に画像Rcptr_Sx_jの明るい水平線49
_j上のピクセルを画像Rcptr_Sy_kの明るい垂直線47_k上にない対応ピクセル
と比較した場合、2つの画像ピクセルのより暗い方を留保することは画像Rcptr_S
x_jからの明るい水平線上のピクセルを切り捨て、画像Rcptr_Sy_kからの、プ
ロジェクタ・ピクセルではなく周辺光で照明されたそのままのピクセルを留保することに
なる。これにより水平線49_jも生成画像41’から取り除かれる。しかし、明るい垂
直線47_kが明るい水平線49_jと交差する領域内では、比較される画像ピクセルは双
方とも光線による影響を示す明るく点灯されたピクセルである。この交差点領域内のこれ
ら2つの画像ピクセルを比較すると、2つの明るいビームのピクセルのいずれかが画像4
1’用に選択されることになる。その結果、画像41’は撮像映写アレイ27の座標(j
,k)から放射される投影光線に対応する、明るく点灯した領域53を示す。このように
、座標(j,k)を有するプロジェクタ・ピクセルに対する光輸送係数は(j,k)にお
けるプロジェクタ・ピクセルから個別的に投射される光線の画像を物理的に取り込む必要
なくして、生成画像53から抽出することができる。
図8(B)に第2の例が示され、図6(B)および図7(B)に対応する実取り込み画
像(これは上述の指名方法に従い各々実取り込み画像Rcptr_Sy_tおよびRcpt
r_Sx_rに対応する)の組み合わせがプロジェクタ・ピクセル・アレイ27の座標(r
,t)から放射された投影光線に対応する第2の明るく点灯した領域55をもたらす。
像(これは上述の指名方法に従い各々実取り込み画像Rcptr_Sy_tおよびRcpt
r_Sx_rに対応する)の組み合わせがプロジェクタ・ピクセル・アレイ27の座標(r
,t)から放射された投影光線に対応する第2の明るく点灯した領域55をもたらす。
同様のプロセスに従い、各投影ピクセルjを1つずつ個別的にオンにし投影することな
く、プロジェクタ・ピクセル・アレイ27におけるすべての投影ピクセルの光輸送係数を
特定することができる。仮定的かつ単独的に活性化されたプロジェクタ・ピクセルを生成
してプロジェクタ・ピクセルの光輸送係数を得るこの方法は実プロジェクタ21の撮像映
写アレイ27におけるプロジェクタ・ピクセルの各行および列に対する(p+q)個の取
り込み画像しかせいぜい必要としない。さらに、一旦、すべてのピクセル映写位置が特定
されると、(p+q)個の取り込み画像は廃棄することができ、保存するのはインデクス
および対応フットプリント情報のみである。
く、プロジェクタ・ピクセル・アレイ27におけるすべての投影ピクセルの光輸送係数を
特定することができる。仮定的かつ単独的に活性化されたプロジェクタ・ピクセルを生成
してプロジェクタ・ピクセルの光輸送係数を得るこの方法は実プロジェクタ21の撮像映
写アレイ27におけるプロジェクタ・ピクセルの各行および列に対する(p+q)個の取
り込み画像しかせいぜい必要としない。さらに、一旦、すべてのピクセル映写位置が特定
されると、(p+q)個の取り込み画像は廃棄することができ、保存するのはインデクス
および対応フットプリント情報のみである。
この方法の例が図9に示され、プロジェクタ・ピクセル・アレイ27(網目パターンと
して図示)の部分図がカメラ・センサのピクセル・アレイ29(同様に網目パターンとし
て図示)と比較される。本例において実カメラ25のピクセル密度(すなわち解像度)が
実プロジェクタ21の解像度より高いことが好ましく、従って単一のプロジェクタ・ピク
セルjから放射された光ビームは数個のカメラ・ピクセルiにかかる光フットプリント(
F1などの)を作り出す可能性があることをよりよく示すために図解上、部分的なカメラ
・センサのピクセル・アレイ29を図示する網目パターンはプロジェクタ・ピクセル・ア
レイ27をあらわす網目パターンより濃くなっている。
して図示)の部分図がカメラ・センサのピクセル・アレイ29(同様に網目パターンとし
て図示)と比較される。本例において実カメラ25のピクセル密度(すなわち解像度)が
実プロジェクタ21の解像度より高いことが好ましく、従って単一のプロジェクタ・ピク
セルjから放射された光ビームは数個のカメラ・ピクセルiにかかる光フットプリント(
F1などの)を作り出す可能性があることをよりよく示すために図解上、部分的なカメラ
・センサのピクセル・アレイ29を図示する網目パターンはプロジェクタ・ピクセル・ア
レイ27をあらわす網目パターンより濃くなっている。
図9の本例において、実プロジェクタ・ピクセル・アレイ27のインデクスは円1,2
,3,…,(q+1),…,(2q+1),…等々が個々のプロジェクタ・ピクセルjを
表す部分アレイで表される。同様に実カメラ・センサのピクセル・アレイ29は個々に活
性化されたプロジェクタ・ピクセルjに対応するフットプリント情報を表した円形光フッ
トプリントF1,F2,F3,…,F(q+1),…等々の対応部分アレイが重ねられて
示される(光散乱は無視すると仮定して)。このように、フットプリントF1,F2,F
3,…,F(q+1),…等々は各々プロジェクタ・ピクセル1,2,3,…,(q+1
),…等々に対応する。
,3,…,(q+1),…,(2q+1),…等々が個々のプロジェクタ・ピクセルjを
表す部分アレイで表される。同様に実カメラ・センサのピクセル・アレイ29は個々に活
性化されたプロジェクタ・ピクセルjに対応するフットプリント情報を表した円形光フッ
トプリントF1,F2,F3,…,F(q+1),…等々の対応部分アレイが重ねられて
示される(光散乱は無視すると仮定して)。このように、フットプリントF1,F2,F
3,…,F(q+1),…等々は各々プロジェクタ・ピクセル1,2,3,…,(q+1
),…等々に対応する。
この方法に従うと、2組の情報しか格納する必要がない。第1組の情報はプロジェクタ
・ピクセルjのインデクスに対応し、第2組はカメラ・ピクセルiのグループを各プロジ
ェクタ・ピクセルjに結び付けたフットプリント情報に対応する。言い換えれば、ゼロ値
の係数は格納する必要がなく、メモリ要件がかなり削減される。
・ピクセルjのインデクスに対応し、第2組はカメラ・ピクセルiのグループを各プロジ
ェクタ・ピクセルjに結び付けたフットプリント情報に対応する。言い換えれば、ゼロ値
の係数は格納する必要がなく、メモリ要件がかなり削減される。
この情報を体系付ける第2の例が図9に示され、プロジェクタ・ピクセルjのインデク
ス61はグレースケール(すなわち非ゼロ値、または”NZグレースケール”)のカメラ
・ピクセルiの情報のグループ63(すなわちもたらされた光ビームのフットプリントに
対応する)を指す、またはそれに対応するように図示される。
ス61はグレースケール(すなわち非ゼロ値、または”NZグレースケール”)のカメラ
・ピクセルiの情報のグループ63(すなわちもたらされた光ビームのフットプリントに
対応する)を指す、またはそれに対応するように図示される。
デュアル・フォトグラフィに向けて必要な光輸送係数を生成するために格納する必要の
ある画像数をどのように削減するか、および格納し操作する必要のあるデータの量をどの
ように削減するかを示した上、以下次の部分ではデュアル・フォトグラフィを実施する際
の実際的な問題のいくつかを扱う。上記で説明したとおり、光輸送行列Tは非常に大きい
可能性があり、その使用(またはその数学的転置のデュアル光輸送行列TTの使用)には
大量のアクティブ・メモリ(例えばDRAM)および法外な演算処理能力/時間を必要と
する。従ってデュアル画像の一般的な使用は今まで実用的でなかった。
ある画像数をどのように削減するか、および格納し操作する必要のあるデータの量をどの
ように削減するかを示した上、以下次の部分ではデュアル・フォトグラフィを実施する際
の実際的な問題のいくつかを扱う。上記で説明したとおり、光輸送行列Tは非常に大きい
可能性があり、その使用(またはその数学的転置のデュアル光輸送行列TTの使用)には
大量のアクティブ・メモリ(例えばDRAM)および法外な演算処理能力/時間を必要と
する。従ってデュアル画像の一般的な使用は今まで実用的でなかった。
効率的にデュアル画像を構築するにはまず、
アレイ27”は実際には実プロジェクタ21における実プロジェクタ・ピクセル・アレイ
27に対応するため、仮想カメラ21”で得たVcptr”内の任意の仮想カメラ・ピク
セルに対し同じインデクスjを用いることが便利である。従って、仮想取り込み画像にお
ける各仮想プロジェクタ・ピクセルj対TTにおいて対応する要素の行の関係は、
上述のように、TTは光輸送行列の数学的転置(すなわち行列Tを対角線で回転させる
)で、行TT jの値(ここでjは1から(p×q)の任意の値)は従って行列Tのj番目の
列に対応する(すなわちTCOL_j)。Tの各列は(m×n)個の要素を有するので(すな
わち実カメラ25のピクセル解像度に等しい)、これは大量の要素のようにみえる。しか
し、本実施において行列Tの各列において限定数の要素しか非ゼロでない(すなわち垂直
および水平線の交差点が当たったカメラ・ピクセルi、すなわち光のフットプリント、に
対応するもの)ことを鑑みると、行列Tの各列j内(さらには各行TT j内)における(m
×n)個の要素の内数個のみ非ゼロであることは自明である。従ってVcptr”(j)
を演算する際にTCOL_jのすべての要素を調べる必要はない。実際、図8および図9に関
連して上述のように、すべての個別に活性化されるプロジェクタ・ピクセルjおよびそれ
らに対応する光ビームのフットプリント情報63を示す単一のインデクス61が格納され
ることが好ましい。
)で、行TT jの値(ここでjは1から(p×q)の任意の値)は従って行列Tのj番目の
列に対応する(すなわちTCOL_j)。Tの各列は(m×n)個の要素を有するので(すな
わち実カメラ25のピクセル解像度に等しい)、これは大量の要素のようにみえる。しか
し、本実施において行列Tの各列において限定数の要素しか非ゼロでない(すなわち垂直
および水平線の交差点が当たったカメラ・ピクセルi、すなわち光のフットプリント、に
対応するもの)ことを鑑みると、行列Tの各列j内(さらには各行TT j内)における(m
×n)個の要素の内数個のみ非ゼロであることは自明である。従ってVcptr”(j)
を演算する際にTCOL_jのすべての要素を調べる必要はない。実際、図8および図9に関
連して上述のように、すべての個別に活性化されるプロジェクタ・ピクセルjおよびそれ
らに対応する光ビームのフットプリント情報63を示す単一のインデクス61が格納され
ることが好ましい。
図10に示すように、インデクス61は投影された各光ビーム(実プロジェクタ21の
個別のプロジェクタ・ピクセルjからの)についてグレースケール入力63のリストを結
び付ける。グレースケール入力63の各グループはTの各列内の非ゼロ入力に対応してお
り、光輸送行列Tのある列の各行列演算の際にはこれら非ゼロのグレースケール値のみ調
べる必要があることが理解されよう。このように、Vcptr”(j)=TT j*Vprj
ct”の各値を決定するのに必要な計算の数はかなり削減される。
個別のプロジェクタ・ピクセルjからの)についてグレースケール入力63のリストを結
び付ける。グレースケール入力63の各グループはTの各列内の非ゼロ入力に対応してお
り、光輸送行列Tのある列の各行列演算の際にはこれら非ゼロのグレースケール値のみ調
べる必要があることが理解されよう。このように、Vcptr”(j)=TT j*Vprj
ct”の各値を決定するのに必要な計算の数はかなり削減される。
言い換えれば、処理する必要のある行列Tの各列G内における要素のこのサブセットS
Vcptr”(G)はTCOL_G(a)と定義することができ、ここでaはVcptr”(
G)における任意の仮想取り込みピクセルである[すなわちa∈{1,…,(p×q)}
]。従って、各SVcptr”(G)に対し調べるべき要素のセットは、
Vcptr”(G)はTCOL_G(a)と定義することができ、ここでaはVcptr”(
G)における任意の仮想取り込みピクセルである[すなわちa∈{1,…,(p×q)}
]。従って、各SVcptr”(G)に対し調べるべき要素のセットは、
、
この方法を用いて生成されたデュアル画像の例を図11(A)および図11(B)に示
す。図11(A)は実プロジェクタにより投影された根本画像を示す。図11(B)は本
方法の実施による演算の結果もたらされるデュアル画像を示す。図11(B)のデュアル
画像は実プロジェクタ27(すなわち仮想カメラ21”)により仮想的に取り込まれた画
像を表しており、または言葉を変えると実プロジェクタ21が「見た」画像である。
す。図11(A)は実プロジェクタにより投影された根本画像を示す。図11(B)は本
方法の実施による演算の結果もたらされるデュアル画像を示す。図11(B)のデュアル
画像は実プロジェクタ27(すなわち仮想カメラ21”)により仮想的に取り込まれた画
像を表しており、または言葉を変えると実プロジェクタ21が「見た」画像である。
上記の考察はより少ない画像の組から効率的にデュアル画像を演算する方法を示し、こ
れは演算時間と併せて画像取り込み時間も節約する。上述のように、実取り込み画像およ
びデュアル取り込み画像は各々実カメラ25および実プロジェクタ21双方を較正するの
に用いることができる。
れは演算時間と併せて画像取り込み時間も節約する。上述のように、実取り込み画像およ
びデュアル取り込み画像は各々実カメラ25および実プロジェクタ21双方を較正するの
に用いることができる。
つまり、プロジェクタ・ビューからの画像を直接取り込むことはできないため、簡単な
解決はデュアル・フォトグラフィ手法を用いて対応カメラ画像からプロジェクタ・ビュー
画像(すなわちデュアル画像)を構成し、次に構成された画像を用いてプロジェクタを較
正することである。例えば、入念に測定した特徴を有する既知の被写体の実画像をさまざ
まな角度からいくつか撮った後、被写体の既知の寸法を用いて異なった角度のビューによ
り生じた歪みを補正することにより実カメラを較正することができる。同じ取り込み画像
からデュアル・フォトグラフィを用いて実プロジェクタが見た仮想画像を次に上述のよう
に生成し、実カメラに類似した方法で実プロジェクタを較正することができる。
解決はデュアル・フォトグラフィ手法を用いて対応カメラ画像からプロジェクタ・ビュー
画像(すなわちデュアル画像)を構成し、次に構成された画像を用いてプロジェクタを較
正することである。例えば、入念に測定した特徴を有する既知の被写体の実画像をさまざ
まな角度からいくつか撮った後、被写体の既知の寸法を用いて異なった角度のビューによ
り生じた歪みを補正することにより実カメラを較正することができる。同じ取り込み画像
からデュアル・フォトグラフィを用いて実プロジェクタが見た仮想画像を次に上述のよう
に生成し、実カメラに類似した方法で実プロジェクタを較正することができる。
しかしこの簡単な方法と結び付いた一つの問題は光輸送行列Tを生成し操作し、大量の
カメラおよびプロジェクタ画像ピクセルによりもたらされる大きな画像ベクトルを演算す
る難しさである。この労働集約的で高価なプロセスは上述のデュアル・フォトグラフィ方
法を用いることにより相当緩和されるものの、図1(A)に示すようなプロジェクタ−カ
メラ・システムにおける実プロジェクタ21を較正する目的から出願者は完全なT行列を
生成し完全なデュアル画像を作成する必要を避けながらもデュアル画像(すなわち実プロ
ジェクタ21が「見た」画像)を用いる利点のいくつかを利用して実プロジェクタ21の
較正を簡単にする新規な方法を開発した。
カメラおよびプロジェクタ画像ピクセルによりもたらされる大きな画像ベクトルを演算す
る難しさである。この労働集約的で高価なプロセスは上述のデュアル・フォトグラフィ方
法を用いることにより相当緩和されるものの、図1(A)に示すようなプロジェクタ−カ
メラ・システムにおける実プロジェクタ21を較正する目的から出願者は完全なT行列を
生成し完全なデュアル画像を作成する必要を避けながらもデュアル画像(すなわち実プロ
ジェクタ21が「見た」画像)を用いる利点のいくつかを利用して実プロジェクタ21の
較正を簡単にする新規な方法を開発した。
映写場面が比較的平たいと仮定すると、光輸送係数を判定しなければならない光フット
プリントの数を大幅に減らすことができる。言い換えれば、プロジェクタを較正するため
に完全なデュアル画像を構築することなく、特に映写表面にあまり凹凸がない場合戦略的
な点の組の位置を判定するだけで良いことに注目することにより完全なT行列の生成を全
く避けることができる。例えば、戦略的な点の組は図6(A)におけるプロジェクタから
見た平たい表面41の市松格子パターン内における正方形の角であることができる。映写
場面の表面凹凸が大きいほど、戦略的に選ばれた点の組における点の数が多くなる。逆に
映写場面が平たいほど、戦略的な点の組における点の数が少なくなる。
プリントの数を大幅に減らすことができる。言い換えれば、プロジェクタを較正するため
に完全なデュアル画像を構築することなく、特に映写表面にあまり凹凸がない場合戦略的
な点の組の位置を判定するだけで良いことに注目することにより完全なT行列の生成を全
く避けることができる。例えば、戦略的な点の組は図6(A)におけるプロジェクタから
見た平たい表面41の市松格子パターン内における正方形の角であることができる。映写
場面の表面凹凸が大きいほど、戦略的に選ばれた点の組における点の数が多くなる。逆に
映写場面が平たいほど、戦略的な点の組における点の数が少なくなる。
この戦略的な組における点の数を減らすという目標を達成し、それにより完全なT行列
を生成し操作することを避け、さらにデュアル画像生成プロセスのいくつかの特徴を較正
プロセスそのものに組み入れるために出願者はホモグラフィに基づく方法を適合させた。
本発明のこの別の実施形態はプロジェクタ・ビューの画像にわたり市松の角の特徴(また
は他の既知の特徴)の座標を、デュアル画像の構築および構築されたデュアル画像からの
角の検出を必要とすることなく、直接的に演算する。
を生成し操作することを避け、さらにデュアル画像生成プロセスのいくつかの特徴を較正
プロセスそのものに組み入れるために出願者はホモグラフィに基づく方法を適合させた。
本発明のこの別の実施形態はプロジェクタ・ビューの画像にわたり市松の角の特徴(また
は他の既知の特徴)の座標を、デュアル画像の構築および構築されたデュアル画像からの
角の検出を必要とすることなく、直接的に演算する。
この新規な方法において、実カメラを用いて平面状の市松格子の画像を取り込み、取り
込み画像にわたり市松格子の角を検出することができる。市松模様は全く例示的な目的で
用いられ、どのような場面を取り込むこともできることが理解されよう。本件の場合、投
影された垂直および水平線の配向は知られているので、場面にかかわらず投影線の変動を
特定し補正することができる。このように、プロジェクタ−カメラ・システムの構成要素
はすべて同時に較正される。
込み画像にわたり市松格子の角を検出することができる。市松模様は全く例示的な目的で
用いられ、どのような場面を取り込むこともできることが理解されよう。本件の場合、投
影された垂直および水平線の配向は知られているので、場面にかかわらず投影線の変動を
特定し補正することができる。このように、プロジェクタ−カメラ・システムの構成要素
はすべて同時に較正される。
次に、プロジェクタ画像は2つ(またはそれ以上)の別個の視点から見た単一場面の2
つ(またはそれ以上)のビューを関連付ける、いわゆる透視映写モデルに追随しているこ
とが観察される。つまり、異なった視点は場面に対し異なった角度に位置しているので、
同じ場面の異なったビュー(または画像)を「見る」ことになる。しかし、実場面は1つ
しかないので(場面のビューの数に関係なく)、異なったビュー間の数学的関係を実現し
、任意のビューにおける任意の点を実場面において対応する点に結び付ける(かつ他のビ
ュー各々において対応する点に結び付ける)ことができる。
つ(またはそれ以上)のビューを関連付ける、いわゆる透視映写モデルに追随しているこ
とが観察される。つまり、異なった視点は場面に対し異なった角度に位置しているので、
同じ場面の異なったビュー(または画像)を「見る」ことになる。しかし、実場面は1つ
しかないので(場面のビューの数に関係なく)、異なったビュー間の数学的関係を実現し
、任意のビューにおける任意の点を実場面において対応する点に結び付ける(かつ他のビ
ュー各々において対応する点に結び付ける)ことができる。
これら別個のビューの1つが実プロジェクタの「見た」仮想画像であると仮定し、第2
の別個のビューが実カメラにより取り込まれた実画像であるとみなすと、完全なデュアル
画像を生成することなく透視映写モデル(2つのビューを共通の実場面に関連付ける)に
より取り込み実画像から仮想画像に関係する何らかの情報を抽出できることになる。
の別個のビューが実カメラにより取り込まれた実画像であるとみなすと、完全なデュアル
画像を生成することなく透視映写モデル(2つのビューを共通の実場面に関連付ける)に
より取り込み実画像から仮想画像に関係する何らかの情報を抽出できることになる。
この方法を用い、出願者は完全なデュアル画像を必要とせずに実プロジェクタを較正す
るために充分な情報を抽出する方法を考案した。従って、デュアル画像が完全に作成され
なくても、迂回的な方法ではあるがプロジェクタにカメラ較正手法を適用することができ
る。
るために充分な情報を抽出する方法を考案した。従って、デュアル画像が完全に作成され
なくても、迂回的な方法ではあるがプロジェクタにカメラ較正手法を適用することができ
る。
透視映写モデルの下で、平たい被写体を異なったビューから映写した2つの画像間の関
係は単純な線形投影変換またはホモグラフィである。この変換は平たい被写体上の任意点
の座標(すなわち同次座標)をその平たい被写体の具体的なビュー上で対応する点の座標
に関連付ける。本実施形態で、平たい市松格子のプロジェクタ・ビュー画像は対応するカ
メラ画像のホモグラフィである。具体的には、実場面(すなわち市松格子)の任意点Pに
ついて、そのプロジェクタ・ビュー画像Up=(up,vp,1)における同次座標およ
びカメラ画像Uc=(uc,vc,1)における座標は次の方程式を満足する。
係は単純な線形投影変換またはホモグラフィである。この変換は平たい被写体上の任意点
の座標(すなわち同次座標)をその平たい被写体の具体的なビュー上で対応する点の座標
に関連付ける。本実施形態で、平たい市松格子のプロジェクタ・ビュー画像は対応するカ
メラ画像のホモグラフィである。具体的には、実場面(すなわち市松格子)の任意点Pに
ついて、そのプロジェクタ・ビュー画像Up=(up,vp,1)における同次座標およ
びカメラ画像Uc=(uc,vc,1)における座標は次の方程式を満足する。
に)で、右下の入力は1に設定される。対応座標対は3つの線形方程式を提供し、方程式
の内1つがスカラーを決定し、他の2つはホモグラフィ変換行列Hを決定するために用い
られる。3×3行列Hには8つの未知の入力があるので、市松模様上のNの座標点(ここ
でN≧4)の対応が与えられると、プロジェクタ・ビューおよびカメラ画像間のホモグラ
フィは2Nの線形方程式を解くことにより再生することができる。Nの数が大きければ大
きいほど、プロジェクタ・ビューおよびカメラ画像間の座標点を関連付けるエラーが低く
なる。
対応する座標を得るために、10個の白点が市松格子パターンなどの場面上に投影され
ることが好ましい。投影された白点を有する市松格子パターンの画像が実カメラ25など
の実カメラを用いて取り込まれ、カメラ画像における10個の点の座標が演算される。本
プロセスで、10個の点は取り込み画像において対応する座標の演算中区別されているこ
とのみが必要である。これは10個の点を順に投影し、対応する座標を順に判定すること
によって達成できる。あるいは、異なった色の点を同時に投影して、異なった点を色で識
別することができる。
ることが好ましい。投影された白点を有する市松格子パターンの画像が実カメラ25など
の実カメラを用いて取り込まれ、カメラ画像における10個の点の座標が演算される。本
プロセスで、10個の点は取り込み画像において対応する座標の演算中区別されているこ
とのみが必要である。これは10個の点を順に投影し、対応する座標を順に判定すること
によって達成できる。あるいは、異なった色の点を同時に投影して、異なった点を色で識
別することができる。
プロジェクタは好ましくは既知の相互関係において点を投影したので、投影画像におけ
る点の座標は分かっている。これは10対の対応座標をもたらし、1組は実カメラで取り
込まれたもの、第2組は実プロジェクタで投影されたものである。一旦、ホモグラフィが
再生されると、カメラ画像において検出された市松格子の角の座標を直接変換してプロジ
ェクタ・ビュー画像において対応する角座標を演算することができる。次に前述のような
カメラ較正方法を用いてプロジェクタ・パラメータを較正することができる。
る点の座標は分かっている。これは10対の対応座標をもたらし、1組は実カメラで取り
込まれたもの、第2組は実プロジェクタで投影されたものである。一旦、ホモグラフィが
再生されると、カメラ画像において検出された市松格子の角の座標を直接変換してプロジ
ェクタ・ビュー画像において対応する角座標を演算することができる。次に前述のような
カメラ較正方法を用いてプロジェクタ・パラメータを較正することができる。
この方法の例を図12に示す。図12において、特徴取り込み結果は次のとおりである
。輪郭で示されない円、または点(例えば点81)はホモグラフィを推定するために用い
られ、輪郭を描かれた円、または点(例えば点83)は角の点特徴である。見られるよう
に、輪郭を描かれた点83は実際の角上にあり、検出された各角のプロジェクタ座標が正
しく取り込まれたことを示している。
。輪郭で示されない円、または点(例えば点81)はホモグラフィを推定するために用い
られ、輪郭を描かれた円、または点(例えば点83)は角の点特徴である。見られるよう
に、輪郭を描かれた点83は実際の角上にあり、検出された各角のプロジェクタ座標が正
しく取り込まれたことを示している。
しかし点を投影する代わりに、1点で交差する複数対の線(すなわち上述の水平および
垂直線)を投影する上述の方法を使用し、線の各対の1交差点から点情報を抽出すること
ができることが理解されよう。さらに、投影された線の対の空間関係は既に分かっている
ので、線を上述の市松格子パターンのような既知のパターン上に投影する必要はない。つ
まり、プロジェクタ・ピクセル・アレイのどの列と行が同時に点灯されたか分かっている
ので、その空間関係も分かっている。さらに、カメラはその特定の場面に対し予め較正さ
れている必要はないことが特記される。逆にプロジェクタとカメラは同時に較正されるこ
とができる。
垂直線)を投影する上述の方法を使用し、線の各対の1交差点から点情報を抽出すること
ができることが理解されよう。さらに、投影された線の対の空間関係は既に分かっている
ので、線を上述の市松格子パターンのような既知のパターン上に投影する必要はない。つ
まり、プロジェクタ・ピクセル・アレイのどの列と行が同時に点灯されたか分かっている
ので、その空間関係も分かっている。さらに、カメラはその特定の場面に対し予め較正さ
れている必要はないことが特記される。逆にプロジェクタとカメラは同時に較正されるこ
とができる。
前記に説明したとおり、点情報を抽出するためにパターンを使用するこの方法は一連の
パターン投影および画像取り込み工程を含む。従って、較正されていないカメラが各投影
パターン(すなわち垂直または水平線)を取り込む際、映写表面の凹凸による投影パター
ンの歪みをその時点では無視することができる。すべてのパターンが取り込まれると、垂
直および水平線間の空間関係が分かっているのでプロジェクタとカメラとの間の空間関係
(または変換)を設定することができる。つまり、投影された垂直および水平線間の空間
関係は、それらを生成する際どのプロジェクタ・ピクセルが点灯されたか分かっているの
で、分かる。さらに、垂直および水平線の真の配向が分かっているので、映写場面上の凹
凸およびビューの角度を補正することができる。
パターン投影および画像取り込み工程を含む。従って、較正されていないカメラが各投影
パターン(すなわち垂直または水平線)を取り込む際、映写表面の凹凸による投影パター
ンの歪みをその時点では無視することができる。すべてのパターンが取り込まれると、垂
直および水平線間の空間関係が分かっているのでプロジェクタとカメラとの間の空間関係
(または変換)を設定することができる。つまり、投影された垂直および水平線間の空間
関係は、それらを生成する際どのプロジェクタ・ピクセルが点灯されたか分かっているの
で、分かる。さらに、垂直および水平線の真の配向が分かっているので、映写場面上の凹
凸およびビューの角度を補正することができる。
垂直線の取り込み画像を水平線の取り込み画像と組み合わせて点情報を抽出する際、ど
のプロジェクタ・ピクセルが抽出された点に関連しているかが分かっており、さらにカメ
ラ・ピクセルのどのグループが抽出された点(垂直および水平線の交差点で判定される)
に対応するかを判定することができる。このようにプロジェクタとカメラとの間のホモグ
ラフィ関係(すなわち一方のビューを他方に変換)はいずれかの装置を個別に特定の映写
場面(または映写表面)に対し較正する必要なく達成することができる。
のプロジェクタ・ピクセルが抽出された点に関連しているかが分かっており、さらにカメ
ラ・ピクセルのどのグループが抽出された点(垂直および水平線の交差点で判定される)
に対応するかを判定することができる。このようにプロジェクタとカメラとの間のホモグ
ラフィ関係(すなわち一方のビューを他方に変換)はいずれかの装置を個別に特定の映写
場面(または映写表面)に対し較正する必要なく達成することができる。
この方法は上述の輸送行列Tを生成する簡略化された方法を取り入れているが、必要な
画像投影・取り込み工程の数を(p+q)から、望ましい点の数で決定される、(p+q
)のほんの一部にまで削減する。場面環境が平たい映写表面であるプロジェクタ−カメラ
・システムを較正するのに最小限4個の点が用いられるが、映写表面の凹凸、画像取り込
み工程におけるエラーの可能性、および投影された光の線またはパターンの周辺光ノイズ
の存在による識別エラーを考慮に入れるため、7つの水平線および7つの垂直線を投影し
て多ければ14から49個の点を生成すればほとんどのエラーを克服するのに十分である
ことが見出されている。映写場面の表面凹凸が多いほど、交差する線の対の必要数が多い
ことが理解されるであろうが、この7つの垂直線と7つの水平線という数は多くの実在す
る状況に十分であることが見出されている。(p+q)個よりはるかに少ない点の数しか
必要でない1つの理由は、デュアル・フォトグラフィで使用するために完全な輸送行列を
生成しようとしているのではなく、むしろ2つのビュー、すなわち実カメラの実ビューと
実プロジェクタからの仮想ビュー、の間のホモグラフィ関係を見出すために既知の関係の
点を数個特定することに関心があるからである。しかし、完全な光輸送行列Tの推定は点
の間に円滑な遷移を仮定すれば数個の関係する点から生成できることが強調される。つま
り、一旦、ホモグラフィ関係が得られると、Up=λ*H*Ucの同じ関係を用いて推定
光輸送行列Tを構築する際に隙間を埋めることができる。
画像投影・取り込み工程の数を(p+q)から、望ましい点の数で決定される、(p+q
)のほんの一部にまで削減する。場面環境が平たい映写表面であるプロジェクタ−カメラ
・システムを較正するのに最小限4個の点が用いられるが、映写表面の凹凸、画像取り込
み工程におけるエラーの可能性、および投影された光の線またはパターンの周辺光ノイズ
の存在による識別エラーを考慮に入れるため、7つの水平線および7つの垂直線を投影し
て多ければ14から49個の点を生成すればほとんどのエラーを克服するのに十分である
ことが見出されている。映写場面の表面凹凸が多いほど、交差する線の対の必要数が多い
ことが理解されるであろうが、この7つの垂直線と7つの水平線という数は多くの実在す
る状況に十分であることが見出されている。(p+q)個よりはるかに少ない点の数しか
必要でない1つの理由は、デュアル・フォトグラフィで使用するために完全な輸送行列を
生成しようとしているのではなく、むしろ2つのビュー、すなわち実カメラの実ビューと
実プロジェクタからの仮想ビュー、の間のホモグラフィ関係を見出すために既知の関係の
点を数個特定することに関心があるからである。しかし、完全な光輸送行列Tの推定は点
の間に円滑な遷移を仮定すれば数個の関係する点から生成できることが強調される。つま
り、一旦、ホモグラフィ関係が得られると、Up=λ*H*Ucの同じ関係を用いて推定
光輸送行列Tを構築する際に隙間を埋めることができる。
上述の輸送行列Tを生成する方法のさらに別の用途は以下の問題、つまりプロジェクタ
とカメラの対があるとして、カメラが特定場面(すなわち投影環境)上で望ましいビュー
を「見る」ようにしたい場合望ましいビューを実現するためにプロジェクタは何を場面に
照らすべきか、を解決するために適用することができる。この課題は以下「ビュー投影」
と呼ぶ。
とカメラの対があるとして、カメラが特定場面(すなわち投影環境)上で望ましいビュー
を「見る」ようにしたい場合望ましいビューを実現するためにプロジェクタは何を場面に
照らすべきか、を解決するために適用することができる。この課題は以下「ビュー投影」
と呼ぶ。
投影に必要な画像を見つけることは明らかに場面の幾何学的形状およびプロジェクタ装
置の投影特性とともに、プロジェクタからの光の反射が正確な望ましいビューを実現する
よう場面の測光特性の詳細かつ正確な知識を必要とする。均一なアルベド、すなわち反射
性、およびパラメトリック形状を有する表示表面の場合、これら必要な測定は明示的にな
すことができる。
置の投影特性とともに、プロジェクタからの光の反射が正確な望ましいビューを実現する
よう場面の測光特性の詳細かつ正確な知識を必要とする。均一なアルベド、すなわち反射
性、およびパラメトリック形状を有する表示表面の場合、これら必要な測定は明示的にな
すことができる。
しかし恣意的に複雑で、不均一な表面反射率特性を有するノンパラメトリック形状上で
高画質の画像を実現するのはまだ困難な課題で、幅広い種類のツールに精通していること
と人間による相当な介入を必要とする本発明の一目的は完全に自動的で、平常通りのハー
ドウェア設定以上のユーザ介入またはパラメータの微調整を必要としない測定を考案する
ことである。言い換えれば、「ビュー投影」能力を達成したプロジェクタ−カメラ・シス
テムはボタンを押すだけで完全に自ら較正すべきである。
高画質の画像を実現するのはまだ困難な課題で、幅広い種類のツールに精通していること
と人間による相当な介入を必要とする本発明の一目的は完全に自動的で、平常通りのハー
ドウェア設定以上のユーザ介入またはパラメータの微調整を必要としない測定を考案する
ことである。言い換えれば、「ビュー投影」能力を達成したプロジェクタ−カメラ・シス
テムはボタンを押すだけで完全に自ら較正すべきである。
困難な周囲環境の下で複雑な表面に正しく表示できる映写システムは多くの実社会の用
途を有する。これを完全に自動化すると、専門的な表示設定が必ずしもないような周囲環
境において使用することができる。本発明の別の目的は非標準的な機器の必要性を減らし
、普通の消費者が入手できるような市販部品で良質な較正を達成することである。この目
標はこれまでの実施形態の特徴および利点を自動化され簡略化されたプロセスに組み合わ
せることにより達成することができる。
途を有する。これを完全に自動化すると、専門的な表示設定が必ずしもないような周囲環
境において使用することができる。本発明の別の目的は非標準的な機器の必要性を減らし
、普通の消費者が入手できるような市販部品で良質な較正を達成することである。この目
標はこれまでの実施形態の特徴および利点を自動化され簡略化されたプロセスに組み合わ
せることにより達成することができる。
図1(A)における、1台のプロジェクタ21および1台のカメラ25を含む画像設定
に関連して前記に説明したように、プロジェクタ21はp行xq列のプロジェクタ・ピク
セル・アレイ27を有し、カメラはm行×n列のカメラ・センサのピクセル・アレイ29
を有する。プロジェクタ21から放射される光線は場面(すなわち映写表面)から反射し
、ある部分は最終的にカメラ・センサのピクセル・アレイ29に到達する。一般的に、各
光線は場面において分散、反射、屈折され、カメラ・センサのピクセル・アレイ29のい
くつか異なった箇所に当たる。このように、プロジェクタ・ピクセルjを通過する光線は
カメラ25に到達し、カメラ・センサのピクセル・アレイ29全体にわたりm×nの画像
を形成し、各カメラ・ピクセルiはある程度の光の量を受ける。投影された画像を(p×
q)要素のベクトルRprjctと表し、取り込まれた画像を(m×n)要素のベクトル
Rcptrと表すと、プロジェクタ21およびカメラ25間の光輸送は以下のように記述
することができる。
に関連して前記に説明したように、プロジェクタ21はp行xq列のプロジェクタ・ピク
セル・アレイ27を有し、カメラはm行×n列のカメラ・センサのピクセル・アレイ29
を有する。プロジェクタ21から放射される光線は場面(すなわち映写表面)から反射し
、ある部分は最終的にカメラ・センサのピクセル・アレイ29に到達する。一般的に、各
光線は場面において分散、反射、屈折され、カメラ・センサのピクセル・アレイ29のい
くつか異なった箇所に当たる。このように、プロジェクタ・ピクセルjを通過する光線は
カメラ25に到達し、カメラ・センサのピクセル・アレイ29全体にわたりm×nの画像
を形成し、各カメラ・ピクセルiはある程度の光の量を受ける。投影された画像を(p×
q)要素のベクトルRprjctと表し、取り込まれた画像を(m×n)要素のベクトル
Rcptrと表すと、プロジェクタ21およびカメラ25間の光輸送は以下のように記述
することができる。
理によると、方程式、
5はm行×n列の仮想プロジェクタ25”とみなされる「デュアル」な設定をモデル化で
きることが示されている。これにより「デュアル・フォトグラフィ」が可能になり、実プ
ロジェクタ21により取り込まれたように見える画像を合成することができ、場面は実カ
メラ25から発せられた光で照らされるように見える。
本実施形態の目的である「ビュー投影」は別の問題に取り組んでいる。「ビュー投影」
における関心は場面を照らすために用いた場合、カメラが所定の望ましい画像を取り込め
るようなプロジェクタ画像を見出すことである。光輸送の見地からすると、Tおよび望ま
しいRcptrが与えられ、Rprjctを再生、すなわち生成、したいわけである。光
輸送行列Tの逆、T-1、を判定できればRprjctは明らかに次の方程式で見出すこと
ができる。
における関心は場面を照らすために用いた場合、カメラが所定の望ましい画像を取り込め
るようなプロジェクタ画像を見出すことである。光輸送の見地からすると、Tおよび望ま
しいRcptrが与えられ、Rprjctを再生、すなわち生成、したいわけである。光
輸送行列Tの逆、T-1、を判定できればRprjctは明らかに次の方程式で見出すこと
ができる。
光輸送行列Tの逆は過去において他の目的に用いられている。例えば、Seitz他による
論文「逆光輸送の理論」(”A Theory of Inverse Light Transport”)、(IEEE Intern
ational Conference on Communications、ICC V05)は引用により全体として本明細書に
組み入れられるが、これにおいて、光輸送行列Tの逆を用いて任意の場面における光の跳
ね方を分析している。この方法において、場面はη個の跳ね画像の総計に分解され、各画
像はカメラに到達する前にη回跳ねる光の寄与を記録する。「インパルス画像」の行列を
用い、各η個の跳ね画像を演算して光がどのように場面を通して伝播するかを推測する。
論文「逆光輸送の理論」(”A Theory of Inverse Light Transport”)、(IEEE Intern
ational Conference on Communications、ICC V05)は引用により全体として本明細書に
組み入れられるが、これにおいて、光輸送行列Tの逆を用いて任意の場面における光の跳
ね方を分析している。この方法において、場面はη個の跳ね画像の総計に分解され、各画
像はカメラに到達する前にη回跳ねる光の寄与を記録する。「インパルス画像」の行列を
用い、各η個の跳ね画像を演算して光がどのように場面を通して伝播するかを推測する。
Seitz他が取り組んでいる問題はもちろん「ビュー投影」が課すものとは異なり、後者
の場合は望ましい画像(例えばRcptr)が提供または想定され、望ましい画像を実現
できる未知の投影源を推測しようとする。この場合はRprjct=T-1*Rcptrを
演算することが有益である。デュアル・フォトグラフィのTT*Rprjct”は仮想取
り込み画像Vcptr”を具現し、これはRcptrの異なったビューであるが、投影画
像Rprjctの実際の源は示されないことが特記される。
の場合は望ましい画像(例えばRcptr)が提供または想定され、望ましい画像を実現
できる未知の投影源を推測しようとする。この場合はRprjct=T-1*Rcptrを
演算することが有益である。デュアル・フォトグラフィのTT*Rprjct”は仮想取
り込み画像Vcptr”を具現し、これはRcptrの異なったビューであるが、投影画
像Rprjctの実際の源は示されないことが特記される。
しかし輸送行列Tの逆、T-1、は転置より演算が難しく、演算リソースをはるかに多く
必要とする。事実、Tの全体の大きさが故にT-1の演算は甚大な演算リソースを必要とす
る極めて困難なタスクである。尚悪いことには、任意の行列の逆を見出すことは常に可能
ではない。つまり、行列によっては逆がないこともある。
必要とする。事実、Tの全体の大きさが故にT-1の演算は甚大な演算リソースを必要とす
る極めて困難なタスクである。尚悪いことには、任意の行列の逆を見出すことは常に可能
ではない。つまり、行列によっては逆がないこともある。
技術的に周知のように、恒等行列、または単位行列はIで示され、所定の行列Aに対し
次の関係が適用できる。
次の関係が適用できる。
乗法後の恒等行列Iは配列n×nとなる。
行列の乗法的な逆は通常単位行列Iの点から定義される。行列Aの左乗法的な逆はBA
=Iとなるような行列Bで、行列Aの右乗法的な逆はAC=Iとなるような行列Cである
。行列Aの左および右乗法的な逆が等しい場合、左および右乗法的な逆は単に「乗法的な
逆」、または逆と呼ばれ、A-1で示される。
=Iとなるような行列Bで、行列Aの右乗法的な逆はAC=Iとなるような行列Cである
。行列Aの左および右乗法的な逆が等しい場合、左および右乗法的な逆は単に「乗法的な
逆」、または逆と呼ばれ、A-1で示される。
幸いに、出願者は多くの表示設定において、輸送行列Tの逆の近似はより簡単に演算さ
れ得、充分かもしれないことを見出した。しかし行列の逆に対する適当な近似を作成する
ことは一般的に光輸送行列Tにない特定の基準を満足することが必要となる。従って逆T
-1の近似を作成する前に、適当に修正された光輸送行列Tを作成する必要がある。
れ得、充分かもしれないことを見出した。しかし行列の逆に対する適当な近似を作成する
ことは一般的に光輸送行列Tにない特定の基準を満足することが必要となる。従って逆T
-1の近似を作成する前に、適当に修正された光輸送行列Tを作成する必要がある。
一般的にT-1≠TTである。しかし上記TTの推定を生成するのに用いられた制約の1つ
は同様にT-1の構築にも有用である。上述のように、ほとんどのプロジェクタ−カメラの
表示用途において、プロジェクタから発射された任意の区別可能な2つの光線jおよびk
は通常カメラ・センサの区別可能な部分にあたる、すなわち光線jおよびk各々からの光
に当たるカメラ・ピクセルはあまり重複していないという限定を一般的に用いることがで
きる。この特徴は以下「表示制約」と呼ばれる。
は同様にT-1の構築にも有用である。上述のように、ほとんどのプロジェクタ−カメラの
表示用途において、プロジェクタから発射された任意の区別可能な2つの光線jおよびk
は通常カメラ・センサの区別可能な部分にあたる、すなわち光線jおよびk各々からの光
に当たるカメラ・ピクセルはあまり重複していないという限定を一般的に用いることがで
きる。この特徴は以下「表示制約」と呼ばれる。
場面が牛乳の入ったコップからなり、光が牛乳により拡散されかなりの重複をもたらす
上述の例のように、一般的に場面においてかなりの光散乱がある場合「表示制約」に違反
する可能性がある。「表示制約」に違反する場面の例が図13に示され、ここでは2個の
ワイン・グラスがプロジェクタと映写場面の間に含まれかなりの光散乱をもたらす。この
例で文字を含む投影画像が場面に投影され、ワイングラスによる多くの光学的歪みを受け
ることが示される。以下にこのような表示制約に違反したときの光散乱を補正する方法が
提供されるが、本考察の場合、設計された表示設定においては、表示制約を満足し投影さ
れる各ピクセルは次のピクセルから区別されることがまず想定される。
上述の例のように、一般的に場面においてかなりの光散乱がある場合「表示制約」に違反
する可能性がある。「表示制約」に違反する場面の例が図13に示され、ここでは2個の
ワイン・グラスがプロジェクタと映写場面の間に含まれかなりの光散乱をもたらす。この
例で文字を含む投影画像が場面に投影され、ワイングラスによる多くの光学的歪みを受け
ることが示される。以下にこのような表示制約に違反したときの光散乱を補正する方法が
提供されるが、本考察の場合、設計された表示設定においては、表示制約を満足し投影さ
れる各ピクセルは次のピクセルから区別されることがまず想定される。
さらに前記に説明したとおり、輸送行列Tの各列はプロジェクタからの1ピクセルによ
りもたらされる投影画像である。従って列入力のすべては対応するプロジェクタ・ピクセ
ルから放射される光が当たったカメラ・ピクセルに対応するものを除きゼロ値を有する。
りもたらされる投影画像である。従って列入力のすべては対応するプロジェクタ・ピクセ
ルから放射される光が当たったカメラ・ピクセルに対応するものを除きゼロ値を有する。
隣接する光フットプリント(隣接して点灯されたプロジェクタ・ピクセルにより作成)
に重複がない場合Tの列は直交することに出願者たちは気が付いた。表示制約による実世
界の用途においては、隣接する光フットプリント間の重複は最小限で、これは異なったプ
ロジェクタ・ピクセルからの光は主に異なったカメラ・ピクセルに当たることを意味して
いる。この結果、2列のTが隣り合わせに配置されると、非ゼロ入力は殆どの場合並ばず
、点の積はゼロに近くなる。これはTの列が互いにほぼ直交していることを意味している
。本手法において、これらの最小限に重なりあるピクセルはT行列の作成から取り除かれ
、その結果定義上直交する近似T行列がもたらされる。より詳細に後述されるように、こ
の手法によりT行列の作成および操作をさらに簡略化することが可能になる。
に重複がない場合Tの列は直交することに出願者たちは気が付いた。表示制約による実世
界の用途においては、隣接する光フットプリント間の重複は最小限で、これは異なったプ
ロジェクタ・ピクセルからの光は主に異なったカメラ・ピクセルに当たることを意味して
いる。この結果、2列のTが隣り合わせに配置されると、非ゼロ入力は殆どの場合並ばず
、点の積はゼロに近くなる。これはTの列が互いにほぼ直交していることを意味している
。本手法において、これらの最小限に重なりあるピクセルはT行列の作成から取り除かれ
、その結果定義上直交する近似T行列がもたらされる。より詳細に後述されるように、こ
の手法によりT行列の作成および操作をさらに簡略化することが可能になる。
表示制約により、異なったプロジェクタ・ピクセルによる光は主に異なったカメラ・ピ
クセルに当たる、すなわち異なったプロジェクタ・ピクセルに対応するカメラ・ピクセル
は互いにあまり重複しない。この例は図14に示され、ここで第1プロジェクタ・ピクセ
ルからの第1光フットプリントは第2プロジェクタ・ピクセルからの第2光フットプリン
トと2つの周辺カメラ・ピクセル2iを共有する。これは光輸送行列Tの列が互いの隣に
配置されると、異なった列の間で非ゼロ入力は殆どの場合並ばず(すなわちより暗い非ゼ
ロ入力がある程度の重複がある)、点の積はゼロに近くなる。
クセルに当たる、すなわち異なったプロジェクタ・ピクセルに対応するカメラ・ピクセル
は互いにあまり重複しない。この例は図14に示され、ここで第1プロジェクタ・ピクセ
ルからの第1光フットプリントは第2プロジェクタ・ピクセルからの第2光フットプリン
トと2つの周辺カメラ・ピクセル2iを共有する。これは光輸送行列Tの列が互いの隣に
配置されると、異なった列の間で非ゼロ入力は殆どの場合並ばず(すなわちより暗い非ゼ
ロ入力がある程度の重複がある)、点の積はゼロに近くなる。
この例が図15に示され、ここで列C1から列C4の4列の光輸送行列Tが互いに隣接
して図示される。列C1において、円Pixel_1cおよびPixel_1dは列C1内
に画像として記録されている第1ピクセルの光フットプリントの最も明るい部分(すなわ
ち中央部分)を特定する。図示されるように、完全な光フットプリントは他のそれほど明
るくないピクセルPixel_1b、およびPixel_1eを含む。しかし説明の便宜上
、各列C1−C4内の各光フットプリントの最も明るい部分のみ円で特定され、円は修正
(すなわち推定)光輸送行列Tの構築の際、留保されるピクセル係数入力を特定する。図
14に示されたように、任意の光フットプリントの最も明るい部分は他のいずれの光フッ
トプリントの最も明るい部分とも重なり合わない。従って光フットプリントのより暗い、
周辺部分(すなわちPixel_1bおよびPixel_1e)を無視してサイズを変更し
た光フットプリントを形成すると、サイズを変更した光フットプリント間には重複が存在
しないことが保証される。図15に示すように、隣接する列に沿って円で囲まれたピクセ
ルのグループを比較すると、隣接する列の円に囲まれたピクセルはいずれも重複しないこ
とが特記される。例えば、列C1における部分的光フットプリントPixel_1cは列
C2における部分的光フットプリントPixel_2cとは水平方向にオフセットされ、
後者は順に列C3の部分的光フットプリントPixel_3cとオフセットされており、
同様にこれは列C4における部分的光フットプリントPixel_4cとオフセットされ
ており、以下同様である。同様に各列内の他の明るい部分的光フットプリントの円で囲ま
れた部分(すなわちPixel_1d、Pixel_2b、Pixel_3b、およびPi
xel_4b)のいずれも互いに水平方向に並ばない。
して図示される。列C1において、円Pixel_1cおよびPixel_1dは列C1内
に画像として記録されている第1ピクセルの光フットプリントの最も明るい部分(すなわ
ち中央部分)を特定する。図示されるように、完全な光フットプリントは他のそれほど明
るくないピクセルPixel_1b、およびPixel_1eを含む。しかし説明の便宜上
、各列C1−C4内の各光フットプリントの最も明るい部分のみ円で特定され、円は修正
(すなわち推定)光輸送行列Tの構築の際、留保されるピクセル係数入力を特定する。図
14に示されたように、任意の光フットプリントの最も明るい部分は他のいずれの光フッ
トプリントの最も明るい部分とも重なり合わない。従って光フットプリントのより暗い、
周辺部分(すなわちPixel_1bおよびPixel_1e)を無視してサイズを変更し
た光フットプリントを形成すると、サイズを変更した光フットプリント間には重複が存在
しないことが保証される。図15に示すように、隣接する列に沿って円で囲まれたピクセ
ルのグループを比較すると、隣接する列の円に囲まれたピクセルはいずれも重複しないこ
とが特記される。例えば、列C1における部分的光フットプリントPixel_1cは列
C2における部分的光フットプリントPixel_2cとは水平方向にオフセットされ、
後者は順に列C3の部分的光フットプリントPixel_3cとオフセットされており、
同様にこれは列C4における部分的光フットプリントPixel_4cとオフセットされ
ており、以下同様である。同様に各列内の他の明るい部分的光フットプリントの円で囲ま
れた部分(すなわちPixel_1d、Pixel_2b、Pixel_3b、およびPi
xel_4b)のいずれも互いに水平方向に並ばない。
表示制約のため異なったプロジェクタ・ピクセルからの光は主に異なってカメラ・ピク
セルに当たるので、対応プロジェクタ・ピクセルから放射された光に当たるカメラ・ピク
セルを定義する光フットプリント以外、列入力の殆どはゼロ値入力である。これは2列の
Tが互いに隣接して配置された場合非ゼロの入力は殆どの場合並ばず、点の積はゼロに近
くなることを意味する。これはTの列が互いに直交することを意味する。
セルに当たるので、対応プロジェクタ・ピクセルから放射された光に当たるカメラ・ピク
セルを定義する光フットプリント以外、列入力の殆どはゼロ値入力である。これは2列の
Tが互いに隣接して配置された場合非ゼロの入力は殆どの場合並ばず、点の積はゼロに近
くなることを意味する。これはTの列が互いに直交することを意味する。
これは光フットプリントの暗い周辺部を無視し、光フットプリントの最も明るい部分を
含む、サイズを変更した光フットプリントを扱う場合は特に当てはまる。この場合、Tの
列は互いに真に直交することになり、特定の列に自己以外の任意の列を掛けたものの変換
はゼロ結果になることを意味する。
含む、サイズを変更した光フットプリントを扱う場合は特に当てはまる。この場合、Tの
列は互いに真に直交することになり、特定の列に自己以外の任意の列を掛けたものの変換
はゼロ結果になることを意味する。
このように、Tの直交的性質は修正Tを生成する上述のプロセスにおいてTの構築され
方により確保されることができる。上記に説明するとおり、各列内の非ゼロ値のみを格納
することによりTを格納するのに必要なメモリの量も同様に削減することができる。修正
Tでこのプロセスは格納される非ゼロ値がTの各行内の最も明るい値のみを格納すること
により迅速に特定でき、これによりサイズを変更した光フットプリントが自動的に作成さ
れることから単純化される。たとえば図15において、円Pixel_1cからPixe
l_4c、Pixel_2bからPixel_4b、およびPixel_1dで示される、T
の行に沿った(すなわち別個のプロジェクタ・ピクセルに対応しTの隣接する列に配列さ
れる隣接画像情報の中)最も明るいピクセルを特定することができる。各行内の最も明る
い値の入力のみが留保されると、図16の構造が得られる。特定された明るい部分は次に
修正行列T(以後、光輸送行列Tと修正光輸送行列Tは別段の記載がない限り同義として
用いられる。)のベクトル表示40に組み合わせることができる。図示されるように、ベ
クトル表示40はTの各行内の最も明るいピクセル値のみに自らを限定することによりT
の隣接する列の間の重複を取り除き、任意の場面に対し表示制約を有効に課す。従ってT
のこの構成は意図的に直交している。修正光輸送行列Tを完全に定義するためには、どの
部分的光フットプリント部分のグループがサイズの変更された同じ光フットプリントに属
するかを示すインデックス情報を保持する第2の行列の列またはアレイのみが必要である
ことが理解されよう。例えば本例の場合、グループPixel_1cとPixel_1dは
第1ピクセルに対応する、サイズが変更された1つの光フットプリントの一部である。同
様に光フットプリント部分Pixel_2bとPixel_2cは合わせて第2ピクセルに
対する第2のサイズが変更された光フットプリントを形成し、以下同様である。
方により確保されることができる。上記に説明するとおり、各列内の非ゼロ値のみを格納
することによりTを格納するのに必要なメモリの量も同様に削減することができる。修正
Tでこのプロセスは格納される非ゼロ値がTの各行内の最も明るい値のみを格納すること
により迅速に特定でき、これによりサイズを変更した光フットプリントが自動的に作成さ
れることから単純化される。たとえば図15において、円Pixel_1cからPixe
l_4c、Pixel_2bからPixel_4b、およびPixel_1dで示される、T
の行に沿った(すなわち別個のプロジェクタ・ピクセルに対応しTの隣接する列に配列さ
れる隣接画像情報の中)最も明るいピクセルを特定することができる。各行内の最も明る
い値の入力のみが留保されると、図16の構造が得られる。特定された明るい部分は次に
修正行列T(以後、光輸送行列Tと修正光輸送行列Tは別段の記載がない限り同義として
用いられる。)のベクトル表示40に組み合わせることができる。図示されるように、ベ
クトル表示40はTの各行内の最も明るいピクセル値のみに自らを限定することによりT
の隣接する列の間の重複を取り除き、任意の場面に対し表示制約を有効に課す。従ってT
のこの構成は意図的に直交している。修正光輸送行列Tを完全に定義するためには、どの
部分的光フットプリント部分のグループがサイズの変更された同じ光フットプリントに属
するかを示すインデックス情報を保持する第2の行列の列またはアレイのみが必要である
ことが理解されよう。例えば本例の場合、グループPixel_1cとPixel_1dは
第1ピクセルに対応する、サイズが変更された1つの光フットプリントの一部である。同
様に光フットプリント部分Pixel_2bとPixel_2cは合わせて第2ピクセルに
対する第2のサイズが変更された光フットプリントを形成し、以下同様である。
Tの逆の近似を決定(すなわちT-1を決定)するため、まずAA-1=Iで、恒等行列I
は左上の角から(行列位置(1,1)から始まり)右下の角まで(行列位置(r,g)で
終わる)の対角線に沿い1に設定された入力値を有し、他の個所はすべてゼロ(すなわち
0)に設定された入力値を有する行列を含むことを特記することが有益である。T-1を演
算するために、まず行列Ξを定義し、Ξにおける各列は正規化値で構成され、Ξの各列が
光輸送行列T(又は修正光輸送行列T)の列における列に対応する。つまり、
は左上の角から(行列位置(1,1)から始まり)右下の角まで(行列位置(r,g)で
終わる)の対角線に沿い1に設定された入力値を有し、他の個所はすべてゼロ(すなわち
0)に設定された入力値を有する行列を含むことを特記することが有益である。T-1を演
算するために、まず行列Ξを定義し、Ξにおける各列は正規化値で構成され、Ξの各列が
光輸送行列T(又は修正光輸送行列T)の列における列に対応する。つまり、
した合計の平方根を定義しているので、‖Tr‖の平方は単に列rにおける全値の平方の
合計である。つまり、
演算{Tr/(‖Tr‖)2}は行列Tの列rにおける値の入力を正規化する効果を有す
る。ここでΞrの転置を取ると、すなわち第1列が最上行になり、最後列が最下行になる
ように横に反転させると、Tにおける要素の対応列の正規化値である要素の行がもたらさ
れる。従ってTの各列について次の結果が得られる。
r≠ωの場合、
ての列をΞrTの対応行で乗じると、対角線に沿って数字の1がある行列を実現し、他の
すべての個所にゼロを置いて実現された行列を完全に埋めることができる。
従って列が互いに直交する行列Tの場合、かつ行列Ξの特定の構成が与えられる場合、
Ξの転置は当然Tの逆に等しく(すなわちΞT=T-1)、または少なくともΞはTの左乗
法的な逆であることが得られる。従ってRprjct’=ΞT*Rcptr’となる。
Ξの転置は当然Tの逆に等しく(すなわちΞT=T-1)、または少なくともΞはTの左乗
法的な逆であることが得られる。従ってRprjct’=ΞT*Rcptr’となる。
実際にカメラ・センサに当たるプロジェクタ・ピクセルの部分のみ再生できることが特
記される。いずれのカメラ・ピクセルにも当たらないプロジェクタ・ピクセルに対し、T
の対応列はゼロを含み、上記方程式Ξr=Tr/(‖Tr‖)2は未定義である。このよ
うな場合、Ξの対応列はゼロ列として設定されることが好ましい。このようにΞTはプロ
ジェクタおよびカメラの視野で重なる領域を覆うTの部分の逆であり、Rprjct’に
おいて重なる領域に入るプロジェクタ・ピクセルのみ再生し、他のピクセルは抹消する。
記される。いずれのカメラ・ピクセルにも当たらないプロジェクタ・ピクセルに対し、T
の対応列はゼロを含み、上記方程式Ξr=Tr/(‖Tr‖)2は未定義である。このよ
うな場合、Ξの対応列はゼロ列として設定されることが好ましい。このようにΞTはプロ
ジェクタおよびカメラの視野で重なる領域を覆うTの部分の逆であり、Rprjct’に
おいて重なる領域に入るプロジェクタ・ピクセルのみ再生し、他のピクセルは抹消する。
以下の考察において、行列ΞTはビュー投影行列と呼ばれ、望ましいビューcが与えら
れた場合p=(ΞT*c)と定義される画像pを見出すことができ、画像pを投影すると
基準カメラ位置から見た場合cと同じ外観を有する場面を実現する。ΞTは事実上逆行列
T-1の近似であり、本明細書ではそのように用いられるので、以下考察の残りの部分で逆
行列T-1とビュー投影行列ΞTは別途の指示がない限り互換的に用いられる。
れた場合p=(ΞT*c)と定義される画像pを見出すことができ、画像pを投影すると
基準カメラ位置から見た場合cと同じ外観を有する場面を実現する。ΞTは事実上逆行列
T-1の近似であり、本明細書ではそのように用いられるので、以下考察の残りの部分で逆
行列T-1とビュー投影行列ΞTは別途の指示がない限り互換的に用いられる。
真の逆行列T-1の近似を演算する効率的な方法が原形において実証されたが、行列は未
だに膨大で、大量の記憶および言うまでもなく行列乗算を行うだけでも相当な演算能力を
必要とする。ここでも、真の逆行列T-1は表示制約に支配されている。
だに膨大で、大量の記憶および言うまでもなく行列乗算を行うだけでも相当な演算能力を
必要とする。ここでも、真の逆行列T-1は表示制約に支配されている。
従ってTTを縮小するための上記に記述された圧縮手法に類似したものをビュー投影行
列ΞTに適用することが望ましい。このように、ΞTは非ゼロ入力の第1列および対応する
インデックス値の第2列を含む表示に縮小することができる。表示制約はTの別個の列に
おける非ゼロ入力が同じ行に並ばないことが要件であることが想起されよう。これはTの
各行において非ゼロ入力が1つのみ(または所定の閾値を1入力越えて)存在し、行列T
を表示するにはその入力とともにその列インデックスのみを格納すれば良い(格納されな
いTの入力位置はデフォルトでゼロ値が指定されるという了解のもとで)。従って、Tを
格納するために必要な空間は非ゼロのT入力の1列とインデックス値の第2列に縮小する
ことができる。
列ΞTに適用することが望ましい。このように、ΞTは非ゼロ入力の第1列および対応する
インデックス値の第2列を含む表示に縮小することができる。表示制約はTの別個の列に
おける非ゼロ入力が同じ行に並ばないことが要件であることが想起されよう。これはTの
各行において非ゼロ入力が1つのみ(または所定の閾値を1入力越えて)存在し、行列T
を表示するにはその入力とともにその列インデックスのみを格納すれば良い(格納されな
いTの入力位置はデフォルトでゼロ値が指定されるという了解のもとで)。従って、Tを
格納するために必要な空間は非ゼロのT入力の1列とインデックス値の第2列に縮小する
ことができる。
しかし実世界の状況ではTの点灯されていない入力の多く(すなわち光フットプリント
内にないカメラ・ピクセルi)はセンサ・ノイズ(すなわちカメラ・ピクセルが捕らえた
ものの1つの指定された、すなわちオンにされた、プロジェクタ・ピクセルに由来しない
光)のため厳密にゼロではない。従って各行に複数の非ゼロ値が存在する可能性があり、
単一の非ゼロ値入力は光フットプリントに対応し、残りの非ゼロ入力は光ノイズによるも
のである。この場合、光フットプリントに対応する単一の非ゼロ入力は行内で最高の値を
有する(すなわち最も明るい値を有する)可能性が高い。従って、光ノイズを除去するた
めに各行の最高値の入力(すなわち行最高値)を、その行において光フットプリントに対
応する単一の非ゼロ入力として特定し指定することができる。これは光ノイズによる低い
値の入力を除去する。これらの行最高入力値を特定することにより、各列の非ゼロ値が得
られる。従って各プロジェクタ・ピクセルに対し、対応するカメラ・ピクセルの組ととも
にこれらカメラ・ピクセル間の光強度の分布が特定される。通常の対応カメラ・ピクセル
の組(任意の所定プロジェクタ・ピクセルに結び付いた)はカメラ画像全体の非常に小さ
いサブセットである。行列演算の際これらの対応カメラ・ピクセルからの入力のみを考慮
すれば良いので、この疎行列表示を用いてビュー投影画像変換を行うのは非常に効率的で
ある。
内にないカメラ・ピクセルi)はセンサ・ノイズ(すなわちカメラ・ピクセルが捕らえた
ものの1つの指定された、すなわちオンにされた、プロジェクタ・ピクセルに由来しない
光)のため厳密にゼロではない。従って各行に複数の非ゼロ値が存在する可能性があり、
単一の非ゼロ値入力は光フットプリントに対応し、残りの非ゼロ入力は光ノイズによるも
のである。この場合、光フットプリントに対応する単一の非ゼロ入力は行内で最高の値を
有する(すなわち最も明るい値を有する)可能性が高い。従って、光ノイズを除去するた
めに各行の最高値の入力(すなわち行最高値)を、その行において光フットプリントに対
応する単一の非ゼロ入力として特定し指定することができる。これは光ノイズによる低い
値の入力を除去する。これらの行最高入力値を特定することにより、各列の非ゼロ値が得
られる。従って各プロジェクタ・ピクセルに対し、対応するカメラ・ピクセルの組ととも
にこれらカメラ・ピクセル間の光強度の分布が特定される。通常の対応カメラ・ピクセル
の組(任意の所定プロジェクタ・ピクセルに結び付いた)はカメラ画像全体の非常に小さ
いサブセットである。行列演算の際これらの対応カメラ・ピクセルからの入力のみを考慮
すれば良いので、この疎行列表示を用いてビュー投影画像変換を行うのは非常に効率的で
ある。
実際には、表示制約を活用してプロセスを速める固定パターン走査手法を用いることが
好ましい。上述のように、プロジェクタ・ピクセルjからの寄与は光輸送行列Tの列jに
マップされる。従ってプロジェクタ・ピクセルの組⊂{1,…,p×q}はTにおける対
応する列の組にマップされる。このような、S1∩S2={j}であるような2組のピク
セルを考え、2組のピクセルを点灯した時に取り込まれる2つの画像をCS1およびCS2と
する。そうすると、
好ましい。上述のように、プロジェクタ・ピクセルjからの寄与は光輸送行列Tの列jに
マップされる。従ってプロジェクタ・ピクセルの組⊂{1,…,p×q}はTにおける対
応する列の組にマップされる。このような、S1∩S2={j}であるような2組のピク
セルを考え、2組のピクセルを点灯した時に取り込まれる2つの画像をCS1およびCS2と
する。そうすると、
々の列の総計、すなわちCS=Σj∈STj、である。各個別的プロジェクタ・ピクセルj
の寄与がカメラ・センサの別個の部分にマップされるとすると、取り込まれた画像CS1、
CS2においてプロジェクタ・ピクセルjに対応するピクセルの共通の組l⊂{1,…,m
×n}が存在する。次に、S1∩S2={j}であるので、取り込まれた残りの画像ピク
セル(∈lでないもの)について、画像の少なくとも1つはプロジェクタ・ピクセルの組
S1またはS2の1つから光を受けなかったことになる。光を受けたピクセルは光を受け
ないピクセルより明るくなるので、MIN(CS1,CS2)はピクセル∈lのみが点灯され
た画像を実現し、これはTjの良好な近似である。
これは、
Tjを合成することができる。
上述の考察において、投影画像の各対は1つの交差点しか共通していない。この特性を
満足する一構成は次のピクセル座標を指標として用いる。Xjはx座標がjに等しいすべ
てのピクセルがオンになっている画像とし、Ykはkに等しいy座標がオンにされた画像
とする。そうするとMIN(Xj,Yk)は座標(j,k)がオンである画像を与える。こ
の方法を用い、p+q個の画像を取り込むことはTのp×q列をすべて合成できることに
なる。Tを取り込むためのこの方法が各ピクセルを個別に取り込むより速く、上述のSen
他、2005年、に関して説明された適合的仕組みより簡単ではあるが、この方法は文献で既
に提案されている他の仕組みに比べまだ遅い可能性があることが特記される。特にプロジ
ェクタ−カメラのピクセルの対応を確立する1つの方法はXおよびY座標を時間系列的な
バイナリ・コードで投影することで、理論的はすべての対応がlog(N)時間で取り込
むことができ、ここでNは最大座標値である。実際には、この方法は特に最小有効ビット
が投影される際にカメラ・センサの解像度に厳しい条件を課す。必要な画像数を減らすた
めに同時に複数の縞を投影することも提案できる。しかしこれは画像において取り込まれ
た各縞を特定する何らかの方法、例えば目印となる縞のサブセットを特定すること、また
は色分けもしくは他の区別できるパターンを活用すること、が必要である。これらの仕組
みは事実取り込みプロセスを速めるかもしれないが、さらに複雑さや脆弱性をもたらし、
しばしば仕組みが正しく機能するように特徴検出パラメータを微調整しなくてはならない
。本明細書の好ましい実施形態において微調整するパラメータはなく、ハードウェアの故
障がない限り通常一度の取り込みでビュー投影行列の良好なコピーが得られる。
満足する一構成は次のピクセル座標を指標として用いる。Xjはx座標がjに等しいすべ
てのピクセルがオンになっている画像とし、Ykはkに等しいy座標がオンにされた画像
とする。そうするとMIN(Xj,Yk)は座標(j,k)がオンである画像を与える。こ
の方法を用い、p+q個の画像を取り込むことはTのp×q列をすべて合成できることに
なる。Tを取り込むためのこの方法が各ピクセルを個別に取り込むより速く、上述のSen
他、2005年、に関して説明された適合的仕組みより簡単ではあるが、この方法は文献で既
に提案されている他の仕組みに比べまだ遅い可能性があることが特記される。特にプロジ
ェクタ−カメラのピクセルの対応を確立する1つの方法はXおよびY座標を時間系列的な
バイナリ・コードで投影することで、理論的はすべての対応がlog(N)時間で取り込
むことができ、ここでNは最大座標値である。実際には、この方法は特に最小有効ビット
が投影される際にカメラ・センサの解像度に厳しい条件を課す。必要な画像数を減らすた
めに同時に複数の縞を投影することも提案できる。しかしこれは画像において取り込まれ
た各縞を特定する何らかの方法、例えば目印となる縞のサブセットを特定すること、また
は色分けもしくは他の区別できるパターンを活用すること、が必要である。これらの仕組
みは事実取り込みプロセスを速めるかもしれないが、さらに複雑さや脆弱性をもたらし、
しばしば仕組みが正しく機能するように特徴検出パラメータを微調整しなくてはならない
。本明細書の好ましい実施形態において微調整するパラメータはなく、ハードウェアの故
障がない限り通常一度の取り込みでビュー投影行列の良好なコピーが得られる。
上記に説明されたように、ビュー投影行列ΞTは投影光学系、表示表面、およびこれら
の相対位置付けにより導入される幾何学的および測光的歪みを補正することができる。Ξ
Tのビュー投影能力の有効性はいくつかの実験を通して試験された。
の相対位置付けにより導入される幾何学的および測光的歪みを補正することができる。Ξ
Tのビュー投影能力の有効性はいくつかの実験を通して試験された。
ある場面の望ましい外観を制御できることを示すために、印刷されたポスターの外観を
動的に変え得ることが示された。図17に例を示す。左側のポスター画像は白光の下で示
される。右側のポスター画像はビュー投影照明の下で示される。キューブの面は同じ色に
見えるようにされている。右側のポスター画像の上に1枚の白い紙を置くとこの望ましい
ビューを実現するために用いられた実際の投影画像が明らかになる。見る人たちは動画を
見た後すぐポスターの元の外観を忘れることが見出された。紙上で示すのは難しいが、カ
メラで観察されたこの場面は人間の目で観察されたものにかなり近い。ポスターはポスタ
ー内の色をサイクルして色が均一であるがごとく見せるようにして動画化された。測光的
補正がリアルタイムで行われる間ポスターの上に映画も映写して、下のポスター画像の跡
をすべて取り除いた。
動的に変え得ることが示された。図17に例を示す。左側のポスター画像は白光の下で示
される。右側のポスター画像はビュー投影照明の下で示される。キューブの面は同じ色に
見えるようにされている。右側のポスター画像の上に1枚の白い紙を置くとこの望ましい
ビューを実現するために用いられた実際の投影画像が明らかになる。見る人たちは動画を
見た後すぐポスターの元の外観を忘れることが見出された。紙上で示すのは難しいが、カ
メラで観察されたこの場面は人間の目で観察されたものにかなり近い。ポスターはポスタ
ー内の色をサイクルして色が均一であるがごとく見せるようにして動画化された。測光的
補正がリアルタイムで行われる間ポスターの上に映画も映写して、下のポスター画像の跡
をすべて取り除いた。
前述のように、現在好まれる輸送行列Tの構成は隣接して点灯されたプロジェクタ・ピ
クセルによりもたらされた隣接する光フットプリント間で最小限の重複を規定する表示制
約に依存する。表示制約が守られない状況の例が図13に関し上記で考察され、ここでは
2つのワイン・グラスがプロジェクタと映写表面の間に配置される。しかしさらに上記に
説明されるように、ビュー投影行列ΞTはTの逆の近似を作成する際、Tの各列内の最も
明るいピクセルのみを選択することにより任意の場面に表示制約を執行し得る(すなわち
強要し得る)。本発明のアルゴリズムの有効性を各種条件の下(その有効性と正当化の基
となる表示制約の下だけではなく)で試験するために表示制約が満足されない場合にどの
ように挙動するかを判定する実験が行われた。図13に図示する実験が設定され、1対の
ワイン・グラスがプロジェクタとその表示表面との間に置かれた。ガラスにより導入され
た相当量の歪みのため、別個のプロジェクタ・ピクセルによるセンサの光フットプリント
に多くの重複がある。この場面にビュー投影行列ΞTの生成において表示制約を執行する
のと同じ取得方法および同じアルゴリズムを適用した。結果として演算されたビュー投影
行列ΞTは図18に示すように、望ましくない歪みのほとんどを取り除くことができ、プ
ロジェクタは指定表示表面に補正された画像を表示できることが見出された。
クセルによりもたらされた隣接する光フットプリント間で最小限の重複を規定する表示制
約に依存する。表示制約が守られない状況の例が図13に関し上記で考察され、ここでは
2つのワイン・グラスがプロジェクタと映写表面の間に配置される。しかしさらに上記に
説明されるように、ビュー投影行列ΞTはTの逆の近似を作成する際、Tの各列内の最も
明るいピクセルのみを選択することにより任意の場面に表示制約を執行し得る(すなわち
強要し得る)。本発明のアルゴリズムの有効性を各種条件の下(その有効性と正当化の基
となる表示制約の下だけではなく)で試験するために表示制約が満足されない場合にどの
ように挙動するかを判定する実験が行われた。図13に図示する実験が設定され、1対の
ワイン・グラスがプロジェクタとその表示表面との間に置かれた。ガラスにより導入され
た相当量の歪みのため、別個のプロジェクタ・ピクセルによるセンサの光フットプリント
に多くの重複がある。この場面にビュー投影行列ΞTの生成において表示制約を執行する
のと同じ取得方法および同じアルゴリズムを適用した。結果として演算されたビュー投影
行列ΞTは図18に示すように、望ましくない歪みのほとんどを取り除くことができ、プ
ロジェクタは指定表示表面に補正された画像を表示できることが見出された。
別の言葉で述べると、表示制約が保証できない場合、投影環境に擬似表示制約を強要す
る、ビュー投影行列ΞTの生成方法を光輸送行列Tの生成に適用することができる。具体
的に、図14〜図16に関し上述された簡略化光輸送行列Tを生成する際、光フットプリ
ントのコンポーネントを特定するのに各行の最も明るいピクセルを選ぶことができ、それ
により光拡散によるエラーおよび光ノイズによるエラーを大幅に削減し、または取り除く
ことができる。
る、ビュー投影行列ΞTの生成方法を光輸送行列Tの生成に適用することができる。具体
的に、図14〜図16に関し上述された簡略化光輸送行列Tを生成する際、光フットプリ
ントのコンポーネントを特定するのに各行の最も明るいピクセルを選ぶことができ、それ
により光拡散によるエラーおよび光ノイズによるエラーを大幅に削減し、または取り除く
ことができる。
行列Tの逆を近似させる方法を定義した上、次に没入型表示システムにデュアル・フォ
トグラフィを用いて新型かつ複雑な設定をどのように達成できるかを説明する。
トグラフィを用いて新型かつ複雑な設定をどのように達成できるかを説明する。
図19について、好ましい実施形態において従来の前面投射型プロジェクタP1(図1
(A)の実プロジェクタ21に類似)が没入型プロジェクタP2と併せて用いられる。視
野線91で示されるように、好ましい本実施形態では前面投射型プロジェクタP1の視野
(すなわちFOV)で覆われる表示表面の部分は視野線93で示される没入型プロジェク
タP2のFOVのサブセットである。前面投射型プロジェクタP1のFOV91は没入型
プロジェクタP2のFOV93の範囲内に入るため、没入型プロジェクタP2が前面投射
型プロジェクタP1により生み出された投影画像をシミュレートすることが望ましい。し
かし、一般的に前面投射型プロジェクタP1のFOV91は没入型プロジェクタのFOV
93のいずれの部分とも重なる必要は必ずしもないことが強調される。
(A)の実プロジェクタ21に類似)が没入型プロジェクタP2と併せて用いられる。視
野線91で示されるように、好ましい本実施形態では前面投射型プロジェクタP1の視野
(すなわちFOV)で覆われる表示表面の部分は視野線93で示される没入型プロジェク
タP2のFOVのサブセットである。前面投射型プロジェクタP1のFOV91は没入型
プロジェクタP2のFOV93の範囲内に入るため、没入型プロジェクタP2が前面投射
型プロジェクタP1により生み出された投影画像をシミュレートすることが望ましい。し
かし、一般的に前面投射型プロジェクタP1のFOV91は没入型プロジェクタのFOV
93のいずれの部分とも重なる必要は必ずしもないことが強調される。
没入型プロジェクタP2のFOV93が前面投射型プロジェクタP1のFOV91の一
部と重なる必要はないが、カメラCを前面投射型プロジェクタP1および没入型プロジェ
クタP2に別個に結び付ける2つの輸送行列が作成されることが望ましい。P1およびP
2のFOVが必ずしも重ならないので2つの輸送行列は別個に生成できることが理解され
よう。
部と重なる必要はないが、カメラCを前面投射型プロジェクタP1および没入型プロジェ
クタP2に別個に結び付ける2つの輸送行列が作成されることが望ましい。P1およびP
2のFOVが必ずしも重ならないので2つの輸送行列は別個に生成できることが理解され
よう。
しかし好ましい本実施形態の具体例において、カメラCはカメラCのFOV95が前面
投射型プロジェクタP1のFOV91のスーパーセットで没入型プロジェクタP2のFO
V93のサブセットであるように配置される。FOV線95で示されるように、カメラC
の視野は前面投射型プロジェクタP1のFOV91を完全に包含するが、没入型プロジェ
クタP2のFOV93により完全に包含される。没入型プロジェクタP2を用いて前面投
射型プロジェクタP1から投影された画像をシミュレートするには、前面投射型プロジェ
クタP1からの第1投影画像p1をカメラCからの第1取り込み画像c1にc1=T1p1と
なるように関連付ける第1光輸送行列T1をまず決定する。次に、没入型プロジェクタP
2からの第2投影画像p2をカメラCからの第2取り込み画像c2にc2=T2p2となるよ
うに関連付ける第2光輸送行列T2を決定する。その結果、次の関係が成立する。
投射型プロジェクタP1のFOV91のスーパーセットで没入型プロジェクタP2のFO
V93のサブセットであるように配置される。FOV線95で示されるように、カメラC
の視野は前面投射型プロジェクタP1のFOV91を完全に包含するが、没入型プロジェ
クタP2のFOV93により完全に包含される。没入型プロジェクタP2を用いて前面投
射型プロジェクタP1から投影された画像をシミュレートするには、前面投射型プロジェ
クタP1からの第1投影画像p1をカメラCからの第1取り込み画像c1にc1=T1p1と
なるように関連付ける第1光輸送行列T1をまず決定する。次に、没入型プロジェクタP
2からの第2投影画像p2をカメラCからの第2取り込み画像c2にc2=T2p2となるよ
うに関連付ける第2光輸送行列T2を決定する。その結果、次の関係が成立する。
没入型プロジェクタP2を用いて前面投射型プロジェクタP1からの投影画像p1をシ
ミュレートするためには、c1(すなわち前面投射型プロジェクタP1から投影された画
像の取り込み画像)がc2(すなわち没入型プロジェクタP2から投影された画像の取り
込み画像)と同じであることが必要である、すなわち、
ミュレートするためには、c1(すなわち前面投射型プロジェクタP1から投影された画
像の取り込み画像)がc2(すなわち没入型プロジェクタP2から投影された画像の取り
込み画像)と同じであることが必要である、すなわち、
次の関係が得られる。
することができ、または変換された画像[(T2 -1)*(T1p1)と定義]を没入型プロ
ジェクタP2で投影することにより同じ効果が得られることを意味する。ビュー投影行列
は自然にプロジェクタ−カメラ対応をプロジェクタ−プロジェクタ対応に移すことが特記
される。
このような投影は図20に示され、没入型プロジェクタP2を用いて図19のプロジェ
クタP1のような前面投射型プロジェクタがシミュレートされる。図20において、プロ
ジェクタP2によりシミュレートされる仮想プロジェクタP1”は点線で示される。従っ
て図19の前面投射型プロジェクタP1により投影される画像p1は図20の没入型プロ
ジェクタP2で変換画像(T2 -1)*(T1p1)を投影することにより再現することがで
きる。これにより、見る人100A、100B、および100Cは前面投射型プロジェク
タ、すなわちP1またはP1”、を遮蔽することを心配しなくて済む。画像は明らかに歪
みがなく、仮想プロジェクタによる映画の再生はリアルタイムで流すことができる。上述
のようにT2 -1は近似行列ΞT 2で置き換え得ることが理解されよう。上記で述べたように
、逆行列T-1を近似するビュー投影行列ΞTは以下の考察において別途記述されない限り
自由にT-1を置き換えることができる。
クタP1のような前面投射型プロジェクタがシミュレートされる。図20において、プロ
ジェクタP2によりシミュレートされる仮想プロジェクタP1”は点線で示される。従っ
て図19の前面投射型プロジェクタP1により投影される画像p1は図20の没入型プロ
ジェクタP2で変換画像(T2 -1)*(T1p1)を投影することにより再現することがで
きる。これにより、見る人100A、100B、および100Cは前面投射型プロジェク
タ、すなわちP1またはP1”、を遮蔽することを心配しなくて済む。画像は明らかに歪
みがなく、仮想プロジェクタによる映画の再生はリアルタイムで流すことができる。上述
のようにT2 -1は近似行列ΞT 2で置き換え得ることが理解されよう。上記で述べたように
、逆行列T-1を近似するビュー投影行列ΞTは以下の考察において別途記述されない限り
自由にT-1を置き換えることができる。
この仮想プロジェクタ実装を用いて生成された画像例が図21に示される。前面投射型
プロジェクタ画像101が大視野表示システムを用いてシミュレートされる。図21の下
部に位置するプロジェクタ103は大視野表示システムの一部で、図21中央に示される
画像101を生成するのに用いられる。
プロジェクタ画像101が大視野表示システムを用いてシミュレートされる。図21の下
部に位置するプロジェクタ103は大視野表示システムの一部で、図21中央に示される
画像101を生成するのに用いられる。
図22(A)、図22(B)、図22(C)は前面投射の実画像(図22(A))およ
び前面投射のシミュレートされた画像(図22(B))を並べてシームレスに連結したも
の(図22(C))を示すことによりシミュレーションの画質を図示する。図22(A)
は図19のP1のような実前面投射型プロジェクタにより投影された画像の右側を示す。
図22(B)は図22(A)の前面投射画像の左側を示すが、図22(B)において画像
の左側は図20のP2のような没入型プロジェクタにより図20のP1”のような仮想前
面投射型プロジェクタをシミュレートするように投影される。没入型プロジェクタにより
作成される、左側のシミュレートされた前面投射画像の画質は図22(C)でより良く図
示され、ここで図22(A)の右側の前面投射画像は図22(B)の左側の前面投射画像
に繋げられ、並んで示され、実前面投射型プロジェクタおよびシミュレートされた仮想前
面投射型プロジェクタにより各々作成された画像のシームレスな位置合わせがもたらされ
る。
び前面投射のシミュレートされた画像(図22(B))を並べてシームレスに連結したも
の(図22(C))を示すことによりシミュレーションの画質を図示する。図22(A)
は図19のP1のような実前面投射型プロジェクタにより投影された画像の右側を示す。
図22(B)は図22(A)の前面投射画像の左側を示すが、図22(B)において画像
の左側は図20のP2のような没入型プロジェクタにより図20のP1”のような仮想前
面投射型プロジェクタをシミュレートするように投影される。没入型プロジェクタにより
作成される、左側のシミュレートされた前面投射画像の画質は図22(C)でより良く図
示され、ここで図22(A)の右側の前面投射画像は図22(B)の左側の前面投射画像
に繋げられ、並んで示され、実前面投射型プロジェクタおよびシミュレートされた仮想前
面投射型プロジェクタにより各々作成された画像のシームレスな位置合わせがもたらされ
る。
実前面投射型プロジェクタにより作成された実前面投射画像と没入型プロジェクタによ
り作成された、シミュレートされた前面投射画像を図23に示す。図23において、表示
画像の左半分は没入型プロジェクタにより仮想前面投射型プロジェクタからの表示をシミ
ュレートするように作成され、表示画像の右側半分は実前面投射型プロジェクタにより作
成されている。
り作成された、シミュレートされた前面投射画像を図23に示す。図23において、表示
画像の左半分は没入型プロジェクタにより仮想前面投射型プロジェクタからの表示をシミ
ュレートするように作成され、表示画像の右側半分は実前面投射型プロジェクタにより作
成されている。
本手法の別の用途は図24(A)、図24(B)、図24(C)を参照するとより良く
理解される。本例において、図24(C)の没入型プロジェクタP2を用いて各種の周囲
照明効果(すなわち仮想環境)が作成される。カメラを、そのFOVが表示部屋のかなり
の部分を覆うように配置すれば、ビュー投影を用いて壁が仮想モデルに従い照明されるよ
うな没入型環境を作り出すことができる。これを達成するために、図24(A)に示すよ
うにカメラCはそのFOVが表示部屋111の相当な部分を覆うように配置される。図2
4(A)において、カメラCおよび没入型プロジェクタP2はカメラCのFOVが没入型
プロジェクタP2のFOVの全部(好ましくはより多く)と言わないまでも殆どを包含す
るように配置される。本例において、P2は没入型プロジェクタとして示されるが、プロ
ジェクタP2は前面投射型プロジェクタなど任意の種類のプロジェクタであって良い。カ
メラCおよびプロジェクタP2間に関係を確立するために、カメラCをプロジェクタP2
に関連付ける光輸送行列T3が前記に説明されたいずれかの方法を用いて取り込まれる、
すなわち決定される。一旦、これがなされると、カメラCにより見られる(すなわち取り
込まれる)画像c3はプロジェクタP2により投影される投影画像p3に次の関係に従って
関連付けられる。
理解される。本例において、図24(C)の没入型プロジェクタP2を用いて各種の周囲
照明効果(すなわち仮想環境)が作成される。カメラを、そのFOVが表示部屋のかなり
の部分を覆うように配置すれば、ビュー投影を用いて壁が仮想モデルに従い照明されるよ
うな没入型環境を作り出すことができる。これを達成するために、図24(A)に示すよ
うにカメラCはそのFOVが表示部屋111の相当な部分を覆うように配置される。図2
4(A)において、カメラCおよび没入型プロジェクタP2はカメラCのFOVが没入型
プロジェクタP2のFOVの全部(好ましくはより多く)と言わないまでも殆どを包含す
るように配置される。本例において、P2は没入型プロジェクタとして示されるが、プロ
ジェクタP2は前面投射型プロジェクタなど任意の種類のプロジェクタであって良い。カ
メラCおよびプロジェクタP2間に関係を確立するために、カメラCをプロジェクタP2
に関連付ける光輸送行列T3が前記に説明されたいずれかの方法を用いて取り込まれる、
すなわち決定される。一旦、これがなされると、カメラCにより見られる(すなわち取り
込まれる)画像c3はプロジェクタP2により投影される投影画像p3に次の関係に従って
関連付けられる。
このように、部屋111における表示表面の仮想モデルを構築することができる。図2
4(B)に示す構築された仮想部屋111”は例えばコンピュータ・シミュレーションで
あって良い。一旦、仮想部屋111”が作成されると、各種のシミュレートされた照明効
果(または投影画像または浮遊画像)を仮想部屋111”に加えることができる。例えば
、図24(B)は仮想部屋111”が大きなロウソク113からのロウソクの光により照
明されるところを示す。コンピュータ・モデルはさらにカメラCの位置および解像度(図
24(A)における)をモデル化し、図24(B)で点線の枠Cとして示される。コンピ
ュータ・モデルは次にカメラCの視点からシミュレートされた仮想部屋111”の合成ビ
ューc3”を「取り込み」(すなわち作成し)、図24(A)の実カメラCにより取り込
まれたかのように仮想部屋111”の実画像をシミュレートする。図24(B)のシミュ
レートされた照明効果は次にP2を用いて変換画像(T3 -1)*(c3”)を投影すること
により図24(C)の実部屋111において再現することができる。
4(B)に示す構築された仮想部屋111”は例えばコンピュータ・シミュレーションで
あって良い。一旦、仮想部屋111”が作成されると、各種のシミュレートされた照明効
果(または投影画像または浮遊画像)を仮想部屋111”に加えることができる。例えば
、図24(B)は仮想部屋111”が大きなロウソク113からのロウソクの光により照
明されるところを示す。コンピュータ・モデルはさらにカメラCの位置および解像度(図
24(A)における)をモデル化し、図24(B)で点線の枠Cとして示される。コンピ
ュータ・モデルは次にカメラCの視点からシミュレートされた仮想部屋111”の合成ビ
ューc3”を「取り込み」(すなわち作成し)、図24(A)の実カメラCにより取り込
まれたかのように仮想部屋111”の実画像をシミュレートする。図24(B)のシミュ
レートされた照明効果は次にP2を用いて変換画像(T3 -1)*(c3”)を投影すること
により図24(C)の実部屋111において再現することができる。
この手法の適用例が図25に示される。この場合、実部屋111の壁より大きい画像1
17を映写することが望ましい。上記で考察したように、映写壁に対する実部屋111の
壁および天井の角度を補正するために各種の方法を用いて実プロジェクタを較正すること
ができるが、本発明は異なった方法を用いてこの問題を解決する。本例において、仮想部
屋111”(図24(B)の)は実部屋111(図24(C)および図25の)に類似し
た寸法を有し、画像117は歪みのない形で仮想部屋111”に重ね合わせられる。次に
カメラCの視点から仮想部屋111”上の歪みなしの画像117の合成ビューc3”(す
なわち合成取り込み画像)が作成される。次に没入型プロジェクタP2に変換画像(T3 -
1)*(c3”)を投影させ、実部屋111の壁に歪みのない特大画像117を再現させる
。図25に示すように、結果は映写表面上の曲面(または他の凹凸)を補正するためにプ
ロジェクタP2を較正する必要がなかった歪みのない投影が得られる。
17を映写することが望ましい。上記で考察したように、映写壁に対する実部屋111の
壁および天井の角度を補正するために各種の方法を用いて実プロジェクタを較正すること
ができるが、本発明は異なった方法を用いてこの問題を解決する。本例において、仮想部
屋111”(図24(B)の)は実部屋111(図24(C)および図25の)に類似し
た寸法を有し、画像117は歪みのない形で仮想部屋111”に重ね合わせられる。次に
カメラCの視点から仮想部屋111”上の歪みなしの画像117の合成ビューc3”(す
なわち合成取り込み画像)が作成される。次に没入型プロジェクタP2に変換画像(T3 -
1)*(c3”)を投影させ、実部屋111の壁に歪みのない特大画像117を再現させる
。図25に示すように、結果は映写表面上の曲面(または他の凹凸)を補正するためにプ
ロジェクタP2を較正する必要がなかった歪みのない投影が得られる。
示されたように、仮想プロジェクタおよび環境を組み合わせ、没入型映画ビュアーを作
成することができる。仮想環境はアクティブな視界でもあるので、より大きい視野の表示
を動画化し、より興味の湧く体験を作り出すことができる。
成することができる。仮想環境はアクティブな視界でもあるので、より大きい視野の表示
を動画化し、より興味の湧く体験を作り出すことができる。
上記に説明した手法は大視野(すなわち大きいFOV)表示の作成に適用することがで
きる。大きいFOVは没入感を作り出し、見る人にとってより興味の湧く体験を提供する
。本方法は非常に大きいFOVを有する没入型映写システムを説明する。システムはさら
に映写のFOVが覆う領域からの光を取り込むことができる内蔵型大FOVカメラ/光セ
ンサを有して設計されている。センサによりシステムは画質を最適化し、より全般的にシ
ステムがその環境とインタラクトできるように映写光を適合させることができる。本シス
テムは主にサラウンド・ビデオ・コンテンツを表示したいことから主に動機付けられてい
るが、この新映写システムは従来のビデオ・コンテンツを見るためにも用いることができ
ることを特記することが重要である。
きる。大きいFOVは没入感を作り出し、見る人にとってより興味の湧く体験を提供する
。本方法は非常に大きいFOVを有する没入型映写システムを説明する。システムはさら
に映写のFOVが覆う領域からの光を取り込むことができる内蔵型大FOVカメラ/光セ
ンサを有して設計されている。センサによりシステムは画質を最適化し、より全般的にシ
ステムがその環境とインタラクトできるように映写光を適合させることができる。本シス
テムは主にサラウンド・ビデオ・コンテンツを表示したいことから主に動機付けられてい
るが、この新映写システムは従来のビデオ・コンテンツを見るためにも用いることができ
ることを特記することが重要である。
図26に関し、本発明による代表的な映写システムの最小限の形態は次のコンポーネン
ト、プロジェクタ121と、デジタル・スチル・カメラまたはデジタル・ビデオ・カメラ
であり得るカメラ123と、球形または別途の曲面ミラー125と、上記コンポーネント
の据付機構を含む。プロジェクタ121からの光は曲面ミラー125から反射されてから
、建物の壁、床、天井、および専用映写スクリーンを含む任意の表面であり得る表示表面
127に到達する。表示表面127はさらに任意の形状であって良い。曲面ミラーで投射
光を反射させるとプロジェクタのFOVが拡大される。プロジェクタを元とする場合もし
ない場合もある、環境からの光線も曲面ミラー125から反射されてからカメラに到達す
る。これも同様にカメラFOVを拡大する。
ト、プロジェクタ121と、デジタル・スチル・カメラまたはデジタル・ビデオ・カメラ
であり得るカメラ123と、球形または別途の曲面ミラー125と、上記コンポーネント
の据付機構を含む。プロジェクタ121からの光は曲面ミラー125から反射されてから
、建物の壁、床、天井、および専用映写スクリーンを含む任意の表面であり得る表示表面
127に到達する。表示表面127はさらに任意の形状であって良い。曲面ミラーで投射
光を反射させるとプロジェクタのFOVが拡大される。プロジェクタを元とする場合もし
ない場合もある、環境からの光線も曲面ミラー125から反射されてからカメラに到達す
る。これも同様にカメラFOVを拡大する。
図27は図26の設計に基づいたプロトタイプを示し、図27の中で図26のものに類
似した要素は類似した参照番号を有し、上記に説明される。本構成は、マルチ・ウォール
の没入型仮想環境を構築するという、スマート・プロジェクタ−カメラ・システムの主要
な用途を際、立てさせている。従って、本例は従来の前面投射型プロジェクタ121、高
解像度のデジタル・スチル・カメラ123、および半球形の曲面ミラー125を含む簡単
なパノラマ映写設定を用いている。本設定において、曲面ミラー125(「ドーム型プロ
ジェクタ」と呼ぶことができる)は地域のコンビニ店で使用されるような低価格のプラス
チック製半球型警備用ミラー・ドームである。このようなミラー・ドームは専門的に設計
され製作された光学グレードのミラーに比べ少なくとも3桁は安い。さらに、据付機構も
通常の金物・建材店で入手できる安価な部品で作られた。この構成で実験した際、ミラー
・ドーム125は真の半球面からは(さらに言えばいずれの単純なパラメトリック形状か
らも)程遠いことが見出された。
似した要素は類似した参照番号を有し、上記に説明される。本構成は、マルチ・ウォール
の没入型仮想環境を構築するという、スマート・プロジェクタ−カメラ・システムの主要
な用途を際、立てさせている。従って、本例は従来の前面投射型プロジェクタ121、高
解像度のデジタル・スチル・カメラ123、および半球形の曲面ミラー125を含む簡単
なパノラマ映写設定を用いている。本設定において、曲面ミラー125(「ドーム型プロ
ジェクタ」と呼ぶことができる)は地域のコンビニ店で使用されるような低価格のプラス
チック製半球型警備用ミラー・ドームである。このようなミラー・ドームは専門的に設計
され製作された光学グレードのミラーに比べ少なくとも3桁は安い。さらに、据付機構も
通常の金物・建材店で入手できる安価な部品で作られた。この構成で実験した際、ミラー
・ドーム125は真の半球面からは(さらに言えばいずれの単純なパラメトリック形状か
らも)程遠いことが見出された。
図28は図27における設定の別のビューで、カメラ123の観点から見た(非常に大
雑把に)ミラー125のビューを示す。図28においてミラー125の反射で見られるよ
うに、カメラ123はミラー125の反射により床、少なくとも3つの垂直な壁、および
天井を見ることができる。
雑把に)ミラー125のビューを示す。図28においてミラー125の反射で見られるよ
うに、カメラ123はミラー125の反射により床、少なくとも3つの垂直な壁、および
天井を見ることができる。
図29(A)において、本映写システムを設置した部屋が周辺光の下で示される。図3
0(A)は較正されていないドーム型プロジェクタが市松格子の画像を表示するところを
図示する。表示画像には明らかに相当な量の非線形幾何学的な歪みがある。図30(B)
は同じ設定を示すが、ビュー投影行列を用いて幾何学的補正がなされている。画像は基準
カメラの位置から撮られたので、ビューにおける直線は複数の壁にわたり直線のままであ
る。
0(A)は較正されていないドーム型プロジェクタが市松格子の画像を表示するところを
図示する。表示画像には明らかに相当な量の非線形幾何学的な歪みがある。図30(B)
は同じ設定を示すが、ビュー投影行列を用いて幾何学的補正がなされている。画像は基準
カメラの位置から撮られたので、ビューにおける直線は複数の壁にわたり直線のままであ
る。
ビュー投影行列はさらに色および強度の変動とともに表示表面のアルベド/反射率特性
の不均一に対しても測光的に補正する。図31(A)は較正されていないドーム型プロジ
ェクタが均一強度の画像を表示するところを図示する。見られるように、もたらされた画
像は前方壁の左上および右上方向においてかなり暗い。図31(B)では同じ均一強度の
画像が較正されたドーム型プロジェクタで投影され、より均一な強度を実現することが示
される。
の不均一に対しても測光的に補正する。図31(A)は較正されていないドーム型プロジ
ェクタが均一強度の画像を表示するところを図示する。見られるように、もたらされた画
像は前方壁の左上および右上方向においてかなり暗い。図31(B)では同じ均一強度の
画像が較正されたドーム型プロジェクタで投影され、より均一な強度を実現することが示
される。
ビュー投影に必要なものすべてについて小型な代表があると、他の方法で較正するのが
極めて困難な可能性のある表示システムを分析するのが容易になる。また、これらのシス
テムを構築して表示および撮像ハードウェアの限度まで精密に較正させるのに役に立つ。
ここでは、前面投射型プロジェクタと組み合わせて上述のドーム型プロジェクタを用いた
いくつかの例によりT-1の有用性を示す。本例で使用されるような低予算のパノラマ・プ
ロジェクタを用いた場合でも、ビュー投影行列は人を引き付ける没入型表示設定を組み立
て得ることが見出された。
極めて困難な可能性のある表示システムを分析するのが容易になる。また、これらのシス
テムを構築して表示および撮像ハードウェアの限度まで精密に較正させるのに役に立つ。
ここでは、前面投射型プロジェクタと組み合わせて上述のドーム型プロジェクタを用いた
いくつかの例によりT-1の有用性を示す。本例で使用されるような低予算のパノラマ・プ
ロジェクタを用いた場合でも、ビュー投影行列は人を引き付ける没入型表示設定を組み立
て得ることが見出された。
さらに、図26〜図31における本例のドーム型プロジェクタ設定は図19および図2
0の没入型プロジェクタP2の代わりに用いて上述のように前面投射型プロジェクタのシ
ミュレーションを実現し、または図24(A)〜図24(C)における没入型プロジェク
タP2の代わりに用いて上述のように仮想環境を作り出すために使用できることが理解さ
れよう。
0の没入型プロジェクタP2の代わりに用いて上述のように前面投射型プロジェクタのシ
ミュレーションを実現し、または図24(A)〜図24(C)における没入型プロジェク
タP2の代わりに用いて上述のように仮想環境を作り出すために使用できることが理解さ
れよう。
本プロジェクタ−カメラ・システムを用いた没入型投影照明の例を図29(B)に示す
。見られるように、本プロジェクタ−カメラ・システムは天井に加え2つの壁にも画像を
投影することができる。この効果がビュー投影行列ΞTを用いてどのように達成されるか
の例を図32〜図34に示す。
。見られるように、本プロジェクタ−カメラ・システムは天井に加え2つの壁にも画像を
投影することができる。この効果がビュー投影行列ΞTを用いてどのように達成されるか
の例を図32〜図34に示す。
ビュー投影行列ΞTがまず上述のいずれかの方法を用いて生成される。上記に説明され
る通り、映写表面が主に平たい表面(または結合された平たい表面)を含む場合、7本の
光の垂直線および交差する7本の光の水平線を用いて完全なビュー投影行列ΞTを近似す
ることにより49以下の基準点を生成することができ、かつプロジェクタ対カメラの良好
なレベルの較正を実現することができる。この場合、映写表面は平たいと仮定されるので
、抜けている行列入力値は49の基準点から外挿することができる。
る通り、映写表面が主に平たい表面(または結合された平たい表面)を含む場合、7本の
光の垂直線および交差する7本の光の水平線を用いて完全なビュー投影行列ΞTを近似す
ることにより49以下の基準点を生成することができ、かつプロジェクタ対カメラの良好
なレベルの較正を実現することができる。この場合、映写表面は平たいと仮定されるので
、抜けている行列入力値は49の基準点から外挿することができる。
しかし、図26〜図31の例において映写表面は曲面ミラーを含むため、プロジェクタ
の解像度で完全なビュー投影行列ΞTが生成されることが好ましい。本例においてプロジ
ェクタ121はp×q個のプロジェクタ・ピクセルの解像度を有するので、プロジェクタ
121とカメラ123との間の較正はp×q個の光輸送基準点を生成することにより達成
できるはずである。
の解像度で完全なビュー投影行列ΞTが生成されることが好ましい。本例においてプロジ
ェクタ121はp×q個のプロジェクタ・ピクセルの解像度を有するので、プロジェクタ
121とカメラ123との間の較正はp×q個の光輸送基準点を生成することにより達成
できるはずである。
図32に関し、図27のプロジェクタ121はq本の一連の垂直線VL_1からVL_q
を個別的に映写表面(すなわちこの場合は図27のミラー125)に投影し、これらは個
別的かつ自動的に図27のカメラ123により取り込まれる。図33で、プロジェクタ1
21は次にp本の一連の水平線を個別的に投影し、続いてこれらも個別的かつ自動的にカ
メラ123により取り込まれる。上記に説明されるように、取り込まれた垂直および水平
線は各々個別的に組み合わされそのユニークに一致する基準点Ft(すなわち光フットプ
リント)が特定される。このプロセスはすべてのユニークな交差点が特定され(図34中
の白い丸で示される)、その光輸送情報が抽出されるまで続けられる。プロジェクタ12
1から放射される垂直および水平線は完全に垂直および水平であるが、もたらされるドー
ム型ミラー125の投影線はドーム・ミラー125の湾曲に追随することが理解されよう
。
を個別的に映写表面(すなわちこの場合は図27のミラー125)に投影し、これらは個
別的かつ自動的に図27のカメラ123により取り込まれる。図33で、プロジェクタ1
21は次にp本の一連の水平線を個別的に投影し、続いてこれらも個別的かつ自動的にカ
メラ123により取り込まれる。上記に説明されるように、取り込まれた垂直および水平
線は各々個別的に組み合わされそのユニークに一致する基準点Ft(すなわち光フットプ
リント)が特定される。このプロセスはすべてのユニークな交差点が特定され(図34中
の白い丸で示される)、その光輸送情報が抽出されるまで続けられる。プロジェクタ12
1から放射される垂直および水平線は完全に垂直および水平であるが、もたらされるドー
ム型ミラー125の投影線はドーム・ミラー125の湾曲に追随することが理解されよう
。
上述のように、ビュー投影行列ΞTの構築に表示制約が執行されることが好ましい。従
って、望ましい画像、C、があり、ミラー125経由で部屋111に望ましい画像Cを歪
みなしに表示するためにどのように投影画像Pを変換するか判定したい場合、P=ΞT*
Cと定義される画像Cの歪んだバージョンを投影する必要がある。
って、望ましい画像、C、があり、ミラー125経由で部屋111に望ましい画像Cを歪
みなしに表示するためにどのように投影画像Pを変換するか判定したい場合、P=ΞT*
Cと定義される画像Cの歪んだバージョンを投影する必要がある。
これは図35に図示され、ここで望ましい画像Cはm×n個の画像ピクセル入力値、C
1からCm×n、を含むベクトル200として書かれている。ベクトル200に(p×q)
行および(m×n)列を含む、作成されたビュー投影行列ΞTを掛け、(p×q)の変換
画像Pが生み出され、これはベクトル201として書かれ、各々プロジェクタ121の(
p×q)個のプロジェクタ・ピクセルで対応する1つに適用される(p×q)個の画像ピ
クセル入力値を含む。もたらされる変換画像Pはp行およびq列を含むように図示されて
いる。
1からCm×n、を含むベクトル200として書かれている。ベクトル200に(p×q)
行および(m×n)列を含む、作成されたビュー投影行列ΞTを掛け、(p×q)の変換
画像Pが生み出され、これはベクトル201として書かれ、各々プロジェクタ121の(
p×q)個のプロジェクタ・ピクセルで対応する1つに適用される(p×q)個の画像ピ
クセル入力値を含む。もたらされる変換画像Pはp行およびq列を含むように図示されて
いる。
図36に関し、図35からの変換画像PはプロジェクタLCD画像Pとしてプロジェク
タ121に送られ、ミラー125(図27)に投影される。部屋111にもたらされる画
像203は図36の望ましい画像Cの歪んでいない表示である。
タ121に送られ、ミラー125(図27)に投影される。部屋111にもたらされる画
像203は図36の望ましい画像Cの歪んでいない表示である。
本例の場合、カメラ123およびプロジェクタ121は変換画像Pを作成される前に較
正されなかったことが特記される。逆に変換画像Pの歪みは、カメラ−プロジェクタ対の
較正補正情報を含むビュー投影行列ΞTを用いて構築されたのでカメラ123とプロジェ
クタ121間で較正されていないことに関連する問題を本質的に補正している。
正されなかったことが特記される。逆に変換画像Pの歪みは、カメラ−プロジェクタ対の
較正補正情報を含むビュー投影行列ΞTを用いて構築されたのでカメラ123とプロジェ
クタ121間で較正されていないことに関連する問題を本質的に補正している。
望ましい画像がビデオ画像である場合、ビュー投影行列ΞTはビデオ画像に適用される
ことが理解されよう。つまり、ビデオ画像は順に並べられた複数のスチル画像を含むので
、ビュー投影行列変換ΞTを順序付けられたスチル画像の各々に適用して変換ビデオ投影
を実現することになる。
ことが理解されよう。つまり、ビデオ画像は順に並べられた複数のスチル画像を含むので
、ビュー投影行列変換ΞTを順序付けられたスチル画像の各々に適用して変換ビデオ投影
を実現することになる。
さらに強調すべきは、プロジェクタ121のFOVとカメラ123のFOVとは一般的
に異なっており、重なっても重ならなくても良い点である。2つのFOVが相当重なる場
合、カメラ123により取り込まれた画像は上述の方法に類似した方法でプロジェクタ1
21からの投影画像の質を向上させるためのフィードバックとして用いることができる。
例えば、カメラ123からプロジェクタ121へのフィードバックを用いて表示表面の反
射特性および形状の変化(カメラ123から見た)を補正し、投影画像が平たく白い表面
に投影されているが如く見えるようにすることができる。
に異なっており、重なっても重ならなくても良い点である。2つのFOVが相当重なる場
合、カメラ123により取り込まれた画像は上述の方法に類似した方法でプロジェクタ1
21からの投影画像の質を向上させるためのフィードバックとして用いることができる。
例えば、カメラ123からプロジェクタ121へのフィードバックを用いて表示表面の反
射特性および形状の変化(カメラ123から見た)を補正し、投影画像が平たく白い表面
に投影されているが如く見えるようにすることができる。
カメラ123のFOVはプロジェクタ121のFOVで覆われない領域を含むこともで
きる。例えば、プロジェクタ121が図29(A)および図29(B)に示すテスト部屋
の前および横の壁を覆うのに対し、カメラはプロジェクタFOV外の、場合によって見る
人たちがいる領域を含む、領域を取り込むことができる。これによりシステムは見る人達
または見る人達のポインティング・デバイスを検出し追跡することにより見る人達に適応
しインタラクトすることができる。カメラ123が例えばリモコンに搭載された小型の光
を追跡してユーザ・インタラクションを促進することも可能かもしれない。
きる。例えば、プロジェクタ121が図29(A)および図29(B)に示すテスト部屋
の前および横の壁を覆うのに対し、カメラはプロジェクタFOV外の、場合によって見る
人たちがいる領域を含む、領域を取り込むことができる。これによりシステムは見る人達
または見る人達のポインティング・デバイスを検出し追跡することにより見る人達に適応
しインタラクトすることができる。カメラ123が例えばリモコンに搭載された小型の光
を追跡してユーザ・インタラクションを促進することも可能かもしれない。
図37に関し、図26の構成に基づくが天井据付操作を対象とした別の構成が図示され
る。図26に類似した要素はすべて類似した参照番号を有し、上記に説明される。
る。図26に類似した要素はすべて類似した参照番号を有し、上記に説明される。
図38および図39において、さらに2つの別の構成が示される。図38および図39
において図19に類似した要素はすべて類似した参照番号を有し、上記に説明される。
において図19に類似した要素はすべて類似した参照番号を有し、上記に説明される。
図38では平面ミラー141が光路を折ることによりプロジェクタ121およびカメラ
123を曲面ミラー125の下に配置することができ、より小さいフットプリントを達成
している。図39は展示ブース操作のためにプロジェクタ121、カメラ123、曲面ミ
ラー125、および平面ミラー141をブース143内に入れるブース用設計を示す。こ
の構成を用いると、同時に2つの投影画像、すなわち第1表示表面A上の第1の前方(ま
たは後方)投影画像および第2表示表面B上の第2の後方投影画像を実現することができ
る。
123を曲面ミラー125の下に配置することができ、より小さいフットプリントを達成
している。図39は展示ブース操作のためにプロジェクタ121、カメラ123、曲面ミ
ラー125、および平面ミラー141をブース143内に入れるブース用設計を示す。こ
の構成を用いると、同時に2つの投影画像、すなわち第1表示表面A上の第1の前方(ま
たは後方)投影画像および第2表示表面B上の第2の後方投影画像を実現することができ
る。
上述の設計のいくつかにおいて、プロジェクタおよびカメラは共通の光心を有しない。
しかし、光心が同配列されたプロジェクタ−カメラ対を設計することは可能である。同配
列光心を有するシステムはプロジェクタとカメラが全く同一の視野を有することができる
が、同配列でない光心を有するシステムは環境の3D再現ができる可能性がある。
しかし、光心が同配列されたプロジェクタ−カメラ対を設計することは可能である。同配
列光心を有するシステムはプロジェクタとカメラが全く同一の視野を有することができる
が、同配列でない光心を有するシステムは環境の3D再現ができる可能性がある。
ここまでは、提供された例は1台のカメラと1台のプロジェクタで構成されていたが、
上記に示唆するように、複数のカメラおよびプロジェクタの組み合わせを使用することも
できる。これは異なった視野を有する2台以上のプロジェクタからの2つ以上の投影画像
をどのようにシームレスに統合もしくは組み合わせるか、または複数のプロジェクタを組
み合わせてどのように大型視野の表示を作成するかという問題を呈する。従って複数のプ
ロジェクタを用いることにより可能になる視覚効果をいくつか説明する前に、まず複数の
プロジェクタをどのようにシームレスにいっしょに使えるかを考察することが有用であろ
う。つまり、本発明を1台のプロジェクタと1台のカメラを含むシステムに適用された場
合の効果は複数のプロジェクタおよび1台(またはそれ以上)のカメラを有するシステム
にも拡大できるのである。
上記に示唆するように、複数のカメラおよびプロジェクタの組み合わせを使用することも
できる。これは異なった視野を有する2台以上のプロジェクタからの2つ以上の投影画像
をどのようにシームレスに統合もしくは組み合わせるか、または複数のプロジェクタを組
み合わせてどのように大型視野の表示を作成するかという問題を呈する。従って複数のプ
ロジェクタを用いることにより可能になる視覚効果をいくつか説明する前に、まず複数の
プロジェクタをどのようにシームレスにいっしょに使えるかを考察することが有用であろ
う。つまり、本発明を1台のプロジェクタと1台のカメラを含むシステムに適用された場
合の効果は複数のプロジェクタおよび1台(またはそれ以上)のカメラを有するシステム
にも拡大できるのである。
プロジェクタ−カメラ・システムを較正し、上述の「ビュー投影問題」を解決するため
のノンパラメトリック方法の開発は上記で考察している。つまり、カメラが望ましいビュ
ーを見るように、プロジェクタがどのように場面を照明すべきかを定義すること(すなわ
ちプロジェクタが場面に何を投影すべきかを定義すること)のビュー投影問題は上記で考
察される。要約すると、上述の開発はまず、プロジェクタから投影された画像pをカメラ
で取り込まれた画像cにc=Tpという関係で関連付ける光輸送行列Tについて複数の構
成を提供した。次に中間作業行列Ξが次の関係により、埋められると定義された。
のノンパラメトリック方法の開発は上記で考察している。つまり、カメラが望ましいビュ
ーを見るように、プロジェクタがどのように場面を照明すべきかを定義すること(すなわ
ちプロジェクタが場面に何を投影すべきかを定義すること)のビュー投影問題は上記で考
察される。要約すると、上述の開発はまず、プロジェクタから投影された画像pをカメラ
で取り込まれた画像cにc=Tpという関係で関連付ける光輸送行列Tについて複数の構
成を提供した。次に中間作業行列Ξが次の関係により、埋められると定義された。
はビュー投影行列ΞTを次のように定義できることが示され、
上記に説明されたとおり、表示制約は情報表示を目的とした通常のプロジェクタとカメ
ラの設定において、別個のプロジェクタ・ピクセルから放射された任意の2つの光線は通
常カメラ・センサのピクセル・アレイにおいて別々の部分に当たる、すなわち別個の光線
の各々からの光に当たったカメラ・ピクセルiにあまり重複がないという観察に由来する
。これはTの列が互いに直交していることを意味し、方程式(1)の正規化プロセスによ
りTの逆をもたらすことができる。さらに上記に説明されるように、表示制約が自然に守
られない状況において、Tの構成を修正し、Tの各行における最も明るいピクセルが別個
の光線によりもたらされる光フットプリントと一部であると宣言し、同じTの行の他のピ
クセルすべてがゼロ値の入力であると宣言することにより表示制約を人工的に強要するこ
とができる。この操作によりTは強制的に直交にされ、方程式(1)の適用が可能になる
。
ラの設定において、別個のプロジェクタ・ピクセルから放射された任意の2つの光線は通
常カメラ・センサのピクセル・アレイにおいて別々の部分に当たる、すなわち別個の光線
の各々からの光に当たったカメラ・ピクセルiにあまり重複がないという観察に由来する
。これはTの列が互いに直交していることを意味し、方程式(1)の正規化プロセスによ
りTの逆をもたらすことができる。さらに上記に説明されるように、表示制約が自然に守
られない状況において、Tの構成を修正し、Tの各行における最も明るいピクセルが別個
の光線によりもたらされる光フットプリントと一部であると宣言し、同じTの行の他のピ
クセルすべてがゼロ値の入力であると宣言することにより表示制約を人工的に強要するこ
とができる。この操作によりTは強制的に直交にされ、方程式(1)の適用が可能になる
。
このようにビュー投影行列ΞTは、望ましいビューcが与えられた場合、p=ΞTであり
、pを投影すると基準カメラから見た場合cと同じ外観を有する場面を実現する画像p=
ΞTを見出すという、ビュー投影問題を解決する。
、pを投影すると基準カメラから見た場合cと同じ外観を有する場面を実現する画像p=
ΞTを見出すという、ビュー投影問題を解決する。
実際上、大型視野表示装置など多くの用途は個別プロジェクタ各々の限られた視野のた
め1台より多いプロジェクタの使用を必要とする。一般的に、これらのプロジェクタの視
野は互いに部分的に重なり合う。このような2台以上のプロジェクタを含む表示システム
を用いてビュー投影を達成するには、個々のプロジェクタのビュー投影をモザイク化して
望ましいカメラビューを生成する必要がある。本発明を用いたモザイク化の例が2台のプ
ロジェクタ・システムを使用して提示される。より多くのプロジェクタを有するシステム
への拡張は簡単なので、モザイク表示を構築する本方法は3台以上のプロジェクタを有す
る表示システムにも拡張できることが理解されよう。つまり、第1プロジェクタからの第
1投影画像を第2プロジェクタからの第2投影画像と組み合わせるという、以下に説明す
るプロセスは第2プロジェクタからの第2投影画像を第3プロジェクタからの第3投影画
像を組み合わせるのに適用でき、第1、第2、および第3投影画像を組み合わせたモザイ
ク画像が作成される。同様に同じプロセスが第3投影画像を第4プロジェクタからの第4
投影画像と組み合わせるのに適用でき、第1、第2、第3、および第4投影画像を組み合
わせたモザイク画像が作成される。
め1台より多いプロジェクタの使用を必要とする。一般的に、これらのプロジェクタの視
野は互いに部分的に重なり合う。このような2台以上のプロジェクタを含む表示システム
を用いてビュー投影を達成するには、個々のプロジェクタのビュー投影をモザイク化して
望ましいカメラビューを生成する必要がある。本発明を用いたモザイク化の例が2台のプ
ロジェクタ・システムを使用して提示される。より多くのプロジェクタを有するシステム
への拡張は簡単なので、モザイク表示を構築する本方法は3台以上のプロジェクタを有す
る表示システムにも拡張できることが理解されよう。つまり、第1プロジェクタからの第
1投影画像を第2プロジェクタからの第2投影画像と組み合わせるという、以下に説明す
るプロセスは第2プロジェクタからの第2投影画像を第3プロジェクタからの第3投影画
像を組み合わせるのに適用でき、第1、第2、および第3投影画像を組み合わせたモザイ
ク画像が作成される。同様に同じプロセスが第3投影画像を第4プロジェクタからの第4
投影画像と組み合わせるのに適用でき、第1、第2、第3、および第4投影画像を組み合
わせたモザイク画像が作成される。
重なり合う視野(FOV)および双方のプロジェクタのスーパーセットとなるFOVを
有するカメラを含むマルチ・プロジェクタ表示システムを検討する。各々各プロジェクタ
画像p1およびp2をカメラで取り込まれた対応画像c1およびc2に関連付けつ光輸送行列
T1およびT2(別個に決定)は次の方程式をもたらす。
有するカメラを含むマルチ・プロジェクタ表示システムを検討する。各々各プロジェクタ
画像p1およびp2をカメラで取り込まれた対応画像c1およびc2に関連付けつ光輸送行列
T1およびT2(別個に決定)は次の方程式をもたらす。
双方のプロジェクタの視野、FOV、にわたる画像を表示するには、複合画像c、がシ
ームレスな形でc1およびc2を組み合わせるようなc1およびc2を見出す必要がある。つ
まり、c=c1+c2と定義される複合画像cはカメラから見た望ましい画像である。より
具体的に、望ましい複合画像cを表示するために次の線形方程式を解いて適当なプロジェ
クタ画像p1およびp2を演算する必要がある。
ームレスな形でc1およびc2を組み合わせるようなc1およびc2を見出す必要がある。つ
まり、c=c1+c2と定義される複合画像cはカメラから見た望ましい画像である。より
具体的に、望ましい複合画像cを表示するために次の線形方程式を解いて適当なプロジェ
クタ画像p1およびp2を演算する必要がある。
このような設定において、カメラ・ピクセルは1台のプロジェクタからの1個のプロジ
ェクタ・ピクセルにより、または各々のプロジェクタからの2個のプロジェクタ・ピクセ
ルにより同時に、点灯される。前者の場合、カメラ・ピクセルはp1またはp2における対
応プロジェクタ・ピクセルについて線形方程式を呈する。カメラ・ピクセルが2台のプロ
ジェクタのFOVで重なる部分に当たる後者の場合、p1またはp2における2個の対応プ
ロジェクタ・ピクセルについて線形方程式を呈する。各プロジェクタ・ピクセルはいくつ
かのカメラ・ピクセルを覆うので、いくつかの線形方程式により制約される。従ってすべ
てのカメラ・ピクセルからのこのような方程式はプロジェクタ画像p1またhp2に対し制
約過剰の線形システムを形成する。
ェクタ・ピクセルにより、または各々のプロジェクタからの2個のプロジェクタ・ピクセ
ルにより同時に、点灯される。前者の場合、カメラ・ピクセルはp1またはp2における対
応プロジェクタ・ピクセルについて線形方程式を呈する。カメラ・ピクセルが2台のプロ
ジェクタのFOVで重なる部分に当たる後者の場合、p1またはp2における2個の対応プ
ロジェクタ・ピクセルについて線形方程式を呈する。各プロジェクタ・ピクセルはいくつ
かのカメラ・ピクセルを覆うので、いくつかの線形方程式により制約される。従ってすべ
てのカメラ・ピクセルからのこのような方程式はプロジェクタ画像p1またhp2に対し制
約過剰の線形システムを形成する。
しかし、2台のプロジェクタ・システムの場合、上述の単独プロジェクタ・システムで
できるようにビュー投影行列を直接演算することができなくなる(すなわち[T1T2]の
逆を直接演算できない)。異なったプロジェクタからのピクセルの投影は重なり合うこと
ができるため、表示制約も複数のプロジェクタ間では成立しない、すなわちT1における
列はT2における列と必ずしも直交せず、従って[T1T2]に対するビュー投影行列を演
算するのに方程式(1)を用いることができない。従って、方程式(2)の線形システム
を直接解く代わりに、収束するまで次の2工程を反復する交互性の線形解法が開発された
。
1.p2の現行推定を仮定し、p1=(Ξ1)T*(c−T2p2)を演算
2.p1の現行推定を仮定し、p2=(Ξ2)T*(c−T1p1)を演算
できるようにビュー投影行列を直接演算することができなくなる(すなわち[T1T2]の
逆を直接演算できない)。異なったプロジェクタからのピクセルの投影は重なり合うこと
ができるため、表示制約も複数のプロジェクタ間では成立しない、すなわちT1における
列はT2における列と必ずしも直交せず、従って[T1T2]に対するビュー投影行列を演
算するのに方程式(1)を用いることができない。従って、方程式(2)の線形システム
を直接解く代わりに、収束するまで次の2工程を反復する交互性の線形解法が開発された
。
1.p2の現行推定を仮定し、p1=(Ξ1)T*(c−T2p2)を演算
2.p1の現行推定を仮定し、p2=(Ξ2)T*(c−T1p1)を演算
ここで、直前で述べた式(Ξ1)Tおよび(Ξ2)Tは2台のプロジェクタのビュー投影行
列で、最初の工程においてp2はゼロに等しく設定される。ビュー投影行列はプロジェク
タとカメラとの画像間の対応とマッピングを自然に伝えるので、このプロセスは収束する
まで数回(典型的には各々5回以下)の反復しか必要としない。すなわち、p1は第1の
算出画像を、又p2は第2の算出画像に収束する。
列で、最初の工程においてp2はゼロに等しく設定される。ビュー投影行列はプロジェク
タとカメラとの画像間の対応とマッピングを自然に伝えるので、このプロセスは収束する
まで数回(典型的には各々5回以下)の反復しか必要としない。すなわち、p1は第1の
算出画像を、又p2は第2の算出画像に収束する。
図40に関し、このプロセスを実施したシステムの例は第1プロジェクタ−カメラ・シ
ステム対221および第2プロジェクタ−カメラ・システム対223を含む。第1カメラ
・システム対221は、上述方法のいずれかを用いて構築された第1ビュー投影行列Ξ1
により関連付けられた第1プロジェクタ21aおよび第1カメラ25aを含む。同様に、
第2カメラ・システム対223は、同じく上述方法のいずれかを用いて構築された第2ビ
ュー投影行列Ξ2により関連付けられた第2プロジェクタ21bおよび第2カメラ25b
を含む。さらにΞ1およびΞ2は各々独立して生成され、Ξ1が生成される間第2プロジェ
クタ・システム対223は消されており、Ξ2が生成される間第1プロジェクタ−カメラ
・システム対221は消されていることが理解されよう。
ステム対221および第2プロジェクタ−カメラ・システム対223を含む。第1カメラ
・システム対221は、上述方法のいずれかを用いて構築された第1ビュー投影行列Ξ1
により関連付けられた第1プロジェクタ21aおよび第1カメラ25aを含む。同様に、
第2カメラ・システム対223は、同じく上述方法のいずれかを用いて構築された第2ビ
ュー投影行列Ξ2により関連付けられた第2プロジェクタ21bおよび第2カメラ25b
を含む。さらにΞ1およびΞ2は各々独立して生成され、Ξ1が生成される間第2プロジェ
クタ・システム対223は消されており、Ξ2が生成される間第1プロジェクタ−カメラ
・システム対221は消されていることが理解されよう。
第1プロジェクタ−カメラ・システム対221は第1投影領域Reg_1を定義する第
1視野FOV_1を有し、第2プロジェクタ−カメラ・システム対223は第2投影領域
Reg_2を定義する第2視野FOV_2を有する。図示されるように、領域Reg_1と
Reg_2は網目印で特定される区域内で互いに重なり合う。この重複領域はさらにRe
g_1+2という記号が付けられている。重複領域Reg_1+2のサイズは説明の便宜上
大きくされており、小さい重複領域の方がより典型的であるが、重複の量は本用途にとっ
て重要ではないことが理解されよう。
1視野FOV_1を有し、第2プロジェクタ−カメラ・システム対223は第2投影領域
Reg_2を定義する第2視野FOV_2を有する。図示されるように、領域Reg_1と
Reg_2は網目印で特定される区域内で互いに重なり合う。この重複領域はさらにRe
g_1+2という記号が付けられている。重複領域Reg_1+2のサイズは説明の便宜上
大きくされており、小さい重複領域の方がより典型的であるが、重複の量は本用途にとっ
て重要ではないことが理解されよう。
式p1=(Ξ1)T*(c−T2p2)およびp2=(Ξ2)T*(c−T1p1)は、幾何学的
および測光的補正を考慮したものであり、従って隣接する表示画像間の融合に関するニー
ズに対処する。上記の通り、光輸送行列T(および従ってビュー投影行列Ξ)が幾何学的
情報を盛り込む。更に、各カメラのピクセル(例えば、図2のFt1または図5(A)の
Ft2の光フットプリントを構成する白またはグレーのブロック)の3色(RGB)のサ
ブコンポーネントの光強度のバリエーションを含む光フットプリントから、光輸送行列T
のための光フットプリント情報を特定するときに完全な測光情報も得られる。しかしなが
ら、もし光輸送行列Tが2元のオン・オフ様式であった場合、すなわち、ある光フットプ
リント内のピクセルが全て完全にオンで(0から255までの典型的な階調のうち255
の光強度を以って)その光フットプリントの外のピクセルが完全にオフであった場合、こ
のオン・オフ・タイプの光輸送行列Tの構造はなお幾何学情報を含み、p¬1について上
記式(1)およびp2について式(2)は、なお複数の投影画像の幾何学的モザイク化が
可能であるが、測光情報を多く持たない。そのような場合には、追加的なステップが複数
の投影画像の光強度を融合させるのに役立つ。
および測光的補正を考慮したものであり、従って隣接する表示画像間の融合に関するニー
ズに対処する。上記の通り、光輸送行列T(および従ってビュー投影行列Ξ)が幾何学的
情報を盛り込む。更に、各カメラのピクセル(例えば、図2のFt1または図5(A)の
Ft2の光フットプリントを構成する白またはグレーのブロック)の3色(RGB)のサ
ブコンポーネントの光強度のバリエーションを含む光フットプリントから、光輸送行列T
のための光フットプリント情報を特定するときに完全な測光情報も得られる。しかしなが
ら、もし光輸送行列Tが2元のオン・オフ様式であった場合、すなわち、ある光フットプ
リント内のピクセルが全て完全にオンで(0から255までの典型的な階調のうち255
の光強度を以って)その光フットプリントの外のピクセルが完全にオフであった場合、こ
のオン・オフ・タイプの光輸送行列Tの構造はなお幾何学情報を含み、p¬1について上
記式(1)およびp2について式(2)は、なお複数の投影画像の幾何学的モザイク化が
可能であるが、測光情報を多く持たない。そのような場合には、追加的なステップが複数
の投影画像の光強度を融合させるのに役立つ。
複数のプロジェクタの光強度を融合するための、この追加的なステップが有用な別の状
況は、光輸送行列Tが限られた数の光フットプリント情報から生成された場合である。上
で説明したように、映写表面(または背景)が平坦な場合は光輸送行列Tが、限られた数
の光フットプリントを生成する、限られた数の交差パターンを使って予測し得る。この映
写表面が平坦なので、光輸送行列T内の欠落情報はホモグラフィー技術を用いて推定され
得る。このアプローチは完全な幾何学的情報は提供するが、特定された有限の光フットプ
リント間の測光情報については確信が持てない。もし映写表面が単色(典型的な白い映写
生地など)であることが分かっている場合は、白情報を、真に特定された光フットプリン
ト間に推定された全ての光フットプリント情報のための測光情報として挿入することがで
きる。あるいは、もし映写表面がほぼ均一な色の場合は、真に生成された、いずれの(ま
たは2以上の)光フットプリント情報から重要な測光情報を得ることができ、推定された
全ての光フットプリント情報の測光情報として、得られたこの重要な測光情報を入力する
ことができる。
況は、光輸送行列Tが限られた数の光フットプリント情報から生成された場合である。上
で説明したように、映写表面(または背景)が平坦な場合は光輸送行列Tが、限られた数
の光フットプリントを生成する、限られた数の交差パターンを使って予測し得る。この映
写表面が平坦なので、光輸送行列T内の欠落情報はホモグラフィー技術を用いて推定され
得る。このアプローチは完全な幾何学的情報は提供するが、特定された有限の光フットプ
リント間の測光情報については確信が持てない。もし映写表面が単色(典型的な白い映写
生地など)であることが分かっている場合は、白情報を、真に特定された光フットプリン
ト間に推定された全ての光フットプリント情報のための測光情報として挿入することがで
きる。あるいは、もし映写表面がほぼ均一な色の場合は、真に生成された、いずれの(ま
たは2以上の)光フットプリント情報から重要な測光情報を得ることができ、推定された
全ての光フットプリント情報の測光情報として、得られたこの重要な測光情報を入力する
ことができる。
更に、もし全てのピクセル情報(推定された光輸送行列Tではなく完全な光輸送行列T
)を用いて生成された光輸送行列を持っていたとしても、投影された画像が、複数のプロ
ジェクタの光強度を融合するためのこの追加ステップを式p1=(Ξ1)T*(c−T2p2)
およびp2=(Ξ2)T*(c−T1p1)の色融合能力への追加パラメータとして追加する
ことの利益を受けることが更に見出された。
)を用いて生成された光輸送行列を持っていたとしても、投影された画像が、複数のプロ
ジェクタの光強度を融合するためのこの追加ステップを式p1=(Ξ1)T*(c−T2p2)
およびp2=(Ξ2)T*(c−T1p1)の色融合能力への追加パラメータとして追加する
ことの利益を受けることが更に見出された。
この追加的な光融合技術を示す複数の投影領域の簡略化されたビューを図41に示す。
前と同様に、領域Reg_1はプロジェクタ・カメラ・システム対221が提供する投影
領域で、領域Reg_2はプロジェクタ・カメラ・システム対223が提供する投影領域
である。説明の便宜上、領域Reg_1は垂直な破線で示され、領域Reg_2は水平な破
線で示される。重複領域Reg_1+2はしたがって垂直および水平な破線の交差で示さ
れる。特に興味があるのは、領域Reg_1、Reg_2および重複領域Reg_1+2の
部分にかかる濃い輪郭で示された、所望の投影領域225の定義である。所望の投影領域
225は所望の組合せ画像が表示される領域を定義する。所望の投影領域225はプロジ
ェクタ・カメラ・システム対221および223の両方から画像の寄与がある。所望の投
影領域225のうち、領域Reg_Aはプロジェクタ・カメラ・システム対221のみに
よって提供された投影領域225の部分を特定し、領域Reg_Cはプロジェクタ・カメ
ラ・システム対223のみによって提供された投影領域225の部分を特定し、領域Re
g_Bはプロジェクタ・カメラ・システム対221および223の組合せによって提供さ
れた投影領域225の部分を特定する。領域Reg_Bもプロジェクタ・カメラ・システ
ム対221および223のいずれか一方のみによって提供され得るが、一つのプロジェク
タ・カメラ・システム対によって提供された画像が終わり第2のプロジェクタ・カメラ・
システム対によって投影された第2の画像が始まる画像の境界での視覚的なアーチファク
トはプロジェクタ・カメラ・システム対間の遷移部分を融合することによって軽減または
排除され得ることが理解されよう。したがって、本実施形態では、プロジェクタ・カメラ
・システム対221と223の両方が領域Reg_B内に作成された画像に貢献する。目
先の問題は各プロジェクタ・カメラ・システム対221と223が領域Reg_B内にど
れほど多くの画像を提供するかである。
前と同様に、領域Reg_1はプロジェクタ・カメラ・システム対221が提供する投影
領域で、領域Reg_2はプロジェクタ・カメラ・システム対223が提供する投影領域
である。説明の便宜上、領域Reg_1は垂直な破線で示され、領域Reg_2は水平な破
線で示される。重複領域Reg_1+2はしたがって垂直および水平な破線の交差で示さ
れる。特に興味があるのは、領域Reg_1、Reg_2および重複領域Reg_1+2の
部分にかかる濃い輪郭で示された、所望の投影領域225の定義である。所望の投影領域
225は所望の組合せ画像が表示される領域を定義する。所望の投影領域225はプロジ
ェクタ・カメラ・システム対221および223の両方から画像の寄与がある。所望の投
影領域225のうち、領域Reg_Aはプロジェクタ・カメラ・システム対221のみに
よって提供された投影領域225の部分を特定し、領域Reg_Cはプロジェクタ・カメ
ラ・システム対223のみによって提供された投影領域225の部分を特定し、領域Re
g_Bはプロジェクタ・カメラ・システム対221および223の組合せによって提供さ
れた投影領域225の部分を特定する。領域Reg_Bもプロジェクタ・カメラ・システ
ム対221および223のいずれか一方のみによって提供され得るが、一つのプロジェク
タ・カメラ・システム対によって提供された画像が終わり第2のプロジェクタ・カメラ・
システム対によって投影された第2の画像が始まる画像の境界での視覚的なアーチファク
トはプロジェクタ・カメラ・システム対間の遷移部分を融合することによって軽減または
排除され得ることが理解されよう。したがって、本実施形態では、プロジェクタ・カメラ
・システム対221と223の両方が領域Reg_B内に作成された画像に貢献する。目
先の問題は各プロジェクタ・カメラ・システム対221と223が領域Reg_B内にど
れほど多くの画像を提供するかである。
説明の便宜上、図42は領域Reg_1と、その一部でプロジェクタ・カメラ・システ
ム対221によって提供され、領域Reg_B内を含む所望の投影領域225を示す。垂
直な破線は、濃い色で示された部分の領域Reg_1は所望の投影領域225に寄与しな
いことを示す。矢印1A、1B、1Cおよび1Dは、正規化光強度が所望の投影領域22
5の境界から領域Reg_Bに向かって移動するのにつれていかに変化し、プロジェクタ
・カメラ・システム対223によって提供された所望の投影領域225の境界に近づくか
を示す。領域Reg_1aは組合せによる領域Reg_Bの外にあり、プロジェクタ・カメ
ラ・システム対221のみによって提供される。領域Reg_Bに入ると、矢印1Aは画
像強度(the image intensity)が当初プロジェクタ・カメラ・システム対221により
強く提供されることを示すが、矢印1Aに沿って領域Reg_Bの右の境界の方向に左か
ら右に横切るにつれて光強度は低下する。矢印1Dは領域Reg_Bの右端では当初プロ
ジェクタ・カメラ・システム対221からは光強度は提供されないが、領域Reg_B内
で右から左へ横切るにつれてプロジェクタ・カメラ・システム対221の光強度は増すこ
とを示す。同様に、矢印1Bは矢印1B上を所望の投影領域225の境界から離れる方向
に横切るにつれて光強度が低下することを示す。同様に、矢印1Cは所望の投影領域22
5の境界から離れる方向に横切るにつれて光強度が低下することを示す。
ム対221によって提供され、領域Reg_B内を含む所望の投影領域225を示す。垂
直な破線は、濃い色で示された部分の領域Reg_1は所望の投影領域225に寄与しな
いことを示す。矢印1A、1B、1Cおよび1Dは、正規化光強度が所望の投影領域22
5の境界から領域Reg_Bに向かって移動するのにつれていかに変化し、プロジェクタ
・カメラ・システム対223によって提供された所望の投影領域225の境界に近づくか
を示す。領域Reg_1aは組合せによる領域Reg_Bの外にあり、プロジェクタ・カメ
ラ・システム対221のみによって提供される。領域Reg_Bに入ると、矢印1Aは画
像強度(the image intensity)が当初プロジェクタ・カメラ・システム対221により
強く提供されることを示すが、矢印1Aに沿って領域Reg_Bの右の境界の方向に左か
ら右に横切るにつれて光強度は低下する。矢印1Dは領域Reg_Bの右端では当初プロ
ジェクタ・カメラ・システム対221からは光強度は提供されないが、領域Reg_B内
で右から左へ横切るにつれてプロジェクタ・カメラ・システム対221の光強度は増すこ
とを示す。同様に、矢印1Bは矢印1B上を所望の投影領域225の境界から離れる方向
に横切るにつれて光強度が低下することを示す。同様に、矢印1Cは所望の投影領域22
5の境界から離れる方向に横切るにつれて光強度が低下することを示す。
言い換えれば、画像における光強度の変動は定義された最高光強度値、すなわち正規化
値、の係数として表現することができる。この正規化値に1を掛けると定義された最高光
強度値が提供され、同じ正規化値に係数0.5を掛けることによりその定義された最大光
強度値の半分の値が提供される。所与の領域内で正規化値を変更することによって、与え
られた領域内での画像の明るさを変更することができる。本例の場合、境界においてピク
セルの光強度を急に変えるよりむしろ画像の境界を緩やかに融合することによって、境界
における望まれない光のアーチファクトが回避される。
値、の係数として表現することができる。この正規化値に1を掛けると定義された最高光
強度値が提供され、同じ正規化値に係数0.5を掛けることによりその定義された最大光
強度値の半分の値が提供される。所与の領域内で正規化値を変更することによって、与え
られた領域内での画像の明るさを変更することができる。本例の場合、境界においてピク
セルの光強度を急に変えるよりむしろ画像の境界を緩やかに融合することによって、境界
における望まれない光のアーチファクトが回避される。
プロジェクタ・カメラ・システム対223の視点からの類似の構図が図43に示される
。再び、水平な破線は、領域Reg_2の部分で濃く色づけされた部分が所望の投影領域
225に寄与しないことが示される。以前と同様に、領域Reg_Bは、プロジェクタ・
カメラ・システム対221と223の両方の組合せによって画像が提供される融合エリア
を示し、領域Reg_2Aは投影領域225のこの部分がプロジェクタ・カメラ・システ
ム対223のみによって提供されることを示す。矢印2A、2B、2Cおよび2Dは、領
域Reg_B内で領域Reg_2Aから、投影領域225の境界に向けて、およびプロジェ
クタ・カメラ・システム対221で提供された部分の所望の投影領域225に向けて、正
規化光強度がいかに変化するかを示す。領域Reg_2aは組合せによる領域Reg_Bの
外に位置し、プロジェクタ・カメラ・システム対223のみによって提供される。領域R
eg_Bに入ると、矢印2Aは画像強度(the image intensity)が当初プロジェクタ・カ
メラ・システム対223により強く提供されることを示すが、矢印2Aに沿って領域Re
g_Bの左の境界の方向に右から左へ横切るにつれて光強度は低下する。矢印2Dは領域
Reg_Bの左端では当初プロジェクタ・カメラ・システム対223からは光強度は提供
されないが、領域Reg_B内で左から右へ横切るにつれてプロジェクタ・カメラ・シス
テム対223の光強度が増すことを示す。同様に、矢印2Bは領域Reg_B内で矢印2
B上を所望の投影領域225の境界から離れる方向に横切るにつれて光強度が低下するこ
とを示す。同様に、矢印2Cは矢印2C上を所望の投影領域225の境界から離れる方向
に横切るにつれて光強度が低下することを示す。
。再び、水平な破線は、領域Reg_2の部分で濃く色づけされた部分が所望の投影領域
225に寄与しないことが示される。以前と同様に、領域Reg_Bは、プロジェクタ・
カメラ・システム対221と223の両方の組合せによって画像が提供される融合エリア
を示し、領域Reg_2Aは投影領域225のこの部分がプロジェクタ・カメラ・システ
ム対223のみによって提供されることを示す。矢印2A、2B、2Cおよび2Dは、領
域Reg_B内で領域Reg_2Aから、投影領域225の境界に向けて、およびプロジェ
クタ・カメラ・システム対221で提供された部分の所望の投影領域225に向けて、正
規化光強度がいかに変化するかを示す。領域Reg_2aは組合せによる領域Reg_Bの
外に位置し、プロジェクタ・カメラ・システム対223のみによって提供される。領域R
eg_Bに入ると、矢印2Aは画像強度(the image intensity)が当初プロジェクタ・カ
メラ・システム対223により強く提供されることを示すが、矢印2Aに沿って領域Re
g_Bの左の境界の方向に右から左へ横切るにつれて光強度は低下する。矢印2Dは領域
Reg_Bの左端では当初プロジェクタ・カメラ・システム対223からは光強度は提供
されないが、領域Reg_B内で左から右へ横切るにつれてプロジェクタ・カメラ・シス
テム対223の光強度が増すことを示す。同様に、矢印2Bは領域Reg_B内で矢印2
B上を所望の投影領域225の境界から離れる方向に横切るにつれて光強度が低下するこ
とを示す。同様に、矢印2Cは矢印2C上を所望の投影領域225の境界から離れる方向
に横切るにつれて光強度が低下することを示す。
プロジェクタ・カメラ・システム対221によって投影された各ピクセルに対して投影
されたピクセルの領域Reg_1と領域Reg_Bの左、右、上、および下の境界への近接
度が判断される。これらのパラメータは投影されたピクセルの正規化光強度に影響する。
プロジェクタ・カメラ・システム対221から投影されたピクセルが領域Reg_1のい
ずれの境界に近いほど、その境界にそのパラメータが高い寄与をし、より明るい正規化強
度に貢献する。プロジェクタ・カメラ・システム対223から投影されたピクセルも領域
Reg_2と領域Reg_Bの左、右、上、および下の境界への近接度が判断される点で同
じである。更に、境界近くに投影されたピクセルの光強度は、境界で光強度が急に変化す
るのを避けるため境界に近づくにつれて調整される。
されたピクセルの領域Reg_1と領域Reg_Bの左、右、上、および下の境界への近接
度が判断される。これらのパラメータは投影されたピクセルの正規化光強度に影響する。
プロジェクタ・カメラ・システム対221から投影されたピクセルが領域Reg_1のい
ずれの境界に近いほど、その境界にそのパラメータが高い寄与をし、より明るい正規化強
度に貢献する。プロジェクタ・カメラ・システム対223から投影されたピクセルも領域
Reg_2と領域Reg_Bの左、右、上、および下の境界への近接度が判断される点で同
じである。更に、境界近くに投影されたピクセルの光強度は、境界で光強度が急に変化す
るのを避けるため境界に近づくにつれて調整される。
例えば図41において、領域Reg_Aで矢印A1に沿って左から右に進むとプロジェ
クタ−カメラ・システム対221により完全に提供される望ましい投影領域225の左の
境界から、プロジェクタ−カメラ・システム対221および223双方により提供される
領域Reg_2および領域Reg_Bの左の境界に移ることになる。矢印1Aに沿って左か
ら右に進むと領域Reg_1の左の境界から離れて行くが、画像はプロジェクタ−カメラ
・システム対221のみによって提供され、プロジェクタ・カメラ・システム対221に
よって提供されたピクセルの正規化光強度は正規化され最も高くなる。矢印A1の終りに
到達し矢印A2の始まりに到達すると、光の融合がまさに始まろうとするため、プロジェ
クタ−カメラ・システム対221は最も高い正規化光強度値を出す。矢印A2のスタート
地点でプロジェクタ・カメラ・システム対223は最も低い正規化光強度を出す。矢印A
2に沿って左から右に進むと(言い換えれば、プロジェクタ・カメラ・システム対221
によって独占的に供給された領域Reg_Aから、プロジェクタ・カメラ・システム対2
23によって独占的に供給された領域Reg_Cへ)、プロジェクタ・カメラ・システム
対221の正規化光強度値は最も明るいものから最も暗いものへ下がる。逆に、矢印A2
に沿って左から右に進むと、プロジェクタ・カメラ・システム対223の正規化光強度は
最も低い正規化光強度値から最も高い値へと上がる。この光の遷移は必ずしもリニアでは
ないことが理解されるべきである。例えば、プロジェクタ・カメラ・システム対221の
正規化光強度は好ましくは矢印A2に沿って右の境界または領域Reg_Bに近づくにつ
れて大きく変化する。
クタ−カメラ・システム対221により完全に提供される望ましい投影領域225の左の
境界から、プロジェクタ−カメラ・システム対221および223双方により提供される
領域Reg_2および領域Reg_Bの左の境界に移ることになる。矢印1Aに沿って左か
ら右に進むと領域Reg_1の左の境界から離れて行くが、画像はプロジェクタ−カメラ
・システム対221のみによって提供され、プロジェクタ・カメラ・システム対221に
よって提供されたピクセルの正規化光強度は正規化され最も高くなる。矢印A1の終りに
到達し矢印A2の始まりに到達すると、光の融合がまさに始まろうとするため、プロジェ
クタ−カメラ・システム対221は最も高い正規化光強度値を出す。矢印A2のスタート
地点でプロジェクタ・カメラ・システム対223は最も低い正規化光強度を出す。矢印A
2に沿って左から右に進むと(言い換えれば、プロジェクタ・カメラ・システム対221
によって独占的に供給された領域Reg_Aから、プロジェクタ・カメラ・システム対2
23によって独占的に供給された領域Reg_Cへ)、プロジェクタ・カメラ・システム
対221の正規化光強度値は最も明るいものから最も暗いものへ下がる。逆に、矢印A2
に沿って左から右に進むと、プロジェクタ・カメラ・システム対223の正規化光強度は
最も低い正規化光強度値から最も高い値へと上がる。この光の遷移は必ずしもリニアでは
ないことが理解されるべきである。例えば、プロジェクタ・カメラ・システム対221の
正規化光強度は好ましくは矢印A2に沿って右の境界または領域Reg_Bに近づくにつ
れて大きく変化する。
従って、矢印A2の端で、プロジェクタ・カメラ・システム対223は最も明るい正規
化光強度を出し、プロジェクタ・カメラ・システム対221は最も暗い正規化光強度を出
す。矢印A3に沿って左から右へ進むと、プロジェクタ・カメラ・システム対223が全
ての投影光を提供し、プロジェクタ・カメラ・システム対221による光の寄与はない。
このように、領域Reb_C内では、プロジェクタ・カメラ・システム対223は最も高
い正規化光強度で維持され得る。
化光強度を出し、プロジェクタ・カメラ・システム対221は最も暗い正規化光強度を出
す。矢印A3に沿って左から右へ進むと、プロジェクタ・カメラ・システム対223が全
ての投影光を提供し、プロジェクタ・カメラ・システム対221による光の寄与はない。
このように、領域Reb_C内では、プロジェクタ・カメラ・システム対223は最も高
い正規化光強度で維持され得る。
幾何学的情報と測光的情報の両方を用いて上記の式p1=(Ξ1)T*(c−T2p2)およ
びp2=(Ξ2)T*(c−T1p1)を、図44に示すように2台のプロジェクタをモザイ
ク化することによってテストした。2台のプロジェクタはカメラから見えるすべての表面
を覆う必要がある。この設定を用い、シームレスで(カメラの視点から見て)歪みのない
画像が塑像上に投影することに成功した。さまざまな照明条件の下で塑像の画像をビュー
投影することにより簡単に照明を変えることもできる。
びp2=(Ξ2)T*(c−T1p1)を、図44に示すように2台のプロジェクタをモザイ
ク化することによってテストした。2台のプロジェクタはカメラから見えるすべての表面
を覆う必要がある。この設定を用い、シームレスで(カメラの視点から見て)歪みのない
画像が塑像上に投影することに成功した。さまざまな照明条件の下で塑像の画像をビュー
投影することにより簡単に照明を変えることもできる。
複数のプロジェクタを組み合わせる上記方法を用いて大型FOVプロジェクタ・システ
ムの構成を図45(A)および図45(B)に示す。図45(A)では1つの曲面ミラー
125が複数のプロジェクタ−カメラ対145と組み合わせて用いられる。図45(B)
では1つのミラー・ピラミッド151が複数のプロジェクタ−カメラ対145と共に用い
られ、大きいFOVを実現する。図45(B)の構成の場合、すべてのプロジェクタの光
心をミラー・ピラミッド内に配置して、1つの仮想大型FOVプロジェクタを作り出すこ
とができる。同様にカメラの光心も配置して1つの仮想大型FOVカメラを作り出すこと
ができる。
ムの構成を図45(A)および図45(B)に示す。図45(A)では1つの曲面ミラー
125が複数のプロジェクタ−カメラ対145と組み合わせて用いられる。図45(B)
では1つのミラー・ピラミッド151が複数のプロジェクタ−カメラ対145と共に用い
られ、大きいFOVを実現する。図45(B)の構成の場合、すべてのプロジェクタの光
心をミラー・ピラミッド内に配置して、1つの仮想大型FOVプロジェクタを作り出すこ
とができる。同様にカメラの光心も配置して1つの仮想大型FOVカメラを作り出すこと
ができる。
図46は複数の大きいFOVプロジェクタ153aおよび153b(図45(A)、図
45(B)に示されたプロジェクタまたはその他の大きいFOVプロジェクタ・システム
のようなもの)を用いてより大きい全体的投影FOVを達成することができることを示す
。1つ以上の通常のプロジェクタ155も組み合わせて使用することができる。見られる
ように、点線157で示されるプロジェクタ153aのFOVは点線159で示されるプ
ロジェクタ154bのFOVと、重複量161だけ重なっている。プロジェクタ153a
および153bからの画像は複数のプロジェクタを組み合わせるための上述の方法を用い
て組合すことができる。
45(B)に示されたプロジェクタまたはその他の大きいFOVプロジェクタ・システム
のようなもの)を用いてより大きい全体的投影FOVを達成することができることを示す
。1つ以上の通常のプロジェクタ155も組み合わせて使用することができる。見られる
ように、点線157で示されるプロジェクタ153aのFOVは点線159で示されるプ
ロジェクタ154bのFOVと、重複量161だけ重なっている。プロジェクタ153a
および153bからの画像は複数のプロジェクタを組み合わせるための上述の方法を用い
て組合すことができる。
発明はいくつかの具体的な実施形態に関連して説明されたが、前述の説明に照らし当業
者であればさらに多くの代替、修正、および別形態が明らかであろう。従って、本明細書
で説明した発明は添付特許請求の範囲に含まれるこのような代替、修正、用途、および別
形態すべてを包含することを意図している。
者であればさらに多くの代替、修正、および別形態が明らかであろう。従って、本明細書
で説明した発明は添付特許請求の範囲に含まれるこのような代替、修正、用途、および別
形態すべてを包含することを意図している。
図面において類似した参照記号は類似した部分を指す。
(A)および(B)は、本発明によるデュアル・フォトグラフィの構成。
1つのプロジェクタ・ピクセルから投射される光線が場面から反射されカメラ・センサのピクセル・アレイに小さな光フットプリントを形成する例。
映像が情報のアレイとしてどのように表示され得るかの例。
カメラ・センサのピクセル・アレイに取り込まれた光フットプリントが情報のアレイとしてどのように表示され得るかの例。
(A)は、プロジェクタにおける1つのプロジェクタ・ピクセルの活性化によりもたらされるデジタル・カメラ内の光センサ・アレイに投影されるフットプリントを図示した例であり、(B)は、(A)の例を反映した、行列T内における光輸送係数の列を図示した例。
(A)、(B)は、市松格子パターンを有する場面に同時に投影される2列のプロジェクタ・ピクセルの2つの例。
(A)、(B)は、市松格子パターンを有する場面に同時に投影される2行のプロジェクタ・ピクセルの2つの例。
(A)は、図5(A)および図6(A)の画像を組み合わせることにより作成される、1つのプロジェクタ・ピクセルによりもたらされる発生光ビームのフットプリントであり、(B)は、図5(B)および図6(B)の画像を組み合わせることにより作成される、1つのプロジェクタ・ピクセルによりもたらされる発生光ビームのフットプリント。
映写ピクセルを図7(A)または図7(B)で発生された光ビームで決定される非ゼロ値の光輸送係数に結び付けたインデクスの第1例。
映写ピクセルを図7(A)または図7(B)で発生された光ビームで決定される非ゼロ値の光輸送係数に結び付けたインデクスの第2例。
(A)は、実カメラで撮影した実取り込み画像であり、(B)は、実プロジェクタから見た、本発明の方法を用いて生成されたデュアル取り込み画像。
プロジェクタを較正するためにホモグラフィの使用を適用した結果の例。
プロジェクタと場面の間に置かれた2つのワイン・グラスにより歪められた映像。
2つの別個のプロジェクタ・ピクセルにより実現された2つの重なり合った隣接光フットプリントの例。
本発明による、任意の場面に表示制約を課すためのプロセスの例。
図15に示された表示制約賦課におけるさらなる工程。
本発明がポスター画像の色補正に適用される例。
図13の映写場面で、本発明の光歪みを補正する方法を適用した状態。
没入型表示システムの作成にデュアル・フォトグラフィを用いる典型的な映写設定。
没入型プロジェクタP2が前面投射型プロジェクタP1”をシミュレートするために用いられるところ。
図20の仮想プロジェクタ実施を用いて生成された画像の例。
(A)は、実前面投射型プロジェクタにより投影された画像の右側であり、(B)は、(A)に示す画像の左側を示すが、(B)においては画像の左側は没入型プロジェクタにより投影され、また、(C)は、(A)の右側画像を(B)の左側画像に接合したところを示す。
さらに没入型プロジェクタにより生成された左側の画像を前面投射型プロジェクタにより生成された右側の画像を接合した例。
(A)、(B)、(C)は、実際の部屋の中に仮想モデル部屋で作り出された仮想画像を再現した、本発明の別の適用。
画像の歪みなしに実際の部屋における映写空間より大きい画像を投影する、図24(A)、図24(B)、図24(C)の手法の例。
本発明の最小限の形態に従った典型的映写システム。
図26の設計に基づくプロトタイプ。
図27の構成を別の角度から示したもの。
(A)は、図27および図28の映写システムを設置した部屋を周辺光の下で示したものであり、(B)は、(A)の部屋を没入型映写照明の下で示したもの。
(A)は、較正されていない画像を投影した図29(A)の部屋を示したものであり、(B)は、較正された画像を投影した図29(A)の部屋を示したもの。
(A)は、較正されていない空白の映像を投影した図29(A)の部屋を示したものであり、(B)は、較正された空白の映像を投影した図29(A)の部屋を示したもの。
本発明をドーム型ミラー・プロジェクタに適用する第1工程。
本発明をドーム型ミラー・プロジェクタに適用する第2工程。
本発明をドーム型ミラー・プロジェクタに適用する第3工程。
ドーム型ミラー・プロジェクタの投影用に正確に歪められた画像を実現するために本発明を望ましい画像に適用したところ。
図35で生成された、歪んだ画像を投影した結果。
天井据付運転の別の設計。
本発明の別の構成。
本発明のさらに別の構成。
2つ以上のプロジェクタ−カメラ・システムをモザイク化して合成画像を作成する設定。
複数のプロジェクタ−カメラ・システムによる画像の合成。
マルチ・プロジェクタ−カメラ・システムにおける2つのプロジェクタ−カメラ・システムの内1つ目により投影された画像。
マルチ・プロジェクタ−カメラ・システムにおける2つのプロジェクタ−カメラ・システムの内2つ目により投影された画像。
複雑な表面に市松格子パターンを投影することに本発明を適用した例。
(A)は、1つの曲面ミラー125および複数のプロジェクタ−カメラ対145を使用する設計であり、(B)は、1つのミラー・ピラミッド151および複数のプロジェクタ−カメラ対145を使用する設計。
全体により大きい映写FOVを達成するために複数の大FOVプロジェクタ153aおよび153bを用い得ることを示したもの。
(A)および(B)は、デュアル・フォトグラフィを実施するための従来の構成。
127…表示表面、125…曲面ミラー、141…平面ミラー、121…プロジェクタ
、123…カメラ、125…曲面ミラー、145…カメラ・プロジェクタ、151…ミラ
ー・ピラミッド、145…カメラ・プロジェクタ、157…適合没入型プロジェクタXの
FOV、159…適合没入型プロジェクタYのFOV、153a…適合没入型プロジェク
タX、153b…適合没入型プロジェクタY。
、123…カメラ、125…曲面ミラー、145…カメラ・プロジェクタ、151…ミラ
ー・ピラミッド、145…カメラ・プロジェクタ、157…適合没入型プロジェクタXの
FOV、159…適合没入型プロジェクタYのFOV、153a…適合没入型プロジェク
タX、153b…適合没入型プロジェクタY。
Claims (28)
- 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレートさ
れた表示制約を課す方法であって、
前記表示制約はプロジェクタから放射された任意な2つの別個な光線はカメラの画像セ
ンサの別個な部分に当たることを規定し、
前記光輸送行列Tの各行に対し、前記光輸送行列Tの共通行に沿って行列入力を比較し
、共通行における最高値の行列入力を留保することと、
前記光輸送行列Tの各行から最高値の行列入力で光輸送アレイを埋めることと、
前記光輸送行列Tのどの列から前記光輸送アレイの各入力が由来したかを示す記録を維
持することと、
前記記録および前記光輸送アレイを用いて前記プロジェクタの各プロジェクタ・ピクセ
ルの光フットプリント情報を必要に応じて抽出することと、
を含むことを特徴とする任意の場面におけるプロジェクタ−カメラ・システムの光輸送
行列Tにシミュレートされた表示制約を課す方法。 - 表示制約は前記任意の場面でサポートされていないことを特徴とする請求項1に記載の
任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレートされ
た表示制約を課す方法。 - 前記任意の場面は前記プロジェクタから前記カメラへの光パスの間に光散乱物体を含み
、前記方法は光散乱効果を補正するのに有効であることを特徴とする請求項1に記載の任
意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレートされた
表示制約を課す方法。 - 前記光輸送行列Tの各列は前記プロジェクタの1つのプロジェクタ・ピクセルを活性化
することにより実現され、カメラの画像センサ全体により取り込まれた画像に対応し、各
光フットプリント情報はその対応プロジェクタ・ピクセルに対する光輸送値をなすことを
特徴とする請求項1に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸
送行列Tにシミュレートされた表示制約を課す方法。 - 前記光輸送アレイおよび記録は前記光輸送行列Tの代わりに用いられる修正光輸送行列
をなすことを特徴とする請求項1に記載の任意の場面におけるプロジェクタ−カメラ・シ
ステムの光輸送行列Tにシミュレートされた表示制約を課す方法。 - 前記修正光輸送行列はデュアル・フォトグラフィに適用することを特徴とする請求項5
に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレ
ートされた表示制約を課す方法。 - 各々のプロジェクタ・ピクセルに対応するグループとして正規化光フットプリント情報
を計算することと、
中間アレイを作成し、前記中間アレイをその対応光フットプリント情報の計算された正
規化値で埋めることと、
前記中間アレイについて、前記中間アレイの各入力をその対応する正規化光フットプリ
ントに結び付ける中間記録を維持することと、
前記中間アレイおよび中間記録を中間行列の表記として解釈し、前記中間アレイに転置
行列演算を適用することと、により、前記光輸送行列の推定逆行列を生成することを含む
ことを特徴とする請求項4に記載の任意の場面におけるプロジェクタ−カメラ・システム
の光輸送行列Tにシミュレートされた表示制約を課す方法。 - 各々のプロジェクタ・ピクセルに対応するグループとして正規化光フットプリント情報
を計算するプロセスは1つの光フットプリントをなす光輸送アレイ入力グループを平方し
た合計を出し、光輸送アレイ入力グループの各入力を前記合計で割ることを含むことを特
徴とする請求項7に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送
行列Tにシミュレートされた表示制約を課す方法。 - 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレートさ
れた表示制約を課す方法であって、
前記表示制約はプロジェクタから放射された任意な2つの別個な光線はカメラの画像セ
ンサの別個な部分に当たることを規定し、
光輸送行列Tにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較し
、共通行における最高値の行列入力以外すべて無効にされ、もたらされた行列は修正光輸
送行列T*であること
を含むことを特徴とする任意の場面におけるプロジェクタ−カメラ・システムの光輸送
行列Tにシミュレートされた表示制約を課す方法。 - 行列入力はゼロ値を割り当てられることにより無効にされることを特徴とする請求項9
に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレ
ートされた表示制約を課す方法。 - 前記表示制約は前記任意の場面でサポートされていないことを特徴とする請求項9に記
載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレート
された表示制約を課す方法。 - 前記任意の場面は前記プロジェクタから前記カメラへの光パスの間に光散乱物体を含み
、前記修正光輸送行列は光散乱効果を補正するのに有効であることを特徴とする請求項9
に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュレ
ートされた表示制約を課す方法。 - 前記修正光輸送行列はデュアル・フォトグラフィに適していることを特徴とする請求項
9に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシミュ
レートされた表示制約を課す方法。 - 前記修正光輸送行列の推定逆行列は、
前記修正光輸送行列の各列を目標列として順に特定し、前記目標列における無効にされ
ていない入力値について前記目標列に関し正規化値を計算することと、
前記修正光輸送行列に等しいサイズの中間行列を作成することと、
前記中間行列の各列を前記修正光輸送行列の対応目標列の計算された正規化値で埋める
ことで、前記中間行列の埋められた各列における各正規化値は前記修正光輸送行列の対応
列における前記無効にされていない入力値と1対1の対応を維持していることと、
前記中間行列に転置行列演算を適用することと、により生成されることを特徴とする請
求項9に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Tにシ
ミュレートされた表示制約を課す方法。 - 前記修正光輸送行列の対応目標列における無効にされていない入力値からの正規化値が
入力されていない前記中間行列における値の入力はゼロ値を入力されることを特徴とする
請求項14に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列T
にシミュレートされた表示制約を課す方法。 - 前記目標列における無効にされていない入力値について前記目標列に関し正規化値を計
算プロセスは前記目標列における前記無効にされていない入力値のみ平方して合計を出し
、前記目標列における無効にされた値をすべて無視し、無効にされた入力値各々を前記合
計で割ることを含むことを特徴とする請求項14に記載の任意の場面におけるプロジェク
タ−カメラ・システムの光輸送行列Tにシミュレートされた表示制約を課す方法。 - 前記中間行列をΞで示し、修正光輸送行列T*の目標列をT*rで示した場合、Ξの対応
列をΞrで示した場合、Ξの構造および入力はΞr=Tr/(‖Tr‖)2 ¬¬と定義さ
れることを特徴とする請求項14に記載の任意の場面におけるプロジェクタ−カメラ・シ
ステムの光輸送行列Tにシミュレートされた表示制約を課す方法。 - 第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメ
ラ・システムからの第2投影画像とをモザイク化する方法であって、
(a)前記第1プロジェクタ−カメラ・システムの第1カメラ画像c1を関係c1=T1
p1に従い前記第1プロジェクタ−カメラ・システムの第1プロジェクタ画像p1に関連付
ける第1光輸送行列T1を確立することと、
(b)前記第2プロジェクタ−カメラ・システムの第2カメラ画像c2を関係c2=T2
p2に従い前記第2プロジェクタ−カメラ・システムの第2プロジェクタ画像p2に関連付
ける第2光輸送行列T1を確立することと、
(c)望ましい複合画像”c”を定義することと、
(d)p2をゼロに等しく設定し、式p1=T1 -1*(c−T2p2)をp1について解くこ
とと、
(e)今解かれたp¬1の値を用い、式p2=T2 -1*(c−T1p1)をp2について解く
ことと、
(f)今解かれたp¬2の値を用い、式p1=T1 -1*(c−T2p2)をp1について解く
ことと、
(g)p1¬¬が第1モザイク化画像に収束し、p2が第2モザイク化画像に収束するま
で工程(e)および(f)を順に繰り返すことと、を含むことを特徴とする第1プロジェ
クタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムか
らの第2投影画像とをモザイク化する方法。 - 前記望ましい複合画像”c”は”c”=c1+c2と定義されることを特徴とする請求項
18に記載の第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェ
クタ−カメラ・システムからの第2投影画像とをモザイク化する方法。 - 前記第1モザイク化画像を前記第1プロジェクタ−カメラ・システムで投影し、前記第
2モザイク化画像を前記第2プロジェクタ−カメラ・システムで投影すること
を含むことを特徴とする請求項18に記載の第1プロジェクタ−カメラ・システムから
の第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイ
ク化する方法。 - T1 -1またはT2 -1の少なくとも1つは一般的光輸送行列の逆T¬¬-1の推定で、
前記推定は、前記一般的光輸送行列Tにおける各列を目標列として順に特定し、前記目
標列における無効にされていない入力値について、前記目標列に関し正規化値を計算する
ことと、
前記一般的光輸送行列Tと等しいサイズの中間行列を作成することと、
前記中間行列における各列に、前記一般的光輸送行列Tにおける対応目標列の計算され
た正規化値を入力することで、前記中間行列における入力された各列における各正規化値
は前記一般的光輸送行列Tの対応列における前記無効にされていない入力値と1対1の対
応を保っていることと、
前記中間行列に転置行列演算を適用することと、により生成されることを特徴とする請
求項19に記載の第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロ
ジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法。 - 前記中間行列をΞで示し、一般的光輸送行列Tにおける目標列をTrで示し、Ξにおけ
る対応列をΞrで示した場合、Ξの構造および入力はΞr=T¬r/(‖Tr‖)2 ¬¬
と定義され、T1 -1が一般的光輸送行列の逆T¬¬-1 ¬の推定である場合はp1=(Ξ1)T
*(c−T2p2)で、T2 -1が一般的光輸送行列の逆T¬¬-1 ¬の推定である場合はp2=
(Ξ2)T*(c−T1p1)となることを特徴とする請求項21に記載の第1プロジェクタ
−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムからの
第2投影画像とをモザイク化する方法。 - T1またはT2の少なくとも1つは各々のプロジェクタ−カメラ・システムの各々のプロ
ジェクタにおけるすべてのプロジェクタ・ピクセルと1対1の対応を有しない光フットプ
リント情報のサンプリングから生成された推定光輸送行列であることを特徴とする請求項
18に記載の第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェ
クタ−カメラ・システムからの第2投影画像とをモザイク化する方法。 - (h)前記第1および第2モザイク化画像の少なくとも1つに測光的融合操作を適用す
ることを含むことを特徴とする請求項18に記載の第1プロジェクタ−カメラ・システム
からの第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモ
ザイク化する方法。 - 前記測光的融合操作は、
(i)前記第1プロジェクタ−カメラ・システムの第1プロジェクタ視野、FOV1で
専ら覆われるモザイク化画像の第1領域を特定することと、
(ii)FOV1および前記第2プロジェクタ−カメラ・システムの第2プロジェクタ視
野、FOV2で覆われる前記モザイク化画像の第2領域を特定することと、
(iii)前記第1領域と前記第2領域との間の第1境界を特定し、前記第1プロジェク
タ−カメラからの第1投影画像の光強度を、前記第1投影画像が前記第1境界から離れ、
前記第2領域を通って伸びるにつれ減らすことと、
を含むことを特徴とする請求項24に記載の第1プロジェクタ−カメラ・システムから
の第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイ
ク化する方法。 - 前記測光的融合操作はさらに、
(iv)前記第2プロジェクタ−カメラ・システムの第3プロジェクタ視野、FOV3で
専ら覆われるモザイク化画像の第3領域を特定することと、
(v)前記第3領域と前記第2領域との間の第2境界を特定し、前記第2プロジェクタ
−カメラからの第2投影画像の光強度を、前記第2投影画像が前記第2境界から離れ、前
記第2領域を通って伸びるにつれ減らすことと、
を含むことを特徴とする請求項25に記載の第1プロジェクタ−カメラ・システムから
の第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイ
ク化する方法。 - 前記第1投影画像の光強度は前記第2境界において実質的にゼロであることを特徴とす
る請求項18に記載の第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法。 - 前記第2投影画像の光強度は前記第1境界において実質的にゼロであることを特徴とす
る請求項27に記載の第1プロジェクタ−カメラ・システムからの第1投影画像と、第2
プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US88647507P | 2007-01-24 | 2007-01-24 | |
US11/963,638 US7901094B2 (en) | 2007-01-24 | 2007-12-21 | View projection: one-touch setup of light displays on arbitrary surfaces |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008182706A true JP2008182706A (ja) | 2008-08-07 |
JP2008182706A5 JP2008182706A5 (ja) | 2011-01-20 |
Family
ID=39640728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008012293A Withdrawn JP2008182706A (ja) | 2007-01-24 | 2008-01-23 | 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列tにシミュレートされた表示制約を課す方法、および第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US8042954B2 (ja) |
JP (1) | JP2008182706A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014529756A (ja) * | 2011-08-16 | 2014-11-13 | アイマックスコーポレイション | ハイブリッド画像の分解および投影 |
JP2015043571A (ja) * | 2013-08-26 | 2015-03-05 | シゼイ シジブイ カンパニー リミテッド | 上映劇場パラメータの管理装置及び方法 |
US10073328B2 (en) | 2011-10-20 | 2018-09-11 | Imax Corporation | Reducing angular spread in digital image projection |
US10326968B2 (en) | 2011-10-20 | 2019-06-18 | Imax Corporation | Invisible or low perceptibility of image alignment in dual projection systems |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7901093B2 (en) * | 2006-01-24 | 2011-03-08 | Seiko Epson Corporation | Modeling light transport in complex display systems |
WO2008032474A1 (fr) * | 2006-09-11 | 2008-03-20 | Sharp Kabushiki Kaisha | Machine à sous |
US8042954B2 (en) * | 2007-01-24 | 2011-10-25 | Seiko Epson Corporation | Mosaicing of view projections |
WO2008106602A1 (en) * | 2007-02-28 | 2008-09-04 | L-3 Communications Corporation | Systems and methods for aiding pilot situational awareness |
TWI351653B (en) * | 2008-02-01 | 2011-11-01 | Quanta Comp Inc | System and method for determining coordinates |
US8106949B2 (en) * | 2009-03-26 | 2012-01-31 | Seiko Epson Corporation | Small memory footprint light transport matrix capture |
US7901095B2 (en) * | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
US9600855B2 (en) * | 2009-07-11 | 2017-03-21 | Hewlett-Packard Development Company, L.P. | View projection |
US8243144B2 (en) * | 2009-07-31 | 2012-08-14 | Seiko Epson Corporation | Light transport matrix from homography |
US8201950B2 (en) * | 2009-08-27 | 2012-06-19 | Seiko Epson Corporation | Camera-based registration for projector display systems |
US8262229B2 (en) * | 2010-03-22 | 2012-09-11 | Seiko Epson Corporation | Multi-projector display system calibration |
US8406556B2 (en) * | 2010-06-10 | 2013-03-26 | Microsoft Corporation | Light transport reconstruction from sparsely captured images |
JP5570316B2 (ja) * | 2010-06-17 | 2014-08-13 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
US20120026375A1 (en) * | 2010-07-27 | 2012-02-02 | Nokia Corporation | Method and Apparatus For a Projector and Camera System |
WO2012027414A2 (en) * | 2010-08-23 | 2012-03-01 | Heinz Grether Pc | An improved combined lighting and video control system |
JP5641820B2 (ja) * | 2010-08-25 | 2014-12-17 | キヤノン株式会社 | 投射型表示システム及び投射型表示装置 |
US12025807B2 (en) * | 2010-10-04 | 2024-07-02 | Gerard Dirk Smits | System and method for 3-D projection and enhancements for interactivity |
US8976256B2 (en) * | 2011-03-21 | 2015-03-10 | The United States Of America As Represented By The Secretary Of The Air Force | Remote sensing of hidden objects |
US9560314B2 (en) * | 2011-06-14 | 2017-01-31 | Microsoft Technology Licensing, Llc | Interactive and shared surfaces |
JP5950554B2 (ja) * | 2011-12-02 | 2016-07-13 | キヤノン株式会社 | 表示装置、情報処理装置、及びそれらの制御方法、投影システム、プログラム、並びに記憶媒体 |
CN102802006B (zh) * | 2012-08-03 | 2014-08-06 | 梁智伟 | 数码照相机、层叠式相片印刷器和立体彩色图像制作*** |
US9035969B2 (en) | 2012-11-29 | 2015-05-19 | Seiko Epson Corporation | Method for multiple projector display using a GPU frame buffer |
US9547222B2 (en) * | 2013-02-08 | 2017-01-17 | University Of South Australia | Method and apparatus for calibration of multiple projector systems |
US9524059B2 (en) * | 2013-03-15 | 2016-12-20 | Texas Instruments Incorporated | Interaction detection using structured light images |
CN105308503A (zh) * | 2013-03-15 | 2016-02-03 | 斯加勒宝展示技术有限公司 | 利用短程相机校准显示***的***和方法 |
JP6217100B2 (ja) * | 2013-03-22 | 2017-10-25 | セイコーエプソン株式会社 | 画像処理装置、プロジェクター、画像処理方法及びプログラム |
JP2015206950A (ja) * | 2014-04-22 | 2015-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システム |
US10169909B2 (en) * | 2014-08-07 | 2019-01-01 | Pixar | Generating a volumetric projection for an object |
KR20160078023A (ko) * | 2014-12-24 | 2016-07-04 | 삼성전자주식회사 | 디스플레이 제어 장치 및 디스플레이 제어 방법 |
US9858719B2 (en) | 2015-03-30 | 2018-01-02 | Amazon Technologies, Inc. | Blended reality systems and methods |
JP6275075B2 (ja) * | 2015-04-02 | 2018-02-07 | キヤノン株式会社 | 投影装置、制御方法及びプログラム |
JP2017016169A (ja) * | 2015-06-26 | 2017-01-19 | キヤノン株式会社 | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 |
US9659371B2 (en) * | 2015-10-08 | 2017-05-23 | Christie Digital Systems Usa, Inc. | System and method for online projector-camera calibration from one or more images |
JP6854828B2 (ja) | 2015-12-18 | 2021-04-07 | ジェラルド ディルク スミッツ | 物体のリアルタイム位置検知 |
US10152767B1 (en) * | 2016-12-15 | 2018-12-11 | The Mathworks, Inc. | Memory efficient on-chip buffering for projective transformation |
CN110226184B (zh) | 2016-12-27 | 2023-07-14 | 杰拉德·迪尔克·施密茨 | 用于机器感知的***和方法 |
JP2019220887A (ja) * | 2018-06-21 | 2019-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN109325465B (zh) * | 2018-10-17 | 2021-08-03 | 新疆联海创智信息科技有限公司 | 多摄像机环境下的步态库构建***及方法 |
US11372320B2 (en) | 2020-02-27 | 2022-06-28 | Gerard Dirk Smits | High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array |
CN112150461B (zh) * | 2020-10-19 | 2024-01-12 | 北京百度网讯科技有限公司 | 用于评估细胞图像头尾清晰度的方法和装置 |
US11790556B2 (en) * | 2021-02-24 | 2023-10-17 | Nvidia Corporation | Determining optical center in an image |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3989362A (en) | 1972-11-01 | 1976-11-02 | Henry Merritt Farnum | Circumferential stereo spectacular, 360 degrees horizontally and vertically with mosaic in scene |
US5329310A (en) * | 1992-06-30 | 1994-07-12 | The Walt Disney Company | Method and apparatus for controlling distortion of a projected image |
US5748264A (en) | 1995-01-10 | 1998-05-05 | Hughes Electronics | Distortion Corrected display |
ATE280978T1 (de) | 1997-01-30 | 2004-11-15 | Yissum Res Dev Co | Mosaikbildverarbeitungssystem |
US5986668A (en) | 1997-08-01 | 1999-11-16 | Microsoft Corporation | Deghosting method and apparatus for construction of image mosaics |
US6456339B1 (en) | 1998-07-31 | 2002-09-24 | Massachusetts Institute Of Technology | Super-resolution display |
US6195184B1 (en) | 1999-06-19 | 2001-02-27 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | High-resolution large-field-of-view three-dimensional hologram display system and method thereof |
US7019773B1 (en) * | 2000-05-25 | 2006-03-28 | Prc Inc. | Video mosaic |
US6431711B1 (en) * | 2000-12-06 | 2002-08-13 | International Business Machines Corporation | Multiple-surface display projector with interactive input capability |
DE20109394U1 (de) | 2001-06-06 | 2001-08-16 | Carl Zeiss Jena Gmbh, 07745 Jena | Projektionsanordnung |
US6733138B2 (en) | 2001-08-15 | 2004-05-11 | Mitsubishi Electric Research Laboratories, Inc. | Multi-projector mosaic with automatic registration |
US7133083B2 (en) * | 2001-12-07 | 2006-11-07 | University Of Kentucky Research Foundation | Dynamic shadow removal from front projection displays |
US7158685B2 (en) | 2002-06-28 | 2007-01-02 | Microsoft Corporation | Demosaicing graphical content |
US7019713B2 (en) * | 2002-10-30 | 2006-03-28 | The University Of Chicago | Methods and measurement engine for aligning multi-projector display systems |
JP3731663B2 (ja) * | 2002-12-04 | 2006-01-05 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタおよび画像処理方法 |
US6834965B2 (en) * | 2003-03-21 | 2004-12-28 | Mitsubishi Electric Research Laboratories, Inc. | Self-configurable ad-hoc projector cluster |
JP3914891B2 (ja) * | 2003-04-18 | 2007-05-16 | Necビューテクノロジー株式会社 | 投射映像の幾何学補正における近似式補正方式 |
US7663640B2 (en) * | 2003-07-02 | 2010-02-16 | The Trustees Of Columbia University In The City Of New York | Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties |
JP2005227661A (ja) | 2004-02-16 | 2005-08-25 | Nec Viewtechnology Ltd | プロジェクタおよび歪補正方法 |
US8197070B2 (en) * | 2006-01-24 | 2012-06-12 | Seiko Epson Corporation | Color-based feature identification |
US20070268481A1 (en) * | 2006-05-17 | 2007-11-22 | Ramesh Raskar | System and method for measuring scene reflectance using optical sensors |
US8042954B2 (en) * | 2007-01-24 | 2011-10-25 | Seiko Epson Corporation | Mosaicing of view projections |
US7978928B2 (en) * | 2007-09-18 | 2011-07-12 | Seiko Epson Corporation | View projection for dynamic configurations |
US8218003B2 (en) * | 2007-10-05 | 2012-07-10 | Seiko Epson Corporation | Optimization strategies for GPU view projection matrix implementation |
US8310525B2 (en) * | 2008-10-07 | 2012-11-13 | Seiko Epson Corporation | One-touch projector alignment for 3D stereo display |
US8201951B2 (en) * | 2008-11-19 | 2012-06-19 | Seiko Epson Corporation | Catadioptric projectors |
US8013904B2 (en) * | 2008-12-09 | 2011-09-06 | Seiko Epson Corporation | View projection matrix based high performance low latency display pipeline |
US8106949B2 (en) * | 2009-03-26 | 2012-01-31 | Seiko Epson Corporation | Small memory footprint light transport matrix capture |
US7901095B2 (en) * | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
US8243144B2 (en) * | 2009-07-31 | 2012-08-14 | Seiko Epson Corporation | Light transport matrix from homography |
-
2007
- 2007-12-21 US US11/963,657 patent/US8042954B2/en not_active Expired - Fee Related
- 2007-12-21 US US11/963,638 patent/US7901094B2/en not_active Expired - Fee Related
-
2008
- 2008-01-23 JP JP2008012293A patent/JP2008182706A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014529756A (ja) * | 2011-08-16 | 2014-11-13 | アイマックスコーポレイション | ハイブリッド画像の分解および投影 |
US9961316B2 (en) | 2011-08-16 | 2018-05-01 | Imax Theatres International Limited | Hybrid image decomposition and projection |
US10073328B2 (en) | 2011-10-20 | 2018-09-11 | Imax Corporation | Reducing angular spread in digital image projection |
US10326968B2 (en) | 2011-10-20 | 2019-06-18 | Imax Corporation | Invisible or low perceptibility of image alignment in dual projection systems |
JP2015043571A (ja) * | 2013-08-26 | 2015-03-05 | シゼイ シジブイ カンパニー リミテッド | 上映劇場パラメータの管理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20080174516A1 (en) | 2008-07-24 |
US20080174704A1 (en) | 2008-07-24 |
US8042954B2 (en) | 2011-10-25 |
US7901094B2 (en) | 2011-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5338217B2 (ja) | 画像処理方法および投影システム | |
JP2008182706A (ja) | 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列tにシミュレートされた表示制約を課す方法、および第1プロジェクタ−カメラ・システムからの第1投影画像と、第2プロジェクタ−カメラ・システムからの第2投影画像とをモザイク化する方法 | |
US8106949B2 (en) | Small memory footprint light transport matrix capture | |
US8013904B2 (en) | View projection matrix based high performance low latency display pipeline | |
US8310525B2 (en) | One-touch projector alignment for 3D stereo display | |
US7901095B2 (en) | Resolution scalable view projection | |
US8218003B2 (en) | Optimization strategies for GPU view projection matrix implementation | |
US7901093B2 (en) | Modeling light transport in complex display systems | |
US8197070B2 (en) | Color-based feature identification | |
US8201951B2 (en) | Catadioptric projectors | |
US9137504B2 (en) | System and method for projecting multiple image streams | |
Bimber et al. | Enabling view-dependent stereoscopic projection in real environments | |
Surati | Scalable self-calibrating display technology for seamless large-scale displays | |
US6628298B1 (en) | Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination | |
JP5486113B2 (ja) | パノラマ投影デバイスによって実施される投影方法 | |
JP2004289822A (ja) | 表示面上の最大矩形を決定する方法 | |
JP2004288181A (ja) | 出力画像を表示面の形状に適応させる方法 | |
JP2008171431A (ja) | 基準行列の推定逆行列を生成する方法、第2のプロジェクタからの第2の投影画像を用いて第1のプロジェクタからの第1の投影画像をシミュレートする方法、投影画像を生成する方法および投影システム | |
Kern et al. | Projector-based augmented reality for quality inspection of scanned objects | |
WO2023007137A1 (en) | Acquisition of optical characteristics | |
Lee | Wand: 360∘ video projection mapping using a 360∘ camera | |
Yuen et al. | Inexpensive immersive projection | |
Bimber | Multi-projector techniques for real-time visualizations in everyday environments | |
GB2604209A (en) | Acquisition of optical characteristics | |
Sajadi | Auto-registration techniques for immersive multi-projector displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101130 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20120302 |