JP5236219B2 - 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置 - Google Patents
分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置 Download PDFInfo
- Publication number
- JP5236219B2 JP5236219B2 JP2007163457A JP2007163457A JP5236219B2 JP 5236219 B2 JP5236219 B2 JP 5236219B2 JP 2007163457 A JP2007163457 A JP 2007163457A JP 2007163457 A JP2007163457 A JP 2007163457A JP 5236219 B2 JP5236219 B2 JP 5236219B2
- Authority
- JP
- Japan
- Prior art keywords
- projector
- screen
- projectors
- mapping function
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims description 246
- 238000000034 method Methods 0.000 title claims description 138
- 238000012937 correction Methods 0.000 title claims description 123
- 230000010354 integration Effects 0.000 title claims description 99
- 238000003384 imaging method Methods 0.000 title claims description 93
- 230000006870 function Effects 0.000 claims description 307
- 239000011159 matrix material Substances 0.000 claims description 112
- 239000000872 buffer Substances 0.000 claims description 90
- 238000004364 calculation method Methods 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 54
- 238000003860 storage Methods 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 description 18
- 238000009877 rendering Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
Description
また、非特許文献1に示したように、設置位置が不明なプロジェクタj(1…n)から投影した映像と、同様に設置位置が不明なカメラで撮像したスクリーン上の歪み映像とが3行3列のマトリクスにより対応づけられ、このマトリクスを利用してプロジェクタ座標の映像に逆歪みをかけ、映像の歪み補正を行うものがあるが、平面スクリーンに限られている。
社団法人情報処理学会、「FIT2003 情報科学技術フォーラム 一般講演論文集 第3分冊」二〇〇三年八月二十五日発行、p.401〜403
以下、本発明を説明するための前提技術例について図を参照して説明する。図5(a),(b),(c)は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図6(a)は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図6(b)は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図5において、505は二次曲面スクリーン、502j(j=1,2,3,…n)は前記スクリーン前方に設けられるプロジェクタ、503jは前記プロジェクタ502j毎に対応して備えられる複数のコンピュータである。5041,5042はデジタルカメラ、505は前記デジタルカメラ504を接続するコンピュータ、506はコンピュータ505内の変換行列計算手段、507はコンピュータ505内の二次曲面パラメータ(Qv)計算手段、508はコンピュータ505内の記憶装置、509jは各コンピュータ503j内のマッピング関数及び逆関数計算手段、510jは各コンピュータ503j内の記憶装置、511jは各コンピュータ503jに備えられる画像生成手段、512aj,512bjは各コンピュータ503jに備えられるピクセルバッファであり、当該コンピュータ503j、画像生成手段511jとともに映像生成手段を構成する。513は各コンピュータ503j,505を接続するネットワークである。514jは各コンピュータ503jのオフセット計算手段である。
二次曲面スクリーン505はその面が二次曲面例えば円筒形型又は球面を形成し、周囲を円形に形成している。図7(a)は、円筒型の一部側面を欠いた形状をしたものを示し、二次曲面スクリーン505は床面である基台701の上に側面を垂直にして固定される。スクリーン505の周囲に所定の間隔で柱7031,7032,7033,7034,7035が設けられる。柱7031,7032,7033,7034,7035のそれぞれには、フレキシブルアーム7051,7052,7053,7054,7055が取り付けられる。フレキシブルアーム7051,7052,7053,7054,7055には、プロジェクタ5021,5022,5023,5024,5025がそれぞれ取り付けられ、二次曲面スクリーン505の凸面を間にして凹面に対向するように周囲に位置させる。図7(b)に例えばフレキシブルアーム7051とプロジェクタ5021の連結状態を示す。プロジェクタ5021,5022,5023,5024,5025から二次曲面スクリーン505に光を投影すると、図7(c)のように二次曲面スクリーン505に上方から見た場合で説明すると、5つの投影光の互いに隣接する領域が互いに重なる部分を有するように連続し、途中に光が当たらない部分が生じないように、フレキシブルアーム7051,7052,7053,7054,7055を調整する。この時、各プロジェクタ5021,5022,5023,5024,5025からの各投影領域(各領域を一点鎖線、二点鎖線、三点鎖線、四点鎖線で示している。)がスクリーンをカバーしていればよく、形状、面積を同じにする必要はない。
なお、実施例において、二次曲面スクリーン505を円筒型としたがこれに限らず球面と双曲面、楕円面等で形成しても良く、また、表示面を凹面にしたが凸面でも良い。さらに、プロジェクタの数を5の場合を説明するが、数に制限なく本発明が適用できる。
視点と視点と投影中心が一致する場合、映像歪みは生じない。しかし、一般的には視点と投影中心は一致しないため歪みが発生する。この歪みを補正するには、視点から見て歪みが無くなるように、予め、投影する原画像に対して逆の歪みをかけて投影すれば良い。
図8に逆歪みによる歪み補正の模式図を示す。図8では、プロジェクタの投影により発生する歪fを映像発生時f−1で逆歪をかけて投影するとf(f−1)で歪が相殺されることを示している。すなわち、プロジェクタ映像とスクリーン上の歪を関係付けるマッピング関数fを求める。その逆関数f−1はマッピング関数より求められる。図8では歪みを検出する段階において設置するカメラ位置及び方向が視点及び視線方向と同じであると想定している。
([1−1]スクリーン上の複数点の3D座標位置の計測)
いずれかの例えばプロジェクタ502jから光点を二次曲面スクリーン505に投影する。光点は、予め定められたテストパターンを構成する所定の座標点を示す。この光点をステレオカメラを構成するデジタルカメラ5041,5042で撮像することにより三次元位置Piを三角測量の原理から求める。iは点数を示す。このときステレオカメラは所定のキャリブレーション処理によりそれぞれのカメラのレンズの焦点距離や画素数の内部特性を示す内部パラメータ及び外部位置関係を示す外部パラメータが分かっていることを前提としている。左カメラ5041の内部及び外部パラメータを表すマトリクスをAc1、Mc1とする。同様に右カメラ5042の内部及び外部パラメータを表すマトリクスをAc2、Mc2とする。このとき、スクリーン上三次元位置Piと左カメラ画像上の光点の位置pi c1、右カメラ画像上の光点の位置pi c2との関係は
pi c1=Ac1Mc1Pi
pi c2=Ac2Mc2Pi (1)
で表される。ここで、Mc1、Mc2は
Mc1=[I|0]
Mc2=[Rc2|Tc2] (2)
である。
左カメラ5041の投影中心を座標の原点とするため、左カメラ5041の外部パラメータMc1は単位マトリクスIを用いて表される。また、右カメラ5042の投影中心は左カメラ5041の投影中心から回転Rc2、平行移動Tc2させた位置となるため、右カメラ5042の外部パラメータMc2はRc2、Tc2を用いて表すことができる。図9、図10において、左カメラ5041の投影中心(Center Of Projection)(以後COPと呼ぶ場合がある。)をCOPc1、右カメラ5042のCOPをCOPc2とする。また、各カメラのCOPと画像上の光点の位置を結んだ直線をlc1、lc2とするとスクリーン上の三次元位置Piはlc1、lc2を用いてこれらの交点に推定することができる。交点が見つからないときは、lc1、lc2の距離が最小となる共通法線を求め、その法線の中点をPiとして決定する。また、プロジェクタ画像座標上の光点の位置をpi pj、プロジェクタの内部パラメータを表すマトリクスをApjとすると、pi pj、Apj、Pi、左カメラ5041のCOPを原点としたときのプロジェクタの回転マトリクスRpj、平行移動マトリクスTpjは以下の関係を持つ。
pi pj=Apj[Rpj|Tpj]Pi (3)
ここで、jはプロジェクタ数を表す。また、プロジェクタ画像座標上の位置pi pjはテストパターンの点の位置であるため既知である。Apjは所定のキャリブレーション処理により得ているため既知である。よって、pi pj,Apj,Piを用いてRpj,Tpjを求めることができる。Rpj,Tpjは対応関係を持つすべてのpi pj,Piを用いて繰り返し計算を行ない、誤差が最小となるときの値を用いる。これらの計算は、カメラ5041,5042が接続されるコンピュータ505において行われ、これらの計算結果は記憶装置508に記憶される。
次に、以上の方法を用いて得られたプロジェクタの内部パラメータを利用して二次曲面の種類(球面、双曲面、楕円面等)と形状を表す情報である二次曲面パラメータQを求める。
マッピング関数f()を求めるためには二次曲面Qを求める必要がある。そこでまず、左カメラ5041のプロジェクションマトリクスをPc1、プロジェクタのプロジェクションマトリクスをPj prjとして、これらのプロジェクションマトリクス、左カメラ画像上の光点の位置pi c1、プロジェクタ画像座標上のテストパターンの一光点であるコーナー位置pi pjを用いて、三次元位置Piを求める。求める方法としてはステレオカメラで三次元位置を求めた場合と同様の方法を用いる。計算は、カメラ5041,5042が接続されるコンピュータ505において行われる。ここで、Pc1、Pj prjは以下のように表される。
Pc1 =Ac1[I|0]
Pj prj=Apj[Rpj|Tpj] (4)
求めた三次元位置Piが二次曲面Qの上にあるとき、
N点(N≧9)用いれば、以下の連立方程式が成立する。
X《V》 = 《0》
但し XはN行10列のマトリクスである。
この連立方程式を解けば、《V》、即ちQが求まる。
二次曲面例えばスクリーン上の1点
を、異なる視点即ちプロジェクタ502j及びカメラ5041又は5042から見たときの像pi及びpi′の関係を示すマッピング関数fを求める。以下、図11をもとに説明する。すなわち、カメラの位置及び方向が視点及び視線方向と同じである場合を考える。
今、射影空間P2における点を
、射影空間p3における対応する点を
とすれば、
また、P3の点
をプロジェクタの座標系Ψから見たp2の点を
、カメラ座標系Ψ′から見た点を
とすれば、
はΨ′におけるエピポールであり、Hはホモグラフィー行列である。
今、
が二次曲面上にあるとの制約を課すと、
と
との関係を示す倍率
である。)
右辺は
でまとめられ、次式を得る。
をプロジェクタ座標Ψから見た点
と、カメラ座標系Ψ′から見た点
の対応を示すマッピング関数
([1−4−1]原理)
カメラ設置位置と視点が一致しない場合でも、スクリーンの形状情報を用いて、視点にカメラを仮想的に移してキャリブレーションが行えることを説明する。
訓練装置等の精度を要求される表示システムにおいては、視点位置は基準点からの変位により規定されるのが普通である。例えば、ドームスクリーンの場合ドーム中心を通る基線の後方1mなどと基準点からの変位で規定される。図12に、基準点1201、カメラ1202の設置位置及び姿勢、並びに1203で参照される視点及び視線方向すなわち仮想カメラの位置及び姿勢の関係を示す。設置位置・姿勢が不確かなカメラから、指定された視点位置・姿勢に直接移す回転・平行移動量を求めると考えず、一旦基準点に正確に移し、この点からの変位を用いて最終的に指定された視点位置・姿勢に移動すると二段階で考える。この考えに立てば、スクリーンが二次曲面の場合、一般的に基準点はスクリーンの中心であるので、カメラを任意の位置・姿勢から基準点の位置・姿勢へ移動することは、二次曲面規定行列の対角化に対応する。この対応を用いればカメラの姿勢位置を実際に計測することなく、曖昧な位置姿勢から基準点への移動量が正確に求まり、最終的に指定された視点の位置姿勢へ移動できる。これは、カメラを仮想的に指定の視点位置姿勢に配置してキャリブレーションを行ったことに対応する。
カメラ座標系で求めた二次曲面の種類と形状を表す情報である二次曲面パラメータをQ、視点を原点とする視点座標系における二次曲面パラメータをQvとする。両者の関係は、Hを視点座標系からカメラ座標系への変換(移動、回転)行列として次式で与えられる。
Qv = HtQH (16)
二次曲面パラメータQは、前記([1−2]二次曲面パラメータQの計算)により説明した方法で得られる。
カメラ座標系から二次曲面の中心を原点とする基準座標系への変換行列をSとし、基準座標系から視点座標系への変換行列をMとする二段階の変換を考えれば、Hは次式で表される。
H = MS (17)
Sは、式(18)のようにQを対角化する。
座標変換によるQの対角化StQSを、Qを対角化する相似変換S−1QSと捉えて直接的にSを求められない。なぜならば、Sは回転行列Rと平行移動行列Tの積からなるがTによりSが正規直交行列とならないからである。
しかしSの3行3列の回転成分R22は正規直交行列となるため座標変換による対角化問題を相似変換の問題へおきかえることが可能である。すなわち、座標変換によるQ33の対角化R−1 33Q33R33=Λは相似変換の問題に帰着できる。これにより、未知のR33がQ33の固有ベクトルを並べたものとして決まり、
ΛT+R33q =0
TtΛ+qtR33 =0 (24)
TtΛ+TtRt 33q+qtR33T =0
上の2式より、
T =−Λ−1Rt 33q
Tt =−qtR33Λ−1 (25)
R33及びTを用いてSを求めれば、
以下、前述の前提技術に基づいた本発明の実施例について図を参照して説明する。図1(a),(b),(c)は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図2(a)は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図2(b)は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図1において、101は二次曲面スクリーン、102i(i=1,2,3,…n)は前記スクリーン周辺に配置されるプロジェクタ、103iは前記プロジェクタ102i毎に対応して備えられる複数のコンピュータである。1041i,1042i(i=1,2,3,…n)は前記プロジェクタが投影する映像を撮像することができるステレオカメラを構成するデジタルカメラ、105は前記デジタルカメラ1041i,1042iを接続するコンピュータ、106はコンピュータ105内のテスト点3次元復元手段、107はコンピュータ105内の二次曲面係数行列推定手段、108はコンピュータ105内の記憶装置、1091i,1092iは各コンピュータ103i内の第1及び第2のマッピング関数及び逆関数計算手段、110iは各コンピュータ103i内の記憶装置、111iは各コンピュータ103iに備えられる画像生成手段、112ai,112biは各コンピュータ103iに備えられるピクセルバッファであり、当該コンピュータ103i、画像生成手段111iとともに映像生成手段を構成する。113は各コンピュータ103i,105を接続するネットワークである。114iは各コンピュータ103iのオフセット計算手段、115m(m=1,2…M)はデジタルカメラで構成し、プロジェクタ102iが投影する二次曲面スクリーン101の面を撮影するように外周に位置する基準仮想カメラである。
(1)3次元点の復元(図2(a)のステップP101)
ステレオカメラ1041i,1042iによる3次元点の復元を図3に示す。プロジェクタpi(102i(i=1,2,3,…n))から既知のテストパターンのテスト点xpi k(2次元点:k=1…K)を投影する。これをcmの位置のステレオカメラcm(1041i,1042i)で得られた画像をもとに、ステレオ視の原理からカメラcm(1041i,1042i)を原点とするスクリーン101上の3次元位置Xcmpi kを三角測量の原理から復元する。プロジェクタpj(102j)に関してもカメラcm(1041i,1042i)を用いて同様に行いXcmpj kを復元する。このとき、ステレオカメラcm(1041i,1042i)の位置は、対象とするi番目のプロジェクタpi(102i)の全投影領域と、それに隣接するj番目のプロジェクタpj(102j)の投影領域の一部が重複した部分を含んで撮影可能な位置であれば自由に設置できる。以上の手順を全プロジェクタ102pi(102i)に対して行い全ての3次元点を求める。これらの計算は、カメラ1041i,1042iが接続されるコンピュータ105のテスト点3次元復元手段106において行われ、これらの計算結果は記憶装置108に記憶される。
(2)座標系の統合(図2(a)のステップP102)
次に、スクリーン形状を推定するために、異なるカメラ座標系で復元した各プロジェクタ102iの3次元点を1つのカメラ座標系へ統合する。統合は、(a)一旦基準とするカメラcn(例えばステレオカメラ1041iの左カメラ)の座標系に統合、(b)これを、スクリーン101に正対しかつスクリーン全体が画角内に入る位置に設置した仮想的なカメラvm(以後「基準仮想カメラvm」と呼ぶ。)の座標系へ変換の2段階で行う。(これはステレオカメラ10413の左カメラの座標系に統合した各プロジェクタの3次元点をもとに基準仮想カメラvm(115m)の位置姿勢を決定しているためである。)
ステップ(a) 各カメラ座標系の3次元点を基準カメラcn(ステレオカメラ1041i)の座標系へ変換するには、各カメラ間の相対関係、回転《Rcncm》,並進《tcncm》が必要である。未知の《Rcncm》,《tcncm》はカメラcn,cmの両座標系で復元した既知の同一プロジェクタの共通3次元点Xcmpi kとXcnpi kが満たすべき拘束条件、式(27)の最適化問題を解くことで得られる。
ステップ(b) 基準カメラcnから基準仮想カメラvm(115m)への変換には、cnの座標系における3次元点をもとに決めた基準仮想カメラvm(115m)の位置姿勢を表す既知の《Rcvmcn》,《tcvmcn》を用いる。最終的に統合された基準仮想カメラvm(115m)の座標系における各プロジェクタの3次元点Xvmpi kは、ステップ(a)で求めた《Rcncm》,《tcncm》と前記《Rcvmcn》,《tcvmcn》を用いて次式から得る。
Xvmpi k=《Rvmcn》《Rcncm》Xcmpi k
+《Rvmcn》《tcncm》+《tvmcn》 (28)
これらの計算は、カメラ1041i,1042iが接続されるコンピュータ105の二次曲面係数行列推定手段107において行われ、これらの計算結果は記憶装置108に記憶される。
(3)スクリーンの推定(図2(a)のステップP102)
統合後の各プロジェクタの3次元点Xvmpi kは2次曲面係数行列(パラメータマトリックス)Qの上にあるので、式(29)の最適化問題を解いて未知の係数行列Q(4×4)を得る。
(1)プロジェクタの位置姿勢の検出(図2(a)のステップP103)
プロジェクタpiの射影行列を《Ppi》とすれば、基準仮想カメラvm(115m)の座標系における3次元点Xvmpi kと対応するテストパターンの2次元点xpi kは誤差が無いとき次の関係を持つ。
xpi k=《Ppi》Xvmpi k (30)
従って、未知の射影行列《Ppi》は、Xvmpi kと対応するテストパターンの2次元点xpi k(何れも既知)を用いた式(31)の最適化問題を解くことで得られる。
(2)マッピング関数Ψvmpiの計算(図2(a)のステップP104)
投影による歪みを補正するには、予め投影する映像に歪みを与えておけば、投影時の歪みで逆歪みが相殺されて歪みのない映像となる。これが基本的な考えであり、このことは、プロジェクタpiの画素位置xpiの投影像がスクリーンを介してカメラ(即ち視点)の画素位置xcに対応するマッピング関数Ψpicを見つけることに帰着する。ここで添え字pi,cはプロジェクタi及び実カメラの座標系を示し、変換方法はcからpiである。また、vを視点、rを基準座標系とする。
このΨpicを得る方法はコンピュータビジョン技術の典型的な応用としてよく知られている。方法は各種あるが、発明者はカメラとプロジェクタの内部パラメータを事前に計測し既知であるとして、プロジェクタからテストパターンをスクリーンに投影し、これをカメラで撮影して対応関係を得ることは、上述した通りである。
平面の場合、このΨpicはホモグラフィマトリクスHを用いて以下の関係にある。
xpi=Hxc (31−2)
また、2次曲面を対象とした場合は次式に拡張されることが知られている。第一項は平面と同様の式であり、第二項が曲面による補正項である。
xpi
=Hxc−(qTxc±√((qTxc)2−xT cQ33xc))ec (31−3)
ここで、Tは転置、ecはエピポール、Q33,qは次式で決まる4行4列の2次曲面係数行列Qの各要素である。
基準仮想カメラvm(115m)の位置姿勢、プロジェクタpi(102i)の位置姿勢《Rpi》,《tpi》、スクリーン形状を表す行列Qを用いて、補正に必要な各プロジェクタpi(102i)と基準仮想カメラvm(115m)間のマッピング関数Ψvmpi,(m=1…M,i=1…N)が式(32)(式(31−3)を変形したもの)のように求まる。
xk vm
=Avmpixk pi±(√(xk pi TEpixk pi))evm (32)
ここで、Avmpi=Hvmpi−evm《qT pi》,Epi=《qpi》《qT pi》−Q33piであり、pi以外のプロジェクタpi(102i)のマッピング関数についても同様にして求めることができる。これらの計算は、各プロジェクタ102iが接続されるコンピュータ103の第1のマッピング関数及び逆関数計算手段1091iにおいて行われ、これらの計算結果は記憶装置110iに記憶される。
(3)マッピング関数Ψvmpiの最適化(図2(a)のステップP104−2)
以上の計算で得られたマッピング関数Ψvmpiは様々な誤差を含んでおり、そのままでは使えない。そこで、前出のマッピング関数Ψvmpi、具体的にはAvmpi,Epi,evmを初期化して、以下の再投影誤差Cを計算しマッピング関数Ψvmpiの最適化を行う。
C
=Σk,i|xk vm−(Avmpixk pi±(√(xk pi TEpixk pi))evm)|
(33)
即ち、既知のxk vmとxk piを用いて式(33)を最小化するAvmpi,Epi,evmを求める。これらの計算は、各プロジェクタ102iが接続されるコンピュータ103の第1のマッピング関数及び逆関数計算手段1091iにおいて行われ、これらの計算結果は記憶装置110iに記憶される。
図4(a)に示すように、スクリーン形状を表す2次曲面Qは、1つの基準仮想カメラv1(1151)の光軸が放線であり中心がQの中心と一致する平面Πを境界にて前の曲面と奥の曲面の2つの面を持つ。この2つの面のどちらに対する補正かにより、式(32)中の符号が決まる。この場合は、手前の面が−、奥の面が+となる。プロジェクタp1(1021)とp5(1025)を見ると、投影領域が境界平面Πをまたがり、式(32)の正負の判定がどこで起こるかの判断が難しい。
この不都合を防ぐため、図4(b)に示すように、基準仮想カメラvm(115m)を複数設置することで符号判定の問題を回避した。図4(b)の例では基準仮想カメラv1(1151),v2(1152),v3(1153)をスクリーン101の周囲に配置し、それぞれの基準仮想カメラv1(1151),v2(1152),v3(1153)が分担してスクリーン全体を見込む。これにより、新しく設置した基準仮想カメラvm(115m)から見ると、対応するプロジェクタは常に2次曲面スクリーン101の奥の面に映像を投影することかでき、符号のあいまいな状態を回避できる。図4(b)の例では、プロジェクタp1(1021),p2(1022)に関して基準仮想カメラv2(1152),v3(1153)とのマッピング関数が必要となる。また、最適化処理もプロジェクタp2〜p4(1022〜1024)は基準仮想カメラv1(1151)の、プロジェクタp1(1021)は基準仮想カメラv2(1152)の、プロジェクタp5(1025)は基準仮想カメラv3(1153)の2次元点を用いて行う必要がある。これらの計算は、各プロジェクタ102iが接続されるコンピュータ103の第1のマッピング関数及び逆関数計算手段1091iにおいて基準仮想カメラ115mを接続するコンピュータ105とともに行われ、これらの計算結果は記憶装置110iに記憶される。
実際の視点位置から見て歪みがなく連続に見えるために各プロジェクタpi(i=1…I)と実際の視点eとの間のマッピング関数Ψepiを求める。各プロジェクタpi(102i)と基準仮想カメラvm(115m)間のマッピング関数Ψvmpi(m=1…M)は既に求まっているため、基準仮想カメラvm(115m)と視点間のマッピング関数Ψevmが求まれば式(34)から間接的にΨepiを求めることができる。
Ψepi=ΨevmΨvmpi (m=1…M,i=1…I) (34)
基準仮想カメラvm(115m)から見た視点eの位置姿勢は仮想カメラ法を用いて幾何学的に求まるので、その位置姿勢情報を持つ仮想カメラ(すなわち視点仮想カメラe)eと基準仮想カメラvm間のマッピング関数Ψevmも求まる。図4の例では、4つの仮想カメラ(3つの基準仮想カメラv1〜v3(1151〜1153)と視点仮想カメラv0(1154)≡e)を用いるため、図4(b)に示すように、マッピング関数についても各基準仮想カメラvm(115m)と視点仮想カメラv0(1154)間のマッピング関数Ψevm(m=1…3)が必要であり、各基準仮想カメラvm(115m)に対して仮想カメラ法を適用することでΨev1,Ψev2,Ψev3が求まる。基準仮想カメラvm(115m)及び視点仮想カメラv0(1154)は理想的なカメラであり、視点仮想カメラv0(1154)の位置姿勢も幾何学的に求まるので、マッピング関数Ψev1,Ψev2,Ψev3に対しては最適化を行う必要がない。図4の場合の各プロジェクタと視点仮想カメラv0(1154)間のマッピング関数は次のように表される。
Ψepi=Ψev1Ψv1pi (i=2…4)
Ψep1=Ψev2Ψv2p1; Ψep5=Ψev3Ψv3p5 (35)
これらの計算は、各プロジェクタ102iが接続されるコンピュータ103の第2のマッピング関数及び逆関数計算手段1092iにおいて基準仮想カメラ115mを接続するコンピュータ105とともに行われ、これらの計算結果は記憶装置110iに記憶される。
第2のマッピング関数及び逆関数計算手段1092iでは、マッピング関数f()からその逆関数を求める(図2(a)のステップP106)。前記ステップP106で求めた逆関数を各コンピュータ103iの記憶装置110iに格納する。これら一連の処理に得られるマッピング関数及び逆関数を適当な数の仮想視点について、予め求めてテーブルとして保持しておく。
図6の場合、スクリーンの円周は、正対した位置から俯瞰しない限り、楕円となる。前記の「[1−4−2]対角化による中心への移動」において説明した対角化により仮想した視点位置をスクリーンに正対することが可能となるため、円に概説する矩形を計算により直接求めることができ、オーバーラップを許した視野分割ができる。
図13(a)にスクリーンの縁を表す円に外接する矩形とそれを用いた視野の分割とオーバーラップの関係を示す。また、図13(b)に視野角の分割法を示す。以下では、図中の投影可能領域内に各分割が含まれるとして説明する。
以下では、視野の4分割(4並列)を例に変換行列の計算を示す。しかし、ここでの議論は、4分割以外でも一般性を失うことはない。プロジェクタ502jのプロジェクタ座標から仮想のカメラ座標(図13(a)に示す4分割した領域)へのマッピング関数fj()は以下のようにして求める。
(1)スクリーンの半径rを求め、これを用いて図13(a)に示すWrct及びHrctを計算する。
(2)円に外接する矩形領域を重複部Hover,Woverを持つように4等分、外接矩形表示領域から、4等分された該当領域への変換行列Hj rctを計算する。
(3)Hj rctを用いて当該プロジェクタ502jに対応して備えられるコンピュータ103iのマッピング関数及び逆関数計算手段509jにおいてマッピング関数fj()を計算する。
以下、順に説明する。
前記した式(15)の平方根の中の
を用いた
はカメラ座標でのスクリーンの縁を表す楕円を示す式である。従って、カメラ座標系における二次曲面行列Qを、視点座標系に変換したQvを用いて計算し直したEに対応するEvを用いた以下の式
は、スクリーンに正対する視点座標系でのスクリーンの縁に対応する円を示す式となる。
また、Evで規定される円と任意の点
の距離dは、
の関係がある。
ここで、
e11x2 i+2e12xiyi
+2e13xi+2e23yi
+e22y2 i+e33
=d2 (37)
この距離dが最大となる点が、円の中心であり、また、このときの距離が半径となる。dを最大とする点
は次の関係を満足する。
∂d2/∂xi=2e11xi+2e12yi+2e13=0
∂d2/∂yi=2e12xi+2e22yi+2e23=0 (38)
上式で示した連立方程式を解けば、
xi=(e13e22−e12e23)/(e2 12−e11e22)
yi=(e11e23−e12e13)/(e2 12−e11e22) (39)
この座標点は、円の中心であるので、(xc,yc)と表記する。この中心点(xc,yc)を用いれば、半径rは、
r=√(e11x2 c+2e12xcyc+2e13xc
+2e23yc+e22y2 c+e33) (40)
となる。
図13(a)のように横方向の投影映像の重なりの幅をWover、縦方向の重なり幅をHoverとすれば、分割した視野の大きさWrct及びHrctは次式となる。
Wrct=r+(Wovr/2)
Hrct=r+(Hovr/2) (41)
これを用いて、図13(a)に示す原点をOとする座標系から原点をOjとする各視野の座標系への変換行列は、以下となる。
投影領域の重複部分は輝度が高くなるため投影する映像の輝度を補正する必要がある。この輝度補正は、スクリーン上で重複する各プロジェクタの画素位置に重み係数を予めテーブルとして保持しておき、歪み補正時に画素値と対応する重み係数の乗算により行われる。重みの決定方法を図14に示す。図14のプログラムは疑似言語で記述したものである。
ここで、(p,q)はカメラ座標系における画素位置、i,jは(1…4)のプロジェクタ番号、Hはプロジェクタの横方向の画素数、Wは縦方向の画素数、αi(pi,qi)はプロジェクタiの画素位置(pi,qi)における重み係数をそれぞれ表す。プロジェクタiとプロジェクタjの重なり部分を判定してその部分の重みを重複幅に反比例して与えている。
([3−1]ブラックオフセットの軽減の必要性)
複数のプロジェクタを用いて高解像度の映像を生成しようとする場合、各プロジェクタの投影領域に重複部分が生じる。重複部分は各プロジェクタの輝度が加算され、重複しない部分よりも明るくなる。プロジェクタが完全な黒を表示できれば問題ないが、投影する映像が黒であっても、プロジェクタの漏れ光により投影される領域は完全に黒にはならない(図15(a)参照)。また、重複領域はそれぞれのプロジェクタの漏れ光が重なるためさらに明るくなる。つまり、プロジェクタの漏れ光によりブラックオフセットが生じ、黒を出した状態でも重複部分が目立つことになる。
プロジェクタの漏れ光によるブラックオフセット部分はプロジェクタに依存しており調整することはできない。調整できるのは投影する映像の色のみである。単純な色のかさ上げでは色の値が1.0以上になった場合(色の値を0.0〜1.0に正規化してある。)にその色が1.0に補正されてしまい元の映像の色と異なってしまう。そこで元の映像のコントラストを下げ、色を保持しながらかさ上げをすることで色の変化が生じないようにする(図15(b)参照)。実現方法としては、Cg(C for Graphics by nVidia)言語を用いてグラフィックスボードが持つfragment shader機能を活用し、撮影する映像の色を補正することで重複部分の輝度の目立ち(図15(c)、図15(d)参照)を軽減させる。
Cgで用いた色の補正式は以下の式(44)の通りである。この式を用いることでブラックレベルを調整し、重複部分のブレンディングを行うαブレンド機能を利用することができる(図15(e)参照)。そして、ブラックオフセットによる輝度のズレを軽減することができる。図15(f)に重複部分の例を説明する。
C_new
=K*C_org+C_offset (44)
但し、
C_new:補正された色(The corrected color)
K:コントラストを下げる係数(The coefficient for reducing the contrast)
C_org:画像のオリジナルの輝度(The original color of image)
C_offset:輝度のオフセット(The offset of color)
カメラ画像の輝度から決定する。
1.プロジェクタ5021〜5024又は102iから何も投影しない状態をカメラ5041又は1042jで撮像する。(Background Imageとして使用する。)その画像をImg_bkgrndとする(図16のステップP1601)。
2.各プロジェクタ5021〜5024又は102iから黒を出した状態をカメラ5041又は102iで撮影する(図16のステップP1602)。その画像をImg_blkofst_nとする。nはプロジェクタの番号とする。画像から得られる輝度をIとすると、オフセット計算部514j又は114jにおいて以下の計算をする。
(図16のステップP1603)
なお、式(45)の分母のWimg,Himgはそれぞれカメラでスクリーン505又は101を撮像したときのスクリーン505又は101の周囲にある矩形の幅、高さである(図13(a)参照)。式(47)の分母の256は例えばカメラが持つ輝度値を8bitで持つとした場合の28=256である。
K=1.0−Cn offset (48)
これらにより式(44)を得て、補正した色を得る。このとき、一定周期で投影する映像の輝度を計測し、その平均値に従って、ブラックオフセットにかさ上げするC_offsetを前記一定の周期で計算して変更することで、シーンごとにC_newを作成し、黒レベルの調整を行う。従って、明画像か暗画像かを判定し、暗画像の場合にオフセットを調整するため、ブラックオフセットによる輝度のずれを軽減することができる。また、重複する部分についてアルファブレンディングにより重複する部分の輝度を下げて他の領域と目立たなくしている。(図16のステップP1604)。
従来、映像のレンダリングを行う場合に、一般的にはグラフィックスボードが持つフレームバッファ(メモリ領域)に映像を書き込み、そのバッファをディスプレイやプロジェクタなどを経由して表示するものであった。
プロジェクションクラスタ(複数のプロジェクタの投影領域のそれぞれの全体によりスクリーンをカバーするようにしたもの)では、映像の歪みを補正する際にバッファに保持されている映像データに対しサンプリング(映像の参照)を行い参照したデータを元に映像を再度作成することで歪みを補正する。このバッファが大きければ大きいほど映像を高精細に描画することができる。このバッファがフレームバッファの場合、フレームバッファはディスプレイやプロジェクタとの解像度に依存するため、ディスプレイやプロジェクタの解像度以上にバッファを大きくすることはできない。よって、高解像度化をディスプレイやプロジェクタの機能以上にすることが難しい。
本発明において、映像データを格納する際に、フレームバッファの代わりにピクセルバッファを使用する。直接ピクセルバッファへ格納しオフスクリーンレンダリングを行うことで、ディスプレイやプロジェクタの解像度の制限を受けない。ピクセルバッファのサイズは2のべき乗という制限はあるが任意に設定可能である。実際には、グラフィックスカードの機能にも依存するためピクセルバッファのサイズにも限界は存在するが、フレームバッファよりも大きなサイズのバッファを確保することができる。
ピクセルバッファのサイズは任意に決定され、ディスプレイの解像度以上の映像をバッファに格納する。ここではバッファサイズを2048×2048とする。
ピクセルバッファを使用する場合、直接バッファにレンダリングすることができるためフレームバッファを使用する必要がない。また、OpenGLの拡張命令を使用することで、ピクセルバッファに格納されたデータを直接テクスチャとして扱うことができる。
図5のピクセルバッファ512aj,512bj又は図1のピクセルバッファ112aj,112bjは、Quadric Transfer(QT)を用いてデータのサンプリングを行う。QTはカメラ画像座標からプロジェクタ画像座標への変換を表し、その逆変換(QT_inv)はプロジェクタ画像座標からカメラ画像座標への変換を表す。プロジェクションクラスタではQT_invを用いてデータのサンプリングを行う。
サンプリング方法としては、プロジェクタ画像座標の(0,0)から順に(1024,768)までの座標を走査し、その位置がカメラ画像座標ではどの位置に対応するかを求める。また、カメラをOpenGL上の視点と考えると、テクスチャメモリの格納した映像をカメラから見た映像とみなすことができる。この関係(ここでは変換マトリクス
とする)を利用し、プロジェクタ画像座標のある位置がテクスチャ座標のどの位置に対応するかを求めることができ、そのテクスチャ座標の位置の色をサンプリングして色情報として保持する(図18参照)。
サンプリング結果を元に歪み補正を施した映像を作成し、プロジェクタから投影する。投影された映像はスクリーン上で正しく映像として表示される。
図5の各プロジェクタ503j毎に備えられたコンピュータ503jの画像生成手段511jにより生成された画像を、ピクセルバッファ512jaにレンダリングし、この画像を当該プロジェクタ503jについて求めたマッピングの逆関数f−1()により、歪み補正した映像をピクセルバッファ512jbに生成する(図6(b)のステップS601)。この歪み補正した映像を各プロジェクタ503jから二次曲面スクリーン505に投影する(図6(b)のステップS602)。
図1による場合、各プロジェクタ102i毎に備えられたコンピュータ103iの画像生成手段111iにより生成された画像を、ピクセルバッファ112aiにレンダリングし、この画像を当該プロジェクタ102iについて求めたマッピングの逆関数f−1()により、歪み補正した映像をピクセルバッファ112ibに生成する(図2(b)のステップS101)。この歪み補正した映像を各プロジェクタ102iから二次曲面スクリーン10に投影する(図2(b)のステップS102)。図4(c)に表示システムを示し、各プロジェクタ102i(i=1〜5)は図示しないフレキシブルアームにより支柱401〜405を介して床面406上に設置されている。
この2台のプロジェクタ使用の場合も、図5の2台のコンピュータ5031,5032により各プロジェクタ5021,5022毎の映像を生成するとともに各プロジェクタ5021,5022毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ512aに生成し(図17(b)のステップS1701)、各プロジェクタ5021,5022からピクセルバッファ512bにおいて歪み補正した映像を二次曲面スクリーン505に投影して前記共通して重複する部分の明るさを大きくする(図17(b)のステップS1702)。
この2台のプロジェクタ使用の場合も、図1の例えば2台のコンピュータ1031,1032により各プロジェクタ1021,1022毎の映像を生成するとともに各プロジェクタ1021,1022毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ112a1,112a2に生成し(図17(b)のステップS1701)、各プロジェクタ1021,1022からピクセルバッファ112b1,112b2において歪み補正した映像を二次曲面スクリーン101に投影して前記共通して重複する部分の明るさを大きくする(図17(b)のステップS1702)。
この場合、考えられる措置として、ソフト的に投影する元の映像の輝度を補正することで、ブラックオフセットによって生じる重複領域の輝度を下げ重複部分の目立ちを軽減させることができるが、これだけで夜間のシーンでは完全に重複部分を認識させないようにするのは困難である。
このため、元の映像の輝度の補正と合わせて偏光板を組み合わせて重複部分に対する減光率を段階的に調整することで、重複部分をより感じさせない映像を表示することが可能となる。
減光率を段階的に調整可能なフローを図19(a)に、その装置を図19(b)に示す。図19(b)において、1901はプロジェクタ、1902は偏光子、1903は検光子、1904は前記検光子1903を回転させるモータ、歯車、その他の機械部品、電気回路を含む回転手段である。1906は、検光子の周囲に設け前記回転手段1904の歯車とかみ合うように形成した歯車の歯である。
偏光子1902は、それ自身が位置するプロジェクタ1901の映像領域が図示しない他のプロジェクタとの映像領域との重複部分に対応した個所の範囲をカバーする(カバーするように斜線で示している。)。検光子1903の回転状態により、プロジェクタ1901からスクリーンへの投影光について重複部分のみの輝度を調整する。
Maluの法則により
I(θ)=I(0)cos2θ
ただし、I(θ):偏光子と検光子を通過した際の光の強度
I(0):偏光子を通過した際の光の強度
となるため検光子の角度を変えることで重複部分の輝度を調整することが可能となる。
図5の各コンピュータ503jにより各プロジェクタ502j毎の映像をピクセルバッファ512aに生成するとともに、各プロジェクタ502j毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ512bに生成する(P1901)。各プロジェクタ502jから前記ピクセルバッファ512bにおいて歪み補正した映像を二次曲面スクリーン505に投影する(P1902)。夜間情景を表すときに操作者は回転手段1904を操作し、検光子1903を回転させる。検光子1903の回転に応じて、プロジェクタ502jからの光を減光させる(P1903)。
重複部分の輝度を各プロジェクタ502j単体による輝度と同程度まで落とせば重複部分は目立たなくなる。
図1による場合、各コンピュータ103jにより各プロジェクタ102j毎の映像をピクセルバッファ112ajに生成するとともに、各プロジェクタ102j毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ112bjに生成する(P1901)。各プロジェクタ102jから前記ピクセルバッファ112bjにおいて歪み補正した映像を二次曲面スクリーン101に投影する(P1902)。夜間情景を表すときに操作者は回転手段1904を操作し、検光子1903を回転させる。検光子1903の回転に応じて、プロジェクタ102jからの光を減光させる(P1903)。
重複部分の輝度を各プロジェクタ102j単体による輝度と同程度まで落とせば重複部分は目立たなくなる。
上述した技術は、ステレオ映像表示においても実現することができる。図20(a)は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図20(b)は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図21は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図21において、2101は二次曲面スクリーン、21021i,21022i(i=1,2,3,…n)は前記スクリーン周辺に配置されるプロジェクタ、2103iは前記プロジェクタ21021i,21022i毎に対応して備えられる複数のコンピュータである。21041i,21042i(i=1,2,3,…n)は前記プロジェクタ21021i,21022iが投影する映像を撮像することができるステレオカメラを構成するデジタルカメラ、2105は前記デジタルカメラ21041i,21042iを接続するコンピュータ、2106はコンピュータ2105内のテスト点3次元復元手段、2107はコンピュータ2105内の二次曲面係数行列推定手段、2108はコンピュータ2105内の記憶装置、21091i,21092iは各コンピュータ2103i内の第1及び第2のマッピング関数及び逆関数計算手段、2110iは各コンピュータ2103i内の記憶装置、2111iは各コンピュータ2103iに備えられる画像生成手段、2112ai,2112biは各コンピュータ2103iに備えられるピクセルバッファであり、当該コンピュータ2103i、画像生成手段2111iとともに映像生成手段を構成する。2113は各コンピュータ2103i,2105を接続するネットワークである。2114iは各コンピュータ2103iのオフセット計算手段、2115m(m=1,2…M)はデジタルカメラで構成し、プロジェクタ2102iが投影する二次曲面スクリーン2101の面を撮影するように外周に位置する基準仮想カメラである。
ステレオ表示は、前述の実施例1において、図1について説明した1つの視点の代わりに、左右両目の視点についてマッピング関数及び逆マッピング関数を求めて、左右それぞれの目用の画像を発生するものである。
すなわち、ステレオ表示のための二次曲面スクリーンに係るマッピング関数、その逆関数は、以下のように得る。
各プロジェクタpi(21021i,21022i)からスクリーン2101に投影したテスト点の3次元復元を前記ステレオカメラ21021i,21022iによる行う(図20(a)のステップP2001)。
前記復元した各プロジェクタpi(21021i,21022i)の3次元点を1つの(例えば)カメラ21021iの座標系に統合し、統合後の3次元点からスクリーン形状を表す2次曲面係数行列(Q)を推定する(図20(a)のステップP2002)。
前記統合後の各プロジェクタpi(21021i,21022i)の3次元点とこれに対応するテスト点の2次元点から各プロジェクタpi(21021i,21022i)の位置姿勢(P)を推定する(図20(a)のステップP2003)。
前記二次曲面スクリーン2101の投影面を分割して全体を撮影するように配置し、前記プロジェクタpi(21021i,21022i)が投影する前記二次曲面スクリーン2101の投影面を撮影する複数の基準仮想カメラVm(2115m)(m=1…M)を備え、前記推定した2次曲面係数行列(Q)と、前記複数の基準仮想カメラVm(2115m)(m=1…M)の位置姿勢と前記推定した各プロジェクタpi(21021i,21022i)の位置姿勢(P)から、プロジェクタpi(21021i,21022i)の画素位置の投影像がスクリーン2101を介して基準仮想カメラVm(2115m)の画素位置に対応する基準仮想カメラVm(2115m)とプロジェクタpi(21021i,21022i)間のマッピング関数Ψvmpiを求める(図20(a)のステップP2004)。
ステップP2004において、図1と共に説明した式(33)により、そこで、前出のマッピング関数Ψvmpi、具体的にはAvmpi,Epi,evmを初期化して、以下の再投影誤差Cを計算しマッピング関数Ψvmpiの最適化を行う(図20(a)のステップP2004−2)。
前記二次曲面スクリーン2101を見る右目又は左目のいずれか一方の位置に位置姿勢情報を持つ右目(又は左目)用の視点仮想カメラe(161514又は161524)を設定し、当該右目(又は左目)用の視点仮想カメラe(161514又は161524)の位置姿勢と前記位置姿勢を持つ基準仮想カメラVm(2115m)間のマッピング関数Ψevmを求め、前記ステップP2024によるマッピング関数Ψvmpiとにより、
各プロジェクタ21021i(右目用の場合)(又は左目用のプロジェクタ21022i)と右目(又は左目)用の視点仮想カメラe(161514又は161524)との間の右目(又は左目)用のマッピング関数Ψr(l)epiを求め、前記二次曲面スクリーン2101を見る前記右目又は左目のいずれか一方と異なる他方の位置に位置姿勢情報を持つ左目(又は右目)用の視点仮想カメラe(161514又は161524)を設定し、当該左目(又は右目)用の視点仮想カメラe(161514又は161524)の位置姿勢と前記位置姿勢を持つ基準仮想カメラVm(2115m)間のマッピング関数Ψevmを求め、前記第4の過程によるマッピング関数Ψvmpiとにより、各プロジェクタ21021i(21022i)と左目(又は右目)用の視点仮想カメラe(161514又は161524)との間の左目(又は右目)用のマッピング関数Ψl(r)epiを求める(図20(a)のステップP2005)。
前記ステップP2004による右目用及び左目用のマッピング関数Ψrepi,Ψlepiによりその逆関数を求める第(図20(a)のステップP2006)。
また、ステレオ表示は以下のように行う。
各コンピュータ2103iの画像生成手段2111iにより各プロジェクタ21021i,21022i毎の右目用及び左目用の映像をピクセルバッファ2112aiに生成するとともに上記のように求めた各プロジェクタ21021i,21022i毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ2012ibに生成する(図20(b)のステップS2001)。各プロジェクタ21021i,21022iから前記ピクセルバッファ2012bにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーン2101に投影する(図20(b)のステップS2002)。
マッピング関数及びその逆関数は、実施例1で説明したように図示しないコンピュータにより求めておく。
メモリ2204はフレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、メモリ2204は必須のものでなく、変換器2203から直接歪み補正手段2205〜2208に直接接続してもよい。補正後メモリ2209,2210,2211,2212は、フレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、補正後メモリ2209,2210,2211,2212は必須のものでなく、歪み補正手段2205,2206,2207,2208のそれぞれは直接に変換器2213,2214,2215,2216に接続してもよい。
プロジェクタ2217,2218,2219,2220の数は任意の数nを用いることができ、この実施例では4台の例を図示した。
ビデオ機器2201からの映像は、変換器2203で処理に適するように変換され、メモリ2204に一時格納される。メモリ2204の映像は、プロジェクタ2217,2218,2219,2220のそれぞれに投影される範囲で分割されて、その範囲でそれぞれが歪み補正手段2205,2206,2207,2208に歪み補正され(図24のステップST2401)て、補正後メモリ2209,2210,2211,2212に一時格納される。映像信号は、変換器2213,2214,2215,2216で処理され、プロジェクタ2217,2218,2219,2220によりスクリーン2221に投影して共通して重複する部分の明るさを大きくする(図24のステップST2402)。
例えば、プロジェクタ2217,2219を右目用、プロジェクタ2218,2220を左目用とする。
ビデオ機器2201からの各プロジェクタ2217,2218,2219,2220の右目用及び左目用の映像が、各プロジェクタ2217,2218,2219,2220の右目用及び左目用のマッピングの逆関数により、歪み補正される(図25のステップST2501)。各プロジェクタ2217,2218,2219,2220から前記歪み補正された右目用及び左目用の映像が前記二次曲面スクリーン2221に投影される(図25のステップST2502)。
Claims (28)
- 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記複数のプロジェクタごとに分割されたスクリーンを撮影するように配置されたステレオカメラと、コンピュータと、記憶装置とを有し、
コンピュータによる処理であって、
各プロジェクタpiからスクリーンに投影したテスト点の3次元復元を前記ステレオカメラによる行う第1の過程と、
前記復元した各プロジェクタpiの3次元点を1つの座標系に統合し、統合後の3次元点からスクリーン形状を表す2次曲面係数行列(Q)を推定する第2の過程と、
前記統合後の各プロジェクタpiの3次元点とこれに対応するテスト点の2次元点から各プロジェクタpiの位置姿勢行列(P)を推定する第3の過程と、
前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタpiが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラvm(m=1…M)を備え、前記推定した誤差を含む2次曲面係数行列(Q)と、前記複数の基準仮想カメラvm(m=1…M)の位置姿勢行列と、前記推定した誤差を含む各プロジェクタpiの位置姿勢行列(P)とを用いた計算により、2次曲面係数行列(Q)の誤差と各プロジェクタpiの位置姿勢行列(P)の誤差を含む、基準仮想カメラvmとプロジェクタpi間のマッピング関数Ψvmpiを求める第4の過程と、
前記二次曲面スクリーンを見る位置に位置姿勢情報を持つ視点仮想カメラeを設定し、当該視点仮想カメラeの位置姿勢と前記位置姿勢を持つ基準仮想カメラvm間のマッピング関数Ψevmを求め、前記第4の過程によるマッピング関数Ψvmpiとにより、各プロジェクタと視点仮想カメラeとの間のマッピング関数Ψepiを求める第5の過程と、
前記第5の過程のマッピング関数Ψepiによりその逆関数を求める第6の過程と、
からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。 - 請求項1における、第4の過程が、誤差を含むマッピング関数Ψvmpiを初期値とし、その誤差を最小にして最適化することを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。
- 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項1又は請求項2において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする分割撮像による歪み補正と統合方法。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記複数のプロジェクタごとに分割されたスクリーンを撮影するように配置されたステレオカメラと、コンピュータと、記憶装置とを有し、
コンピュータによる処理であって、
各プロジェクタpiからスクリーンに投影したテスト点の3次元復元を前記ステレオカメラによる行う第1の過程と、
前記復元した各プロジェクタpiの3次元点を1つの座標系に統合し、統合後の3次元点からスクリーン形状を表す2次曲面係数行列(Q)を推定する第2の過程と、
前記統合後の各プロジェクタpiの3次元点とこれに対応するテスト点の2次元点から各プロジェクタpiの位置姿勢行列(P)を推定する第3の過程と、
前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタpiが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラvm(m=1…M)を備え、前記推定した誤差を含む2次曲面係数行列(Q)と、前記複数の基準仮想カメラvm(m=1…M)の位置姿勢行列と、前記推定した誤差を含む各プロジェクタpiの位置姿勢行列(P)とを用いた計算により、2次曲面係数行列(Q)の誤差と各プロジェクタpiの位置姿勢行列(P)の誤差を含む、基準仮想カメラvmとプロジェクタpi間のマッピング関数Ψvmpiを求める第4の過程と、
前記二次曲面スクリーンを見る右目又は左目のいずれか一方の位置に位置姿勢情報を持つ右目(又は左目)用の視点仮想カメラeを設定し、当該右目(又は左目)用の視点仮想カメラeの位置姿勢と前記位置姿勢を持つ基準仮想カメラvm間のマッピング関数Ψevmを求め、前記第4の過程によるマッピング関数Ψvmpiとにより、各プロジェクタと右目(又は左目)用の視点仮想カメラeとの間の右目(又は左目)用のマッピング関数Ψr(l)epiを求め、前記二次曲面スクリーンを見る前記右目又は左目のいずれか一方と異なる他方の位置に位置姿勢情報を持つ左目(又は右目)用の視点仮想カメラeを設定し、当該左目(又は右目)用の視点仮想カメラeの位置姿勢と前記位置姿勢を持つ基準仮想カメラvm間のマッピング関数Ψevmを求め、前記第4の過程によるマッピング関数Ψvmpiとにより、各プロジェクタと左目(又は右目)用の視点仮想カメラeとの間の左目(又は右目)用のマッピング関数Ψl(r)epiを求める第5の過程と、
前記第5の過程の右目用及び左目用のマッピング関数Ψrepi,Ψlepiによりその逆関数を求める第6の過程と、
からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。 - 請求項4における、第4の過程が、誤差を含むマッピング関数Ψvmpiを初期値とし、その誤差を最小にして最適化することを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。
- 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
前記各コンピュータにより各プロジェクタが投影する領域毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項4又は請求項5において求めた各プロジェクタ毎の右目用及び左目用のマッピング関数Ψrepi,Ψlepiの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする分割撮像による歪み補正と統合方法。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、コンピュータと、記憶装置とを有し、
前記コンピュータにより各プロジェクタが投影する領域毎の映像を生成するとともに予め請求項1又は請求項2において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第2の過程からなることを特徴とする分割撮像による歪み補正と統合方法。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項1又は請求項2において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、
各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする分割撮像による歪み補正と統合方法。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項4において求めた各プロジェクタ毎の右目用及び左目用のマッピング関数の逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、
各プロジェクタから前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第2の過程からなることを特徴とする分割撮像による歪み補正と統合方法。 - 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数nのプロジェクタと、ビデオ機器とを有し、
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項1又は請求項2において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第1の過程と、
各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第2の過程からなることを特徴とする分割撮像による歪み補正と統合方法。 - ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とする請求項8又は請求項9又は請求項10記載の分割撮像による歪み補正と統合方法。
- 請求項3又は請求項6又は請求項7又は請求項8又は請求項9又は請求項10又は請求項11に記載の分割撮像による歪み補正と統合方法において、
二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、コンピュータと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラとを有し、
前記スクリーンに前記プロジェクタのいずれもから投影しない状態でステレオカメラにより撮影する第1の過程と、
前記各プロジェクタより前記スクリーンに黒状態の映像を投影してステレオカメラにより撮影するとともに複数nのプロジェクタのn回繰り返す第2の過程と、
コンピュータにおいて、第2の過程による各プロジェクタ毎の映像の輝度から第1の過程により得られた映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得る第3の過程と、
コンピュータにおいて、一定周期で投影する映像の輝度を計測し、その平均値に従って、ブラックオフセットにかさ上げするオフセット値を一定周期で計算して変化させ黒レベルの調整を行う第4の過程とからなることを特徴とする分割撮像による歪み補正と統合方法。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ前方に設けた偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項1又は請求項2において求めた各プロジェクタ毎のマッピング関数の逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第1の過程と、
各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第2の過程と、
夜間情景を表すときに前記偏光板により減光させる第3の過程からなることを特徴とする分割撮像による歪み補正と統合方法。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラと、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタpiが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラvm(m=1…M)と、前記二次曲面スクリーンを見る位置に配置された位置姿勢情報を持つ視点仮想カメラeと、コンピュータと、記憶装置とを有し、
各プロジェクタpiからスクリーンに投影したテスト点をステレオカメラで撮像して3次元復元を行うテスト点3次元復元手段と、
前記復元した各プロジェクタpiの3次元点を1つの座標系に統合し、統合後の3次元点からスクリーン形状を表す2次曲面係数行列(Q)を推定する2次曲面係数行列(Q)推定手段と、
前記統合後の各プロジェクタpiの3次元点とこれに対応するテスト点の2次元点から各プロジェクタpiの位置姿勢行列(P)を推定するプロジェクタ位置姿勢推定手段と、
前記推定した誤差を含む2次曲面係数行列(Q)と、前記複数の基準仮想カメラvm(m=1…M)の位置姿勢行列と、前記推定した誤差を含む各プロジェクタpiの位置姿勢行列(P)とを用いた計算により、2次曲面係数行列(Q)の誤差と各プロジェクタpiの位置姿勢行列(P)の誤差を含む、基準仮想カメラvmとプロジェクタpi間のマッピング関数Ψvmpiを求める第1のマッピング関数計算手段と、
当該視点仮想カメラeの位置姿勢と前記位置姿勢を持つ基準仮想カメラvm間のマッピング関数Ψevmを求め、前記第1のマッピング関数計算手段によるマッピング関数Ψvmpiとにより、各プロジェクタと視点仮想カメラeとの間のマッピング関数Ψepiを求める第2のマッピング関数計算手段と、
前記第2のマッピング関数計算手段によるマッピング関数Ψepiによりその逆関数を求める逆関数計算手段と、
前記複数プロジェクタ毎にマッピング関数Ψvmpi,Ψepi及びその逆関数を格納する記憶装置と
からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。 - 請求項14の分割撮像による歪み補正と統合のためのマッピング関数生成装置において、第1のマッピング関数計算手段が、誤差を含むマッピング関数Ψvmpiを初期値とし、その誤差を最小にして最適化する最適化手段を備えることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。
- 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項14又は請求項15において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数nのプロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラと、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタpiが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラvm(m=1…M)と、
前記二次曲面スクリーンを見る右目の位置に配置された位置姿勢情報を持つ右目用の視点仮想カメラer及び左目の位置に配置された位置姿勢情報を持つ左目用の視点仮想カメラelと、コンピュータと、記憶装置とを有し、
各プロジェクタpiからスクリーンに投影したテスト点をステレオカメラで撮像して3次元復元を行うテスト点3次元復元手段と、
前記復元した各プロジェクタpiの3次元点を1つの座標系に統合し、統合後の3次元点からスクリーン形状を表す2次曲面係数行列(Q)を推定する2次曲面係数行列(Q)推定手段と、
前記統合後の各プロジェクタpiの3次元点とこれに対応するテスト点の2次元点から各プロジェクタpiの位置姿勢行列(P)を推定するプロジェクタ位置姿勢推定手段と、
前記推定した誤差を含む2次曲面係数行列(Q)と、前記複数の基準仮想カメラvm(m=1…M)の位置姿勢行列と、前記推定した誤差を含む各プロジェクタpiの位置姿勢行列(P)とを用いた計算により、2次曲面係数行列(Q)の誤差と各プロジェクタpiの位置姿勢行列(P)の誤差を含む、基準仮想カメラvmとプロジェクタpi間のマッピング関数Ψvmpiを求める第1のマッピング関数計算手段と、
当該右目(又は左目)用の視点仮想カメラeの位置姿勢と前記位置姿勢を持つ基準仮想カメラvm間のマッピング関数Ψevmを求め、前記第1のマッピング関数計算手段によるマッピング関数Ψvmpiとにより、各プロジェクタと右目(又は左目)用の視点仮想カメラeとの間の右目(又は左目)用のマッピング関数Ψr(l)epiを求め、当該左目(又は右目)用の視点仮想カメラeの位置姿勢と前記位置姿勢を持つ基準仮想カメラvm間のマッピング関数Ψevmを求め、前記第1のマッピング関数計算手段によるマッピング関数Ψvmpiとにより、各プロジェクタと左目(又は右目)用の視点仮想カメラeとの間の左目(又は右目)用のマッピング関数Ψl(r)epiを求める第2のマッピング関数計算手段と、
前記第2のマッピング関数計算手段の右目用及び左目用のマッピング関数Ψrepi,Ψlepiによりその逆関数を求める逆関数計算手段と、
前記複数プロジェクタ毎にマッピング関数Ψvmpi,Ψepi及びその逆関数を格納する記憶装置と
からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。 - 請求項17に記載の分割撮像による歪み補正と統合のためのマッピング関数生成装置において、第1のマッピング関数計算手段が、誤差を含むマッピング関数Ψvmpiを初期値とし、その誤差を最小にして最適化する最適化手段を備えることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。
- 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
前記各コンピュータにより各プロジェクタが投影する領域毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項17又は請求項18において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数nのプロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、コンピュータと、記憶装置とを有し、
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項14又は請求項15において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数nのプロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項14又は請求項15において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
前記歪み補正した各映像を前記二次曲面スクリーンに投影する複数nの各プロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項17において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数nの各プロジェクタからなることを特徴とする分割撮像による歪み補正と統合装置。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、ビデオ機器とを有し、
前記ビデオ機器からの映像を前記スクリーンへ前記複数nのプロジェクタに投影するように分割生成するとともに予め請求項14又は請求項15において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数nのプロジェクタからなることを特徴とする分割撮像による歪み補正と統合装置。 - ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とする請求項21又は請求項22又は請求項23記載の分割撮像による歪み補正と統合装置。
- 請求項16又は請求項19又は請求項20又は請求項21又は請求項22又は請求項23又は請求項24に記載の分割撮像による歪み補正と統合装置において、
二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラとを有し、
プロジェクタの何れからも投影しない第1の状態のスクリーンを撮影するとともに前記各プロジェクタより黒状態を投影したスクリーンの第2の状態をプロジェクタ毎に撮影するカメラと、
前記カメラが撮影した前記第2の状態を投影した各プロジェクタ毎の映像の輝度から、前記第1の状態を撮影した映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得るオフセット計算手段と、
前記各コンピュータにより、一定周期で投影する映像の輝度を計測し、その平均値に従って、ブラックオフセットにかさ上げするオフセット値を一定周期で計算して変化させ黒レベルの調整を行って映像生成する映像生成手段とからなることを特徴とする分割撮像による歪み補正と統合装置。 - 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数nのプロジェクタと、偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項14又は請求項15において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数nのプロジェクタと、
前記各プロジェクタ前方に設け、夜間情景を表すときに各プロジェクタからの光量を減光させる偏光板とからなることを特徴とする分割撮像による歪み補正と統合装置。 - 各プロジェクタが自由度を持ったフレキシブルアームにより床面に設置されたことを特徴とする請求項14又は請求項15又は請求項17又は請求項18に記載の分割撮像による歪み補正と統合のためのマッピング関数生成装置。
- 各プロジェクタが自由度を持ったフレキシブルアームにより床面に設置されたことを特徴とする請求項16又は請求項19〜26のいずれかに記載の分割撮像による歪み補正と統合装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007163457A JP5236219B2 (ja) | 2007-06-21 | 2007-06-21 | 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007163457A JP5236219B2 (ja) | 2007-06-21 | 2007-06-21 | 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009005044A JP2009005044A (ja) | 2009-01-08 |
JP5236219B2 true JP5236219B2 (ja) | 2013-07-17 |
Family
ID=40320957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007163457A Active JP5236219B2 (ja) | 2007-06-21 | 2007-06-21 | 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5236219B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8355601B2 (en) * | 2010-01-15 | 2013-01-15 | Seiko Epson Corporation | Real-time geometry aware projection and fast re-calibration |
JP5783829B2 (ja) * | 2011-07-21 | 2015-09-24 | 三菱プレシジョン株式会社 | 映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ |
JP6083185B2 (ja) | 2012-10-12 | 2017-02-22 | セイコーエプソン株式会社 | プロジェクター、プロジェクターの黒レベル領域設定方法 |
JP2014134611A (ja) * | 2013-01-09 | 2014-07-24 | Ricoh Co Ltd | 幾何歪み補正装置、プロジェクタ装置、及び幾何歪み補正方法 |
KR101669926B1 (ko) * | 2014-02-03 | 2016-11-09 | (주)에프엑스기어 | 사용자 시점 연동형 영상 처리 장치 및 그 방법 |
WO2015141080A1 (ja) * | 2014-03-18 | 2015-09-24 | アドバンストヘルスケア株式会社 | プロジェクタシステム及びキャリブレーションボード |
JP6458396B2 (ja) * | 2014-08-18 | 2019-01-30 | 株式会社リコー | 画像処理システム、及び画像投影装置 |
JP6608208B2 (ja) * | 2015-07-24 | 2019-11-20 | 国立大学法人静岡大学 | 画像表示装置 |
JP7299165B2 (ja) * | 2018-01-10 | 2023-06-27 | コニカミノルタプラネタリウム株式会社 | プラネタリウム制御装置、プラネタリウムシステムおよびプラネタリウム制御装置の制御プログラム |
JP7467947B2 (ja) | 2020-01-31 | 2024-04-16 | セイコーエプソン株式会社 | 画像投射システムの制御方法、及び画像投射システム |
JP7163943B2 (ja) | 2020-09-10 | 2022-11-01 | セイコーエプソン株式会社 | 情報生成方法、情報生成システム、及びプログラム |
CN113840135B (zh) * | 2021-09-03 | 2023-10-20 | 大连中科创达软件有限公司 | 色偏检测方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3880582B2 (ja) * | 2004-02-13 | 2007-02-14 | Necビューテクノロジー株式会社 | 複数のカメラを備えたプロジェクタ |
JP4013922B2 (ja) * | 2004-06-14 | 2007-11-28 | 松下電工株式会社 | 仮想現実感生成装置および方法 |
JP4751084B2 (ja) * | 2005-01-11 | 2011-08-17 | 三菱プレシジョン株式会社 | マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置 |
-
2007
- 2007-06-21 JP JP2007163457A patent/JP5236219B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009005044A (ja) | 2009-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5236219B2 (ja) | 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置 | |
US8358873B2 (en) | Hybrid system for multi-projector geometry calibration | |
US6793350B1 (en) | Projecting warped images onto curved surfaces | |
Raskar et al. | Multi-projector displays using camera-based registration | |
KR100653200B1 (ko) | 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치 | |
US9195121B2 (en) | Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera | |
US6709116B1 (en) | Shape-adaptive projector system | |
US6755537B1 (en) | Method for globally aligning multiple projected images | |
US6834965B2 (en) | Self-configurable ad-hoc projector cluster | |
US6715888B1 (en) | Method and system for displaying images on curved surfaces | |
US20040257540A1 (en) | Single or multi-projector for arbitrary surfaces without calibration nor reconstruction | |
US6744441B2 (en) | Three-dimensional-picture-generating apparatus, three-dimensional-picture-generating method and program-presenting medium | |
US20090073259A1 (en) | Imaging system and method | |
KR20160034847A (ko) | 단초점 카메라를 이용하여 디스플레이 시스템을 캘리브레이팅하기 위한 시스템 및 방법 | |
JP4751084B2 (ja) | マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置 | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
KR20160118868A (ko) | 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법 | |
JP2005500756A (ja) | 自動位置合わせを用いるマルチプロジェクタモザイク | |
JP2004289822A (ja) | 表示面上の最大矩形を決定する方法 | |
US20100002074A1 (en) | Method, device, and computer program for reducing the resolution of an input image | |
CN112734860A (zh) | 一种基于弧形幕先验信息的逐像素映射投影几何校正方法 | |
JP2002071315A (ja) | 投影平面計測システム | |
JP2004015205A (ja) | マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法 | |
Ikeda et al. | Calibration method for an omnidirectional multicamera system | |
CN111080523B (zh) | 红外周视搜索***及基于角度信息的红外周视图像拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130327 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5236219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |