JP2006285482A - 映像ジオメトリ補正装置 - Google Patents

Abstract

【課題】数台の仮想カメラによる仮想撮影系にてズーム操作後に視野シフトを行った映像を投影系にてスクリーン上に投影した際に屈曲や歪みの発生がなく連続視野を得ることができ自然で正確な三次元ＣＧ映像を作製できるようにすることにある。
【解決手段】シーンデータ作製手段１と仮想撮影画像データ操作手段２と前記作製手段１と操作手段２からのデータに基づいて投影用の三次元ＣＧ又はＶＲ映像となる仮想投影画像を生成する投影画像生成手段３と投影系設置調整手段４と仮想撮影系の補正パラメータを設定変更する第１補正パラメータ設定変更手段６と投影系の補正パラメータを設定変更する第２補正パラメータ設定変更手段７と仮想撮影系と投影系の合成補正パラメータを設定する合成補正パラメータ設定手段８と該設定手段８から出力される合成補正パラメータに基づいて投影用の映像として変形補正する映像変形手段９とから構成される。
【選択図】図１１

Description

本発明は、三次元コンピューターグラフィックスを用いて三次元映像を作製する際に、その映像の歪みなどを幾何学的手法を用いて補正するための映像ジオメトリ補正装置に関する。

一般的に映写スクリーン上に映像を投影して観賞する際に、観賞者に対する映像の演出や解説を目的として、観賞する映像中の対象物の拡大表示が必要となる場合がある。

そのような映像中の対象物を拡大表示する場合には、望遠鏡的に映像視野中の対象物を引き寄せて拡大表示するズーム操作による拡大表示方法と、その映像視野中の対象物に近づくことによって拡大表示する近接観察操作による拡大表示方法がある。

特に、映像表示の観察環境が、厳密なジオメトリ（幾何学的）再現として、見かけの角度としての大きさの正確さを指向した没入型のバーチャルリアリティ（ＶＲ）環境の場合には、ズーム操作ではなく、映像対象物に近づくことによって拡大表示する接近観察操作による拡大表示により観察する場合が多い。

しかしながら、この接近観察操作による拡大表示方法では、下記のような不都合を生じる場合がある。

例えば、日蝕時の天体シミュレーションを行う場合を考えてみると、日蝕の解説に使用する解説図としては、金環日蝕の場合は図１７に示すような解説図（太陽Ｓ、月Ｍ、地球Ａ、観察点Ｏ、太陽観察視線Ｌ1 ）となり、皆既日蝕の場合は図１８に示すような解説図（太陽Ｓ、月Ｍ、地球Ａ、観察点Ｏ、月観察視線Ｌ2 ）となり、太陽Ｓ、月Ｍ、地球Ａの順に配置されたそれぞれ天体の大きさは、月Ｍ、太陽Ｓ、地球Ａの順に大きくなっている。

ところが、地球Ａから見た日蝕時の映像再現では、地球Ａから近距離にある小さな月Ｍと遠距離にある大きな太陽Ｓとが、見かけ上、略同じ大きさであることが重要である。

この場合に、現象を拡大観察するために、視点を現象の方向に接近移動したとすると、両者の見かけ上の大きさが、接近以前の略同じ大きさとは異なってしまい、地球Ａから見た日蝕時の映像再現の目的を達することができない。そのため、視点を移動せずに、視野の拡大が可能なズーム機能、ズーム操作が必須となる。

一般的に映像投影方式としては、例えば、１枚の平面映写スクリーンと１台のプロジェクタとを用いたスクリーン投影方式と、３枚の平面映写スクリーンと３台のプロジェクタとを用いたマルチスクリーン投影方式と、円筒型カーブ映写スクリーンと２台以上複数台のプロジェクタとを用いたマルチプロジェクタ投影方式等がある。

ここで、マルチプロジェクタ投影方式の典型的なバーチャルリアリティシステム（以下ＶＲと称す）の構成例を以下に示す。

図１９は、ある仮想撮影点Ｐ1 （定点）から被写体ｊのあるＶＲシーンＦ（ＶＲ仮想撮影視野、点線）内における三方向を向いた仮想撮影用の３台の仮想カメラＣ1 、Ｃ2 、Ｃ3 と、その各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 を示す正面図であり、図２０は、円筒
型カーブ映写スクリーンＲと、そのスクリーンＲの円筒型カーブ内のＶＲ観察者と同一位置の投影定点Ｐ2 （観察点、観賞点）に設置され、前記仮想カメラＣ1 、Ｃ2 、Ｃ3 と画角、方向とも同じに設定した３台のプロジェクタＴ1 、Ｔ2 、Ｔ3 と、その各々映像投影フレームｔ1 、ｔ2 、ｔ3 を示す平面図である。

通常、ＶＲにおけるレンダリングには、遠近投影が用いられるが、この例では、仮想撮影点Ｐ1 の仮想撮影カメラＣ1 、Ｃ2 、Ｃ3 側（レンダリング側）の幾何学的条件（方向、画角）と、投影定点Ｐ2 のプロジェクタＴ1 、Ｔ2 、Ｔ3 側の幾何学的条件が同一であるため、映像に対して補正を行うことなく歪みの無い投射結果が得られる。また、プロジェクタの投影レンズの焦点深度や輝度ムラを考慮しなければ、円筒型カーブ映写スクリーンＲが投影定点Ｐ2 （観察点、観賞点）を中心とする円筒である必要もない。

ところで、図１９に示す各仮想撮影カメラＣ1 、Ｃ2 、Ｃ3 による各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 を、その各仮想カメラによって、単純にズーム操作により仮想撮影画像を縮小方向にズーミング（画角を小さく）すると、図２１に示すように、当然ながら各仮想カメラＣ1 、Ｃ2 、Ｃ3 の各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 は縮小するため、図２２に示すように各々撮影光軸Ｏ1 、Ｏ2 、Ｏ3 の方向を修正しなければ、図１９に示すようなＶＲシーンＦ内における連続した視野が得られない。

また、ここで、図２３の平面図に示すようにＶＲシーンＦ内（図１９参照）に横方向に無限に伸びている有限の高さの壁Ｗがあるとすると、各仮想撮影カメラＣ1 、Ｃ2 、Ｃ3 の各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 による壁Ｗの仮想撮影画像のうち、左右の仮想カメラＣ1 、Ｃ3 からの仮想撮影フレームｆ1 、ｆ3 による壁Ｗの仮想撮影画像は、図２４に示すように仮想撮影フレームｆ1 の左端に向かって細くなった映像として見え、また、仮想撮影フレームｆ3 の右端に向かって細くなった遠近感のある映像として見える。

また、図２４に示す各仮想撮影フレームｆ1 、ｆ2 、ｆ3 における壁Ｗの仮想撮影画像の上下の端辺に着目すると、各仮想撮影フレームの画面境界では屈曲点があるが、ズーム操作等の仮想撮影条件（撮影光軸Ｏ1 、Ｏ2 、Ｏ3 の方向、仮想撮影フレームｆ1 、ｆ2 、ｆ3 のサイズ）の調整変更がなく、投影系が仮想撮影系と同一の幾何学条件を持つために前述の図２０に示す投影系による投影時には逆補正されてスクリーン上では屈曲点は発生せず、観賞位置からは上下端辺は１本の直線として観察される。

ここで、図２５に示すように、図２３の状態から縮小方向にズーミングが行われた状態で、同様の仮想撮影操作を行ってみると、左右の仮想カメラＣ1 、Ｃ3 の仰角が小さくなるために、図２６に示すように左右の仮想カメラＣ1 、Ｃ3 からの仮想撮影フレームｆ1 、ｆ3 による壁Ｗの仮想撮影画像は、仮想撮影フレームｆ1 の左端に向かって細くなった映像として見え、また、仮想撮影フレームｆ3 の右端に向かって細くなった映像として見えるものの、前述した図２４に示す仮想撮影フレームｆ1 、ｆ3 による壁Ｗの仮想撮影画像に比較して、その遠近感は弱まる。

ところで、上記図２６に示す壁Ｗの仮想撮影画像を、図２０に示した投影系にて映像として投影すると、撮影系と投影系との間で、ズーム操作の仮想撮影条件の調整変更が生じたために、投影系が仮想撮影系と異なる幾何学条件を持つ（仮想撮影系の仮想撮影画像が投影系の映像とは屈曲角度が異なる）ために、スクリーンＲ上に投影しても観賞位置からは上下端辺は１本の直線として観察されず屈曲は解消されない。

このような投影系が仮想撮影系と異なる幾何学条件を持つ（仮想撮影系の仮想撮影画像が投影系の映像とは屈曲角度が異なる）場合に発生する屈曲の解消策としては、左右の仮想カメラＣ1 、Ｃ3 からの仮想撮影フレームｆ1 、ｆ3 による壁Ｗの仮想撮影画像を、図
２７に示すように、コンピューターグラフィックによるＣＧ映像作製におけるレンダリング操作時の投影変換によって、図２１に示す仮想撮影系の撮影光軸Ｏ1 、Ｏ3 と同一の光軸方向を維持しつつ、それぞれ視野（仮想撮影フレームｆ1 、ｆ3 ）を、各々光軸Ｏ1 、Ｏ3 に対して垂直方向（矢印方向）にシフト（写真のアオリ撮影と同様に）することにより、連続した視野を得ることができ、スクリーン上では屈曲は解消して、観賞位置からは上下端辺は１本の直線として観察される。

以下に本発明に関連する公知の特許文献を記載する。
特開２００４−２０６５５１号公報 特開２００４−２５８２８７号公報

しかしながら、例えば、図２８に示すように、仮想撮影系において縮小率を大きく縮小方向にズーミングを行って仮想撮影された仮想撮影フレームｆ1 、ｆ2 、ｆ3 における仮想撮影画像（即ち、投影系において拡大率の大きい映像）であって、屈曲や歪みを補正しようとする視野シフト対象の仮想カメラ、例えば仮想カメラＣ1 の光軸Ｏ1 と、隣接する仮想カメラＣ2 の仮想撮影フレームｆ2 との境界のなす角度がかなり（例えば９０度以上）離れている場合には、視野シフトを行っても屈曲や歪みを補正できず、連続視野を得ることができない。

また、例えば、図２９に示すように、各仮想撮影カメラＣ1 、Ｃ2 、Ｃ3 の各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 の前面に比較的接近して一線に並んだ物体ｊを想定すると、その一線に並んだ端部側の物体ｊに寄る程、仮想撮影点Ｐ1 からの距離が大きくなるために、図２０に示す投影系にて、その各々仮想撮影画像を映像としてスクリーンＲ上に投影した場合、観賞視点Ｐ2 からは、図３０に示すように、映像は端部側の物体ｊ程小さく見える。

この図３０に示す映像の中心部分Ｆ1 を拡大した場合は、図３１のように、その中心部の物体ｊに対して、それに隣接する両側の物体ｊ、ｊは、見かけの大きさに若干の違いがあるのみで、その中心部の物体ｊに対して両側の物体ｊが僅かに小さく観察されるべきであり、接近して一線に並んだ物体ｊを撮影したことにより得られる映像は、遠近感が弱いことが望ましい。

しかし、図２９に示す各仮想撮影カメラＣ1 、Ｃ2 、Ｃ3 の各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 による仮想撮影画像が、例えば、図２８に示すように、仮想撮影系において縮小率を大きく縮小方向にズーミングを行って仮想撮影された仮想撮影フレームｆ1 、ｆ2 、ｆ3 における仮想撮影画像（即ち、投影系において拡大率の大きい映像）であって、屈曲や歪みを補正しようとする視野シフト対象の仮想カメラ、例えば仮想カメラＣ1 の光軸Ｏ1 と、隣接する仮想カメラＣ2 の光軸Ｏ2 とのなす角度がかなり（例えば９０度以上）離れている場合には、視野シフトを行って補正し、図２０に示す投影系にてスクリーンＲ上に連続視野を得ようとしても、図３２図に示すように、中心部の物体ｊに対して、それに隣接する両側の物体ｊ、ｊが極端に小さく観察されてしまい、甚だ不自然、不正確な映像となってしまい、視野シフトで対応できるのは角度が９０°以内の場合である。

本発明は、上記不都合を解消することにあり、仮想撮影系にて視野シフト対象の仮想カメラの光軸と隣接する仮想カメラ光軸とのなす角度がかなり離れている場合であっても、また、仮想撮影フレームシフト対象の仮想カメラの仮想撮影フレームと隣接する仮想カメ
ラの仮想撮影フレームとの境界のなす角度がかなり離れていても、視野シフトを行って補正することにより、投影系にてスクリーン上に、各仮想撮影フレームの境界相当部分の映像に屈曲や歪みの発生がなく連続視野を得ることができ、自然で正確な三次元ＣＧ映像を作製できるようにすることにある。

本発明は、三次元ＣＧシーンＦ又はＶＲシーンＦの仮想撮影対象の物体（例えば物体ｊ等の画像）や背景画像等のシーンデータ（場面データ）を仮想撮影画像データとして作製する仮想撮影系の複数台の仮想カメラ（例えばＣ1 、Ｃ2 、Ｃ3 、・・・）に相当するシーンデータ作製手段１と、該三次元ＣＧ又はＶＲの仮想撮影画像データに基づいて三次元ＣＧ画像又はＶＲ画像として駆動操作するための操作データを作製する仮想撮影系の仮想撮影画像データ操作手段２と、前記シーンデータ作製手段１と仮想撮影画像データ操作手段２から取り込んだシーンデータ及び仮想撮影画像操作データに基づいて投影用の三次元ＣＧ又はＶＲ映像となる仮想撮影系の仮想投影画像を生成する投影画像生成手段３と、投影系のプロジェクター（例えばＴ1 、Ｔ2 、Ｔ3 、・・・）やカーブスクリーンＲなどの物理的設置条件に関わる補正パラメータの設定を行う投影系設置調整手段４と、前記投影画像生成手段３からの仮想投影画像データに基づいてズーム操作に対応したレンダリングや視野角の調整に関わる仮想撮影系の補正パラメータを設定変更する第１補正パラメータ設定変更手段６と、前記投影系設置調整手段４により設定された投影系の補正パラメータを設定変更する第２補正パラメータ設定変更手段７と、前記第１、第２補正パラメータ設定変更手段６、７から出力される仮想撮影系と投影系の補正パラメータに基づいて合成補正パラメータを設定する合成補正パラメータ設定手段８と、該合成補正パラメータ設定手段８から出力される合成補正パラメータと前記投影画像生成手段から出力される仮想投影画像データとに基づいて変形補正して歪みのないカーブスクリーン投影用の仮想投影画像を得る映像変形手段９とから構成されるジオメトリ補正手段５と、該ジオメトリ補正手段５にて補正したカーブスクリーン投影用映像を記録する記録再生手段１０又はカーブスクリーンに投影用映像を投影するプロジェクター手段Ｔ（例えばＴ1 、Ｔ2 、Ｔ3 ）とから構成されることを特徴とする映像ジオメトリ補正装置である。

本発明の請求項２に係る発明は、上記請求項１に係る映像ジオメトリ補正装置において、前記投影画像生成手段からの仮想投影画像データに基づいてズーム操作に対応したレンダリングや視野角の調整に関わる仮想撮影系の補正パラメータを設定変更する前記第１補正パラメータ設定変更手段は１個乃至複数個の補正パラメータ設定変更手段から構成され、前記投影系設置調整手段により設定された投影系の補正パラメータを設定変更する前記第２補正パラメータ設定変更手段は１個乃至複数個の補正パラメータ設定変更手段から構成されることを特徴とする映像ジオメトリ補正装置である。

本発明の映像ジオメトリ補正装置は、補正パラメータは、投影時に、動的且つ滑らかに、高速にて（例えば１秒間に３０回以上）変更、補正処理することができ、そのために、ジオメトリ補正条件をズーム操作に追従して変更、補正することができ、また、全ての補正要因（仮想撮影系に関わる映像補正、投影系に関わる映像補正）を、合成補正パラメータ（１セットの補正パラメータ）として保持できるため、ズーム操作が行われた際に、レンダリング視野角に依存した映像の画素部分のみを変更、補正することができ、仮想撮影系と投影系の２種類の要因に対応した補正パラメータを独立に設定することができる。

また、本発明の映像ジオメトリ補正装置は、ジオメトリ補正手段５により、レンダリング時の投影条件から求められる仮想撮影系に関わる補正パラメータと物理的な投影条件に基づく投影系に関わる補正パラメータとを、それぞれ１個以上、個別に記憶、変更でき、これらによる補正においては、仮想撮影系と投影系の合成された補正パラメータによる補
正を最終補正結果とするものである。

そのために、映像に対してジオメトリ補正を実行する前に、複数の補正パラメータを合成した合成補正パラメータを求めておくことにより、画像補正演算の回数を減らすことができ、また、ズーム操作に連動した滑らかな補正パラメータ変更ができるものである。

このように、本発明の映像ジオメトリ補正装置は、カーブスクリーン多面投影方式にて仮想撮影系におけるズーム機能を実現するために、ズーム操作によって生ずる映像の歪みの補正と、投影系により生ずる映像の歪みの補正との双方の変形補正が、高速にて可能となるものである。

本発明の映像ジオメトリ補正装置の発明の実施の形態を以下に詳細に説明する。

まず、図１の平面図に示すように、投影系にて観賞視点Ｐ2 を取り囲むように、等距離に置かれた複数の同じ形状サイズの各物体の映像ｊｆ、ｊｆ、ｊｆ、・・・が、円筒状のカーブスクリーンＲ上の円周方向に沿って投影されている状況を考える。

この各物体の映像ｊｆ、ｊｆ、ｊｆ、・・・が、投影系にてカーブスクリーンＲ上にて拡大された状況を考えると、図２に示すように、拡大前にそれぞれ同じサイズで観賞されていた各物体の映像ｊｆ、ｊｆ、ｊｆ、・・・は、拡大後も、それぞれ同サイズで観賞され、投影系にて拡大、縮小する場合には、仮想撮影系にて、ズーミング手法により撮影画像の拡大、縮小を行う際に発生するような不自然な画像の大きさの違いや歪みは発生しない。

ここで、図３の平面図に示すように、仮想撮影系にて、複数台（２台以上）のＣＧ作製用の仮想カメラ、例えば、３台の仮想カメラＣ1 、Ｃ2 、Ｃ3 を中心に等距離に配列された各物体ｊ、ｊ、ｊ・・・の中で、各仮想カメラＣ1 、Ｃ2 、Ｃ3 （θo はカメラ画角）のそれぞれ視野（仮想撮影フレームｆ1 、ｆ2 、ｆ3 ）の中心部（各仮想カメラの撮影光軸Ｏ1 、Ｏ2 、Ｏ3 ）から角度θだけ離れたそれぞれ物体ｊ（例えば太丸Ｊ）に注目した時に、ＣＧレンダリングは遠近投影によって行われるため、図４に示すようにそれらの物体ｊ（Ｊ）は、各視野（仮想撮影フレームｆ1 、ｆ2 、ｆ3 ）中に生成される各物体の仮想画像ｊ、ｊ、ｊ・・・の中で、各視野の中心線Ｏ1 、Ｏ2 、Ｏ3 に近い物体ｊよりも大きい物体ＪとしてＣＧ描画される。

各カメラ視野（ｆ1 、ｆ2 、ｆ3 ）中心部の物体ｊの描画サイズをＬo 、各カメラ視野中心部の物体Ｊの描画サイズをＬa とすると、
Ｌa ＝Ｌo ／ｃｏｓθ ・・・・・（１）
となる。

また、各仮想カメラの画角をθo 、各視野（ｆ1 、ｆ2 、ｆ3 ）の左右端の物体ｊの描画サイズをＬとすると、
Ｌ＝Ｌo ／ｃｏｓ（θo ／２）となる。・・・・・（２）
そして、上記仮想撮影系にて得られたＣＧ描画による各物体の仮想画像ｊ、ｊ、ｊ・・・は、ズーム操作を付加せずに、前述の図２０に示すように、見かけ上にて歪み無く投射するための幾何学的条件に設定されている投影系によりスクリーンＲ上に投影することにより、歪みの無い各物体の映像を観賞することができる。

ここで、図５の平面図に示すように、各仮想カメラの画角をθo からθz に縮小してズーミング操作を行う。ここでは、前述の問題の発生を防ぐために図２７、図２８に示した
撮影操作はせずに、図５、図６に示した撮影操作を用いるものであり、図５に示すように各仮想カメラＣ1 、Ｃ2 、Ｃ3 の各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 を、図３に示す各々仮想撮影フレームｆ1 、ｆ2 、ｆ3 よりも縮小した後、各々撮影光軸Ｏ1 、Ｏ2 、Ｏ3 の方向を修正して、ＣＧシーンＦ内における連続した視野を得る。

この結果、図６に示すようなＣＧレンダリング結果による各物体ｊの仮想撮影画像が得られる。その際に、仮想カメラ視野の中央と左右端での物体ｊの描画サイズの比率は、上記式（２）に示すようにズーム操作後のカメラ画角θz に依存するため、図３、図４に示すようなカメラ画角θo の場合とは異なった値となる。

このようにして仮想撮影系にてズーム操作を付加して仮想撮影された仮想撮影画像を、ズーム操作を付加しない状態の仮想撮影画像を見かけ上にて歪み無く投射するための幾何学的条件に設定されている前述の図２０に示した投影系にてスクリーンＲ上に投影した場合には映像に歪みが発生する。

一般に１画像内（例えば視差のある各々左側（方向）画像、中間画像、右側（方向）画像等の１単位画像エリア内）での水平座標をＸ（−１．０＜Ｘ＜１．０）、視野中心の物体ｊの描画サイズをＬo 、座標Ｘにおける物体の描画サイズをＬx とすると、
Ｌx ＝Ｌo ／ｃｏｓ（ａｔａｎ（ｔａｎ（θz ／２）×Ｘ）・・・・・（３）
となる。

そこで、映像を歪み無くスクリーン上に投影するためには、各Ｘ座標位置についての非ズーム操作時とズーム操作時の上記式（３）に示される描画サイズの差を補正する必要があり、本発明においては、仮想撮影系においてズーム操作を付加した場合における投影系での映像の歪み補正をジオメトリ補正にて行うものである。

多くのリアルタイム三次元コンピューターグラフィックス処理系は、レンダリング時の投影座標変換は１次変換のみに対応しているため、上記式（３）に対応した歪み補正演算は画像生成後の後処理として行う必要があり、ジオメトリ補正機能が必要となるが、曲面スクリーンを用いたマルチプロジェクタシステムでは、映像を変形させて歪みを補正するジオメトリ補正技術が多く用いられ、前述の図１９、図２０にて説明した理想的な投影条件と、実際の投影条件との相違による歪みの発生を取り除くために用いられているが、本発明においては、前述の図１９、図２０にて説明した仮想撮影系にてズーム操作を行った仮想撮影画像をジオメトリ補正することにより、スクリーンＲ上にて理想的な投射系での投射条件にて歪み無い映像を得ようとするものである。

例えば、図７の平面図に示すような円筒状カーブスクリーンＲの円筒中心部に配置した複数台（ＣＧ作製用の仮想カメラ台数に対応した２台以上）のプロジェクター、例えば３台の各プロジェクターＴ1 、Ｔ2 、Ｔ3 の投影レンズの光軸上の主点と、円筒状カーブスクリーンＲの円筒中心とを完全に一致させた設置は、角錐ミラーにより光路を曲げるなどの特殊な手段を採らない限り不可能であり、図８の平面図に示すように、多くは中心から前後にずらすという簡便な方法が採られる。

この場合、本来、全て等しいはずの投影レンズの主点からスクリーンＲまでの距離が画面内で異なってくるため、樽型、あるいは糸巻き型の歪みが生ずる。

また、図９、１０の側面図に示すように、各プロジェクターＴ1 、Ｔ2 、Ｔ3 の投影レンズのスクリーンＲに対する上下位置に関しても、座席や観賞者との干渉を防ぐためにスクリーン中心線上ではなく、天井に近い位置にプロジェクターを設置するのが普通であるが、この場合にも、カーブスクリーンＲの奥行きのために視差が生じ、映像に歪みが発生
し、この他にも、光学系の収差、スクリーンの形状誤差、プロジェクターの設置誤差など、映像の歪みの要因が存在する。

本発明は、これまで述べたように、カーブスクリーンＲによる多面投影において、ズーム機能を実現するために、仮想撮影系におけるズーム操作に因って生ずる投影系での映像の歪みの補正と、投影系自体に因って生ずる映像の歪みの補正との双方の補正処理を実現するものである。

本発明の映像ジオメトリ補正装置は、図１１のブロック図に示すように、三次元ＣＧシーンＦ又はＶＲシーンＦの仮想撮影対象の物体（例えば物体ｊ等の画像）や背景画像等のシーンデータ（場面データ）を仮想撮影画像データとして作製する仮想撮影系の仮想カメラ（例えばＣ1 、Ｃ2 、Ｃ3 、・・・）に相当するシーンデータ作製手段１（仮想カメラ）と、該三次元ＣＧ又はＶＲの仮想撮影画像データに基づいて三次元ＣＧ画像又はＶＲ画像として駆動操作するための操作データを作製する仮想撮影系の仮想撮影画像操作データ作製手段２とを備える。

また、前記シーンデータ作製手段１と仮想撮影画像操作手段２から取り込んだシーンデータ及び仮想撮影画像操作データに基づいて投影用の三次元ＣＧ又はＶＲ映像となる仮想撮影系の仮想投影画像を生成する投影画像生成手段３と、投影系のプロジェクター（例えばＴ1 、Ｔ2 、Ｔ3 、・・・）やカーブスクリーンＲなどの物理的設置条件に関わる補正パラメータの設定を行う投影系設置調整手段４とを備える。

前記投影画像生成手段３からの投影画像信号（画角情報など）と、投影系設置調整手段４からの物理的設置条件に関わる補正パラメータ信号は、ジオメトリ補正手段５に入力する。

ジオメトリ補正手段５は、図１１に示すように、前記投影画像生成手段３からの仮想投影画像データに基づいてズーム操作に対応したレンダリングや視野角の調整に関わる仮想撮影系の補正パラメータを設定変更する第１補正パラメータ設定変更手段６と、前記投影系設置調整手段４により設定された投影系の補正パラメータを設定変更する第２補正パラメータ設定変更手段７と、該第１、第２補正パラメータ設定変更手段６、７から出力される仮想撮影系と投影系の補正パラメータに基づいて合成補正パラメータを設定する合成補正パラメータ設定手段８と、合成補正パラメータ設定手段８から出力される合成補正パラメータに基づいてカーブスクリーン投影用の映像として歪みを変形補正する映像変形手段９とを備える。

シーンデータ作製手段１は、物体の形状や位置からなる三次元ＣＧシーンＦ又はＶＲシーンＦの三次元シーンデータを作製するものである。

仮想撮影画像操作手段２では、三次元ＣＧ又はＶＲの仮想撮影画像データに基づいて三次元ＣＧ画像又はＶＲ画像として駆動操作するための操作情報データを作製し、その操作情報データを出力する。

投影画像生成手段３では、仮想撮影画像操作手段２より出力される操作情報データに基づいて、三次元ＣＧ又はＶＲの仮想撮影画像データを三次元ＣＧ画像又はＶＲ画像として駆動操作して、三次元ＣＧ画像又はＶＲ画像の映像を生成する。

投影系設置調整手段４では、投影系のプロジェクター（例えばＴ1 、Ｔ2 、Ｔ3 、・・・）や、カーブスクリーンＲなどの物理的設置条件に関わる補正パラメータの設定を行うものである。

ジオメトリ補正手段５の第１補正パラメータ設定変更手段６は、前記投影画像生成手段３からの仮想投影画像データに基づいて、ズーム操作に対応したレンダリングや視野角の調整に関わる仮想撮影系の補正パラメータを設定変更する。

第２補正パラメータ設定変更手段７は、前記投影系設置調整手段４により設定された投影系の補正パラメータを設定変更する。

合成補正パラメータ設定手段８は、前記第１補正パラメータ設定変更手段６から出力される仮想撮影系の補正パラメータと第２補正パラメータ設定変更手段７から出力される投影系の補正パラメータとに基づいて合成補正パラメータを設定する。

映像変形手段９は、合成補正パラメータ設定手段８から出力される合成補正パラメータに基づいて、カーブスクリーン投影用の映像として歪みを変形補正するものである。

そして、前記映像変形手段９によって歪みを補正したカーブスクリーン投影用映像データは、記録再生手段１０にて、磁気デイスク、磁気テープ、光磁気ディスク（ＣＤ−ＲＯＭ）等の記録媒体に記録され、また再生されて、プロジェクターＴ（例えばプロジェクターＴ1 、Ｔ2 、Ｔ3 ）にて、前記映像変形手段９によって歪みを補正したカーブスクリーン投影用映像データに基づいて、映像を前述の図２０に示す投影系にてカーブスクリーンＲ上に投影するものである。

上記ジオメトリ補正手段５による映像変形による映像の補正動作について格子の変形によって補正パラメータを記述する場合の例を挙げて、その一例を以下に説明する。

図１２に示すように、一例として、画面領域を横（ｘ軸）方向に４等分、縦（ｙ軸）方向に３等分した格子を定義し、各格子点の座標を、Ｐnm(xn,ym) とする。説明のために分割数を少なくしているが、実際には細分化する。

図１３は、補正パラメータに基づくジオメトリ補正後の格子の形状（実線部分）であり、補正後の格子点のスクリーン上の座標をＰnm'(xnm,ynm)と定義することによって、画面全体の変形を表すことができる。

例えば、図１２において、格子点Ｐ(00)、Ｐ(01)、Ｐ(10)、Ｐ(11)の４点で囲まれた矩形領域を考えると、この変形操作は、アフィン変換によって記述することができる。変形前の領域内の点の座標を、ｐ(x,y) 、補正パラメータに基づくこの点の変形後の座標を、ｑ(x',y') とすると、
ｑ＝Ｍｐ＋ｄ
となる。但し、Ｍ；２×２変換行列 ｄ；ｘ軸ｙ軸方向の移動量（ｄｘ、ｄｙ）
このアフィン変換を、映像内の全ての領域内の全ての画素に対して実行することによりスクリーン投影用の映像に対するジオメトリ補正が行われる。

また、他の上記ジオメトリ補正手段５による映像変形による映像の補正動作の他の例としては、上記手法以外にも、アフィン変換の自由度を高めるために、変換前と変換後の画素の座標を一対一に対応付けた座標変換テーブルを用いる方法、平滑化のために座標変換に高次関数を用いる方法などがあるが、これらの方法を用いる場合にも、本発明装置を同様に適用することができる。

また、複数段階のジオメトリ補正としては、図１４に示すレンダリング視野角に関わる仮想撮影系に関わる補正パラメータＰ1 と、図１５に示す投影系に関わる補正パラメータ
Ｐ2 とを用いる。

映像を仮想撮影系に関わる補正パラメータＰ1 に基づいて変形し、さらに、投影系に関わる補正パラメータＰ2 を用いて変形を行うことにより、正しい投影画像を得ることができるが、ジオメトリ補正手段５の合成補正パラメータ設定手段８により、このＰ1 とＰ2 とを合成した合成補正パラメータＰ3 を生成することにより、その合成補正パラメータＰ3 に基づいて映像変形手段９を用いて、各画素の座標値をデータ処理し、演算実行することにより、１回の変形処理によりスクリーン投影用の映像に対するジオメトリ補正を行うことができる。

具体的には、補正パラメータＰ1 を構成する仮想撮影系の画像の各格子点座標を補正パラメータＰ2 により変換したものが、図１６に示す合成補正パラメータＰ3 であるが、この合成補正パラメータＰ3 の生成は、映像内の限られた格子点座標に対する合成補正パラメータ設定手段８による演算であるので、映像内の全画素を対象とした画像変形処理にに比較して極めて高速に合成補正パラメータが求められ、その合成補正パラメータＰ3 に基づいて極めて高速に映像変形手段９によりスクリーン投影用の映像に対するジオメトリ補正を実行できる。

この合成補正パラメータＰ3 を用いた処理高速化手法は、変換前（変形補正前）と変換後（変形補正後）の画素の座標を、一対一に対応付けた座標変換テーブルを用いる方法、座標変換に高次関数を用いる方法など、他の変形補正手法を用いる場合についても、本発明装置を同様に適用することができる。

また、補正パラメータの変更については、その変更精度を向上させるために、実際に定義される格子点の数は、例えば３２分割の格子を用いたとして約１０００点となる。

このデータ量は、各座標値を４バイトとして４Ｋバイトとなる。１秒間に３０回のパラメータ変更を行うとして、伝送データ量は１２０Ｋバイト／秒となるが、このデータ量はＬＡＮやＵＳＢなどの比較的高速のインターフェースにより十分に伝送が可能なものである。

また、高速変更処理が必要な補正パラメータは、ＣＧレンダリング視野角に関わるものであるが、前述の式（２）、式（３）で示したように、この補正パラメータは視野角から算出できるため、実際には視野角情報のみを伝送し、補正パラメータはジオメトリ補正手段５上にて算出すればよい。

これによって、伝送データ量は遙かに小さいものとなる。例えば、視野角情報を４バイト、変更回数を毎秒３０回とすると、伝送データ量は１２０バイト／秒となり、これはシリアルインターフェースなどの低速インターフェースでも十分に伝送が可能なデータ量である。

なお、本発明装置は、図１１のブロック図に示す構造形態以外に、補正機能を有する上記ジオメトリ補正手段５と、投影画像生成手段３、投影系設置調整手段４、記録再生手段１０やプロジェクターＴ（Ｔ1 、Ｔ2 、Ｔ3 等）とを一体化したものでもよいし、また、投影画像生成手段３と映像変形機構とを一体化したものでもよいし、また、ジオメトリ補正手段５を含む装置を複数直列に接続して、補正パラメータＰ1 、Ｐ2 をそれぞれ別の装置にて変形補正を実行するようにしてもよい。

本発明の映像ジオメトリ補正装置を説明する映像投影系の平面図。 本発明の映像ジオメトリ補正装置を説明する映像投影系における映像の拡大を説明する平面図。 本発明の映像ジオメトリ補正装置を説明する仮想撮影系の平面図。 本発明の映像ジオメトリ補正装置を説明する仮想撮影系の撮影画像の平面図。 本発明の映像ジオメトリ補正装置を説明する仮想撮影系のズーム操作の平面図。 本発明の映像ジオメトリ補正装置を説明する仮想撮影系のズーム操作による撮影画像の平面図。 本発明の映像ジオメトリ補正装置を説明する映像投影系の平面図。 本発明の映像ジオメトリ補正装置を説明する映像投影系の平面図。 本発明の映像ジオメトリ補正装置を説明する映像投影系の側面図。 本発明の映像ジオメトリ補正装置を説明する映像投影系の側面図。 本発明の映像ジオメトリ補正装置を説明する装置ブロック図。 本発明の映像ジオメトリ補正装置による映像の変形補正前の映像格子及び格子点の平面図。 本発明の映像ジオメトリ補正装置による映像の変形補正後の映像格子及び格子点の平面図。 本発明の映像ジオメトリ補正装置による仮想撮影系の映像の変形補正後の映像格子及び格子点の平面図。 本発明の映像ジオメトリ補正装置による投影系の映像の変形補正後の映像格子及び格子点の平面図。 本発明の映像ジオメトリ補正装置による合成補正後の映像格子及び格子点の平面図。 三次元ＣＧ画像、ＶＲ画像を説明する模式図。 三次元ＣＧ画像、ＶＲ画像を説明する模式図。 一般的な仮想撮影系の平面図。 一般的な投影系の平面図。 一般的な仮想撮影系におけるズーム操作を説明する平面図。 一般的な仮想撮影系におけるズーム操作を説明する平面図。 一般的な仮想撮影系の平面図。 一般的な仮想撮影系の撮影画像の平面図。 一般的な仮想撮影系におけるズーム操作を説明する平面図。 一般的な仮想撮影系のズーム操作による撮影画像の平面図。 一般的な仮想撮影系におけるアオリ撮影操作を説明する平面図。 一般的な仮想撮影系におけるアオリ撮影操作を説明する平面図。 一般的な仮想撮影系の平面図。 一般的な仮想撮影系の撮影画像の平面図。 一般的な仮想撮影系の撮影画像の平面図。 一般的な仮想撮影系の撮影画像の平面図。

符号の説明

１…シーンデータ作製手段
２…仮想撮影画像データ操作手段
３…投影画像生成手段
４…投影系設置調整手段
５…ジオメトリ補正手段
６…第１補正パラメータ設定変更手段
７…第２補正パラメータ設定変更手段
８…合成補正パラメータ設定手段
９…映像変形手段
１０…記録再生手段
Ｆ…三次元ＣＧシーン又はＶＲシーン
Ｃ1 、Ｃ2 、Ｃ3 …仮想カメラ
ｆ1 、ｆ2 、ｆ3 …仮想撮影フレーム
ｊ…物体
ｊｆ…物体の映像
Ｐ1 …仮想撮影点
Ｐ2 …投影定点
Ｒ…カーブスクリーン
Ｔ…プロジェクター手段
Ｔ1 、Ｔ2 、Ｔ3 …プロジェクター
ｔ1 、ｔ2 、ｔ3 …映像投影フレーム

Claims (2)

1. 三次元ＣＧシーンＦ又はＶＲシーンＦの仮想撮影対象の物体（例えば物体ｊ等の画像）や背景画像等のシーンデータ（場面データ）を仮想撮影画像データとして作製する仮想撮影系の複数台の仮想カメラに相当するシーンデータ作製手段と、該三次元ＣＧ又はＶＲの仮想撮影画像データに基づいて三次元ＣＧ画像又はＶＲ画像として駆動操作するための操作データを作製する仮想撮影系の仮想撮影画像データ操作手段と、前記シーンデータ作製手段と仮想撮影画像データ操作手段から取り込んだシーンデータ及び仮想撮影画像操作データに基づいて投影用の三次元ＣＧ又はＶＲ映像となる仮想撮影系の仮想投影画像を生成する投影画像生成手段と、投影系のプロジェクターやカーブスクリーンなどの物理的設置条件に関わる補正パラメータの設定を行う投影系設置調整手段と、前記投影画像生成手段からの仮想投影画像データに基づいてズーム操作に対応したレンダリングや視野角の調整に関わる仮想撮影系の補正パラメータを設定変更する第１補正パラメータ設定変更手段と、前記投影系設置調整手段により設定された投影系の補正パラメータを設定変更する第２補正パラメータ設定変更手段と、前記第１、第２補正パラメータ設定変更手段から出力される仮想撮影系と投影系の補正パラメータに基づいて合成補正パラメータを設定する合成補正パラメータ設定手段と、該合成補正パラメータ設定手段から出力される合成補正パラメータと前記投影画像生成手段から出力される仮想投影画像データとに基づいて変形補正して歪みのないカーブスクリーン投影用の仮想投影画像を得る映像変形手段とから構成されるジオメトリ補正手段と、該ジオメトリ補正手段にて補正したカーブスクリーン投影用映像を記録する記録再生手段又はカーブスクリーンに投影用映像を投影するプロジェクター手段とから構成されることを特徴とする映像ジオメトリ補正装置。
2. 請求項１記載の映像ジオメトリ補正装置において、前記投影画像生成手段からの仮想投影画像データに基づいてズーム操作に対応したレンダリングや視野角の調整に関わる仮想撮影系の補正パラメータを設定変更する前記第１補正パラメータ設定変更手段は１個乃至複数個の補正パラメータ設定変更手段から構成され、前記投影系設置調整手段により設定された投影系の補正パラメータを設定変更する前記第２補正パラメータ設定変更手段は１個乃至複数個の補正パラメータ設定変更手段から構成されることを特徴とする映像ジオメトリ補正装置。

Images