JP6037375B2 - 画像投影装置および画像処理方法 - Google Patents

Description

本発明は、画像投影装置および画像処理方法に関し、特に、任意の形状または角度に形成される面をスクリーンとして使用する場合の画像投影装置および画像処理方法に関するものである。

複数の投影装置によって構成される画像投影装置（いわゆるマルチプロジェクションシステム）は、複数の投影光学ユニット（以下、プロジェクタと称する）によって投影される画像を連続させることにより、大画面のスクリーンに画像を投影するものであることが知られている。この種のマルチプロジェクションシステムは、アミューズメント施設のみならず、プラネタリウムや映画館等の視聴覚施設においても普及され、一般の講演会場などにおいても導入されつつある。しかしながら、複数のプロジェクタから異なる映像が投影され、各プロジェクタの映像が違和感なく連続して投影されなければ、スクリーンに投影される映像全体が一体として視認できず、投影画像の品質を低下させる結果となっていた。

そこで、従来は、複数のプロジェクタから投影されたパターン画像をカメラで撮影し、幾何補正関数を作成してスクリーン上での幾何学的整合性がとれるように幾何補正するとともに、複数の画像が重なる領域（これを「重なり領域」または「重複領域」という）とそれ以外とで異なる重み係数を算出し、前記幾何補正関数を用いて算出された残差に重み係数を乗じた値の大きさにより幾何補正関数を作成し、重なり領域の幾何補正を良好にするものがあった（特許文献１参照）。

また、入力画像の画素位置と任意の観察位置を中心とする極座標位置との対応関係を表す入力幾何プロファイルと、出力画像の画素位置と任意の観察位置を中心とする極座標位置との対応関係を表す出力幾何プロファイルとを用いて、入力画像を幾何変形して出力画像を算出することにより、観察位置から見たときの画素位置のずれや画像の歪みを解消するものがあった（特許文献２参照）。

さらに、異なる平面に複数のスクリーンを配置してなるマルチスクリーンを設け、これらスクリーンの各面に対し、連続した映像を投影する場合にあっては、プロジェクタから投影される光がスクリーンによって反射し、その反射光が隣接するスクリーンに照射されること（映り込み）があった。そこで、この映り込みによる画像の品質低下を抑えるために、映り込み光の程度を算出し、これを減算する画像表示システムがあった（特許文献３参照）。

特開２００５−２５２６７６号公報 特開２００５−３４７８１３号公報 特開２００７−１８０９７９号公報

上記に示した従来のマルチプロジェクションシステムのうち、特許文献１に開示される技術は、平面的な大画面のスクリーン上に複数のプロジェクタによって画像を投影するものであり、特許文献２に開示される技術は、円筒状に配置されるスクリーンに投影される画像の補正に係るものであり、特許文献３は、マルチスクリーン上に作用する反射光を補正するための技術であった。これらの技術は、いずれも予め定められたスクリーン形状に対して投影画像を補正するための技術であった。

しかしながら、これらは、画像投影用の専用スクリーンに対して画像を投影するものであって、このような専用スクリーンを備えていない場所における任意の面に対して投影されるものではなかった。そして、近年では、披露宴会場などの冠婚葬祭における式典会場や、広面積の会議場等において、当該会場の壁面をスクリーンとして画像を投影することが切望されている。このような会場にあっては、当該会場を構成する壁面の全周に連続した（シームレスな）画像を投影し得る投影装置についても、切望されているところである。ところが、映像を投影するための専用スクリーンではない会場の壁面は、当然のことながら全てが平面ではなく、建造物としての柱等が存在するため、スクリーンとしての機能を十分に果たすことができないものであった。すなわち、プロジェクタの設置場所を一定にすることができず、プロジェクタから投影される映像の明るさが異なること、または、会場の形状（柱等の存在）により、投影される画像に歪みを生じさせることなどの問題点を有するものであった。

本発明は、上記諸点にかんがみてなされたものであって、その目的とするところは、室内における壁面のように任意の形状または角度に形成される面を、スクリーンとして使用できる画像投影装置および画像処理方法を提供し、さらに、当該室内における壁面の全周にシームレスな画像をも投影し得る画像投影装置および画像処理方法を提供することである。

そこで、画像投影装置にかかる発明は、任意の形状または角度に形成される面をスクリーンとする画像投影装置であって、前記スクリーンに画像を投影する複数の投影手段と、この投影手段により前記スクリーンに投影された投影画像を撮影する撮影手段と、この撮影手段により取得された画像に基づき投影画像を補正する画像処理装置とを備え、前記画像処理装置は、前記投影画像を幾何変形して所望形状に補正する幾何補正手段と、前記複数の投影手段ごとに投影される投影画像を単位として輝度の高低を調整する輝度補正手段と、隣接する投影領域間で投影画像が重複する重複領域についての輝度を調整する重複領域補正手段とを備えたことを特徴とするものである。

上記構成によれば、任意の形状または角度に形成される面で構成される任意のスクリーン（例えば、室内の壁面等）に対し、複数の投影手段（例えば、プロジェクタ等の投影光学ユニット）によって投影される個々の画像について、個別に幾何補正および輝度補正を可能にし、これらの補正とともに、複数の投影手段によって形成される重複領域における輝度補正をも可能にすることができる。また、上記幾何補正においては、撮影手段により撮影された画像に基づく補正を行うことから、例えば、投影形状を矩形に変換する狭義の幾何補正のほかに、投影画像の位置（これを投影領域と称する場合がある）を調整（これを「領域補正」と称する場合がある）することも可能となる。

また、画像投影装置にかかる発明は、前記構成において、前記撮影手段が、円筒画像を取得することができる撮影手段であり、前記画像処理装置が、前記撮影手段により取得された円筒画像を球画像に変換する球画像変換手段と、この球画像変換手段により変換された球画像に基づき平面状の透視画像に変換する透視画像変換手段とを備える構成としてもよい。

上記構成によれば、スクリーンに投影された画像を広角レンズ等により円筒画像として取得することができ、この円筒画像を平面画像に変換することにより、スクリーンに投影される状態を平面画像として取得することができることから、投影手段から投影される画像と、スクリーンに投影されている画像とを、比較することが可能となる。また、広角レンズ等を使用することにより、広い範囲の画像を取得することができる。

また、画像投影装置にかかる発明は、前記構成において、前記撮影手段を、円筒画像を取得することができる全方位カメラにより構成してもよい。このような構成によれば、投影手段から投影される画像を一度に単一のキャリブレーション画像として得ることができ、個別に用意された複数のカメラで撮影される場合と比較すれば、各撮影画像間の整合をとる必要がなく、また、投影される画像の全体を一体として処理することができる。

さらに、画像投影装置にかかる発明は、前記構成において、前記輝度補正手段が、前記複数の投影手段ごとに画像を投影させるとき、前記撮影手段によって撮影される投影手段ごとの個別の画像を取得する個別画像取得手段と、この個別画像取得手段により取得された画像から輝度を検出する輝度検出手段と、この輝度検出手段により検出された輝度の情報に基づいて、前記投影手段ごとの輝度分布を二次曲面として算出する輝度分布算出手段と、前記輝度分布算出手段により算出された輝度分布に基づき画像の画素単位における輝度の補正値を算出する補正値算出手段とを備えた構成としてもよい。

上記構成によれば、複数の投影手段ごとにおける輝度分布を二次曲面として算出し、当該投影手段ごとに発生し得る輝度ムラを補正できる。このように、投影手段ごとの輝度ムラを補正することにより、スクリーンに対して斜状に照射される際の投影画像の明るさを統一させることができる。また、二次曲面を算出する場合は、複数の限られた画素に着目することにより、全体にわたる輝度分布を概ね検出することができることとなり、当該二次曲面の算出によって、当該プロジェクタによる画像の全体における輝度ムラを容易に補正できることとなる。

また、画像投影装置にかかる発明は、前記構成において、前記輝度補正手段が、前記複数の投影手段ごとに白色画像を投影させるときの投影光の強度を補正する輝度補正手段であってもよい。輝度補正には、個々のプロジェクタごとの投影画像を撮影手段により撮影することから、他の補正に使用する場合とは異なる撮影画像を必要とするため、敢えて白色画像を投影し、輝度の状態を特化して撮影することにより、輝度補正の精度を向上させることができる。なお、白色画像とは、画像が白色となるように特別な加工を施したものではなく、全体が三原色（ＲＢＧ）によって特定の色彩を有しない状態とした画像を意味し、その代替画像として、画像情報を有しないプロジェクタによる投影光のみとする場合もあり得る。

さらに、画像投影装置にかかる発明は、前記構成において、前記輝度補正手段が、前記複数の投影手段ごとに色彩を有するパターン画像を投影させるとき、投影画像におけるＲＢＧごとの輝度を補正する輝度補正手段であってもよい。このような構成の場合、単純な投影光の輝度のみならず、投影される画像の色調を調整することができる。色彩を有するパターン画像は、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）が適宜パターン化された画像を投影し、または、それぞれ単色のパターン画像を各色の補正ごとに投影することによる場合があり得る。

また、画像投影装置にかかる発明は、前記構成において、前記重複領域補正手段が、前記撮影手段によって撮影される隣接する２以上の画像を取得する隣接画像取得手段と、この隣接画像取得手段により取得された画像から輝度を検出する輝度検出手段と、この輝度検出手段により取得された輝度の差により重複領域を特定する重複領域特定手段と、前記重複領域特定手段により特定された重複領域内の任意の複数点における輝度値と重複領域外における輝度値との輝度比率を算出するとともに、該輝度比率を参照しつつ重複領域を構成する隣接画像の双方に対する輝度補正値を算出する補正値算出手段とを備えた構成としてもよい。

上記構成によれば、重複領域における輝度を輝度比率に応じて、隣接画像の双方に対して輝度を補正することができることから、重複領域の自然な補正を可能にする。すなわち、重複領域外における輝度値を目標とする輝度値とすれば、当該重複領域外の輝度値と重複領域内の輝度値との比較により、重複領域内の輝度値を重複領域外の輝度値に近似させることができる。

さらに、画像投影装置にかかる発明は、前記構成において、前記重複領域補正手段が、前記複数の投影手段から白色画像を投影させるときの前記重複領域における投影光の強度を補正する重複領域補正手段であってもよい。このような構成の場合、重複領域を構成する隣接画像の輝度の状態のみを撮影画像手段により取得することができることから、重複領域における輝度のみに着目した補正が可能となり、当該補正の精度を向上させることができる。

また、画像投影装置にかかる発明は、前記構成において、前記重複領域補正手段が、前記複数の投影手段から色彩を有するパターン画像を投影させるとき、前記重複領域におけるＲＢＧごとの輝度を補正する重複領域補正手段であってもよい。上記構成によれば、重複領域における単純な投影光の輝度のみならず、当該重複領域における色彩を補正することができる。

また、画像投影装置にかかる発明は、前記構成において、前記幾何補正手段が、前記投影手段によりパターン画像を投影させるとき、前記撮影手段によって撮影される該投影手段ごとの該パターン画像を取得するパターン画像取得手段と、このパターン画像取得手段により取得された画像に基づいて幾何学関数を算出する幾何学関数算出手段と、この幾何学関数算出手段により算出された幾何学補正関数に基づいて投影画像の補正値を算出する補正値算出手段とを備えた構成としてもよい。

上記構成によれば、複数のプロジェクタにより個別に投影される個々の画像について幾何補正を容易にし、しかも、この幾何補正された映像を基準として領域補正および重複領域補正を行うことにより、複数の映像の整合性をとることが容易となる。また、パターン画像を撮影した撮影画像に基づき、領域補正をも同時に行うことができるものである。

画像処理方法にかかる本発明は、任意の形状または角度に形成される面をスクリーンとし、該スクリーンに対し複数の投影手段から投影される画像を補正するための画像処理方法であって、前記スクリーンに投影された投影画像を撮影し、撮影画像を平面画像に変換して透視投影画像を作成し、透視投影画像に基づき、前記各投影手段の幾何補正のための幾何学関数を算出し、該幾何学関数に基づき前記投影画像を幾何補正するとともに、投影画像の投影領域を設定し、前記各投影手段について、個々の投影画像を撮影し、輝度分布を二次曲面として算出し、該輝度分布における輝度ムラを補正する補正値を算出して、前記投影画像を補正し、前記複数の投影手段による投影画像を撮影し、重複領域を検出するとともに、該重複領域における任意の点における輝度を検出し、該任意点における輝度と所望輝度とに基づき、重複領域を形成する各画素の輝度を補正することを特徴とするものである。

上記構成によれば、スクリーンに投影される個々のプロジェクタについての幾何補正および輝度補正を可能にするとともに、隣接する投影画像の間における重複領域の補正を可能にすることから、複雑な形状の面をスクリーンとする場合、または角度を有して接する複数の面をスクリーンとする場合においても、当該スクリーンに投影される画像を統一的に補正することができる。また、連続する壁面によって包囲された室内の全周に投影される画像であっても、個々のプロジェクタの各補正および隣接画像における重複領域の補正を可能にすることから、室内の壁面にシームレスな画像を投影することができる。

また、画像処理方法にかかる発明は、前記構成において、前記重複領域における輝度が、重複領域内の輝度値を検出し、重複領域を形成する投影画像ごとに所定割合の輝度値となる第１段階の補正値を算出し、前記第１段階の補正値により補正された画像を投影し、該投影された画像を撮影手段により撮影し、重複領域内の輝度値と重複領域外の輝度値とを比較し、輝度割合に応じた第２段階の補正値を算出し、前記第１段階および第２段階の補正値によって補正されるように構成してもよい。

上記構成によれば、重複領域における輝度補正は、第１段階の補正値により補正された画像を撮影し、さらに周辺との輝度の相違を補正できることとなり、複数の投影手段により投影される画像の継ぎ目を可能な限り目立たなくすることができる。

さらに、画像処理方法にかかる発明は、前記構成において、前記撮影画像が、円筒画像であり、前記透視投影画像は、前記円筒画像を球画像に変換した後、さらに平面画像に変換して作成されるように構成してもよい。

上記構成によれば、撮影画像を円筒画像として取得することから、例えば、広角レンズを使用することによって、スクリーンに投影された画像を広域に取得することができ、この画像を現実に投影された画像として、補正の基準画像とすることができる。さらに、例えば、撮影画像を取得するために全方位カメラを使用する場合には、撮影される画像は単一の画像となることから、複数のプロジェクタによる複数の画像を単一画像により取得でき、複数の画像の整合性を取ることが容易となる。

本発明の画像投影装置によれば、複数の投影手段（プロジェクタ等の投影光学ユニット）によって画像を投影する際に、各投影手段における個々の画像について幾何補正し、さらに、輝度ムラを調整することができることから、複雑な形状を有する面、または角度を有して接する面などをスクリーンとして、画像を投影することができる。また、スクリーンに投影される画像を撮影し、当該撮影画像に基づいて、隣接して投影される画像の重複領域における輝度を補正することができることから、複数の投影手段により投影される画像の継ぎ目が目立たず、マルチプロジェクションシステムにおける映像を良好な状態で連続させることができ、さらに、室内における壁面の全周に対しても連続した（シームレスな）画像を投影することが可能となる。

特に、撮影手段として全方位カメラを使用することにより、複数のキャリブレーション用カメラを必要とせず、また、単一の画像に基づいて補正することができることから、画像の補正に要する時間を短縮することができる。また、単一画像により複数の投影画像を一度に取得することにより、画像全体の投影位置（投影領域）を容易に補正することができる。そして、画像ごとに位置のズレや輝度ムラを抑えることにより、違和感のないシームレス画像を投影することができる。なお、「違和感のない」とは、例えば、画像を投影する領域が仮想的な窓のように見える状態を意味するものである。

また、本発明の処理方法によれば、複数の投影手段ごとに幾何補正を行い、その補正後の画像について、さらに輝度補正を行うものであることから、各プロジェクタによる投影画像を所望の状態に補正することにより、スクリーンの形状に左右されることなく、連続した画像を投影することができる。例えば、室内の壁面をスクリーンとして投影するとき、当該壁面の途中に柱が存在するなどの凹凸を有する場合であっても、当該柱が存在しないように投影させることができる。また、同様に、室内の壁面をスクリーンとする場合であって、接する二つの壁面が角度を有している状態にあっては、両壁面が当該角度に従って異なる向きの画像となるように投影する場合のほか、角度を無視して同じ向きとなるような画像として投影させることも可能となる。

従って、本発明によれば、室内の環境（壁面の形状）に応じて投影画像を任意な状態に補正でき、特定の設備を有する施設内に限らず、冠婚葬祭等の式典会場などにおいても短時間の調整（補正）により、違和感のない連続した（シームレスな）画像を投影させることができる。そして、上記のような画像を壁面の全体（全周）に投影させることにより、冠婚葬祭等の式典において特別な演出効果を発揮させることが可能となる。

画像投影装置にかかる実施形態による投影状態を示す説明図である。 画像投影装置にかかる実施形態の概略を示す構成図である。 全方位カメラにより取得される画像を示す図である。 円筒画像を球画像に変換するための原理を示す説明図である。 円筒画像を球画像に変換するための原理を示す説明図である。 投影変換の状態を示す説明図である。 平面画像に変換された状態を示す図である。 矩形補正の原理を示す説明図である。 矩形補正の原理を示す説明図である。 シームレス画像を形成するための投影画像の状態を示す説明図である。 シームレス画像を形成するための壁面と投影画像の状態を示す説明図である。 パターン画像の例を示す図である。 重複領域補正の原理を示す説明図である。 重複領域を補正した状態を示す図である。 幾何補正を実行する際のフローチャートである。 輝度補正を実行する際のフローチャートである。 重複領域補正を実行する際のフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。まず、画像投影装置にかかる本発明の実施形態について説明する。本実施形態では、スクリーンとすべき面の形状や角度が複雑な場合の例として、室内の壁面に対して画像を投影する場合を説明し、特に、当該室内の壁面全周に対する投影装置を例示する。図１は、本実施形態が使用されるべき部屋の状態を示す外観図である。この図に示すように、本実施形態の画像投影装置は、連続する壁面Ｗ１，Ｗ２，Ｗ３，Ｗ４によって包囲された部屋ＲＭにおいて、これらの壁面Ｗ１〜Ｗ４をスクリーン（マルチスクリーン）とする投影装置であり、各壁面Ｗ１〜Ｗ４に対し、複数台（図では６台）のプロジェクタ等の投影手段１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆによって、継ぎ目のない（シームレスな）映像が投影されるものである。また、本実施形態の画像投影装置は、冠婚葬祭等の式典会場や広面積の会議場等における使用に供され得るものであることから、図示のように、例えば、壁面Ｗ１の一部に柱ＰＬが露出している状態のように、スクリーンとなり得る面に凹凸を有する場合をも想定している。このような凹凸は柱ＰＬに限られるものではなくまた、その凹凸を生じさせる位置も部屋の形状等によって異なるものである。さらに、本実施形態では、隣接する画像を部分的に重複することができるように複数の投影手段１ａ〜１ｆを配置し、壁面Ｗ１〜Ｗ４の全体にシームレスな映像を投影するものである。そのため、壁面Ｗ１〜Ｗ４の大きさによって、適宜必要な数の投影手段１ａ〜１ｆが配置されるものである。

本実施形態の画像投影装置が設置される部屋ＲＭの状況は千差万別であるため、設置すべき部屋ＲＭの形状や大きさ、または会場等における備品等の設置状況などに応じ、投影手段１ａ〜１ｆは当該部屋ＲＭの状況によって異なることとなる。そのため、投影手段１ａ〜１ｆから壁面Ｗ１〜Ｗ４までの距離や、壁面Ｗ１〜Ｗ４に対する投射方向などが一定でない（予め定めることができない）ことから、当該設置場所に応じて後述する各種補正が必要となるのである。また、壁面Ｗ１〜Ｗ４に対して投影される現実の画像状態を把握（撮影）するための撮影手段２が設置される。撮影手段２により撮影された映像は、後述の処理装置に出力され、投影画像を補正する際に使用されるものである。そして、補正された画像をプロジェクタ１ａ〜１ｆによって投影することによって、壁面Ｗ１〜Ｗ４に違和感なく連続した画像を投影させるのである。ここで、違和感なくとは、例えば、画像を投影する領域が仮想的な窓のように見える状態を意味するものである。

なお、図１においては、撮影手段２を部屋ＲＭの中央に設置し、その周辺に放射状に投影手段１ａ〜１ｆを設置した状態を示しているが、前述のように、各投影手段１ａ〜１ｆおよび撮影手段２の設置位置は特に定まっているものではなく、部屋ＲＭの内部の任意の場所であればよいものとされる。また、投影手段１ａ〜１ｆとしては、プロジェクタ等の投影光学ユニットが使用されるものであり、本実施形態ではプロジェクタを使用することとする。さらに、撮影手段２としては、投影画像を撮影することができれば、その種類は問わないが、本実施形態では、一度に全周の画像を撮影することができる全方位カメラを使用することとし、その全方位カメラは、複数の広角レンズ等を使用し、円筒画像として画像を取得できるものが使用される。広角レンズは、レンズ焦点距離２４ｍｍ未満の超広角レンズを使用することにより少ないカメラによって全方位を撮影することができる。個々のカメラは、デジタルデータとして取得するためにデジタルカメラが使用される。例えば、レンズ焦点距離２．５ｍｍの超広角レンズを使用した６個のデジタルカメラを６０度の角度を有して配置したＬａｄｙｂｕｇ（登録商標）２を使用することができる。

次に、上記のような部屋ＲＭの壁面Ｗ１〜Ｗ４に投影する画像を補正するための画像処理装置について説明する。この画像処理装置の概略を図２に示す。この図に示すように、画像処理装置３には、各種画像データおよび補正値等を記憶する記憶部と、各種データから補正値等と算出する処理部を有している。また、画像処理装置３には、投影制御装置４および撮影制御装置５が接続可能になっており、画像処理装置３から出力される情報に基づいて画像を投影できるとともに、全方位カメラ２によって撮影される画像の入力を可能にしている。この画像処理装置３としては、パーソナルコンピュータ（ＰＣ）が使用され、当該ＰＣのＣＰＵを処理部として機能させ、また、当該ＰＣに内蔵されるＨＤＤおよび各種メモリを記憶部とすることができる。

そこで、画像制御装置３は、記憶部に記憶されるデータのうち、パターン画像データＤ１または投影すべき画像（投影画像）データＤ２を投影制御装置４に出力させ、各プロジェクタ１ａ〜１ｆによって画像を投影させることができる。また、全方位カメラ２によって撮影される壁面Ｗ１〜Ｗ４（スクリーン１〜４）の画像（撮影画像）は、撮影制御装置５を介して画像処理装置３に入力されることにより、記憶部によって記憶することができるようになっている。

従って、投影画像を処理する場合には、予め用意したパターン画像Ｄ１または投影画像Ｄ２をスクリーン１〜４（壁面Ｗ１〜４）に投影させ、この状態を撮影した撮影画像の入力を受けることにより、両画像を比較することが可能となり、後述の補正値を算出するのである。そこで、撮影画像制御装置５から入力される全方位カメラ２の画像は、広角レンズ等によって円筒画像として取得されるものであり、この円筒画像を撮影画像Ｄ３として記憶した後、画像処理部３１によって円筒画像から球画像に変換され、さらに平面画像に変換される。変換された画像データは、それぞれ球面画像Ｄ４および処理画像Ｄ５として記憶される。また、平面画像に変換された処理画像Ｄ５に基づいて、幾何補正値、輝度補正値および重複領域補正値が、幾何補正値算出部（幾何補正手段）３２、輝度補正値算出部（輝度補正手段）３３および重複領域補正値算出部（重複領域補正手段）３４によってそれぞれ算出され、これらの補正値Ｄ６が蓄積され、画像処理に反映される。すなわち、処理装置３５により、当初画像Ｄ７およびパターン画像Ｄ１などに対し、補正値Ｄ６による補正処理が行われ、投影画像Ｄ２に変換されたうえ、投影制御装置４を介してプロジェクタ１ａ〜１ｆに出力されるのである。

なお、本実施形態における画像処理部３１は、円筒画像を球画像に変換する球画像変換部（球画像変換手段）と、この球画像変換部によって変換された球画像を平面状の透視画像に変換する透視画像変換部（透視画像変換手段）とを備えており、後述の変換方法により円筒画像を平面画像に変換するものである。また、幾何補正値算出部３２は、パターン画像Ｄ１を投影した状態の撮影画像Ｄ３（さらに平面画像に変換された画像Ｄ４）を取得するパターン画像取得部（パターン画像取得手段）と、取得されたパターン画像から幾何学補正関数を算出する幾何学関数算出部（幾何学関数算出手段）と、算出された関数から補正値を算出する補正値算出部（補正値算出手段）とを備えており、後述の処理方法により補正値が算出されるものである。

さらに、本実施形態における輝度補正値算出部３３は、複数の投影手段から投影される画像の中から、処理すべき個別の画像を取得する個別画像取得部（個別画像取得手段）と、取得された画像の任意の点の輝度を検出する輝度検出部（輝度検出手段）と、検出された複数点の輝度値から輝度分布を二次曲面として算出する輝度分布算出部（輝度分布算出手段）と、算出された輝度分布（二次曲面）に基づき、輝度ムラを修正する補正値算出部（補正値算出手段）とを備えており、個々の投影手段を単位とする輝度ムラを補正するための補正値を算出するものである。

また、本実施形態における重複領域補正値算出部３４は、隣接する複数の（例えば二つの）投影手段によって投影される画像を撮影した撮影画像から、重複領域が形成される画像（隣接画像）を取得する隣接画像取得部（隣接画像取得手段）と、これらの隣接画像における輝度値を検出する輝度検出部（輝度検出手段）と、当該輝度値の差から重複領域を特定する重複領域特定部（重複領域特定手段）と、前記重複領域内の輝度を補正するために、当該重複領域を形成する画像についての補正値を算出する補正値算出部（補正値算出手段）とを備えており、複数の投影手段により投影される画像が重複する領域における輝度値の補正値を算出するものである。

このように、プロジェクタ１ａ〜１ｆによって投影される画像を全方位カメラ２で撮影し、この撮影画像に基づいて画像処理を行うことにより、スクリーン１〜４（壁面Ｗ１〜Ｗ４）に現実に投影される画像の状態をフィードバックさせることができることとなる。そして、撮影画像に基づいて幾何補正手段３２、輝度補正手段３３および重複領域補正手段３４による各補正値が算出されるのである。

そこで、それぞれの補正手段３２，３３，３４における補正の処理態様（補正原理）とともに、画像の処理方法に係る実施形態について以下に説明する。投影画像の補正には、上述のように、プロジェクタ１ａ〜１ｆによってスクリーン１〜４（壁面Ｗ１〜Ｗ４）に投影された映像（以下、「スクリーン画像」または単に「映像」と略称する場合がある。）を全方位カメラ２により撮影された画像（以下、「撮影画像」と称する場合がある。）が使用される。すなわち、スクリーン画像を撮影して得た撮影画像に基づき、スクリーン画像に必要な補正値を算出し、当該補正値によって補正された投影画像がプロジェクタ１ａ〜１ｆから照射されることによって、スクリーン１〜４（壁面Ｗ１〜Ｗ４）に投影される映像を所望の状態とするのである。

まず、全方位カメラ２によって撮影される画像の処理について説明する。スクリーン画像は、投影すべきスクリーン１〜４（壁面Ｗ１〜Ｗ４）ごとに個別に撮影してもよいが、本実施形態では、単一の撮影画像により全てのスクリーン１〜４（壁面Ｗ１〜Ｗ４）を撮影できる全方位カメラ２を使用している。本実施形態で使用する全方位カメラ２は、前述のとおり複数の広角レンズ等を有して円筒画像を取得するものであり、具体的には、複数の広角レンズ等により上下左右に広域な画像を撮影し、撮影された複数の画像をメルカトル図法により展開した円筒状の画像として得ることができる。そして、この円筒画像について、任意の母線で分割することにより一枚の画像となり得るものである。この状態を図３に示す。この図に示すように、上記円筒画像は、画像の上下端が引き伸ばされた状態となっており、スクリーン画像を正確に反映させるものではない。そのため、撮影された画像を球状の画像に変換した後、さらに平面画像に処理することによって、スクリーン画像の平面画像（透視投影画像）を得るのである。

球状画像への変換原理は、次のとおりである。すなわち、図４（ａ）に示すように、半径ｒの球面をスクリーンとするとき、球面上の点ｓにおける３次元上の座標（ｘ，ｙ，ｚ）と球座標（ｒ，φ，θ）との関係は次式で表すことができる。

そこで、角度φ，θの分解能をそれぞれＭ，Ｎとするとき、球面上の任意の点ｓ_ｉｊにおける双方の角度φ_ｉ，θ_ｊを次式のようにすれば、当該任意の点ｓ_ｉ，ｊは（ｒ，φ_ｉ，θ_ｊ）で定義できることとなる。

他方、図４（ｂ）に示すように円筒画像上の点Ｐ（ｕ，ｖ）は次式によって得ることができる。

従って、φ_ｉ，θ_ｊを用いれば、円筒面上のｐ_ｉ，ｊと対応する球面上の点ｓ_ｉ，ｊを求めることができる。そこで、図５に示すように、円筒面上の４つの点による組Ｐ１（ｐ_ｉ，ｊ），Ｐ２（ｐ_{ｉ＋１，ｊ}），Ｐ３（ｐ_{ｉ＋１，ｊ＋１}），Ｐ４（ｐ_{ｉ，ｊ＋１}）と球面上の４つの点による組Ｓ１（ｓ_ｉ，ｊ），Ｓ２（ｓ_{ｉ＋１，ｊ}），Ｓ３（ｓ_{ｉ＋１，ｊ＋１}），Ｓ４（ｓ_{ｉ，ｊ＋１}）とが対応することとなるから、これらをテクスチャマッピング等のマッピング手法を用いることにより、円筒画像を球面画像に変換することができることとなるのである。

このように球面画像に変換された画像は、さらに平面画像に変換され、画像の補正に供されることとなる。すなわち、球面画像を透視変換することにより平面状の透視投影画像を得るのである。ここでは、図６に示すように、球面の中心を視点とすることにより、視線方向は、ｙ−ｚ平面上の視線方向とｚ軸との角度ψと、ｙ軸を回転軸としたときの球面の回転角ωによって定まる。これを縦幅ｈｅｉｇｈｔ、横幅ｗｉｄｔｈ、視野角ξとする平面状の透視投影像に透視変換することにより、平面画像とすることができる。なお、このようにして変換した平面画像を図７に示す。この図に示すように、各スクリーン１〜４（壁面Ｗ１〜Ｗ４）に投影される映像を撮影した画像は、いずれも平面画像に変換されている。

上記のように平面状の透視投影像に変換された画像は、撮影画像を変換した処理画像データとして記憶部に記憶され、補正値算出のために使用されるのである。画像の補正としては、第１に幾何補正が行われる。幾何補正は、大別すると、スクリーン画像の矩形の補正と、投影領域の補正である。矩形の補正は、スクリーン（壁面）に対して垂直方向ではなく角度を有した状態でプロジェクタから照射されるとき、投影される画像は矩形とならないことから、この画像を所望の矩形に修正するものである。また、投影領域の補正は、複数のプロジェクタから投影される各画像の相互の位置（特に高さ方向の領域）を調整するものである。

矩形の補正は、例えば、図８（ａ）に示すように、スクリーン１（壁面Ｗ１）に投影された画像が矩形とならない場合、その射影変換行列を求め、当該射影変換行列を用いて映像を矩形の正しい像にするものである。射影変換行列は、プロジェクタに送られる画像（投影されるべき画像、これを「投影画像」と略称する場合がある。）と、スクリーン（壁面）に投影される現実の映像（これを「スクリーン画像」と略称する場合がある。）との間における投影変換関係、および、スクリーン画像と、全方位カメラによる撮影画像を修正した平面画像（この平面画像を「カメラ映像」と略称する場合がある。）との間における投影変換関係により、投影画像からカメラ映像への変換行列を求め、さらにその逆行列を用いることにより補正のための変換行列が求められる。なお、スクリーン（壁面）の広さは限界があるため、上記変換行列の算出には、投影画像の大きさが考慮されることとなる。

すなわち、プロジェクタに送られる投影画像と、平面スクリーン（壁面）に投影される現実の画像との間には平面投影変換の関係にあることから、プロジェクタに送られる投影画像の画素（ｘ_ｐ，ｙ_ｐ）を次式（４）で示す同次ベクトルとし、その点のスクリーン上の投影位置（ｘ_ｓ，ｙ_ｓ）を次式（５）で示す同次ベクトルとすると、両ベクトルの関係は次式（６）で表すことができる。

なお、上記同次ベクトルの成分中、ｆは任意の実数であり、数値計算を安定化させるために、通常は各位置（ｘ，ｙ）と同程度の実数とする（以下、同じ）。

また、全方位カメラにより取得されるカメラ画像における投影位置（ｘ_ｃ，ｙ_ｃ）を次式（７）で示す同次ベクトルとすると、前記スクリーン画像における投影位置（ｘ_ｓ，ｙ_ｓ）を示す同次ベクトルとの関係は次式（８）で表すことができる。

ここで、プロジェクタに送られる投影画像とカメラにより取得されたカメラ画像との平面射影変換行列をＨ_ｃｐとする場合、Ｈ_ｃｐ＝Ｈ_ｃｓＨ_ｓｐとすると、Ｈ_ｃｐもまた次式（９）に示すように、射影変換行列で表すことができ、結果的に、プロジェクタに送られる投影画像ｘ_ｐとカメラにより取得されるカメラ画像ｘ_ｃとの関係をこの式によって表すことができる。

そして、プロジェクタに送られる投影画像と、カメラにより取得されるカメラ画像との関係を示す投射変換行列Ｈ_ｃｐの逆行列Ｈ_ｃｐ ^−１を用いることにより、次式（１０）に示すように、カメラ画像から投影画像の変換を可能にするものである。

上記のように、カメラ画像に基づいて投影画像を変換することができることにより、平面状のスクリーンに投影された四辺形状の画像を所望の矩形の画像に変換する場合、スクリーン上で投影したい矩形領域の４点（四隅の点）をカメラで撮影した画像での観測点とし、プロジェクタに送られる投影画像の４点（四隅の点）を当該観測点に変換することによって、スクリーン上の画像を矩形に変換することができる。なお、この場合、実際のプロジェクタには、投影できる画像のサイズに限界があるため、所望の矩形は、プロジェクタにより投影できる範囲（投影可能範囲）内とし、また、変換すべき投影画像のアスペクト比は変更しないものとする。

例えば、図８（ａ）に示すように、スクリーン１（壁面Ｗ１）に対してプロジェクタ１ａから投影される画像が、四つの頂点（ξ^ｓ _１，η^ｓ _１）、（ξ^ｓ _２，η^ｓ _２）、（ξ^ｓ _３，η^ｓ _３）および（ξ^ｓ _４，η^ｓ _４）で示される四辺形状に投影される状態を想定するとき、このスクリーン１（壁面Ｗ１）における投影画像の所望形状を四つの点（ξ_１，η_１）、（ξ_２，η_２）、（ξ_３，η_３）および（ξ_４，η_４）で示す矩形領域（図中斜線を伏した領域）に変換する場合には、プロジェクタに送られる画像に対し、逆行列Ｈ_ｃｐ ^−１を用いて変換することにより、次式（１１）に示すように、変換後の四つの頂点（ξ^ｏ _１，η^ｏ _１）、（ξ^ｏ _２，η^ｏ _２）、（ξ^ｏ _３，η^ｏ _３）および（ξ^ｏ _４，η^ｏ _４）を求めることができる。

上記の変換は、カメラにより取得されるカメラ画像において、所望の矩形を形成する四つの頂点（ξ_１，η_１）、（ξ_２，η_２）、（ξ_３，η_３）および（ξ_４，η_４）を測定点とする場合であるが、スクリーン画像の四つの頂点（ξ^ｓ _１，η^ｓ _１）、（ξ^ｓ _２，η^ｓ _２）、（ξ^ｓ _３，η^ｓ _３）および（ξ^ｓ _４，η^ｓ _４）を測定点とする場合には、次式（１２）に示す射影変換行列Ｈ_ｐｐを求めることにより、スクリーンに投影されたスクリーン画像の四隅の観測点から投影すべき画像（プロジェクタに送られる画像）を変換することができる。なお、所望の矩形は、投影可能領域と同一として、当初画像と同じアスペクト比の最大矩形として定義することができる。

この場合、図８（ｂ）に示すように、プロジェクタに送られる変換後の画像は、四つの頂点（ξ^ｏ _１，η^ｏ _１）、（ξ^ｏ _２，η^ｏ _２）、（ξ^ｏ _３，η^ｏ _３）および（ξ^ｏ _４，η^ｏ _４）で示される領域となり、スクリーン上に投影される画像は、四つの頂点（ξ^ｓ _１，η^ｓ _１）、（ξ^ｓ _２，η^ｓ _２）、（ξ^ｓ _３，η^ｓ _３）および（ξ^ｓ _４，η^ｓ _４）で示される矩形となる。従って、当初スクリーンに投影された四辺形（図８（ａ）中の一点鎖線で示す領域）は、所望の矩形（図８（ｂ）中の外側の領域）に変形された状態でスクリーンに投影されることとなるのである。

なお、上記の例は、一つのプロジェクタに送られる画像が一つのスクリーンに投影された場合を示しており、一つのプロジェクタに送られる画像が二つの平面上に投影される場合は異なる処理が必要となる。例えば、図９に示すように、隣接する２平面に跨がって画像が投影される場合である。この場合、二種類の投影が考えられる。すなわち、投影される平面上において、異なる平面を無視すべき場合（図９（ａ）参照）と、異なる平面ごとに投影面を形成する場合（図９（ｂ）参照）である。前者は柱などの凹凸に対応するものであり、後者は異なる壁面に対する映像の分割に対応するものである。いずれの場合においても、異なる平面に投影される画像の形状は二つの四辺形で構成されることとなるから、両平面ごとに分割して処理される。

そこで、前者（図９（ａ）参照）の場合には、投影したい映像は、平面の凹凸に関係なく一つの領域（所望の矩形）であることから、平面の境界に関係なく所望の矩形（投影可能領域）を前記と同様に定めることができる。この所望の矩形（投影可能領域）に対し、平面上に投影される画像は、二つの異なる四辺形を形成することから、投影される画像を両平面に分割し、各平面について、個々の投射変換行列Ｈ_ｐｐを求めることとなる。なお、所望の矩形（投影可能領域）は、前記と同様に単一の領域となるが、画像変換に必要となる四つの頂点（四隅の点）は二つの平面ごとに定められることとなり、それぞれに分割された二つの領域において四つの頂点が測定され、射影変換行列の算出に用いられることとなる。

他方、後者（図９（ｂ）参照）の場合には、異なる平面ごとに異なるスクリーン上の画像として投影させることとなることから、各平面について所望の矩形（投影可能領域）を設定し、それぞれについて射影変換行列Ｈ_ｐｐを求めることとなる。そして、それぞれの変換画像を合成して投影することにより、異なるスクリーン上における所望の矩形の画像として投影させることができる。

なお、上記いずれの場合においても、境界Ｂｄの位置は、投影された画像の水平線の傾斜角度が変化する位置となることから、その位置をカメラにより取得されるカメラ画像によって測定され、この境界Ｂｄを中心として二つの異なる画像に分割されることとなる。

次に、図１０に示すように、一つのスクリーン（壁面Ｗ）に対して複数のプロジェクタ１ａ，１ｂによる画像が投影される場合を想定する。この場合は、個々のプロジェクタ１ａ，１ｂについて、それぞれの画像が所望の矩形（投影可能領域）となるように、前記投射変換行列Ｈ_ｐｐを求め、個々の画像を変換すればよい。なお、画像が連続して投影されるためには重複領域を設ける必要があるため、予め複数のプロジェクタ１ａ，１ｂにより投影される画像が一部において重複させるように当該プロジェクタ１ａ，１ｂを配置するものとする。

ところで、前記のような矩形（投影可能領域）への変換は、各プロジェクタ１ａ〜１ｆについて、投影すべきスクリーン１〜４（壁面Ｗ１〜Ｗ４）に対する投影画像を参照して実施されることとなるが、変換後の各画像が連続して投影されるように、各プロジェクタ１ａ〜１ｆによって投影される画像の高さ方向に位置を一定に揃える必要がある。そこで、前記のように矩形に変換された画像のうち、高さ方向に最も小さい矩形（投影可能領域）を選択し、この投影画像の高さ方向を揃えるように、他の画像について相似変換するのである。この相似変換についても、矩形（投影可能領域）への変換において、所望の矩形として設定することができれば、射影変換行列Ｈ_ｐｐを算出することにより、射影変換することができる。

このようにして、各プロジェクタに送られる画像の幾何補正を行うことにより、図１１に示すように、複数のプロジェクタにより投影される複数のスクリーン（壁面）の画像は、同じ高さの帯状に連続する画像として、壁面全体（全周）に投影されることとなるのである。

ここで、上記射影変換には、プロジェクタに送られる画像としてパターン画像が使用される。パターン画像は、図１２（ａ）に示すように、格子状のパターン画像を用いることができる。この種のパターン画像を使用する場合には、格子点検出法または輪郭検出法などにより、四辺形の頂点や画像の輪郭、さらに、異なる平面に分割される画像の境界線を検出することができる。また、格子状のパターン画像のほかに、図１２（ｂ）に示すように、縦または横に分割された白黒の２値画像によるパターン画像を用いることもできる。この場合、直線検出法などにより、スクリーン上に投影された画像から得られる直線パラメータを用いることにより、画像の投影状態および分割される境界を検出することができる。なお、上記２値画像のパターン画像を使用する場合は、格子点と同様に４本以上の直線が必要となる。これら４本以上の直線は、図１２（ｂ）に示されているような４種類のパターン画像を個別に投影し、検出される直線パラメータを合成することによることができる。

以上が幾何補正に関する説明である。本実施形態では、上記幾何補正のほかに、映像のシームレス化のための輝度補正を行っている。輝度補正には、プロジェクタごとの輝度ムラを補正するための個別の輝度補正（これを、単に「輝度補正」と称する。）と、隣接する画像が重複する領域における輝度補正（これを「重複領域補正」と称する。）がある。これらの輝度の補正は、幾何補正とは別に行うものであるが、幾何補正された画像を撮影し、これを平面画像に変換された（正規化された）画像を使用して輝度補正および重複領域補正をすることが全ての補正終了後のシームレス化の状態が好適となる。従って、本実施形態では正規化された画像を用いて輝度補正および重複領域補正を行うこととする。

まず、輝度ムラを補正するための輝度補正について説明する。輝度ムラとは、投影される領域内において明るさが異なる状態をいい、一般的なプロジェクタの場合は、レンズ等の影響により投影領域の中心部分と周辺部との間で輝度ムラを生じさせることとなる。複数のプロジェクタによって連続した画像を投影するとき、周辺部分の輝度が不足することにより、明らかに複数のプロジェクタが使用されていることが目立つこととなり、画像全体が不自然な状態となってしまう。そこで、この輝度ムラを補正するためには、輝度分布を算出し、当該輝度分布に応じて全体を近似の輝度に補正するものである。

輝度分布は、プロジェクタから投影されたスクリーン上の画像をカメラで撮影し、適宜間隔を有する複数の輝度を検出する。撮影画像から輝度を検出する輝度検出部は、カメラで撮影された撮影画像の画像信号に基づき、スクリーン上の映像の明るさを検出する。スクリーン上の映像の明るさの検出は、例えば、撮影画像に含まれる画素領域の平均値を求めるなどによって数値化された情報として検出することができる。そして、複数個所で検出された輝度値に基づき、全体の輝度分布の近似値を算出し、当該近似値に対して輝度補正値を算出するのである。

具体的には、スクリーン上に投影された画像をカメラで撮影し、これを前記正規化した後の画像に対し、縦横に適宜間隔を有するＮ個の格子点（ｘ_ｉ，ｙ_ｉ）を定め、その各点における輝度値を求める。前記格子点（ｘ_ｉ，ｙ_ｉ）をＸ−Ｙの二次平面とし、輝度値ｚ_ｉを高さとすると、次式（１３）に示すような２次曲面に近似することができ、これを整理すると次式（１４）に示すように表すことができる。

ここで、Ｎ個の観測点に対するモーメント行列Ｍは、次式（１５）で表すことができ、全ての観測点における輝度値（ｚ_ｉ）の重み付き和ベクトル（ｂベクトル）と、モーメント行列Ｍの逆行列Ｍ^−１を用いることにより変換のパラメータ（ｐベクトル）を算出することができる。

そして、上記パラメータ（ｐベクトル）を用いて、次式（１６）により各観測点における輝度値の近似値ｚ_ｉ ^ｆを算出することができる。

上記のように各観測点における近似値ｚ_ｉ ^ｆのうち、近似値が最も小さい値ｚ_ｉ ^ｆ _ｍｉｎ求め、補正係数α_ｉ ^ｆを次式（１７）により計算し、ここで算出される補正係数α_ｉ ^ｆをプロジェクタに送られる画像の全体に対して適用することにより、全体の輝度を補正し、輝度ムラを解消させることができる。

なお、現実の補正においては、投影しているプロジェクタの画像の濃淡値とカメラで観測された画像の濃淡値とが、プロジェクタのγ補正およびカメラのγ補正の影響により線形ではないことから、これらのγ補正を行った後に輝度補正を行うこととなる。また、輝度補正の際に投影される画像は白色画像とし、この白色画像としては、ＲＢＧの三原色を使用して色彩を有しない状態の画像とするか、または各画素に対する画像情報を出力せずプロジェクタの投影光のみを投影することにより、輝度に特化した補正を行うようにすることができる。さらに、色彩の濃淡等を補正する場合は、ＲＢＧの単色画像（単色のパターン画像等）をプロジェクタから照射させ、個々の輝度値について同様の補正値を求めることにより、色彩のムラを補正することも可能である。

次に、重複領域補正について説明する。重複領域とは、図１３に示すように、隣接する複数（図は二つ）のプロジェクタ１ａ，１ｂから照射される投影画像Ｉ_１，Ｉ_２が重なる領域Ｉ_１２である。この重複領域Ｉ_１２では、隣接する投影画像Ｉ_１，Ｉ_２の光が重複するため、単独で照射されている領域よりも明るく投影されることから、その輝度補正が必要となるものである。重複領域Ｉ_１２を把握するためには、前述のパターン画像の投影により、その画像をカメラ２によって撮影することにより、隣接する画像Ｉ_１，Ｉ_２のうち、現実に画像が重複する領域を確定させることができる。

輝度補正には、第１段階として、両画像Ｉ_１，Ｉ_２によって形成される重複領域内の各画素の輝度値Ｚ_１，Ｚ_２に対し、次式（１８）に示すように、補正値α_ｒを用いて補正することができる。

上記のような輝度補正の場合、補正された重複領域内の各画素の輝度値Ｚｒ_１２は、次式（１９）に示すとおりとなる。なお、重複領域内に存在する点（ｕ，ｖ）については、所定の重みが求められ、当該重みに応じて各画素の輝度値が個別に補正されるものである。

しかしながら、上記による輝度補正は、現実に投影される重複領域の輝度を十分に補正できていない。すなわち、上記輝度補正により補正された重複領域内における輝度値は、両プロジェクタ１ａ，１ｂによる個別の輝度値に対して補正するものであるが、両プロジェクタ１ａ，１ｂの輝度値が同一であるとは限らず、輝度値に際を生じる場合には、個別に補正された両プロジェクタ１ａ，１ｂの輝度が重複する場合、両プロジェクタ１ａ，１ｂの輝度値よりも大きく（重複領域外よりも明るく）なる傾向となっていた。

そこで、本実施形態では、上記補正後の重複領域の映像をカメラ２により撮影し、さらに補正値を修正する（第２段階の補正を行う）ものである。ここでは、カメラにより撮影された画像から、現実に投影される映像における重複領域の輝度を検出し、その輝度値と、目的とする輝度値との割合を計算し、その割合に応じて補正値を算出するものである。具体的には、目標輝度値Ｚｒｒとし、現実輝度値Ｚｒ_１２とするとき、両輝度値の割合を次式（２０）に示すように、補正割合を計算する。そして、この目標輝度値Ｚｒｒに対する現実輝度値Ｚｒ_１２の割合から、次式（２１）のように、補正後の輝度値Ｚｒｒ_１２を計算することができる。

このように、補正後の輝度値Ｚｒｒ_１２は輝度割合βにより目標輝度値Ｚｒｒに補正されることとなる。そして、各プロジェクタ１ａ，１ｂにより輝度値は、前記のとおり、第１段階の補正による輝度値Ｚｒ_１２は、式（１８）および式（１９）に示されているとおりであることから、第２段階による補正値Ｚｒｒ_１２は次式（２２）のとおりとなる。

よって、両プロジェクタ１ａ，１ｂにおける補正値は、一方のプロジェクタ１ａについてはα_ｒ／βとし、他方のプロジェクタ１ｂについては（１−α_ｒ）／βとすることにより、補正後の両プロジェクタ１ａ，１ｂの輝度値Ｚｒｒ_１およびＺｒｒ_２は、次式（２３）に示すようになり、重複領域における目標輝度値Ｚｒｒ_１２とすることができるのである。なお、目標輝度値と現実の輝度値の割合は、β＝１である場合もあり得る。この場合、結果的には、第１段階での輝度補正のみによって所望の輝度値を算出できたことになっているが、これは偶然そのような結果となるものであり、確認の意味においても第２段階の輝度補正は必要である。また、計算上は生じ難いものではあるが、β＜１となる現象がある場合においても、上記第２段階の補正により、このときの輝度補正も可能となる。

上記による輝度補正の結果を図１４に示す。図１４（ａ）は補正前の映像であり、（ｂ）は第１段階の補正の状態であり、（ｃ）は第２段階の補正を行った状態を示す。この図に示されているように、第１段階では、重複領域が周辺領域よりも明るくなっており、十分な輝度補正ができていないが、第２段階の補正により、重複領域の存在が確認できない程度に補正されていることがわかる。

このように、重複領域の輝度値を補正するためには、輝度補正の場合と同様に、重複領域の輝度検出を容易にするため白色画像の映像をプロジェクタから照射することが好ましい。また、同様にして色補正を行うことも可能である。この場合、プロジェクタからＲＢＧの個別の色彩画像を順次それぞれ照射し、各色彩画像の輝度についてそれぞれ補正値を算出することとなる。

以上のとおり、画像処理のための各補正値が算出されることから、幾何補正、輝度補正および重複領域補正を順次行うことにより、部屋全体の壁面（全周）Ｗ１〜Ｗ４に対して予定される画像をシームレスな投影させることが可能となる。そこで、画像の処理手順について説明する。

まず、処理装置による投影画像の幾何補正が処理される。図１５は、幾何補正の処理手順の概略を示す図である。この図に示すように、幾何補正が開始されると、パターン画像が読み出され（Ｓ１０１）、このパターン画像がプロジェクタによって投影されるように処理される（Ｓ１０２，Ｓ１０３）。プロジェクタからパターン画像が投影されると、その画像はスクリーン（壁面）に投影されることとなり、その投影画像が全方位カメラで撮影され（Ｓ１０４，Ｓ１０５）、撮影された画像を取得し一時保存される（Ｓ１０６，Ｓ１０７）。撮影された画像は、円筒画像であるため、これを球画像および平面画像に変形し（Ｓ１０８）、その画像を保存する（Ｓ１０９）。この平面画像に基づいて、幾何補正のための補正関数が算出され（Ｓ１１０）、各画素に対する補正値が計算され（Ｓ１１１）、その補正値が保存される（Ｓ１１２）。これにより、幾何補正処理を終了する。なお、幾何補正の具体的な内容は前述のとおりである。

次に、プロジェクタごとの輝度補正が処理される。図１６は、輝度補正の処理の概略を示す図である。プロジェクタごとの輝度補正は、前述の幾何補正した状態の画像により処理される。そのため、幾何補正された補正値を取得し（Ｓ２０１）、この補正値が反映された投影画像が作成される（Ｓ２０２）。この処理は輝度ムラを解消するためのものであることから、投影画像としては白色画像とすることができるが、パターン画像を用いることによって測定点を定めてもよく、色彩ムラを解消する場合には、所定の色彩を有する画像が使用される。次に、輝度補正すべきプロジェクタを順次選択し（Ｓ２０３）、選択されたプロジェクタから幾何補正により修正された画像が投影される（Ｓ２０４，２０５）。スクリーン（壁面）に投影された白色画像等の投影画像は全方位カメラによって撮影され、これを取得して、前記と同様に平面画像に変換される（Ｓ２０６〜Ｓ２０９）。

平面画像に変換された画像に基づき、任意の点における輝度値が検出され（Ｓ２１０）、二次曲面による輝度分布が算出される（Ｓ２１１）。さらに、算出された輝度分布に基づいて、輝度ムラを解消するための補正値が画素ごとに算出され（Ｓ２１２）、これの補正値が保存される（Ｓ２１３）。以上により一つのプロジェクタに対する輝度ムラを修正するための処理が終了し、全てのプロジェクタに対して補正値が算出されるまで、上記処理は他のプロジェクタに対して実行される（Ｓ２１４）。そして、全てのプロジェクタについて補正値が算出されると処理を終了する。なお、色彩のムラを解消するための補正を処理する場合には、上記と同様の処理手順により、ＲＢＧの各画像についてプロジェクタごとに処理される。

次に、重複領域の輝度補正が処理される。図１７は、重複領域における輝度補正の処理の概略を示す図である。この図に示すように、前述により算出された幾何補正値および輝度補正値を取得し（Ｓ３０１）、各補正が反映されたパターン画像が作成され（Ｓ３０２）、これをスクリーン（壁面）に投影する（Ｓ３０３，Ｓ３０４）。このときの投影画像は全方位カメラで撮影されて取得され（Ｓ３０５〜Ｓ３０７）、この撮影画像は、前述と同様に平面画像に変換され、保存される（図省略）。取得されたパターン画像から、輝度値が検出され、輝度値の大きい領域を重複領域として補正対象とされる（Ｓ３０８）。重複領域を形成する複数の（例えば隣接する二つの）投影画像について、第１段階の輝度補正値が算出され（Ｓ３０９）、この補正値は一時保存される（Ｓ３１０）。

引き続き、第１段階の補正値を反映した投影画像が作成され（Ｓ３１１）、この投影画像は、パターン画像または白色画像としてプロジェクタから投影され（Ｓ３１２，Ｓ３１３）、再び全方位カメラで撮影した画像が取得される（Ｓ３１４〜Ｓ３１６）。このように第１段階の補正が反映された状態の画像について、重複領域（補正対象）の輝度値が検出され（Ｓ３１７）、第２段階の補正として、目標輝度値との比較により、最終的な補正値が算出される（Ｓ３１８）。目標輝度値は、重複領域外の輝度を参照することも可能であり、この場合、前記全方位カメラによって取得される画像から重複領域外の輝度値を検出して得ることができる。第２段階の補正値は、第１段階の補正値に加算されて最終的な補正値となり、これが重複領域補正における補正値として保存される（Ｓ３１９）。

なお、重複領域の補正は、重複領域ごとに撮影から順次処理することも可能であるが、全方位カメラによって同時に全ての重複領域を撮影し、それぞれの領域ごとに補正値を算出するように処理することも可能である。また、色彩ごとについても重複領域の補正をおこなうことができる。この場合には、プロジェクタに送られる画像データとしてＲＢＧごとの色彩画像が使用される。

以上のように、処理装置による処理が実行されることにより、複数のプロジェクタ１ａ〜１ｆにより投影される画像について、幾何補正、プロジェクタごとの輝度補正、および、重複領域における輝度補正が処理され、室内における壁面をスクリーンとするシームレスな画像を投影することが可能となる。そして、上記処理を室内の全ての壁面について実施することにより、当該室内の全周に対してシームレスな画像を投影することができるものである。このときのシームレス画像は、壁面の凹凸（柱など）による画像の変形を補正し、違和感のない連続画像とすることができる。また、複数のプロジェクタによる継ぎ目を目立たなくすることができる。そして、上述のような各補正が終了した状態において、通常の投影すべき画像について各補正値を反映させた当該画像をプロジェクタから照射させることにより、シームレス画像を投影させることができるのである。

本発明の実施形態は上記のとおりであるが、これらは本発明の例示であって、本発明が上記実施形態に限定されるものではない。従って、本発明の趣旨を逸脱しない範囲において種々の態様とすることができるものである。例えば、上記実施形態では、スクリーン画像を撮影するための手段として、全方位カメラを使用したが、これは、３６０°の方向に投影される全周画像を一度に取得することができること目的とするものであって、複数回に分けてスクリーン画像を入手し、これらの画像の相互間の整合をとりながら処理する場合には、複数台のカメラにより撮影手段を構成してもよい。また、撮影画像として取得される円筒画像は、広角レンズを有するカメラにより取得するものを前提としたが、スクリーンに投影される画像を円筒画像として取得できれば、広角レンズを使用したものに限定されることはない。さらに、上記実施形態は、室内を例として、その壁面をスクリーンとして使用する場合を例示したが、このような室内の壁面に限定されず、他の種類の面をスクリーンとして使用する形態もあり得る。また、室内の壁面をスクリーンとする場合であっても、全周に対する画像の投影に限らず、壁面の一部に対する画像の投影もあり得るものであり、このような場合に、全方位カメラで撮影される周辺の画像は、スクリーンとすべき壁面の輝度値の調整において、スクリーンとして使用する範囲外の輝度を参照させることに利用することも可能である。

１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ プロジェクタ
２ 全方位カメラ
３ 画像処理装置（ＰＣ）
４ 投影制御装置
５ 撮影制御装置
３１ 画像処理部
３２ 幾何補正値算出部（幾何補正手段）
３３ 輝度補正値算出（輝度補正手段）
３４ 重複領域補正値算出部（重複領域補正手段）
３５ 処理装置
Ｗ１，Ｗ２，Ｗ３，Ｗ４ 壁面（スクリーン）
ＰＬ 柱
Ｂｄ 境界

Claims (13)

1. 任意の形状または角度に形成される面をスクリーンとする画像投影装置であって、
   前記スクリーンに画像を投影する複数の投影手段と、この投影手段により前記スクリーンに投影された投影画像を撮影する撮影手段と、この撮影手段により取得された画像に基づき投影画像を補正する画像処理装置とを備え、
   前記画像処理装置は、前記投影画像を幾何変形して所望形状に補正する幾何補正手段と、前記複数の投影手段ごとに投影される投影画像を単位として輝度の高低を調整する輝度補正手段と、隣接する投影領域間で投影画像が重複する重複領域についての輝度を調整する重複領域補正手段とを備え、
   前記重複領域補正手段は、前記撮影手段によって撮影される隣接する２以上の画像を取得する隣接画像取得手段と、この隣接画像取得手段により取得された画像から輝度を検出する輝度検出手段と、この輝度検出手段により取得された輝度の差により重複領域を特定する重複領域特定手段と、この重複領域特定手段により特定された重複領域内の各画素の輝度値を補正する第１の輝度補正値に基づく補正後の投影画像を前記撮影手段によって撮影し、前記重複領域特定手段により特定された重複領域内の任意の複数点における輝度値と重複領域外における輝度値との輝度比率を算出するとともに、該輝度比率を参照しつつ重複領域を構成する隣接画像の双方に対する第２の輝度補正値を導出し、前記第１および第２の輝度補正値によって最終的な補正値を算出する補正値算出手段とを備えたことを特徴とする画像投影装置。
2. 前記重複領域が二つの画像による重複によって構成される場合において、前記重複領域補正手段における第１の輝度補正値は、一方の画像に対しては補正値α（但し、αは１未満の任意の数）とし、他方の画像に対しては１−αとするものであり、前記重複領域補正手段における第２の輝度補正値は、重複領域外における輝度値を目標輝度値とし、この目標輝度値に対する第１の輝度補正値による補正後の輝度値の割合β（但し、βは１以上の数）の逆数とし、二つの画像に対して均等に与えられるものである請求項１に記載の画像投影装置。
3. 前記撮影手段は、広角レンズを介して撮影される広角画像から円筒画像を取得することができる撮影手段であり、前記画像処理装置は、前記撮影手段により取得された円筒画像を球画像に変換する球画像変換手段と、この球画像変換手段により変換された球画像に基づき平面状の透視画像に変換する透視画像変換手段とを備えた画像処理装置である請求項１または２に記載の画像投影装置。
4. 前記撮影手段は、広角レンズを有する複数のカメラによって撮影された広角画像を展開することによって円筒画像を取得することができる全方位カメラである請求項３に記載の画像投影装置。
5. 前記輝度補正手段は、前記複数の投影手段ごとに画像を投影させるとき、前記撮影手段によって撮影される投影手段ごとの個別の画像を取得する個別画像取得手段と、この個別画像取得手段により取得された画像から輝度を検出する輝度検出手段と、この輝度検出手段により検出された輝度の情報に基づいて、前記投影手段ごとの輝度分布を二次曲面として算出する輝度分布算出手段と、前記輝度分布算出手段により算出された輝度分布に基づき画像の画素単位における輝度の補正値を算出する補正値算出手段とを備えた輝度補正手段である請求項１ないし４のいずれかに記載の画像投影装置。
6. 前記輝度補正手段は、前記複数の投影手段ごとに白色画像を投影させるときの投影光の強度を補正する輝度補正手段である請求項５に記載の画像投影装置。
7. 前記輝度補正手段は、前記複数の投影手段ごとに色彩を有するパターン画像を投影させるとき、投影画像におけるＲＢＧごとの輝度を補正する輝度補正手段である請求項５に記載の画像投影装置。
8. 前記重複領域補正手段は、前記複数の投影手段から白色画像を投影させるときの前記重複領域における投影光の強度を補正する重複領域補正手段である請求項１ないし７のいずれかに記載の画像投影装置。
9. 前記重複領域補正手段は、前記複数の投影手段から色彩を有するパターン画像を投影させるとき、前記重複領域におけるＲＢＧごとの輝度を補正する重複領域補正手段である請求項１ないし７のいずれかに記載の画像投影装置。
10. 前記幾何補正手段は、前記投影手段によりパターン画像を投影させるとき、前記撮影手段によって撮影される該投影手段ごとの該パターン画像を取得するパターン画像取得手段と、このパターン画像取得手段により取得された画像に基づいて幾何学関数を算出する幾何学関数算出手段と、この幾何学関数算出手段により算出された幾何学補正関数に基づいて投影画像の補正値を算出する補正値算出手段とを備えた幾何補正手段である請求項１ないし９のいずれかに記載の画像投影装置。
11. 任意の形状または角度に形成される面をスクリーンとし、該スクリーンに対し複数の投影手段から投影される画像を補正するための画像処理方法であって、
    前記スクリーンに投影された投影画像を撮影し、撮影画像を平面画像に変換して透視投影画像を作成し、
    透視投影画像に基づき、前記各投影手段の幾何補正のための幾何学関数を算出し、該幾何学関数に基づき前記投影画像を幾何補正するとともに、投影画像の投影領域を設定し、
    前記各投影手段について、個々の投影画像を撮影し、輝度分布を二次曲面として算出し、該輝度分布における輝度ムラを補正する補正値を算出して、前記投影画像を補正し、
    前記複数の投影手段による投影画像を撮影し、重複領域を検出するとともに、重複領域内の輝度値を検出し、重複領域を形成する投影画像ごとに所定割合の輝度値となる第１段階の補正値を算出し、前記第１段階の補正値により補正された画像を投影し、該投影された画像を撮影手段により撮影し、重複領域内の輝度値と重複領域外の輝度値とを比較し、輝度割合に応じた第２段階の補正値を算出し、前記第１段階および第２段階の補正値によって、重複領域を形成する各画素の輝度を補正する
    ことを特徴とする画像処理方法。
12. 前記重複領域が二つの画像による重複によって構成される場合における輝度の第１段階の補正値は、一方の画像に対しては補正値α（但し、αは１未満の任意の数）とし、他方の画像に対しては１−αとするものであり、前記重複領域補正手段における第２の輝度補正値は、重複領域外における輝度値を目標輝度値とし、この目標輝度値に対する第１の輝度補正値による補正後の輝度値の割合β（但し、ベータ波１以上の数）の逆数とし、二つの画像に対して均等に与えられるものであることを特徴とする請求項１１に記載の画像処理方法。
13. 前記撮影画像は、広角レンズを有する複数のカメラによって撮影された広角の画像による円筒画像であり、前記透視投影画像は、前記円筒画像を球画像に変換したうえで、この球画像をさらに平面画像に変換して作成されることを特徴とする請求項１１または１２に記載の画像処理方法。