JP2005252676A - マルチプロジェクションシステムのための画像補正方法 - Google Patents

Abstract

【課題】複数のプロジェクタを用いて隣接する投影画像が重なり領域を有した状態でタイリング投影を行う場合、重なり領域の幾何学的な整合性を適切にとることができるようにする。
【解決手段】各プロジェクタＰＪａ〜ＰＪｄ上の表示領域内に存在する複数の特徴の位置と、投影面上における各プロジェクタの投影領域内に存在する複数の特徴の位置との幾何学的な対応関係および幾何補正関数を用いて算出する残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出する幾何補正関数算出装置２６と、記各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の重み係数の値が、重なり領域以外の重み係数の値に対し、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて大きくなるような重み係数を設定する重み係数設定装置２５とを有する。
【選択図】 図６

Description

本発明は、マルチプロジェクションシステムのための画像補正方法、マルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムに関する。

投影光学ユニット（プロジェクタとする）を、水平方向または垂直方向にそれぞれ複数、または、水平方向と垂直方向にそれぞれ複数配置し、これらの複数のプロジェクタからの投影画像をスクリーン上にタイリング投影することにより、１つの大画面画像を表示することのできるマルチプロジェクションシステムが知られている。なお、タイリング投影とは、複数のプロジェクタの各投影領域をスクリーン上でタイル状に配置して、１つの大画面画像の表示を可能とする投影方式である。

このようなマルチプロジェクションシステムは、高精細かつ高輝度の画像を表示することができるため、映画館、美術館、博物館、セミナー会場、集会場、ミニシアター、公共機関、企業などの業務用分野やアミューズメント、ホームシアターなどの家庭用分野において今後広く普及されていくことが期待されている。

このマルチプロジェクションシステムでは、複数のプロジェクタから投影される画像（単位画像という）が幾何学的に矛盾しないようにそれぞれの画像を投影する必要がある。このため、従来より、複数のプロジェクタから投影される単位画像同士の整合性を取るための様々な技術が提案されてている。

また、このマルチプロジェクションシステムでは、隣接するプロジェクタからの投影画像をスクリーン上で一部に重なり合う領域（以下では重なり領域という）を有した状態で表示させることが従来から一般的に行われている。

このように、スクリーン上で一部に重なり領域を有した状態で表示させる場合、各プロジェクタから投影する画像データの各プロジェクタ上の表示領域とスクリーン上における各プロジェクタの投影領域との幾何補正関数を算出し、その幾何補正関数と画像データから、投影すべき画像データがスクリーン上で適切に投影されるような幾何補正済み画像データを生成して、この幾何補正済み画像データを各プロジェクタから投影することが行われている。

このとき、各プロジェクタ間の重なり領域において、幾何補正関数の精度が不十分であると、この重なり領域内で画像のボケが発生し、マルチプロジェクションシステムでの投影画像の品質を大きく損なうこととなる。

上述したような、隣接するプロジェクタからの投影画像をスクリーン上で一部に重なり合う領域（以下では重なり領域という）を有した状態で表示させる場合における重なり領域の画像品質の改善を行う技術は従来から種々提案されている。たとえば、特許文献１から３もその例である。

特許文献１は複数のプロジェクタからスクリーン上にパターン画像を投影し、スクリーン上に投影されたパターン画像をカメラで撮影し、元のパターン画像と撮影によって得られたパターン画像とに基づいて各プロジェクタの投影位置を算出するというものである。

また、特許文献２は複数のプロジェクタからスクリーン上にパターン画像を投影し、スクリーン上に投影されたパターン画像をカメラで撮影し、元のパターン画像と撮影によって得られたパターン画像とに基づいて各プロジェクタの投影する画像とスクリーン上の投影領域との幾何変形関数を算出するものである。さらに、この特許文献２には、プロジェクタ単体の投影領域を小領域に分割し、個々の小領域ごとに幾何変数関数を算出する方法が提示されている。

また、特許文献３は複数のプロジェクタからスクリーン上にキャリブレーションパターン画像を投影し、スクリーン上に投影されたキャリブレーションパターン画像をカメラで撮影し、そのキャリブレーションパターン画像と撮影によって得られたキャリブレーションパターン画像とに基づいて各プロジェクタの投影する画像の画像補正データを算出するものである。また、この特許文献３に記載のキャリブレーションパターン画像は、マーカまたはグラデーションを有し、そのマーカまたはグラデーションの輝度値から算出した重心を用いて画像補正データを算出する。
特開平９−３２６９８１号公報 特開２００２−７２３５９号公報 特開２００３−２１９３２４号公報

上述した特許文献１は、重なり領域に関する処理については、重なり領域の輝度が重なり領域以外に比べて高くなることを考慮した輝度調整処理のみを施すものあり、重なり領域において前述したような幾何学的な補正はなされない。このように、特許文献１では、重なり領域における幾何学的な補正がなされず、輝度の調整処理だけであるので、重なり領域における幾何学的整合性を取ることは難しく、重なり領域の画像のボケを解消することはできない。

また、特許文献２は、プロジェクタの投影領域を小領域に細分化することで幾何変数関数を算出するようにしている。このため、幾何補正関数の算出に多くの計算量を要し、処理時間の増大につながる。加えて、この特許文献２では、スクリーン上におけるプロジェクタの投影領域をどのように小領域に分割するのかが提示されていない。このため、適切な幾何変数関数の精度を得るには、投影領域をどの程度、細分化すればよいかがわからず、この特許文献２では、如何に少ない演算量でより適切な幾何変数関数を得るという目的を達成するのは困難であると考えられる。
また、特許文献３は、その中に記載されているキャリブレーションパターン画像としてのマーカやグラデーションは、重なり領域のような特定の領域に注目したものではないため、重なり領域の画像のボケを解消することはできない。

本発明は、マルチプロジェクションシステムを構成する複数のプロジェクタのそれぞれの投影領域の重なり領域に関する幾何補正関数の精度を向上させることで高品質な大画面画像表示を可能とするマルチプロジェクションシステムのための画像補正方法、マルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムを提供することを目的としている。

（１）本発明のマルチプロジェクションシステムのための画像補正方法は、複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正方法であって、前記複数のプロジェクタにおける各プロジェクタ上の表示領域内に存在する複数の特徴の位置と、前記投影面上における各プロジェクタの投影領域内に存在する複数の特徴の位置との幾何学的な対応関係および前記幾何補正関数を用いて算出する残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出し、そのときの前記重み係数は、前記各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の重み係数の値が、重なり領域以外の重み係数の値に対し、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて大きくなるように設定されることを特徴としている。

このように、重み係数を重なり領域と重なり領域以外とで分けて考え、重なり領域における重み係数を重なり領域以外の領域よりも大きく設定し、その重み係数を用いて幾何補正関数を作成するようにしているので、作成された幾何補正関数は、重なり領域において高精度な幾何補正を可能とする幾何補正関数となる。この幾何補正関数を用いて画像補正を行うことにより、幾何学的な整合性の取りにくい重なり領域において、より高精度に整合性をとることができ、重なり領域のボケを抑えることができる。

なお、本発明でいうプロジェクタ上の表示領域とはプロジェクタ座標系での表示領域であり、また、前記投影面上における各プロジェクタの投影領域とは投影面（スクリーン）座標系での投影領域を意味している。

（２）前記（１）に記載のマルチプロジェクションシステムのための画像補正方法において、前記残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出する際の、前記残差に重み係数を乗じた値の大きさは、該残差に重み係数を乗じた値の和が最小またはその近傍であって、該残差に重み係数を乗じた値の和が最小またはその近傍となるように前記幾何補正関数を算出することが好ましい。

これは、幾何補正関数が、たとえば、重み付き最小２乗法によって求められることを示すもので、これによって、重なり領域において高精度な幾何補正を可能とする幾何補正関数を適切に求めることができる。なお、残差に重み係数を乗じた値の和が「最小」ではなく、その近傍としても差し支えない場合もあり得ることを考慮して、本発明では、「最小またはその近傍」としている。

（３）前記（１）または（２）に記載のマルチプロジェクションシステムのための画像補正方法において、前記各プロジェクタ上の表示領域内に存在する複数の特徴の位置は、前記パターン画像に含まれる複数の特徴の各プロジェクタ上の表示領域における位置座標であって、前記各プロジェクタの投影領域内に存在する複数の特徴の位置は、前記パターン画像が前記投影面に投影されたときの前記投影面上のパターン画像に含まれる複数の特徴の各プロジェクタの投影領域における位置座標としている。
これにより、前記複数のプロジェクタにおける各プロジェクタ上の表示領域内に存在する複数の特徴の位置と、前記投影面上における各プロジェクタの投影領域内に存在する複数の特徴の位置との幾何学的な対応関係を確実かつ適正にとることができる。

（４）前記（１）から（３）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記重み係数は、前記投影面上における各プロジェクタの投影領域において連続的な値または不連続な値として設定されることが好ましい。

これは、たとえば、ある投影領域の重なり領域においては、重み係数をある値に設定し、重なり領域以外の領域においては重み係数をある値（重なり領域よりも小さい値）に設定するというように不連続に設定することも可能であり、また、重なり領域のある位置で重み係数がピーク値となるように設定し、そのピーク値に至るまでの間で重み係数をなだらかに連続的に変化させるような設定とすることも可能であるということである。この（４）に記載のマルチプロジェクションシステムのための画像補正方法においても、（１）に記載のマルチプロジェクションシステムのための画像補正方法と同様の効果が得られる。

（５）前記（１）から（３）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記重み係数は、前記各プロジェクタ上の表示領域において連続的な値または不連続な値として設定されることも可能である。

これは、前記重み係数はプロジェクタ上の表示領域においても設定可能であることを示すものであり、重み係数を前記各プロジェクタ上の表示領域においても連続的な値または不連続な値として設定可能であるということである。これによっても、前記（１）に記載のマルチプロジェクションシステムのための画像補正方法と同様の効果が得られる。

（６）前記（１）から（５）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記重み係数は、前記複数のプロジェクタのうちのあるプロジェクタの投影領域に注目したときに、該注目したプロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数を変数とする関数によって設定されるようにすることも可能である。

これは、注目したプロジェクタの投影領域におけるある位置での重なり領域の数が多いほど、幾何学的な整合性が取れにくくなることを考慮したものであり、各プロジェクタに対する投影面上での投影領域の重なり領域の総数を変数とする関数から重み係数を設定することによって、重なり領域の数に応じた重みを設定することができる。これによって、重なり領域における幾何学的な整合性をより高精度にとることができる。

（７）前記（１）から（５）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記重み係数は、前記複数のプロジェクタのうちのあるプロジェクタの投影領域に注目したときに、該注目したプロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数および該注目したプロジェクタの投影領域の境界までの距離を変数とする関数によって設定することが好ましい。

この（７）に記載のマルチプロジェクションシステムのための画像補正方法は（６）に記載のマルチプロジェクションシステムのための画像補正方法と同様、注目したプロジェクタの投影領域におけるある位置での重なり領域の数が多いほど、幾何学的な整合性が取れにくくなることを考慮したものであり、さらに、この（７）に記載のマルチプロジェクションシステムのための画像補正方法では、該注目したプロジェクタの投影領域の境界までの距離をも考慮している。

このように、投影領域の重なり領域の総数および投影領域境界までの距離を変数とする関数から重み係数を設定することによって、重なり領域の数とその位置に応じた重みを設定することができる。これによって、投影領域境界付近で、重み係数をより大きな値とすることができ、重なり領域における幾何学的な整合性をより高精度にとることができる。

（８）前記（１）から（５）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記重み係数は、前記複数のプロジェクタのうちのあるプロジェクタの投影領域に注目したときに、該注目したプロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数および該注目したプロジェクタ上の表示領域の境界までの距離を変数とする関数によって設定することも可能である。

この（８）に記載のマルチプロジェクションシステムのための画像補正方法は、前記（７）に記載のマルチプロジェクションシステムのための画像補正方法と同じ考え方であるが、（７）に記載のマルチプロジェクションシステムのための画像補正方法と異なるのは、（７）がプロジェクタの投影領域の境界までの距離としているのを、この（８）に記載のマルチプロジェクションシステムのための画像補正方法では、プロジェクタ上の表示領域境界までの距離としている点である。この（８）においても、（７）に記載のマルチプロジェクションシステムのための画像補正方法と同様の効果を得ることができる。

（９）本発明のマルチプロジェクションシステムのための画像補正装置は、複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正装置であって、前記複数のプロジェクタにおける各プロジェクタ上の表示領域内に存在する複数の特徴の位置と、前記投影面上における各プロジェクタの投影領域内に存在する複数の特徴の位置との幾何学的な対応関係および前記幾何補正関数を用いて算出する残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出する幾何補正関数算出手段と、前記各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の重み係数の値が、重なり領域以外の重み係数の値に対し、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて大きくなるような重み係数を設定する重み係数設定手段とを有することを特徴としている。

このマルチプロジェクションシステムのための画像補正装置においても前記（１）に記載のマルチプロジェクションシステムのための画像補正方法と同様の効果を得ることができる。なお、このマルチプロジェクションシステムのための画像補正装置においても、前記（２）から（８）に記載のマルチプロジェクションシステムのための画像補正方法の特徴を有することが好ましい。

（１０）本発明のマルチプロジェクションシステムは、複数のプロジェクタから投影される投影画像の一部に重なり領域を有した状態でタイリング表示する際に、前記複数のプロジェクタからの投影画像を前記投影面上で幾何学的整合性がとれるように補正可能な画像補正装置を有するマルチプロジェクションシステムであって、前記画像補正装置として、前記（９）に記載のマルチプロジェクションシステムのための画像補正装置を有することを特徴としている。

このマルチプロジェクションシステムによれば、複数のプロジェクタからの投影画像の重なり領域での幾何学的な整合性を高精度に取ることができ、重なり領域でのボケが抑えられた高品質なタイリング投影が可能となる。

本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法について説明する。本発明のマルチプロジェクションシステムのための画像補正方法は、複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するための画像補正方法である。

そして、その幾何補正関数は、各プロジェクタ上の表示領域（パターン画像のプロジェクタ上の表示領域）内に存在する複数の特徴の位置座標と、スクリーン上における各プロジェクタの投影領域（スクリーンに投影されたパターン画像のスクリーン上における各プロジェクタの投影領域）内に存在する複数の特徴の位置座標との幾何的な対応関係および上述の幾何補正関数を用いて算出する残差に重み係数を乗じた値の大きさに基づいて算出する。具体的には、重み付き最小２乗法を導入することによって幾何補正関数を算出する。すなわち、各プロジェクタ上の表示領域内に存在する複数の特徴の位置座標と、スクリーン上における各プロジェクタの投影領域内に存在する複数の特徴の位置座標との幾何的な対応関係および上述の幾何補正関数を用いて算出する残差に重み係数を乗じた値の和（この実施形態では総和とする）が最小となるように算出する。

なお、残差に重み係数を乗じた値の総和が「最小」ではなくその近傍としても差し支えない場合もあるが、この実施形態では、残差に重み係数を乗じた値の総和が「最小」となるように算出するものとする。

また、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う領域の重み係数の値が、各プロジェクタの投影領域における他のプロジェクタの投影領域と重なり合わない領域の重み係数の値以上か、または、より大きい値（これについては後に説明する）に設定する。

ここで、前述したように、表示領域とは各プロジェクタの表示領域（各プロジェクタ上の座標系）を表し、投影領域とはスクリーン上に投影された各プロジェクタの投影領域（スクリーン上の座標系）を表している。たとえば、図１（Ａ）に示すように、２つのプロジェクタ（これをＰＪａ，ＰＪｂとする）を考えると、プロジェクタＰＪａのｕ_ａ・ｖ_ａ座標系における表示領域ａとプロジェクタＰＪｂのｕ_ｂ・ｖ_ｂ座標系における表示領域ｂをスクリーン上に投影したとき、スクリーンのＸ・Ｙ座標系におけるプロジェクタＰＪａ，ＰＪｂの投影領域ａ，ｂが図１（Ｂ）のようであったとする。

このときの各プロジェクタＰＪａ，ＰＪｂ上の各表示領域と各プロジェクタＰＪａ，ＰＪｂの各投影領域との幾何変換を表す座標変換式（幾何補正関数）は、
ｕ_ｎ＝ｆ_ｎ（Ｘ，Ｙ） （１）
ｖ_ｎ＝ｇ_ｎ（Ｘ，Ｙ） （２）
で表すことができる。なお、（１）および（２）式において、（ｕ_ｎ，ｖ_ｎ）は各プロジェクタ上の表示領域座標、（Ｘ，Ｙ）はスクリーン上の投影領域座標である。また、ｎはプロジェクタ番号であり、図１の場合は、プロジェクタＰＪａ、ＰＪｂであるので、ｎ＝ａ，ｂである。

なお、図１（Ｂ）のスクリーン上における各プロジェクタＰＪａ，ＰＪｂの投影領域ａ，ｂにおいて、Ｗ_ａ←ｂ（Ｘ，Ｙ）は、投影領域ａに投影領域ｂが重なった重なり領域における、ある位置（座標（Ｘ，Ｙ））の重み係数、Ｗ_ｂ←ａ（Ｘ，Ｙ）は、投影領域ｂに投影領域ａが重なった重なり領域における、ある位置（座標（Ｘ，Ｙ））の重み係数を表している。

また、Ｗ_ａ←（Ｘ，Ｙ）は、重なりの無い投影領域ａにおけるある位置（座標（Ｘ，Ｙ））の重み係数、Ｗ_ｂ←（Ｘ，Ｙ）は、重なりの無い投影領域ｂにおける、ある位置（座標（Ｘ，Ｙ））の重み係数を表している。なお、この重み係数の詳細については後に説明する。

ところで、上述したように、この実施形態で用いる幾何補正関数は、各プロジェクタの表示領域内に存在する複数の特徴の位置座標と、各プロジェクタの投影領域内に存在する複数の特徴の位置座標との幾何的な対応関係および幾何補正関数を用いて算出する残差に重み係数を乗じた値の総和が最小となるように算出する。すなわち、下記の（３）式に示す重み付き最小２乗法によって幾何補正関数を決定する。
この（３）式において、ｉは特徴点の番号、（ｕ_ｎｉ，ｖ_ｎｉ）はｉ番目の特徴点に関するあるプロジェクタ上の表示領域座標、（Ｘ_ｉ，Ｙ_ｉ）はｉ番目の特徴点に関するスクリーン上におけるプロジェクタの投影領域座標である。なお、（ｕ_ｎｉ，ｖ_ｎｉ）と（Ｘ_ｉ，Ｙ_ｉ）は幾何的な対応付けがなされている。

ここで、この実施形態で用いる重み係数は、前述したように、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う領域の重み係数の値が、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合わない領域の重み係数の値以上か、または、より大きく設定する。

これを図２により説明する。この図２では、ある３台のプロジェクタから投影されたそれぞれの投影画像のスクリーン上における各プロジェクタの投影領域（これらを投影領域ａ、投影領域ｂ、投影領域ｎとする）を示すものである。

この図２において、投影領域ｎに注目して考えると、この投影領域ｎに対しては、投影領域ａのみが重なり合う重なり領域Ｚ_n←aと、投影領域ｂのみが重なり合う重なり領域Ｚ_n←ｂと、投影領域ａと投影領域ｂがともに重なり合う重なり領域Ｚ_n←aｂが存在する。

これら重なり領域Ｚ_n←a、重なり領域Ｚ_n←ｂ、重なり領域Ｚ_n←aｂにおける重み係数を、重なり領域Ｚ_n←ｂに対してはＷ_ｎ←a（Ｘ，Ｙ）、重なり領域Ｚ_n←ｂに対してはＷ_ｎ←ｂ（Ｘ，Ｙ）、重なり領域Ｚ_n←aｂに対してはＷ_ｎ←ａｂ（Ｘ，Ｙ）と表すものとする。また、投影領域ｎの重なりの無い領域における重み係数をＷ_ｎ←（Ｘ，Ｙ）で表すものとする。

このように、投影領域ｎに注目して考えたとき、この投影領域ｎに対して他の投影領域が重なり合う重なり領域の重み係数と、他の投影領域が重なり領域以外の領域の重み係数の関係は、
というように設定する。

そして、この（４）式のように、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う領域の重み係数を、各プロジェクタの投影領域における他のプロジェクタの投影領域と重なり合わない領域の重み係数以上か、または、より大きい値に設定した上で幾何補正関数を決定する。

なお、この（４）式からもわかるように、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う領域の重み係数を、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合わない領域の重み係数以上であるとの設定としている。すなわち、この（４）式では重なり合う領域の重み係数が重なり合わない領域の重み係数と等しいことを含む設定としている。

これは、すべてのプロジェクタにおいて、その重なり合う領域の重み係数が重なり合わない領域の重み係数よりも大きく設定されることが望ましいが、複数のプロジェクタのうち、大部分のプロジェクタにおいて、重なり合う領域の重み係数が重なり合わない領域の重み係数よりも大きければ、複数のプロジェクタのうちの幾つか（複数のプロジェクタの少数）は、重なり合う領域の重み係数が重なり合わない領域の重み係数より大きくなくても（等しくても）それを許容できることを意味している。
なお、複数のプロジェクタのすべて、または、大部分ではなく、ある１つのプロジェクタにおいて、重なり合う領域の重み係数が重なり合わない領域の重み係数よりも大きく設定される場合であっても、それに見合う効果が得られる場合もあり得る。

このように、重み係数を（４）式のように設定することによって、重なり領域で、より高精度な幾何補正が可能となる幾何補正関数を得ることができる。これにより、幾何学的な整合性の取れにくい重なり領域において、より高精度に整合性をとることができる。それによって、重なり領域のボケを抑えることができる。

なお、上述した重み係数は、プロジェクタの投影領域で考えることも可能であり、また、プロジェクタ上の表示領域で考えることもできる。

さらに、重み係数は、重なり領域と重なり領域以外の領域で連続または不連続で分布するような設定とすることが可能である。たとえば、ある投影領域で重み係数を考えた場合、その投影領域の重なり領域においては、重み係数をある値に設定し、重なり領域以外の領域においては、重み係数をある値（重なり領域よりも小さな値）に設定するというように不連続に設定することも可能である。

また、重なり領域のある位置で重み係数がピーク値となるように重み係数を設定し、そのピーク値に至るまでの間で重み係数をなだらかに連続的に変化させるような設定とすることも可能である。

また、重み係数は、各プロジェクタの投影領域に他のプロジェクタの投影領域が重なり合う重なり領域の総数を変数とする関数、すなわち、あるプロジェクタの投影領域に注目したとき、その投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数を変数とする関数から設定することも可能である。これは、注目したプロジェクタの投影領域におけるある位置での重なり領域の数が多いほど、幾何学的な整合性が取れにくくなることを考慮したものである。この場合、重み係数は、たとえば、
Ｗ（Ｘ，Ｙ）＝1.0＋Ｎ （５）
で表すことができる。この（５）式において、Ｎはあるプロジェクタの投影領域に注目したとき、その投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数である。

なお、この重なり領域の総数Ｎは、注目する投影領域において自身を数えないで他のプロジェクタの投影領域が幾つ重なっているかを示す値である。たとえば、図２の例では、投影領域ｎに注目すると、重なり領域Ｚ_ｎ←ａにおいては、投影領域ａのみが重なっているのでＮ＝１となり、重なり領域Ｚ_ｎ←ｂにおいては、投影領域ｂのみが重なっているので同じくＮ＝１となり、重なり領域Ｚ_ｎ←ａｂにおいては、投影領域ａと投影領域ｂの２つが重なっているのでＮ＝２となる。

ここで、図３に示すように、ある注目すべき投影領域の特徴点（Ｘ，Ｙ）を通る線上の投影領域境界（左端側）α_Ｌと、同じく、投影領域境界（右端側）α_Ｒとの間の重み係数Ｗの分布について考えると、（５）式の場合は、その重み係数Ｗは、図４（Ａ）に示すような分布となる。なお、図３における灰色で示した部分は、他のプロジェクタの投影領域がＮ個だけ重なった重なり領域を表している。

このように、重み係数を各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数を変数とする関数から設定することによって、重なり領域の数に応じた重み係数の設定が可能となり、幾何学的な整合性の取りにくい重なり領域における整合性をより高精度にとることができ、重なり領域におけるボケの発生をより効果的に抑えることができる。

また、重み係数は、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数および各プロジェクタの投影領域境界までの距離を変数とする関数によって設定するようにしてもよい。これは、投影領域上で重み係数を考える場合であるが、各プロジェクタの表示領域上で重み係数を考えることもできる。その場合は、重み係数は、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数および各プロジェクタ上の表示領域境界までの距離を変数とする関数によって設定される。この場合のある特徴点（Ｘ，Ｙ）における重み係数は、
というように表すことができる。

この（６）式において、Ｎは前述したようにあるプロジェクタの投影領域に注目したときに、その投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数、Ｌ_leftは、図３において、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの投影領域境界（左端側）α_Ｌまでの距離、Ｌ_rightは、図３において、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの投影領域境界（右端側）α_Ｒまでの距離であり、Ｍ_topは、図３において、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの投影領域境界（上端側）β_Ｔまでの距離、Ｍ_bottomは、図３において、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの投影領域境界（下端側）β_Ｂまでの距離である。

また、Ｌ＝Ｌ_left＋Ｌ_rightであり、Ｍ＝Ｍ_top＋Ｍ_bottomである。また、mini.（Ｌ_left，Ｌ_right）およびmini.（Ｍ_top，Ｍ_bottom）は、Ｌ_leftとＬ_rightのうち小さい方の値、Ｍ_topとＭ_bottomのうち小さい方の値を選択することを意味している。

この図３は、重み係数をプロジェクタの投影領域上で考えた場合であったが、前述したように、本発明では、重み係数はプロジェクタ上の表示領域で考えることもできる。この場合、（６）式において、Ｌ_leftは、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの表示領域境界（左端側）α_Ｌまでの距離、Ｌ_rightは、図３において、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの表示領域境界（右端側）α_Ｒまでの距離、Ｍ_topは、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの表示領域境界（上端側）β_Ｔまでの距離、Ｍ_bottomは、ある特徴点（Ｘ，Ｙ）から注目しているプロジェクタの表示領域境界（下端側）β_Ｂまでの距離とすればよい。

また、上述の（６）式によって求められる重み係数は、たとえば、図３において、ある注目すべき投影領域の特徴点（Ｘ，Ｙ）を通る線上の投影領域境界（左端側）α_Ｌと、同じく、投影領域境界（右端側）α_Ｒとの間の重み係数Ｗの分布について考えると、図４（Ｂ）に示すような分布となる。

このように、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数および各プロジェクタの投影領域境界までの距離を変数とする関数から重み係数を設定することによって、重なり領域の総数と特徴点の位置に応じた重みを設定することができる。この場合、図４（Ｂ）からもわかるように、境界（図４（Ｂ）の例では投影領域境界）付近で、重み係数がより大きな値となり、重なり領域における幾何的な整合性をより高精度にとることができ、重なり領域のボケを抑える効果をより大きくすることができる。

以上、本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法について説明したが、次に、この画像補正方法を実現するためのマルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムについて説明する。

図５は本発明のマルチプロジェクションシステムの実施形態を説明する構成図であり、その構成は大きく分けると、スクリーンＳＣＲにそれぞれが割り当てられた画像を投影する複数のプロジェクタ（ここでは４台としている）ＰＪａ〜ＰＪｄ、スクリーンＳＣＲを撮影可能な撮像手段としてのカメラ１、詳細を後述する画像補正装置２を有している。この画像補正装置２は本発明の実施形態に係るマルチプロジェクションシステムのための画像補正装置としての機能を有するものである。なお、この図５では、プロジェクタは４台とした例が示されているが、４台に限られるものでない。

また、この実施形態で必要とする主なデータとしては、各プロジェクタＰＪａ〜ＰＪｄから投影される投影画像データＤ１、投影画像データＤ１と各プロジェクタＰＪａ〜ＰＪｄの投影領域との幾何学的な対応付けを行うために用いられるパターン画像データＤ２、各プロジェクタからスクリーンＳＣＲ上に投影されたパターン画像をカメラ１で撮影して得られたパターン撮影画像データＤ３、各プロジェクタＰＪａ〜ＰＪｄ上の表示領域と各プロジェクタＰＪａ〜ＰＪｄの投影領域との幾何変換関係を与える関数である幾何補正関数Ｄ４がある。

なお、投影画像データＤ１、パターン画像データＤ２、パターン撮影画像データＤ３は、単に、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３と呼ぶことにする。また、本発明の実施形態に係るマルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムを説明するための図面（図５から図１８）中においても、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３と表記することにする。

画像補正装置２は、その詳細な機能については後に説明するが、概略的な機能としては、パターン画像Ｄ２、カメラ１によって撮影された各プロジェクタＰＪａ〜ＰＪｄ対応のパターン撮影画像Ｄ３からスクリーンＳＣＲ上の各プロジェクタ対応の投影領域内に画像を幾何学的に矛盾なく投影するための幾何補正関数を算出する機能と、その幾何補正関数を用いて投影画像の画像処理を行い、各のプロジェクタＰＪａ〜ＰＪｄへ幾何補正済みの投影画像（補正済み投影画像）を送る機能を有している。
図６は図５で示した画像補正装置２について詳細に説明するものである。なお、この図６において、画像補正装置２以外の構成要素として、図５で説明したプロジェクタＰＪａ〜ＰＪｄ、カメラ１、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３なども示されている。なお、これら図１で示したプロジェクタＰＪａ〜ＰＪｄ、カメラ１、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３は、この図６においては破線で示されている。

図６により画像補正装置２の構成について説明する。この画像補正装置２は、パターン画像投影装置２１、スクリーン撮影装置２２、投影領域算出装置２３、重なり領域算出装置２４、重み係数設定装置２５、幾何補正関数算出装置２６、画像処理装置２７、画像投影装置２８を有している。

また、この画像補正装置２で生成されるデータとしては、投影領域算出装置２３によって生成される各プロジェクタの投影領域データＤ５および特徴点データＤ６、重なり領域算出装置２４によって生成される重なり領域データＤ７、重み係数設定装置２５によって生成される重み係数データＤ８、幾何補正関数算出装置２６によって生成される幾何補正関数Ｄ４、画像処理装置２７によって生成される補正済み投影画像データＤ９などがある。

なお、投影領域データＤ５、特徴点データＤ６、重なり領域データＤ７、重み係数データＤ８、補正済み投影画像データＤ９は、単に、投影領域Ｄ５、特徴点Ｄ６、重なり領域Ｄ７、重み係数Ｄ８、補正済み投影画像Ｄ９と呼ぶことにする。また、前述同様、本発明の実施形態を説明するための図面（図５から図１８）中においても、投影領域Ｄ５、特徴点Ｄ６、重なり領域Ｄ７、重み係数Ｄ８、補正済み投影画像Ｄ９と表記する。

パターン画像投影装置２１は、各プロジェクタＰＪａ〜ＰＪｄにパターン画像Ｄ２を入力し、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲ上そのパターン画像を投影する機能を有する。

スクリーン撮影装置２２は、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲに投影されたパターン画像Ｄ２をカメラ１で撮影し、パターン撮影画像Ｄ３を生成する機能を有する。

投影領域算出装置２３は、各プロジェクタＰＪａ〜ＰＪｄに対応するパターン画像Ｄ２およびそのパターン画像Ｄ２を撮影して得られたパターン撮影画像Ｄ３から特徴点を検出し、パターン画像Ｄ２およびパターン撮影画像Ｄ３の特徴点の対応付けを行い、その特徴点の対応関係から各プロジェクタＰＪａ〜ＰＪｄに対応する投影領域を算出する機能を有する。

重なり領域算出装置２４は、投影領域算出装置２３で算出された各プロジェクタＰＪａ〜ＰＪｄの投影領域を用いて、各プロジェクタＰＪａ〜ＰＪｄの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を算出する機能を有する。

重み係数設定装置２５は、重なり領域算出装置２４から得られる各プロジェクタＰＪａ〜ＰＪｄの投影領域に他のプロジェクタの投影領域が重なり合う重なり領域および各プロジェクタＰＪａ〜ＰＪｄの投影領域に基づいて、各プロジェクタＰＪａ〜ＰＪｄの重み係数を設定する機能を有する。

幾何補正関数算出装置２６は、投影領域算出装置２３によって得られたパターン画像とパターン撮影画像のそれぞれの特徴点Ｄ６と、同じく、この投影領域算出装置２３によって得られた投影領域Ｄ５と、重み係数設定装置によって設定された重み係数とに基づいて、幾何補正関数に関する重み付き最小２乗法を構成して、それを演算することにより、各プロジェクタＰＪａ〜ＰＪｄの幾何補正関数Ｄ４を算出する機能を有する。

画像処理装置２７は、本発明のマルチプロジェクションシステムで複数のプロジェクタＰＪａ〜ＰＪｄで投影画像Ｄ１を投影する際に、それぞれの投影画像Ｄ１が幾何学的に矛盾無く投影されるように、それぞれの投影画像Ｄ１に対し、幾何補正関数算出装置２６で算出された幾何補正関数Ｄ４を用いて幾何補正する機能と、それに加えて、その他の画像処理（輝度補正や色補正など）を行い、補正済み投影画像Ｄ９を生成する機能を有する。

図７はパターン画像投影装置２１の動作を説明するフローチャートである。このパターン画像投影装置２１は、スクリーン撮影装置２２と連携して動作するものである。

図７において、まず、パターン画像Ｄ２を取得し(ステップＳ１)、取得したパターン画像Ｄ２をあるプロジェクタで投影する（ステップＳ２）。これによって、該プロジェクタは自身の処理（投影処理など）に入る（ステップＳ３）。

次に、パターン画像投影装置２１は、スクリーン撮影装置２２に対してスクリーン上に投影されたパターン画像Ｄ２の撮影を指示する（ステップＳ４）。これによって、スクリーン撮影装置２２は自身の処理（パターン画像Ｄ２の撮影処理など）に入る（ステップＳ５）。そして、パターン画像Ｄ２の撮影が完了したか否かを判断し（ステップＳ６）、パターン画像Ｄ２の撮影が完了すると、すべてのプロジェクタでパターン画像を投影したかを判断し（ステップＳ７）、すべてのプロジェクタがパターン画像を投影し終われば処理を終了する。

図８はスクリーン撮影装置２２の動作を説明するフローチャートである。このスクリーン撮影装置２２は、パターン画像投影装置２１と連携して動作するものである。すなわち、この図８は図７のステップＳ５の処理内容を説明するもので、その動作手順について説明する。

まず、パターン画像Ｄ２の撮影指示待ちの状態において、パターン画像投影装置２１の処理（ステップＳ１０）の過程でパターン画像Ｄ２の撮影指示（図７のステップＳ４）が出されると、そのパターン画像Ｄ２の撮影指示を受信し（ステップＳ１１，Ｓ１２）、パターン画像Ｄ２の撮影を行う（ステップＳ１３）。これにより、カメラ１の処理（撮影処理）に入る（ステップＳ１４）。そして、撮影されたパターン画像がパターン撮影画像Ｄ３として保存され（ステップＳ１５）、パターン画像投影装置２１に対してパターン画像Ｄ２の撮影の完了を送信する（ステップＳ１６）。なお、パターン画像投影装置２１は自身の処理が終了していなければその処理を行う（ステップＳ１７）。

図９は投影領域算出装置２３の動作を説明するフローチャートである。まず、パターン画像Ｄ２を取得し（ステップＳ２１）、取得したパターン画像Ｄ２から特徴点を抽出して（ステップＳ２２）、それを特徴点Ｄ６として保存する。次に、パターン撮像画像Ｄ３を取得し（ステップＳ２３）、取得したパターン撮像画像Ｄ３から特徴点を抽出して（ステップＳ２４）、それを特徴点Ｄ６として保存する。そして、パターン画像Ｄ２の特徴点とパターン撮像画像Ｄ３の特徴点との対応付けを行い（ステップＳ２５）、投影領域の算出を行い（ステップＳ２６)、それを投影領域Ｄ５として保存する。

ここで、投影領域算出装置２３で抽出されるパターン画像Ｄ２の特徴点およびパターン撮影画像Ｄ３の特徴点について説明する。

図１０（Ａ）の（ｉ）および（ｉｉ）はパターン画像Ｄ２の例を示す図、同図（Ｂ）の（ｉ）および（ｉｉ）はそのパターン画像Ｄ２をスクリーンＳＣＲに投影したものをカメラ１で撮影して得られたパターン撮影画像Ｄ３である。

このようなパターン画像Ｄ２の特徴点としては、たとえば、輝度差・色差によるエッジやそのエッジの交点（コーナ）、輝度情報・色情報のピーク値、幾何的に分布した輝度情報・色情報の重心などを用いることができる。

そして、パターン画像Ｄ２における既知の輝度情報、既知の色情報、既知の輝度情報や既知の色情報を用いて生成される幾何学形状情報からパターン画像の特徴点を算出する（実際には、予め特徴点を決定し、その特徴点を色情報、輝度情報、色情報や輝度情報を用いて生成する幾何学形状で表現したものをパターン画像Ｄ２とする）。

一方、パターン撮影画像Ｄ３の輝度情報、色情報、輝度情報や色情報を用いて生成される幾何学形状情報からパターン撮影画像Ｄ３の特徴点座標を決定する。

パターン画像Ｄ２の特徴点とパターン撮影画像Ｄ３の特徴点の対応付けは、パターン画像Ｄ２の色情報（色による対応付け）、輝度情報（明るさによる対応付け）、幾何学的情報（たとえば，四角形、三角形等による対応付け、特徴点の位置関係による対応付け）、時間情報（パターン画像の投影を時系列情報で管理できる場合）を拘束条件とする方法や投影モデル仮定し（たとえば、射影変換、有理多項式変換）それを拘束条件とする方法を利用する。

本実施例の場合、「特徴点Ｄ６」と呼んでいる情報からは、幾何的な対応付けがなされているパターン画像Ｄ２の特徴点座標およびパターン撮影画像Ｄ３の特徴点座標を知ることができるものとする。これは、たとえば、図１１において、あるプロジェクタのパターン画像Ｄ２の特徴点Ｐａと該プロジェクタのパターン撮影画像Ｄ３の特徴点Ｐａ’が対応関係にあり、特徴点Ｐａの座標値と特徴点Ｐａ’の座標値を知ることができるということである。

一方、投影領域は、パターン画像Ｄ２の特徴点およびパターン撮影画像Ｄ３の特徴点とその幾何的な対応関係、そして適切な投影モデル（たとえば、平面スクリーンであれば射影変換、連続な非平面スクリーンであれば有利多項式変換）から算出する。

本実施例の場合、「投影領域Ｄ５」と呼んでいる情報からは、プロジェクタ上の表示領域とスクリーン上の投影領域の対応付けを知ることができるものとする。これは、たとえば、図１１において、あるプロジェクタの表示領域ａは、スクリーン上における該プロジェクタの投影領域ａに対応する。

図１２は重なり領域算出装置２４の動作を説明するフローチャートである。図１２において、まず、各プロジェクタの投影領域Ｄ５を取得する（ステップＳ３１，Ｓ３２）。そして、取得した投影領域Ｄ５のうち、処理対象としている投影領域を取得し（ステップＳ３３）、取得した投影領域において重なり領域を算出し（ステップＳ３４）、それを重なり領域Ｄ７として保存する。

この実施形態の場合、「重なり領域Ｄ７」と呼んでいる情報からは、スクリーン上の投影領域の任意座標がどのプロジェクタの表示領域に含まれるのかを知ることができるものとする。

この重なり領域Ｄ７の算出方法の一例について図１３を参照しながら説明する。この図１３において、点Ａの座標を（１，１）、点Ｂの座標を（５，０）、点Ｃの座標を（４，４）、点Ｄの座標を（２，５）、点Ｐの座標を（３，３）、点Ｑの座標を（５，３）とする。なお、投影領域のＸ・Ｙ座標の原点をＯとする。

手順１：投影領域の辺ベクトルを半時計回りに定義して、ベクトルＡＢ、ベクトルＢＣ、ベクトルＣＤ、ベクトルＤＡを求めると、これらベクトルＡＢ、ベクトルＢＣ、ベクトルＣＤ、ベクトルＤＡは、
と求められる。

手順２：辺ベクトルと辺ベクトルの始点から注目する位置座標へ伸びるベクトルとの外積を計算する。これを投影領域の辺ベクトルすべてについて行う。

［注目する位置座標が点Ｐの場合］
と求められる。

［注目する位置座標が点Ｑの場合］
と求められる。

手順３：手順２で計算した外積の値、すなわち、（８）式および（９）式で求められた外積の値がすべて正である場合、注目する位置はこの辺ベクトルによって構成される投影領域の内部に存在すると判定する。

これにより、（８）式においては、辺ベクトルと辺ベクトルの始点から点Ｐへ伸びるベクトルとの外積がすべて正であることより、点Ｐは領域内部の点であると判定される。一方、（９）式においては、辺ベクトルと辺ベクトルの始点から点Ｑへ伸びるベクトルとの外積で正でないものが存在するため、点Ｑは領域外部の点であると判定される。

手順１〜手順３を各プロジェクタの投影領域すべてに関して行うことで、注目する位置座標がどのプロジェクタの投影領域に含まれるのかを算出することができる。

次に、重み係数設定装置２５について説明する。図１４は重み係数設定装置２５の動作（その１）を説明するフローチャートであり、図１５は重み係数設定装置２５の動作（その２）を説明するフローチャートである。

図１４は、「重なり領域の総数」を変数とする関数から重み係数を決定するもので、前述の（５）式に対応した処理手順を説明するフローチャートである。また、図１５は、「重なり領域の総数」と「各プロジェクタの投影領域境界からの距離」を変数とする関数から重みを決定するもので、前述の（６）式に対応した処理手順を説明するフローチャートである。

図１４において、投影領域Ｄ５の取得と重なり領域Ｄ７の取得を行い（ステップＳ４１，Ｓ４２）、取得した投影領域Ｄ５と重なり領域Ｄ７から重なり領域の総数（図１４では、重なり総数と表記する）を算出する（ステップＳ４３）。そして、その重なり総数から重み係数を算出し(ステップＳ４４)、それを重み係数Ｄ８として保存し、すべてのプロジェクタに対する重み係数の算出が終了したか否かを判断し（ステップＳ４５）、すべてのプロジェクタに対する重み係数の算出が終了すれば処理を終了する。

また、図１５において、投影領域Ｄ５の取得と重なり領域Ｄ７の取得を行い（ステップＳ５１，Ｓ５２）、取得した投影領域Ｄ５と重なり領域Ｄ７から重なり総数を算出する（ステップＳ５３）。次に、投影領域Ｄ５から投影領域境界を算出する（ステップＳ５４）。そして、ステップＳ５３で求められた重なり総数とステップＳ５４で求められた投影領域境界から重み係数を算出し(ステップＳ５５)、それを重み係数Ｄ８として保存し、すべてのプロジェクタに対する重み係数の算出が終了したか否かを判断し（ステップＳ５６）、すべてのプロジェクタに対する重み係数の算出が終了すれば処理を終了する。

この図１５のように、「各プロジェクタに対する投影領域境界からの距離」を考慮することで、各プロジェクタに対する投影領域における隣接する投影領域との重なり合う領域が境界近傍であることを反映した適切な重み係数を導入することができる。なお、図１５はプロジェクタの投影領域境界までの距離を変数とした場合の処理であるが、各プロジェクタ上の表示領域境界までの距離を変数とする場合も同様に実施することができる。

本実施例の場合、「重み係数Ｄ８」と呼んでいる情報からは各プロジェクタに関するスクリーン上の投影領域の任意座標から、各プロジェクタ上の表示領域の任意座標における重み係数を知ることができる。

図１６は幾何補正関数算出装置２６の動作を説明するフローチャートである。図１６において、まず、投影領域Ｄ５、特徴点Ｄ６、重み係数Ｄ８をそれぞれ取得する（ステップＳ６１，Ｓ６２，Ｓ６３）。次に、重み付き最小２乗法を生成し（ステップＳ６４）、生成された重み付き最小２乗法から幾何補正関数を算出し（ステップＳ６５）、それを幾何補正関数Ｄ４として保存する。そして、すべてのプロジェクタの幾何補正関数Ｄ４を算出したか否かを判断し（ステップＳ６６）、すべてのプロジェクタの幾何補正関数Ｄ４を算出すれば処理を終了する。

図１７は画像処理装置２７の動作を説明するフローチャートである。図１７において、まず、投影画像Ｄ１、幾何補正関数Ｄ４をそれぞれ取得し（ステップＳ７１，Ｓ７２）、投影画像Ｄ１に対して、幾何補正関数Ｄ４を用いた幾何補正を行う（ステップＳ７３）。そして、投影画像Ｄ１に対する幾何補正以外の画像処理として、たとえば、輝度補正や色補正を行い（ステップＳ７４，Ｓ７５）、幾何補正、輝度補正、色補正などの画像処理が終了したものを補正済み投影画像Ｄ９として保存する。そして、すべてのプロジェクタについて補正済み投影画像Ｄ９を生成したかを判断し(ステップＳ７６)、すべてのプロジェクタについて補正済み投影画像Ｄ９を生成されれば処理を終了する。

図１８は画像処理装置２７における画像処理の一例を示すもので、投影画像Ｄ１に対して図１７で示したような手順による画像処理を行うことによって、それぞれのプロジェクタに対する補正済み投影画像が生成される。そして、これらの補正済み投影画像がそれぞれ対応するプロジェクタから投影され、スクリーン上で隣接する投影画像同士が重なり領域を有した状態でタイリングされることによって、スクリーン上での投影画像は、幾何学的に矛盾なく整合性の取れた大画面画像となる。

なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともできる。したがって、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークからその処理プログラムを得るようにしてもよい。

本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法を説明するためにプロジェクタ上の表示領域とスクリーン上におけるプロジェクタの投影領域について説明する図。 本発明の実施形態で用いる重み付き最小２乗法の重み係数について説明する図。 本発明の実施形態で用いる重み付き最小２乗法の重み係数を決定する関数の一例を説明するための図。 前述の（４）式および(５)式によって求められるプロジェクタの投影領域またはプロジェクタ上の表示領域における重み係数の分布を示す図。 本発明の実施形態に係るマルチプロジェクションシステムの構成図。 図５における画像補正装置とそれに関係する構成要素およびデータについて説明する図。 図６で示したパターン画像投影装置の動作を説明するフローチャート。 図６で示したスクリーン撮影装置の動作を説明するフローチャート。 図６で示した投影領域算出装置の動作を説明するフローチャート。 実施形態で用いるパターン画像の例を説明する図。 あるプロジェクタのパターン画像のある点Ｐａと該プロジェクタのパターン撮影画像の点Ｐａ’との対応関係について説明する図。 図６で示した重なり領域算出装置の動作を説明するフローチャート。 重なり領域算出方法の一例について説明するための図。 図６で示した重み係数算出装置の動作（その１）を説明するフローチャート。 図６で示した重み係数算出装置の動作（その２）を説明するフローチャート。 図６で示した幾何補正関数算出装置の動作を説明するフローチャート。 図６で示した画像処理装置の動作を説明するフローチャート。 画像処理装置における画像処理の一例を示す図。

符号の説明

１ カメラ、２ 画像補正装置、２１ パターン画像投影装置、２２ スクリーン撮影装置、２３ 投影領域算出装置、２４ 重なり領域算出装置、２５ 重み係数設定装置、２６ 幾何補正関数算出装置、２７ 画像処理装置、２８ 画像投影装置、ＰＪａ〜ＰＪｄ プロジェクタ、ＳＣＲ スクリーン

Claims (10)

1. 複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正方法であって、
   前記複数のプロジェクタにおける各プロジェクタ上の表示領域内に存在する複数の特徴の位置と、前記投影面上における各プロジェクタの投影領域内に存在する複数の特徴の位置との幾何学的な対応関係および前記幾何補正関数を用いて算出する残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出し、そのときの前記重み係数は、前記各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の重み係数の値が、重なり領域以外の重み係数の値に対し、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて大きくなるように設定されることを特徴とするマルチプロジェクションシステムのための画像補正方法。
2. 請求項１に記載のマルチプロジェクションシステムのための画像補正方法において、
   前記残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出する際の、前記残差に重み係数を乗じた値の大きさは、該残差に重み係数を乗じた値の和が最小またはその近傍であって、該残差に重み係数を乗じた値の和が最小またはその近傍となるように前記幾何補正関数を算出することを特徴とするマルチプロジェクションシステムのための画像補正方法。
3. 請求項１または２記載のマルチプロジェクションシステムのための画像補正方法において、
   前記各プロジェクタ上の表示領域内に存在する複数の特徴の位置は、前記パターン画像に含まれる複数の特徴の各プロジェクタ上の表示領域における位置座標であって、
   前記各プロジェクタの投影領域内に存在する複数の特徴の位置は、前記パターン画像が前記投影面に投影されたときの前記投影面上のパターン画像に含まれる複数の特徴の各プロジェクタの投影領域における位置座標であることを特徴とするマルチプロジェクションシステムのための画像補正方法。
4. 請求項１から３のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記重み係数は、前記投影面上における各プロジェクタの投影領域において連続的な値または不連続な値として設定されることを特徴とするマルチプロジェクションシステムのための画像補正方法。
5. 請求項１から３のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記重み係数は、前記各プロジェクタ上の表示領域において連続的な値または不連続な値として設定されることを特徴とするマルチプロジェクションシステムのための画像補正方法。
6. 請求項１から５のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記重み係数は、前記複数のプロジェクタのうちのあるプロジェクタの投影領域に注目したときに、該注目したプロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数を変数とする関数によって設定されることを特徴とするマルチプロジェクションシステムのための画像補正方法。
7. 請求項１から５のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記重み係数は、前記複数のプロジェクタのうちのあるプロジェクタの投影領域に注目したときに、該注目したプロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数および該注目したプロジェクタの投影領域の境界までの距離を変数とする関数によって設定することを特徴とするマルチプロジェクションシステムのための画像補正方法。
8. 請求項１から５のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記重み係数は、前記複数のプロジェクタのうちのあるプロジェクタの投影領域に注目したときに、該注目したプロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の総数および該注目したプロジェクタ上の表示領域の境界までの距離を変数とする関数によって設定することを特徴とするマルチプロジェクションシステムのための画像補正方法。
9. 複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正装置であって、
   前記複数のプロジェクタにおける各プロジェクタ上の表示領域内に存在する複数の特徴の位置と、前記投影面上における各プロジェクタの投影領域内に存在する複数の特徴の位置との幾何学的な対応関係および前記幾何補正関数を用いて算出する残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出する幾何補正関数算出手段と、
   前記各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の重み係数の値が、重なり領域以外の重み係数の値に対し、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて大きくなるような重み係数を設定する重み係数設定手段と、
   を有することを特徴とするマルチプロジェクションシステムのための画像補正装置。
10. 複数のプロジェクタから投影される投影画像の一部に重なり領域を有した状態でタイリング表示する際に、前記複数のプロジェクタからの投影画像を前記投影面上で幾何学的整合性がとれるように補正可能な画像補正装置を有するマルチプロジェクションシステムであって、
    前記画像補正装置として、前記請求項９記載のマルチプロジェクションシステムのための画像補正装置を有することを特徴とするマルチプロジェクションシステム。