JP4501481B2 - マルチプロジェクションシステムのための画像補正方法 - Google Patents

Description

本発明は、マルチプロジェクションシステムのための画像補正方法、マルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムに関する。

投影光学ユニット（プロジェクタとする）を、水平方向または垂直方向にそれぞれ複数、または、水平方向と垂直方向にそれぞれ複数配置し、これらの複数のプロジェクタからの投影画像をスクリーン上にタイリング投影することにより、１つの大画面画像を表示することのできるマルチプロジェクションシステムが知られている。なお、タイリング投影とは、複数のプロジェクタの各投影領域をスクリーン上でタイル状に配置して、１つの大画面画像の表示を可能とする投影方式である。

このようなマルチプロジェクションシステムは、高精細かつ高輝度の画像を表示することができるため、映画館、美術館、博物館、セミナー会場、集会場、ミニシアター、公共機関、企業などの業務用分野やアミューズメント、ホームシアターなどの家庭用分野において今後広く普及されていくことが期待されている。

このマルチプロジェクションシステムでは、複数のプロジェクタから投影される画像（単位画像という）が幾何学的に矛盾しないようにそれぞれの画像を投影する必要がある。このため、従来より、複数のプロジェクタから投影される単位画像同士の整合性を取るための様々な技術が提案されてている。

また、このマルチプロジェクションシステムでは、隣接するプロジェクタからの投影画像をスクリーン上で一部に重なり合う領域（以下では重なり領域という）を有した状態で表示させることが従来から一般的に行われている。

このように、スクリーン上で一部に重なり領域を有した状態で表示させる場合、各プロジェクタから投影する画像データの各プロジェクタ上の表示領域とスクリーン上における各プロジェクタの投影領域との幾何補正関数を算出し、その幾何補正関数と画像データから、投影すべき画像データがスクリーン上で適切に投影されるような幾何補正済み画像データを生成して、この幾何補正済み画像データを各プロジェクタから投影することが行われている。

このとき、各プロジェクタ間の重なり領域において、幾何補正関数の精度が不十分であると、この重なり領域内で画像のボケが発生し、マルチプロジェクションシステムでの投影画像の品質を大きく損なうこととなる。

上述したような、隣接するプロジェクタからの投影画像をスクリーン上で一部に重なり合う領域（以下では重なり領域という）を有した状態で表示させる場合における重なり領域の画像品質の改善を行う技術は従来から種々提案されている。たとえば、特許文献１から３もその例である。

特許文献１は複数のプロジェクタからスクリーン上にパターン画像を投影し、スクリーン上に投影されたパターン画像をカメラで撮影し、元のパターン画像と撮影によって得られたパターン画像とに基づいて各プロジェクタの投影位置を算出するというものである。

また、特許文献２は複数のプロジェクタからスクリーン上にパターン画像を投影し、スクリーン上に投影されたパターン画像をカメラで撮影し、元のパターン画像と撮影によって得られたパターン画像とに基づいて各プロジェクタの投影する画像とスクリーン上の投影領域との幾何変形関数を算出するものである。さらに、この特許文献２には、プロジェクタ単体の投影領域を小領域に分割し、個々の小領域ごとに幾何変数関数を算出する方法が提示されている。

また、特許文献３は複数のプロジェクタからスクリーン上にキャリブレーションパターン画像を投影し、スクリーン上に投影されたキャリブレーションパターン画像をカメラで撮影し、そのキャリブレーションパターン画像と撮影によって得られたキャリブレーションパターン画像とに基づいて各プロジェクタの投影する画像の画像補正データを算出するものである。また、この特許文献３に記載のキャリブレーションパターン画像は、マーカまたはグラデーションを有し、そのマーカまたはグラデーションの輝度値から算出した重心を用いて画像補正データを算出する。
特開平９−３２６９８１号公報 特開２００２−７２３５９号公報 特開２００３−２１９３２４号公報

上述した特許文献１は、重なり領域に関する処理については、重なり領域の輝度が重なり領域以外に比べて高くなることを考慮した輝度調整処理のみを施すものあり、重なり領域において前述したような幾何学的な補正はなされない。このように、特許文献１では、重なり領域における幾何学的な補正がなされず、輝度の調整処理だけであるので、重なり領域における幾何学的整合性を取ることは難しく、重なり領域の画像のボケを解消することはできない。

また、特許文献２は、プロジェクタの投影領域を小領域に細分化することで幾何変数関数を算出するようにしている。このため、幾何補正関数の算出に多くの計算量を要し、処理時間の増大につながる。加えて、この特許文献２では、スクリーン上におけるプロジェクタの投影領域をどのように小領域に分割するのかが提示されていない。このため、適切な幾何変数関数の精度を得るには、投影領域をどの程度、細分化すればよいかがわからず、この特許文献２では、如何に少ない演算量でより適切な幾何変数関数を得るという目的を達成するのは困難であると考えられる。

また、特許文献３は、その中に記載されているキャリブレーションパターン画像としてのマーカやグラデーションは、重なり領域のような特定領域に注目したものではないため、重なり領域の画像のボケを解消することはできない。

本発明は、マルチプロジェクションシステムを構成する複数のプロジェクタのそれぞれの投影領域の重なり領域に関する幾何補正関数の精度を向上させることで高品質な大画面画像表示を可能とするマルチプロジェクションシステムのための画像補正方法、マルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムを提供することを目的としている。

（１）本発明のマルチプロジェクションシステムのための画像補正方法は、複数のプロジェクタが投影するパターン画像に含まれる特徴の前記各プロジェクタの表示領域における位置と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像に含まれる特徴の前記各プロジェクタの投影領域における位置との幾何学的な対応付けを行って、その対応付けに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的な整合性がとれるように補正するマルチプロジェクションシステムのための画像補正方法であって、前記各プロジェクタの表示領域または投影領域内の特定領域における前記特徴の密度が前記特定領域以外の領域よりも、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて高くなるように前記パターン画像の特徴の密度分布を設定することを特徴としている。

このように、各プロジェクタの表示領域または投影領域内の特定領域における前記特徴の密度が、特定領域以外の領域よりも、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて高くなるように設定されるようにしているので、このようなパターン画像と、該パターン画像を投影して得られたパターン撮影画像とに基づいて幾何補正関数を作成することによって、特定領域における幾何補正関数を高精度なもとすることができる。

これにより、特定領域をたとえば複数の投影領域が重なり合う重なり領域である場合には、このような幾何補正関数を用いて画像補正を行うことにより、幾何学的な整合性の取りにくい重なり領域において、より高精度な幾何補正が可能となる。
なお、本発明でいうプロジェクタ上の表示領域とはプロジェクタ座標系での表示領域であり、また、前記投影面上における各プロジェクタの投影領域とは投影面（スクリーン）座標系での投影領域を意味している。

（２）前記（１）に記載のマルチプロジェクションシステムのための画像補正方法において、前記特徴の密度は、前記特定領域における単位面積当たりの特徴の数で表されることが好ましい。
これによって、（１）を容易に実現することができ、特定領域における幾何補正関数を高精度なもとすることができる。

（３）前記（１）または（２）記載のマルチプロジェクションシステムのための画像補正方法において、前記特定領域は、前記各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域とすることが好ましい。
これによって、隣接する投影領域が重なり合った状態で表示されるタイリングディスプレイを構成する場合に効果を発揮することができる。すなわち、本発明によれば、重なり領域における幾何学的な整合性を高精度にとることができ、重なり領域で発生しやすいボケを抑制することができる。

（４）前記（１）または（２）に記載のマルチプロジェクションシステムのための画像補正方法において、前記特定領域は、前記プロジェクタのエッジ部を含む境界領域であってよい。
これは、特徴点の密度を高くする特定領域は、重なり領域とは限らず、たとえば、あるプロジェクタの投影領域のエッジ部分で特徴点の密度を高くするということもできるということを示すものである。これによれば、たとえば、プロジェクタを単体で用いる場合や、複数のプロジェクタを用いて重なり領域を形成しないマルチプロジェクションシステムを構成する場合などにも、プロジェクタの投影領域のエッジ部分で適切な幾何補正が可能となり、高品質な投影画像を得ることができる。

（５）前記（３）記載のマルチプロジェクションシステムのための画像補正方法において、前記重なり領域における前記特徴の密度は、前記複数のプロジェクタのうちのあるプロジェクタの投影領域に注目したときに、該注目したプロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の数が多いほど高く設定されることが好ましい。
これは、注目したプロジェクタの投影領域におけるある位置での重なり領域の数が多いほど、幾何学的な整合性が取れにくくなることを考慮したものである。このように、各プロジェクタに対する投影面上での投影領域の重なり領域の数が多いほど、特徴の密度を高くすることによって、重なり領域における幾何学的な整合性をより高精度にとることができる。

（６）前記（１）から（５）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記複数のプロジェクタが投影するパターン画像に含まれる特徴の前記各プロジェクタの表示領域における位置と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像に含まれる特徴の前記各プロジェクタの投影領域における位置との幾何学的な対応付けを行って、その対応付けに基づいて作成された前記幾何補正関数の評価を行い、その評価結果が適正でないと判定された場合は、前記特徴の密度分布を変更させることによって前記パターン画像の更新を行い、該更新されたパターン画像に基づいた前記幾何補正関数の作成を行うことが好ましい。

このように、幾何補正関数の評価を行った結果、好結果が得られない場合は、特徴の密度を変更させるようにしている。これによって、より高精度な幾何補正関数を得られる可能性が高くなり、状況によっては、それを複数回繰り返すことによって、やがては最適な幾何補正関数を得ることができるようになる。

（７）前記（６）に記載のマルチプロジェクションシステムのための画像補正方法において、前記特徴の密度分布の変更は、前記パターン画像に含まれる特徴の位置を変化させることにより、前記特定領域における特徴の密度をより高くすることが一例として挙げられる。
これにより、重なり領域における特徴の密度を簡単かつ確実に高くすることができ、前記（６）の実現を容易に行うことができる。

（８）前記（６）または（７）に記載のマルチプロジェクションシステムのための画像補正方法において、前記特徴の密度分布の変更は、前記パターン画像に含まれる特徴を追加・削除することにより、前記特定領域における特徴の密度をより高くすることもまた可能である。
これによっても、重なり領域における特徴も密度を簡単かつ確実に高くすることができ、前記（６）の実現を容易に行うことができる。

（９）前記（６）から（８）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記特徴の密度分布の変更は、前記プロジェクタの表示領域または前記投影面上におけるプロジェクタの投影領域で行うことが可能である。
これは、特徴の密度分布の変化を、各プロジェクタの表示領域で行うことも可能であり、また、前記投影面上における各プロジェクタの投影領域においても可能であるということである。このように、各プロジェクタの表示領域または各プロジェクタの投影領域のいずれの領域において特徴の密度分布を変化させる場合であっても、前述の（１）に記載の効果を得ることができる。

（１０）前記（１）から（９）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記幾何補正関数は、前記パターン画像に含まれる特徴の各プロジェクタ上の表示領域における位置と、前記パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域に含まれる特徴の前記各プロジェクタの投影領域における位置との間の幾何学的な対応付関係および幾何補正関数を用いて算出される残差の大きさに基づいて作成することが可能である。
これは、幾何補正関数が、たとえば、最小２乗法によって求められることを示すもので、これによって、幾何補正関数を適切に求めることができる。この場合、通常は残差の和が最小となるように幾何補正関数を求めるのが一般的であるが、残差の和は最小でなくその近傍であっても差し支えない場合もある。

（１１）前記（１）から（１０）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記パターン画像に含まれる特徴は、点、エッジ、コーナであって、該特徴を有す画像が前記プロジェクタの表示領域上に点在するように設けられることが一例として挙げられる。
このように、パターン画像に含まれる特徴を、点（たとえば、黒丸の点、黒い四角の点など）あるいはエッジ、コーナで表すことによって、パターン画像とパターン撮影画像との対応付けを少ない演算で確実に行うことができ、また、パターン画像の生成も容易なものとなる。なお、特徴の色は特に限定されるものではない。

（１２）本発明のマルチプロジェクションシステムのための画像補正装置は、複数のプロジェクタが投影するパターン画像に含まれる特徴の前記各プロジェクタの表示領域における位置と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像に含まれる特徴の前記各プロジェクタの投影領域における位置との幾何学的な対応付けを行って、その対応付けに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的な整合性がとれるように補正するマルチプロジェクションシステムのための画像補正装置であって、各プロジェクタの表示領域または投影領域内の特定領域における前記特徴の密度が前記特定領域以外の領域よりも、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて高くなるように前記パターン画像の特徴の密度分布を設定可能なパターン画像生成手段を有することを特徴としている。

このマルチプロジェクションシステムのための画像補正装置も（１）に記載のマルチプロジェクションシステムのための画像補正方法と同様の効果を得ることができる。また、この（１２）に記載のマルチプロジェクションシステムのための画像補正装置においても、前記（２）から（１１）に記載のマルチプロジェクションシステムのための画像補正方法と同様の特徴を有することが好ましい。

（１３）本発明のマルチプロジェクションシステムは、複数のプロジェクタから投影される投影画像の一部に重なり領域を有した状態で表示する際に、前記複数のプロジェクタからの投影画像を前記投影面上で幾何学的整合性がとれるように補正可能な画像補正装置を有するマルチプロジェクションシステムであって、前記画像補正装置として、前記請求項１３記載のマルチプロジェクションシステムのための画像補正装置を有することを特徴としている。
このマルチプロジェクションシステムによれば、複数のプロジェクタからの投影画像の重なり領域での幾何学的な整合性を高精度に取ることができ、重なり領域でのボケが抑えられた高品質なタイリング投影が可能となる。

本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法について説明する。本発明のマルチプロジェクションシステムのための画像補正方法は、複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的な整合性がとれるように補正するための画像補正方法である。

そして、その幾何補正関数は、パターン画像に含まれる特徴の各プロジェクタ上の表示領域における位置と、前記パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域に含まれる特徴の各プロジェクタの投影領域における位置との間の幾何学的な対応付関係および幾何補正関数を用いて算出される残差の大きさに基づいて算出する。

また、本発明の実施形態においては、前述の幾何補正関数を、ある特定領域においてより高精度な幾何補正が可能となるような関数とするために、パターン画像に含まれる特徴の密度分布に工夫を施すようにしたものである。具体的には、各プロジェクタの表示領域または投影領域におけるある特定領域で、パターン画像の特徴の密度が高くなるような密度分布とする。

ここで、プロジェクタの表示領域とは各プロジェクタの表示領域（各プロジェクタ上の座標系）を表し、プロジェクタの投影領域とはスクリーン上に投影された各プロジェクタの投影領域（スクリーン上の座標系）を表している。たとえば、図１（Ａ）に示すように、２つのプロジェクタ（これをＰＪａ，ＰＪｂとする）を考えると、プロジェクタＰＪａのｕ_ａ・ｖ_ａ座標系における表示領域ａとプロジェクタＰＪｂのｕ_ｂ・ｖ_ｂ座標系における表示領域ｂをスクリーン上に投影したとき、スクリーンのＸ・Ｙ座標系におけるプロジェクタＰＪａ，ＰＪｂの投影領域ａ，ｂが図１（Ｂ）のようであったとする。

このときの各プロジェクタＰＪａ，ＰＪｂ上の各表示領域と各プロジェクタＰＪａ，ＰＪｂの各投影領域との幾何変換を表す座標変換式（幾何補正関数）は、
ｕ_ｎ＝ｆ_ｎ（Ｘ，Ｙ） （１）
ｖ_ｎ＝ｇ_ｎ（Ｘ，Ｙ） （２）
で表すことができる。なお、（１）および（２）式において、（ｕ_ｎ，ｖ_ｎ）は各プロジェクタ上の表示領域座標、（Ｘ，Ｙ）はスクリーン上の投影領域座標である。また、ｎはプロジェクタ番号であり、図１の場合は、プロジェクタＰＪａ，ＰＪｂであるので、ｎ＝ａ，ｂである。

上述の(１)式および（２）式を求めるために、この実施形態で用いる幾何補正関数は、各プロジェクタの表示領域内に存在する複数の特徴の位置座標と、各プロジェクタの投影領域内に存在する複数の特徴の位置座標との幾何的な対応関係および幾何補正関数を用いて算出する残差の総和が最小となるように算出する。すなわち、下記の（３）式に示す最小２乗法によって幾何補正関数を決定する。なお、残差の総和が「最小」ではなくその近傍としても差し支えない場合もあるが、この実施形態では、残差の総和が「最小」となるように算出するものとする。
この（３）式において、ｉは特徴点の番号、（ｕ_ｎｉ，ｖ_ｎｉ）はｉ番目の特徴点に関するあるプロジェクタ上の表示領域座標、（Ｘ_ｉ，Ｙ_ｉ）はｉ番目の特徴点に関するスクリーン上におけるプロジェクタの投影領域座標である。なお、（ｕ_ｎｉ，ｖ_ｎｉ）と（Ｘ_ｉ，Ｙ_ｉ）は幾何的な対応付けがなされている。

本発明の実施形態では、前述したように、各プロジェクタの表示領域または投影領域におけるある特定領域で、パターン画像に含まれる特徴の密度分布が高くなるようにする。なお、この実施形態では、パターン画像に含まれる特徴は、点、エッジ、コーナとし、該特徴を有す画像がプロジェクタの表示領域上に点在するように設けられるものであるとする。このパターン画像の具体例については後に説明する。

以下、各プロジェクタの表示領域または投影領域の特定領域で、パターン画像の特徴（この実施形態では特徴点という）の密度が高くなるような特徴点の設定方法について説明する。なお、ここでは、後に説明する図７に示されるように、４つのプロジェクタＰＪａ〜ＰＪｄを縦・横それぞれ２台ずつ（２×２）の配置として、それぞれのプロジェクタＰＪａ〜ＰＪｄから投影される投影画像を、スクリーンＳＣＲ上でそれぞれ隣接する投影画像の一部が重なり合うようにタイリング投影する例について説明する。したがって、この実施形態では、前述の特定領域は、隣接する投影画像の一部が重なり合う重なり領域であるとする。

まず、本発明の実施形態に係る基本的な特徴点の設定方法について説明する。本発明の実施形態に係る基本的な特徴点の設定方法は、図２に示すように、スクリーンＳＣＲ上における４つのプロジェクタＰＪａ〜ＰＪｄの投影領域ａ，ｂ，ｃ，ｄにおいて他のプロジェクタの投影領域が重なり合う重なり領域に対しては、パターン画像データ（これにＤ２の符号を付し、パターン画像Ｄ２という）の特徴点の密度を高くする。なお、以下では、４つのプロジェクタＰＪａ〜ＰＪｄに対応する個々のパターン画像をパターン画像Ｄ２ａ，Ｄ２ｂ，Ｄ２ｃ，Ｄ２ｄと呼ぶことにし、これらをまとめてパターン画像という場合は、パターン画像Ｄ２と呼ぶことにする。

図２からもわかるように、プロジェクタＰＪａの投影領域ａ、プロジェクタＰＪｂの投影領域ｂ、プロジェクタＰＪｃの投影領域ｃ、プロジェクタＰＪｄの投影領域ｄは、それぞれが隣接する投影領域との間で重なり領域を有した状態となっており、各プロジェクタＰＪａ〜ＰＪｄの表示領域ａ，ｂ，ｃ，ｄにおけるパターン画像Ｄ２ａ，Ｄ２ｂ，Ｄ２ｃ，Ｄ２ｄは、それぞれの重なり領域で、特徴点（黒の丸点で示されている）の密度が高くなるような密度分布となっている。

たとえば、プロジェクタＰＪａに注目すると、プロジェクタＰＪａのパターン画像Ｄ２ａは、他のプロジェクタの投影領域と重なり合う重なり領域に対応する領域で、特徴点の密度が高くなる密度分布となっている。この特徴点の密度は、各プロジェクタの表示領域または投影領域における単位面積当たりの特徴点の数で表される。

なお、このように、あるプロジェクタの投影領域において他のプロジェクタの投影領域と重なり合う重なり領域に対応する領域で、特徴点の密度を高くする設定は、マルチプロジェクションシステムを構成するすべてのプロジェクタにおいて行われることが望ましいが、マルチプロジェクションシステムを構成する複数のプロジェクタのすべてではなく、複数のプロジェクタのうちの大部分のプロジェクタにおいて、図２で説明したような設定がなされる場合も考えられる。さらに、複数のプロジェクタのすべて、または、大部分ではなく、ある１つのプロジェクタにおいて、図２で説明したような設定がなされる場合も考えられ、そのような設定であっても、それに見合う効果が得られる場合もあり得る。

さらに、本発明の実施形態では、重なり領域の数（幾つの投影領域が重なっているか）によって、各プロジェクタＰＪａ〜ＰＪｄにおけるパターン画像Ｄ２ａ〜Ｄ２ｄの特徴点の密度分布を設定することも可能とする。これについて図３を参照して説明する。

図３はプロジェクタＰＪａに注目した場合である。なお、このプロジェクタＰＪａに他のプロジェクタの投影領域が重なり合う重なり領域は、この図３の例では、２つの投影領域が重なる領域、３つの投影領域が重なる領域、４つの投影領域が重なる領域が存在するが、説明を簡単にするために、ここでは、２つの投影領域が重なる領域と、最大で４つの投影領域が重なる領域の２つに分けて考えることにする。

この場合、２つの投影領域が重なる領域は、プロジェクタＰＪａの投影領域ａにプロジェクタＰＪｂの投影領域ｂが重なり合う重なり領域（これを重なり領域＃１とする）と、プロジェクタＰＪａの投影領域ａにプロジェクタＰＪｃの投影領域ｃが重なり合う重なり領域（これを重なり領域＃２とする）とが存在する。また、最大で４つの投影領域が重なる領域は、プロジェクタＰＪａの投影領域ａにプロジェクタＰＪｂの投影領域ｂ、プロジェクタＰＪｃの投影領域ｃ、プロジェクタＰＪｄの投影領域ｄが重なり合う重なり領域であり、これを重なり領域＃３とする。

なお、この重なり領域＃１，＃２，＃３は、厳密な領域の設定を行うなわなくてもよく、たとえば、実際の重なり領域を取り囲むような領域または実際の重なり領域の大部分を含むような領域を設定することも可能である。

このように、投影領域の重なりの数に応じた重なり領域を考え、その重なりの数（重なり数という）が多い重なり領域ほど特徴点の密度を高くする。この図３の例では、重なり領域＃１，＃２の重なり数は「２」であり、重なり領域＃３の重なりの数は、この場合、最大で「４」である。

したがって、この場合、プロジェクタＰＪａのパターン画像Ｄ２ａは、重なり領域＃１，＃２に対応する領域における特徴点の密度が、重なり領域以外の領域よりも高く設定され、さらに、重なり領域＃３に対応する領域における特徴点の密度は、重なり領域＃１，＃２に対応する領域における特徴点の密度よりも高く設定される。
これは、注目したプロジェクタの投影領域におけるある位置での重なり領域の数が多いほど、幾何学的な整合性が取れにくくなることを考慮したものであり、重なり数が多い領域に対応する領域ほど特徴点の密度を高くすることによって、重なり領域における幾何学的な整合性をより高精度にとることができる。

なお、このような設定は、すべてのプロジェクタにおいて行われることが望ましいが、複数のプロジェクタのすべてではなく、複数のプロジェクタのうちの大部分のプロジェクタにおいて、図３で説明したような設定がなされる場合も考えられる。さらに、複数のプロジェクタのすべて、または、大部分ではなく、ある１つのプロジェクタにおいて、図３で説明したような設定がなされる場合も考えられ、そのような設定であっても、それに見合う効果が得られる場合もあり得る。

以上、図２で説明したパターン画像Ｄ２（重なり領域に対する特徴点の密度をそれ以外の領域よりも高く設定したパターン画像Ｄ２）と、そのパターン画像Ｄ２をスクリーンＳＣＲ上に投影し、その投影されたパターン画像を撮影して得られたパターン撮影画像データ（これにＤ３の符号を付し、パターン撮影画像Ｄ３という）とを用い、両者の特徴点の対応関係に基づいて幾何補正関数を作成すると、その幾何補正関数は、重なり領域において適正な幾何補正が可能となる幾何補正関数となる。したがって、この幾何補正関数を用いて幾何補正を行うことにより、重なり領域において、適切な幾何補正が可能となり、それによって、重なり領域のボケを抑制することができる。

また、同様に、図３で説明したパターン画像（重なり数の多い領域に対応する領域ほど特徴点の密度を高く設定したパターン画像Ｄ２）と、そのパターン画像Ｄ２をスクリーンＳＣＲ上に投影し、その投影されたパターン画像を撮影して得られたパターン撮影画像Ｄ３とを用い、両者の特徴点の対応関係に基づいて幾何補正関数を作成すると、その幾何補正関数は、重なり領域において、より適正な幾何補正が可能となる幾何補正関数となる。したがって、この幾何補正関数を用いて幾何補正を行うことにより、重なり領域において、より適切な幾何補正が可能となり、重なり領域のボケを抑制する効果がより一層大きくなる。

また、このように作成された幾何補正関数に対する誤差評価を行い、その誤差評価結果に基づいて、パターン画像Ｄ２の更新処理を行うことも可能である。

次に、この幾何補正関数の誤差評価結果に基づくパターン画像の更新処理について、２つの例（一方を「パターン画像の更新処理（その１）」、他方を「パターン画像の更新処理（その２）」という）により説明する。

図４は「パターン画像の更新処理（その１）」について説明する図である。この図４において、パターン画像Ｄ２（プロジェクタＰＪａ〜ＰＪｄに対応する個々のパターン画像Ｄ２ａ〜Ｄ２ｄ）は、前述の図２または図３で説明した処理がなされることによって、特徴点の密度分布の設定がなされたパターン画像である。

また、この図４に示される更新後のパターン画像Ｄ２は、幾何補正関数の誤差評価結果データ（Ｄ８の符号を付し、誤差評価結果Ｄ８という）により、誤差が十分小さくなかったと判定された場合に、パターン画像Ｄ２の特徴点の更新を行うためのパターン画像生成処理がなされることによって生成されたパターン画像ある。以下、「パターン画像の更新処理（その１）」について説明する。

まず、パターン画像Ｄ２と、このパターン画像Ｄ２をスクリーンＳＣＲ上に投影して、それを撮影して得られたパターン撮影画像Ｄ３とを用い、パターン画像Ｄ２に存在する複数の特徴の位置座標と、パターン撮影画像Ｄ３に存在する複数の特徴の位置座標との幾何的な対応関係および幾何補正関数を用いて算出する残差の総和が最小となるように幾何補正関数を各プロジェクタごとに算出する。すなわち、前述の（３）式に示す最小２乗法によって、各プロジェクタごとの幾何補正関数を算出する。

このように算出された各プロジェクタごとの幾何補正関数（Ｄ４の符号を付し、幾何補正関数Ｄ４という）に対し、投影領域データ（Ｄ５の符号を付し、投影領域Ｄ５という）、重なり領域データ（Ｄ７の符号を付し、重なり領域Ｄ７という）、パターン画像Ｄ２の特徴点データ（Ｄ６の符号を付し、特徴点Ｄ６という）を用いて誤差評価を行い（ステップＳ１０１）、誤差評価結果Ｄ８を得る。なお、このステップＳ１における誤差評価処理の具体的な処理内容などについては後に説明する。

そして、誤差評価結果Ｄ８について、誤差が十分に小さいかを判断し(ステップＳ１０２)、誤差が十分小さければ、各プロジェクタから投影すべき投影画像生成処理に入る（ステップＳ１０３）。一方、誤差が十分小さくなければ、パターン画像を更新するためのパターン画像生成を行い（ステップＳ１０４）、更新後のパターン画像Ｄ２を得る。

このパターン画像の更新を行うためのパターン画像生成処理は、パターン画像Ｄ２の特徴点の密度分布を変更する処理であり、この「パターン画像の更新処理（その１）」は、特徴点を移動（特徴点の座標位置を変化）させることによって特徴点の密度分布を変更する処理であるとする。

すなわち、この図４からもわかるように、更新後のパターン画像Ｄ２は、各プロジェクタＰＪａ〜ＰＪｄに対応するそれぞれのパターン画像Ｄ２ａ〜Ｄ２ｄの特徴点の数はそのままで、重なり領域に対応する領域における特徴点の密度分布が変化したものとなっている。

なお、この図４では、すべてのプロジェクタＰＪａ〜ＰＪｄに対応するそれぞれのパターン画像Ｄ２ａ〜Ｄ２ｄについてパターン画像の更新がなされた例が示されているが、必ずしも、すべてのプロジェクタＰＪａ〜ＰＪｄに対応するそれぞれのパターン画像Ｄ２ａ〜Ｄ２ｄが更新されるとは限らず、誤差評価結果において十分小さな値となっているプロジェクタについては、パターン画像の更新を行う必要はない。

このように、パターン画像の更新が終了すると、その更新後のパターン画像Ｄ２を用いて、再度、幾何補正関数を生成し、生成された幾何補正関数に対し、ステップＳ１０１以降の処理を行う。この処理をすべてのプロジェクタで誤差評価結果が十分小さくなるまで行い、すべてのプロジェクタで誤差評価結果が十分小さくなると、個々のプロジェクタで投影すべき投影画像生成が行われる（ステップＳ１０３）。

なお、前述したように、すべてのプロジェクタにおいて誤差評価結果が十分小さくなることが望ましいが、複数のプロジェクタのうち、大部分のプロジェクタにおいて、誤差評価結果が十分小さく、その他の少数のプロジェクタでは誤差評価結果が十分小さくならない場合であっても、実用上、十分な品質の画像を得ることができる場合もある。

以上説明した「パターン画像の更新処理（その１）」を行うことによって、重なり領域に対して適切な幾何補正関数を作成することができる。これによって、重なり領域において高精度な幾何補正が可能となり、重なり領域の幾何的な整合性を高精度にとることができるので、重なり領域において発生しやすいボケを抑制することができる。

次に、「パターン画像の更新処理（その２）」について説明する。
図５は「パターン画像の更新処理（その２）」について説明する図である。この図５におけるステップＳ１０１〜Ｓ１０４は、図４とほぼ同様であり、図４と異なるのは、誤差評価結果Ｄ８における誤差が十分小さくないと判定（ステップＳ１０２）された場合のパターン画像の更新のためのパターン画像生成処理（ステップＳ１０４）が異なるだけである。

すなわち、この「パターン画像の更新処理（その２）」では、誤差が十分小さくないと判定された場合における特徴点の密度分布を変化させる処理は、パターン画像の特徴点を追加・削除することによって、特徴点の密度分布を変化させるようにする。なお、パターン画像の特徴点を追加・削除は、特徴点の追加と削除のいずれかを行う場合、または、追加と削除の両方を行う場合が考えられる。

この「パターン画像の更新処理（その２）」における更新後のパターン画像Ｄ２は、この図５からもわかるように、各プロジェクタＰＪａ〜ＰＪｄに対応するそれぞれのパターン画像Ｄ２ａ〜Ｄ２ｄに対し、その特徴点の数を追加・削除させることによって、密度分布を変化させている。この図５の例では、それぞれのパターン画像Ｄ２ａ〜Ｄ２ｄは、重なり領域に対応する領域において、特徴点の数をより多く集中させるように特徴点の追加がなされている。

この「パターン画像の更新処理（その２）」においても、パターン画像の更新が終了すると、その更新後のパターン画像Ｄ２を用いて、再度、幾何補正関数Ｄ４を生成し、生成された幾何補正関数Ｄ４に対し、ステップＳ１０１以降の処理を行う。

このパターン画像の更新処理（その２）によるパターン画像更新処理を行うことによって、「パターン画像の更新処理（その１）」と同様、重なり領域に対して適切な幾何補正関数を作成することができる。これによって、重なり領域において高精度な幾何補正が可能となり、重なり領域の幾何的な整合性を高精度にとることができるので、重なり領域において発生しやすいボケを抑制することができる。

なお、上述した「パターン画像の更新処理（その１）」および「パターン画像の更新処理（その２）」において、パターン画像Ｄ２の特徴点の密度分布を変更する処理は、プロジェクタの表示領域上またはスクリーン上におけるプロジェクタの投影領域上のいずれにおいても可能である。

ところで、本発明では、これまで説明したように、重なり領域において特徴点の密度が高くなるような特徴点の密度分布の設定を行うようにするが、これを実現するには、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を取得する必要がある。この重なり領域の取得の一例について図６を参照しながら説明する。この図６において、点Ａの座標を（１，１）、点Ｂの座標を（５，０）、点Ｃの座標を（４，４）、点Ｄの座標を（２，５）、点Ｐの座標を（３，３）、点Ｑの座標を（５，３）とする。なお、投影領域のＸ・Ｙ座標の原点をＯとする。

手順１：特定された投影領域の辺ベクトルを半時計回りに定義して、ベクトルＡＢ、ベクトルＢＣ、ベクトルＣＤ、ベクトルＤＡを求めると、これらベクトルＡＢ、ベクトルＢＣ、ベクトルＣＤ、ベクトルＤＡは、
と求められる。

手順２：辺ベクトルと辺ベクトルの始点から注目する位置座標へ伸びるベクトルとの外積を計算する。これを投影領域の辺ベクトルすべてについて行う。

［注目する位置座標が点Ｐの場合］
と求められる。

［注目する位置座標が点Ｑの場合］
と求められる。

手順３：手順２で計算した外積の値、すなわち、（５）式および（６）式で求められた外積の値がすべて正である場合、注目する位置はこの辺ベクトルによって構成される投影領域の内部に存在すると判定する。

これにより、（５）式においては、辺ベクトルと辺ベクトルの始点から点Ｐへ伸びるベクトルとの外積がすべて正であることより、点Ｐは領域内部の点であると判定される。一方、（６）式においては、辺ベクトルと辺ベクトルの始点から点Ｑへ伸びるベクトルとの外積に正でないものが存在するため、点Ｑは領域外部の点であると判定される。

手順１〜手順３を各プロジェクタの投影領域すべてに関して行うことで、注目する位置座標がどのプロジェクタの投影領域に含まれるのかを算出することができ、その情報を用いることによって重なり領域を推定することができる。

以上、本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法についてその概略を説明したが、この画像補正方法を実現するためのマルチプロジェクションシステムのための画像補正装置およびこの画像補正装置を備えたマルチプロジェクションシステムについて説明する。

図７は本発明のマルチプロジェクションシステムの実施形態を説明する構成図であり、その構成を大きく分けると、割り当てられた画像をスクリーンＳＣＲに投影する複数のプロジェクタ（ここでは４台としている）ＰＪａ〜ＰＪｄ、スクリーンＳＣＲを撮影可能な撮像手段としてのカメラ１、前述の図１から図５を参照して説明したマルチプロジェクションシステムのための画像補正方法を実現するための画像補正装置２（詳細は後述する）を有している。この画像補正装置２は、本発明の実施形態に係るマルチプロジェクションシステムのための画像補正装置としての機能を有するものである。なお、プロジェクタは、この図７の例では４台としているが４台に限られるものではない。

また、この実施形態で必要とする主なデータとしては、プロジェクタＰＪａ〜ＰＪｄから投影される投影画像データＤ１、投影画像データＤ１と各プロジェクタの投影領域との幾何学的な対応付けを行うために用いられるパターン画像データＤ２、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲ上に投影されたパターン画像をカメラ１で撮影して得られたパターン撮影画像データＤ３、各プロジェクタＰＪａ〜ＰＪｄ上の表示領域と各プロジェクタＰＪａ〜ＰＪｄの投影領域との幾何変換関係を与える関数である幾何補正関数Ｄ４がある。

なお、本発明の実施形態では、投影画像データＤ１、パターン画像データＤ２、パターン撮影画像データＤ３は、単に、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３としている。また、本発明の実施形態を説明するための図面中においても、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３と表記されている。

画像補正装置２は、その詳細な機能については後に説明するが、概略的な機能としては、パターン画像Ｄ２とカメラ１によって撮影された各プロジェクタＰＪａ〜ＰＪｄ対応のパターン撮影画像Ｄ３とからスクリーンＳＣＲ上の各プロジェクタ対応の投影領域内に、画像を幾何学的に矛盾なく投影するための幾何補正関数を算出する機能と、その幾何補正関数を用いて投影画像の画像処理を行い、各のプロジェクタＰＪａ〜ＰＪｄへ幾何補正済みの投影画像（補正済み投影画像）を送る機能を有している。
図８は図７で示した画像補正装置２について詳細に説明するものである。なお、この図８において、画像補正装置２以外の構成要素として、図７で説明したプロジェクタＰＪａ〜ＰＪｄ、カメラ１、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３なども示されている。なお、これら図７で示したプロジェクタＰＪａ〜ＰＪｄ、カメラ１、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３は、この図８においては破線で示されている。

図８により画像補正装置２の構成について説明する。この画像補正装置２は、パターン画像投影装置２１、スクリーン撮影装置２２、投影領域算出装置２３、重なり領域算出装置２４、パターン画像生成装置２５、幾何補正関数算出装置２６、画像処理装置２７、画像投影装置２８、誤差評価装置２９を有している。

また、この画像補正装置２で生成されるデータとしては、投影領域算出装置２３によって生成されるスクリーン上における各プロジェクタの投影領域データＤ５および特徴点データＤ６、重なり領域算出装置２４によって生成される重なり領域データＤ７、誤差評価装置２９によって生成される誤差評価結果データＤ８、幾何補正関数算出装置２６によって生成される幾何補正関数Ｄ４、画像処理装置２７によって生成される補正済み投影画像データＤ９などがある。

なお、本発明の実施形態では、投影領域データＤ５、特徴点データＤ６、重なり領域データＤ７、誤差評価結果データＤ８、補正済み投影画像データＤ９は、単に、投影領域Ｄ５、特徴点Ｄ６、重なり領域Ｄ７、誤差評価結果Ｄ８、補正済み投影画像Ｄ９としている。また、前述同様、本発明の実施形態を説明するための図面中においても、投影領域Ｄ５、特徴点Ｄ６、重なり領域Ｄ７、誤差評価結果Ｄ８、補正済み投影画像Ｄ９と表記されている。

パターン画像投影装置２１は、各プロジェクタＰＪａ〜ＰＪｄにパターン画像Ｄ２を入力し、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲ上にパターン画像を投影する機能を有する。
スクリーン撮影装置２２は、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲに投影されたパターン画像Ｄ２をカメラ１で撮影し、パターン撮影画像Ｄ３を生成する機能を有する。

投影領域算出装置２３は、各プロジェクタＰＪａ〜ＰＪｄに対応するパターン画像Ｄ２およびそのパターン画像Ｄ２を撮影して得られたパターン撮影画像Ｄ３から、それぞれ特徴点を抽出し、それを特徴点Ｄ６として保存し、保存した特徴点Ｄ６を用いて、パターン画像Ｄ２およびパターン撮影画像Ｄ３の特徴点の対応付けを行い、その特徴点の対応関係から各プロジェクタＰＪａ〜ＰＪｄに対応する投影領域Ｄ５を算出する機能を有する。

重なり領域算出装置２４は、各プロジェクタＰＪａ〜ＰＪｄの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を算出する機能を有する。なお、この重なり領域算出装置２４による重なり領域の算出方法は、図６を用いて説明した方法が一例として挙げられる。

パターン画像生成装置２５は、本発明の実施形態で用いられるパターン画像、すなわち、各プロジェクタの表示領域または投影領域における、ある特定領域（この実施形態では、重なり領域としている）で特徴点の密度分布が高くなるようなパターン画像を生成する機能を有する。なお、このパターン画像生成機能には、前述したようなパターン画像の更新機能も含まれる。このパターン画像生成機能については後に詳細に説明する。

幾何補正関数算出装置２６は、投影領域算出装置２３によって算出された投影領域Ｄ５、特徴点Ｄ６、重なり領域算出装置２４によって算出された重なり領域Ｄ７に基づいて、幾何補正関数に関する最小２乗法を構成して、それを演算することにより、各プロジェクタにおける幾何補正関数Ｄ４を算出する機能を有する。

画像処理装置２７は、本発明のマルチプロジェクションシステムで各プロジェクタＰＪａ〜ＰＪｄで投影画像Ｄ１を投影する際に、それぞれの投影画像Ｄ１が幾何学的に矛盾無く投影されるように、それぞれの投影画像Ｄ１に対し、幾何補正関数算出装置２６で算出された幾何補正関数Ｄ４を用いて幾何補正する機能と、それに加えて、その他の画像処理（輝度補正や色補正など）を行い、補正済み投影画像Ｄ９を生成する機能を有する。

図９はパターン画像投影装置２１の動作を説明するフローチャートである。このパターン画像投影装置２１は、スクリーン撮影装置２２と連携して動作するものである。

図９において、まず、パターン画像Ｄ２を取得し(ステップＳ１)、取得したパターン画像Ｄ２を、あるプロジェクタで投影する（ステップＳ２）。これによって、該プロジェクタは自身の処理（投影処理など）に入る（ステップＳ３）。

次に、パターン画像投影装置２１は、スクリーン撮影装置２２に対してスクリーン上に投影されたパターン画像Ｄ２の撮影を指示する（ステップＳ４）。これによって、スクリーン撮影装置２２は自身の処理（パターン画像Ｄ２の撮影処理など）に入る（ステップＳ５）。そして、パターン画像Ｄ２の撮影が完了したか否かを判断し（ステップＳ６）、パターン画像Ｄ２の撮影が完了すると、すべてのプロジェクタでパターン画像を投影したかを判断し（ステップＳ７）、すべてのプロジェクタがパターン画像を投影し終われば処理を終了する。

図１０はスクリーン撮影装置２２の動作を説明するフローチャートである。このスクリーン撮影装置２２は、パターン画像投影装置２１と連携して動作するものである。すなわち、この図１０は図９のステップＳ５の処理内容を説明するもので、その動作手順について説明する。

まず、パターン画像Ｄ２の撮影指示待ちの状態において、パターン画像投影装置２１の処理（ステップＳ１０）の過程でパターン画像Ｄ２の撮影指示（図９のステップＳ４）が出されると、そのパターン画像Ｄ２の撮影指示を受信し（ステップＳ１１，Ｓ１２）、パターン画像Ｄ２の撮影を行う（ステップＳ１３）。これにより、カメラ１の処理（撮影処理）に入る（ステップＳ１４）。そして、撮影されたパターン画像がパターン撮影画像Ｄ３として保存され（ステップＳ１５）、パターン画像投影装置２１に対してパターン画像Ｄ２の撮影の完了を送信する（ステップＳ１６）。なお、パターン画像投影装置２１は自身の処理が終了していなければその処理を行う（ステップＳ１７）。

図１１は投影領域算出装置２３の動作を説明するフローチャートである。まず、パターン画像Ｄ２を取得し（ステップＳ２１）、取得したパターン画像Ｄ２から特徴点を抽出して（ステップＳ２２）、それを特徴点Ｄ６として保存する。次に、パターン撮影画像Ｄ３を取得し（ステップＳ２３）、取得したパターン撮影画像Ｄ３から特徴点を抽出して（ステップＳ２４）、それを特徴点Ｄ６として保存する。そして、パターン画像Ｄ２の特徴点とパターン撮影画像Ｄ３の特徴点との対応付けを行い（ステップＳ２５）、投影領域の算出を行い（ステップＳ２６)、それを投影領域Ｄ５として保存する。

ここで、投影領域算出装置２３で抽出されるパターン画像Ｄ２の特徴点およびパターン撮影画像Ｄ３の特徴点について説明する。
図１２（Ａ）の（ｉ）および（ｉｉ）はパターン画像Ｄ２の例を示す図、同図（Ｂ）の（ｉ）および（ｉｉ）はそのパターン画像Ｄ２をスクリーンＳＣＲに投影したものをカメラ１で撮影して得られたパターン撮影画像Ｄ３である。

このようなパターン画像Ｄ２の特徴点としては、たとえば、輝度差・色差によるエッジやそのエッジの交点（コーナ）、輝度情報・色情報のピーク値、幾何的に分布した輝度情報・色情報の重心などを用いることができる。

そして、パターン画像Ｄ２における既知の輝度情報、既知の色情報、既知の輝度情報や既知の色情報を用いて生成される幾何学形状情報からパターン画像の特徴点を算出する（実際には、予め特徴点を決定し、その特徴点を色情報、輝度情報、色情報や輝度情報を用いて生成する幾何学形状で表現したものをパターン画像Ｄ２とする）。

一方、パターン撮影画像Ｄ３の輝度情報、色情報、輝度情報や色情報を用いて生成される幾何学形状情報からパターン撮影画像Ｄ３の特徴点座標を決定する。
パターン画像Ｄ２の特徴点とパターン撮影画像Ｄ３の特徴点の対応付けは、パターン画像Ｄ２の色情報（色による対応付け）、輝度情報（明るさによる対応付け）、幾何学的情報（たとえば，四角形、三角形等による対応付け、特徴点の位置関係による対応付け）、時間情報（パターン画像の投影を時系列情報で管理できる場合）を拘束条件とする方法や投影モデル仮定し（たとえば、射影変換、有理多項式変換）それを拘束条件とする方法を利用する。

本実施例の場合、「特徴点Ｄ６」と呼んでいる情報からは、幾何的な対応付けがなされているパターン画像Ｄ２の特徴点座標およびパターン撮影画像Ｄ３の特徴点座標を知ることができるものとする。これは、たとえば、図１３において、あるプロジェクタのパターン画像Ｄ２の特徴点Ｐａと該プロジェクタのパターン撮影画像Ｄ３の特徴点Ｐａ’が対応関係にあり、特徴点Ｐａの座標値と特徴点Ｐａ’の座標値を知ることができるということである。

一方、投影領域は、パターン画像Ｄ２の特徴点およびパターン撮影画像Ｄ３の特徴点とその幾何的な対応関係、そして適切な投影モデル（たとえば、平面スクリーンであれば射影変換、連続な非平面スクリーンであれば有利多項式変換）から算出する。

本実施例の場合、「投影領域Ｄ５」と呼んでいる情報からは、各プロジェクタ上の表示領域とスクリーン上における各プロジェクタの投影領域の対応付けを知ることができるものとする。これは、たとえば、図１３において、あるプロジェクタの表示領域ａは、スクリーン上における該プロジェクタの投影領域ａに対応する。

図１４は重なり領域算出装置２４の動作を説明するフローチャートである。図１４において、まず、各プロジェクタの投影領域Ｄ５を取得する（ステップＳ３１，Ｓ３２）。そして、取得した投影領域Ｄ５のうち、処理対象としている投影領域を取得し（ステップＳ３３）、取得した投影領域において重なり領域を算出し（ステップＳ３４）、それを重なり領域Ｄ７として保存する。

この実施形態の場合、「重なり領域Ｄ７」と呼んでいる情報からは、スクリーン上の投影領域の任意座標がどのプロジェクタの表示領域に含まれるのかを知ることができるものとする。
なお、この重なり領域算出装置２４が行う重なり領域の算出処理は、図６を用いてその一例について説明したのでここではその説明は省略する。

図１５は、パターン画像生成装置２５の動作を説明するフローチャートである。図１５において、まず、投影領域Ｄ５と重なり領域Ｄ７を取得する（ステップＳ４１，Ｓ４２）。そして、これら取得した投影領域Ｄ５と重なり領域Ｄ７に基づいて特徴点の密度分布の設定を行う（ステップＳ４３）。たとえば、図２または図３で説明したように、重なり領域で特徴点を集中させるような特徴点の密度分布の設定を行い、このように特徴点の密度分布の設定がなされたパターン画像Ｄ２を生成する（ステップＳ４４）。なお、この図２または図３で説明した特徴点の密度分布の設定方法を「第１の特徴点設定方法」と呼ぶことにする。

このパターン画像生成装置２５が行う「第１の特徴点設定方法」の具体例を説明する。たとえば、図１６に示すように、スクリーンＳＣＲ上における、ある２つのプロジェクタ（プロジェクタＰＪａ，ＰＪｂとする）のそれぞれの投影領域ａ，ｂに対応するプロジェクタＰＪａの表示領域ａ上におけるパターン画像Ｄ２ａと、プロジェクタＰＪｂの表示領域ｂ上におけるパターン画像Ｄ２ｂの特徴点設定について説明する。なお、図中、Ｚ_ａ←ｂは、投影領域ａに投影領域ｂが重なり合う重なり領域であることを示し、Ｚ_ｂ←ａは、投影領域ｂに投影領域ａが重なり合う重なり領域であることを示している。

ここで、プロジェクタＰＪｂに注目し、このプロジェクタＰＪｂのパターン画像Ｄ２ｂにおける特徴点の設定の仕方について、図１７を参照しながら説明する。
まず、図１７（Ａ）に示すように、プロジェクタＰＪｂの表示領域ｂを複数の縦線ＶＬと複数の横線ＨＬで分割する。このときの分割条件は、重なり領域Ｚ_ｂ←ａ内に含まれる縦線ＶＬおよび横線ＨＬのそれぞれ隣接する線との間隔を、重なり領域Ｚ_ｂ←ａ以外の領域よりも狭くする。

すなわち、重なり領域Ｚ_ｂ←ａ内に含まれる縦線ＶＬのそれぞれ隣接する線との間隔をΔｕ１、重なり領域Ｚ_ｂ←ａ以外の縦線ＶＬのそれぞれ隣接する線との間隔をΔｕ２とすれば、Δｕ１＜Δｕ２とする。同様に、重なり領域Ｚ_ｂ←ａ内に含まれる横線ＨＬのそれぞれ隣接する線との間隔をΔｖ１、重なり領域Ｚ_ｂ←ａ以外の横線ＨＬのそれぞれ隣接する線との間隔をΔｖ２とすれば、Δｖ１＜Δｖ２とする。

このような条件のもとに、縦線ＶＬおよび横線ＨＬが設定されると、これら複数の縦線ＶＬと複数の横線ＨＬの交点に、特徴点としてふさわしい何らかの幾何形状を設定する。この特徴点としてふさわしい幾何形状としては、種々の幾何形状を採用することができるが、たとえば、前述の図２〜図５などに示されるような、たとえば、黒の丸点や、この図１７に示されるような、黒の角点を用いることができる。なお、色は黒に限られるものではない。

このようにして、特徴点が設定されることによって、重なり領域Ｚ_ｂ←ａ内の特徴点の密度を高くすることができる。それによって、図１７（Ｂ）のようなパターン画像Ｄ２ｂを得ることができる。
なお、図１６および図１７では、プロジェクタＰＪｂに注目し、このプロジェクタＰＪｂのパターン画像Ｄ２ｂにおける特徴点の設定の仕方について説明したが、他のプロジェクタついても同様の手順で特徴点の設定を行うことができる。

次に、特徴点の設定方法の他の例（これを「第２の特徴点設定方法」と呼ぶことにする）について説明する。この「第２の特徴点設定方法」は、パターン画像の特徴点の座標位置を移動させることで、特定領域（重なり領域）における特徴点の密度を高くするものである。

たとえば、図１８に示すように、スクリーンＳＣＲ上での２つのプロジェクタ（プロジェクタＰＪａ，ＰＪｂとする）のそれぞれの投影領域ａ，ｂに対応するプロジェクタＰＪａの表示領域ａ上におけるパターン画像Ｄ２ａと、プロジェクタＰＪｂの表示領域ｂ上におけるパターン画像Ｄ２ｂの特徴点設定について説明する。なお、図中、Ｚ_ａ←ｂは、投影領域ａに投影領域ｂが重なり合う重なり領域であることを示し、Ｚ_ｂ←ａは、投影領域ｂに投影領域ａが重なり合う重なり領域であることを示している。

ここでは、プロジェクタＰＪａに注目し、このプロジェクタＰＪａのパターン画像Ｄ２ａにおける特徴点の設定の仕方について、図１９を参照しながら説明する。
図１９に示すように、プロジェクタＰＪａの表示領域ａを複数の縦線ＶＬと複数の横線ＨＬで分割し、これら複数の縦線ＶＬと複数の横線ＨＬの交点に特徴点を設定する。なお、このときの分割条件は、縦線ＶＬおよび横線ＨＬがそれぞれ重なり領域Ｚ_a←bに、より多く集中させるように、下記に示す数式を用いる。

まず、縦線ＶＬを重なり領域Ｚ_a←ｂに、より多く集中させるための数式としては、この場合、重なり領域Ｚ_a←ｂが図１９において右側に存在するので、縦線ＶＬを右側に、より多く集中させるための式として、
を用いる。この（７）式において、αは不等長パラメータ、Ｎは横方向分割数、ｗは横幅、ｎは縦線ＶＬの番号（ｎ＝０，１，・・・，Ｎ−１，Ｎ）であり、これらは、以降に説明する（８）〜（１２）式においても同じである。なお、不等長パラメータαを大きな値とするほど、この場合は、縦線ＶＬの右方向への集中度の偏りが大きくなり、縦線ＶＬは表示領域ａ内の右側に、より多く集中する。

この(７)式を用いることによって、縦線を図１９の右側（重なり領域Ｚ_a←ｂ）に、より多く集中させることができる。そして、このように設定された縦線ＶＬと横線ＨＬ（この場合、横線ＨＬに対する処理は考えていない）の交点に、特徴点としてふさわしい何らかの幾何学形状（ここでは黒い角点）を設定する。

このように特徴点が設定されると、図２０（Ａ）に示すように、表示領域ａ内の右側に、特徴点がより多く集中したパターン画像を得ることができる。なお、上述したように、この場合、横線ＨＬに対する処理は考えていないので、この図２０（Ａ）の例では特徴点は右方向への偏りのみとなっている。

上述の例は、縦線を表示領域の右側に集中させるための式であったが、縦線を表示領域の左側に、より多く集中させる場合は、
を用いることによって実現できる。この（８）式を用いることによって、縦線ＶＬを図１９の表示領域ａの左側に集中させることができる。なお、この（８）式の場合は、不等長パラメータαを大きな値とするほど、縦線ＶＬの左方向への偏りが大きくなり、縦線ＶＬは表示領域ａ内の左側に、より多く集中する。

そして、このように設定された縦線ＶＬと横線ＨＬ（この場合も、横線ＨＬに対する処理は考えていない）の交点に、特徴点としてふさわしい何らかの幾何学形状（ここでは黒い角点）を設定すると、図２０（Ｂ）のように、表示領域ａ内の左側に特徴点がより多く集中したパターン画像を得ることができる。なお、上述したように、この場合、横線ＨＬに対する処理は考えていないので、この図２０（Ｂ）の例では特徴点は左方向への偏りのみとなっている。

さらに、縦線を左右両側に、より多く集中させることも可能である。その場合は、
を用いることによって実現できる。この（９）式を用いることによって、縦線を１９の左右両側に集中させることができる。

そして、このように設定された縦線ＶＬと横線ＨＬ（この場合は、横線ＨＬに対する処理は考えていない）の交点に、特徴点としてふさわしい何らかの幾何学形状（ここでは黒い四角形の点）を設定すると、図２０（Ｃ）のように、表示領域ａ内の左右両側に特徴点がより多く集中したパターン画像を得ることができる。なお、上述したように、この場合、横線ＨＬに対する処理は考えていないので、この図２０（Ｃ）の例では特徴点は左右方向への偏りのみとなっている。

以上、図１８〜図２０は、縦線ＶＬの位置を左右のいずれか、または、左右両側に、より多く集中させる処理について説明したが、横線ＨＬの位置を上下いずれか、または、上下両側に、より多く集中させることも同様に可能である。

すなわち、横線ＨＬを下側に、より多く集中させる場合は、
を用いることによって実現できる。なお、この（１０）式において、ｈは表示領域の縦方向長さである。この（１０）式の場合、不等長パラメータαを大きな値とするほど、横線ＨＬの下方向への偏りが大きくなり、横線ＨＬは表示領域ａ内の下側に、より多く集中する。

このように設定された横線ＨＬと縦線ＶＬ（この場合は、縦線ＶＬに対する処理は考えていない）の交点に、特徴点として、たとえば、黒い角点を設定すると、図２１（Ａ）のように、表示領域ａ内の下側に特徴点がより多く集中したパターン画像を得ることができる。

また、横線ＨＬを上側に、より多く集中させる場合は、
を用いることによって実現できる。なお、この（１１）式の場合、不等長パラメータαを大きな値とするほど、横線ＨＬの上方向への偏りが大きくなり、横線ＨＬは表示領域ａ内の上側に、より多く集中する。

このように設定された横線ＨＬと縦線ＶＬ（この場合は、縦線ＶＬに対する処理は考えていない）の交点に、特徴点としてたとえば黒い角点を設定すると、図２１（Ｂ）のように、表示領域ａ内の下側に特徴点の集中したパターン画像を得ることができる。

また、横線ＨＬを上下両側に、より多く集中させる場合は、
を用いることによって実現できる。このように設定された横線ＨＬと縦線ＶＬ（この場合は、縦線ＶＬに対する処理は考えていない）の交点に、特徴点として、たとえば、黒い角点を設定すると、図２１（Ｃ）のように、表示領域ａ内の上下両側に特徴点がより多く集中したパターン画像を得ることができる。

そして、図１８から図２１で説明した縦線ＶＬと横線ＨＬの集中度を変化させる処理を組み合わせることによって、表示領域の任意の特定領域で特徴点の密度を高くすることができる。たとえば、表示領域ａ内の左上で特徴点の密度を高くするには、前述の（８）式と（１１）式を組み合わせることによって、表示領域ａ内の左上の特定領域で特徴点の密度を高くすることができる。

なお、図１８〜図２１では、プロジェクタＰＪａに注目し、このプロジェクタＰＪａのパターン画像Ｄ２ａにおける特徴点の設定の仕方について説明したが、他のプロジェクタついても同様の手順で特徴点の設定を行うことができる。

以上、「第１の特徴点設定方法」と「第２の特徴点設定方法」について説明したが、特徴点の密度分布を設定する方法としては、これ以外にも、たとえば、特徴点の追加・削除によって特徴点の密度分布を変える方法（これを「第３の特徴点設定方法」という）もある。この「第３の特徴点設定方法」の具体例については後述する。

図２２は幾何補正関数算出装置２６の動作を説明するフローチャートである。図２２において、まず、投影領域Ｄ５、特徴点Ｄ６をそれぞれ取得する（ステップＳ５１，Ｓ５２）。次に、最小２乗法を生成し（ステップＳ５３）、生成された最小２乗法から幾何補正関数を算出し（ステップＳ５４）、それを幾何補正関数Ｄ４として保存する。そして、すべてのプロジェクタの幾何補正関数Ｄ４を算出したか否かを判断し（ステップＳ５５）、すべてのプロジェクタの幾何補正関数Ｄ４を算出すれば処理を終了する。

図２３は誤差評価装置２９の動作を説明するフローチャートである。この誤差評価装置２９は、幾何補正関数算出装置２６によって生成された幾何補正関数Ｄ４の誤差評価を行うものであり、その誤差評価を行うに必要なデータとして、投影領域Ｄ５、重なり領域Ｄ７、特徴点Ｄ６、上述の図２２のステップＳ５４で算出された幾何補正関数Ｄ４をそれぞれ取得し（ステップＳ６１〜Ｓ６４）、取得したこれらのデータに基づいて、幾何補正関数Ｄ４の誤差評価結果Ｄ８を算出する（ステップＳ６５）。

この誤差評価結果の算出の仕方の一例について説明する。ここでは、幾何補正関数の残差を利用した誤差評価の算出の仕方の例について説明する。

幾何補正関数の残差は、
ｒ＝‖ｕ―ｆ（Ｘ）‖ （１３）
Ｒ＝‖Ｘ―Ｆ（ｕ）‖ （１４）
で表すことができる。この(１３)式および（１４）式において、ｒは表示領域で算出した残差、すなわち、「表示領域の特徴点」と「それに対応する投影領域の特徴点と幾何補正関数から得られる表示領域の特徴点の近似値」との差（残差）の大きさを表し、Ｒは投影領域で算出した残差、すなわち、「投影領域の特徴点」と「それに対応する表示領域の特徴点と幾何補正関数から得られる投影領域の特徴点の近似値」との差（残差）の大きさを表す。また、ｕは表示領域の特徴点の位置座標、Ｘは投影領域の特徴点の位置座標、ｆ（Ｘ）は投影領域から表示領域への幾何補正関数、Ｆ（ｕ）は表示領域から投影領域への幾何補正関数である。

この幾何補正関数の残差を利用した誤差評価は、たとえば、表示領域での幾何補正関数の残差を例にとると、
によって算出することができる。この（１５）式において、ｒ_ｉは重なり領域の特徴点から算出した残差、Ｍは、重なり領域の特徴点数である。また、ＲＭＳは重なり領域の２乗平均平方根であり、この値を誤差評価結果として用いることができ、このＲＭＳが小さいほど幾何補正関数の重なり領域での精度が高いといえる。

このようにして、幾何補正関数Ｄ４に対する誤差評価結果が算出されると、その誤差評価結果に基づいて、パターン画像を更新する必要があるか否かを判定し、パターン画像の更新の必要がある場合には、パターン画像の更新のためのパターン画像生成処理を行う。このパターン画像更新のためのパターン画像生成処理は、前述したような、「パターン画像更新処理(その１)」を用いたパターン画像の生成処理、すなわち、特徴点を移動（位置座標を変化）させることによって、特徴点の密度分布を変更したパターン画像の生成処理や、「パターン画像更新処理(その２)」を用いたパターン画像の生成処理、すなわち、特徴点を追加・削除することによって、特徴点の密度分布を変更したパターン画像の生成処理が考えられる。

図２４および図２６はこのような誤差評価結果に基づくパターン画像生成処理の一例を説明するフローチャートであり、図２４は、上述の「パターン画像の更新処理(その１)」を用いたパターン画像生成処理を説明するフローチャート、図２６は、上述の「パターン画像更新処理(その２)」を用いたパターン画像生成処理を説明するフローチャートである。

まず、図２４により「パターン画像の更新処理(その１)」を用いたパターン画像生成処理手順について説明する。
この「パターン画像の更新処理(その１)」を用いたパターン画像生成処理を実現するために必要なデータとして、投影領域Ｄ５、重なり領域Ｄ７、特徴点Ｄ６、誤差評価装置２９によって算出された誤差評価結果Ｄ８を取得する（ステップＳ７１〜Ｓ７４）。そして、図４で説明したように、誤差評価結果Ｄ８の誤差が十分小さいか否かを判定し、誤差が十分小さくなければ、特徴点を重なり領域へ移動させる処理を行い（ステップＳ７５）、特徴点の移動により特徴点の密度分布の更新がなされたパターン画像Ｄ２が生成される（ステップＳ７６）。

この特徴点の移動による特徴点の密度分布の更新は、図４のフローチャートで説明したように、誤差評価結果Ｄ８の値が十分小さな値となるまで、特徴点の密度分布を変更することによって行われる。すなわち、（１５）式における「ＲＭＳ」が十分小さな値（たとえば、閾値Ｔｈを設定しておいて、ＲＭＳ＜Ｔｈ）となるまで、特徴点の密度分布を変える動作を行う。これは、たとえば、（７）式から（１２）式のいずれかあるいは複数を組み合わせて用い、その採用した式の不等長パラメータαを大きくすることによって可能となる。

たとえば、図２５に示すように、１回目では不等長パラメータαをα＝1.0、２回目では不等長パラメータαをα＝1.5、３回目では不等長パラメータαをα＝2.0というように、不等長パラメータαを、より大きな値に変化させることによって、特徴点の密度を重なり領域Ｚ_ａ←ｂにおいて、順次、高くすることができる。この図２５は、（７）式を用いた例が示されているが、上述したように、(７)式から（１２）式を適宜組み合わせて採用し、採用した数式において、誤差評価結果Ｄ８に基づいて、不等長パラメータαを変化させることによって、特徴点の密度分布の更新されたパターン画像Ｄ２（この図２５の例ではパターン画像Ｄ２ａ）を生成することができる。

図２６は、「パターン画像の更新処理(その２)」を用いたパターン画像生成処理、すなわち、特徴点の追加・削除によるパターン画像の更新を可能とするパターン画像生成処理を説明するフローチャートである。この図２６により「パターン画像の更新処理(その２)」を用いたパターン画像生成処理手順について説明する。

この「パターン画像の更新処理(その２)」を用いたパターン画像生成処理を実現するために必要なデータとして、投影領域Ｄ５、重なり領域Ｄ７、特徴点Ｄ６、誤差評価装置２９によって算出された誤差評価結果Ｄ８を取得する（ステップＳ８１〜Ｓ８４）。そして、図５で説明したように、誤差評価結果Ｄ８の誤差が十分小さいか否かを判定し、誤差が十分小さくなければ、特徴点の追加・削除を行い（ステップＳ８５）、特徴点の追加・削除により特徴点の密度分布の更新がなされたパターン画像Ｄ２が生成される（ステップＳ８６）。

この特徴点の追加・削除による特徴点の密度分布の更新は、図５のフローチャートで説明したように、誤差評価結果Ｄ８の値が十分小さな値となるまで、特徴点の追加・削除を行う。すなわち、（１５）式における「ＲＭＳ」が十分小さな値（たとえば、閾値Ｔｈを設定しておいて、ＲＭＳ＜Ｔｈ）となるまで、特徴点を追加・削除させる。この特徴点の追加・削除を行うための具体例について図２７を参照して説明する。

図２７に示すように、たとえば、重なり領域重なり領域Ｚ_a←bにおける１回目の縦線ＶＬの間隔Δｕ１、同じく、重なり領域Ｚ_a←bにおける２回目の縦線ＶＬの間隔Δｕ２、同じく、重なり領域Ｚ_a←bにおける３回目の縦線ＶＬの間隔Δｕ３が、Δｕ１＞Δｕ２＞Δｕ３となるように、縦線ＶＬを順次追加することによって、特徴点の密度分布をある特定領域（この場合、重なり領域Ｚ_a←b）において、順次、高くすることができる。この図２７は、縦線ＶＬを追加する処理のみが示されているが、誤差評価結果Ｄ８に基づいて、横線ＨＬの追加も同様に行うことによって、特徴点の密度分布の更新されたパターン画像Ｄ２（この図２７の例ではパターン画像Ｄ２ａ）を生成することができる。

なお、ある特定領域（重なり領域）以外の縦線または横線の間隔を広げるように、特徴点の削除を行うことも可能である。これは、特徴点を追加する場合に比べて、計算量を減らすことができる効果がある。また、前述の図２５で説明した特徴点の移動（位置座標の変更）による特徴点の密度分布の変更処理と、この図２７で説明した特徴点の追加・削除による特徴点の密度分布の変更処理を組み合わせることもできる。

図２８は画像処理装置２７の動作を説明するフローチャートである。図２８において、まず、投影画像Ｄ１、幾何補正関数Ｄ４をそれぞれ取得し（ステップＳ９１，Ｓ９２）、投影画像Ｄ１に対して、幾何補正関数Ｄ４を用いた幾何補正を行う（ステップＳ９３）。なお、この画像処理装置２７が取得する幾何補正関数Ｄ４は、重なり領域において適切な特徴点の密度分布を有するパターン画像を用いて作成された幾何補正関数であるので、重なり領域における幾何補正を適切に行うことができる。

そして、投影画像Ｄ１に対する幾何補正以外の画像処理として、たとえば、輝度補正や色補正を行い（ステップＳ９４，Ｓ９５）、幾何補正、輝度補正、色補正などの画像処理が終了したものを補正済み投影画像Ｄ９として保存する。そして、すべてのプロジェクタについて補正済み投影画像Ｄ９を生成したかを判断し(ステップＳ９６)、すべてのプロジェクタについて補正済み投影画像Ｄ９を生成されれば処理を終了する。

図２９は画像処理装置２７における画像処理の一例を示すもので、投影画像Ｄ１に対して図２８で示したような手順による画像処理を行うことによって、それぞれのプロジェクタに対する補正済み投影画像が生成される。そして、これらの補正済み投影画像がそれぞれ対応するプロジェクタから投影され、スクリーン上で隣接する投影画像同士が重なり領域を有した状態でタイリングされることによって、スクリーン上での投影画像は、幾何学的に矛盾なく整合性の取れた大画面画像となる。

なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。
たとえば、前述の実施形態では、複数のプロジェクタの投影領域が重なり合う重なり領域を特定領域として、この重なり領域で、特徴点の密度分布を高くする例について説明したが、特徴点の密度を高くする特定領域は、重なり領域とは限らず、あるプロジェクタの投影領域のエッジ部分を含む境界領域で特徴点の密度を高くするということもできる。これによれば、たとえば、プロジェクタを単体で用いる場合や、複数のプロジェクタを用いて重なり領域を形成しないマルチプロジェクションシステムを構成する場合などにも、プロジェクタの投影領域のエッジ部分で適切な幾何補正が可能となり、高品質な投影画像を得ることができる。

また、前述の実施形態では、重なり領域で特徴点の密度を高くすることによって、その重なり領域で適切な幾何補正を可能とする幾何補正関数を作成することによって、その重なり領域で高精度な整合性をとるようにする例について説明したが、この実施形態に加えて、幾何補正関数に重み付けするようにしてもよい。

これは、複数のプロジェクタにおける各プロジェクタ上の表示領域内に存在する複数の特徴の位置と、前記投影面上における各プロジェクタの投影領域内に存在する複数の特徴の位置との幾何学的な対応関係および前記幾何補正関数を用いて算出する残差に重み係数を乗じた値の大きさに基づいて前記幾何補正関数を算出するもので、そのときの前記重み係数は、前記各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域の重み係数の値が、重なり領域以外の重み係数の値に対し、前記複数のプロジェクタのうちの少なくとも１台のプロジェクタにおいて大きくなるように設定されるものである。

このように前述の本発明の実施形態（パターン画像の特徴点の密度を重なり領域で、より高くする実施形態）に加えて、重なり領域における重み係数を重なり領域以外の領域よりも大きく設定し、その重み係数を用いて幾何補正関数を作成することによって、作成された幾何補正関数は、重なり領域において高精度な幾何補正を可能とする幾何補正関数となる。このような重み付けを考慮した幾何補正関数を用いて画像補正を行うことにより、幾何学的な整合性の取りにくい重なり領域において、より高精度に整合性をとることができ、重なり領域のボケを抑える効果をより大きくすることができる。

また、前述の実施形態に加えて、投影面上における各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに各プロジェクタの投影領域を分割し、第１の領域と第２の領域のそれぞれに対応した幾何補正関数を作成することも可能である。なお、第１の領域は、重なり領域であると推定された領域を取り囲むように設定された領域としてもよく、または、第１の領域は、重なり領域であると推定された領域の大部分を含むように設定された領域としてもよい。これによっても、幾何学的な整合性の取りにくい重なり領域において、より高精度に整合性をとることができ、重なり領域のボケを抑える効果をより大きくすることができる。

また、これらをすべて組み合わせることも可能である。すなわち、重なり領域でパターン画像の特徴点の密度を高くすることによって、その重なり領域で適切な幾何補正を可能とする幾何補正関数を作成するといった前述の実施形態で説明した手法と、重なり領域における重み係数を重なり領域以外の領域よりも大きく設定し、その重み係数を用いて幾何補正関数を作成する手法、投影面上における各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに前記各プロジェクタの投影領域を分割し、前記第１の領域と前記第２の領域のそれぞれに対応した幾何補正関数を作成する手法を組み合わせることもできる。

また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともできる。したがって、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークからその処理プログラムを得るようにしてもよい。

本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法を説明するためにプロジェクタ上の表示領域とスクリーン上におけるプロジェクタの投影領域について説明する図。 本発明の実施形態に係るパターン画像の特徴点の密度分布の設定例を説明する図。 重なり領域の重なり数に応じた特徴点の密度分布の設定例を説明するための図。 幾何補正関数に対する誤差評価を行い、その誤差評価結果に基づくパターン画像更新例を説明するための図。 幾何補正関数に対する誤差評価を行い、その誤差評価結果に基づくパターン画像更新の他の例を説明するための図。 重なり領域を算出する方法の一例について説明するための図。 本発明の実施形態に係るマルチプロジェクションシステムの構成を説明する図。 図７における画像補正装置とそれに関係する構成要素およびデータについて説明する図。 図８で示したパターン画像投影装置の動作を説明するフローチャート。 図８で示したスクリーン撮影装置の動作を説明するフローチャート。 図８で示した投影領域算出装置の動作を説明するフローチャート。 実施形態で用いるパターン画像の例を説明する図。 あるプロジェクタのパターン画像のある点Ｐａと該プロジェクタのパターン撮影画像の点Ｐａ’との対応関係について説明する図。 図８で示した重なり領域算出装置の動作の一例を説明するフローチャート。 図８で示したパターン画像生成装置の動作を説明するフローチャート。 図８で示したパターン画像生成装置が行う第１の特徴点設定方法を説明するための図。 図１６で示した第１の特徴点の設定方法の具体例を示す図。 図８で示したパターン画像生成装置が行う第２の特徴点設定方法を説明するための図。 図１８で示した第２の特徴点の設定方法の具体例を示す図。 第２の特徴点設定方法による特徴点の設定例（特徴点を右方向、左方向、左右両方向に集中させた場合）を示す図。 第２の特徴点設定方法による特徴点の設定例（特徴点を下方向、上方向、上下両方向に集中させた場合）を示す図。 図８で示した幾何補正関数算出装置の動作を説明するフローチャート。 図８で示した誤差評価装置の動作を説明するフローチャート。 パターン画像生成装置が行う「パターン画像の更新処理(その１)」を説明するフローチャート。 誤差評価結果に基づく「パターン画像の更新処理(その１)」を説明する図。 パターン画像生成装置が行う「パターン画像の更新処理(その２)」を説明するフローチャート。 誤差評価結果に基づく「パターン画像の更新処理(その２)」を説明する図。 図７で示した画像処理装置の動作を説明するフローチャート。 図７で示した画像処理装置における画像処理の一例を示す図。

符号の説明

１ カメラ、２ 画像補正装置、２１ パターン画像投影装置、２２ スクリーン撮影装置、２３ 投影領域算出装置、２４ 重なり領域算出装置、２５ パターン画像生成装置、２６ 幾何補正関数算出装置、２７ 画像処理装置、２８ 画像投影装置、２９ 誤差評価装置、ＰＪａ〜ＰＪｄ プロジェクタ、ＳＣＲ スクリーン

Claims (13)

1. 複数のプロジェクタから各々投影される投影画像を用いて投影面に画像を表示するマルチプロジェクションシステムに用いる画像補正方法であって、
   前記複数のプロジェクタのうちの各プロジェクタから投影される投影画像の投影位置を補正することに用いられ且つ特徴部を有するパターン画像を、前記各プロジェクタから前記投影面に投影するステップと、
   前記投影されたパターン画像を撮像したパターン撮像画像を得るステップと、
   前記パターン撮像画像における前記特徴部の座標位置と、前記各プロジェクタでの前記パターン画像における前記特徴部の座標位置との対応付けを行うステップと、
   前記対応付けに基づいて、前記各プロジェクタから投影される投影画像の投影位置を補正するステップと、
   前記複数のプロジェクタのうちの少なくとも一のプロジェクタから投影される前記パターン画像の特徴部の密度分布を、当該パターン画像内の特定領域における前記特徴部の密度が前記特定領域以外の領域における前記特徴部の密度よりも高くなるように設定するステップと、
   を有することを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
2. 請求項１に記載のマルチプロジェクションシステムに用いる画像補正方法において、
   前記対応付けは幾何学的な対応付けであって、
   前記対応付けに基づいて幾何補正関数を作成するステップを有し、
   前記投影画像の投影位置を補正するステップにおいて、前記作成された幾何補正関数を用いて前記各プロジェクタから投影される投影画像の投影位置を補正することを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
3. 請求項１または２記載のマルチプロジェクションシステムに用いる画像補正方 法において、
   前記特徴部の密度は、前記特定領域における単位面積当たりの特徴部の数であることを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
4. 請求項１から３のいずれかに記載のマルチプロジェクションシステムに用いる画像補正方法において、
   前記特定領域は、前記複数のプロジェクタのうちの少なくとも一のプロジェクタから投影されるパターン画像と前記複数のプロジェクタのうちの前記一のプロジェクタ以外のプロジェクタから投影されるパターン画像とが前記投影面で重なり合う重なり領域であることを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
5. 請求項１から３のいずれかに記載のマルチプロジェクションシステムに用いる画像補正方法において、
   前記特定領域は、前記投影面に投影された前記パターン画像のエッジ部を含む境界領域であることを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
6. 請求項４記載のマルチプロジェクションシステムに用いる画像補正方法において、
   前記当該パターン画像内の特定領域における前記特徴部の密度が前記特定領域以外の領域における前記特徴部の密度よりも高くなるように設定するステップにおいて、
   前記重なり領域における前記特徴部の密度を、前記一のプロジェクタから投影されるパターン画像に注目したときに、該注目したプロジェクタのパターン画像において前記一のプロジェクタ以外のプロジェクタから投影されるパターン画像が重なり合う重なり領域の数が多いほど高く設定することを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
7. 請求項２に記載のマルチプロジェクションシステムに用いる画像補正方法において、
   前記幾何補正関数の評価を行うステップと、
   前記評価に基づいて、前記特徴部の密度分布を変更させて前記パターン画像の更新を行うステップと、
   を有し、
   前記幾何補正関数を作成するステップにおいて、前記更新されたパターン画像に基づいた前記幾何補正関数の作成を行うことを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
8. 請求項１から７のいずれかに記載のマルチプロジェクションシステムに用いる画像補正方法において、
   前記パターン画像に含まれる特徴部の位置を変化させ、前記特定領域における前記特徴部の密度が前記特定領域以外の領域における前記特徴部の密度よりも高くなるように設定することを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
9. 請求項７または８記載のマルチプロジェクションシステムに用いる画像補正方法において、
   前記パターン画像に含まれる特徴部を追加または削除することにより、前記特定領域における前記特徴部の密度が前記特定領域以外の領域における前記特徴部の密度よりも高くなるように設定することを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
10. 請求項２または７から９のいずれかに記載のマルチプロジェクションシステムに用いる画像補正方法において、
    前記幾何補正関数は、前記パターン画像に含まれる特徴部の各プロジェクタの座標位置と、前記パターン画像が前記投影面に投影されたときの前記パターン画像に含まれる特徴部の前記投影面の座標位置との間の幾何学的な対応関係および 幾何補正関数を用いた最小２乗法に基づいて作成されることを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
11. 請求項１から１０のいずれかに記載のマルチプロジェクションシステムに用いる画像補正方法において、
    前記パターン画像に含まれる特徴部は、当該パターン画像における輝度差又は色差によるエッジ、前記エッジの交点、輝度情報又は色情報のピーク値、前記輝度情報又は色情報の重心の少なくともいずれかであることを特徴とするマルチプロジェクションシステムに用いる画像補正方法。
12. 複数のプロジェクタから投影される複数の投影画像を用いて投影面に画像を表示するマルチプロジェクションシステムに用いる画像補正装置であって、
    前記複数のプロジェクタのうちの各プロジェクタから投影される投影画像の投影位置を補正することに用いられ且つ特徴部を有するパターン画像であって前記各プロジェクタから投影された前記パターン画像を撮像したパターン撮像画像における前記特徴部の座標位置と、前記各プロジェクタでの前記パターン画像における前記特徴部の座標位置との対応付けを行う投影領域算出手段と、
    前記対応付けに基づいて、前記各プロジェクタから投影される投影画像の投影位置を補正する画像処理手段と、
    前記複数のプロジェクタのうちの少なくとも一のプロジェクタから投影される前記パターン画像の前記特徴部の密度分布を、当該パターン画像内の特定領域における前記特徴部の密度が前記特定領域以外の領域における前記特徴部の密度よりも高くなるように設定可能なパターン画像生成手段を有することを特徴とするマルチプロジェクションシステムに用いる画像補正装置。
13. 第１のプロジェクタから投影される投影画像の一部と第２のプロジェクタから投影される投影画像の一部とが重なり合う重なり領域を有した状態で少なくとも前記第１および第２のプロジェクタが投影する２つの投影画像によって一つの画像を投影面に表示するマルチプロジェクションシステムであって、
    前記第１および第２のプロジェクタと、
    前記第１および第２のプロジェクタから投影される投影画像の投影位置を補正することに用いられ且つ特徴部を有するパターン画像であって当該第１および第２のプロジェクタから投影された前記パターン画像を撮像したパターン撮像画像における前記特徴部の座標位置と、前記前記第１および第２のプロジェクタでの前記パターン画像における前記特徴部の座標位置との対応付けを行う投影領域算出手段と、
    前記対応付けに基づいて、前記第１および第２のプロジェクタから投影される投影画像の投影位置を補正する画像処理手段と、
    前記第１および第２のプロジェクタのうちの少なくともいずれかのプロジェクタから投影される前記パターン画像の前記特徴部の密度分布を、当該パターン画像内の特定領域における前記特徴部の密度が前記特定領域以外の領域における前記特徴部の密度よりも高くなるように設定可能なパターン画像生成手段と、
    を有することを特徴とするマルチプロジェクションシステム。