JP2007166466A - 投写画像の位置調整方法 - Google Patents

Abstract

【課題】スクリーン上に投写される複数のプロジェクタからの投写画像を高速かつ確実に位置調整可能とする。
【解決手段】複数のプロジェクタにおける２つのプロジェクタＰＪ１，ＰＪ２から投写された２つの調整用画像が適切な位置関係で投写されたときに重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに出力可能な調整用画像データ出力装置１２と、前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタからリア投写用のスクリーンＳＣＲ’の視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する評価値算出装置１３と、前記評価値に基づいて前記２つの投写画像の位置調整を行う位置調整制御装置１４とを有する。
【選択図】図７

Description

本発明は、複数のプロジェクタからの投写画像をスクリーンに投写して一画面を構成するマルチプロジェクションディスプレイに用いられる投写画像の位置調整方法、投写画像の位置調整装置、投写画像の位置調整プログラム及びマルチプロジェクションディスプレイに関する。

複数のプロジェクタからの投写画像をスクリーンにタイリング投写またはスタッキング投写するマルチプロジェクションディスプレイが知られている。このようなマルチプロジェクションディスプレイにおいては、各投写画像のスクリーン上での位置調整の精度が投写画像の品質に大きな影響を与える。

たとえば、タイリング投写を例にとった場合、位置調整の精度が低いと、各投写画像間に不連続な継ぎ目が生じたり、重畳領域がぼやけて見えてしまうなど、投写画像の品質が大幅に劣化してしまうという問題がある。

これに対処するためにはマルチプロジェクションディスプレイにおいて、各投写画像間の位置調整が必須となるが、この位置調整をユーザが手作業で行うと、多くの手間と時間を要し、また、位置調整作業に熟練した技術が必要となるといった問題がある。
このため、位置調整を自動化する技術が従来から種々提案されている（たとえば、特許文献１及び特許文献２参照）。

特許文献１に開示された技術は、スクリーン上に投写された複数のテストパターン画像（山形波形の輝度分布を有している）をカメラで撮像して、その撮像画像データから複数のテストパターンの代表位置（山形波形の中心位置）をそれぞれ求め、求められたそれぞれの代表位置に基づき、各テストパターン画像の間隔及び各テストパターン画像を結ぶ線分と隣接画面との交点位置の水平方向と垂直方向の双方または一方における間隔を求め、それらの間隔を用いて、どのような位置ずれがあるかを測定するというものである。

また、特許文献２に開示された技術は、隣接する投写画像の境界部分に沿って黒表示部を有しその内側に白表示部を有する２つの調整用パターンを２つのプロジェクタによって表示して重畳部分に暗線を表示させる。そして、黒表示部の幅を漸減させ、それをカメラで撮像して、その撮像画像データから暗線の幅変化を観測し、暗線の消失位置を境界位置として記憶させる。そして、この境界位置に個々の投写装置から投写される投写画像の輪郭を合わせるように位置調整を行う。

特開２００１−３５６００５号公報 特開２００２−３６５７１８号公報

特許文献１に開示された技術は、投写画像の解像度よりも低い解像度を有する撮像装置を用いて位置ずれの検出が可能であると考えられる。しかしながら、位置ずれを求めるために複雑な画像解析処理が必要となる。このため、高い処理能力を有する画像データ処理装置が必要であるとともに、演算量が多いために高速な位置ずれの調整を行えないという問題がある。
また、特許文献２に開示された技術は、投写画像の画素単位の解像度を有する高解像
度の撮像装置を用いないと高精度に境界位置を求めることができないという問題がある。

本発明は、スクリーン上に投写される複数のプロジェクタからの投写画像の位置調整を高速かつ高精度に行うことを可能とし、特に、リア投写式によるマルチプロジェクションディスプレイなどにおいて効果の得られる投写画像の位置調整方法、投写画像の位置調整装置、投写画像の位置調整プログラム及びマルチプロジェクションディスプレイを提供することを目的とする。

（１）本発明の投写画像の位置調整方法は、複数のプロジェクタを有するマルチプロジェクションディスプレイにおける２つのプロジェクタから重畳領域を有するようにスクリーンに投写される２つの投写画像の位置を２つの調整用画像を用いて調整する投写画像の位置調整方法であって、前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに与える第１ステップと、前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する第２ステップと、前記評価値に基づいて前記２つの投写画像の位置調整を行う第３ステップとを含むことを特徴とする。

このように、本発明の投写画像の位置調整方法によれば、適切な位置関係で投写されたときに重畳領域において所定の特徴が出現するような調整用画像を、２つのプロジェクタによってスクリーンに投写し、前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記撮像画像データに基づいて前記特徴に関連付けられた評価値を算出するようにしている。

具体的には、２つの調整用画像を用いて位置調整を行う際、２つの調整用画像の最終的な投写画像（たとえば、スクリーンの視聴者側表示面に表示される画像）を撮像して得られた撮像画像データを用いるのではなく、プロジェクタからの投写画像の光路上の任意の断面における画像を撮像して得られた撮像画像データに基づいて位置調整を行うものである。したがって、本発明は、たとえば、リア投写用のスクリーンの視聴者側表示面とは反対側（リア側）にカメラなどの撮像手段を設置して、リア投写用スクリーンのリア側投写面に投写された投写画像を撮像して得られた撮像画像データに基づいて位置調整を行うリア投写式のマルチプロジェクションディスプレイなどに適用することができる。

（２）前記（１）に記載の投写画像の位置調整方法においては、前記第２ステップは、前記２つの調整用画像のうち少なくとも一方の調整用画像を画素単位で水平方向または垂直方向に移動させて、前記調整用画像を画素単位で移動させるごとに前記評価値を算出することが好ましい。
これによって、調整用画像の１画素単位の移動ごとの評価値を算出することができ、１画素単位の精度での位置調整が可能となる。

（３）前記（１）または（２）に記載の投写画像の位置調整方法においては、前記パターンは、１画素に対応する幅の線画を有することが好ましい。
このように、２つの調整用画像のパターンを１画素の幅を有する線画とすることにより、パターンの重畳により出現する特徴を調整用画像の１画素単位の移動ごとに観測することができる。これによって、１画素単位での評価値を適切に算出することができ、１画素単位の精度での位置調整が可能となる。

（４）前記（１）〜（３）のいずれかに記載の投写画像の位置調整方法においては、前記特徴は、前記撮像画像データにおける画素値であることが好ましい。
このように、特徴を画素値で表すことにより、特徴を客観的な値として表すことができる。なお、本発明では画素値は輝度値を表すものであるとする。したがって、２つの調整用画像が適切な位置調整がなされると、その重畳領域において輝度の高い領域が出現することとなる。

（５）前記（４）に記載の投写画像の位置調整方法においては、前記評価値は、前記画素値がしきい値以上の画素数と各画素の画素値の差に基づいて算出されるコントラストとを用いて算出され、前記第３ステップは、前記評価値が最大となる位置を前記２つの投写画像の最適投写位置として前記２つの投写画像の位置調整を行うことが好ましい。

このように、評価値をしきい値以上の画素数とコントラストとを用いて算出し、算出された評価値が最大となる位置を前記２つの投写画像の最適投写位置としている。なお、しきい値以上の画素数というのは、所定の輝度値以上の輝度を有する画素の数であって、すなわち、２つの調整用画像の各パターンが重畳すると、その重畳領域において高輝度画素が発生するので、その高輝度画素の数（高輝度画素数）は位置調整の度合いを判断する指標として用いることができる。同様に、２つの調整用画像が適切に位置調整されるとコントラストがより高くなるので、コントラストも位置調整の度合いを判断する指標として用いることできる。
したがって、しきい値以上の画素数とコントラストの２つのパラメータを用いて評価値を算出することにより、算出された評価値は、２つの調整用画像が適切に位置調整されているか否かを適切に評価できる値となる。

（６）前記（５）に記載の投写画像の位置調整方法においては、前記しきい値は、前記２つの調整用画像における各パターンが重畳することによってはじめて出現する色に対応する値に設定することが好ましい。

これは、本発明をたとえばリア投写式のマルチプロジェクションディスプレイに適用した場合などにおいて、リア投写式のマルチプロジェクションディスプレイにおいて使用されるリア投写用のスクリーンの特性を考慮したものである。

このリア投写用のスクリーンの特性の１つに、リア投写用スクリーンは、スクリーンのフロント側表示面とは反対側（リア側）から投写される光をスクリーンのリア側の投写面で極力反射させることなく、より多くの光をスクリーンのフロント側表示面から出力させるような特性を有している。リア投写用スクリーンがこのような特性を有していることによって、スクリーンのリア側の投写面から観測できる光量は、フロント投写式におけるスクリーンのフロント側表示面から観測できる光量に比べて大幅に減少することとなる。

その結果として、リア投写用スクリーンのリア側に撮像装置を設置して、その撮像装置によりリア投写用スクリーンのリア側投写面を撮像した場合の撮像画像データは、フロント投写式のマルチプロジェクションディスプレイにおいてスクリーンのフロント側を撮像する撮像装置によって撮像された撮像画像データに比べて、輝度が大幅に低下してしまう。

このようなリア投写用スクリーンの特性に対処するために、高輝度画素であると判断するためのしきい値を低く設定することで、リア投写用スクリーンのリア側投写面を撮像した撮像画像データの輝度が低下した場合でも、一定以上の画素値（輝度値）を有する画素数を得ることができる。

（７）前記（５）または（６）に記載の投写画像の位置調整方法においては、前記コントラストを算出する際の前記各画素の画素値の差は、最大の画素値を有する画素と最小の画素値を有する画素のそれぞれの画素値の差であることが好ましい。

（８）前記（７）に記載の投写画像の位置調整方法においては、前記各画素の画素値は、前記撮像画像データを構成する各色成分の積で求められる値を用いることが好ましい。
このように、各色成分を掛け算することによって、各画素の画素値の差を明確に表すことができる。これにより、最大の画素値を有する画素と最小の画素値を有する画素を正確にかつ容易に特定することができ、前記コントラストを適切に求めることができる。

（９）前記（５）〜（８）のいずれかに記載の投写画像の位置調整方法においては、前記評価値は、前記しきい値以上の画素数と前記コントラストとの和に基づいて求められることが好ましい。
これにより、しきい値以上の画素数とコントラストとを考慮した評価値を得ることができる。また、その評価値は、しきい値以上の画素数とコントラストの２つのパラメータを用いて算出されるので、前述したように、算出された評価値は、２つの調整用画像が適切に位置調整されているか否かを適切に評価できる値となる。

（１０）前記（９）に記載の投写画像の位置調整方法においては、前記しきい値以上の画素数と前記コントラストとの正規化を行うことが好ましい。
これは、しきい値以上の画素数（高輝度画素数）とコントラストの値に大きな差があるためであり、前記しきい値以上の画素数と前記コントラストとの正規化を行うことによって、前記しきい値以上の画素数と前記コントラストの２つの特徴量のどちらにも偏ることなく、両者を対等に反映した評価値を得ることができる。

（１１）前記（１０）に記載の投写画像の位置調整方法においては、前記コントラストが前記評価値により多く反映されるような重み付けを行うことが好ましい。
これは、コントラストが撮像装置の露出設定、マルチプロジェクションディスプレイを設置する空間の照明条件などの様々な干渉因子による影響を受けにくく、ある程度、環境条件が変化した際にも安定した計測結果が得ることができるという特徴を考慮したもので、コントラストをより重視した重み付けを行うことによって、より適切な評価値とすることができる。

（１２）前記（１）〜（１１）のいずれかに記載の投写画像の位置調整方法においては、前記２つの調整用画像は、一方の調整用画像が第１の色による第１のパターンを有し、他方の調整用画像が第２の色による第２のパターンを有し、前記第１の色及び第２の色は、前記第１のパターンと第２のパターンとが重畳したときに前記所定の特徴が出現するように、前記２つの調整用画像それぞれにおける赤色成分、緑色成分、青色成分の値が設定されていることが好ましい。

このように、２つの調整用画像のそれぞれのパターンを両者の重畳領域で所定の特徴が出現するように、Ｒ（赤）、Ｇ（緑）、Ｂ(青)の各色成分の値を設定することによって、２つの調整用画像が適切に重畳したときに、２つの調整用画像が元々有していない特徴を出現させるようにすることができる。

（１３）前記（１）〜（１２）のいずれかに記載の投写画像の位置調整方法においては、前記第２ステップにおいては、前記２つの調整用画像が同じ位置関係となる状態で複数回の撮影を行って前記評価値を算出することが好ましい。

このように、複数回の撮像により得られる撮像画像データを用いて評価値を算出することにより、撮像装置のノイズの影響を低減した高精度な評価値を得ることができる。たとえば、複数回の撮像により得られる撮像画像データを用いて算出された評価値の平均値を求めて、その平均値を求めるべき評価値とすることが考えられる。

（１４）前記（１）〜（１３）のいずれかに記載の投写画像の位置調整方法においては、前記第３ステップは、２つのプロジェクタのうちいずれかのプロジェクタの電気光学変調装置における画像形成領域の有効画像表示領域の位置を画素単位で移動させることにより前記２つの投写画像の位置調整を行うことが好ましい。
このように、プロジェクタが元々有している機能を利用することによって投写画像を画素単位で移動させることができる。

（１５）前記（１）〜（１４）のいずれかに記載の投写画像の位置調整方法においては、前記マルチプロジェクションディスプレイはリア投写式のマルチプロジェクションディスプレイであって、前記撮像画像データは、前記リア投写式のマルチプロジェクションディスプレイに用いられるリア投写用のスクリーンにおける前記視聴者側表示面と反対側の投写面に投写される前記調整用画像を撮像して得られる画像データであることが好ましい。

このように、マルチプロジェクションディスプレイがリア投写式のマルチプロジェクションディスプレイであることによって、本発明の投写画像の位置調整方法はより大きな効果を発揮することができる。すなわち、本発明は、リア投写式のマルチプロジェクションディスプレイに用いられるリア投写用スクリーンの特性を考慮した投写画像の位置調整を可能とするものである。

具体的には、前述したように、リア投写用スクリーンのリア側に撮像装置を設置して、その撮像装置からリア投写用スクリーンのリア側投写面を撮像した場合の撮像画像データは、輝度が大幅に低下してしまうといった特性を考慮するとともに、リア投写用スクリーンのもう一つの特性（詳細は後述する）であるフロント側表示面とリア側投写面の画像のフォーカスが大きく異なるといった特性を考慮した投写画像の位置調整を行うものである。これにより、リア投写式のマルチプロジェクションディスプレイにおいて１画素単位の高精度な位置調整が可能となる。

（１６）本発明の投写画像の位置調整装置は、複数のプロジェクタを有するマルチプロジェクションディスプレイにおける２つのプロジェクタから重畳領域を有するようにスクリーンに投写される２つの投写画像の位置を２つの調整用画像を用いて調整する投写画像の位置調整装置であって、前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに出力可能な調整用画像データ出力装置と、前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する評価値算出装置と、前記評価値に基づいて前記２つの投写画像の位置調整を行う位置調整制御装置とを含むことを特徴とする。

この投写画像の位置調整装置においても（１）に記載の投写画像の位置調整方法と同様の効果が得られる。なお、この投写画像の位置調整装置においても前記（２）〜（１５）の投写画像の位置調整方法と同様の特徴を有することが好ましい。

（１７）本発明の投写画像の位置調整プログラムは、複数のプロジェクタを有するマルチプロジェクションディスプレイにおける２つのプロジェクタから重畳領域を有するようにスクリーンに投写される２つの投写画像の位置を２つの調整用画像を用いて調整するための投写画像の位置調整プログラムであって、前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに与える第１ステップと、前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する第２ステップと、前記評価値に基づいて前記２つの投写画像の位置調整を行う第３ステップとを有することを特徴とする。

この投写画像の位置調整プログラムにおいても（１）に記載の投写画像の位置調整方法と同様の効果が得られる。なお、この投写画像の位置調整プログラムにおいても前記（２）〜（１５）の投写画像の位置調整方法と同様の特徴を有することが好ましい。

（１８）本発明のマルチプロジェクションディスプレイは、複数のプロジェクタを有し、前記複数のプロジェクタからの投写画像が重畳領域を有するようにスクリーンに投写可能なマルチプロジェクションディスプレイであって、前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに出力可能な調整用画像データ出力装置と、前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する評価値算出装置と、前記評価値に基づいて前記２つの投写画像の位置調整を行う位置調整制御装置とをさらに有することを特徴とする。

複数のプロジェクタを有するマルチプロジェクションディスプレイがこのような位置調整を行うための構成を有することにより、各プロジェクタから投写される投写画像の位置調整を少ない演算量で高速かつ高精度に行うことができる。なお、このマルチプロジェクションディスプレイにおいても前記（２）〜（１５）の投写画像の位置調整方法と同様の特徴を有することが好ましい。

（１９）前記（１８）に記載のマルチプロジェクションディスプレイにおいては、前記複数のプロジェクタからの複数の投写画像が重畳領域を有するようにスクリーンにタイリング投写可能に構成されていることが好ましい。

このように、複数のプロジェクタから投写される投写画像のうち隣接する投写画像同士に重複領域を有してタイリング投写するようなマルチプロジェクションディスプレイにおいても、各プロジェクタからの投写画像の位置調整を少ない演算量で高速かつ高精度に行うことができる。

（２０）前記（１８）に記載のマルチプロジェクションディスプレイにおいては、前記複数のプロジェクタからの複数の投写画像が重畳領域を有するようにスクリーンにスタッキング投写可能に構成されていることが好ましい。

このように、複数のプロジェクタから投写される投写画像を同じ投写領域内に重ねて投写するいわゆるスタッキング投写するようなマルチプロジェクションディスプレイにおいても、各プロジェクタからの投写画像の位置調整を少ない演算量で高速かつ高精度に行うことができる。

以下に本発明の実施形態に係る投写画像の位置調整方法について説明する。本発明の実施形態に係る投写画像の位置調整方法は、リア投写式のマルチプロジェクションディスプレイなどに適用することで特に効果を発揮するものである。

本発明の実施形態に係る投写画像の位置調整方法について説明する前に、フロント投写式のマルチプロジェクションディスプレイに適用した投写画像の位置調整方法について説明し、その後で、リア投写式のマルチプロジェクションディスプレイに本発明の実施形態に係る投写画像の位置調整方法を適用する例について説明する。なお、フロント投写式のマルチプロジェクションディスプレイに適用した投写画像の位置調整方法を「基本となる投写画像の位置調整方法」と呼ぶことにする。

図１はフロント投写式のマルチプロジェクションディスプレイの構成を示す図である。図１に示すマルチプロジェクションディスプレイは、説明をわかりやすくするため、水平方向に並べられた左右２台のプロジェクタＰＪ１，ＰＪ２を有し、それぞれのプロジェクタＰＪ１，ＰＪ２は、それぞれの投写画像の一部に重畳領域を有するように投写面としてのスクリーンＳＣＲ上でタイリング投写可能に設置されるものとする。なお、図１はスクリーンＳＣＲ及びプロジェクタＰＪ１，ＰＪ２を上方から見た図である。

図１に示すマルチプロジェクションディスプレイは、２台のプロジェクタＰＪ１，ＰＪ２と、２台のプロジェクタＰＪ１，ＰＪ２からの投写画像の位置調整を行う機能を有する投写画像の位置調整装置１とを有している。

なお、プロジェクタＰＪ１，ＰＪ２は、外部からの操作により、スクリーンＳＣＲ上における投写画像の表示位置を内部的に１画素単位で水平・垂直方向に移動可能であるとする。また、外部からの操作によって画像の表示位置を移動させることができない場合には、たとえば、画像データ出力装置（パーソナルコンピュータなど）において、表示すべき画像自体を１画素単位で水平・垂直方向に移動させたものを各プロジェクタＰＪ１，ＰＪ２に与えることで対応できるものとする。

投写画像の位置調整装置１は、一部に重畳領域を有した状態でスクリーンＳＣＲ上にタイリング投写された調整用画像ＣＧ１，ＣＧ２を撮像可能な撮像装置１１と、２つの調整用画像ＣＧ１，ＣＧ２に対応する調整用画像データＣＧＤ１，ＣＧＤ２をプロジェクタＰＪ１，ＰＪ２に出力可能な調整用画像データ出力装置１２と、撮像装置１１からの撮像画像データに基づいて、調整用画像に対する評価値を算出する評価値算出装置１３と、該評価値算出装置１３による評価結果に基づいて、プロジェクタＰＪ１，ＰＪ２からの投写画像の最適な投写位置を取得して、取得した位置に基づいて投写画像の位置調整を行う位置調整制御装置１４とを有している。

なお、２つの調整用画像ＣＧ１，ＣＧ２のうち一方の調整用画像（プロジェクタＰＪ１が投写する調整用画像ＣＧ１とする）を固定し、他方の調整用画像（プロジェクタＰＪ２が投写する調整用画像ＣＧ２とする）をスクリーンＳＣＲで垂直方向（上下方向）に移動させることにより、最適な投写位置を検出するものとする。

図２は投写画像の位置調整装置１の構成を詳細に示す図である。調整用画像データ出力装置１２は、プロジェクタＰＪ１，ＰＪ２に対するそれぞれの調整用画像データＣＧＤ１，ＣＧＤ２を生成する調整用画像データ生成部１２１と、生成された調整用画像データＣＧＤ１，ＣＧＤ２を、対応するプロジェクタＰＪ１，ＰＪ２に出力する調整用画像データ出力部１２２とを有している。

撮像装置１１は、スクリーンＳＣＲ上に投写されたプロジェクタＰＪ１，ＰＪ２からの調整用画像データＣＧＤ１，ＣＧＤ２に対応する調整用画像ＣＧ１，ＣＧ２を撮像して、その撮像画像データを出力する。なお、この撮像装置１１は、スクリーンＳＣＲ上に投写される投写画像の解像度よりも低い解像度のものを用いることができる。

評価値算出装置１３は、撮像装置１１がスクリーンＳＣＲ上の調整用画像ＣＧ１，ＣＧ２を撮像することによって得られた撮像画像データを入力する撮像画像データ入力部１３１、入力した撮像画像データを記憶する撮像画像データ記憶部１３２、調整用画像ＣＧ１，ＣＧ２の位置関係に基づく評価値(詳細については後述する)を算出する評価値算出部１３３、調整用画像ＣＧ２の移動による位置と算出された評価値とを対応させて記憶する位置・評価値記憶部１３４とを有している。

位置調整制御装置１４は、プロジェクタＰＪ１，ＰＪ２の投写画像位置を１画素単位で移動制御可能な投写画像位置制御部１４１と、評価値算出装置１３における位置・評価値記憶部１３４に記憶された位置とその位置に対する評価値とを入力し、評価値のうちの最大の評価値とその位置（最大評価位置という）を取得し、取得した最大の評価値に対する最大評価位置を最大評価位置記憶部１４２に記憶させる位置・評価値取得部１４３と、位置・評価値取得部１４３で取得された最大の評価値とそのときの最大評価位置とに基づいて、前記投写画像位置制御部１４１に移動制御情報を与える制御部１４４とを有している。

図３は水平方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からスクリーンＳＣＲ上にそれぞれ別々に投写された調整用画像ＣＧ１，ＣＧ２の一例を模式的に示す図である。図３（ａ）には調整用画像ＣＧ１が示され、図３（ｂ）には調整用画像ＣＧ２が示されている。図３に示す調整用画像ＣＧ１，ＣＧ２は、プロジェクタＰＪ１，ＰＪ２からの各投写画像のスクリーンＳＣＲ上での垂直方向の位置調整を行うための調整用画像である。

なお、前述したように、調整用画像ＣＧ１，ＣＧ２は、２つのプロジェクタＰＪ１，ＰＪ２のそれぞれに対応した調整用画像として生成して、生成された２つの調整用画像を対応するプロジェクタＰＪ１，ＰＪ２に与えることもできるが、調整用画像として１つの調整用画像を生成し、その１つの調整用画像を分割してそれぞれ対応するプロジェクタＰＪ１，ＰＪ２に与えるようにすることもできる。これは、後に説明する各実施形態に係る投写画像の位置調整方法において用いられる調整用画像についても同様である。

調整用画像ＣＧ１，ＣＧ２は、調整用画像ＣＧ１，ＣＧ２が適切な位置関係でスクリーンＳＣＲ上に投写されたときに、その重畳領域において所定の特徴が出現するようなパターンを有している。

すなわち、２つの調整用画像ＣＧ１，ＣＧ２は、一方の調整用画像ＣＧ１が第１の色による第１のパターンを有し、他方の調整用画像ＣＧ２が第２の色による第２のパターンを有し、第１の色及び第２の色は、第１のパターンと第２のパターンとが重畳したときに、特徴としての白色が出現するように、前記２つの調整用画像それぞれにおける赤色成分、緑色成分、青色成分の画素値が設定されている。

たとえば、調整用画像ＣＧ１における第１の色としては、相対的に強い赤色成分と相対的に弱い緑色成分を有する色とし、調整用画像ＣＧ２における第２の色としては、相対的に強い青色成分と相対的に弱い緑色成分を有する色とする。具体的には、調整用画像ＣＧ１における第１の色については、Ｒ（赤）・Ｇ（緑）・Ｂ(青)の色成分の画素値（階調値）を、Ｒ＝２５５、Ｇ＝１６０、Ｂ＝０と設定し、調整用画像ＣＧ２における第２の色については、Ｒ（赤）・Ｇ（緑）・Ｂ(青)の色成分の画素値（階調値）は、Ｒ＝０、Ｇ＝１６０、Ｂ＝２５５と設定しておく。なお、背景の色は黒が望ましい。また、本発明の各実施形態で用いられる画素値は輝度値を表しているものとする。

なお、調整用画像ＣＧ１，ＣＧ２の重畳領域における画素値を白色（Ｒ＝２５５、Ｇ＝２５５、Ｂ＝２５５）とするには、理想的には、調整用画像ＣＧ１，ＣＧ２のＧ（緑）成分は１２８とすべきであるが、実際には、プロジェクタＰＪ１，ＰＪ２や撮像装置のガンマ特性や照明条件などの影響によって、撮像画像データの輝度特性が変化する場合がある。このため、Ｇ（緑）＝１６０と設定してある。このように、Ｇ（緑）の値は、その時の条件に適宜最適な値に設定することが可能である。

また、前述の例では、ＲとＢの画素値をそれぞれ２５５または０に固定して、Ｇを最適な値に可変設定するようにしたが、ＧとＢの画素値をそれぞれ２５５または０に固定して、Ｒを最適な値に可変設定するようにしてもよく、また、ＲとＧの画素値をそれぞれ２５５または０に固定して、Ｂを最適な値に可変設定するようにしてもよい。ただし、撮像装置はＧ（緑）に対して感度が高いのが一般的であるので、Ｇ（緑）を最適な値に可変設定することが好ましい。

また、調整用画像ＣＧ１，ＣＧ２のそれぞれのパターン（第１のパターン及び第２のパターン）は、水平方向の複数本の直線からなる線画によるパターンとなっている。そして、それぞれの線の幅（太さ）は、図３の破線枠の拡大図に示すように、プロジェクタＰＪ１，ＰＪ２における電気光学変調装置（液晶変調装置という）の１画素に対応し、また、各線の間隔は、プロジェクタＰＪ１，ＰＪ２における液晶変調装置の２０画素分に対応しているものとする。

次に、図１に示すマルチプロジェクションディスプレイにおける基本となる投写画像の位置調整方法について説明する。ここで、プロジェクタＰＪ１，ＰＪ２におけるそれぞれの液晶変調装置の解像度は水平１２８０画素×垂直７２０画素とし、撮像装置の解像度は水平１２８０画素×垂直１０２４画素とする。

まず、ユーザによって２つの調整用画像ＣＧ１，ＣＧ２を、手動操作で可能な範囲の位置調整を行っておく。なお、ユーザの手動操作による位置調整により設定された位置を初期位置と呼ぶことにする。

そして、この初期位置からの最終的な微調整は、基本となる投写画像の位置調整方法を適用することにより行って最適投写位置を決める。以下に、投写画像の位置調整手順について説明する。

まず、調整用画像データ出力装置１２によって、スクリーンＳＣＲにおける左側の投写画像を投写するプロジェクタＰＪ１に対して調整用画像データＣＧＤ１を出力するとともに、右側の投写画像を投写するプロジェクタＰＪ２に対して調整用画像データＣＧＤ２を出力する。これらの調整用画像データＣＧＤ１，ＣＧＤ２のうち、調整用画像データＣＧＤ１は、Ｒ＝２５５、Ｇ＝１６０、Ｂ＝０の画素値を有し、調整用画像データＣＧＤ２は、Ｒ＝０、Ｇ＝１６０、Ｂ＝２５５の画素値を有している。

図４は図３に示す調整用画像ＣＧ１，ＣＧ２を一部に重畳領域を有してスクリーンＳＣＲ上に投写させた状態を模式的に示す図である。図４に示すように、スクリーンＳＣＲ上には、プロジェクタＰＪ１によるＲ＝２５５、Ｇ＝１６０、Ｂ＝０の画素値を有する調整用画像ＣＧ１と、プロジェクタＰＪ２によるＲ＝０、Ｇ＝１６０、Ｂ＝２５５の画素値を有する調整用画像ＣＧ２とが一部に重畳領域を有して投写される。なお、図４における調整用画像ＣＧ１と調整用画像ＣＧ２は、位置調整がなされる前の状態であるとする。

調整用画像ＣＧ１，ＣＧ２をスクリーンＳＣＲ上に投写したあと、調整用画像ＣＧ１，ＣＧ２のいずれか一方を垂直方向に１画素単位で位置を移動させて行く。前述したように、この場合、調整用画像ＣＧ１を固定して、調整用画像ＣＧ２の位置を１画素単位で移動させるものとする。なお、調整用画像ＣＧ２の１画素単位での移動は、プロジェクタＰＪ２の液晶変調装置における画像形成領域の有効画像表示領域の位置を画素単位で移動可能な機能を用いることによって容易に行うことができる。

前記手動操作による位置調整により設定された初期位置から、プロジェクタＰＪ２の投写する調整用画像ＣＧ２を垂直方向（上方向とする）に１０画素移動させた位置（これを処理開始位置とする）とする。次に、該処理開始位置から調整用画像ＣＧ２を下方向に１画素単位で２０画素だけ順次移動させる操作を行う。

なお、前述したように、手動操作により設定された初期位置から、プロジェクタＰＪ２の投写する調整用画像ＣＧ２を垂直方向に１０画素移動させた位置を処理開始位置とし、該処理開始位置から２０画素の移動を行うのは、手動操作により設定された初期位置は、手動操作であってもある程度の正確さを有しており、その初期位置を基準にして上下方向に１０画素程度の範囲内に最適投写位置が存在する確率が高いからである。このような操作を行うことにより、より効率的に最適投写位置を見つけることができる。

図５は調整用画像ＣＧ２の各位置における、撮像装置１１からの撮像画像データ中の調整用画像ＣＧ１,ＣＧ２の重畳領域を拡大表示して示す図である。図５に示す各画像は、処理開始位置から調整用画像ＣＧ２を下方向に１画素単位で２０画素だけ順次移動させる操作を行った場合の各位置における調整用画像ＣＧ１，ＣＧ２の状態を示している。図５において、各画像の左下に付された「１」〜「２０」の数値は、調整用画像ＣＧ２を処理開始位置から２０画素分移動させたときの各位置を示す番号であり、位置「１」は処理開始位置である。

一方、撮像装置１１では、調整用画像ＣＧ２の１画素単位の移動に伴って、スクリーンＳＣＲ上の調整用画像ＣＧ１，ＣＧ２を撮像し、その撮像画像データを出力する。この撮像画像データは、撮像画像データ入力部１３１に入力され、撮像画像データ記憶部１３２に記憶される。そして、評価値算出部１３３は、撮像画像データ記憶部１３２に記憶された撮像画像データを用いて、調整用画像ＣＧ２の１画素単位の位置ごとに評価値の算出を行う。この評価値の算出は次のようにして行われる。

図５に示すように、調整用画像ＣＧ２を１画素単位で移動させ、調整用画像ＣＧ１，ＣＧ２が所定の位置関係となると、調整用画像ＣＧ１，ＣＧ２の重畳領域に元の調整用画像ＣＧ１，ＣＧ２には存在しない特徴が出現する。ここで、調整用画像ＣＧ１，ＣＧ２の重畳領域に出現する特徴とは、調整用画像ＣＧ１，ＣＧ２の各線が重畳することによる撮像画像データにおける画素値の変化であり、この場合、両者が適切に重畳すれば、該重畳領域には白が出現することとなる。

なお、図５はモノクロ図面であるため、図５から白の出現を読み取ることは困難であるが、実際には図５の元となるカラー画像上では白の出現を読み取ることは容易である。この場合、調整用画像ＣＧ１及び調整用画像ＣＧ２の重畳領域において、所定のしきい値（しきい値については後述する。）に達した画素値を有する白をピンク色で示すことにより、ディスプレイにおけるカラー画像上で白の出現を読み取ることがさらに容易になる。

図５からは容易に読み取ることはできないが、位置「６」から白となる領域が出現し始め、位置「８」で白となる領域が最大となり、その後、「９」、「１０」、・・・と位置が進むにつれて、白となる領域が急激に減って行く様子が後に説明する図６から読み取ることができる。

図５においては位置「８」で調整用画像ＣＧ１，ＣＧ２が適切な位置関係にあると判定できる。この調整用画像ＣＧ１，ＣＧ２が適切な位置関係にあるとの判定は、撮像画像データから白となった画素数によって行うことができる。

このとき、白となったか否かは、各画素の画素値が所定値以上となったか否かで判定することができる。すなわち、画素値がＲ，Ｇ，Ｂ＝（２５５，２５５，２５５）である場合を白とするのが理想的であるが、基本となる投写画像の位置調整方法では、しきい値としての画素値を、たとえば、Ｒ，Ｇ，Ｂ＝（２４０，２４０，２４０）と設定し、画素値がＲ，Ｇ，Ｂ＝（２４０，２４０，２４０）以上を白として判定するものとする。

ここで、しきい値をＲ，Ｇ，Ｂ＝（２５５，２５５，２５５）ではなく、Ｒ，Ｇ，Ｂ＝（２４０，２４０，２４０）としたのは、ガンマ特性などの機器特性や照明条件による変動を考慮していて一定のマージンを設けたためである。

図６は処理開始位置「１」から２０画素分移動した位置「２０」までの各位置において白と判定された画素数を示す図である。図６に示すように、位置「８」において白と判定された画素数が最も多くなっている。なお、図６に示す各位置に対する画素数は、図２における評価値算出部１３３によって算出され、算出された画素数は、各位置に対応付けられて図２における評価値算出装置１３の位置・評価値記憶部１３４に記憶される。

そして、図２における位置調整制御装置１４の位置・評価値取得部１４３は、評価値算出装置１３の位置・評価値記憶部１３４に記憶された内容から、最大の画素数を有する位置を最大評価位置として取得して、取得した最大評価位置を最大評価位置記憶部１４２に記憶させる。この場合、位置「８」が最大の画素数を有する最大評価位置であるので、位置「８」を最大評価位置として最大評価位置記憶部１４２に記憶させる。

すなわち、図６は調整用画像ＣＧ２を位置「８」としたときに、調整用画像ＣＧ１の各線と調整用画像ＣＧ２の各線とが垂直方向において最適な投写位置関係で重畳していることを示すものであり、その位置関係においてプロジェクタＰＪ１，ＰＪ２で投写を行えば、それぞれの投写画像が垂直方向における最適投写位置で投写されることを示している。

したがって、その最大評価位置をプロジェクタＰＪ２の投写画像の投写位置とするように、位置調整を行う。これによって、プロジェクタＰＪ１，ＰＪ２のそれぞれの投写画像は、垂直方向において適切に位置調整がなされた最適投写位置となり、重畳領域で不連続な継ぎ目が生じたりぼやけたりすることのない高品質な画像を表示することができる。

また、図１に示すマルチプロジェクションディスプレイにおいて用いられる撮像装置１１の解像度は水平１２８０画素×垂直１０２４画素としており、１００万画素前後の比較的低解像度のものであっても、それよりも高解像度の投写画像（ここでは、１台分のプロジェクタの解像度を水平１２８０×垂直７２０としている）を１画素単位で位置調整することができる。

なお、以上説明した基本となる投写画像の位置調整方法では、調整用画像ＣＧ１，ＣＧ２のうち、調整用画像ＣＧ１を固定し調整用画像ＣＧ２を移動させることによって、調整用画像ＣＧ２の位置を決めるようにしたが、逆に、調整用画像ＣＧ２を固定し調整用画像ＣＧ１を移動させるようにしてもよいことは勿論である。

以上、基本となる投写画像の位置調整方法について説明した。次に、この基本となる投写画像の位置調整方法をリア投写式のマルチプロジェクションディスプレイに適用する例について、以下に示す各実施形態により説明する。

ところで、前述した基本となる投写画像の位置調整方法をそのままリア投写式のマルチプロジェクションディスプレイに適用すると、高精度な位置調整が行えない場合があることが実験により確認された。これは、リア投写式のマルチプロジェクションディスプレイにおいて用いられるリア投写用のスクリーン（リア投写用スクリーンという）の特性の影響によるものであると考えられる。

ここで、位置調整の精度に影響を及ぼすと考えられるリア投写用スクリーンの特性を、「リア投写用スクリーンの特性その１」及び「リア投写用スクリーンの特性その２」として以下に説明する。

（リア投写用スクリーンの特性その１）
リア投写式では、プロジェクタから投写される画像すなわち光は、リア投写用スクリーン内部を通過して視聴者側表示面（フロント側表示面という）に達する。このため、フロント側表示面により明るい画像を提供するには、リア投写用スクリーンは、前述したように、スクリーンのフロント側表示面とは反対側（リア側）から投写される光をスクリーンのリア側の投写面（リア側投写面という）で極力反射させることなく、より多くの光をスクリーンのフロント側表示面から出力させるような特性を有する必要がある。

リア投写用スクリーンがこのような特性を有していることによって、スクリーンのリア側投写面から観測できる光量は、フロント投写式におけるスクリーンのフロント側表示面から観測できる光量に比べて大幅に減少することとなる。

その結果として、以下に示す本発明の実施形態に係るリア投写式のマルチプロジェクションディスプレイのように、リア投写用スクリーンのリア側に設置された撮像装置によってリア投写用スクリーンのリア側投写面を撮像して得られた撮像画像データは、図１で示したようなフロント投写式のマルチプロジェクションディスプレイにおいてスクリーンのフロント側表示面を撮像する撮像装置によって得られた撮像画像データに比べて、輝度が大幅に低下してしまう。このため、前述した基本となる投写画像の位置調整方法による位置調整をそのまま実行したのでは、高精度な位置調整が行えない場合が発生する。

（リア投写用スクリーンの特性その２）
一般に、リア投写用スクリーンでは、フロント側表示面でより広い視野角を確保するため、スクリーン内部に特殊なレンズ構造を有している。このため、フロント側表示面とリア側投写面の画像のフォーカスは大きく異なっており、フロント側表示面から視聴したときに適切なフォーカスとなるように、各プロジェクタのフォーカス設定を行う必要がある。このため、スクリーンのリア側投写面に投写される画像のフォーカスは「ボケ」が発生した状態となっている。したがって、スクリーンのリア側に設置された撮像装置で撮像された撮像画像データもフォーカスに「ボケ」の生じた画像データとなり、１画素単位での高精度な位置調整が難しいものとなる。

そこで、本発明では、これらリア投写用スクリーンの特性その１及びその２を考慮し、リア投写式のマルチプロジェクションディスプレイにおいて高精度な位置調整を可能とするために、前述した基本となる投写画像の位置調整方法を改善する。以下、本発明の実施形態について説明する。

［実施形態１]
図７は本発明の実施形態１に係る投写画像の位置調整方法が適用されるマルチプロジェクションディスプレイの構成を示す図である。図７に示すマルチプロジェクションディスプレイは、リア投写式のマルチプロジェクションディスプレイであって、図１に示したフロント投写式のマルチプロジェクションディスプレイに対して、スクリーンＳＣＲがリア投写用スクリーンＳＣＲ’である点と、２台のプロジェクタＰＪ１，ＰＪ２と、投写画像の位置調整装置１における撮像装置１１とがリア投写用スクリーンＳＣＲ’のリア側に設置される点が異なる。

したがって、実施形態１に係る投写画像の位置調整方法が適用されるマルチプロジェクションディスプレイにおいては、２台のプロジェクタＰＪ１，ＰＪ２からの投写画像は、リア投写用スクリーンＳＣＲ’のリア側投写面Ｒに投写され、撮像装置１１はリア投写用スクリーンＳＣＲ’のリア側投写面Ｒに投写された投写画像を撮像する。また、視聴者はリア投写用スクリーンＳＣＲ’のフロント側表示面Ｆを見る。

図７に示すリア投写式のマルチプロジェクションディスプレイには、図１のマルチプロジェクションディスプレイに示した投写画像の位置調整装置１と同様、調整用画像データ出力装置１２、評価値算出装置１３、位置調整制御装置１４を有する位置調整装置１が設けられている。

この投写画像の位置調整装置１の調整用画像データ出力装置１２、評価値算出装置１３、位置調整制御装置１４はそれぞれ図２と同じ構成要素を有するものであるが、本発明の実施形態１では、評価値算出装置１３における評価値算出部１３３の評価値算出処理が、前述の基本となる投写画像の位置調整方法で用いた評価値算出処理と一部異なる。

すなわち、本発明の実施形態１に係る投写画像の位置調整方法においては、前述した「リア投写用スクリーンの特性その１及びその２」を考慮した評価値算出処理を行う。この本発明の実施形態１に係る投写画像の位置調整方法における評価値算出処理については後述する。

なお、図７に示すリア投写式のマルチプロジェクションディスプレイ及び図２の投写画像の位置調整装置１は、実施形態１のみならず後述する実施形態２〜４においても用いることができる。ただし、実施形態３及び実施形態４では、図７に示す２つのプロジェクタＰＪ１，ＰＪ２が垂直方向に並べられる点が異なる。

次に、実施形態１に係る投写画像の位置調整方法について説明する。実施形態１に係る投写画像の位置調整方法における位置調整操作も、前述の基本となる投写画像の位置調整方法と同じである。

すなわち、まずは、ユーザによって２つの調整用画像ＣＧ１，ＣＧ２を、手動操作で可能な範囲の位置調整を行い、このユーザの手動操作による位置調整により設定された位置を、前述の基本となる投写画像の位置調整方法と同様、初期位置と呼ぶ。そして、この初期位置から、プロジェクタＰＪ２の投写する調整用画像ＣＧ２を垂直方向（上方向とする）に１０画素移動させた位置を処理開始位置として、この処理開始位置から調整用画像ＣＧ２を下方向に１画素単位で２０画素だけ順次移動させる操作を行う。

このように、位置調整を行うための操作は、前述した基本となる投写画像の位置調整方法と同じであるので、ここでは、前述の「リア投写用スクリーンの特性その１及びその２」を考慮した評価値算出処理について説明する。

ここで、実施形態１及び後述する実施形態２〜４では、しきい値としての画素値を、前述の基本となる投写画像の位置調整方法において設定したしきい値（ＲＧＢ＝２４０，２４０，２４０）よりも十分に低い値に設定する。たとえば、Ｒ，Ｇ，Ｂ＝（１２８，１２８，１２８）と設定し、画素値がＲ，Ｇ，Ｂ＝（１２８，１２８，１２８）以上の画素の数を計測する。このしきい値以上の画素を本発明の各実施形態では、高輝度画素と呼び、また、高輝度画素の数を高輝度画素数と呼ぶことにする。

このように、高輝度画素であるか否かを判断するしきい値は、前述の基本となる投写画像の位置調整方法において用いたしきい値（ＲＧＢ＝２４０，２４０，２４０）よりも十分に低い値に設定するのは、前述した「リア投写用スクリーンの特性その１」を考慮したためである。この高輝度画素数は、図２における評価値算出部１３３によって算出される。

この評価値算出部１３３は、各位置における高輝度画素数を算出するだけでなく、各位置ごとのコントラストを算出する機能をも有する。次に、各位置ごとのコントラストの算出について説明する。このコントラストは前述の高輝度画素数とともに評価値を求める際のパラメータとして用いられる。

ところで、「リア投写用スクリーンの特性その１」を考慮し、高輝度画素（基本となる投写画像の位置調整方法においては「白」）と判定する際のしきい値を低い値に設定して、そのしきい値に達した画素の数（高輝度画素数）に基づいて評価値を得ることによっても、ある程度の精度での位置調整は可能である。

しかし、一般的に、撮像装置に用いられる撮像素子は、暗部における輝度分解能が低く、さらには低輝度領域では撮像素子自体から発せられるノイズの影響が増大するため、しきい値を低くした場合に、高輝度画素の判定に誤判定が生じる割合が増大する。このため、単純にしきい値を下げるだけでは、１画素単位の高精度な位置調整は困難である。そこで、本発明ではコントラストを高輝度画素数とともに評価値を求める際のパラメータとして用いる。

なお、コントラストを高輝度画素数とともに評価値を求める際のパラメータとして用いるのは、「リア投写用スクリーンの特性その２」を利用したものである。すなわち、調整用画像ＣＧ１，ＣＧ２の位置ずれが大きい状態では調整用画像ＣＧ１，ＣＧ２の「ボケ」の範囲は広く、その状態の調整用画像ＣＧ１，ＣＧ２を撮像して得られた撮像画像データから得られるコントラストは小さい。逆に、調整用画像ＣＧ１，ＣＧ２の位置ずれが小さい状態では調整用画像ＣＧ１，ＣＧ２の「ボケ」の範囲は狭くなるため、より狭い範囲に光が集中し、その状態の調整用画像ＣＧ１，ＣＧ２を撮像して得られた撮像画像データから得られるコントラストは大きくなる。したがって、コントラストは２つの調整用画像ＣＧ１，ＣＧ２の位置調整の状態を適切に表すものとなる。

コントラストは、前述した処理開始位置から調整用画像ＣＧ２を１画素単位で移動させるごとに求める。すなわち、本発明の実施形態１では、処理開始位置から調整用画像ＣＧ２を１画素単位で２０画素分だけ移動させるごとに高輝度画素を数える処理を行うとともに、各位置でのコントラストを算出する処理を行う。

各位置におけるコントラストは、各位置ごとに撮像された撮像画像データにおいて、最大の画素値を有する画素と最小の画素値を有する画素のそれぞれの画素値の差によって求められるものとする。

具体的には、各画素においてＲＧＢごとの画素値（０〜２５５）を掛け算して得られた値の最大値を有する画素と最小値を有する画素を探し、両者の差をその位置におけるコントラストとする。すなわち、ＲＧＢごとの画素値を掛け算して得られた最大の画素値を（Ｒ・Ｇ・Ｂ）_ｍａｘで表し、ＲＧＢごとの画素値を掛け算して得られた最小の画素値を（Ｒ・Ｇ・Ｂ）_ｍｉｎで表すものとすれば、コントラストＣは、
Ｃ＝（Ｒ・Ｇ・Ｂ）_ｍａｘ−（Ｒ・Ｇ・Ｂ）_ｍｉｎ・・・・・（１）
と求めることができる。

たとえば、ある位置における撮像画像において、最大の画素値を有する画素におけるＲ，Ｇ，Ｂの画素値がＲ＝２５５，Ｇ＝２５５，Ｂ＝２５５であって、最小の画素値を有する画素の画素値が仮にＲ＝０，Ｇ＝０，Ｂ＝０であったとすれば、その位置における撮像画像のコントラストＣは、Ｃ＝（２５５×２５５×２５５）−（０×０×０）と求めることができる。

ここで、（１）式において、画素値の最大値及び最小値を求める際、ＲＧＢの各画素値をそれぞれ掛け算するのは、掛け算することにより、画素間の画素値の差をより明確に表すことができ、最大の画素値及び最小の画素値を有する画素を適切に特定することができるからである。

たとえば、ある位置における撮像画像データにおいて、ＲＧＢの画素値がＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５の画素と、Ｒ＝２５５、Ｇ＝２５５、Ｂ＝２５４との画素が存在した場合、これらの画素値を平均すると、前者の画素の画素値は２５５であり、後者の画素の画素値は、約２５４．６６６となり、両者の画素値に大きな差が認められず、どちらを最大の画素値を有する画素とするかを特定することが難しくなるからである。

これに対して、ＲＧＢの各画素値をそれぞれ掛け算すると、前者の画素の画素値は、２５５×２５５×２５５＝１６５８１３７５であり、後者の画素の画素値は、２５５×２５５×２５４＝１６５１６３５０であるので、両者の画素値に大きな差を認めることができる。このため、最大の画素値の画素の特定を適切に行うことができる。これは、最小の画素値を有する画素を特定する場合にも同様のことがいえる。

コントラストは、２つの調整用画像ＣＧ１，ＣＧ２が適切な位置に重なったときに最大となる。これは、前述したように、２つの調整用画像ＣＧ１，ＣＧ２が適切に重なったときは、いわゆる「ボケ」の範囲が狭く光が集中するため、明るい画素はより明るくなり、同様に、暗い画素は他の光を受けないのでより暗くなるからである。逆に、２つの調整用画像ＣＧ１，ＣＧ２の重なりが適切でないと、いわゆる「ボケ」の範囲が広く光がより広範囲に分散してしまうため、コントラストが低くなる。

図８は２つの調整用画像ＣＧ１，ＣＧ２の位置調整操作を行った際の、各位置における画素値（Ｒ×Ｇ×Ｂ）のヒストグラムを示す図である。すなわち、図８は位置調整操作を行った結果、位置調整のずれの度合いとコントラストとの関係を示すものである。

図８（ａ）は２つの調整用画像ＣＧ１，ＣＧ２のずれが無く適切な位置合わせがなされた状態（これを「±０」と表す）であり、図８（ｂ）は調整用画像ＣＧ２が調整用画像ＣＧ１に対して上方向に１画素ずれた状態（これを「＋１」と表す）であり、図８（ｃ）は調整用画像ＣＧ２が調整用画像ＣＧ１に対して上方向に２画素ずれた状態（これを「＋２」と表す）である。また、図８（ｄ）は調整用画像ＣＧ２が調整用画像ＣＧ１に対して下方向に１画素ずれた状態（これを「−１」と表す）であり、図８（ｅ）は調整用画像ＣＧ２が調整用画像ＣＧ１に対して下方向に２画素ずれた状態（これを「−２」と表す）である。

なお、図８（ａ）〜（ｅ）において、横軸は各位置における画素値（Ｒ×Ｇ×Ｂ）を示し、縦軸は画素値（Ｒ×Ｇ×Ｂ）の度数（画素の個数）であり、この場合、リア投写式によるマルチプロジェクションディスプレイであるので、リア側投写面Ｒを撮像した撮像データには暗い画素すなわち画素値の小さい画素が多い。

また、図８において、各画素の画素値の取り得る範囲としては、Ｒ×Ｇ×Ｂ＝０からＲ×Ｇ×Ｂ＝２５５×２５５×２５５まで、すなわち、０から１６００万以上の大きな値となるが、図８においては、図示の都合上、値を小さくするような処理を行うことにより、画素値を３５０００までの範囲で表すようにしている。

ここで、コントラストは最大の画素値と最小の画素値の差で表すとしているので、画素値の分布が横軸方向に広いほどコントラストが高いことを表している。すなわち、図８からわかるように、調整用画像ＣＧ１，ＣＧ２のずれが上下方向に大きいほどコントラストが低く、調整用画像ＣＧ１，ＣＧ２の位置ずれのない状態（±０）では最もコントラストが高くなっている。

たとえば、２つの調整用画像ＣＧ１，ＣＧ２のずれが無く適切な位置合わせがなされた状態（±０）では最小の画素値は０、最大の画素値は１６９２０であるので、コントラストＣは１６９２０となる。また、調整用画像ＣＧ２が調整用画像ＣＧ１に対して上方向に２画素ずれた状態（＋２）では、最小の画素値は０、最大の画素値は１１４３１であるので、コントラストＣは１１４３１である。また、調整用画像ＣＧ２が調整用画像ＣＧ１に対して下方向に２画素ずれた状態（−２）では、最小の画素値は０、最大の画素値は１２３１０であるので、コントラストＣは１２３１０である。

これらのことから、それぞれの位置における調整用画像ＣＧ１，ＣＧ２のコントラストの高さを２つの調整用画像ＣＧ１，ＣＧ２が適切に重なっているか否かを判定するための指標として用いることができる。すなわち、コントラストを算出した結果、算出されたコントラストが高いということは、２つの調整用画像ＣＧ１，ＣＧ２がより適切に重なっているということである。

以上説明したように、調整用画像ＣＧ２を１画素ずつ移動させることによって２つの調整用画像ＣＧ１，ＣＧ２の位置合わせを行う操作において、各位置における高輝度画素数とコントラストを算出する処理を行う。実施形態１に係る投写画像の位置調整方法ではこれら各位置において算出された高輝度画素数とコントラストとを用いて評価値算出部１３３によって評価値を算出する。この評価値は、高輝度画素数とコントラストを単純に足し算、すなわち、「評価値＝高輝度画素数＋コントラスト」として求めることもできるが、実施形態１に係る投写画像の位置調整方法では、以下のような手順によって評価値を算出する。

これまで説明した高輝度画素数とコントラストの値には大きな差がある。すなわち、各位置において求められるコントラストの値は、前述の（１）からもわかるように、当該位置における各画素のＲＧＢ成分の画素値の積として算出するため、取り得る値の範囲は、「０×０×０〜２５５×２５５×２５５」、すなわち、「０〜１６５８１３７５」となる。

一方、高輝度画素数の値の取り得る範囲は、カメラの撮像素子の画素数が上限であり、たとえば、１００万画素の撮像素子のカメラを使用した場合には、「０〜１００００００」である。また、実際には、設定したしきい値以上の高輝度画素数が発生する領域は、そのうちのごく一部であり、経験的には高輝度画素数の最大値はたかだか２００００画素程度である。したがって、高輝度画素数の値の取り得る範囲は、「０〜２００００」と考えて差し支えない。

このように、コントラストと高輝度画素数とには、両者の値に最大で約８３０倍もの隔たりがある。そこで、適切な評価値を算出するための第１段階として、コントラストと高輝度画素数の値を揃えるための正規化を行う。

具体的には、高輝度画素数に対して以下の処理を施すことで、正規化された高輝度画素数（正規化高輝度画素数という）を算出する。正規化高輝度画素数は、
正規化高輝度画素数＝高輝度画素数×（コントラスト群中の最大値／高輝度画素数群中の最大値）・・・・・（２）
で表すものとする。

なお、コントラスト群中の最大値は、たとえば、図８においては、図８（ａ）〜（ｅ）に示す各位置において求められたコントラスト群中の最大値として図８（ａ）で示す１６９２０ということになる。

前述の（２）式において、「コントラスト群中の最大値／高輝度画素数群中の最大値」は、それぞれ最大値に限らずコントラスト群の平均値、高輝度画素数群の平均値など他の値を用いてもよい。

次に、適切な評価値を算出するための第２段階として、以上のような正規化処理がなされた正規化高輝度画素数とコントラストに対してそれぞれ所定の重み付け係数α，βを掛け算する。すなわち、本発明の実施形態で用いる評価値は、
評価値＝α×正規化高輝度画素数＋β×コントラスト・・・・・（３）
で求められるものであるとする。なお、α，βはある数値に限定されるものではないが、ここでは、コントラストが干渉因子による影響を受けにくく、環境条件がある程度変化した際にも安定した計測結果が得ることができるという特徴を考慮し、コントラストをより重視した重み付けを行う。この点を考慮して、本発明の実施形態１に係る投写画像の位置調整方法では、α＝１、β＝５とする。

ところで、前述の（３）式は調整用画像ＣＧ２を１画素ずつ移動させることによる位置調整操作において、各位置ごとに求められるべきものである。しかしながら、前述の（２）式における「コントラスト群中の最大値／高輝度画素数群中の最大値」は、位置調整操作における各位置ごとに求められるものではなく、位置調整操作における全位置のコントラストと高輝度画素数が算出された時点で、はじめて求めることができる。したがって、位置調整操作における各位置では暫定的に、その位置におけるコントラストと高輝度画素数を、各位置に対応付けて図２における評価値算出装置１３の位置・評価値記憶部１３４に記憶する。そして、全位置におけるコントラストと高輝度画素数が算出された後に、暫定的に記憶していたコントラストと高輝度画素数に対して前述の（３）式を適用することで各位置における評価値を算出し、算出された評価値を各位置に対応付けて図２における評価値算出装置１３の位置・評価値記憶部１３４にあらためて記憶する。

そして、図２における位置調整制御装置１４の位置・評価値取得部１４３は、評価値算出装置１３の位置・評価値記憶部１３４に記憶された内容から、最大の評価値を有する位置を最大評価位置として取得して、取得した最大評価位置を最大評価位置記憶部１４２に記憶させる。たとえば、最大の評価値を有する位置が仮に「８」であったとすれば、その位置「８」を最大評価位置として最大評価位置記憶部１４２に記憶させる。

すなわち、調整用画像ＣＧ２を最大評価位置「８」としたときに、調整用画像ＣＧ１の各線と調整用画像ＣＧ２の各線とが垂直方向において最適な投写位置関係で重畳しているということであり、その位置関係においてプロジェクタＰＪ１，ＰＪ２で投写を行えば、それぞれの投写画像が垂直方向における最適投写位置で投写される。

したがって、その最大評価位置をプロジェクタＰＪ２の投写画像の投写位置とするように、位置調整を行う。これによって、プロジェクタＰＪ１，ＰＪ２のそれぞれの投写画像は、垂直方向において適切に位置調整がなされた最適投写位置となり、重畳領域で不連続な継ぎ目が生じたりぼやけたりすることのない高品質な画像を表示することができる。

また、本発明の各実施形態に係る投写画像の位置調整方法において用いられる撮像装置１１の解像度は水平１２８０画素×垂直１０２４画素としており、１００万画素前後の比較的低解像度のものであっても、それよりも高解像度の投写画像（ここでは、１台分のプロジェクタの解像度を水平１２８０×垂直７２０としている）を１画素単位で位置調整することができる。

図９は実施形態１に係る投写画像の位置調整方法における投写画像の位置調整手順を概略的に示すフローチャートである。図９における個々のステップの処理についてはすでに説明したので、ここでは全体的な処理の流れについて簡単に説明する。

まず、プロジェクタＰＪ１，ＰＪ２によって調整用画像ＣＧ１，ＣＧ２をリア投写用スクリーンＳＣＲ’に投写する（ステップＳ１）。そして、ユーザによって、プロジェクタＰＪ１，ＰＪ２の投写する調整用画像ＣＧ１，ＣＧ２を、手動操作で可能な範囲の位置調整を行ったのち、調整用画像ＣＧ１，ＣＧ２のうちの一方の調整用画像（調整用画像ＣＧ２としている）の位置を処理開始位置「１」に設定し(ステップＳ２)、この状態で撮像装置１１によりリア投写用スクリーンＳＣＲ’のリア側投写面Ｒ上に投写された調整用画像ＣＧ１，ＣＧ２を撮像する（ステップＳ３）。

次に、撮像によって得られた撮像画像データからコントラストと高輝度画素数を算出し（ステップＳ４）、算出されたコントラストと高輝度画素数をそのときの位置に対応つけて記憶する（ステップＳ５）。

そして、位置をインクリメントし（ステップＳ６）、インクリメント後の位置が、最大移動位置（実施形態１では「２０」）を超えたか否かを判定し（ステップＳ７）、最大移動位置を超えていなければ、ステップＳ３に戻り、ステップＳ３以降の処理を行う。一方、最大移動位置を超えた場合は、ステップＳ５で記録されたコントラストと高輝度画素数に対して、前述の（３）式を適用することで各位置における評価値を算出したうえで、位置と評価値を取得し（ステップＳ８）、その中から最大の評価値を有する位置を最大評価位置として最大評価位置記憶部１４２に記憶させる（ステップＳ９）。

そして、制御部１４４は、その最大評価位置をプロジェクタＰＪ２の投写画像の投写位置とするように、プロジェクタＰＪ２の位置調整を行う。これによって、プロジェクタＰＪ１，ＰＪ２のそれぞれの投写画像は垂直方向において最適な位置関係となる。

以上説明したように、実施形態１によれば、各位置ごとに得られた高輝度画素数とコントラストを用いて、前述の（３）式によって各位置ごとの評価値を算出するようにしている。このように、高輝度画素数とコントラストを用いて評価値を算出することにより、前述したような「リア投写用スクリーンの特性その１及びその２」を考慮した最適な評価値を得ることができる。

また、高輝度画素数とコントラストを用いて評価値を算出することにより、撮像装置１１の露出設定、マルチプロジェクションディスプレイを設置する空間の照明条件などの様々な干渉因子の影響を受けにくい評価値を得ることができる。

図１０及び図１１は、干渉因子の１つである撮像装置１１の露出設定を変化させたときの調整用画像の位置調整操作とそのときの評価値の関係を示す図である。図１０において、横軸は位置、縦軸は評価値を表している。なお、図１０は高輝度画素数のみを評価値とした場合、図１１は高輝度画素数とコントラストとを用いて評価値を算出した場合であり、それぞれ、撮像装置１１の露出設定を「４８」、「６４」、「８０」、「９６」、「１１２」、「１２８」に設定した場合について示されている。また、図１０及び図１１は、図６とは異なった実験により得られたものであり、図１０及び図１１では位置「６」のときに調整用画像ＣＧ１，ＣＧ２が適切に位置合わせされた状態であるとする。

図１０からもわかるように、高輝度画素数のみを評価値とした場合には、カメラの露出設定が低いとき（図１０の例では露出設定「４８」、「６４」など）は、高輝度画素数が最大すなわち最大の評価値のときの位置が「６」となり、最大の評価値と適切な位置との対応がとれるが、カメラの露出設定が高くなると（図１０の例では露出設定「８０」以上）、位置「６」以外の位置で高輝度画素数が最大すなわち最大の評価値となり、誤った位置合わせがなされてしまうこととなる。この例では、位置のずれはせいぜい２画素程度であるが、本発明では１画素単位の高精度な位置調整を行うことを目的としているので、２画素の位置ずれは許容範囲からは外れる。

一方、高輝度画素数とコントラストとを用いて評価値を算出した場合には、図１１に示すように、カメラの露出設定が低いときは勿論、カメラの露出設定を高くしていっても、最大の評価値（（３）式によって算出された評価値）のときの位置が「６」となる。このように、撮像装置１１の露出設定に影響を受けないということは、マルチプロジェクションディスプレイを使用する空間の照明などの変化にも影響を受けにくいということであり、いわゆる干渉因子の影響を受けにくい高精度な位置調整が行えるということを示している。

なお、以上説明した実施形態１に係る投写画像の位置調整方法では、調整用画像ＣＧ１，ＣＧ２のうち、調整用画像ＣＧ１を固定し調整用画像ＣＧ２を移動させることによって、調整用画像ＣＧ２の位置を決めるようにしたが、逆に、調整用画像ＣＧ２を固定し調整用画像ＣＧ１を移動させるようにしてもよいことは勿論である。

[実施形態２]
前述の実施形態１に係る投写画像の位置調整方法では、水平方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像の垂直方向（上下方向）の位置調整を行う場合について説明したが、実施形態２に係る投写画像の位置調整方法では、水平方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像の水平方向（左右方向）の位置調整について説明する。

図１２は水平方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からリア投写用スクリーンＳＣＲ’のリア側投写面Ｒ上にそれぞれ別々に投写された調整用画像ＣＧ３，ＣＧ４の一例を模式的に示す図である。この場合の調整用画像としては、図１２（ａ），（ｂ）に示すような調整用画像ＣＧ３，ＣＧ４を用いる。

この調整用画像ＣＧ３，ＣＧ４に対応する調整用画像データＣＧＤ３，ＣＧＤ４は、図２に示す調整用画像データ生成部１２１により生成される。そして、調整用画像データ生成部１２１によって生成された調整用画像データＣＧＤ３，ＣＧＤ４が調整用画像データ出力部１２２により各プロジェクタＰＪ１，ＰＪ２に与えられることで、リア投写用スクリーンＳＣＲ’のリア側投写面Ｒ上には図１２に示すような調整用画像ＣＧ３，ＣＧ４が投写される。

これら調整用画像ＣＧ３，ＣＧ４も前述の調整用画像ＣＧ１，ＣＧ２と同様、各調整用画像ＣＧ３，ＣＧ４が適切な位置関係でリア投写用スクリーンＳＣＲ’に投写されたときに、その重畳領域において所定の特徴が出現するようなパターンを有している。調整用画像ＣＧ３，ＣＧ４は垂直方向の線画からなるパターンを有するものとする。なお、線画の太さ（幅）や線画間の間隔などは調整用画像ＣＧ１，ＣＧ２と同様であるとする（図１２の破線枠参照）。

図１３は図１２に示す調整用画像ＣＧ３，ＣＧ４を一部に重畳領域を有してリア投写用スクリーンＳＣＲ’のリア側投写面Ｒ上に投写させた状態を模式的に示す図である。図１３に示すように、リア投写用スクリーンＳＣＲ’のリア側投写面Ｒ上には、プロジェクタＰＪ１による調整用画像ＣＧ３と、プロジェクタＰＪ２による調整用画像ＣＧ４とが一部に重畳領域を有して投写される。なお、図１３における調整用画像ＣＧ３と調整用画像ＣＧ４は、位置調整がなされる前の状態であるとする。

実施形態２に係る投写画像の位置調整方法においても、２つの調整用画像ＣＧ３，ＣＧ４のうち一方の調整用画像（プロジェクタＰＪ１が投写する調整用画像ＣＧ３とする）を固定し、他方の調整用画像（プロジェクタＰＪ２が投写する調整用画像ＣＧ４とする）をリア投写用スクリーンＳＣＲ’上で水平方向（左右方向）に移動させることにより、最適投写位置を検出するものとする。なお、調整用画像ＣＧ４の１画素単位での移動は、プロジェクタＰＪ２の液晶変調装置における画像形成領域の有効画像表示領域の位置を画素単位で移動可能な機能を用いることによって容易に行うことができる。

実施形態２に係る投写画像の位置調整方法は、投写画像の位置調整装置１（図２参照）を用いて、実施形態１に係る投写画像の位置調整方法とほぼ同様の手順で行うことができるので、ここでは簡単に説明する。

まず、ユーザによって、プロジェクタＰＪ１，ＰＪ２の投写する調整用画像ＣＧ３，ＣＧ４を手動操作で可能な範囲で位置調整を行った状態から、プロジェクタＰＪ２の投写する調整用画像ＣＧ４を水平方向（左方向とする）に１０画素だけ移動させた位置を処理開始位置とし、該処理開始位置から調整用画像ＣＧ４を右方向に１画素単位で２０画素だけ順次移動させる操作を行う。なお、評価値の算出方法など最適な投写位置を設定するための処理は実施形態１において説明したと同様に行うことができるのでその説明は省略する。

なお、実施形態２に係る投写画像の位置調整方法における投写画像の位置調整手順は、実施形態１に係る投写画像の位置調整方法の説明で用いた図９のフローチャートにおいて、調整用画像ＣＧ１，ＣＧ２を調整用画像ＣＧ３、ＣＧ４と置き換えることで、図９のフローチャートを適用することができる。

また、実施形態２に係る投写画像の位置調整方法では、調整用画像ＣＧ３，ＣＧ４のうち、調整用画像ＣＧ３を固定し調整用画像ＣＧ４を移動させることによって、調整用画像ＣＧ４の位置を決めるようにしたが、逆に、調整用画像ＣＧ４を固定し調整用画像ＣＧ３を移動させるようにしてもよいことは勿論である。

［実施形態３］
前述の実施形態１及び実施形態２に係る投写画像の位置調整方法では、水平方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像の垂直方向（上下方向）及び水平方向（左右方向）の位置調整を行う場合について説明したが、実施形態２の説明で用いた調整用画像ＣＧ３，ＣＧ４により垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像の水平方向の位置調整を行うこともできる。

以下、調整用画像ＣＧ３，ＣＧ４により垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像の水平方向の位置調整について説明する。

実施形態３に係る投写画像の位置調整方法が適用されるリア投写式のマルチプロジェクションディスプレイは、図１で示した２台のプロジェクタＰＪ１，ＰＪ２が垂直方向に並べて設置された点が図１と異なるだけであるので、実施形態３に係る投写画像の位置調整方法が適用されるリア投写式のマルチプロジェクションディスプレイについての構成は図示を省略する。

なお、プロジェクタＰＪ１はリア投写用スクリーンＳＣＲ’のリア側投写面Ｒにおける垂直方向の上側の投写画像を投写し、プロジェクタＰＪ２はリア投写用スクリーンＳＣＲ’のリア側投写面Ｒにおける垂直方向の下側の投写画像を投写するものとする。また、プロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像は、一部に重畳領域を有するようにリア投写用スクリーンＳＣＲ’上でタイリング投写される。

図１４は垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からリア投写用スクリーンＳＣＲ’上にそれぞれ別々に投写された調整用画像ＣＧ３，ＣＧ４の一例を模式的に示す図である。図１４（ａ）には調整用画像ＣＧ３が示され、図１４（ｂ）には調整用画像ＣＧ４が示されている。

図１５は図１４に示す調整用画像ＣＧ３，ＣＧ４を一部に重畳領域を有してリア投写用スクリーンＳＣＲ’に投写させた状態を模式的に示す図である。図１５に示すように、リア投写用スクリーンＳＣＲ’には、プロジェクタＰＪ１による調整用画像ＣＧ３と、プロジェクタＰＪ２による調整用画像ＣＧ４とが一部に重畳領域を有して投写される。なお、図１５における調整用画像ＣＧ３と調整用画像ＣＧ４は、位置調整がなされる前の状態であるとする。

実施形態３に係る投写画像の位置調整方法においても、２つの調整用画像ＣＧ３，ＣＧ４のうち一方の調整用画像（プロジェクタＰＪ１が投写する調整用画像ＣＧ３とする）を固定し、他方の調整用画像（プロジェクタＰＪ２が投写する調整用画像ＣＧ４とする）をリア投写用スクリーンＳＣＲ’で水平方向（左右方向）に移動させることにより、最適投写位置を検出するものとする。

実施形態３に係る投写画像の位置調整方法は、投写画像の位置調整装置１（図２参照）を用いて、実施形態１に係る投写画像の位置調整方法とほぼ同様の手順で行うことができるので、ここでは簡単に説明する。

まず、ユーザによって、プロジェクタＰＪ１，ＰＪ２の投写する調整用画像ＣＧ３，ＣＧ４を手動操作で可能な範囲で位置調整を行った状態から、プロジェクタＰＪ２の投写する調整用画像ＣＧ４を水平方向（左方向とする）に１０画素移動させた位置を処理開始位置とし、該処理開始位置から調整用画像ＣＧ４を右方向に１画素単位で２０画素だけ順次移動させる操作を行う。なお、評価値の算出方法など最適な投写位置を設定するための処理は実施形態１において説明したと同様に行うことができるのでその説明は省略する。

なお、実施形態３に係る投写画像の位置調整方法における投写画像の位置調整手順は、実施形態１に係る投写画像の位置調整方法の説明で用いた図９のフローチャートにおいて、調整用画像ＣＧ１，ＣＧ２を調整用画像ＣＧ３、ＣＧ４と置き換えることで、図９のフローチャートを適用することができる。

また、実施形態３に係る投写画像の位置調整方法では、調整用画像ＣＧ３，ＣＧ４のうち、調整用画像ＣＧ３を固定し調整用画像ＣＧ４を移動させることによって、調整用画像ＣＧ４の位置を決めるようにしたが、逆に、調整用画像ＣＧ４を固定し調整用画像ＣＧ３を移動させるようにしてもよいことは勿論である。

[実施形態４]
前述の実施形態３に係る投写画像の位置調整方法では、垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像の水平方向（左右方向）の位置調整を行う場合について説明したが、実施形態１の説明で用いた調整用画像ＣＧ１，ＣＧ２を用いることにより垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からのそれぞれの投写画像の垂直方向（上下方向）の位置調整を行うこともできる。

図１６は垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２から調整用画像ＣＧ１，ＣＧ２を一部に重畳領域を有してリア投写用スクリーンＳＣＲ’のリア側投写面Ｒ上に投写させた状態を模式的に示す図である。なお、図１６における調整用画像ＣＧ１と調整用画像ＣＧ２は、位置調整がなされる前の状態であるとする。

なお、実施形態４に係る投写画像の位置調整方法においても、２つの調整用画像ＣＧ１，ＣＧ２のうちプロジェクタＰＪ１が投写する調整用画像ＣＧ１を固定し、プロジェクタＰＪ２が投写する調整用画像ＣＧ２をリア投写用スクリーンＳＣＲ’上で垂直方向（上下方向）に移動させることにより、最適投写位置を検出するものとする。

そして、ユーザによって、プロジェクタＰＪ１，ＰＪ２の投写する調整用画像ＣＧ１，ＣＧ２を手動操作で可能な範囲で位置調整を行った状態から、プロジェクタＰＪ２の投写する調整用画像ＣＧ２を垂直方向（上方向とする）に１０画素移動させた位置を処理開始位置とし、該処理開始位置から調整用画像ＣＧ２を下方向に１画素単位で２０画素だけ順次移動させる操作を行う。なお、評価値の算出方法など最適な投写位置を設定するための処理は実施形態１において説明したと同様に行うことができるのでその説明は省略する。

なお、実施形態４に係る投写画像の位置調整方法における投写画像の位置調整手順は、実施形態１に係る投写画像の位置調整方法の説明で用いた図９のフローチャートを適用することができる。

また、実施形態４に係る投写画像の位置調整方法では、調整用画像ＣＧ１，ＣＧ２のうち、調整用画像ＣＧ１を固定し調整用画像ＣＧ２を移動させることによって、調整用画像ＣＧ２の位置を決めるようにしたが、逆に、調整用画像ＣＧ２を固定し調整用画像ＣＧ１を移動させるようにしてもよいことは勿論である。

以上、実施形態１から実施形態４で説明したように、調整用画像ＣＧ１，ＣＧ２及び調整用画像ＣＧ３，ＣＧ４を用いることにより、リア投写式のマルチプロジェクションディスプレイにおける水平方向及び垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からの投写画像に対する水平方向及び垂直方向の位置調整を高速かつ高精度に行うことができる。

すなわち、２つのプロジェクタＰＪ１，ＰＪ２からの投写画像に対して、調整用画像ＣＧ１，ＣＧ２を用いることにより、水平方向及び垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２のそれぞれ垂直方向の位置調整を高速かつ高精度に行うことができ、また、調整用画像ＣＧ３，ＣＧ４を用いることにより、水平方向及び垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２のそれぞれ水平方向の位置調整を高速かつ高精度に行うことができる。

そして、実施形態１から実施形態４に係る投写画像の位置調整方法を必要に応じて、適宜、組み合わせることで、水平方向にｍ台、垂直方向にｎ台のｍ台×ｎ台のプロジェクタを用いたリア投写式のマルチプロジェクションディスプレイにおける各プロジェクタのそれぞれの投写画像の位置調整を高速かつ高精度に行うことができる。

たとえば、図１７はｍ＝４，ｎ＝４すなわち４台×４台の合計１６台のプロジェクタＰＪ１，ＰＪ２，・・・を有したリア投写式のマルチプロジェクションディスプレイであり、このようなマルチプロジェクションディスプレイにおいても、水平方向及び垂直方向に隣接して並ぶ２台のプロジェクタを一組として、実施形態１から実施形態４に係る投写画像の位置調整方法で説明したような位置調整操作を行うことにより、全てのプロジェクタの投写画像の位置調整を短時間にしかも高精度に行うことができる。

なお、本発明は前述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の各実施形態では、各プロジェクタＰＪ１，ＰＪ２からの投写画像をリア投写用スクリーンＳＣＲ’上でタイリング投写する場合について説明したが、タイリング投写だけでなく、各プロジェクタＰＪ１，ＰＪ２からの投写画像を同じ投写領域に重ね合わせる、いわゆるスタッキング投写を行う場合にも適用することができる。

また、前述の各実施形態では、調整用画像ＣＧ１における第１の色については、Ｒ（赤）・Ｇ（緑）・Ｂ(青)の色成分の画素値（階調値）を、Ｒ＝２５５、Ｇ＝１６０、Ｂ＝０と設定し、調整用画像ＣＧ２における第２の色については、Ｒ（赤）・Ｇ（緑）・Ｂ(青)の色成分の画素値は、Ｒ＝０、Ｇ＝１６０、Ｂ＝２５５と設定したが、２つの調整用画像が適切な位置関係で投写されたときに、リア投写用スクリーンＳＣＲ’のリア側投写面Ｒを撮影して得られる撮像画像データにおいて所定の特徴が取得できればよいので、２つの調整用画像ＣＧ１，ＣＧ２の画素値は前述の値に限られるものではない。

また、前述の各実施形態においては、高輝度画素と判定を行うための画素値のしきい値を「１２８，１２８，１２８」としたが、このしきい値もリア投写用スクリーンの特性、機器特性、照明などの環境条件などに応じて最適な値を設定することができる。

また、調整用画像ＣＧ１，ＣＧ２及び調整用画像ＣＧ３、ＣＧ４におけるそれぞれの線の間隔は２０画素としたが、これも２０画素に限られるものではない、ただし、１０画素以上とすることが好ましい。

また、評価値の算出は、２つの調整用画像が同じ位置関係となる状態で複数回の撮影を行い、その複数の撮像データを用いて評価値を算出することが好ましい。このように、複数回の撮像により得られる撮像画像データを用いて評価値を算出することにより、撮像装置のノイズの影響を低減した高精度な評価値を得ることができる。なお、この場合、複数回の撮像により得られる撮像画像データを用いて算出された評価値の平均値を求めて、その平均値を求めるべき評価値とすることが考えられる。

また、前述の各実施形態では、複数のプロジェクタのうちの２台のプロジェクタについて位置調整を行うという説明であったが、これは、最低でも２台のプロジェクタを一組として位置調整を行うということであり、複数台もしくは複数組のプロジェクタからの投写画像を同時に位置調整することをも含むものである。

たとえば、２台×２台の４台のプロジェクタを用いたマルチプロジェクションディスプレイであれば、上段の２台のプロジェクタを一組とし、この上段の一組のプロジェクタからの投写画像の水平方向の位置調整を行うと同時に下段の２台のプロジェクタを一組とし、この下段の一組のプロジェクタからの投写画像の水平方向の位置調整を行うことも可能である。このように、複数台もしくは複数組のプロジェクタからの投写画像を同時に位置調整することによって、マルチプロジェクションディスプレイが図１７に示すように多数のプロジェクタによって構成される場合、位置調整を効率よく行うことができ、位置調整時間を大幅に短縮することができる。

また、前述の各実施形態では、リア投写用スクリーンＳＣＲ’のリア側投写面Ｒに投写される画像を撮像して得られた撮像画像データに基づいて評価値を求めて位置調整を行う例について説明したが、これに限らず、たとえば、奥行きを小さくするために投写距離を稼ぐ目的で反射鏡を使用するようなリア投写式のマルチプロジェクションディスプレイにも起用できる。この場合、反射鏡としてハーフミラーを用い、そのハーフミラーの裏側にカメラを設置して、その撮像画像を用いて位置調整を行うことも可能である。

このように、本発明では、複数の投写画像の位置調整を２つの調整用画像を用いて行う際、２つの調整用画像の最終的な投写画像（たとえば、リア投写式のマルチプロジェクションディスプレイにおいてはリア投写用スクリーンＳＣＲ’のフロント側表示面Ｆに表示される画像など）を撮像して得られた撮像画像を用いるのではなく、投写画像の光路上の任意の断面における投写画像を撮像して得られた撮像画像データに基づいて位置調整を行うものである。

また、前述の各実施形態で用いたプロジェクタは、ＲＧＢ３原色の３板式のプロジェクタを想定したものとして説明したが、本発明は４原色以上の多原色タイプのプロジェクタにも適用可能となるものである。

また、前述の各実施形態では、複数台のプロジェクタからの投写画像を水平方向または垂直方向に配置（投写）するために、プロジェクタを物理的に水平方向または垂直方向に並べたが、プロジェクタの物理的位置を変更するのではなく、レンズシフトなどの投写位置変更機能を用いてもよいことは勿論である。

また、前述の各実施形態では、調整用画像ＣＧ１，ＣＧ２及び調整用画像ＣＧ３、ＣＧ４として、水平方向、垂直方向の直線からなるパターンを用いたが、調整用画像ＣＧ１，ＣＧ２及び調整用画像ＣＧ３、ＣＧ４のパターンとしては、線画を有するものであれば、種々のパターンを用いることができる。

図１８は調整用画像のパターンの変形例（その１）を示す図、図１９は調整用画像のパターンの変形例（その２）を示す図、図２０は調整用画像のパターンの変形例（その３）を示す図である。

図１８（ａ）は傾きを有した直線のパターンからなる調整用画像の例、図１８（ｂ）の（i），(ii）は線の間隔に周期性を有したパターンからなる調整用画像の例、図１８（ｃ）の（i），(ii)は曲線によるパターンからなる調整用画像の例、図１８（ｄ）は破線によるパターンからなる調整用画像の例である。

また、図１９（ａ）は線の太さに周期性を有したパターンからなる調整用画像の例、図１９（ｂ）は図形によるパターンからなる調整用画像の例、図１９（ｃ）は文字によるパターンからなる調整用画像の例、図１９（ｄ）は隣り合う線の長さや模様に変化をもたせたパターンからなる調整用画像の例、図１９（ｅ）はイラストなどによるパターンからなる調整用画像の例である。

また、図２０（ａ）は線にグラデーションを有するパターンからなる調整用画像の例、図２０（ｂ）は同じ線の上下方向で色を異ならせたパターンからなる調整用画像の例、図２０（ｃ）は隣り合う線で色を異ならせたパターンからなる調整用画像の例である。

これら図１８〜図２０で示す以外にも、たとえば、色を反転させたパターン、時間軸上で色を変化させたパターン、時間軸上で形状を変化させたパターン、これら各種のパターンや図１８〜図２０を組み合わせてなるパターンなど種々のパターンを調整用画像として用いることができる。

また、以上説明した本発明を実現するための処理手順が記述された投写画像の位置調整プログラムを作成し、その投写画像の位置調整プログラムを各種の記録媒体に記録させておくこともできる。したがって、本発明は、その投写画像の位置調整プログラムの記録された記録媒体をも含むものである。また、ネットワークからその投写画像の位置調整プログラムを得るようにしてもよい。

フロント投写式のマルチプロジェクションディスプレイの構成を示す図。 投写画像の位置調整装置１の構成を詳細に示す図。 水平方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からスクリーンＳＣＲ上にそれぞれ別々に投写された調整用画像ＣＧ１，ＣＧ２の一例を模式的に示す図。 図３に示す調整用画像ＣＧ１，ＣＧ２を一部に重畳領域を有してスクリーンＳＣＲ上に投写させた状態を模式的に示す図。 調整用画像ＣＧ２の各位置における、撮像装置１１からの撮像画像データ中の調整用画像ＣＧ１,ＣＧ２の重畳領域を拡大表示して示す図。 処理開始位置「１」から２０画素分移動した位置「２０」までの各位置において白と判定された画素数を示す図。 本発明の実施形態１に係る投写画像の位置調整方法が適用されるリア投写式のマルチプロジェクションディスプレイの構成を示す図。 ２つの調整用画像ＣＧ１，ＣＧ２の位置調整操作を行った際の各位置における輝度（Ｒ×Ｇ×Ｂ）のヒストグラムを示す図。 実施形態１に係る投写画像の位置調整方法における投写画像の位置制御手順を概略的に示すフローチャート。 干渉因子の１つであるカメラの露出設定を変化させたときの調整用画像の位置調整操作とその時の評価値（高輝度画素のみによる評価値）の関係を示す図。 干渉因子の１つであるカメラの露出設定を変化させたときの調整用画像の位置調整操作とその時の評価値（高輝度画素とコントラストとを用いて算出された評価値）の関係を示す図。 水平方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からリア投写用スクリーンＳＣＲ’上にそれぞれ別々に投写された調整用画像ＣＧ３，ＣＧ４の一例を模式的に示す図。 図１２に示す調整用画像ＣＧ３，ＣＧ４を一部に重畳領域を有してリア投写用スクリーンＳＣＲ’上に投写させた状態を模式的に示す図。 垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２からリア投写用スクリーンＳＣＲ’上にそれぞれ別々に投写された調整用画像ＣＧ３，ＣＧ４の一例を模式的に示す図。 図１４に示す調整用画像ＣＧ３，ＣＧ４を一部に重畳領域を有してリア投写用スクリーンＳＣＲ’上に投写させた状態を模式的に示す図。 垂直方向に並べられた２つのプロジェクタＰＪ１，ＰＪ２から調整用画像ＣＧ１，ＣＧ２を一部に重畳領域を有してリア投写用スクリーンＳＣＲ’上に投写させた状態を模式的に示す図。 ４台×４台の合計１６台のプロジェクタを有したリア投写式のマルチプロジェクションディスプレイを示す図。 調整用画像のパターンの変形例（その１）を示す図。 調整用画像のパターンの変形例（その２）を示す図。 調整用画像のパターンの変形例（その３）を示す図。

符号の説明

１・・・投写画像の位置調整装置、１１・・・撮像装置、１２・・・調整用画像データ出力装置、１３・・・評価値算出装置、１４・・・位置調整制御装置、ＣＧ１，ＣＧ２，ＣＧ３，ＣＧ４・・・調整用画像、ＰＪ１，ＰＪ２・・・プロジェクタ、ＳＣＲ’・・・リア投写用スクリーン、Ｆ・・・フロント側表示面、Ｒ・・・リア側投写面

Claims (20)

1. 複数のプロジェクタを有するマルチプロジェクションディスプレイにおける２つのプロジェクタから重畳領域を有するようにスクリーンに投写される２つの投写画像の位置を２つの調整用画像を用いて調整する投写画像の位置調整方法であって、
   前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに与える第１ステップと、
   前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する第２ステップと、
   前記評価値に基づいて前記２つの投写画像の位置調整を行う第３ステップと、
   を有することを特徴とする投写画像の位置調整方法。
2. 請求項１に記載の投写画像の位置調整方法において、
   前記第２ステップは、前記２つの調整用画像のうち少なくとも一方の調整用画像を画素単位で水平方向または垂直方向に移動させて、前記調整用画像を画素単位で移動させるごとに前記評価値を算出することを特徴とする投写画像の位置調整方法。
3. 請求項１または２に記載の投写画像の位置調整方法において、
   前記パターンは、１画素に対応する幅の線画を有することを特徴とする投写画像の位置調整方法。
4. 請求項１〜３のいずれかに記載の投写画像の位置調整方法において、
   前記特徴は、前記撮像画像データにおける画素値であることを特徴とする投写画像の位置調整方法。
5. 請求項４に記載の投写画像の位置調整方法において、
   前記評価値は、前記画素値がしきい値以上の画素数と各画素の画素値の差に基づいて算出されるコントラストとを用いて算出され、
   前記第３ステップは、前記評価値が最大となる位置を前記２つの投写画像の最適投写位置として前記２つの投写画像の位置調整を行うことを特徴とする投写画像の位置調整方法。
6. 請求項５に記載の投写画像の位置調整方法において、
   前記しきい値は、前記２つの調整用画像における各パターンが重畳することによってはじめて出現する色に対応する値に設定することを特徴とする投写画像の位置調整方法。
7. 請求項５または６に記載の投写画像の位置調整方法において、
   前記コントラストを算出する際の前記各画素の画素値の差は、最大の画素値を有する画素と最小の画素値を有する画素のそれぞれの画素値の差であることを特徴とする投写画像の位置調整方法。
8. 請求項７に記載の投写画像の位置調整方法において、
   前記各画素の画素値は、前記撮像画像データを構成する各色成分の積で求められる値を用いることを特徴とする投写画像の位置調整方法。
9. 請求項５〜８のいずれかに記載の投写画像の位置調整方法において、
   前記評価値は、前記しきい値以上の画素数と前記コントラストとの和に基づいて求められることを特徴とする投写画像の位置調整方法。
10. 請求項９に記載の投写画像の位置調整方法において、
    前記しきい値以上の画素数と前記コントラストとの正規化を行うことを特徴とする投写画像の位置調整方法。
11. 請求項１０に記載の投写画像の位置調整方法において、
    前記コントラストが前記評価値により多く反映されるような重み付けを行うことを特徴とする投写画像の位置調整方法。
12. 請求項１〜１１のいずれかに記載の投写画像の位置調整方法において、
    前記２つの調整用画像は、一方の調整用画像が第１の色による第１のパターンを有し、他方の調整用画像が第２の色による第２のパターンを有し、前記第１の色及び第２の色は、前記第１のパターンと第２のパターンとが重畳したときに前記所定の特徴が出現するように、前記２つの調整用画像それぞれにおける赤色成分、緑色成分、青色成分の値が設定されていることを特徴とする投写画像の位置調整方法。
13. 請求項１〜１２のいずれかに記載の投写画像の位置調整方法において、
    前記第２ステップにおいては、前記２つの調整用画像が同じ位置関係となる状態で複数回の撮影を行って前記評価値を算出することを特徴とする投写画像の位置調整方法。
14. 請求項１〜１３のいずれかに記載の投写画像の位置調整方法において、
    前記第３ステップは、２つのプロジェクタのうちいずれかのプロジェクタの電気光学変調装置における画像形成領域の有効画像表示領域の位置を画素単位で移動させることにより前記２つの投写画像の位置調整を行うことを特徴とする投写画像の位置調整方法。
15. 請求項１〜１４のいずれかに記載の投写画像の位置調整方法において、
    前記マルチプロジェクションディスプレイはリア投写式のマルチプロジェクションディスプレイであって、前記撮像画像データは、前記リア投写式のマルチプロジェクションディスプレイに用いられるリア投写用のスクリーンにおける前記視聴者側表示面と反対側の投写面に投写される前記調整用画像を撮像して得られる画像データであることを特徴とする投写画像の位置調整方法。
16. 複数のプロジェクタを有するマルチプロジェクションディスプレイにおける２つのプロジェクタから重畳領域を有するようにスクリーンに投写される２つの投写画像の位置を２つの調整用画像を用いて調整する投写画像の位置調整装置であって、
    前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに出力可能な調整用画像データ出力装置と、
    前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する評価値算出装置と、
    前記評価値に基づいて前記２つの投写画像の位置調整を行う位置調整制御装置と、
    を有することを特徴とする投写画像の位置調整装置。
17. 複数のプロジェクタを有するマルチプロジェクションディスプレイにおける２つのプロジェクタから重畳領域を有するようにスクリーンに投写される２つの投写画像の位置を２つの調整用画像を用いて調整するための投写画像の位置調整プログラムであって、
    前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに与える第１ステップと、
    前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する第２ステップと、
    前記評価値に基づいて前記２つの投写画像の位置調整を行う第３ステップと、
    を有することを特徴とする投写画像の位置調整プログラム。
18. 複数のプロジェクタを有し、前記複数のプロジェクタからの投写画像が重畳領域を有するようにスクリーンに投写可能なマルチプロジェクションディスプレイであって、
    前記２つの調整用画像が適切な位置関係で投写されたときに前記重畳領域において所定の特徴が出現するようなパターンを有する前記２つの調整用画像に対応する２つの調整用画像データを前記２つのプロジェクタに出力可能な調整用画像データ出力装置と、
    前記２つのプロジェクタから前記２つの調整用画像を投写させたときの前記２つのプロジェクタから前記スクリーンの視聴者側表示面に至る間の所定位置における前記２つの調整用画像を撮影して得られる撮像画像データに基づいて前記特徴に関連付けられた評価値を算出する評価値算出装置と、
    前記評価値に基づいて前記２つの投写画像の位置調整を行う位置調整制御装置と、
    をさらに有することを特徴とするマルチプロジェクションディスプレイ。
19. 請求項１８に記載のマルチプロジェクションディスプレイにおいて、
    前記複数のプロジェクタからの複数の投写画像が重畳領域を有するようにスクリーンにタイリング投写可能に構成されていることを特徴とするマルチプロジェクションディスプレイ。
20. 請求項１８に記載のマルチプロジェクションディスプレイにおいて、
    前記複数のプロジェクタからの複数の投写画像が重畳領域を有するようにスクリーンにスタッキング投写可能に構成されていることを特徴とするマルチプロジェクションディスプレイ。