JP6140987B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、マルチプロジェクションシステムにおける輝度を調整するための画像処理装置及び画像処理方法に関するものである。

マルチプロジェクションシステムは、複数のプロジェクタを並べて画像を投影することにより、個々のプロジェクタの性能を超える解像度での画像表示を可能とする。マルチプロジェクションシステムで、画像を投影する際には一般に、各プロジェクタからの投影領域間に隙間が生じないよう、隣り合うプロジェクタの投影領域が一部重畳するようにプロジェクタを設置する。投影領域内における重畳部分（以後、重畳領域と表記する）では、各プロジェクタからの光が重なることで輝度が高くなるため、重畳領域とそれ以外の部分（以後、非重畳領域と表記する）との境界部において不自然な輝度のギャップが生じる。

このギャップを抑える技術として例えば、特許文献１に記載されている画像の輝度補正技術がある。該文献には、各プロジェクタから投影する画像の各画素の輝度値の補正を行う輝度補正パラメータを算出する手法が述べられている。具体的には、重畳領域と非重畳領域を合わせた領域（以後、全投影領域と表記する）において輝度が一定になるように、あるいは、重畳領域と非重畳領域との境界部の輝度が滑らかに変化するように、補正を行うことが記載されている。

特開２００２−１１６５００号公報

しかしながら、全投影領域において輝度が一定になるように輝度補正パラメータを算出する場合、輝度値を補正前の全投影領域における最低輝度に揃えることになるので、表示可能な輝度及びコントラストが低下するという問題が生じる。

また、各プロジェクタの投影中心の輝度は一般的に周辺部の輝度に比べて高い。従って、重畳領域と非重畳領域との境界部において輝度変化が滑らかになるように補正したとしても、全投影領域で見た場合には複数の輝度ピークを持った山が連続したような不自然な輝度ムラが生じる。

本発明に係る画像処理装置は、各投影手段の投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数の投影手段の輝度特性を取得する取得手段と、前記取得した複数の投影手段の輝度特性に基づいて、前記結合投影領域の水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正手段と、前記輝度分布を、水平または垂直１ラインにおける２点間の輝度が凹関数により規定される分布となる範囲内で設定する設定手段とを備えることを特徴とする。

本発明によれば、全投影領域において不自然な輝度ムラを抑制しながら輝度およびコントラストの低下を最小限に抑えた輝度補正処理を可能となる。

実施例１におけるプロジェクタの特性と課題の関係例を示した図である。 実施例１におけるマルチプロジェクションシステムの全体構成例を示した図である。 実施例１における画像処理部の内部構成例を示すブロック図である。 実施例１における全体処理の流れの一例を示すフローチャートである。 実施例１の目標輝度分布生成部における処理の流れの一例を示すフローチャートである。 実施例１における水平方向１ライン分の目標輝度分布算出の一例の説明図である。 実施例１における目標輝度分布画像生成の一例の説明図である。 実施例１におけるプロジェクタ３台を使用した際の目標輝度分布算出の一例の説明図である。 実施例１における画像分割の一例の説明図である。 実施例１の輝度補正パラメータ算出部における処理の流れの一例を示すフローチャートである。 実施例１における重畳領域内の輝度補正パラメータの一例を説明するための図である。 実施例１において算出した輝度補正パラメータの一例を示した図である。 実施例２における画像処理部の内部構成例を示すブロック図である。 実施例２における処理の流れの一例を示すフローチャートである。 実施例２における目標輝度分布設定のユーザインタフェースの一例を示した図である。 実施例３における水平方向１ライン分の目標輝度分布算出の一例の説明図である。 実施例１の効果を幾何学的に計算した一例の説明図である。 実施例４における水平方向１ライン分の目標輝度分布算出の一例の説明図である。

［実施例１］
一般に、プロジェクタの投影領域における輝度分布は一様ではなく、中央部よりも周辺部の輝度が低いという特性を持つ。また、プロジェクタの個体ごとのランプ性能に応じて、出力可能な最高輝度が異なる。

そこで本実施例では、全投影領域の中央部の輝度を高く、周辺部ほど輝度を低く補正することで、不自然な輝度ムラを抑制しながら全投影領域における輝度及びコントラストの低下を最小限に抑えた輝度補正を行う。

以下、本実施例では説明の簡略化のため、２台のプロジェクタを水平方向に並べて配置するマルチプロジェクションシステムを例に説明する。２台のプロジェクタは各投影領域が一部重畳するように設置する。このとき、２台のプロジェクタはスクリーン面に正対しており、スクリーン面まで等距離であるものとする。さらに、各プロジェクタ間の色差やガンマ特性が予め補正されており、プロジェクタの光は任意のタイミングで遮光できるものとする。

２台のプロジェクタを水平方向に並べて投影したときの輝度補正前後の輝度分布は図１のようになる。輝度分布は、各プロジェクタの輝度特性を表している。図１（ａ）は、画素値が全てＲ＝Ｇ=Ｂ=２５５（すなわち白）である画像（以後、全白画像と表記する）を２台のプロジェクタで同時に投影し、投影した全白画像を撮像した撮像画像データを表している。この撮像画像データ内の点線部に沿った輝度分布の補正前後を表したグラフを図１（ｂ）に示す。図１（ｂ）の横軸は画素位置、縦軸は輝度値を示している。輝度値Ｌは例えば、Ｌ＝０．２９８９＊Ｒ＋０．５８６６＊Ｇ＋０．１１４５＊Ｂで撮像画像データから算出できる。以後、投影領域の輝度分布を表す際は、撮像画像データ内の投影領域における１ライン分の輝度分布を表すものとし、横軸は画素位置、縦軸は輝度値を示すものとする。図１（ｂ）は、プロジェクタＡの最高輝度値がプロジェクタＢの最高輝度値よりも高いことを示している。また、図１（ｂ）から明らかなように、プロジェクタＡとプロジェクタＢの重畳領域においては補正前では不自然な輝度のギャップが生じているが、補正後ではこの不自然な輝度のギャップが解消していることがわかる。

図２は、本実施例におけるマルチプロジェクションシステムの全体構成例を示した図である。マルチプロジェクションシステムの制御を行うためのＰＣなどの情報処理装置２０１は、入力画像データ記憶部２０２、撮像制御部２０３、撮像画像データ記憶部２０４、画像処理部２０５、画像投影制御部２０６から構成される。情報処理装置２０１は画像データを処理する画像処理装置とすることができる。また、情報処理装置２０１に、カメラなどの撮像装置２０７がＵＳＢケーブルなどで接続されており、プロジェクタ２０８Ａ、２０８ＢがＨＤＭＩケーブルなどでそれぞれ接続されている。入力画像データ記憶部２０２には、表示したい画像データ（以後、表示画像データと表記する）や輝度補正に用いるキャリブレーション画像データが格納される。キャリブレーション画像データは、例えば上述したような画素値が全てＲ＝Ｇ=Ｂ=２５５（すなわち白）である全白画像を示す画像データである。撮像制御部２０３は、撮像装置２０７を制御する。撮像画像データ記憶部２０４には、撮像装置２０７で撮像した撮像画像データが格納される。画像処理部２０５は、撮像画像データを基に表示画像データの輝度を補正し、輝度補正画像データを生成する。画像投影制御部２０６は、プロジェクタ２０８Ａ、２０８Ｂを制御して、入力画像データ記憶部２０２に格納されている画像データが示すキャリブレーション画像データや画像処理部２０５にて生成した画像データが示す輝度補正された画像の投影を行う。なお、各プロジェクタからスクリーン２０９に画像を投影したときのスクリーン２０９上の全投影部分を投影領域２１０とし、投影領域内における重畳部分を重畳領域２１１とする。このように、投影領域２１０は各プロジェクタの投影領域の少なくとも一部を重畳させるように形成した場合、結合投影領域ということができる。

図３は本実施例の画像処理部２０５の内部構成例を示すブロック図である。画像処理部２０５は、画像データ入力部３０１、目標輝度分布生成部３０２、画像データ分割部３０３、輝度補正パラメータ算出部３０４、輝度補正処理部３０５から構成される。画像データ入力部３０１は、入力画像データ記憶部２０２に格納されている表示画像データＦ及びキャリブレーション画像データＧ、並びに、撮像画像データ記憶部２０４に格納されている撮像画像データＨを取得する。目標輝度分布生成部３０２は、撮像画像データＨを基に全投影領域の理想的な輝度分布を表した目標輝度分布画像データＫを生成する。画像データ分割部３０３は、撮像画像データＨを基に表示画像データＦと目標輝度分布画像データＫとを分割し、表示分割画像データｆ及び目標輝度分布分割画像データｋを生成する。輝度補正パラメータ算出部３０４は、撮像画像データＨと目標輝度分布分割画像データｋとを基に、表示分割画像データｆの輝度値を補正するための輝度補正パラメータＷを算出する。輝度補正処理部３０５は、輝度補正パラメータＷを基に表示分割画像データｆの輝度値を補正し、輝度補正画像データｆ’を生成する。以後、表示用画像データＦ及び目標輝度分布画像データＫが示す画像の幅、高さをそれぞれｕ１、ｖ１とし、撮像画像データＧが示す画像の幅、高さをそれぞれｕ２、ｖ２とする。また、表示分割画像データｆ、目標輝度分割画像データｋ、及び輝度補正後画像データｆ’が示す画像並びに各プロジェクタの画面解像度の幅、高さ、をそれぞれｕ３、ｖ３とする。説明を簡単にするために、表示画像データＦと撮影画像データＧ内の全投影領域のアスペクト比が一致しているものとする。

図４は本実施例のマルチプロジェクションシステムにおける処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて本実施例における全体の処理フローを説明する。図４に示す処理は、情報処理装置２０１のＲＡＭやＲＯＭなどに格納されたプログラムをＣＰＵが実行することによって実現される。

ステップＳ４０１では、画像投影制御部２０６が各プロジェクタを制御してキャリブレーション画像データＧを各プロジェクタから投影する。そして、撮像制御部２０３が撮像装置２０７を制御することで各プロジェクタによって投影された投影領域２１０を撮像する。本ステップでは、プロジェクタ２０８Ａ、２０８Ｂを個別に用いる個別撮像と、両方のプロジェクタを同時に用いる全体撮像の２種類の撮像を行う。

まず、プロジェクタ２０８Ａの場合を例に個別撮像について説明する。個別撮像は、プロジェクタ２０８Ａからキャリブレーション画像データＧを投影した状態で実行する。プロジェクタ２０８Ａからスクリーン２０９に投影したときの投影領域２１０を投影領域２１０Ａとし、これを撮像装置２０７で撮像して撮像画像データＨ_Aを得る。プロジェクタ２０８Ｂについても同様に撮像を行い、撮像画像データＨ_Bを得る。

次に、全体撮像について説明する。全体撮像は、各プロジェクタからキャリブレーション画像データＧを同時に投影した状態で実行する。各プロジェクタからスクリーン２０９に投影したときの投影領域２１０を投影領域２１０Ａ＋Ｂとし、投影領域２１０Ａ＋Ｂを撮像装置２０７で撮像して撮像画像データＨ_A+Bを得る。

個別撮像および全体撮像で得られた撮像画像データは、それぞれ撮像画像データ記憶部２０４に格納される。

ステップＳ４０２では、目標輝度分布生成部３０２が、全体撮像で得られた撮像画像データＨ_A+Bから投影領域２１０Ａ＋Ｂの理想的な輝度分布を表した目標輝度分布画像データＫを生成する。目標輝度分布画像データＫの生成についての詳細は後述する。

ステップＳ４０３では、画像データ分割部３０３が、表示画像データＦから各プロジェクタが投影する表示分割画像データｆ_A、ｆ_Bを生成する。また、画像データ分割部３０３が、目標輝度分布画像データＫから各プロジェクタの投影領域の理想的な輝度分布を表した目標輝度分布分割画像データｋ_A、ｋ_Bを生成する。表示画像データＦと目標輝度分布画像データＫのそれぞれの分割方法についての詳細は後述する。

ステップＳ４０４では、輝度補正パラメータ算出部３０４が、目標輝度分布分割画像データｋ_A、ｋ_Bを用いて、表示用分割画像データｆ_A、ｆ_Bの輝度値を補正するための輝度補正パラメータＷ_A、Ｗ_Bを算出する。輝度補正パラメータＷ_A、Ｗ_Bの算出方法についての詳細は後述する。

ステップＳ４０５では、輝度補正パラメータＷ_A、Ｗ_Bに基づいて表示分割画像データｆ_A、ｆ_Bの輝度値を画素ごとに補正し、輝度補正画像データｆ’_A、 ｆ’_Bを生成する。本実施例における輝度値補正の計算式の一例を次式で表す。

ただし、ｆ’ｚ（ｉ，ｊ）は四捨五入した整数値とする。

ここで、各画像の左上角の画素を原点、水平方向の画素位置をｉ、垂直方向の画素位置をｊとする。

最後に、ステップＳ４０６では、画像投影制御部２０６が各プロジェクタを制御し、輝度補正画像データｆ’_A、 ｆ’_Bが示す画像を各プロジェクタからスクリーン２０９に投影し、処理を終了する。

＜目標輝度分布画像データ生成＞
ここでは、ステップＳ４０２で行う投影領域２１０Ａ＋Ｂの目標輝度分布画像データ生成について説明する。目標輝度分布画像データＫは、投影領域２１０Ａ＋Ｂの理想的な輝度分布を表す。なお、撮像画像と表示画像とは解像度の違いなどにより同サイズであるとは限らない。そこで、目標輝度分布画像データＫを生成する前に、撮像画像データＨ_A+Bが示す画像と同サイズである画像を示すプレ目標輝度分布画像データＫ’を生成する。プレ目標輝度分布画像データＫ’は、水平方向１ラインずつ目標輝度分布を求め、全ラインの目標輝度分布を算出することで得られる。その後、プレ目標輝度分布画像データＫ’を基に表示画像データＦが示す画像と同サイズの画像を示す目標輝度分布画像データＫを生成する。

図５は目標輝度分布生成部３０２における処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて説明する。

まず、ステップＳ５０１では、目標輝度分布生成部３０２は、撮像画像データＨ_A+Bが示す画像と同サイズの画像を示すプレ目標輝度分布画像データＫ’を生成し、各画素の画素値を例えば０（すなわち、全黒画像）で初期化する。

次に、ステップＳ５０２では、目標輝度分布生成部３０２は、プレ目標輝度分布画像データＫ’について全ラインの目標輝度分布を算出したかの判定を行う。全ラインにおいて目標輝度分布の算出が完了していればステップＳ５０８へ進み、そうでなければステップＳ５０３へ進む。

ステップＳ５０３では、目標輝度分布生成部３０２は、処理する水平方向１ラインを選択し、その１ラインに対してステップＳ５０４〜Ｓ５０７の処理を行う。

ステップＳ５０４では、目標輝度分布生成部３０２は、撮像画像データＨ_A+Bが示す画像内の投影領域２１０Ｈ_A+Bにおける代表点の画素位置と輝度値とを取得する。まず、目標輝度分布生成部３０２は、投影領域２１０Ｈ_A+Bの両端に相当する画素Ｐ１、Ｐ２と、投影領域２１０Ｈ_A+Bの中心に相当する画素Ｐ３をそれぞれ代表点として取得する。また、目標輝度分布生成部３０２は、当該代表点の画素位置ｉ_Pmと輝度値Ｌｉ_Pm（ｍ＝１、２、３）とをそれぞれ取得する。なお、以後、スクリーン２０９上の投影領域２１０と、撮像画像データＨが示す画像内の投影領域とを区別するために、撮像画像データＨが示す画像内の投影領域を投影領域２１０Ｈ_Z（Ｚ＝Ａ、Ｂ、Ａ＋Ｂなど）と表記する。

ステップＳ５０５では、目標輝度分布生成部３０２は、３つの代表点を通過する二次関数を求めることで目標輝度分布を算出する。一般に、３点（ｘ₁、ｙ₁）、（ｘ₂、ｙ₂）、（ｘ₃、ｙ₃）を通過する二次関数ｙ＝ａｘ²＋ｂｘ＋ｃについて以下の式が成り立つ。

この連立方程式を行列で表すと次式のように記述でき、ガウス・ジョルダン法を用いることで３つの係数ａ、ｂ、ｃを求めることができる。

本実施例では、式３において（ｘ₁，ｙ₁）＝（ｉ_P1，Ｌ_P1）、（ｘ₂，ｙ₂）＝（ｉ_P2，Ｌ_P2）、（ｘ₃，ｙ₃）＝（ｉ_P3，Ｌ_P3）として係数ａ、ｂ、ｃを求めることにより、Ｐ１、Ｐ２、Ｐ３を結ぶ２次曲線を得る。そしてこの２次曲線を１ライン分の目標輝度分布とする。

ステップＳ５０６では、目標輝度分布生成部３０２は、各プロジェクタが目標輝度分布の通りに出力できるかの判定を行う。判定方法は、目標輝度分布が撮像画像データＨ_A+B内の投影領域２１０Ｈ_A+Bの輝度分布内に収まる場合は出力可能とし、そうでなければ出力不可能とする。具体的には、ステップＳ５０５で算出した目標輝度分布の各画素の輝度値Ｌ_iと、撮像画像データＨ_A+Bの同じ画素位置の画素の輝度値Ｌ’_iとを比較し、全画素についてＬ_i≦Ｌ’_iの場合は出力可能とし、そうでない場合は出力不可能とする。出力可能であれば、ステップＳ５０５を完了してステップＳ５０２へ戻り、そうでなければステップＳ５０７へ進む。

ステップＳ５０７では、目標輝度分布生成部３０２は、代表点Ｐ３の輝度値を下げ、ステップＳ５０５へ戻る。代表点Ｐ３の輝度値の下げ幅は、例えば、１ライン内の最大輝度値と最小輝度値の差の１０分の１程度に設定することができる。ただし、下げ幅が小さいとステップＳ５０５〜Ｓ５０７の処理回数が増加するため、処理時間を短縮したい場合には下げ幅を大きく設定することができる。

図６は、算出した１ライン分の目標輝度分布の例を示す。線６０１は撮像画像データＨ_A+B内の投影領域２１０Ｈ_A+Bにおける１ライン分の輝度分布、すなわち補正前の輝度分布を示している。線６０２は、代表点を単純につないだ状態の輝度分布を示している。線６０２の輝度分布では、各プロジェクタが出力できない目標輝度が含まれてしまう。そこで、本実施例では代表点Ｐ３の目標輝度値を下げて再度２次曲線を算出して線６０３のようなステップＳ５０５〜Ｓ５０７の処理により算出した１ライン分の目標輝度分布を算出する。なお、本実施例では、複数のプロジェクタのうち、出力可能な輝度が低いプロジェクタに併せて目標輝度分布を算出している。前述したように、プロジェクタの特性として、通常は中央部分の輝度値が高く、周辺部分に向かって輝度値が低くなる傾向がある。そこで、本実施例では、図６に示すようにプロジェクタＡとプロジェクタＢとの両端部分の輝度値を比較して、輝度値が低いプロジェクタＢの端部ｉ_P2の輝度値Ｌ_P2にプロジェクタＡの端部ｉ_P1の輝度値を設定する。そして、目標輝度分布を算出している。このように、出力可能な輝度が低いプロジェクタに併せて目標輝度分布を算出することで、他方のプロジェクタの出力特性が著しく低い場合であっても、輝度およびコントラストの低下を最小限に抑えることができる。

尚、本実施例では、撮像画像データＨ_A+B内の投影領域２１０Ｈ_A+Bの両端と中央の画素を代表点とし、それらを結ぶ２次曲線を得ることで１ライン分の目標輝度分布を算出する例を説明した。しかし、投影領域２１０Ａ＋Ｂの中央部の輝度が高く周辺部の輝度が低くなるような輝度分布が得られるのであれば、曲線の求め方はこれに限定されない。例えば、代表点を増やし、四次関数を得ることで目標輝度分布を算出してもよい。

全ラインについてステップＳ５０３〜Ｓ５０７により目標輝度分布の算出することでプレ目標輝度分布画像データＫ’が生成される。その後、ステップＳ５０８で、目標輝度分布生成部３０２は、プレ目標輝度分布画像データＫ’から目標輝度分布画像データＫを生成する。プレ目標輝度分布画像データＫ’から目標輝度分布画像データＫを生成する理由は、上述したように解像度の違いによる画像サイズの違いを解消するためである。

具体的には、図７（ａ）に示すように、プレ目標輝度分布画像データＫ’から、算出した目標輝度分布の４隅の画素Ｐ^K' ₁〜Ｐ^K' ₄の画素位置を取得する。次に、画素Ｐ^K' ₁〜Ｐ^K' ₄が表示画像データＦと同サイズになるように射影変換を行う。一般に、射影変換では変換前画像の画素位置を（ｘ，ｙ）、変換後画像の画素位置を（ｘ’，ｙ’）とすると、ｘ、ｙ、ｘ’、ｙ’の関係は次式で表すことができる。

上式において、ａ１〜ａ８は変換前画像と変換後画像との間の射影変換パラメータである。式４を展開し、変換前画像内の画素位置Ｐ₁（ｘ₁，ｙ₁）〜Ｐ₄（ｘ₄，ｙ₄）と、変換後画像内の画素位置Ｑ₁（ｘ’₁，ｙ’₁）〜Ｑ₄（ｘ’₄，ｙ’₄）を代入することで次式の連立方程式を導くことができる。

上式を解くことにより、射影変換パラメータａ１〜ａ８を算出する。本実施例では、変換前画像の画素位置Ｐ₁（ｘ₁，ｙ₁）〜Ｐ₄（ｘ₄，ｙ₄）をプレ目標輝度分布画像データＫ’の画素位置Ｐ^K' ₁（ｘ₁，ｙ₁）〜Ｐ^K' ₄（ｘ₄，ｙ₄）とする。また、変換後画像の画素位置Ｑ₁（ｘ’₁，ｙ’₁）〜Ｑ₄（ｘ’₄，ｙ’₄）を目標輝度分布画像データＫの画素位置Ｑ^K ₁（ｘ’₁，ｙ’₁）〜Ｑ^K ₁（ｘ’₄，ｙ’₄）として射影変換パラメータを算出する。そして、そのパラメータに基づいて射影変換を行うことで、図７（ｂ）に示す目標輝度分布画像データＫを得る。なお、目標輝度分布画像データＫの画素位置Ｑ^K ₁（ｘ’₁，ｙ’₁）〜Ｑ^K ₁（ｘ’₄，ｙ’₄）は、表示画像データＦの表示サイズに基づいて求めることができる。

以上で説明した処理により、目標輝度分布生成部３０２は、投影領域２１０Ａ＋Ｂの理想的な目標輝度分布を示した目標輝度分布画像データＫを生成する。

尚、本実施例においてはプロジェクタ２台を水平方向に並べて構成する場合を例として説明したが、３台以上のプロジェクタを水平方向に並べて構成してもよい。図８は、プロジェクタ３台を水平方向に並べてステップＳ５０１〜Ｓ５０７の処理を行い、ある１ライン分の目標輝度分布を算出した場合の例を示す。線８０１は撮像画像データＨ_A+B+C内の投影領域２１０Ｈ_A+B+Cの輝度分布、すなわち補正前の輝度分布を示している。線８０２は、代表点を単純につないだ状態の輝度分布を示している。線８０３はステップＳ５０５〜Ｓ５０７の処理により算出した目標輝度分布を示している。

また、プロジェクタを垂直方向に並べてもよいことは言うまでもない。例えば、ステップＳ５０２〜Ｓ５０７を水平方向１ラインではなく、垂直方向１ラインに変更して処理することで垂直方向に対応することができる。さらに、プロジェクタを水平方向および垂直方向に複数台並べた場合は、ステップＳ５０２〜Ｓ５０７を水平方向と垂直方向両方について１ラインごとに行い、輝度値の小さい方を目標輝度として目標輝度分布画像データＫを生成することができる。

＜画像分割＞
ここでは、画像データ分割部３０３がステップＳ４０３で行う画像分割処理について図９を用いて説明する。各プロジェクタによって輝度の補正の度合いが異なるので、目標輝度分布画像データＫと表示画像データＦとをそれぞれのプロジェクタが出力する画像サイズの画像データに分割する。本処理により、各プロジェクタが投影する画像を示す表示分割画像データｆ_A、ｆ_B、および各プロジェクタの投影領域の理想的な輝度分布を表した目標輝度分布分割画像データｋ_A、ｋ_Bを生成する。表示分割画像データｆ_A、ｆ_B、および目標輝度分布分割画像データｋ_A、ｋ_Bを生成するにあたり、射影変換パラメータを算出する。以下、射影変換パラメータの算出方法を説明する。

図９（ａ）は、撮像画像データＨ_A+Bと表示画像データＦとが示す画像の例を示した図である。まず、撮像画像データＨ_A+B内の投影領域２１０Ｈ_A、２１０Ｈ_Bの四隅の画素Ｐ^H _A1〜Ｐ^H _A4、Ｐ^H _B1〜Ｐ^H _B4の画素位置を取得する。Ｐ^H _A2、Ｐ^H _A3、Ｐ^H _B1、Ｐ^H _B4の画素位置は、たとえば図１（ｂ）に示すように輝度値が急激に変化している箇所に基づいて取得することができる。次に、画素Ｐ^H _A1〜Ｐ^H _A4、Ｐ^H _B1〜Ｐ^H _B4に対応する画素を表示画像データＦから取得し、それぞれＰ^f _A1〜Ｐ^f _A4、Ｐ^f _B1〜Ｐ^f _B4とする。具体的には、Ｐ^f _A1、Ｐ^f _A4、Ｐ^f _B2、Ｐ^f _B3は、それぞれ順に表示画像データＦの左上角、左下角、右上角、右下角の画素に対応付けされる。Ｐ^f _A2、Ｐ^f _B1は、画素Ｐ^H _A1Ｐ^H _B1間の距離、Ｐ^H _B1Ｐ^H _A2間の距離、Ｐ^H _A2Ｐ^H _B2間の距離の比が、それぞれ画素Ｐ^f _A1Ｐ^f _B1間の距離、画素Ｐ^f _B1Ｐ^f _A2間の距離、Ｐ^f _A2Ｐ^f _B2間の距離の比と一致する画素に対応付けられる。Ｐ^f _A3、Ｐ^f _B4についても同様に画素間の距離の比を用いることで対応付けを行う。最後に、撮像画像データＨ_A+B内の画素Ｐ^H _A1〜Ｐ^H _A4と表示分割画像データｆ_A内の画素Ｐ^f _A1〜Ｐ^f _A4からステップＳ５０７で説明した射影変換パラメータ（以後、パラメータＡと表記する。）を求める。同様に、表示分割画像データｆ_Bの四隅の画素とＰ^f _B1〜Ｐ^f _B4から射影変換パラメータ（以後、パラメータＢと表記する。）を求める。

画像データ分割部３０３は、表示画像データＦとパラメータＡから射影変換を行うことで表示分割画像データｆ_Aを生成し、表示画像データＦとパラメータＢから射影変換を行うことで表示分割画像データｆ_Bを生成する。図９（ｂ）は、生成した表示分割画像データｆ_A、ｆ_Bが示す画像の一例を示す。同様に、画像データ分割部３０３は、目標輝度分布画像データＫとパラメータＡを用いて射影変換を行うことで目標輝度分布分割画像データｋ_Aを生成する。そして、目標輝度分布画像データＫとパラメータＢを用いて射影変換を行うことで、目標輝度分布分割画像データｋ_Bを生成する。

以上で説明した処理により、画像データ分割部３０３は、表示画像データＦと目標輝度分布画像データＫとをそれぞれ分割し、表示分割画像データｆ_A、ｆ_Bと目標輝度分布分割画像データｋ_A、ｋ_Bを生成する。

＜輝度補正パラメータ算出＞
ここでは、輝度補正パラメータ算出部３０４がステップＳ４０４で行う輝度補正パラメータの算出について説明する。輝度補正パラメータ算出部３０４は、輝度補正パラメータＷ_Aとして、２つのパラメータを算出して乗算する。すなわち、輝度補正パラメータ算出部３０４は、撮像画像データＨ_A内の投影領域２１０Ｈ_Aにおける輝度補正パラメータＷ_A1と、重畳領域においてプロジェクタ２０８Ａが出力する輝度値の割合を示す輝度補正パラメータＷ_A2とを算出する。輝度補正パラメータ算出部３０４は、算出した輝度補正パラメータＷ_A1とＷ_A2とを画素ごとに乗算することで輝度補正パラメータＷ_Aを得る。輝度補正パラメータＷ_Bは、撮像画像データＨ_Bに対して同様の処理を行うことで得ることができる。これらの輝度補正パラメータは、各プロジェクタから投影される画像の輝度を調整する割合を表している。これら輝度補正パラメータＷ_A、Ｗ_Bを用いることで表示分割画像ｆ_A、ｆ_Bの輝度補正が行われる。

図１０は輝度補正パラメータ算出部３０４における処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて本処理について説明する。

まず、ステップＳ１００１では、輝度補正パラメータ算出部３０４は、撮像画像データＨ_A、Ｈ_Bと目標輝度分布分割画像データｋ_A、ｋ_Bから表示分割画像データｆ_A、ｆ_Bの輝度を補正するためのパラメータＷ_A1、Ｗ_B1を算出する。具体的には、輝度補正パラメータ算出部３０４は、式（６）にて輝度補正パラメータＷ_A1を算出する。式（６）では、撮像画像データＨ_A内の投影領域２１０Ｈ_Aにおける所定の画素の輝度値Ｙ_HA（ｉ，ｊ）が、目標輝度分布分割画像データｋ_Aの対応する画像の輝度値Ｙ_KA（ｉ，ｊ）と等しくなるように、輝度補正パラメータＷ_A1を算出している。なお、撮像画像データＨ_A内の投影領域２１０Ｈ_Aの画素位置と目標輝度分布分割画像データｋ_Aの対応する画素位置は、例えば上述した画像分割の際に得られた射影変換パラメータを用いて対応付けすることができる。

撮像画像Ｈ_Bに対しても同様に処理を行うことで輝度補正パラメータＷ_B1を算出する。輝度補正パラメータＷ_B1の計算式を次式で表す。

ここで、輝度補正パラメータＷ_A1、Ｗ_B1は０〜１の値となり、この値が小さいほど表示分割画像データｆ_A、ｆ_Bの輝度値が小さくなる。なお、上記処理では、輝度補正パラメータは、撮像画像データＨ_A及びＨ_Bを用いて算出したが、撮像画像データＨ_A+Bに基づいて各撮像画像データＨの輝度値を算出したものを用いて輝度補正パラメータを算出してもよい。

次に、ステップＳ１００２では、輝度補正パラメータ算出部３０４は、撮像画像データＨ_A+Bを２値化して、重畳領域２１１の形状を取得する。例えば、まず撮像画像データＨ_A、Ｈ_B内の投影領域２１０Ｈ_A、２１０Ｈ_Bにおける最高輝度値Ｙ_Ah、Ｙ_Bhを求め、数値が大きい方を閾値ｔｈとする。次に、撮像画像データＨ_A+B中の投影領域２１０Ｈ_A+Bの輝度値がｔｈ以上の場合は１、ｔｈ未満の場合は０を割り当てることで２値化を行い、２値画像データＢＩ_A+Bを生成する。以降のステップＳ１００３では、この２値画像データＢＩ_A+Bの各画素を参照することで重畳領域を識別する。尚、閾値の決め方はこれに限らず、重畳領域と非重畳領域とを分離できる値であればよい。

ステップＳ１００３では、輝度補正パラメータ算出部３０４は、ステップＳ１００２で取得した形状の重畳領域２１１において各プロジェクタが出力する輝度値の割合を表す輝度補正パラメータＷ_A2、Ｗ_B2を算出する。図１１（ａ）は撮像画像データＨ_A+Bが示す画像であり、図１１（ｂ）は撮像画像データＨ_A+B内の重畳領域２１１を拡大した図である。重畳領域２１１内のある画素をＰ（ｉ，ｊ）とすると、この画素の輝度補正パラメータＷ_A2は次式で表せる。

ここで、αは点Ｐから投影領域２１０Ｈ_Aの周縁部までの水平方向の最短距離を表しており、βは点Ｐから投影領域２１０Ｈ_Bの周縁部までの水平方向の最短距離を表している。同様にして、撮像画像データＨ_B中の重畳領域２１１における輝度補正パラメータＷ_B2は次式により算出する。

前述したように、重畳領域２１１における輝度補正パラメータＷ_A2、Ｗ_B2は、重畳領域２１１の各画素において各プロジェクタが出力する輝度値の割合を表しており、合計すると１となる。図１１（ｂ）の破線部に沿った横１ライン分の輝度補正パラメータＷ_A2、Ｗ_B2の一例を図１１（ｃ）に示す。

ステップＳ１００４では、輝度補正パラメータＷ_A1と輝度補正パラメータＷ_A2を画素毎に乗算することで最終的な輝度補正パラメータＷ_Aを算出する。同様にして、輝度補正パラメータＷ_B1と輝度補正パラメータＷ_B2を画素毎に乗算することで輝度補正パラメータＷ_Bを算出する。図１２（ａ）の破線部に沿った横１ライン分の輝度補正パラメータＷ_A、Ｗ_Bの一例を図１２（ｂ）、（ｃ）に示す。図１２（ｂ）は表示分割画像データｆ_Aの輝度補正を行うための輝度補正パラメータＷ_Aを示しており、図１２（ｃ）は表示分割画像データｆ_Bの輝度補正を行うための輝度補正パラメータＷ_Bを示している。

以上の処理により、輝度補正パラメータ算出部３０４は、撮像画像データＨ_A、Ｈ_B、Ｈ_A+Bと目標輝度分布分割画像データｋ_A、ｋ_Bから、目標輝度分布に一致させるための輝度補正パラメータＷ_A、Ｗ_Bを算出する。輝度補正処理部３０５は、これら輝度補正パラメータＷ_A、Ｗ_Bを表示分割画像データｆ_A、ｆ_Bに対して画素毎に乗算することで輝度補正画像データｆ’_A、 ｆ’_Bを得る。そして、画像投影制御部２０６が輝度補正画像データｆ’_A、 ｆ’_Bが示す画像を各プロジェクタから投影することにより、不自然な輝度ムラを抑制しながら投影領域２１０Ａ＋Ｂの輝度及びコントラストの低下を最小限に抑えた輝度補正が可能となる。

本実施例では、主に輝度の補正について述べたが、本実施例を色成分に適用してもよいことは言うまでもない。

本実施例の締めくくりに幾何学的に計算した場合の本実施例の効果について述べる。具体的には、全白画像をスクリーンに投影し、全投影領域の輝度を同領域内の最低輝度に合うように輝度補正を行った場合と、本実施例による輝度補正を行った場合とのコントラスト差について述べる。

まず、撮像画像データＨ_A、Ｈ_Bからそれぞれプロジェクタ２０８Ａ、２０８Ｂの投影領域における水平方向１ライン分の輝度分布を算出する。

次に、撮像画像データＨ_Aから算出した輝度分布Ａをｙ＝ａ₁ｘ²＋ｂ₁ｘ＋ｃ₁、撮像画像データＨ_Aから算出した輝度分布Ｂをｙ＝ａ₂ｘ²＋ｂ₂ｘ＋ｃ₂とする。ここでプロジェクタ２０８Ａ、２０８Ｂから投影されるそれぞれの投影領域が２５％重なるように調整し、輝度分布Ａの幅と輝度分布Ｂの幅が２００画素である場合について考える。この状態を図１７に示す。同図は撮像画像データＨ_A、Ｈ_Bにおけるある水平方向１ライン分の輝度値を画素ごとに和算したものである。Ｌ_P1は投影領域２１０Ａの左端の画素位置ｉ_P1における輝度値を示しており、Ｌ_P2は投影領域２１０Ｂの右端の画素位置ｉ_P2における輝度値を示している。また、Ｌ_P3は投影領域２１０Ａ＋Ｂの中心に相当する画素位置ｉ_P3における輝度値を示している。

仮に投影領域２１０Ａと投影領域２１０Ｂの周辺光量比をそれぞれ７０％、７３％とすると、各係数の一例としてａ₁＝−０．００２５、ｂ₁＝０．５５、ｃ₁＝７０、ａ₂＝−０．００３、ｂ₂＝１．５、ｃ₂＝−７７．５とおくことができる。

これら２つの輝度分布から目標輝度分布を算出するためには、ステップＳ５０５〜Ｓ５０７の処理を繰り返し行う。その結果、点線で示す目標輝度分布はｙ＝−０．０００８ｘ²＋０．３１４９ｘ＋６９．６６のように算出される。

最後に、算出した目標輝度分布の頂点における輝度と、両端の輝度の内低い方の輝度との差を算出する。仮に定めた値を用いて計算した結果、最小輝度値は６９．６６、最大輝度値は１００．１となり、約３０％のコントラスト上昇の効果が見込まれる。

尚、本実施例の効果を幾何学的に計算する際、撮影画像データＨを用いたが、測色機を使って測定したデータ値を用いてもよい。

［実施例２］
実施例１では、スクリーン２０９上に各プロジェクタからキャリブレーション画像Ｇを投影し、投影領域２１０を撮像装置２０７を用いて撮像して撮像画像データＨを得る。そして、得られた撮像画像データＨを基に最適な目標輝度分布を決定し、輝度補正パラメータＷを算出する方法について説明した。本実施例では、ユーザがユーザインタフェース（以後、ＵＩと表記する。）を介して目標輝度分布を設定する。本実施例においても、実施例１と同様に、目標輝度分布は全投影領域において中央部の輝度を高く、周辺部にいくほど輝度を低くした分布である。その分布に一致するように輝度補正パラメータＷを算出する例について説明する。

本実施例におけるマルチプロジェクションシステムの構成は実施例１の画像処理部２０５内にある目標輝度分布生成部３０２のみ異なる。本実施例においても２台のプロジェクタを例に説明する。プロジェクタの性能や設置条件は実施例１と同じものとする。

図１３は、本実施例の画像処理部２０５の構成を示したブロック図である。目標輝度分布設定部１３０１では、投影領域２１０Ａ＋Ｂの目標輝度分布をユーザがＵＩを介して設定する。

図１４は本実施例のマルチプロジェクションシステムにおける処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて説明する。なお、実施例１と同様の処理については説明を省略する。

ステップＳ１４０１では、目標輝度分布設定部１３０１が、ユーザによるＵＩを介した指示によって目標輝度分布を設定する。図１５は目標輝度分布設定のグラフィックユーザインタフェースの一例を示す。投影領域２１０Ａ＋Ｂを表示するための投影領域表示部１５０１と、投影領域内の点線部に沿った輝度分布（実線）と目標輝度分布（破線）を表示するための輝度分布表示部１５０２と、目標輝度分布を設定するための目標輝度分布設定バー１５０３がある。ユーザは目標輝度分布設定バー１５０３を上下にスライドさせることで目標輝度分布を設定する。ただし、投影領域２１０Ａ＋Ｂの両端に位置する画素の輝度値を固定し、中央部の画素の輝度値を予め設定された範囲内で調整可能とすることで、中央部の輝度を高く周辺部の輝度を低くするという条件を保ったまま目標輝度分布の設定を行うことができる。

ユーザが目標輝度分布を設定すると、各プロジェクタが目標輝度分布の通りに出力できるかの判定を目標輝度分布設定部１３０１で行う。出力判定の方法は、ステップＳ５０６と同様とすることができる。出力可能であれば、ステップＳ５０８の処理を行い、目標輝度分布設定処理を終了する。出力不可能であれば、ユーザに出力不可能であることをウィンドウメッセージ等で知らせ、再び目標輝度分布設定バー１５０３で目標輝度分布を調整する。目標輝度分布設定処理が終了すると、ステップＳ４０３〜Ｓ４０６を行う。

以上により、ユーザが目標輝度分布を設定でき、それに合わせた輝度補正処理が可能となる。

［実施例３］
本実施例では、実施例１の目標輝度分布生成処理を変更した例を説明する。目標輝度分布生成処理以外は実施例１と同じ処理とすることができる。

実施例１では、ステップＳ５０４において１ライン分の代表点を両端と中央の画素としている。しかし、図１６に示すように２台のプロジェクタの輝度分布が大きく異なる場合、実施例１で説明した目標輝度分布の算出方法だと、２台のプロジェクタの内、高い輝度が出力できるプロジェクタの輝度特性を活かすことができない。そこでまず、１ライン分の代表点を両端の画素のみとし、これら２点の代表点を結び、凹関数（上に凸な関数）ｆ（ｘ）をつくる。この関数は、ｆ（ｘ）のグラフからどのような２点を選んで線分をつくってもｆ（ｘ）のグラフよりも下方にくるものである。次に、補正前の撮像画像Ｈ_A+B内の１ライン分の輝度分布ｇ（ｘ）とする。そして、ΔＥ＝ｆ（ｘ）−ｇ（ｘ）が最小となるΔＥを求めることで最終的な目標輝度分布ｆ’（ｘ）を得ることができる。ただし、１ラインの全画素において画素値がｆ（ｘ）＞ｇ（ｘ）を満たすものとする。すなわち、水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように目標輝度分布を算出する。

本実施例においても、不自然な輝度ムラを抑制しながら輝度およびコントラストの低下を最小限に抑えた輝度補正処理が可能となる。

［実施例４］
実施例４では、画素値が全てＲ＝Ｇ=Ｂ=０（すなわち黒）である画像（以後、Ｒ＝Ｇ＝Ｂ＝０である画像を全黒画像とする）や全画素の画素値が限りなく０に近い画像を投影した場合の処理について説明する。プロジェクタの構造上、全黒画像や全画素の画素値が限りなく０に近い画像を投影した場合、プロジェクタから光が出ているため少し明るい黒に見えてしまう特性がある。以後、この特性を黒浮きと表記する。マルチプロジェクションシステムでは、重畳領域において黒浮きが強く表れるため継ぎ目が目立ってしまう。そこで、本実施例では、全黒画像を表示した場合、黒浮きにより発生する重畳領域の継ぎ目を目立たなくする例を説明する。

本実施例のフローチャートの概要は実施例１で説明したステップＳ４０１、Ｓ４０２の一部が異なり、ステップＳ４０３〜Ｓ４０６は同様である。以下、ステップＳ４０１、Ｓ４０２の変更点について説明する。

ステップＳ４０１、すなわちキャリブレーション画像データの投影・撮影処理における変更点は、キャリブレーション画像データＧである全白画像を投影する代わりに全黒画像を投影する点である。すなわち、結合投影領域の輝度分布が、各プロジェクタの出力可能な最低輝度値に基づくことになる。

ステップＳ４０２、すなわち目標輝度分布画像データ生成処理における変更点は、ステップＳ５０６の処理である各プロジェクタの出力可能判定と、ステップＳ５０７の処理である代表点の輝度値変更方法である。

本実施例においてステップＳ５０６では、実施例１とは判定方法が異なる。本実施例での判定方法は、目標輝度分布が撮像画像データＨ_A+B内の投影領域２１０Ａ＋Ｂの輝度分布を超えている場合は出力可能とし、そうでなければ出力不可能とする。具体的には、ステップＳ５０５で算出した目標輝度分布の各画素の輝度値Ｌ_iと、撮像画像データＨ_A+Bの同じ画素位置の画素の輝度値Ｌ’_iとを比較し、全画素についてＬ’_i≦Ｌ_iの場合は出力可能とし、そうでない場合は出力不可能とする。出力可能であれば、ステップＳ５０５を完了してステップＳ５０２へ戻り、そうでなければステップＳ５０７へ進む。

本実施例においてステップＳ５０７では、目標輝度分布生成部３０２は、代表点Ｐ３の輝度値を上げ、ステップＳ５０５へ戻る。代表点Ｐ３の輝度値の上げ幅は、実施例１で説明した輝度値の上げ幅と同様である。

図１８に算出した１ライン分の目標輝度分布の例を示す。線１８０１は撮像画像データＨ_A+B内の投影領域２１０Ａ＋Ｂにおける１ライン分の輝度分布、すなわち補正前の輝度分布を示している。線１８０２は代表点を単純につないだ状態の輝度分布を示している。線１８０２の輝度分布では、黒浮きにより発生する重畳領域の継ぎ目が目立ってしまう。そこで、本実施例では代表点Ｐ３の目標輝度値を上げて再度２次曲線を算出して線１８０３のようなステップＳ５０５〜Ｓ５０７の処理により算出した１ライン分の目標輝度分布を算出する。

本実施例では、目標輝度分布の各画素の輝度値を撮像画像データの同じ画素位置の画素の輝度値よりも高くすることにより、プロジェクタ投影の特性による黒浮きを目立たなくすることができる。

以上により、不自然な輝度ムラを抑制しながら黒浮きと輝度およびコントラストの低下を最小限に抑えた輝度補正処理が可能となる。

＜その他の実施例＞
以上説明した例では、画像処理装置に複数のプロジェクタと撮像装置とが接続されたマルチプロジェクションシステムを例に挙げて説明した。しかしながら、例えば撮像手段と投影手段とが画像処理装置に一体化されたマルチメディア端末を用いて各実施例と同等の構成を採用してもよい。このようなマルチメディア端末が複数の投影手段を有している場合には、単一のマルチメディア端末で上述した各実施例を実現することができる。一方、このようなマルチメディア端末が単一の投影手段のみを有している場合には、これらのマルチメディア端末を複数用いたシステムを採用してもよい。この場合、各データを各マルチメディア端末間で通信手段を介して交換することによって上述した各実施例と同等の効果を得ることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 各投影手段の投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数の投影手段の輝度特性を取得する取得手段と、
   前記取得した複数の投影手段の輝度特性に基づいて、前記結合投影領域の水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正手段と、
   前記輝度分布を、水平または垂直１ラインにおける２点間の輝度が凹関数により規定される分布となる範囲内で設定する設定手段と
   を備えることを特徴とする画像処理装置。
2. 前記複数の投影手段から投影したキャリブレーション画像データを撮像する撮像手段をさらに備え、
   前記補正手段は、前記撮像手段による撮像によって前記投影手段の輝度特性を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記結合投影領域の両端と中央に位置する画素との輝度値に基づいて前記輝度分布を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記両端に位置する画素の輝度値を、前記複数の投影手段のうち輝度特性の低い投影手段の輝度値を適用して前記輝度分布を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記結合投影領域の輝度分布は、各プロジェクタの出力可能な最低輝度値に基づくことを特徴とする請求項１に記載の画像処理装置。
6. 前記補正手段は、前記輝度分布が該分布に対応する投影領域の前記最低輝度値よりも高くなるように該輝度分布を決定することを特徴とする請求項５に記載の画像処理装置。
7. 各プロジェクタの投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数のプロジェクタで構成されるマルチプロジェクションシステムであって、
   前記複数のプロジェクタの輝度特性に基づいて、前記結合投影領域の水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正手段と、
   前記輝度分布を、水平または垂直１ラインにおける２点間の輝度が凹関数により規定される分布となる範囲内で設定する設定手段と
   を備えることを特徴とするマルチプロジェクションシステム。
8. 各投影手段の投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数の投影手段の輝度特性を取得する取得ステップと、
   前記取得した複数の投影手段の輝度特性に基づいて、前記結合投影領域の輝度分布が、水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正ステップと、
   前記輝度分布を、水平または垂直１ラインにおける２点間の輝度が凹関数により規定される分布となる範囲内で設定する設定ステップと
   を有することを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images