JP7179648B2 - 投射制御装置、画像投射装置および投射制御方法 - Google Patents

Description

本発明は、複数台の画像投射装置（以下、プロジェクタという）を用いたマルチプロシェクションに関する。

マルチプロジェクションにおいて複数のプロジェクタからの投射画像を繋ぎ合わせて１つの大きな画像を表示する際には、投射画像の繋ぎ目付近の領域を互いに重畳させるエッジブレンディングが行われる。この際、複数のプロジェクタのそれぞれの個体差による輝度や色の違いを調整する必要がある。ただし、このような調整をユーザが全て行うのでは負担が大きい。

このため、特許文献１には、複数のプロジェクタからの投射画像をカメラで撮像し、撮像画像のうちユーザが指定した位置の色を合わせるように複数のプロジェクタを自動調整する画像投射システムが開示されている。また特許文献２には、複数のプロジェクタに、投射画像における重畳領域において互いに補色の関係となるようなパターンを投射させ、それらが無彩色になるように自動調整する画像投射システムが開示されている。

特開２０１７－０８３６７２号公報 特開２０１４－２３５２９５号公報

しかしながら、特許文献１にて開示された画像投射システムでは、重畳領域を滑らかに繋げるエッジブレンディングについては考慮されていない。また特許文献２にて開示された画像投射システムでは、重畳領域に対しては様々な色が合うように調整する。しかし、そもそもカメラにおいて生成される撮像画像データが入射光の明るさに対して線形なガンマ特性により生成されていない場合にそのガンマ特性の補正を行わずに各プロジェクタの調整を行うと、重畳領域で輝度の微小なずれが発生するおそれがある。

本発明は、マルチプロジェクションにおける投射画像の輝度をそれらの重畳領域において滑らかに繋げることができるようにした投射制御装置等を提供する。

本発明の一側面としての投射制御装置は、第１の画像を投射する第１の画像投射装置と該第１の画像と所定領域にて重なり合うように第２の画像を投射する第２の画像投射装置とを制御する。該投射制御装置は、第１および第２の画像を撮像した撮像装置から得られる撮像画像データにおける所定領域の画素値を用いて、撮像装置が受光する受光量を撮像画像データに変換する撮像装置の撮像特性を補正する補正手段と、補正後の撮像特性を用いて、第１および第２の画像投射装置のうち少なくとも一方を制御する制御手段とを有する。補正手段は、単独で投射された第１の画像を撮像した第１の撮像画像データから所定領域の画素値として第１の代表画素値を取得し、単独で投射された第２の画像を撮像した第２の撮像画像データから所定領域の画素値として第２の代表画素値を取得し、第１の画像投射装置と第２の画像投射装置から同時に投射され、互いに重なり合う第１および第２の画像を撮像した第３の撮像画像データから所定領域の画素値として第３の代表画素値を取得し、第１、第２および第３の代表画素値を用いて撮像特性を補正することを特徴とする。なお、上記投射制御装置を含む画像投射装置も、本発明の他の一側面を構成する。

また本発明の他の一側面としての投射制御方法は、第１の画像を投射する第１の画像投射装置と該第１の画像と所定領域にて重なり合うように第２の画像を投射する第２の画像投射装置とを制御する方法である。該投射制御方法は、第１および第２の画像を撮像した撮像装置から得られる撮像画像データにおける所定領域の画素値を用いて、撮像装置が受光する受光量を撮像画像データに変換する撮像装置の撮像特性を補正するステップと、補正後の撮像特性を用いて、第１および第２の画像投射装置のうち少なくとも一方を制御するステップとを有する。補正するステップは、単独で投射された第１の画像を撮像した第１の撮像画像データから所定領域の画素値として第１の代表画素値を取得し、単独で投射された第２の画像を撮像した第２の撮像画像データから所定領域の画素値として第２の代表画素値を取得し、第１の画像投射装置と第２の画像投射装置から同時に投射され、互いに重なり合う第１および第２の画像を撮像した第３の撮像画像データから所定領域の画素値として第３の代表画素値を取得し、第１、第２および第３の代表画素値を用いて撮像特性を補正することを特徴とする。

なお、上記投射制御方法に従う処理をコンピュータに実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

本発明によれば、マルチプロジェクションにおける投射画像の輝度をそれらの重畳領域において滑らかに繋げることができる。

カメラのガンマ特性が線形である場合について説明する図。 カメラのガンマ特性が１より大きい場合について説明する図。 カメラのガンマ特性が１より小さい場合について説明する図。 本発明の実施例１である投射制御装置を含む画像投射システムを示す図。 実施例１の画像投射システムの構成を示すブロック図。 実施例１におけるガンマ補正処理を示すフローチャート。 実施例１における撮像画像を示す図。 本発明の実施例２である投射制御装置を含む画像投射システムを示す図。 実施例２におけるガンマ補正処理を示すフローチャート。 実施例２における撮像画像を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図４は、本発明の実施例１である投射制御装置を含む画像投射システム１００を示している。本システム１００は、第１のプロジェクタ（第１の画像投射装置）１１がスクリーン等の被投射面２に投射する第１の画像２１と、第２のプロジェクタ（第２の画像投射装置）１２が被投射面に投射する第２の画像２２とを繋ぎ合わせて１つの大画面画像を表示する。この際、第１および第２の画像２１，２２の繋ぎ目付近の所定領域である重畳領域３１にてこれら第１および第２の画像２１，２２を互いに重畳させるエッジブレンディングを行う。

そして、第１および第２の画像２１，２２を撮像装置としてのカメラ４により撮像し、投射制御装置（制御手段）であるパーソナルコンピュータ（ＰＣ）５がカメラ４から得られる撮像画像データ（以下、単に撮像画像という）を用いて第１および第２のプロジェクタ１１，１２を制御する。具体的には、第１および第２のプロジェクタ１１，１２が投射する第１および第２の画像２１，２２の輝度に関する補正処理を行う。またＰＣ５は、補正手段として、撮像画像を用いて、カメラ４が受光量を撮像画像の画素値に変換する特性であるガンマ特性（撮像特性）を補正する。

ここで、カメラ４のガンマ特性を補正する効果について、図１、図２および図３を用いて説明する。図１～図３において、（ａ）はカメラ４のガンマ特性を示し、（ｂ）はエッジブレンディングされた第１および第２の画像２１，２２により表示される大画面画像を示している。（ｃ）は（ｂ）に示した大画面画像における水平方向での各位置の輝度を実線で示し、第１および第２の画像２１，２２のそれぞれの輝度を破線で示している。図１はカメラ４のガンマ特性が線形（ガンマ値１．０）である場合を示し、図２はカメラのガンマ特性がガンマ値１．０より大きい場合を示す。また図３はカメラのガンマ特性がガンマ値１．０より小さい場合を示す。

エッジブレンディングに際しては、第１および第２の画像２１，２２のそれぞれの重畳領域３１での輝度が各図（ｃ）に破線で示すようにＳ字カーブのような非線形曲線状に変化するように補正処理を行う。各プロジェクタのガンマ特性をガンマ値２．２の特性とする場合において、図１（ａ）に示すようにカメラ４のガンマ特性が線形であれば、該カメラ４からの撮像画像の画素値をそのまま用いて各プロジェクタの補正処理前のガンマ特性を算出し、各プロジェクタが投射する画像の画素値がガンマ値２．２に合致するように補正処理を行えばよい。このようにカメラ４が理想的なガンマ特性を有する場合には、図１（ｂ）と図１（ｃ）の実線とで示すように、第１の画像２１と第２の画像２２の輝度は重畳領域３１にて滑らかに繋がる。

これに対して、図２（ａ）や図３（ａ）に示すようにカメラ４のガンマ特性が非線形である場合は、図２（ｂ）と図２（ｃ）の実線で示すように重畳領域３１が暗くなったり、図３（ｂ）と図３（ｃ）の実線で示すように重畳領域３１が明るくなったりする。これは、非線形なガンマ特性を有するカメラ４からの撮像画像の画素値を基準として各プロジェクタのガンマ特性を所定のガンマ特性（例えばガンマ値２．２）に合わせる補正処理を行うと、プロジェクタの投射画像のガンマ特性は所定のガンマ特性にならない。このため、本実施例では、図２（ａ）や図３（ａ）に示すようにカメラ４のガンマ特性が線形でない場合には、この非線形ガンマ特性を図１（ａ）に示すような線形ガンマ特性とする補正処理を行う。

図５は、第１および第２のプロジェクタ１１，１２の内部構成を示している。各プロジェクタは、光源１０１と、光変調部１１０と、投射光学系１０３を含むレンズユニット１１１とを有する。レンズユニット１１１は、投射光学系１０３のズーム、フォーカスおよびシフトを駆動するレンズ駆動部１０７を有する。

光源１０１は、放電発光管、ＬＥＤまたはレーザにより構成され、照明光を発する。光変調部１１０は、光変調パネル（光変調素子）１０２と、画像信号入力部１０４、画像処理部１０５、操作部１０８および制御部１０６とを有する。画像信号入力部１０４は、プロジェクタの外部からのＶＧＡ信号、ＤＶＩ信号、ＨＤＭＩ（登録商標）信号等の各種画像信号を入力するための端子と、それらの端子を通じて入力された画像信号を受信するレシーバＩＣ等を有する。画像信号入力部１０４は、入力画像信号を画像処理部１０５に出力する。

画像処理部１０５は、入力画像信号に対して色むら補正、ガンマ補正、コントラスト補正、色変換、アスペクト変換およびキーストーン補正等の各種画像処理を行い、画像処理後の画像信号から光変調パネル１０２を駆動するためのパネル駆動信号を生成する。また画像処理部１０５は、画像処理後の画像信号に対して、各種設定用のメニュー等の表示するＯＳＤ（On Screen Display）画像を重畳表示するためのＯＳＤ画像信号を付加したパネル駆動信号を生成する。

光変調パネル１０２は、液晶パネルやデジタルマイクロミラーデバイス等により構成され、パネル駆動信号に応じて光源１０１からの照明光を変調して画像光を生成する。投射光学系１０３は、光変調パネル１０２からの画像光を被投射面に拡大投射する。これにより、入力された画像信号に応じた画像が投射表示される。

画像処理部１０５は、エッジブレンド調整部１０５ａを含む。エッジブレンド調整部１０５ａは、エッジブレンディングを行う際に、図１～図３の（ｃ）に示したように、被投射面上の投射画像のうち他のプロジェクタによる投射画像と重なる重畳領域の輝度が画像エッジに向かって徐々に暗くなるように入力画像信号に対してエッジブレンド処理を行う。

操作部１０８は、プロジェクタに対する各種設定を行うユーザによって操作される操作部材やリモコンからの赤外線信号を受信する赤外線受信部等を含み、操作部材の操作または赤外線受信に応じて操作信号を制御部１０６に出力する。制御部１０６は、ＣＰＵやメモリ等を含むマイクロコンピュータにより構成され、操作信号に応じて画像処理部１０５に指示を与えたりレンズ駆動部１０７を制御したりする。

前述したように、カメラ４は、第１および第２のプロジェクタ１１，１２により被投射面２上に投射される画像を撮像する。ＰＣ５は、第１および第２のプロジェクタ１１，１２とカメラ４とに有線または無線により接続され、カメラ４に対して撮像を指示したり、第１および第２のプロジェクタ１１，１２に対してテストチャートの投射を指示したりする。またＰＣ５は、前述したようにカメラ４の撮像により生成された撮像画像を用いて、カメラ４のガンマ特性を補正する補正処理を行う。

本実施例では、ＰＣ５と第１および第２のプロジェクタ１１，１２とカメラ４とが互いに別々の装置として構成されている。しかし、カメラが第１または第２のプロジェクタに内蔵されていてもよいし、投射制御装置が第１または第２のプロジェクタに内蔵されていてもよい。

図６のフローチャートは、ＰＣ５によって実行される処理（投射制御方法）を示している。この処理は、主としてカメラ４のガンマ特性を補正する補正処理である。ＰＣ５は、例えば操作部１０８のユーザ操作によって呼び出されるメニューにおいてカメラ使用による第１および第２のプロジェクタ１１，１２の調整が選択されることに応じて、コンピュータプログラムに従って本補正処理の実行を開始する。またＰＣ５は、外部からの上記調整を実行する命令を受けたり、一定時間ごとに調整を実行する命令が自動的に発行されたりしたときに、本補正処理の実行を開始してもよい。

ステップＳ１００において、ＰＣ５は、第１のプロジェクタ１１に単独で全白画像（第１の画像）を被投射面２に投射させるとともに、第２のプロジェクタ１２を制御して全黒画像を被投射面２に投射させる。全白画像と全黒画像は、それらが互いに重なり合う重複領域を有する。そしてＰＣ５は、カメラ４を制御して、これら全白画像および全黒画像を撮像させる。この際、第２のプロジェクタ１２に全黒画像を投射させることに代えて、第２のプロジェクタ１２に光源１０１を消灯させたり不図示のシャッタにより光変調パネル１０２への照明光の入射を遮断させたりしてもよい。

次にステップＳ１０１では、ＰＣ５は、第２のプロジェクタ１２に単独で全白画像（第２の画像）を被投射面２に投射させるとともに、第１のプロジェクタ１１に全黒画像を被投射面２に投射させる。このとき、全黒画像と全白画像は互いに重なり合う重複領域を有する。そしてＰＣ５は、カメラ４にこれら全黒画像と全白画像を撮像させる。この際、第１のプロジェクタ１１に全黒画像を投射させることに代えて、第１のプロジェクタ１１に光源１０１を消灯させたり不図示のシャッタにより光変調パネル１０２への照明光の入射を遮断させたりしてもよい。

次にステップＳ１０２では、ＰＣ５は、第１のプロジェクタ１１と第２のプロジェクタ１２に同時に全白画像（第１および第２の画像）を重複領域を有するように被投射面２に投射させる。そしてＰＣ５は、カメラ４にこれらの全白画像を撮像させる。

次にステップＳ１０３では、ＰＣ５は、ステップＳ１００～Ｓ１０２で得られた３枚の撮像画像から重畳領域を抽出し、該重畳領域の画素値を取得する。

図７（ａ）は、ステップＳ１００において第１のプロジェクタ１１により被投射面２上の投射領域２１ａに全白画像が投射されたときのカメラ４による撮像により得られた撮像画像（第１の撮像画像データ）４１ａを示す。図７（ｂ）は、ステップＳ１０１において第２のプロジェクタ１２により被投射面２上の投射領域２２ｂに全白画像が投射されたときのカメラ４による撮像により得られた撮像画像（第２の撮像画像データ）４１ｂを示す。また、図７（ｃ）はステップＳ１０２において第１および第２のプロジェクタ１１，１２のそれぞれにより投射領域２１ｃ，２２ｂに投射された全白画像を撮像することにより得られた撮像画像（第３の撮像画像データ）４１ｂを示す。これらの図において、重畳領域３１ａ，３１ｂ，３１ｃを網掛けして示す。

ＰＣ５は、各投射領域を、ラプラス作用素やハリス作用素等により投射された白色画像の頂点を検出してそれらの頂点を結んだ直線により囲まれる領域として検出する。またＰＣ５は、撮像画像のうち所定画素値以上の画素値を有する領域のうち最も大きい領域を投射領域として検出することもできる。そしてＰＣ５は、撮像画像４１ａ内の投射領域２１ａと撮像画像４１ｂ内の投射領域２２ｂとが重なり合う領域を、これら投射領域２１ａ，２２ｂに投射された画像の重畳領域として抽出する。さらにＰＣ５は、撮像画像４１ａ，４１ｂ，４１ｃのそれぞれにおける重畳領域３１ａ，３１ｂ，３１ｃ内の画素値を取得する。

なお、ステップＳ１０３において重畳領域が存在しない場合、重畳領域の面積が所定面積（面積閾値）よりも小さい場合または撮像画像４１ｃの面積（画像面積）に対する重畳領域３１ｃの面積の比率が所定比率より小さい場合は、ＰＣ５は、カメラ４の補正後のガンマ特性として所定ガンマ特性（所定の撮像特性）を設定する。この所定ガンマ特性は、ユーザが表示されたメニューを参照しながら操作部１０８を通じて選択してもよいし、予め用意された１つのガンマ特性を使用してもよい。また、投射領域２１ｃ，２２ｃを合計面積に対する重畳領域３１ｃの面積の比率が所定比率より小さい場合も、同様とする。

次にステップＳ１０４では、ＰＣ５は、撮像画像４１ａの重畳領域３１ａの画素値から第１の代表画素値を算出する。次にステップＳ１０５では、ＰＣ５は、撮像画像４１ｂの重畳領域３１ｂの画素値から第２の代表画素値を算出する。次にステップＳ１０６では、ＰＣ５は、撮像画像４１ｃの重畳領域３１ｃの画素値から第３の代表画素値を算出する。各代表画素値としては、重畳領域内（所定領域内）の複数の画素値の平均値であってもよいし中央値であってもよく、該複数の画素値から算出された１つの値であればよい。また、重畳領域内で指定された位置（座標）の画素値を代表画素値として使用してもよい。このときの指定位置は、重畳領域の重心位置の座標やステップＳ１０２で得られた撮像画像の重畳領域内で最大の画素値を示す座標等、適宜選択することができるが、３つの撮像画像４１ａ，４１ｂ，４１ｃにおいて互いに対応する位置（同一位置）であることが望ましい。さらに、重畳領域内で指定された複数の位置の画素値から代表画素値を算出してもよい。

次にステップＳ１０７では、ＰＣ５は、ステップＳ１０４～Ｓ１０６にて算出した第１、第２および第３の代表画素値を用いて、カメラ４のガンマ特性（ガンマ値）を算出する。一般に、重畳領域の輝度に関して、理想的には以下の等式（１）が成り立つ。

式（１）において、ｘ_１は第１のプロジェクタ１１が投射する光の輝度値を示し、ｘ_２は第２のプロジェクタ１２が投射する光の輝度値を示す。ｘ_３は第１および第２のプロジェクタ１１，１２のそれぞれが投射する光の合計輝度値を示す。カメラ４により生成される撮像画像においても、該カメラ４のガンマ特性が図１（ａ）に示すように線形であれば、ｘ_１，ｘ_２およびｘ_３を撮像画像の画素値としたときに式（１）が成り立つ。しかし、カメラ４のガンマ特性が線形ではない場合には式（１）は成り立たない。

撮像画像４１ａ，４１ｂ，４１ｃの第１、第２および第３の代表画素値ｙ_１，ｙ_２，ｙ_３は、以下の式（２）に示すように、第１および第２のプロジェクタ１１，１２が投射する光の輝度値（すなわちカメラ４の受光量）ｘ_１，ｘ_２，ｘ_３にカメラ４のガンマ値ａが掛けられたものとなる。

式（２）において、既知の値はｙ_１，ｙ_２，ｙ_３であり、未知の値はｘ_１，ｘ_２，ｘ_３およびａである。ＰＣ５は、式（１）および（２）からｘ_１，ｘ_２，ｘ_３を消去した以下の式（３）を用いてガンマ値ａを求める。

例えば、初期値をａ＝１．０としてニュートン法を用いて式（３）を解くことで、ａの数値解が得られる。

最後にステップＳ１０８では、ＰＣ５は、ステップＳ１０７で算出したガンマ値ａを用いて、カメラ４が生成した撮像画像の画素値Ｙを補正する。具体的には、以下の式（４）を用いて補正された画素値Ｙ’を算出する。このように撮像画像の画素値Ｙを補正することは、カメラ４のガンマ特性（ガンマ値）を補正することに等しい。

ＰＣ５は、補正された画素値Ｙ'を用いて、プロジェクタ１１、１２のガンマ特性を所定のガンマ値に調整する。具体的には、各階調のテストパターンをプロジェクタ１１，１２からそれぞれ投射し、プロジェクタ１１，１２それぞれの現在のガンマ特性を算出した後、その特性が所定のガンマ値（例えばガンマ値２．２）になるようにプロジェクタ１１，１２のそれぞれを設定する。そしてプロジェクタ１１，１２を所定のガンマ値に設定した後、重畳領域に対応する領域の光量を調整することで階調（明るさ）を滑らかに繋げることができる。具体的には、光変調パネル１０２のうち重畳領域に対応する変調領域で変調される光量（階調）を増減させるようにパネル駆動信号を補正する。これにより、カメラ４のガンマ特性が線形に補正されたことと等価になり、図４に示した第１および第２のプロジェクタ１１，１２が投射する画像２１，２２の輝度を重畳領域３１において滑らかに繋げることができる。

なお、カメラ４のガンマ値ａが既知である場合は、ステップＳ１０８での撮像画像の画素値Ｙ（つまりはガンマ特性）の補正のみを行ってもよい。

本実施例では、１つのカメラによって第１および第２のプロジェクタが投射する画像を撮像する場合について説明したが、複数のカメラを用いてもよい。また本実施例では、第１および第２のプロジェクタが左右方向に並ぶ画像を投射する場合について説明したが、上下方向に並ぶ画像を投射してもよいし、一方の画像に他方の画像が包含されてもよい。

図８は、本発明の実施例２である投射制御装置としてのＰＣ５を含む画像投射システム２００を示している。本システム２００は、４台のプロジェクタ１３，１４，１５，１６がそれぞれ被投射面２に投射する４つの画像２３，２４，２５，２６を繋ぎ合わせて１つの大画面画像を表示する。４つの画像２３～２６は水平方向に２つと上下方向に２つが並んでいる。この際、４つの画像２３～２６の繋ぎ目付近の所定領域である重畳領域３２，３３，３４，３５にてこれらの画像２３～２６を互いに重畳させるエッジブレンディングを行う。

そして、４つの画像２３～２６をカメラ４により撮像し、ＰＣ５がカメラ４から得られる撮像画像を用いて４台のプロジェクタ１３～１６が投射する画像の輝度に関する補正処理を行う。この際、ＰＣ５は、撮像画像を用いて、カメラ４のガンマ特性（撮像特性）を補正する。

図９のフローチャートは、ＰＣ５によって行われるカメラ４のガンマ特性の補正処理を示す。ＰＣ５は、実施例１の図６で説明したのと同様の条件で補正処理を開始する。ステップＳ２００において、ＰＣ５は、４台のプロジェクタ１３～１６のそれぞれに順次、単独で全白画像を被投射面２に投射させる。この際、全白画像を投射する１台のプロジェクタ以外の３台のプロジェクタには全黒画像を投射させる。全白画像とこれに水平方向および上下方向に並んだ全黒画像とは、互いに重なり合う重畳領域を有する。

そしてＰＣ５は、各プロジェクタが全白画像を投射するごとに、カメラ４にこれら全白画像および全黒画像を撮像させる。なお、３台のプロジェクタに全黒画像を投射させることに代えて、光源を消灯させたりシャッタにより光変調パネルへの照明光の入射を遮断させたりしてもよい。

次にステップＳ２０１では、ＰＣ５は、全てのプロジェクタ１３～１６に全白画像を同時に被投射面２に投射させる。４つの全白画像は、互いに重なり合う重畳領域を有する。そしてＰＣ５は、カメラにこれらの全白画像を撮像させる。

次にステップＳ２０２では、ＰＣ５は、全てのプロジェクタ１３～１６の中から第１のプロジェクタと第２のプロジェクタを選択する。例えば、プロジェクタ１３，１４を第１および第２のプロジェクタとして選択したり、プロジェクタ１５，１６を第１および第２のプロジェクタとして選択したりする。この第１および第２のプロジェクタの選択は、ＰＣ５が自動で行うことが好ましい。第１および第２のプロジェクタのそれぞれがステップＳ２００にて投射した全白画像が、第１の画像と第２の画像に相当する。後述するステップＳ２０８からステップＳ２０２２０戻った場合は、ＰＣ５は、前回の第１および第２のプロジェクタの組とは別の組を選択する。これにより、４台のプロジェクタ１３～１６から第１および第２のプロジェクタの組が複数組選択されることになる。

次にステップＳ２０３では、ＰＣ５は、ステップＳ２００およびＳ２０１においてカメラ４の撮像により得られた５枚の撮像画像から、ステップＳ２０２で選択した第１および第２のプロジェクタにより投射された画像における重畳領域を抽出する。

図１０（ａ）は、ステップＳ２００においてプロジェクタ１３により被投射面２上の投射領域２３ａに全白画像が投射されたときのカメラ４による撮像により得られた撮像画像４２ａを示している。図１０（ｂ）は、同ステップにおいてプロジェクタ１４により被投射面２上の投射領域２４ｂに全白画像が投射されたときのカメラ４による撮像により得られた撮像画像４２ｂを示している。図１０（ｃ）は、同ステップにおいてプロジェクタ１５により被投射面２上の投射領域２５ｃに全白画像が投射されたときのカメラ４による撮像により得られた撮像画像４２ｃを示している。図１０（ｄ）は、同ステップにおいてプロジェクタ１６により被投射面２上の投射領域２６ｄｂに全白画像が投射されたときのカメラ４による撮像により得られた撮像画像４２ｄを示している。図１０（ｅ）は、ステップＳ２０１において４台のプロジェクタ１３～１６により被投射面２上の投射領域２３ｅ，２４ｅ，２５ｅ，２６ｅに全白画像が投射されたときのカメラ４による撮像により得られた撮像画像４２ｅを示している。

これらの図において、投射領域２３ａ，２４ｂ，２５ｃ，２６ｄ（２３ｅ，２４ｅ，２５ｅ，２６ｅ）のうち２つのみが互いに重なり合う領域、すなわちこれら２つの投射領域に投射された画像同士が重なり合う領域である重畳領域３２ａ，３３ａ，３２ｂ，３５ｂ，３３ｃ，３４ｃ，３４ｄ，３５ｄ，３２ｅ，３３ｅ，３４ｅ，３５ｅを網掛けして示す。例えば、第１および第２のプロジェクタとしてプロジェクタ１３，１４が選択された場合は、ＰＣ５は、撮像画像４２ａ，４２ｂ，４２ｅから投射領域２３ａ，２４ｂのみが重なり合う領域をこれら投射領域２３ａ，２４ｂに投射された画像の重畳領域３２ａ，３２ｂ，３２ｅとして抽出する。投射領域の検出方法や、重畳領域が存在しない場合および重畳領域の面積が所定値としての面積閾値よりも小さい場合の処理は、ステップＳ１０３で説明したものと同様である。

本ステップにおいて３台以上のプロジェクタにより投射された画像の重畳領域を抽出してカメラ４の補正を行うことも可能であるが、本実施例では説明を簡単にするために２台のプロジェクタにより投射された画像の重畳領域を抽出する。３台以上のプロジェクタにより投射された画像の重畳領域を抽出する場合でも、そのうち１台を第１のプロジェクタとし、他の全てのプロジェクタを第２のプロジェクタとして扱えばよい。

以下、プロジェクタ１３，１４が第１および第２のプロジェクタとして選択されたものとして説明を続けるが、他のプロジェクタの組合せが選択された場合も同様である。

次にステップＳ２０４では、ＰＣ５は、撮像画像４２ａの重畳領域３２ａの画素値から第１の代表画素値を算出する。次にステップＳ２０５では、ＰＣ５は、撮像画像４２ｂの重畳領域３２ｂの画素値から第２の代表画素値を算出する。さらにステップＳ２０６では、ＰＣ５は、撮像画像４２ｅの重畳領域３２ｅの画素値から第３の代表画素値を算出する。第１から第３の代表画素値の算出方法は、実施例１のステップＳ１０４で説明した通りである。

次にステップＳ２０７では、ＰＣ５は、ステップＳ２０４～Ｓ２０６にて算出した第１、第２および第３の代表画素値を用いて、カメラ４のガンマ特性（ガンマ値）を算出する。ガンマ値の計算方法は、実施例１のステップＳ１０７で説明した通りである。

続いてステップＳ２０８では、ＰＣ５は、４台のプロジェクタから第１および第２のプロジェクタとしての２台の組合せに対するステップＳ２０２からステップＳ２０７までの処理を全て完了したか否かを判定する。まだ処理が完了していない組合せがある場合はステップＳ２０２に戻り、全ての組合せに対する処理が完了した場合はステップＳ２０９に進む。なお、プロジェクタが４台である場合の組合せ数は、_４Ｃ_２＝６通りとなる。

ステップＳ２０９では、ＰＣ５は、ステップＳ２０７にてプロジェクタの組合せごとに得られたガンマ値から代表ガンマ値を算出する。代表ガンマ値としては、ガンマ値を重畳領域の面積で重み付けして平均した加重平均値を用いてもよいし、重畳領域の面積が最大となる組合せで得られるガンマ値を用いてもよい。また、プロジェクタの組合せごとに得られたガンマ値の平均値や中央値を代表ガンマ値として用いてよい。さらに、全ての組合せで得られた第１、第２および第３の代表画素値の誤差を最小にするガンマ値を代表ガンマ値として用いてもよい。この場合には、ステップＳ２０４～Ｓ２０６で求めた第１、第２および第３の代表画素値を一時的にメモリ（図示せず）に保存するステップを設ける。誤差を最小にする代表ガンマ値の算出方法としては、最小二乗法等、様々な方法を用いることができる。

最後にステップＳ２１０では、ＰＣ５は、ステップＳ２０９で算出した代表ガンマ値ａを用いて、実施例１のステップＳ１０８と同様にカメラ４が生成した撮像画像の画素値Ｙを補正する。すなわち、カメラ４のガンマ特性（ガンマ値）を補正する。

ＰＣ５は、補正された画素値Ｙ’を用いて、４台のプロジェクタ１３～１６のガンマ特性を所定のガンマ値に調整する。具体的には、各階調のテストパターンをプロジェクタ１３～１６から投射し、プロジェクタ１３～１６それぞれの現在のガンマ特性を算出した後、その特性が所定のガンマ値（例えばガンマ値２．２）になるようにプロジェクタ１３～１６のそれぞれを設定する。そして、それぞれに対応する重畳領域に投射する画像光の輝度を補正する。これにより、カメラ４のガンマ特性が線形に補正されたことと等価になり、図８に示したプロジェクタ１３～１６が投射する画像２３～２６の輝度を各重畳領域において滑らかに繋げることができる。

本実施例では、１つのカメラによって４台のプロジェクタが投射する画像を撮像する場合について説明したが、複数のカメラを用いてもよい。また、本実施例では、４つの投射画像がタイル状に並べられる場合を示した。しかし、本実施例と同様の補正処理を、投射画像が横一列や縦一列に並べられる場合や、いずれかの投射画像が他の投射画像に包含される場合等、様々な投射形態に適用することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１１，１２，１３，１４，１５，１６ プロジェクタ
４ カメラ
５ パーソナルコンピュータ

Claims (9)

1. 第１の画像を投射する第１の画像投射装置と前記第１の画像と所定領域にて重なり合うように第２の画像を投射する第２の画像投射装置とを制御することが可能な投射制御装置であって、
   前記第１および第２の画像を撮像した撮像装置から得られる撮像画像データにおける前記所定領域の画素値を用いて、前記撮像装置が受光する受光量を撮像画像データに変換する前記撮像装置の撮像特性を補正する補正手段と、
   補正後の前記撮像特性を用いて、前記第１および第２の画像投射装置のうち少なくとも一方を制御する制御手段とを有し、
   前記補正手段は、
   単独で投射された前記第１の画像を撮像した第１の撮像画像データから前記所定領域の画素値として第１の代表画素値を取得し、
   単独で投射された前記第２の画像を撮像した第２の撮像画像データから前記所定領域の画素値として第２の代表画素値を取得し、
   前記第１の画像投射装置と前記第２の画像投射装置から同時に投射され、互いに重なり合う前記第１および第２の画像を撮像した第３の撮像画像データから前記所定領域の画素値として第３の代表画素値を取得し、
   前記第１、第２および第３の代表画素値を用いて前記撮像特性を補正することを特徴とする投射制御装置。
2. 前記補正手段は、前記受光量から前記撮像画像データの画素値に線形に変換されるように前記撮像特性を補正することを特徴とする請求項１に記載の投射制御装置。
3. 前記補正手段は、前記第１、第２および第３の代表画素値として、前記第１、第２および第３の撮像画像データにおける前記所定領域内の複数の画素値の平均値または中央値を取得することを特徴とする請求項１または２に記載の投射制御装置。
4. 前記補正手段は、前記第１、第２および第３の代表画素値を、前記第１、第２および第３の撮像画像データにおける前記所定領域内の１または複数の位置の画素値を用いて取得することを特徴とする請求項１または２に記載の投射制御装置。
5. 前記補正手段は、前記所定領域の面積が所定面積より小さい場合、前記撮像画像データの画像面積に対する前記所定領域の面積の比率が所定比率より小さい場合または前記第１および第２の画像が投射される投射領域の合計面積に対する前記所定領域の面積の比率が所定比率より小さい場合は、補正後の前記撮像特性を所定の撮像特性に設定することを特徴とする請求項１から４のいずれか一項に記載の投射制御装置。
6. 前記補正手段は、
   ３台以上の画像投射装置から前記第１および第２の画像投射装置を複数組選択し、
   前記複数組のそれぞれに対して前記撮像装置から得られた前記撮像画像データにおける前記所定領域の画素値を用いて、前記撮像特性を補正することを特徴とする請求項１から５のいずれか一項に記載の投射制御装置。
7. 光源からの光を変調する光変調素子を有し、該光変調素子により変調された光を投射して画像を表示する画像投射装置であって、
   請求項１から６のいずれか一項に記載の投射制御装置を有することを特徴とする画像投射装置。
8. 第１の画像を投射する第１の画像投射装置と前記第１の画像と所定領域にて重なり合うように第２の画像を投射する第２の画像投射装置とを制御する投射制御方法であって、
   前記第１および第２の画像を撮像した撮像装置から得られる撮像画像データにおける前記所定領域の画素値を用いて、前記撮像装置が受光する受光量を撮像画像データに変換する前記撮像装置の撮像特性を補正するステップと、
   補正後の前記撮像特性を用いて、前記第１および第２の画像投射装置のうち少なくとも一方を制御するステップとを有し、
   前記補正するステップは、
   単独で投射された前記第１の画像を撮像した第１の撮像画像データから前記所定領域の画素値として第１の代表画素値を取得し、
   単独で投射された前記第２の画像を撮像した第２の撮像画像データから前記所定領域の画素値として第２の代表画素値を取得し、
   前記第１の画像投射装置と前記第２の画像投射装置から同時に投射され、互いに重なり合う前記第１および第２の画像を撮像した第３の撮像画像データから前記所定領域の画素値として第３の代表画素値を取得し、
   前記第１、第２および第３の代表画素値を用いて前記撮像特性を補正することを特徴とする投射制御方法。
9. コンピュータに、請求項８に記載の投射制御方法に従う処理を実行させることを特徴とするコンピュータプログラム。

Images