JP2013197918A - 画像処理装置、プロジェクター、およびプロジェクターの制御方法 - Google Patents

Abstract

【課題】被投写面に投写された検出画像の抽出精度や検出精度を向上させる。
【解決手段】検出画像生成部（２３２）は、投写画像の状態を検出するための画像として、複数の検出画像部分（ＤＰ１〜ＤＰ４）と、複数の検出画像部分（ＤＰ１〜ＤＰ４）のそれぞれの周囲を覆う背景画像（ＢＰ１〜ＢＰ４）と、を含む検出画像ＴＰを生成する。複数の検出画像部分（ＤＰ１〜ＤＰ４）のそれぞれは互いに明度が異なる複数の領域を含み、背景画像（ＢＰ１〜ＢＰ４）は複数の検出画像部分（ＤＰ１〜Ｄｐ４）の明度よりも低い明度を有する。検出画像生成部（２３２）は、撮像して得られた撮像検出画像の複数の検出画像部分の明度分布が、それぞれに対応する検出画像の複数の検出画像部分の明度分布に近づくように、生成する検出画像（ＴＰ）の複数の検出画像部分（ＤＰ１〜ＤＰ４）の明度分布と背景画像（ＢＰ１〜ＢＰ４）のサイズの少なくとも一方を変更する。
【選択図】図１

Description

本発明は、被投写面に画像を投写して表示するプロジェクターに関する。

プロジェクターを用いて、スクリーンなどの被投写面に画像を投写して表示する場合には、通常、プロジェクターと被投写面との相対的な位置関係に応じた調整が行われる。このような調整には、被投写面に投写された画像（以下、「投写画像」ともいう）のフォーカス（焦点）のずれを調整するフォーカス調整や、投写画像の画像範囲の歪み（以下、「キーストーン歪み」ともいう）を補正するキーストーン補正等がある。

上記フォーカス調整やキーストーン補正は、被投写面に投写されたテストパターンを、プロジェクターに搭載されたカメラで撮像し、撮像された画像（以下、「撮像画像」ともいう）に基づいてフォーカス調整やキーストーン補正に必要な情報を求めることにより行われている（特許文献１，２参照）。

特許文献１では、以下で簡単に説明するように動作する。すなわち、プロジェクターからスクリーンに対して均一な輝度の光を投光して、スクリーンからの反射光を受光し、受光照度の重心位置を検出する。そして、検出した重心位置に基づいてスクリーンの傾斜角度を算出し、算出した傾斜角度に応じてキーストーン歪みを補正する。

特許文献２では、以下で簡単に説明するように動作する。すなわち、撮像部により撮像された画像内に写ったスクリーンの四辺（上下左右）に着目し、上下、左右のそれぞれ対向する二辺の長さの比率を算出する。上下の辺の比率から上下に投影される光量の比率を算出し、同様に、左右の辺の比率から左右に投影される光量の比率を算出する。そして、光量の比率に基づいたテストパターンを投影する。

特開２００５−１５９４２６号公報 特開２０１１−１７６６２９号公報

しかしながら、上記特許文献１では、プロジェクターとスクリーンの位置関係によっては反射光の検出精度が落ちるという問題や、反射光の検出精度が場所によって大きく異なるという問題、等がある。例えば、スクリーンが傾斜している場合、光量は光源からの距離の二乗に反比例して小さくなるため、プロジェクターから投光される光のスクリーンまでの距離（以下、「投光距離」ともいう）が遠くなるほど、スクリーンからの反射光の受光照度の低下が顕著に大きくなって、反射光の受光精度が低下することになる。従って、スクリーンの傾斜が大きくなるほど、投光距離が遠くなる光の反射光の受光照度の低下が大きくなって、反射光の受光精度が低下し、結果として重心位置の算出精度が低下する原因となる。また、投光距離が同じであってもスクリーンに対する投光の角度が異なる場合があり、この違いを精確に検出することができない可能性もある。

また、上記特許文献２は、対向する二辺間の光量の変化は、辺の長さの比率に基づいてグラデーション変化する、という考えを前提としたものである。しかしながら、実際に測定試験を行って検証してみたところ、グラデーション変化しない場合もあることが確認された。その要因としては、スクリーン上の投影面内汚れや、スクリーンのたわみ等により光量変化が発生することが考えられる。そして、このように辺の長さの比率に基づいたグラデーション変化とならない場合には、テストパターンの抽出精度や検出精度の悪化を招く、という問題がある。また、特許文献２は、撮像部がプロジェクターと一体であることを前提としたものであり、プロジェクターに搭載されていない別体の撮像部の場合には、プロジェクターとスクリーンとの位置関係と、撮像部とスクリーンとの位置関係との誤差が積算されることになり、テストパターンの検出精度（抽出精度）の悪化を招く可能性が高くなる、という問題もある。

そこで、本発明は、上記の従来技術の課題に鑑みて、被投写面に投写された検出画像の抽出精度や検出精度を従来技術よりもさらに向上させる技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
被投写面上に画像を投写して表示するプロジェクターに用いられる画像処理装置であって、前記被投写面上に表示される投写画像の状態を検出するための画像として、複数の検出画像部分と、前記複数の検出画像部分のそれぞれの周囲を覆う背景画像と、を含む検出画像を生成する検出画像生成部を備え、前記複数の検出画像部分のそれぞれは、互いに明度が異なる複数の領域を含んでおり、前記背景画像は、前記複数の検出画像部分の明度よりも低い明度を有しており、前記検出画像生成部は、前記被投写面上に投写された前記検出画像を撮像して得られた撮像検出画像に含まれる前記複数の検出画像部分の明度分布が、それぞれに対応する前記検出画像の複数の検出画像部分の明度分布に近づくように、生成する検出画像の前記複数の検出画像部分の明度分布と前記背景画像のサイズの少なくとも一方を変更することを特徴とする画像処理装置。
この画像処理装置では、検出画像を、複数の検出画像部分と、前記複数の検出画像部分のそれぞれの周囲を覆う背景画像と、で構成し、背景画像は複数の検出画像部分の明度よりも低い明度を有する画像とされているので、背景画像の周囲の明度が検出画像部分の明度に影響してしまうのを抑制することができる。また、検出画像部分は互いに明度が異なる複数の領域を含む画像とされているので、検出画像部分の重心を精確に求めるのに有利である。そして、撮像検出画像に含まれる複数の検出画像部分の明度分布が、それぞれに対応する検出画像の複数の検出画像部分の明度分布に近づくように、生成する検出画像の複数の検出画像部分の明度分布と背景画像のサイズの少なくとも一方を変更しているので、撮像検出画像に含まれる複数の検出画像部分の抽出精度や検出精度を向上させることができ、検出画像の抽出精度や検出精度を向上させることが可能となる。

［適用例２］
適用例１に記載の画像処理装置であって、前記検出画像生成部は、前記撮像検出画像に含まれる前記複数の検出画像部分の明度の階調パターンが、検出画像の修正不要と判断する許容条件を満たすように、生成する検出画像の前記複数の検出画像部分の明度分布と前記背景画像のサイズの少なくとも一方を変更することを特徴とする画像処理装置。
この画像処理装置では、撮像検出画像に含まれる複数の検出画像部分の明度の階調パターンが許容条件を満たすように、生成する検出画像の複数の検出画像部分の明度分布と背景画像のサイズの少なくとも一方を変更することにより、容易に、撮像検出画像に含まれる複数の検出画像部分の明度分布が、それぞれに対応する検出画像の複数の検出画像部分の明度分布に近づくようにすることができ、撮像検出画像に含まれる複数の検出画像部分の抽出精度や検出精度を向上させることができ、検出画像の抽出精度や検出精度を向上させることが可能となる。

［適用例３］
適用例１または適用例２に記載の画像処理装置であって、
前記検出画像生成部は、前記撮像検出画像に含まれる前記検出画像部分の明度の階調パターンの分布幅が、前記撮像検出画像に含まれる前記検出画像部分の明度の階調パターンの分布幅よりも広く、かつ、前記撮像検出画像に含まれる前記検出画像部分の明度の最大値が、明度の最大値の許容条件を満たさない場合に、前記背画像のサイズを大きくすることを特徴とする画像処理装置。
この画像処理装置では、撮像検出画像に含まれる検出画像部分の明度の階調パターンの分布幅が、撮像検出画像に含まれる検出画像部分の明度の階調パターンの分布幅よりも広く、かつ、撮像検出画像に含まれる検出画像部分の明度の最大値が、明度の最大値の許容条件を満たさない場合に、背景画像のサイズを大きくすることにより、容易に、撮像検出画像に含まれる複数の検出画像部分の明度分布が、それぞれに対応する検出画像の複数の検出画像部分の明度分布に近づくようにすることができ、撮像検出画像に含まれる複数の検出画像部分の抽出精度や検出精度を向上させることができ、検出画像の抽出精度や検出精度を向上させることが可能となる。

［適用例４］
適用例１または適用例２に記載の画像処理装置であって、前記検出画像生成部は、生成する検出画像の前記複数の検出画像部分の明度分布を変更する場合には、前記検出画像に含まれる前記検出画像部分の外形サイズと、前記検出画像部分に含まれる前記複数の領域の幅と、前記検出画像部分の明度の最大値と、の少なくとも、一つを変更することにより、実行することを特徴とする画像処理装置。
この画像処理装置では、検出画像部分の外形サイズと、検出画像部分に含まれる複数の領域の幅と、検出画像部分の明度の最大値と、の少なくとも、一つを変更することにより、生成する検出画像の複数の検出画像部分の明度分布を変更することができ、撮像検出画像に含まれる複数の検出画像部分の明度分布が、それぞれに対応する検出画像の複数の検出画像部分の明度分布に近づくようにすることができ、撮像検出画像に含まれる複数の検出画像部分の抽出精度や検出精度を向上させることができ、検出画像の抽出精度や検出精度を向上させることが可能となる。

［適用例５］
適用例１ないし適用例４のいずれか一つに記載の画像処理装置であって、前記複数段の領域の区分は、あらかじめ定めた関数に基づいて求められることを特徴とする画像処理装置。

［適用例６］
適用例５に記載の画像処理装置であって、前記関数はガウス分布関数であることを特徴とする画像処理装置。
適用例５や適用例６に記載の画像処理装置では、検出画像に含まれる複数の検出画像部分を、容易に、検出画像部分の重心座標の検出に適した明度分布の検出画像部分となるようにすることができる。

［適用例７］
被投写面上に画像を投写して表示するプロジェクターであって、適用例１ないし適用例６のいずれか一つに記載の画像処理装置と、前記被投写面上に投写された前記検出画像を撮像する撮像部と、前記画像処理装置から出力された画像データに基づいて、前記画像を投写する投写部と、を備えることを特徴とするプロジェクター。

［適用例８］
被投写面上に画像を投写して表示するプロジェクターの制御方法であって、（ａ）前記被投写面上に表示される投写画像の状態を検出するための画像として、複数の検出画像部分と、前記複数の検出画像部分のそれぞれの周囲を覆う背景画像と、を含む検出画像を生成する工程と、（ｂ）前記被投写面上に前記検出画像を投写する工程と、（ｃ）前記被投写面上に投写された前記検出画像を撮像する工程と、を備え、前記複数の検出画像部分のそれぞれは、互いに明度が異なる複数の領域を含んでおり、前記背景画像は、前記複数の検出画像部分の明度よりも低い明度を有しており、前記工程（ａ）は、撮像して得られた撮像検出画像に含まれる前記複数の検出画像部分の明度分布が、それぞれに対応する前記検出画像の複数の検出画像部分の明度分布に近づくように、生成する検出画像の前記複数の検出画像部分の明度分布と前記背景画像のサイズの少なくとも一方を変更することを特徴とするプロジェクターの制御方法。
このプロジェクターの制御方法では、検出画像を、複数の検出画像部分と、前記複数の検出画像部分のそれぞれの周囲を覆う背景画像と、で構成し、背景画像は複数の検出画像部分の明度よりも低い明度を有する画像とされているので、背景画像の周囲の明度が検出画像部分の明度に影響してしまうのを抑制することができる。また、検出画像部分は互いに明度が異なる複数の領域を含む画像とされているので、検出画像部分の重心を精確に求めるのに有利である。そして、撮像検出画像に含まれる複数の検出画像部分の明度分布が、それぞれに対応する検出画像の複数の検出画像部分の明度分布に近づくように、生成する検出画像の複数の検出画像部分の明度分布と背景画像のサイズの少なくとも一方を変更しているので、撮像検出画像に含まれる複数の検出画像部分の抽出精度や検出精度を向上させることができ、検出画像の抽出精度や検出精度を向上させることが可能となる。

なお、本発明は、画像表示装置、プロジェクター、プロジェクターの制御方法、そのプロジェクターを制御するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体としての態様など、種々の態様で実現することが可能である。

本発明の一実施例としてのプロジェクターの構成を概略的に示すブロック図である。 キーストーン補正を例に検出画像調整を行う意味について簡単に示す説明図である。 本実施例における検出画像調整処理を示すフローチャートである。 生成される検出画像について示す説明図である。 図３のステップＳ１０において検出画像を構成する検出画像部分としてのドットパターンを生成する手順について示すフローチャートである。 図３のステップＳ１０で生成された検出画像を用いて実行される検出画像調整処理の概要について示す説明図である。 画像解析部によって実行される撮像画像中の各検出画像部分の抽出および検出画像の修正要否判断について示す説明図である。 背景画像を配置する効果について示す説明図である。 抽出した検出画像部分の階調パターンおよび修正情報の例を示す説明図である。 抽出した検出画像部分の階調パターンおよび修正情報の例を示す説明図である。 抽出した検出画像部分の階調パターンおよび修正情報の例を示す説明図である。 抽出した検出画像部分の階調パターンおよび修正情報の例を示す説明図である。 図３のステップＳ６０ａにおいて重心座標を求める手順について示す説明図である。 図１３のステップＳ３３０において１つの重心座標算出対象領域における重心座標算出の手順を示すフローチャートである。 ドットパターンを用いた他の検出画像の例を示す説明図である。 ドットパターンではない他の検出画像部分を含む検出画像の例を示す説明図である。

Ａ．プロジェクターの構成
図１は、本発明の一実施例としてのプロジェクターの構成を概略的に示すブロック図である。プロジェクターＰＪは、入力操作部１０と、制御回路２０と、画像処理動作回路３０と、画像投写光学系（投写部）４０と、撮像部５０と、を備えている。

入力操作部１０は、図示しない、リモートコントローラーや、プロジェクターＰＪに備えられたボタンやキー等で構成され、利用者による操作に応じた指示情報を制御回路２０に出力する。例えば、利用者により、後述する検出画像調整処理の開始の指示情報が制御回路２０に出力される。

画像投写光学系４０は、画像を表す画像光を生成し、スクリーン（被投写面）ＳＣ上で結像させることにより画像を拡大投写する。この画像投写光学系４０は、照明光学系４２０と、液晶ライトバルブ４４０と、投写光学系４６０と、を備えている。

照明光学系４２０は、光源ランプ４２２とランプ駆動部４２４と、を備えている。光源ランプ４２２としては、超高圧水銀ランプやメタルハライドランプ等の放電発光型の光源ランプやレーザー光源、発光ダイオードや有機ＥＬ（Electro Luminescence）素子等の各種自己発光素子を用いることができる。ランプ駆動部４２４は、制御回路２０の制御に基づいて光源ランプ４２２を駆動する。

液晶ライトバルブ４４０は、照明光学系４２０から射出された光を画像データに基づいて変調する光変調装置である。液晶ライトバルブ４４０は、複数の画素をマトリクス状に配置した透過型液晶パネルにより構成される。後述する画像処理動作回路３０のライトバルブ駆動部３８０からの駆動信号に基づいて、各画素の液晶の動作を制御することにより、照明光学系４２０から照射された照明光を、画像を表す画像光に変換する。なお、本実施例では、液晶ライトバルブ４４０には、赤（Ｒ），緑（Ｇ），青（Ｂ）の３つの色成分用の３つの液晶ライトバルブが含まれている（不図示）。ただし、１つの液晶ライトバルブを用いてモノクロ画像を投写するようにしてもよい。

投写光学系４６０は、液晶ライトバルブ４４０から射出された画像光を、スクリーンＳＣ上で結像させることにより、スクリーンＳＣ状に画像を拡大投写する。投写光学系４６０は、投写レンズ４６２と、レンズ駆動部４６４と、状態検出部４６６と、を備えている。投写レンズ４６２は、図示しない、フォーカス調整用のフォーカスレンズと、ズーム調整用のズームレンズと、が光軸方向に移動可能に構成されており、液晶ライトバルブ４４０から射出された画像光を、ズームレンズのズーム位置に応じて拡大し、フォーカスレンズのフォーカス位置に応じて結像させることにより、画像光の表す画像をスクリーンＳＣ上に拡大投写する。レンズ駆動部４６４は、制御回路２０の制御に基づいて、フォーカスレンズの光軸方向の位置（以下、「フォーカス位置」という）を変化させる。また、レンズ駆動部４６４は、ズームレンズの光軸方向の位置（以下、「ズーム位置」）を変化させる。状態検出部４６６は、フォーカスレンズのフォーカス位置およびズーム位置を検出する。なお、投写光学系４６０の構成は一般的であるので、具体的な構成の図示および説明は省略する。

画像処理動作回路３０は、入力処理部３２０と、画像表示処理部３４０と、画像メモリー３６０と、ライトバルブ駆動部３８０と、を備えている。入力処理部３２０は、制御回路２０の制御に基づいて、外部機器から供給される入力画像信号に対して、必要に応じてＡ／Ｄ変換を行い、画像表示処理部３４０で処理可能なデジタル画像信号に変換する。画像表示処理部３４０は、制御回路２０の制御に基づいて、入力処理部３２０から出力されたデジタル画像信号に含まれる画像データを、画像メモリー３６０に、１フレームごとに書き込み、読み出す際に、解像度変換処理やキーストーン補正処理等の種々の画像処理を実施する。また、制御部２２０から出力された検出画像を表す検出画像データを、画像データに重ね合わせる。ライトバルブ駆動部３８０は、画像表示処理部３４０から入力されたデジタル画像信号に従って、液晶ライトバルブ４４０を駆動する。なお、ライトバルブ駆動部３８０は、画像処理動作回路３０ではなく、画像投写光学系４０に備えられるようにしてもよい。

撮像部５０は、制御回路２０の制御に基づいて、検出画像として入力処理部３２０から画像表示処理部３４０に入力されたデジタル画像信号の表す画像ＰＰ（ハッチングで示す）に検出画像ＴＰ（４つの検出画像部分としての４つのドットパターンＤＰで構成される）が重ね合わされた画像であり、スクリーンＳＣに拡大投写された投写画像を撮像し、撮像した画像に応じた画像信号を制御回路２０に出力する。この撮像部５０としては、例えば、撮像素子としてＣＣＤ（Charge Coupled Device ）を備えたＣＣＤカメラを用いて構成される。なお、検出画像については後述する。

動き検出部６０は、プロジェクターＰＪにおける、投写軸周りや、縦方向、横方向の移動、および移動の停止を検出する。なお、この動き検出部としては、角速度センサーや、加速度センサー、ジャイロセンサー等の、移動および移動の停止を検出することが可能な各種センサーを用いて構成することができる。

制御回路２０は、ＣＰＵやＲＯＭ、ＲＡＭ等を備えるコンピューターであり、制御プログラムを実行することにより、制御部２２０と情報記憶部２６０を構成する。制御部２２０は、実行された制御プログラムに従って、画像処理動作回路３０、画像投写光学系４０、撮像部５０、および、動き検出部６０を制御する各種制御機能部として動作する。情報記憶部２６０は、各種制御のための情報を記憶する各種記憶部として動作する。図１には、制御部２２０の制御機能部の例として、後述する検出画像調整を実行する検出画像調整部２３０、および、フォーカス調整やキーストーン補正（台形歪み補正）等の投写画像の画質を調整する投写画像調整部２４０が図示されている。この検出画像調整部２３０は、利用者が入力操作部１０から検出画像調整の開始を指示することにより、対応するプログラムが実行されることによって動作する。また、図１には、情報記憶部２６０の記憶部の例として、制御部２２０による種々の制御のための設定情報を記憶する設定情報記憶部２６２と、後述する検出画像情報を記憶する検出画像情報記憶部２６４と、撮像部５０で撮像された撮像画像の画像データを記憶する撮像画像情報記憶部２６６と、が図示されている。

検出画像調整部２３０は、検出画像生成部２３２と、撮像制御部２３４と、画像解析部２３６と、重心座標検出部２３８と、を備えている。検出画像生成部２３２は、投写画像調整部２４０によるフォーカス調整やキーストーン補正のために用いられる検出画像の画像データを生成する。撮像制御部２３４は、撮像部５０を制御してスクリーンＳＣ上に投写された検出画像を含む投写画像を撮像し、撮像した投写画像（以下、「撮像画像」ともいう）を撮像画像情報記憶部２６６に記憶する。画像解析部２３６は撮像画像を解析する。なお、画像解析部２３６は、検出画像生成部２３２の中に設けてもよい。重心座標検出部２３８は、検出画像ＴＰに含まれる各検出画像部分（ドットパターンＤＰ）の重心座標を検出する。重心座標が検出された検出画像を用いてフォーカス調整が実行され、検出された重心座標に基づいてキーストーン補正が実行される。この検出画像調整部２３０については、更に後述する。

なお、本実施例において、検出画像生成部２３２および画像解析部２３６が本発明の検出画像生成部に相当する。また、制御回路２０、画像処理動作回路３０、および動き検出部６０が、本発明の画像処理装置に相当する。

Ｂ．プロジェクターの動作：
［検出画像調整の概要］
図２は、キーストーン補正を例に、検出画像調整を行う意味について簡単に示す説明図である。図２（Ａ）に示すように、プロジェクターＰＪとスクリーンＳＣとの相対的な位置関係によって、液晶ライトバルブ４４０の画像形成領域４４０ｆに形成した矩形状の画像は、スクリーンＳＣ上に歪んだ形状で投写される。このとき、投写画像の歪んだ４つの頂点の位置を、矩形状の４つの頂点の位置へと、画像形成領域４４０ｆ上において座標変換することにより、歪みを補正した画像を表示することが可能となる。このため、投写画像の４つの頂点が、画像形成領域４４０ｆ上におけるどの位置に座標変換されるかを、精確に求めることが要求される。

上記要求に対して、例えば、以下のようにすることによって対応することができる。すなわち、画像形成領域４４０ｆにおいて、あらかじめ既知の座標に配置した複数の検出画像部分（例えば、図２に●で示した４つのドットパターン）を含む検出画像を投写する。そして、投写された検出画像を撮像して、撮像した検出画像（「撮像検出画像」ともいう）に含まれる各検出画像部分（「撮像検出画像部分」ともいう）から各撮像検出画像部分を抽出する。抽出した各撮像検出画像部分の重心座標を求めることによりずれ量を検出し、検出したずれ量に基づいて、歪んで投写される画像を矩形状に補正するための座標変換を実行することができる。また、それぞれの検出画像部分投写距離を、三次元測定法によって、ずれ量に基づいて求めることができ、フォーカス調整を実行することもできる。

ここで、キーストーン補正やフォーカス調整がされていないとすると、撮像検出画像に含まれる各検出画像部分は、外形形状が歪んでいる場合や、ぼけている場合、明るさが変化している場合、等によって、検出画像部分の抽出精度が悪くなる。このため、抽出精度が悪い検出画像部分から重心座標を求めても、求められた重心座標の精度も悪くなる。例えば、検出画像部分がぼけて撮像検出画像部分が暗く広がった形で抽出された場合には、重心座標を求める対象となる画素領域が広がって、重心座標を求めた場合に誤差が大きくなる。

そこで、本実施例では、以下で説明するように、撮像検出画像に含まれる各検出画像部分（撮像検出画像部分）の重心座標が精度良く求められるように、各検出画像部分の画像を調整するものである。

［検出画像調整の動作説明］
図３は、本実施例における検出画像調整処理を示すフローチャートである。制御部２２０の検出画像調整部２３０（図１）が検出画像調整処理を開始すると、検出画像調整部２３０の検出画像生成部２３２によって、検出画像が生成される（ステップＳ１０）。生成された検出画像の画像データ（以下、「検出画像データ」ともいう）は画像処理動作回路３０の画像表示処理部３４０（図１）に出力される。

図４は、生成される検出画像について示す説明図である。この検出画像ＴＰは、図４（Ａ）に示すように、液晶ライトバルブ４４０の画像形成領域４４０ｆの４隅の所定の位置に配置されるべき４つの検出画像部分としてのドットパターンＤＰ１〜ＤＰ４と、それぞれのドットパターンＤＰ１〜ＤＰ４を覆う矩形状の背景画像ＢＰ１〜ＢＰ４と、で構成される。画像形成領域４４０ｆは、マトリクス状に配置された複数の画素（液晶画素）により構成される。画像形成領域４４０ｆの左上，右上，左下，右下の４隅の頂点の座標（水平，垂直）は、（０，０），（ｘｘ，０），（０，ｙｙ），（ｘｘ，ｙｙ）で表されているものとする。このとき、４つのドットパターンＤＰ１〜ＤＰ４は、画像形成領域４４０ｆの座標上において、それぞれの中心（重心）があらかじめ定められた座標位置に配置されるものとする。本例では、各ドットパターンＤＰ１〜ＤＰ４および各背景画像ＢＰ１〜ＢＰ４は、画像形成領域４４０ｆの水平画素数をｗおよび垂直画素数をｈとし、画像形成領域４４０ｆの左上，右上，左下，右下の４隅の頂点から、それぞれ、水平方向にＷ／８画素、垂直方向にｈ／８画素ずれた位置が中心となるように配置されているものとする。なお、配置位置はこれに限定されるものではなく、適宜任意に設定可能である。ただし、４つの頂点に近い方が好ましい。

各ドットパターンＤＰ１〜ＤＰ４は、図４（Ｂ）に示すように、ドットパターンサイズ（直径）がｓｄ（単位は例えば［ｐｉｘｅｌ］）の円形パターンであり、中心から外周に向かって変化する階調段数ｓｔｐ（ｓｔｐ１〜ｓｔｐ４はそれぞれｒ３以上の整数）の複数段の領域に区分され、中心の領域から外周の領域に向かって順に明度が低くなる多値の明度分布を有する。図４（Ｂ）の例では、明度分布はガウス分布を模擬した形状である。なお、各領域の番号をｎとしてｎは中心から外側に向かって０からｓｔｐ−１までの番号が順に割り振られるものとする。１段目の領域（中心領域）の番号はｎ＝０で、その明度値（例えば８ビットの階調値）はＶ０で半径はｒ０（単位は例えば［ｐｉｘｅｌ］）で示される。同様に、２段目の領域の番号はｎ＝１で、その明度値はＶ１で半径はｒ１［ｐｉｘｅｌ］で示される。また３段目の領域の番号はｎ＝２で、その明度値はＶ２で半径はｒ２［ｐｉｘｅｌ］で示される。すなわち、ｎ段目の領域の番号はｎ＝０〜ｓｔｐ−１で、その明度値はＶｎで半径はｒｎ［ｐｉｘｅｌ］で示される。なお、ドットパターンのサイズｓｄは、画素数［ｐｉｘｅｌ］が奇数の場合には、中心を０として−ｒｎ〜＋ｒｎの範囲でｓｄ＝（２・ｒｎ）で表される。これに対して、画素数が奇数の場合には、ドットパターンのサイズｓｄは、−ｒｎ〜＋（ｒｎ−１）あるいは−（ｒｎ−１）〜＋ｒｎの範囲でｓｄ＝（２・ｒｎ）−１で表される。

図５は、図３のステップＳ１０において検出画像を構成する検出画像部分としてのドットパターンを生成する手順について示すフローチャートである。まず、ドットパターンサイズｓｄの決定（ステップＳ１１０）、明度の階調段数ｓｔｐの決定（ステップＳ１２０）、および、標準偏差σの決定（ステップＳ１３０）が実行される。なお、検出画像調整の開始時点において、これらのパラメーターｓｄ，ｓｔｐ，σはあらかじめ定められている値に設定される。以下の説明では、初期設定値の例として、ｓｄ＝３４［ｐｉｘｅｌ］，ｓｔｐ＝１０［段］，σ＝１０［ｐｉｘｅｌ］が設定されているものとして説明する。

そして、下式（１）で示す正規分布関数Ａ（ｓ）から、ｓ＝０およびｓ＝ｓｄ／２における確率密度Ａ（０）およびＡ（ｓｄ／２）の値を算出し（ステップＳ１４０）、下式（２）で示す配分式から、階調段数ｓｔｐの１段当たりの配分値Ｐａを算出する（ステップＳ１５０）。

上記初期設定ｓｄ＝３４，ｓｔｐ＝１０，σ＝１０の場合には、平均値ａｖｅを０として（１）式からＡ（０）＝０．０３９８９およびＡ（ｓｄ／２）＝Ａ（１７）＝０．００９４０が求められ、（２）式からＰａ＝０．００３０５が求められる。これらの各数値は便宜上小数点以下第６桁で四捨五入して示されている。なお、図３において説明したように、ドッドドットパターンのサイズｓｄが偶数画素数の場合には、−ｒｎ〜＋（ｒｎ−１）の範囲で表され、平均値ａｖｅは０ではなく−０．５となるが、上記したようにａｖｅ＝０としたのは、奇数画素数の場合と同様に−ｒｎ〜＋ｒｎの範囲と仮定しても計算上ほぼ問題がないと考えられるためである。例えば、ｓｄ＝３４において、実際の−１７〜＋１６の範囲で考えた場合と、−１７〜＋１７の範囲と考えた場合とで、その算出値の差異は、最大値Ａ（０）側で約０．００００５、最小値Ａ（１７）側で約０．０００８３であり、ほぼ同じ値と考えても差し支えない。

次に、各段の半径ｒｎ（ｎ：０〜ｓｔｐ−１＝９）を算出する（ステップＳ１６０）。具体的には、下式（３）が成立する半径ｒｎを算出する。

上記初期設定ｓｄ＝３４，ｓｔｐ＝１０，σ＝１０の場合には、各段の半径ｒ０〜ｒ９が、ｒ０＝４［ｐｉｘｅｌ］，ｒ１＝６［ｐｉｘｅｌ］，ｒ２＝７［ｐｉｘｅｌ］，ｒ３＝９［ｐｉｘｅｌ］，ｒ４＝１０［ｐｉｘｅｌ］，ｒ５＝１１［ｐｉｘｅｌ］，ｒ６＝１２［ｐｉｘｅｌ］，ｒ７＝１４［ｐｉｘｅｌ］，ｒ８＝１５［ｐｉｘｅｌ］，ｒ９＝１７［ｐｉｘｅｌ］のように求められる。

そして、各段の領域特定を実行する（ステップＳ１７０）。具体的には、ドットパターンの中心座標を原点として、下式（４）に基づいて各段の領域が特定される。具体的には、下式（４）で示される半径ｒｎの円が領域間の境界となり、その内側の領域がそれぞれの領域となる。従って、（ｒｎ−１）²＝ｘ²＋ｙ²で表される円とｒｎ²＝ｘ²＋ｙ²で表される円の間の領域がｎ段目の領域となる。

最後に、各段の明度の階調値（明度値）Ｖｎを設定する（ステップＳ１８０）。具体的には、例えば、下式（５）に基づいて各段の明度値Ｖｎを設定することができる。

上記初期設定ｓｄ＝３４，ｓｔｐ＝１０，σ＝１０の場合において、１段目（半径ｒ０）〜１０段目（半径ｒ９）の各領域の明度値Ｖ０〜Ｖ９は、例えば、Ｖ０：白９８％（８ビットの最大階調値２５５に対する割合）とすると、Ｖ１：白８８％，Ｖ２：白７８％，Ｖ３：白６８％，Ｖ４：白５８％，Ｖ５：白４８％，Ｖ６：白３８％，Ｖ７：白２８％，Ｖ８：白１８％，Ｖ９：白８％のように求められる。

以上のように、図４（Ｂ）に示すようなドットパターンを使用する理由は、個々のドットパターンの重心座標を求める処理において、その重心座標を精確に決定するのに適しているからである。なお、重心座標を求める処理については後述する。

背景画像ＢＰ１〜ＢＰ４は、それぞれに対応するドットパターンＤＰ１〜ＤＰ４のドットパターンサイズよりも大きい幅ｗｂと高さｈｂを有する大きさに設定され、その明度は、ドットパターンの最外周の最も暗い明度よりも暗い明度となるように設定される。背景画像は、後述するように、検出画像を重ねる投写画像の明度が、ドットパターンの明度に影響してしまうのを抑制するためのものであり、通常は、ドットパターンのサイズｓｄの２〜３倍に設定されるのが好ましい。ただし、撮像部５０の撮像の解像度に大きく起因するものであり、これに応じて、１．５〜２倍でよい場合もあり、３倍より大きくしなければならない場合もある。本例では、例えば、最初に設定される背景画像ＢＰ１〜ＢＰ４は、幅ｗｂおよび高さｈｂが（２・ｓｄ）で明度が白０％すなわち黒色の矩形画像に設定されるものとする。

上記ステップＳ１０（図３）による検出画像の生成の後、ステップＳ２０〜ステップＳ６０ｂが実行され、ステップＳ１０に戻ってステップＳ１０以降の処理が再び実行されることにより、検出画像調整が実行される。以下では、ステップＳ２０以降の処理を具体的に説明する前に、まず、ステップＳ１０で生成された検出画像による検出画像調整の概要を説明する。

図６は、図３のステップＳ１０で生成された検出画像を用いて実行される検出画像調整処理の概要について示す説明図である。なお、図を見やすくするために、背景画像は省略して示している。ステップＳ１０で生成された検出画像ＴＰは、後述するステップＳ２０において、例えば、図６（Ａ）に示すように、スクリーンＳＣ上に投写表示される。このとき、投写表示された検出画像ＴＰでは、右上および右下のドットパターンＤＰ２，ＤＰ４の明度が左上および左下のドットパターンＤＰ１，ＤＰ３の明度に比べて低い状態であり、精確に重心を求めることができる明度の許容範囲になかったとする。このとき、後述するステップＳ３０による投写画像の撮像、および、ステップＳ６０ｂ，Ｓ１０による検出画像の修正が実行される。この結果、図６（Ｂ）に示すように、ステップＳ２０における修正後の検出画像の再投写によって投写表示された検出画像ＴＰａでは、検出画像部分ＤＰ１〜Ｐ４の明度がそれぞれ重心位置を精確に求めることができる許容範囲内となるように調整される。

次に、図３のステップＳ２０以降の各処理について説明する。ステップＳ２０では、検出画像調整部２３０（図１）の検出画像生成部２３２から画像表示処理部３４０に出力された検出画像データの表す検出画像ＴＰが、画像処理動作回路３０の入力処理部３２０から画像表示処理部３４０に出力された画像データの表す画像に重畳され、ライトバルブ駆動部３８０、および、画像投写光学系４０を介してスクリーンＳＣ上に投写表示される。そして、ステップＳ３０では、検出画像調整部２３０の撮像制御部２３４によって撮像部５０が制御されて、スクリーンＳＣ上に投写表示されている検出画像を含む投写画像が撮像され、撮像画像の画像データ（「撮像画像データ」ともいう）が取得され、撮像画像情報記憶部２６６に記憶される。

ステップＳ４０では、撮像画像情報記憶部２６６に記憶されている撮像画像データの表す撮像画像を検出画像調整部２３０の画像解析部２３６（図１）によって、検出画像ＴＰを構成するドットパターン（検出画像部分）ＤＰ１〜ＤＰ４に対応する、撮像画像中の各検出画像部分（以下、「撮像検出画像部分」ともいう）の抽出が実行される。そして、ステップＳ５０では、各検出画像部分の抽出が可能であって検出画像の修正が不要であるか、少なくとも一つの検出部分の抽出が不可であって検出画像の修正が要であるか判断される。

図７は、画像解析部によって実行される撮像画像中の各検出画像部分の抽出および検出画像の修正要否判断について示す説明図である。図７（Ａ）は撮像して得られた撮像画像を模式的に示し、図７（Ｂ）は一つの検出画像部分の抽出結果および修正要否判断について示している。

撮像画像情報記憶部２６６に記憶されている撮像画像ＣＰＰの画像データを読み出して、撮像検出画像ＣＴＰの各検出画像部分であるドットパターンＤＰ１〜ＤＰ４に対応する部分の画像データのうち、図７（Ａ）に示した一点鎖線の枠で示した最も明度の高い部分を含む領域を抽出する。具体的には、例えば、ドットパターンＤＰ１〜ＤＰ４に対応する検出画像部分および背景画像が存在するはずのおおよその位置は特定できるため、検出画像部分を含むおおよその範囲内における各画素の明度の最大値を検出し、検出した明度の最大値の画素を含み、かつ、背景画像の部分を含む領域の画像データを抽出する。図７（Ｂ）のグラフは、抽出した画像データの階調値の変化の状態（以下、「階調パターン」ともいう）を示している。図７（Ｂ）の破線で示す階調パターンＹｃは、設定したドットパターンの階調パターンを示しており、フォーカスや歪み等の種々の損失がなく理想的な状態の場合の理想的な階調変化の状態を模式的に示している。なお、以下では、この階調パターンＹｃを「設定階調パターン」あるいは「理想的階調パターン」ともいう。しかしながら、実際に抽出された画像データの階調パターンＹｄｐは、フォーカスのずれ具合や、ズーム状態、撮像部５０の解像度、プロジェクターとスクリーンとの位置関係（正面投写、斜め投写）、スクリーンの状態（色や材質等）、検出画像が重畳される画像の状態等の種々の条件に応じて、設定階調パターンＹｃからずれた状態となる。

そこで、抽出した各検出画像部分について、それぞれ、検出画像部分の階調パターンＹｄｐの設定階調パターンＹｃに対するずれが、重心を精確に求めることが可能な許容条件を満たしている否かを判断することにより、各検出画像部分の抽出可否を判断し、検出画像の修正要否を判断する。具体的には、以下の条件を満足するか否かで判断される。
許容条件１）検出画像部分の明度の最大値ＶＨｄｐが上限値Ｖａｈ（８ビットで２５０（最大階調値２５５に対する割合で表すと９８％））〜下限値Ｖａｌ（８ビットで２３０（９０％））の範囲内であること。
許容条件２）ドットパターンサイズｓｄの１．５倍外側における明度値ＶＬａｄｐ，ＶＬｂｄｐが（Ｖａｌ−ｔｈ）よりも低いこと（閾値ｔｈは３０）。

各検出画像部分において、条件１，２が満足されている場合には、各検出画像部分の抽出が可能であり、検出画像の修正は不要と判断される。一方、少なくとも一つの検出画像部分において、条件１，２の少なくとも一方が満足されない場合には、その検出画像部分の抽出が不可であり、検出画像の修正は必要と判断される。なお、下限値Ｖａｌおよび上限値ＶａｈはＶａｌ＝２３０，Ｖａｈ＝２５０に限定されるものではなく、要求される精度に応じて適宜変更可能な値である。また、閾値ｔｈもｔｈ＝３０に限定されるものではなく、同様である。

図８は、背景画像を配置する効果について示す説明図である。図８（Ａ）は仮に背景画像を配置しない場合の一つの検出画像部分の階調パターンの例を示している。図８（Ｂ）は背景画像を配置した場合の一つの検出画像部分の階調パターンの例を示している。背景画像を配置しない場合には、検出画像部分の階調パターンＹｄｐは、スクリーンの状態（色や材質）や、検出画像が重畳される画像の状態（明度）に影響される。スクリーンの色の明度が高い場合や、検出画像が重畳される画像（「被重畳画像」ともいう）の明度が高い場合には、抽出した検出画像部分の階調パターンは、設定階調パターンＹｃのように低い側の明度が、スクリーンや非重畳画像の明度の影響を受けて、低下せず、明るい側に偏った階調パターンとなる。この場合に、検出画像部分の明度の最大値が低く抽出されるような状態であれば、階調差が小さくなって、精確な重心を求めることができない可能性が高くなる。これに対して、背景画像を配置した場合には、図８（Ｂ）に示すように、検出画像部分と非重畳画像部分に、背景画像が配置されることにより、スクリーンや被重畳画像の影響を抑制して、得られる階調パターンＹｄｐを設定階調パターンＹｃに近づけることができる。この結果、検出画像部分の抽出精度を向上させることが可能となる。以上説明したように、検出画像部分を覆うように背景画像を配置するのは、スクリーンや被重畳画像の影響を抑制して、検出画像部分の抽出精度を向上させるためである。

ステップＳ６０ａでは、求めた撮像画像中の各検出画像部分の階調パターンの状態がいずれも許容範囲を満たしており、検出画像の修正不要と判断された場合に（ステップＳ５０：ＹＥＳ）、検出画像調整部２３０の重心座標検出部２３８（図１）によって、検出画像ＴＰを構成する検出画像部分であるドットパターンＤＰ１〜ＤＰ４に対応する、撮像画像中の各検出画像部分（撮像検出画像部分）の重心座標が求められる。そして、ここで求められた重心座標に基づいて、更に、フォーカス調整やキーストーン補正等の種々の調整が実行される。なお、この重心座標を求める方法については後で説明する。

ステップＳ６０ｂ（図３）では、求めた撮像画像中の各検出画像部分の階調パターンの少なくとも一つの状態が許容範囲を満たしておらず、検出画像の修正必要と判断された場合に（ステップＳ５０：ＮＯ）、検出画像生成部２３２によって検出画像ＴＰを修正するための修正情報が求められる。そして、ステップＳ１０に戻って、求められた修正情報に基づいて検出画像が修正され、修正された検出画像の画像データが画像表示処理部３４０に出力され、ステップＳ５０において検出画像の修正が不要と判断されるまで、ステップＳ１０〜ステップＳ６０ｂの処理が繰り返される。なお、修正情報を求める処理（ステップＳ６０ｂ）については後で説明する。

検出画像の修正要否判断（ステップＳ６０）の後、撮像画像中の各検出画像部分の重心座標を求める処理が実行された場合には（ステップ６０ａ）、検出画像の再調整要否判断（ステップＳ７０）および検出画像調整処理の終了の判断（ステップＳ８０）が実行される。利用者によって入力操作部１０からの終了が指示されて、ステップＳ８０において処理の終了と判断されるまでは、ステップＳ７０で再調整必要と判断されるまで、待機状態となる（ステップＳ７０：ＮＯ，ステップＳ８０：ＮＯ）。再調整必要と判断された場合には（ステップＳ７０：ＹＥＳ）、ステップＳ３０に戻って画像投写、ステップＳ４０における投写画像の撮像、ステップＳ５０における検出画像部分の抽出、および、ステップＳ６０における検出画像の修正要否判断が実行され、この修正要否判断に応じて、ステップＳ６０ａにおける重心座標を求める処理、あるいは、ステップＳ６０ｂにおける修正情報を求める処理が再度実行される。なお、再調整必要と判断されるのは、例えば、動き検出部６０によるプロジェクターＰＪの動き検出によりプロジェクターＰＪの設置状態の変化が検出された場合や、プロジェクターの設定条件（照明の明るさ、ズーム位置、フォーカス位置等）が変更された場合が挙げられる。

［修正情報および検出画像の修正］
図９〜図１２は抽出した検出画像部分の階調パターンおよび修正情報の例を示す説明図である。図９は、設定階調パターンＹｃと同じ分布の幅で許容条件２を満たすが、明度の最大値（最大の階調値）ＶＨｄｐが許容範囲（Ｖａｈ〜Ｖａｌ）よりも低くなって許容条件１を満たさない場合の特性の階調パターンＹｄｐを示している。例えば、検出画像部分が「暗く抽出」された場合が該当する。この場合には、ドットパターンの明度を全体的に明るくすることが考えられる。そこで、検出画像生成部２３２は「ドットパターンの明度を明るくする」という修正情報を得、対応するドットパターンの明度を明るくする修正を行うことにより検出画像の修正を実行する。なお、ドットパターンの修正方法については後述する。

図１０は、設定階調パターンＹｃよりも広がった分布の幅ではあるけれども許容条件２を満たすが、明度の最大値ＶＨｄｐが許容範囲（Ｖａｈ〜Ｖａｌ）より低くなって許容条件１を満たさない場合の特性の階調パターンＹｄｐを示している。例えば、検出画像部分が「ぼけて暗く抽出」された場合が該当する。この場合には、画像がぼけることにより背景画像の明度がドットパターンの明度に影響することや、背景画像の周辺の被重畳画像の明度がドットパターンの明度に影響することによって、階調パターンＹｄｐの明度の最大値ＶＨｄｐが許容範囲からはずれて許容条件１を満たさなくなったことが考えられる。

従って、上記不具合を解消するためには、例えば、ドットパターンのサイズに対する背景画像のサイズ（幅および高さ）を大きくして、背景画像や被重畳画像の影響を小さくすることが考えられる。そこで、例えば、検出画像生成部２３２は「ドットパターンのサイズに対する背景画像のサイズを大きくする」という修正情報を得、対応するドットパターンの背景画像のサイズを大きく設定する。具体的には、例えば、上記したように、初期設定では幅ｗｂおよび高さｈｂをドットパターンのサイズｓｄの２倍に設定しているが、これを２倍よりも大きく設定する。

ここで、図１０における処理を１回あるいは複数回繰り返すことにより、階調パターンＹｄｐの明度の最大値ＶＨｄｐが大きくなって許容範囲（Ｖａｈ−Ｖａｌ）内となる許容条件１を満たせば、検出画像部分の抽出可能と判断される。また、図１０における処理を複数回繰り返して、階調パターンＹｄｐの分布の幅が狭くなって設定階調パターンＹｃと一致するようになっても、明度の最大値ＶＨｄｐが許容範囲（Ｖａｈ−Ｖａｌ）内とならず許容条件１を満たさない場合には、図９の状態となる。このため、図９で示した処理を実行することにより、検出画像部分の抽出可能と判断されることになる。

なお、図１０の場合、ドットパターンの中心部の明度を周辺部の明度に比べて明るくなるように設定することによって、明度の変化を急峻とすることにより、修正することも可能である。また、背景画像のサイズを大きくすることと、ドットパターンの中心部の明度を周辺部の明度に比べて明るくなるように設定することの両方を行うようにしてもよい。

図１１は、設定階調パターンＹｃと同じ分布の幅で許容条件２を満たすが、明度の最大値ＶＨｄｐが設定可能な最大値Ｖｃと同じで、かつ、広がり（幅）を有して許容条件２を満たさない場合の特性の階調パターンＹｄｐを示している。例えば、検出画像部分が「明るい側で飽和して抽出」された場合が該当する。この場合には、ドットパターンの明度を少し暗くすることや、ドットパターンのサイズを小さくすることが考えられる。なお、背景画像のサイズ、すなわち、幅ｗｂおよび高さｈｂは、上記したように、ドットパターンのサイズｓｄをあらかじめ定めた倍率だけ大きくしたサイズに設定される（本例では２・ｓｄ）。従って、このドットパターンのサイズを小さくすることは、背景画像のサイズを調整することで考えると、背景画像のサイズを小さくすることに対応する。ドットパターンの明度を少し暗くすることと、ドットパターンのサイズを小さくすることの、いずれの処理を優先するかは、あらかじめ設定しておけばよい。また、いずれか一つの処理ではなく、複数を組み合わせてもよいし、全てを行うようにしてもよい。

そこで、抽出した検出画像部分の階調パターンが図１１のような場合には、検出画像生成部２３２は、例えば、「ドットパターンのサイズを小さくする」という修正情報を得、ドットパターンサイズｓｄを小さくする修正を実行する。

ここで、図１１における処理を１回または複数回繰り返すことにより、階調パターンＹｄｐの明度の最大値ＶＨｄｐの飽和状態が解消されて許容範囲（Ｖａｈ−Ｖａｌ）内となる許容条件１を満たせば、検出画像部分の抽出可能と判断される。これに対して、図１１における処理を複数回繰り返しても、明度の最大値ＶＨｄｐの飽和状態は解消されるが、許容範囲（Ｖａｈ−Ｖａｌ）からはずれて許容条件１を満たさなくなった場合には、図９や図１０の状態となるので、図９や図１０で示した処理を実行することにより、検出画像部分の抽出可能と判断されることになる。

図１２は、明度の最大値ＶＨｄｐは許容範囲（Ｖａｈ−Ｖａｌ）内で許容条件１を満たすが、ドットパターンサイズｓｄの１．５倍外側における階調値Ｙｄｐの明度値ＶＬａｄｐ，ＶＬｂｄｐが境界値（Ｖａｌ−ｔｈ）よりも高く許容条件２を満たさない場合の特性の階調パターンＹｄｐを示している。例えば、検出画像部分が「明るい側にぼけて抽出」された場合が該当する。この場合には、例えば、画像がぼけることにより背景画像の周辺の被重畳画像の明度がドットパターンの明度に影響し、階調パターンＹｄｐの暗側の明度が明るくなって、明度値ＶＬａｄｐ，ＶＬｂｄｐが境界値（Ｖａｌ−ｔｈ）よりも高くなり、許容条件２を満たさなくなったことが考えられる。

従って、上記不具合を解消するためには、例えば、ドットパターンのサイズに対する背景画像のサイズを大きくして、背景画像の周辺の被重畳画像の影響を小さくすることが考えられる。また、ドットパターンの中心側の明度は変更せず周辺側の明度を暗くすることが考えられる。また、ドットパターンのサイズを小さくすることが考えられる。背景画像を相対的に大きくすることと、ドットパターンの周辺側の明度を暗くすることと、ドットパターンのサイズを小さくすること、のいずれの処理を優先するかは、あらかじめ設定しておけばよい。また、いずれか一つの処理ではなく、複数を組み合わせてもよいし、全てを行うようにしてもよい。

そこで、抽出した検出画像部分の階調パターンが図１２のような場合には、例えば、検出画像生成部２３２は「ドットパターンのサイズに対する背景画像のサイズを大きくする」という修正情報を得、対応するドットパターンのサイズに対する背景画像のサイズを大きく設定する。

ここで、図１２における処理を１回または複数回繰り返すことにより、階調パターンＹｄｐの明度値ＶＬａｄｐ，ＶＬｂｄｐが境界値（Ｖａｌ−ｔｈ）よりも低くなり、許容条件２を満たすようになったとする。このとき、階調パターンＹｄｐの明度の最大値ＶＨｄｐも許容範囲（Ｖａｈ−Ｖａｌ）内となる許容条件１を満たせば、検出画像部分の抽出可能と判断される。これに対して、図１２における処理を複数回繰り返すことにより、階調パターンＹｄｐの明度の最大値ＶＨｄｐが許容範囲（Ｖａｈ−Ｖａｌ）からはずれて明るい側で飽和して許容条件１を満たさなくなった場合には、図１１の状態となるので、図１１で示した処理を実行することにより、検出画像部分の抽出可能と判断される。また、図１２における処理を複数回繰り返すことにより、階調パターンＹｄｐの明度の最大値ＶＨｄｐが許容範囲（Ｖａｈ−Ｖａｌ）からはずれて暗くなり許容条件１を満たさなくなった場合には、図９や図１０の状態となるので、図９や図１０で示した処理を実行することにより、検出画像部分の抽出可能と判断されることになる。

以上のように各検出画像部分を修正することにより、各検出画像部分は要求される精度の重心を求めることが可能な状態に修正されて各検出画像部分の抽出が可能と判断されように検出画像調整が実行される。

上記したドットパターンの修正方法としては種々の方法が可能である。例えば、図４および図５を用いて説明したようにドットパターンを生成する場合には、そのパラメーターであるドットパターンサイズｓｄや、階調段数ｓｔｐ、標準偏差σ、中心領域の明度値Ｖ０を設定することにより生成することができる。そこで、これらのパラメーターを変更することによりドットパターンの修正を実行することができる。ドットサイズｓｄを大きくすれば、正規分布の適用範囲が広くなって各段の分布量が大きくなるので、撮像検出画像部分の明度の最大値は高くなる傾向にある。これに対して、ドットサイズｓｄを小さくすれば、正規分布の適用範囲が狭くなって各段の分布量が小さくなるので、撮像検出画像部分の明度の最大値は低くなる傾向にある。階調段数ｓｔｐの段数を大きくすれば各段の幅が狭くなるので撮像検出画像部分の明度の最大値は低くなり、階調段数ｓｔｐの段数を小さくすれば各段の幅が広くなるので撮像検出画像部分の明度の最大値は高くなる傾向にある。標準偏差σを大きくすれば、正規分布がなだらかになり、中心領域の幅が広くなって、撮像検出画像部分の明度の最大値は高くなる傾向にある。これに対して、標準偏差σを小さくすれば、正規分布が急峻になり、中心領域の幅が狭くなって、撮像検出画像部分の明度の最大値は低くなる傾向にある。中心領域の明度値Ｖ０を大きくすれば撮像検出画像部分の明度の最大値は高くなり、中心領域の明度値Ｖ０を小さくすれば撮像検出画像部分の明度の最大値は低くなる。従って、これらのパラメーターの値を上記修正情報に応じて適宜設定することにより所望の状態となるようにドットパターンを修正することが可能となる。

［重心座標を求める方法］
図１３は、図３のステップＳ６０ａにおいて重心座標を求める手順について示す説明図である。図１３（Ａ）は重心座標を求める手順のフローチャートを示し、図１３（Ｂ）は重心座標算出の対象領域について示している。

図１３（Ａ）に示すように、撮像画像データを読み込み（ステップＳ３１０）、読み込まれた撮像画像データの中から重心座標算出対象領域の抽出を行う（ステップＳ３２０）。具体的には、例えば、以下のように実行される。検出画像を構成するドットパターン（検出画像部分）は座標で特定されているため、図１３（Ｂ）に示すように、撮像画像データの表す撮像画像中においても、４隅から幅や高さの１／２あるいは１／４の領域など、おおよその領域Ａｅｘは特定できる。そこで、各領域Ａｅｘ内での明度の最大値を検出する。そして、その最大値の座標およびドットパターンサイズを基に、対応する撮像検出画像部分を含む最小領域を重心座標算出対象領域Ａｇとして抽出することができる。次に、抽出された各重心座標算出対象領域Ａｇにおいてそれぞれ重心座標の算出を実行する（ステップＳ３３０）。

図１４は、図１３のステップＳ３３０において１つの重心座標算出対象領域における重心座標算出の手順を示すフローチャートである。まず、重心座標算出対象領域Ａｇ中の撮像画像データを調べて、その中の明度の最大値Ｖｍａｘおよび最小値Ｖｍｉｎを求める（ステップＳ４１０）。また、下式（６）を用いて境界値ｔｈを求める（ステップＳ４２０）。

なお、（６）式は、重心座標算出対象領域Ａｇ中の明度の最小値Ｖｍｉｎから、差（Ｖｍａｘ−Ｖｍｉｎ）の２５％だけ大きい値を境界とすることを示している。なお、差（Ｖｍａｘ−Ｖｍｉｎ）の何％とするかは２５％に限定されるものではなく、重心座標算出対象領域Ａｇ中の重心座標算出対象となる画素の明度を最低どれくらいに設定するかに応じて適宜設定される。

そして、重心座標算出対象領域Ａｇの各画素の明度値Ｖ（ｘ，ｙ）と境界値ｔｈの比較を行い、Ｖ（ｘ，ｙ）−ｔｈ＞０ならばその画素は重心座標算出の対象となる画素とし、下式（７）〜（９）に示す各積算を実行する（ステップＳ４３０）。（７）式は、重心座標算出の対象となった画素の明度値を積算することを意味している。（８）式は、重心座標算出の対象となった画素のｘ座標の値とその明度値との乗算値を積算することを意味している。（９）式は、重心座標算出の対象となった画素のｙ座標の値とその明度値との乗算値を積算することを意味している。なお、この処理は、重心座標算出対象領域Ａｇ内の全画素について実行されるまで繰り返される（ステップＳ４４０）。

そして、重心座標算出対象領域Ａｇ内の全画素についてステップＳ４３０の処理が行われた場合には（ステップＳ４４０：ＹＥＳ）、パラメーターＳｕｍの値が０か否か判断される（ステップＳ４５０）。パラメーターＳｕｍの値が０の場合には（ステップＳ４５０：ＮＯ）、重心座標（ｘｇ，ｙｇ）の算出はエラーと判定され、重心座標（ｘｇ，ｙｇ）としてあらかじめ定められたエラー値が設定される。なお、この場合、図１３に示した重心座標を求めるフローが再開されるようにして、エラーの発生率の軽減を図るようにしてもよい。一方、パラメーターＳｕｍの値が０でない場合には（ステップＳ４５０：ＮＯ）、下式（１０），（１１）に従って、重心座標（ｘｇ，ｙｇ）が求められる。

なお、（１０）式は、重心座標算出の対象となった各画素のｘ座標の値とその明度値との乗算値の積算値を、重心座標算出の対象となった各画素の明度値の積算値で除算して、重心のｘ座標の値を求めることを意味している。同様に、（１１）式は、重心座標算出の対象となった各画素のｙ座標の値とその明度値との乗算値の積算値を、重心座標算出の対象となった各画素の明度値の積算値で除算して、重心のｙ座標の値を求めることを意味している。

以上説明したように、本実施例のプロジェクターでは、検出画像の検出画像部分であるドットパターンに対応する撮像画像中の検出画像部分（撮像検出画像部分）の明度分布（階調パターン）が許容条件を満たすように修正することにより、検出画像の抽出精度や検出精度を向上させることができる。具体的には、各検出画像部分の重心が要求される精度で求められるように各検出画像部分の抽出精度を向上させることができる。また、同様に、フォーカス調整がされておらずフォーカスがぼけている状態や、キーストーン補正がされておらず投写画像が歪んだ状態であっても検出画像の抽出精度や検出精度を向上させることができる。この結果、精度良く抽出された検出画像の各検出画像部分の重心を精確に求めることができ、フォーカス調整やキーストーン補正等の種々の調整を精度良く実行することが可能となる。

Ｃ．変形例：
なお、本発明は上記した実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。

（１）変形例１
上記実施例では、検出画像部分であるドットパターンの生成において、図４および図５に示したように正規分布関数を利用して決定した配分値を用いて各段の確率密度の差が等間隔となるように設定するとともに、各段の明度を明度値の割合が等間隔で小さくなるように設定する場合を例に説明した。しかしながら、これに限定されるものではなく、正規分布関数ではなく折れ線状の直線関数や二次関数等を利用してもよい。また各段の明度を等間隔の明度値の割合ではなく、階調値が等間隔で小さくなるように設定してもよく、階調値や割合を等間隔としなくてもよい。

また、ドットパターンの修正は、標準偏差や、ドットパターンサイズや、階調段数、中心領域の明度値等種々のパラメーターを変更することにより実行するようにしてもよい。

以上のように、ドットパターンである検出画像部分の生成および修正は、互いに明度が異なる複数の領域を含むような検出画像部分を生成することができ、修正することができれば、どのような手法を用いてもよい。

（２）変形例２
上記実施例では、図４に示したように、４つのドットパターンを検出画像部分として画像の４隅に配置した検出画像を例に説明したが、これに限定されるものではなく種々の検出画像を用いることができる。以下では他の検出画像についていくつか例示する。

図１５は、ドットパターンを用いた他の検出画像の例を示す説明図である。図１５は、９個のドットパターンを格子状に配置した例である。図４や図１５に示したように、検出画像部分であるドットパターンの数や位置を種々変更した検出画像を用いることができる。

図１６は、ドットパターンではない他の検出画像部分を含む検出画像の例を示す説明図である。図１６は、格子状のライン画像の例である。このライン画像は、ラインの中心側の明度が高く、ラインの外側の明度が低くなるように、それぞれ異なる明度を有する複数の領域に区分されており、ラインの外側を覆うように背景画像（図中黒色のベタ領域で示す）が配置されている。この検出画像の場合には、例えば、円の枠で示された部分を検出画像部分とすればよい。修正は、ライン画像を覆う背景画像の幅、ライン画像のラインの幅、階調段数、各段の幅、中心領域の明度の設定値等を変更することにより実行することができる。このように、検出画像部分としてはドットパターンに限定されるものではなく、互いに明度が異なる複数の領域を含む複数の検出画像部分を有する検出画像であればよく、種々の検出画像を用いることができる。

（３）変形例３
上記実施例において、図９〜図１２で説明した検出画像部分の階調パターンおよび修正情報は例示であって、これに限定されるものではなく、抽出された検出画像部分の階調パターンが設定階調パターンに近づくように修正して、許容条件１および許容条件２を満たすことが可能であれば、そのための修正の仕方がどのような方法であってもよい。

（４）変形例４
上記実施例において、重心座標の算出は、（１０）式，（１１）式によるものに限定されるわけではなく、種々の重心座標の算出方法を用いることができる。例えば、境界値ｔｈよりも大きい明度値を有する画素の座標の平均値としてもよい。また、重心座標算出対象領域Ａｇ内の画素の座標の平均値としてもよい。

（５）変形例５
上記実施例では、検出画像調整の開始を利用者が入力操作部１０を操作して指示することにより開始されることとしているが、これに限定されるものではなく、種々のタイミングで開始することができる。例えば、プロジェクターの起動時に自動で開始することができる。また、プロジェクターが停止状態から移動状態となったことを動き検出部６０により検出して自動で開始するようにしてもよい。

また、検出画像調整の終了を利用者が入力操作部１０を操作して指示することにより終了されることとしているが、これに限定されるものではなく、種々のタイミングで終了させることができる。例えば、重心座標を求める処理が実行された後、一定時間待って自動的に終了するようにしてもよい。また、重心座標を求める処理が実行された後、一定時間プロジェクターの停止状態が継続された場合に終了するようにしてもよい。

（６）変形例６
上記実施例では、プロジェクター内に撮像部が備えられる場合を例に説明したが、プロジェクターとは別に撮像部が備えられるようにしてもよい。この場合においても、プロジェクターとは別に備えられた撮像部で撮像される画像に応じて検出画像を修正することができる。これにより、検出画像を精度良く抽出して、検出画像の検出画像部分に対応する撮像検出画像部分の重心座標を精度良く求めることが可能となる。

（７）変形例７
上記実施例において、プロジェクターＰＪは、透過型の液晶パネルを用いた液晶ライトバルブ４４０を光変調装置として用いて、照明光学系４２０からの光を画像光に変換しているが、デジタル・マイクロミラー・デバイス（ＤＭＤ：Digital Micro-Mirror Device ）や、反射型の液晶パネル等を光変調装置として用いるようにしてもよい。

１０…入力操作部
２０…制御回路
３０…画像処理動作回路
４０…画像投写光学系
５０…撮像部
２２０…制御部
２３０…検出画像調整部
２３２…検出画像生成部
２３４…撮像制御部
２３６…画像解析部
２３８…重心座標検出部
２６０…情報記憶部
２６２…設定情報記憶部
２６４…検出画像情報記憶部
２６６…撮像画像情報記憶部
３２０…入力処理部
３４０…画像表示処理部
３６０…画像メモリー
３８０…ライトバルブ駆動部
４２０…照明光学系
４２２…光源ランプ
４２４…ランプ駆動部
４４０…液晶ライトバルブ
４６０…投写光学系
４６２…投写レンズ
４６４…レンズ駆動部
４６６…状態検出部
ＰＪ…プロジェクター
ＴＰ，ＴＰａ…検出画像
ＰＰ…画像
ＤＰ…ドットパターン
ＢＰ…背景画像
ＤＰ１〜ＤＰ４…ドットパターン（検出画像部分）
ＢＰ１〜ＢＰ４…背景画像
ＳＣ…スクリーン

Claims (8)

1. 被投写面上に画像を投写して表示するプロジェクターに用いられる画像処理装置であって、
   前記被投写面上に表示される投写画像の状態を検出するための画像として、複数の検出画像部分と、前記複数の検出画像部分のそれぞれの周囲を覆う背景画像と、を含む検出画像を生成する検出画像生成部を備え、
   前記複数の検出画像部分のそれぞれは、互いに明度が異なる複数の領域を含んでおり、
   前記背景画像は、前記複数の検出画像部分の明度よりも低い明度を有しており、
   前記検出画像生成部は、
   前記被投写面上に投写された前記検出画像を撮像して得られた撮像検出画像に含まれる前記複数の検出画像部分の明度分布が、それぞれに対応する前記検出画像の複数の検出画像部分の明度分布に近づくように、生成する検出画像の前記複数の検出画像部分の明度分布と前記背景画像のサイズの少なくとも一方を変更する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記検出画像生成部は、
   前記撮像検出画像に含まれる前記複数の検出画像部分の明度の階調パターンが許容条件を満たすように、生成する検出画像の前記複数の検出画像部分の明度分布と前記背景画像のサイズの少なくとも一方を変更する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記検出画像生成部は、前記撮像検出画像に含まれる前記検出画像部分の明度の階調パターンの分布幅が、前記撮像検出画像に含まれる前記検出画像部分の明度の階調パターンの分布幅よりも広く、かつ、前記撮像検出画像に含まれる前記検出画像部分の明度の最大値が、明度の最大値の許容条件を満たさない場合に、前記背景画像のサイズを大きくする
   ことを特徴とする画像処理装置。
4. 請求項１または請求項２に記載の画像処理装置であって、
   前記検出画像生成部は、生成する検出画像の前記複数の検出画像部分の明度分布を変更する場合には、前記検出画像に含まれる前記検出画像部分の外形サイズと、前記検出画像部分に含まれる前記複数の領域の幅と、前記検出画像部分の明度の最大値と、の少なくとも、一つを変更することにより、実行する
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか一項に記載の画像処理装置であって、
   前記複数の領域の区分は、あらかじめ定めた関数に基づいて求められる
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記関数はガウス分布関数であることを特徴とする画像処理装置。
7. 被投写面上に画像を投写して表示するプロジェクターであって、
   請求項１ないし請求項６のいずれか一項に記載の画像処理装置と、
   前記被投写面上に投写された前記検出画像を撮像する撮像部と、
   前記画像処理装置から出力された画像データに基づいて、前記画像を投写する投写部と、を備える
   ことを特徴とするプロジェクター。
8. 被投写面上に画像を投写して表示するプロジェクターの制御方法であって、
   （ａ）前記被投写面上に表示される投写画像の状態を検出するための画像として、複数の検出画像部分と、前記複数の検出画像部分のそれぞれの周囲を覆う背景画像と、を含む検出画像を生成する工程と、
   （ｂ）前記被投写面上に前記検出画像を投写する工程と、
   （ｃ）前記被投写面上に投写された前記検出画像を撮像する工程と、
   を備え、
   前記複数の検出画像部分のそれぞれは、互いに明度が異なる複数の領域を含んでおり、
   前記背景画像は、前記複数の検出画像部分の明度よりも低い明度を有しており、
   前記工程（ａ）は、
   撮像して得られた撮像検出画像に含まれる前記複数の検出画像部分の明度分布が、それぞれに対応する前記検出画像の複数の検出画像部分の明度分布に近づくように、生成する検出画像の前記複数の検出画像部分の明度分布と前記背景画像のサイズの少なくとも一方を変更する
   ことを特徴とするプロジェクターの制御方法。

Images