JP2019047311A - 画像投写システム及びその制御方法 - Google Patents

Abstract

【課題】パターン画像の一部が遮蔽されている場合でも、画像を適切に補正することが可能な画像投写システム及びその制御方法を提供する。【解決手段】投写面Ｓｐに画像を投写する画像投写部１５と、画像投写部１５からパターン画像を投写させる制御部１０と、投写面Ｓｐに投写されたパターン画像を撮像する撮像部１６と、撮像部１６で撮像されたパターン画像に基づいて、複数の基準点を検出する検出部１７と、検出部１７で検出された基準点の位置に基づいて、画像投写部１５が投写する画像を補正する画像情報補正部１４と、を備え、パターン画像Ｉｐは、基準点を特定するための複数の単位パターンを含み、複数の単位パターンは、７色の単位パターンを含む。【選択図】図１

Description

本発明は、投写面に画像を投写する画像投写システム及びその制御方法に関する。

単純な平面ではない投写面、即ち三次元形状の投写面に画像を投写するシステムにおいて、プロジェクターから投写面に所定のパターン画像を投写して、これをカメラで撮像することにより、投写面の三次元形状に起因する画像の歪みを補正する技術が提案されている（例えば、特許文献１参照）。特許文献１に記載の投影システムでは、白色の矩形パターンと黒色の矩形パターンが規則的に配列された格子状のパターン画像が用いられている。

特開２０１６−１７８４４８号公報

しかしながら、プロジェクターとカメラには視差があるため、投写面に比較的大きな凹凸が存在する場合には、パターン画像の一部をカメラで撮像することができず、正しい補正ができなくなってしまうという問題を有している。特に、複数の基準点（例えば、格子の交点）の位置に基づいて補正を行う態様では、一部の基準点が検出できないと、検出された基準点についても、その本来の位置（パターン画像上の位置）との対応関係が不明になってしまうため、画像の全体で正しい補正ができなくなる。また、投写面が平面であっても、投写面上の模様や汚れ、或いは障害物等によって一部の基準点を検出できない場合には、同様の問題が生じ得る。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係る画像投写システムは、投写面に画像を投写する投写部と、前記投写部からパターン画像を投写させる制御部と、前記投写面に投写された前記パターン画像を撮像する撮像部と、前記撮像部で撮像された前記パターン画像に基づいて、基準点を検出する検出部と、前記検出部で検出された前記基準点の位置に基づいて、前記投写部が投写する前記画像を補正する補正部と、を備え、前記パターン画像は、前記基準点を特定するための複数の単位パターンを含み、前記複数の単位パターンには、色及び模様の少なくとも一方が異なる少なくとも３種類の単位パターンが含まれることを特徴とする。

この画像投写システムによれば、パターン画像が、色及び模様の少なくとも一方が異なる少なくとも３種類の単位パターンを含むため、白色の矩形パターンと黒色の矩形パターンのように２種類の単位パターンを用いる場合に比べて、同種の単位パターンが配置される間隔を大きくできる。このため、検出部によって一部の基準点が検出されない場合でも、単位パターンの色や模様に基づいて、検出された基準点を識別することが可能となる。この結果、検出された基準点の位置と、その本来の位置（パターン画像上の位置）との対応関係が明確になるため、画像を適切に補正することが可能となる。

［適用例２］上記適用例に係る画像投写システムにおいて、前記少なくとも３種類の単位パターンは、互いに色が異なっていてもよい。

この画像投写システムによれば、検出部によって一部の基準点が検出されない場合でも、単位パターンの色に基づいて、検出された基準点を識別することが可能となる。

［適用例３］上記適用例に係る画像投写システムにおいて、前記少なくとも３種類の単位パターンは、互いに模様が異なっていてもよい。

この画像投写システムによれば、検出部によって一部の基準点が検出されない場合でも、単位パターンの模様に基づいて、検出された基準点を識別することが可能となる。

［適用例４］上記適用例に係る画像投写システムにおいて、前記単位パターンは、頂点を有する形状のパターンであり、前記検出部は、前記単位パターンの前記頂点を前記基準点として検出するようにしてもよい。

この画像投写システムによれば、検出部が単位パターンの頂点を基準点として検出するため、基準点の検出を容易に行うことが可能となる。

［適用例５］上記適用例に係る画像投写システムにおいて、前記単位パターンは、輝度分布を有するパターンであり、前記検出部は、前記単位パターンの輝度に基づいて前記基準点を検出するようにしてもよい。

この画像投写システムによれば、単位パターンの輝度に基づいて基準点を検出するため、基準点を精度よく検出することが可能となる。

［適用例６］上記適用例に係る画像投写システムにおいて、前記パターン画像は、前記少なくとも３種類の単位パターンが所定の配列で配置された基本パターン群を複数含むようにしてもよい。

この画像投写システムによれば、複数の基本パターン群によってパターン画像を構成しているため、必要となる単位パターンの種類（色や模様）を低減することが可能となり、単位パターンの識別が容易になる。

［適用例７］上記適用例に係る画像投写システムにおいて、前記パターン画像には、前記投写部と前記撮像部の配置関係に基づいて決定される第１のエピポーラ線に沿って前記基準点が位置するように、前記単位パターンが配置されており、前記検出部は、前記撮像部が撮像した画像から、前記第１のエピポーラ線に対応する第２のエピポーラ線に沿って前記基準点を検出するようにしてもよい。

この画像投写システムによれば、検出部が、第２のエピポーラ線に沿って基準点を検出することが可能となるため、基準点の検出が容易になる。

［適用例８］上記適用例に係る画像投写システムにおいて、前記単位パターンは、前記投写部と前記撮像部の配置関係に基づいて決定される第１のエピポーラ線に交差する方向に延出する帯状のパターンであり、前記検出部は、前記撮像部が撮像した画像から、前記第１のエピポーラ線に対応する第２のエピポーラ線に沿って前記基準点を検出するようにしてもよい。

この画像投写システムによれば、検出部が、第２のエピポーラ線に沿って基準点を検出することが可能となるため、基準点の検出が容易になる。

［適用例９］上記適用例に係る画像投写システムにおいて、前記検出部は、前記単位パターンの端部を前記基準点として検出するようにしてもよい。

この画像投写システムによれば、検出部が単位パターンの端部を基準点として検出するため、基準点の検出を容易に行うことが可能となる。

［適用例１０］上記適用例に係る画像投写システムにおいて、前記単位パターンは、輝度分布を有するパターンであり、前記検出部は、前記単位パターンの輝度に基づいて前記基準点を検出するようにしてもよい。

この画像投写システムによれば、単位パターンの輝度に基づいて基準点を検出するため、基準点を精度よく検出することが可能となる。

［適用例１１］上記適用例に係る画像投写システムにおいて、前記投写部と前記撮像部とが一体的に構成されていてもよい。

この画像投写システムによれば、投写部と撮像部とが一体的に構成されているため、投写部と撮像部の配置の調整を都度行う必要がない。

［適用例１２］本適用例に係る画像投写システムの制御方法は、投写面に画像を投写する投写部からパターン画像を投写し、前記投写面に投写された前記パターン画像を撮像し、撮像された前記パターン画像に基づいて、基準点を検出し、検出された前記基準点の位置に基づいて、前記投写部が投写する前記画像を補正する、画像投写システムの制御方法であって、前記パターン画像は、前記基準点を特定するための複数の単位パターンを含み、前記複数の単位パターンには、色及び模様の少なくとも一方が異なる少なくとも３種類の単位パターンが含まれることを特徴とする。

この画像投写システムの制御方法によれば、パターン画像が、色及び模様の少なくとも一方が異なる少なくとも３種類の単位パターンを含むため、白色の矩形パターンと黒色の矩形パターンのように２種類の単位パターンを用いる場合に比べて、同種の単位パターンが配置される間隔を大きくできる。このため、検出部によって一部の基準点が検出されない場合でも、単位パターンの色や模様に基づいて、検出された基準点を識別することが可能となる。この結果、検出された基準点の位置と、その本来の位置（パターン画像上の位置）との対応関係が明確になるため、画像を適切に補正することが可能となる。

プロジェクターの概略構成を示すブロック図。 画像の歪みを補正するためのパターン画像を示す図。 歪み補正を行う際のプロジェクターの動作を説明するためのフローチャート。 鉛直に配設された投写面を上方から見た平面図。 パターン画像が投写された投写面を撮像部で撮像した撮像画像を示す図。 画像形成領域に形成される補正領域を示す図。 投写面に歪みが補正された状態で表示画像が投写される様子を示す図。 鉛直に配設された投写面を上方から見た平面図。 パターン画像が投写された投写面を撮像部で撮像した撮像画像を示す図。 画像形成領域に形成される補正領域を示す図。 画像情報補正部による補正処理を説明する図。 投写面に歪みが補正された状態で表示画像が投写される様子を示す図。 画像情報補正部による補正処理を説明する図。 第２実施形態のパターン画像を示す図。 第３実施形態のパターン画像を示す図。 第４実施形態のパターン画像を示す図。 画像投写部と撮像部に関するエピポーラ幾何を説明するための説明図。 第５実施形態のパターン画像を示す図。 第６実施形態のパターン画像を示す図。

（第１実施形態）
以下、第１実施形態のプロジェクターについて、図面を参照して説明する。
図１は、本実施形態のプロジェクター１００の概略構成を示すブロック図である。
図１に示すように、画像投写システムとしてのプロジェクター１００は、制御部１０と、記憶部１１と、入力操作部１２と、画像情報入力部１３と、補正部としての画像情報補正部１４と、投写部としての画像投写部１５と、撮像部１６と、検出部１７と、補正情報生成部１８とを一体的に備えて構成されている。プロジェクター１００は、画像情報入力部１３に入力される画像情報に基づいて、画像投写部１５から投写面Ｓｐに画像を投写する。

本実施形態のプロジェクター１００は、投写面Ｓｐに対して画像を斜め方向から投写する場合に生じる画像の歪みを補正可能であるとともに、表面に凹凸を有する三次元形状の投写面Ｓｐに画像を投写する場合に生じる画像の歪みをも補正することができる。具体的には、プロジェクター１００は、画像投写部１５から所定のパターン画像Ｉｐ（図２参照）を投写面Ｓｐに投写し、これを撮像部１６で撮像することによって画像の歪みを認識し、この歪みを補正するための補正情報を生成する。その後、プロジェクター１００は、本来表示すべき画像、即ち歪みを補正した状態で表示すべき画像（これ以降、「表示画像」とも呼ぶ。）に対して、生成した補正情報に基づく補正処理を施し、処理後の画像を投写面Ｓｐに投写する。

制御部１０は、１つ又は複数のプロセッサーを備えて構成され、記憶部１１に記憶されている制御プログラムに従って動作することによりプロジェクター１００の動作を統括制御する。

記憶部１１は、揮発性のメモリーであるＲＡＭ（Random Access Memory）、及び不揮発性のメモリーであるＲＯＭ（Read Only Memory）等を備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、プロジェクター１００の動作を制御するための制御プログラムや制御データ等を記憶する。本実施形態の記憶部１１は、画像の歪みを補正するためのパターン画像Ｉｐに対応する画像データ（パターン画像データＤｐ）を記憶している。また、記憶部１１は、表示画像用の画像データを記憶していてもよい。

入力操作部１２は、ユーザーがプロジェクター１００に対して各種指示を行うための複数の操作キーを備えている。入力操作部１２が備える操作キーとしては、電源のオンとオフとを切り替えるための「電源キー」、各種設定を行うための設定メニューを表示させる「メニューキー」、設定メニューの項目を選択するための「方向キー」等がある。ユーザーが入力操作部１２の各種操作キーを操作すると、入力操作部１２は、ユーザーの操作内容に応じた操作信号を制御部１０に出力する。なお、遠隔操作が可能なリモコン（図示せず）を、入力操作部１２として用いる構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部１０に伝達する。

画像情報入力部１３は、コンピューターや画像再生装置等の外部の画像供給装置（図示せず）に接続され、画像供給装置から表示画像用の画像情報の供給を受ける。また、画像情報入力部１３は、制御部１０から、記憶部１１に記憶されている画像情報（パターン画像データＤｐ及び表示画像用の画像データ）の供給を受けることができる。画像情報入力部１３は、制御部１０の制御に基づいて、画像供給装置又は制御部１０から入力された画像情報に、必要に応じて様々な処理（例えば、解像度変換処理や画質調整処理等）を施し、処理後の画像情報を画像情報補正部１４に出力する。

画像情報補正部１４は、制御部１０の制御に基づいて、斜め方向からの投写に起因する画像の歪みや、投写面Ｓｐの凹凸等に起因する画像の歪みを補正する。具体的には、画像情報補正部１４は、画像情報入力部１３から入力される画像情報に対して、制御部１０から入力される補正情報に基づく補正処理を施し、処理後の画像情報を画像投写部１５のライトバルブ駆動部２４に出力する。

画像投写部１５は、光源２１、光変調装置としての３つの液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂ、投写光学系としての投写レンズ２３、ライトバルブ駆動部２４等で構成されている。画像投写部１５は、光源２１から射出された光を、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂで変調して画像光を形成し、この画像光を投写レンズ２３から投写して投写面Ｓｐに画像を表示する。

光源２１は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。光源２１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂに入射する。

液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画像形成領域Ａｉが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。

ライトバルブ駆動部２４は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画像形成領域Ａｉに画像を形成する。具体的には、ライトバルブ駆動部２４は、画像情報補正部１４から入力される画像情報に応じた駆動電圧を、画像形成領域Ａｉの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源２１から射出された光は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画像形成領域Ａｉを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投写レンズ２３によって投写面Ｓｐに拡大投写される。この結果、投写面Ｓｐ上には、画像情報に基づく画像が表示される。

撮像部１６は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の撮像素子（図示せず）を備えたカメラである。撮像部１６は、制御部１０の制御に基づいて、投写面Ｓｐに投写されたパターン画像Ｉｐを撮像し、その撮像結果である画像情報（撮像画像情報）を検出部１７に出力する。

検出部１７は、制御部１０の制御に従って動作し、撮像部１６から入力される撮像画像情報に基づいて、撮像されたパターン画像Ｉｐから、画像の歪みを補正するための複数の基準点を検出する。具体的には、検出部１７は、パターン画像Ｉｐに含まれる複数の矩形の単位パターンの頂点を、基準点として検出する。このとき、検出部１７は、単位パターンの色を判別し、判別した単位パターンの色に基づいて、基準点を識別するための識別情報を生成することができる。検出部１７は、撮像画像情報に基づく画像（撮像画像）上における各基準点の座標と、生成した識別情報とを補正情報生成部１８に出力する。

補正情報生成部１８は、制御部１０の制御に従って動作し、検出部１７から入力される基準点の座標と識別情報とに基づいて、画像の歪みを認識する。そして、補正情報生成部１８は、制御部１０の制御に基づいて、認識した画像の歪みを補正するための補正情報を生成し、生成した補正情報を制御部１０に出力する。

なお、画像情報入力部１３、画像情報補正部１４、検出部１７及び補正情報生成部１８は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の専用の処理装置によって構成されてもよい。

図２は、画像の歪みを補正するためのパターン画像Ｉｐ、即ち記憶部１１に記憶されているパターン画像データＤｐに基づく画像を示す図である。
図２に示すように、パターン画像Ｉｐは、画像形成領域Ａｉに形成される矩形の画像であり、色（波長域）が異なる複数の単位パターンＵｒ，Ｕｇ，Ｕｂ，Ｕｃ，Ｕｍ，Ｕｙ，Ｕｋが、１５×９のマトリクス状に配列された画像である。具体的には、パターン画像Ｉｐには、赤色の単位パターンＵｒと、緑色の単位パターンＵｇと、青色の単位パターンＵｂと、シアン色の単位パターンＵｃと、マゼンタ色の単位パターンＵｍと、黄色の単位パターンＵｙと、黒色の単位パターンＵｋの７色の単位パターンが含まれており、これらの形状は、いずれも矩形（本実施形態では、正方形）である。なお、これ以降、単位パターンを総称して「単位パターンＵ」とも表記する。

ここで、単位パターンＵｒの色（赤色）は、赤色光用の液晶ライトバルブ２２Ｒの光透過率を最大とし、緑色光用及び青色光用の液晶ライトバルブ２２Ｇ，２２Ｂの光透過率を最小とした色である。また、単位パターンＵｇの色（緑色）は、緑色光用の液晶ライトバルブ２２Ｇの光透過率を最大とし、赤色光用及び青色光用の液晶ライトバルブ２２Ｒ，２２Ｂの光透過率を最小とした色である。また、単位パターンＵｂの色（青色）は、青色光用の液晶ライトバルブ２２Ｂの光透過率を最大とし、赤色光用及び緑色光用の液晶ライトバルブ２２Ｒ，２２Ｇの光透過率を最小とした色である。また、単位パターンＵｃの色（シアン色）は、緑色光用及び青色光用の液晶ライトバルブ２２Ｇ，２２Ｂの光透過率を最大とし、赤色光用の液晶ライトバルブ２２Ｒの光透過率を最小とした色である。また、単位パターンＵｍの色（マゼンタ色）は、赤色光用及び青色光用の液晶ライトバルブ２２Ｒ，２２Ｂの光透過率を最大とし、緑色光用の液晶ライトバルブ２２Ｇの光透過率を最小とした色である。また、単位パターンＵｙの色（黄色）は、赤色光用及び緑色光用の液晶ライトバルブ２２Ｒ，２２Ｇの光透過率を最大とし、青色光用の液晶ライトバルブ２２Ｂの光透過率を最小とした色である。そして、単位パターンＵｋの色（黒色）は、赤色光用、緑色光用及び青色光用の液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの光透過率を最小とした色である。

本実施形態において、プロジェクター１００の検出部１７は、撮像部１６で撮像されたパターン画像Ｉｐから、黒色の単位パターンＵｋを除く６色の単位パターンＵの頂点（角部）を基準点として検出する。このため、これ以降、黒色の単位パターンＵｋ以外の６色の単位パターンＵのことを、「検出用単位パターンＵ」とも表記する。検出用単位パターンＵは、互いに縦方向及び横方向に隣接しないように市松模様状に配置されている。また、検出用単位パターンＵが配置されている位置以外には、黒色の単位パターンＵｋが配置されている。つまり、黒色の単位パターンＵｋは、検出用単位パターンＵの背景となるパターンである。また、パターン画像Ｉｐは、各単位パターンＵの輪郭線で構成される格子状の画像とみなすことも可能であり、この場合、格子の交点が基準点である。なお、図２に示したパターン画像Ｉｐには、１６×１０個（１６０個）の基準点がマトリクス状に配列されるように含まれているが、このうち、最上段の１６個の基準点にのみ符号が付されている（左から順に基準点Ｃ１〜Ｃ１６とする）。

図２において、一点鎖線で示した矩形の範囲内には、１２の単位パターンＵが４×３のマトリクス状に配置されている。これ以降、これら１２の単位パターンＵの集合を「基本パターン群Ｖ」と呼ぶ。基本パターン群Ｖには、各色１つずつの検出用単位パターンＵが所定の配列で配置されるとともに、検出用単位パターンＵに隣接するように、６つの黒色の単位パターンＵｋが配置されている。パターン画像Ｉｐは、複数の基本パターン群Ｖを含む画像であり、言い換えれば、同一の基本パターン群Ｖを縦横に複数配列させた画像の一部である。なお、図２のパターン画像Ｉｐでは、基本パターン群Ｖが横方向に繰り返し配列されるとともに、縦方向に隣接する基本パターン群Ｖ同志は、１列分（単位パターンＵを１つ分）ずれて配置されている。

次に、プロジェクター１００の動作について説明する。
図３は、歪み補正を行う際のプロジェクター１００の動作（制御方法）を説明するためのフローチャートである。
ユーザーがプロジェクター１００の入力操作部１２を操作して歪み補正の開始を指示すると、プロジェクター１００の制御部１０は、歪み補正を行うための制御プログラムに従った動作を開始する。

図３に示すように、ステップＳ１０１では、制御部１０は、画像投写部１５からパターン画像Ｉｐを投写させる。具体的には、制御部１０は、記憶部１１からパターン画像データＤｐを読み出して、画像情報入力部１３に出力する。また、制御部１０は、画像情報補正部１４に対して補正処理を行わないように指示をする。この結果、画像形成領域Ａｉの全域にパターン画像Ｉｐが形成され、投写面Ｓｐに投写される。そして、画像投写部１５が投写面Ｓｐに正対していない場合や、投写面Ｓｐに凹凸がある場合には、パターン画像Ｉｐは、投写面Ｓｐ上に歪んで表示される。

ステップＳ１０２では、制御部１０は、投写面Ｓｐに投写されたパターン画像Ｉｐを撮像部１６に撮像させる。

次いで、ステップＳ１０３では、制御部１０は、検出部１７に指示をして、撮像部１６がパターン画像Ｉｐを撮像した撮像画像から複数の基準点を検出させる。上述したように、検出部１７は、検出用単位パターンＵの頂点を基準点として検出するとともに、基準点を識別するための識別情報を生成し、撮像画像における基準点の座標と、識別情報とを補正情報生成部１８に出力する。

ステップＳ１０４では、制御部１０は、検出部１７がすべての基準点を検出できたか否かを判断する。そして、すべての基準点が検出された場合には、ステップＳ１０５に処理を移し、一部の基準点が検出されなかった場合には、ステップＳ１０６に処理を移す。

すべての基準点が検出されてステップＳ１０５に処理が移行した場合には、制御部１０は、補正情報生成部１８に指示をして、検出されたすべての基準点の座標を用いて補正情報を生成させる。その後、ステップＳ１０７では、制御部１０は、画像情報入力部１３に対して、表示画像用の画像情報の出力を指示するとともに、生成された補正情報を画像情報補正部１４に出力して、表示画像の補正を開始させ、処理を終了する。

図４Ａ〜図４Ｄは、すべての基準点が検出された場合の歪み補正処理を説明するための図であり、図４Ａは、鉛直に配設された投写面Ｓｐを上方から見た平面図、図４Ｂは、パターン画像Ｉｐが投写された投写面Ｓｐを撮像部１６で撮像した撮像画像Ｉｃを示す図、図４Ｃは、画像形成領域Ａｉに形成される補正領域Ａｃを示す図、図４Ｄは、投写面Ｓｐに歪みが補正された状態で表示画像Ｉｄが投写される様子を示す図である。

例えば、図４Ａに示すように、画像投写部１５の光軸Ａｘが、投写面Ｓｐに対して斜めに交わるようにプロジェクター１００が設置されている場合には、パターン画像Ｉｐは、台形状に歪んで投写される（ステップＳ１０１）。そして、図４Ｂに示すように、歪んだ状態のパターン画像Ｉｐを含む撮像画像Ｉｃが撮像部１６によって撮像され（ステップＳ１０２）、撮像画像Ｉｃから検出部１７によって基準点が検出される（ステップＳ１０３）。

すべての基準点が検出された場合（ステップＳ１０４：Ｙｅｓ）、補正情報生成部１８は、検出された基準点の座標に基づいて、単位パターンＵ毎に歪みを認識して、これを補正するための補正情報を生成する。具体的には、矩形のパターン画像Ｉｐにおける各基準点の座標（基準座標）は既知であり、予め記憶部１１に記憶されている。そして、補正情報生成部１８は、検出部１７によって撮像画像Ｉｃ上で検出された各基準点の座標（検出座標）と基準座標との対応関係に基づいて、図４Ｃに示すように、各単位パターンＵの歪みが相殺されるような形状の複数のブロックＢからなる補正領域Ａｃを画像形成領域Ａｉ内に設定する。そして、補正情報生成部１８は、各基準点の基準座標と、補正領域Ａｃ内の各ブロックＢの頂点の座標とに基づいて、表示画像をブロックＢ単位で変形（射影変換）するための変換テーブルを補正情報として生成し、制御部１０に出力する（ステップＳ１０５）。

制御部１０は、入力された補正情報を画像情報補正部１４に出力し、この補正情報に基づいて画像情報の補正を開始させる（ステップＳ１０７）。これ以降、画像情報補正部１４は、画像情報入力部１３から逐次入力される表示画像用の画像情報に対して、表示画像をブロックＢ単位で変形させる補正処理を行うとともに、補正領域Ａｃの外側の領域Ａｏを黒色に設定する処理を行う。この結果、図４Ｄに示すように、撮像部１６の方向から見て歪みが補正された状態で表示画像Ｉｄが投写される。なお、本実施形態では、マトリクス状に配列された多数の基準点に基づいて、ブロックＢ単位で歪みを補正しているため、投写面Ｓｐに小さな凹凸等がある場合でも、その凹凸等に起因する歪みも補正することができる。

図３に戻って、ステップＳ１０４において、一部の基準点が検出されずにステップＳ１０６に処理が移行した場合には、制御部１０は、補正情報生成部１８に指示をして、検出された一部の基準点のみを用いて補正情報を生成させる。その後、ステップＳ１０７では、制御部１０は、画像情報入力部１３に対して、表示画像用の画像情報の出力を指示するとともに、生成された補正情報を画像情報補正部１４に出力して、表示画像の補正を開始させ、処理を終了する。

図５Ａ〜図５Ｅは、一部の基準点が検出されない場合の歪み補正処理を説明するための図であり、図５Ａは、鉛直に配設された投写面Ｓｐを上方から見た平面図、図５Ｂは、パターン画像Ｉｐが投写された投写面Ｓｐを撮像部１６で撮像した撮像画像Ｉｃを示す図である。また、図５Ｃは、画像形成領域Ａｉに形成される第１の補正領域Ａｃ１及び第２の補正領域Ａｃ２を示す図、図５Ｄは、画像情報補正部１４による補正処理を説明する図、図５Ｅは、投写面Ｓｐに歪みが補正された状態で表示画像Ｉｄが投写される様子を示す図である。

例えば、図５Ａに示すように、投写面Ｓｐに比較的大きな段差（凹凸）が存在し、プロジェクター１００がその段差に重なるように画像を投写する場合、画像投写部１５と撮像部１６との視差により、一部の基準点が段差に遮られて撮像できない事態が起こり得る。図５Ａには、パターン画像Ｉｐに含まれる基準点のうち、最上段に配置されている基準点を左から順に基準点Ｃ１〜Ｃ１６（図２参照）とする場合に、これらの基準点Ｃ１〜Ｃ１６が、投写面Ｓｐのどの位置に投写されるのかが示されている。図５Ａに示すように、基準点Ｃ１〜Ｃ１６のうち、１つの基準点Ｃ７については、撮像部１６の死角に投写されており、撮像部１６で撮像することができない（図５Ｂ参照）。パターン画像Ｉｐ上において、基準点Ｃ７の下方に存在する他の９個の基準点についても同様であり、検出部１７は、全部で１０個の基準点を検出することができない（ステップＳ１０４：Ｎｏ）。

このような場合に、仮に、パターン画像Ｉｐが白黒２色の単純な市松模様である場合には、多数の基準点のうち、どの基準点が検出されて、どの基準点が検出されないのかを判別することは困難である。つまり、各基準点の基準座標と検出座標との対応関係が不明であるため、補正情報生成部１８は、補正情報を生成することができない。

これに対し、本実施形態では、検出部１７は、各基準点を検出する際に、検出対象の単位パターンＵの色を判別し、判別した色や、この単位パターンＵにおける検出対象の頂点の位置等に基づいて、基準点を識別するための識別情報を生成する。そして、検出部１７は、生成した識別情報を、座標とともに補正情報生成部１８に出力する。

補正情報生成部１８は、この識別情報に基づいて基準点を識別し、各基準点が基本パターン群Ｖの中のどの頂点に対応するのかを特定することができる。つまり、補正情報生成部１８は、検出された各基準点の本来の位置（矩形のパターン画像Ｉｐ上の位置）を推定することができるため、基準座標と検出座標との対応関係が明確になる。この結果、補正情報生成部１８は、検出された一部の基準点のみを用いて補正情報を生成することができる。

具体的には、図５Ｃに示すように、補正情報生成部１８は、段差の左側の投写面Ｓｐから検出された基準点に基づいて、画像形成領域Ａｉ内に、各単位パターンＵの歪みが相殺されるような形状の複数のブロックＢからなる第１の補正領域Ａｃ１を設定する。さらに、補正情報生成部１８は、段差の右側の投写面Ｓｐから検出された基準点に基づいて、同じく複数のブロックＢからなる第２の補正領域Ａｃ２を設定する。そして、補正情報生成部１８は、各基準点の基準座標と、各ブロックＢの頂点の座標とに基づいて、表示画像をブロックＢ単位で変形（射影変換）するための変換テーブルを補正情報として生成し、制御部１０に出力する（ステップＳ１０６）。

制御部１０は、入力された補正情報を画像情報補正部１４に出力し、この補正情報に基づいて画像情報の補正を開始させる（ステップＳ１０７）。これ以降、画像情報補正部１４は、図５Ｄに示すように、画像情報入力部１３から逐次入力される表示画像用の画像情報に対して、表示画像Ｉｄを２つに分割してブロックＢ単位で変形させる補正処理を行うとともに、第１の補正領域Ａｃ１及び第２の補正領域Ａｃ２の外側の領域Ａｏを黒色に設定する処理を行う。この結果、図５Ｅに示すように、投写面Ｓｐの段差の左右両側に、撮像部１６から見て歪みが補正された状態で表示画像Ｉｄが投写される。

なお、画像情報補正部１４が上記のような補正処理を行う場合には、黒色の領域Ａｏによって表示画像Ｉｄが２つに分断されてしまうことになるが、この態様に限定されない。例えば、図６に示すように、補正情報生成部１８は、第１の補正領域Ａｃ１及び第２の補正領域Ａｃ２とともに、それらに挟まれた第３の補正領域Ａｃ３にも表示画像Ｉｄの一部を割り当てるような補正情報を生成してもよい。この態様によれば、撮像部１６の方向から見て、表示画像Ｉｄの一部が段差によって遮蔽されてしまうものの、段差の周辺に黒色の領域Ａｏが存在しないため、表示画像Ｉｄが分断されずに済む。或いは、画像情報補正部１４が、表示画像を分割した位置の周辺の画像に基づいて、第３の補正領域Ａｃ３に形成すべき画像を生成するようにしてもよい。

以上説明したように、本実施形態のプロジェクター１００によれば、以下の効果を得ることができる。

（１）本実施形態のプロジェクター１００によれば、パターン画像Ｉｐが、７種類（７色）の単位パターンＵを含むため、白色の矩形パターンと黒色の矩形パターンのように２種類の単位パターンＵを用いる場合に比べて、同色の単位パターンＵが配置される間隔を大きくできる。このため、検出部１７によって一部の基準点が検出されない場合でも、単位パターンＵの色に基づいて、検出された基準点を識別することが可能となる。この結果、検出された基準点の位置と、その本来の位置（矩形のパターン画像Ｉｐ上の位置）との対応関係が明確になるため、画像を適切に補正することが可能となる。

（２）本実施形態のプロジェクター１００によれば、パターン画像Ｉｐは、複数の基本パターン群Ｖを含んで構成されているため、必要となる単位パターンＵの色数を低減することが可能となり、単位パターンＵの色の判別が容易になる。

（３）本実施形態のプロジェクター１００によれば、検出部１７が単位パターンＵの頂点を基準点として検出するため、基準点の検出を容易に行うことが可能となる。

（４）本実施形態のプロジェクター１００によれば、画像投写部１５と撮像部１６とが一体的に構成されているため、画像投写部１５と撮像部１６の配置の調整を都度行う必要がない。

（５）本実施形態のプロジェクター１００によれば、単位パターンＵの色（赤色、緑色、青色、シアン色、マゼンタ色、黄色、黒色）を、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの光透過率を最大又は最小とした色、即ち中間階調を有さない色としているため、色の判別を容易に行うことが可能となる。また、上記の７色以外に、すべての液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの光透過率を最大とした白色の単位パターンＵを用いてもよい。

なお、単位パターンＵの色数は、３色以上であればよく、色数を少なくするほど検出部１７による色の判別は容易になる。ただし、単位パターンＵの色数を少なくすると、基本パターン群Ｖが小さくなり、同色の単位パターンＵが小さい間隔で配置されることになり、単位パターンＵを識別する際に、近隣の同色の単位パターンＵと混同してしまう恐れが生じる。このため、単位パターンＵの色数は、検出部１７による判別が可能な範囲内で、できるだけ多くすることが望ましい。また、検出部１７が判別可能であれば、中間階調を有する色を用いてもよいし、パターン画像Ｉｐに含まれるすべての検出用単位パターンＵを互いに異なる色にしてもよい。

（第２実施形態）
以下、第２実施形態のプロジェクターについて、図面を参照して説明する。
本実施形態のプロジェクター１００は、歪みを補正する処理を行う際に、上記の第１実施形態のプロジェクター１００とは異なるパターン画像Ｉｐを投写する。

図７は、本実施形態のパターン画像Ｉｐを示す図である。
図７に示すように、本実施形態のパターン画像Ｉｐは、矩形（本実施形態では正方形）の単位パターンＵを複数備えて構成されている。複数の単位パターンＵには、全域が白色の単位パターンＵｗと、全域が黒色の単位パターンＵｋと、白色の三角形と黒色の三角形とが組み合わされた２色の単位パターンＵｔとが含まれている。２色の単位パターンＵｔは、矩形の単位パターンＵを対角線で二分して生成される２つの三角形（本実施形態では、直角二等辺三角形）の一方を白色に、他方を黒色に配色した単位パターンＵであり、白色の三角形と黒色の三角形の位置関係（例えば、白色の三角形が左上、右上、左下、右下のいずれに位置しているか）に応じて、さらに４つに分類できる。つまり、本実施形態のパターン画像Ｉｐは、模様が異なる６種類の単位パターンＵによって構成されている。

本実施形態において、プロジェクター１００の検出部１７は、全域が白色の単位パターンＵｗの頂点と、２色の単位パターンＵｔの白色の三角形の頂点とを基準点として検出する。つまり、全域が白色の単位パターンＵｗ（１種類）と２色の単位パターンＵｔ（４種類）とを含む５種類の単位パターンＵが検出用単位パターンＵとして用いられる。また、パターン画像Ｉｐは、複数の矩形の単位パターンＵが縦横にマトリクス状に配置された画像である。そして、各単位パターンＵは、すべての単位パターンＵの頂点が、いずれかの検出用単位パターンＵの基準点として検出されるように配置されている。つまり、複数の基準点もマトリクス状に配置されている。

図７において、一点鎖線で示した矩形の範囲は、複数の単位パターンＵが所定の配列で配置された基本パターン群Ｖを示しており、基本パターン群Ｖには、検出対象の基準点（頂点）を囲む複数の単位パターンＵの組み合わせが同一のものは含まれていない。パターン画像Ｉｐは、複数の基本パターン群Ｖを含む画像であり、言い換えれば、同一の基本パターン群Ｖを縦横に複数配列させた画像の一部である。なお、図７のパターン画像Ｉｐでは、基本パターン群Ｖが横方向に繰り返し配列されるとともに、縦方向に隣接する基本パターン群Ｖ同志は、３列分（単位パターンＵを３つ分）ずれて配置されている。

検出部１７は、各基準点を検出する際に、検出対象の単位パターンＵの種類（模様）や、この単位パターンＵにおける検出対象の頂点の位置、この頂点を囲む他の単位パターンＵの種類（模様）等に基づいて識別情報を生成し、座標とともに補正情報生成部１８に出力する。このため、補正情報生成部１８は、投写面Ｓｐの凹凸（段差等）によって一部の基準点が検出されなかった場合でも、この識別情報に基づいて、各基準点の本来の位置（矩形のパターン画像Ｉｐ上の位置）を推定することが可能となり、基準座標と検出座標との対応関係が明確になる。この結果、補正情報生成部１８は、検出された一部の基準点のみを用いて補正情報を生成することができる。

以上説明したように、本実施形態のプロジェクター１００によれば、パターン画像Ｉｐが、５つの異なる模様の検出用単位パターンＵを含むため、白色の矩形パターンと黒色の矩形パターンのように２種類の単位パターンＵを用いる場合に比べて、同種の単位パターンＵが配置される間隔を大きくできる。このため、検出部１７によって一部の基準点が検出されない場合でも、単位パターンＵの模様等に基づいて、検出された基準点を識別することが可能となる。この結果、検出された基準点の位置と、その本来の位置（矩形のパターン画像Ｉｐ上の位置）との対応関係が明確になるため、画像を適切に補正することが可能となる。
なお、単位パターンＵの種類数は、３種類以上であればよいが、第１実施形態と同様、検出部１７による判別が可能な範囲内で、できるだけ多くすることが望ましい。

（第３実施形態）
以下、第３実施形態のプロジェクターについて、図面を参照して説明する。
本実施形態のプロジェクター１００は、歪みを補正する処理を行う際に、上記の各実施形態のプロジェクター１００とは異なるパターン画像Ｉｐを投写する。

図８は、本実施形態のパターン画像Ｉｐを示す図である。
図８に示すように、本実施形態のパターン画像Ｉｐは、輝度分布を有する複数の単位パターンＵ（Ｕｒ，Ｕｇ，Ｕｂ，Ｕｃ，Ｕｍ，Ｕｙ）が縦横にマトリクス状に配置された画像である。複数の単位パターンＵとしては、赤色の単位パターンＵｒと、緑色の単位パターンＵｇと、青色の単位パターンＵｂと、シアン色の単位パターンＵｃと、マゼンタ色の単位パターンＵｍと、黄色の単位パターンＵｙの６色の単位パターンＵが含まれている。各単位パターンＵは、その中央で輝度が最も大きくなるような輝度分布を有している。本実施形態では、６色の単位パターンＵのすべてが検出用単位パターンＵである。

図８において、一点鎖線で示した矩形の範囲は、６個の単位パターンＵが２×３のマトリクス状に配置された基本パターン群Ｖを示しており、基本パターン群Ｖには、各色１つずつの単位パターンＵが所定の配列で配置されている。パターン画像Ｉｐは、複数の基本パターン群Ｖを含む画像であり、言い換えれば、同一の基本パターン群Ｖを縦横に複数配列させた画像の一部である。なお、図８のパターン画像Ｉｐでは、基本パターン群Ｖが横方向に繰り返し配列されるとともに、縦方向に隣接する基本パターン群Ｖ同志は、１列分（単位パターンＵを１つ分）ずれて配置されている。

本実施形態において、プロジェクター１００の検出部１７は、撮像部１６で撮像されたパターン画像Ｉｐから、各単位パターンＵにおいて輝度が最大となる位置（最大輝度位置）を基準点として検出する。パターン画像Ｉｐ内において、基準点はマトリクス状に配置されている。

検出部１７は、各基準点を検出する際に、検出対象の単位パターンＵの色に基づいて識別情報を生成し、座標とともに補正情報生成部１８に出力する。このため、補正情報生成部１８は、投写面Ｓｐの凹凸（段差等）によって一部の基準点が検出されなかった場合でも、この識別情報に基づいて、各基準点の本来の位置（矩形のパターン画像Ｉｐ上の位置）を推定することが可能となり、基準座標と検出座標との対応関係が明確になる。この結果、補正情報生成部１８は、検出された一部の基準点のみを用いて補正情報を生成することができる。

なお、検出部１７は、最大輝度位置の周辺の領域の輝度の変化率（勾配）に基づいて最大輝度位置を決定するような構成であってもよい。この場合には、最大輝度位置が投写面Ｓｐの凹凸等によって遮蔽されている場合にも、その位置を推定することが可能となる。

以上説明したように、本実施形態のプロジェクター１００によれば、単位パターンＵの輝度に基づいて基準点を検出するため、基準点を精度よく検出することが可能となる。特に、投写面Ｓｐの分光反射率が場所によって異なっていたり、外光の影響を受けたりすることで、第１実施形態のような矩形の単位パターンＵの頂点を正確に検出できない場合に有効である。

（第４実施形態）
以下、第４実施形態のプロジェクターについて、図面を参照して説明する。
本実施形態のプロジェクター１００は、歪みを補正する処理を行う際に、上記の各実施形態のプロジェクター１００とは異なるパターン画像Ｉｐを投写する。

図９は、本実施形態のパターン画像Ｉｐを示す図である。
図９に示すように、パターン画像Ｉｐは、複数の単位パターンＵ（Ｕｒ，Ｕｇ，Ｕｂ，Ｕｃ，Ｕｍ，Ｕｙ，Ｕｋ）がマトリクス状に配列された画像である。複数の単位パターンＵには、赤色の単位パターンＵｒと、緑色の単位パターンＵｇと、青色の単位パターンＵｂと、シアン色の単位パターンＵｃと、マゼンタ色の単位パターンＵｍと、黄色の単位パターンＵｙと、黒色の単位パターンＵｋの７色の単位パターンＵが含まれている。黒色の単位パターンＵｋ以外の６色の単位パターンＵは、検出用単位パターンＵである。

検出用単位パターンＵは、互いに隣接しないように市松模様状に配置されている。また、検出用単位パターンＵが配置されている位置以外には、黒色の単位パターンＵｋが配置されている。第１実施形態と同様、プロジェクター１００の検出部１７は、撮像部１６で撮像されたパターン画像Ｉｐから、検出用単位パターンＵの頂点を基準点として検出する。パターン画像Ｉｐ内において、基準点はマトリクス状に配置されている。

図９において、一点鎖線で示した矩形の範囲は、基本パターン群Ｖを示している。本実施形態の基本パターン群Ｖは、１２の単位パターンＵが横方向に１列に並んだパターン群である。基本パターン群Ｖには、各色１つずつの検出用単位パターンＵが、黒色の単位パターンＵｋと交互に、所定の順序で配置されている。パターン画像Ｉｐは、複数の基本パターン群Ｖを含む画像であり、言い換えれば、同一の基本パターン群Ｖを縦横に複数配列させた画像の一部である。なお、図９のパターン画像Ｉｐでは、基本パターン群Ｖが横方向に繰り返し配列されるとともに、縦方向に隣接する基本パターン群Ｖ同志は、１列分（単位パターンＵを１つ分）ずれて配置されている。

本実施形態において、単位パターンＵは、画像投写部１５と撮像部１６の配置関係によって定まる複数のエピポーラ線Ｌｅ１に沿って配置されている。具体的には、単位パターンＵは、エピポーラ線Ｌｅ１に沿った方向と、エピポーラ線Ｌｅ１に交差する方向にマトリクス状に配置されており、検出用単位パターンＵの頂点は、エピポーラ線Ｌｅ１上に位置している。

ここで、エピポーラ線Ｌｅ１について説明する。
図１０は、画像投写部１５と撮像部１６に関するエピポーラ幾何を説明するための説明図である。
図１０に示すように、画像投写部１５の光学中心Ｏ１と撮像部１６の光学中心Ｏ２とを結ぶ直線を、ベースラインＬｂとする。画像投写部１５の仮想画像平面Ｐ１（画像形成領域Ａｉに相当する平面）内において、ベースラインＬｂとの交点（エピポールＰｅ１）を通るすべての直線が、エピポーラ線Ｌｅ１である。仮想画像平面Ｐ１内で１つのエピポーラ線Ｌｅ１が定まると、撮像部１６の仮想画像平面Ｐ２（撮像画像Ｉｃに相当する平面）上にも、対応するエピポーラ線Ｌｅ２が特定される。エピポーラ線Ｌｅ２は、仮想画像平面Ｐ２内において、ベースラインＬｂとの交点（エピポールＰｅ２）を通る直線である。仮想画像平面Ｐ１のエピポーラ線Ｌｅ１上の任意の位置ｘ１から投写面Ｓｐ上の位置ｘ０に投写された光は、投写面Ｓｐまでの距離に拘らず、仮想画像平面Ｐ２上では、対応するエピポーラ線Ｌｅ２上のいずれかの位置（例えば、位置ｘ２）に投影（撮像）される。

なお、図９では、説明の便宜上、エピポーラ線Ｌｅ１を複数の平行線によって表しているが、上述したように、すべてのエピポーラ線Ｌｅ１は、共通のエピポールＰｅ１を通る直線であるため、一般的には放射状に延出する。この場合、各単位パターンＵの形状も矩形とはならない。ただし、画像投写部１５の光軸と撮像部１６の光軸が平行の場合には、エピポールＰｅ１が無限遠に位置することになるため、複数のエピポーラ線Ｌｅ１は略平行になる。

このように、本実施形態では、検出用単位パターンＵが、予め定められたエピポーラ線Ｌｅ１上に頂点が位置するように配置されている。そして、このエピポーラ線Ｌｅ１に対応する撮像画像Ｉｃ上のエピポーラ線Ｌｅ２は、画像投写部１５と撮像部１６との配置関係に応じて予め決定され得る。このため、検出部１７は、撮像画像Ｉｃにおいて、予め決定されたエピポーラ線Ｌｅ２上を探索することにより、基準点を検出することができる。そして、検出部１７は、各基準点を検出する際に、検出対象の単位パターンＵの色等に基づいて識別情報を生成し、座標とともに補正情報生成部１８に出力する。このため、補正情報生成部１８は、投写面Ｓｐの凹凸（段差等）によって一部の基準点が検出されなかった場合でも、この識別情報に基づいて、各基準点の本来の位置（矩形のパターン画像Ｉｐ上の位置）を推定することが可能となり、基準座標と検出座標との対応関係が明確になる。この結果、補正情報生成部１８は、検出された一部の基準点のみを用いて補正情報を生成することができる。

また、検出用単位パターンＵの近傍に、同色の他の単位パターンＵが位置している場合であっても、他の単位パターンＵが探索対象のエピポーラ線Ｌｅ２から垂直方向に離れた位置にあれば、これらを混同してしまう恐れがない。このため、本実施形態のように、基本パターン群Ｖを、複数の単位パターンＵがエピポーラ線Ｌｅ１に沿って１列に並んだ構成とする場合であっても、基準点を容易に識別することが可能となる。

以上、説明したように、本実施形態のプロジェクター１００によれば、検出部１７が、エピポーラ線Ｌｅ２に沿って基準点を検出することが可能となるため、基準点の検出が容易になる。

また、上述したように、エピポーラ線Ｌｅ２に交差する方向については、近傍に同じ種類の単位パターンＵがあってもこれらを混同してしまう恐れがないため、基本パターン群Ｖにおいて、各色の単位パターンＵをエピポーラ線Ｌｅ１に沿って１列に配列することができる。この結果、同色の単位パターンＵを、エピポーラ線Ｌｅ１に沿った方向に離して配置することが可能となるため、他の単位パターンＵと混同してしまうことが抑制される。
なお、パターン画像Ｉｐ（画像形成領域Ａｉ）上のエピポーラ線Ｌｅ１が第１のエピポーラ線に相当し、撮像画像Ｉｃ上のエピポーラ線Ｌｅ２が第２のエピポーラ線に相当する。

（第５実施形態）
以下、第５実施形態のプロジェクターについて、図面を参照して説明する。
本実施形態のプロジェクター１００は、歪みを補正する処理を行う際に、上記の各実施形態のプロジェクター１００とは異なるパターン画像Ｉｐを投写する。

図１１は、本実施形態のパターン画像Ｉｐを示す図である。
図１１に示すように、パターン画像Ｉｐは、縦方向（エピポーラ線Ｌｅ１に交差する方向）に延出するように配置された複数の帯状の単位パターンＵ（Ｕｒ，Ｕｇ，Ｕｂ，Ｕｃ，Ｕｍ，Ｕｙ，Ｕｋ）が、横方向（エピポーラ線Ｌｅ１に沿った方向）に１列に配列された画像である。複数の単位パターンＵには、赤色の単位パターンＵｒと、緑色の単位パターンＵｇと、青色の単位パターンＵｂと、シアン色の単位パターンＵｃと、マゼンタ色の単位パターンＵｍと、黄色の単位パターンＵｙと、黒色の単位パターンＵｋの７色の単位パターンＵが含まれている。黒色の単位パターンＵｋ以外の６色の単位パターンＵは、検出用単位パターンＵである。

図１１において、一点鎖線で示した矩形の範囲は、基本パターン群Ｖを示している。本実施形態の基本パターン群Ｖは、１２の単位パターンＵが横方向に１列に並んだパターン群である。基本パターン群Ｖには、各色１つずつの検出用単位パターンＵが、黒色の単位パターンＵｋと交互に、所定の順序で配置されている。パターン画像Ｉｐは、同一の基本パターン群Ｖを横方向に複数配列させた画像の一部である。

本実施形態では、検出用単位パターンＵの端部、即ち検出用単位パターンＵと黒色の単位パターンＵｋとの境界線上の点が基準点として用いられる。具体的には、予め定められた複数のエピポーラ線Ｌｅ１と、検出用単位パターンＵの端部（境界線）との交点が基準点として用いられる。基準点は、パターン画像Ｉｐ（画像形成領域Ａｉ）内でマトリクス状に配置されており、記憶部１１には、パターン画像Ｉｐにおける各基準点の座標が基準座標として記憶されている。ここで、エピポーラ線Ｌｅ１に対応する撮像画像Ｉｃ上のエピポーラ線Ｌｅ２は、画像投写部１５と撮像部１６との配置関係に応じて予め決定され得る。このため、検出部１７は、撮像画像Ｉｃにおいて、予め決定されたエピポーラ線Ｌｅ２と検出用単位パターンＵの端部との交点を基準点（検出座標）として検出することができる。

そして、検出部１７は、各基準点を検出する際に、検出対象の単位パターンＵの色等に基づいて識別情報を生成し、座標とともに補正情報生成部１８に出力する。このため、補正情報生成部１８は、投写面Ｓｐの凹凸（段差等）によって一部の基準点が検出されなかった場合でも、この識別情報に基づいて、各基準点の本来の位置（矩形のパターン画像Ｉｐ上の位置）を推定することが可能となり、基準座標と検出座標との対応関係が明確になる。この結果、補正情報生成部１８は、検出された一部の基準点のみを用いて補正情報を生成することができる。

なお、本実施形態では、帯状の単位パターンＵは、エピポーラ線Ｌｅ１に直交するように配置される。このため、複数のエピポーラ線Ｌｅ１が平行ではなく、放射状に延出する場合には、単位パターンＵは、各エピポーラ線Ｌｅ１と直交するように、円弧状のパターンとなる。ただし、帯状の単位パターンＵとエピポーラ線Ｌｅ１との関係は、交差する関係であればよく、直交する関係に限定されない。

以上説明したように、本実施形態のプロジェクター１００によれば、上記第４実施形態と同様、検出部１７が、エピポーラ線Ｌｅ２に沿って基準点を検出することが可能となるため、基準点の検出が容易になる。

また、本実施形態のプロジェクター１００によれば、帯状の単位パターンＵをエピポーラ線Ｌｅ１に沿って１列に配列しているため、同色の単位パターンＵを、エピポーラ線Ｌｅ１に沿った方向に離して配置することが可能となるため、他の単位パターンＵと混同してしまうことが抑制される。

また、本実施形態のプロジェクター１００によれば、検出部１７が単位パターンＵの端部を基準点として検出するため、基準点の検出を容易に行うことが可能となる。

（第６実施形態）
以下、第６実施形態のプロジェクターについて、図面を参照して説明する。
本実施形態のプロジェクター１００は、歪みを補正する処理を行う際に、上記の各実施形態のプロジェクター１００とは異なるパターン画像Ｉｐを投写する。

図１２は、本実施形態のパターン画像Ｉｐを示す図である。
図１２に示すように、本実施形態のパターン画像Ｉｐは、縦方向（エピポーラ線Ｌｅ１に交差する方向）に延出するように配置された複数の帯状の単位パターンＵ（Ｕｒ，Ｕｇ，Ｕｂ，Ｕｃ，Ｕｍ，Ｕｙ）が、横方向（エピポーラ線Ｌｅ１に沿った方向）に１列に配列された画像である。複数の単位パターンＵには、赤色の単位パターンＵｒと、緑色の単位パターンＵｇと、青色の単位パターンＵｂと、シアン色の単位パターンＵｃと、マゼンタ色の単位パターンＵｍと、黄色の単位パターンＵｙの６色の単位パターンＵが含まれている。これら６色の単位パターンＵは、すべて検出用単位パターンＵである。また、各単位パターンＵは、輝度分布を有しており、エピポーラ線Ｌｅ１に沿った方向の中央で輝度が最大となっている。

図１２において、一点鎖線で示した矩形の範囲は、基本パターン群Ｖを示している。本実施形態の基本パターン群Ｖは、６個の単位パターンＵが横方向に１列に並んだパターン群である。基本パターン群Ｖには、各色１つずつの単位パターンＵが所定の順序で配置されている。パターン画像Ｉｐは、複数の基本パターン群Ｖを含む画像であり、言い換えれば、同一の基本パターン群Ｖを横方向に複数配列させた画像の一部である。

本実施形態では、予め定められた複数のエピポーラ線Ｌｅ１上で、且つ各単位パターンＵの輝度が最大となる位置（最大輝度位置）が基準点として用いられる。基準点は、パターン画像Ｉｐ（画像形成領域Ａｉ）内でマトリクス状に配置されており、記憶部１１には、パターン画像Ｉｐにおける各基準点の座標が基準座標として記憶されている。ここで、エピポーラ線Ｌｅ１に対応する撮像画像Ｉｃ上のエピポーラ線Ｌｅ２は、画像投写部１５と撮像部１６との配置関係に応じて予め決定され得る。このため、検出部１７は、撮像画像Ｉｃにおいて、予め決定されたエピポーラ線Ｌｅ２上における各単位パターンＵの最大輝度位置を基準点（検出座標）として検出することができる。

そして、検出部１７は、各基準点を検出する際に、検出対象の単位パターンＵの色に基づいて識別情報を生成し、座標とともに補正情報生成部１８に出力する。このため、補正情報生成部１８は、投写面Ｓｐの凹凸（段差等）によって一部の基準点が検出されなかった場合でも、この識別情報に基づいて、各基準点の本来の位置（矩形のパターン画像Ｉｐ上の位置）を推定することが可能となり、基準座標と検出座標との対応関係が明確になる。この結果、補正情報生成部１８は、検出された一部の基準点のみを用いて補正情報を生成することができる。

なお、検出部１７は、最大輝度位置の周辺の領域の輝度の変化率（勾配）に基づいて最大輝度位置を決定するような構成であってもよい。この場合には、最大輝度位置が投写面Ｓｐの凹凸によって遮蔽されている場合にも、その位置を推定することが可能となる。

以上説明したように、本実施形態のプロジェクター１００によれば、上記第４及び第５実施形態と同様、検出部１７が、エピポーラ線Ｌｅ２に沿って基準点を検出することが可能となるため、基準点の検出が容易になる。

また、本実施形態のプロジェクター１００によれば、上記第５実施形態と同様、帯状の単位パターンＵをエピポーラ線Ｌｅ１に沿って１列に配列しているため、同色の単位パターンＵを、エピポーラ線Ｌｅ１に沿った方向に離して配置することが可能となるため、他の単位パターンＵと混同してしまうことが抑制される。

また、本実施形態のプロジェクター１００によれば、単位パターンＵの輝度に基づいて基準点を検出するため、基準点を精度よく検出することが可能となる。特に、投写面Ｓｐの分光反射率が場所によって異なっていたり、外光の影響を受けたりすることで、第５実施形態のような帯状の単位パターンＵの端部を正確に検出できない場合に有効である。

（変形例）
また、上記実施形態は、以下のように変更してもよい。

上記第１〜第６実施形態では、画像投写部１５及び撮像部１６等の各構成要素を一体的に備えたプロジェクター１００について説明したが、各構成要素の一部又は全部が分離された構成であってもよい。ただし、画像投写部１５と撮像部１６が分離されている場合には、設置の度にそれぞれの配置状態が変化するため、その都度キャリブレーション（矩形のパターン画像Ｉｐ上の座標と撮像画像Ｉｃ上の座標とを対応付ける処理等）を行う必要がある。

上記第１〜第６実施形態では、三次元形状の投写面Ｓｐの凹凸（段差等）によって一部の基準点を検出できない場合の歪み補正について説明したが、投写面Ｓｐは三次元形状に限定されない。例えば、平面の投写面Ｓｐ上にある模様や汚れ、或いは障害物等によって一部の基準点を検出できない場合にも適用可能である。

上記第１〜第６実施形態では、単位パターンＵの頂点、端部又は最大輝度位置を基準点としているが、基準点はこれに限定されず、例えば、単位パターンＵの重心の位置を基準点としてもよい。

上記第１、第３及び第４実施形態では、基本パターン群Ｖに各色１つずつの検出用単位パターンＵを含む態様について説明したが、基準点を識別可能であれば、基本パターン群Ｖ内に同色の単位パターンが複数含まれていてもよい。例えば、１つの基準点（頂点）を囲む複数の検出用単位パターンＵの色の組み合わせが、基本パターン群Ｖ内のすべての基準点で異なるようにすれば、同色の単位パターンが複数含まれていても、各基準点を識別することが可能である。

上記第６実施形態において、エピポーラ線Ｌｅ１に沿った方向の輝度分布が複数の単位パターンＵに亘って正弦波となるようなパターン画像Ｉｐを用いて、位相シフト法により基準点を特定する態様としてもよい。具体的には、上記のような正弦波の輝度分布を有するパターン画像Ｉｐ（第１のパターン画像）を投写して撮像し、撮像画像Ｉｃ上のエピポーラ線Ｌｅ２に沿って輝度分布を計測する。また、第１のパターン画像とは位相がずれた正弦波のパターン画像を少なくとも２つ投写して、それぞれについても撮像画像Ｉｃ上のエピポーラ線Ｌｅ２に沿って輝度分布を計測する。そして、それぞれの計測結果に基づいて、基準点（例えば、第１のパターン画像上の最大輝度位置）を特定してもよい。この態様によれば、投写面Ｓｐの反射率が均一でない場合であっても、基準点を精度よく検出することが可能となる。

上記第１及び第３〜第６実施形態では、パターン画像Ｉｐが、色が異なる複数の単位パターンＵを含んで構成されているが、色の違いは、波長域の違いに限定されず、明るさの違いを含んでいてもよい。

上記第３及び第６実施形態では、単位パターンＵの最大輝度位置を基準点としているが、単位パターンＵにおいて輝度が最小となる位置（最小輝度位置）を基準点としてもよい。

上記第４実施形態では、色が異なる複数の単位パターンＵをエピポーラ線Ｌｅ１に沿って配置したパターン画像Ｉｐの例を示したが、第２実施形態のような模様が異なる複数の単位パターンＵをエピポーラ線Ｌｅ１に沿って配置したパターン画像Ｉｐを採用してもよい。

上記第１、第４及び第５実施形態において、パターン画像Ｉｐは、検出用単位パターンＵ以外に、黒色の単位パターンＵｋを含んで構成されているが、黒色の単位パターンＵｋを含まない構成にすることも可能である。ただし、上記第１、第４及び第５実施形態のように、検出用単位パターンＵと黒色の単位パターンＵｋとを隣接させて配置するほうが、検出用単位パターンＵの頂点や端部の検出が容易になる。また、パターン画像Ｉｐに黒色の単位パターンＵｋを含めることにより、基本パターン群Ｖを大きくできるため、同色の単位パターンＵを離して配置することが可能となり、他の単位パターンＵと混同してしまうことが抑制される。

上記第５及び第６実施形態において、帯状の単位パターンＵのそれぞれは、全域に亘って単一の色によって構成されているが、色が異なる複数の領域を縦方向（エピポーラ線Ｌｅ１に交差する方向）に配列させた態様とすることも可能である。

上記第１〜第６実施形態において、プロジェクター１００から投写された画像の一部が投写面Ｓｐの凹凸に遮られて影が生じる場合には、複数台のプロジェクター１００に、それぞれ異なる方向から画像を投写させて、画像が表示されない領域（影となる領域）が生成されるのを防止するようにしてもよい。

上記第１〜第６実施形態では、光変調装置として、透過型の液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源２１から射出された光を変調するデジタルミラーデバイス等を用いることもできる。また、色光別に複数の光変調装置を備える構成に限定されず、１つの光変調装置で複数の色光を時分割で変調する構成としてもよい。

１０…制御部、１１…記憶部、１２…入力操作部、１３…画像情報入力部、１４…画像情報補正部、１５…画像投写部、１６…撮像部、１７…検出部、１８…補正情報生成部、２１…光源、２２Ｒ，２２Ｇ，２２Ｂ…液晶ライトバルブ、２３…投写レンズ、２４…ライトバルブ駆動部、１００…プロジェクター、Ａｃ…補正領域、Ａｃ１…第１の補正領域、Ａｃ２…第２の補正領域、Ａｃ３…第３の補正領域、Ａｉ…画像形成領域、Ｃ１〜Ｃ１６…基準点、Ｄｐ…パターン画像データ、Ｉｃ…撮像画像、Ｉｄ…表示画像、Ｉｐ…パターン画像、Ｌｅ１，Ｌｅ２…エピポーラ線、Ｓｐ…投写面、Ｕｒ，Ｕｇ，Ｕｂ，Ｕｃ，Ｕｍ，Ｕｙ，Ｕｋ…単位パターン、Ｖ…基本パターン群。

Claims (12)

1. 投写面に画像を投写する投写部と、
   前記投写部からパターン画像を投写させる制御部と、
   前記投写面に投写された前記パターン画像を撮像する撮像部と、
   前記撮像部で撮像された前記パターン画像に基づいて、基準点を検出する検出部と、
   前記検出部で検出された前記基準点の位置に基づいて、前記投写部が投写する前記画像を補正する補正部と、を備え、
   前記パターン画像は、前記基準点を特定するための複数の単位パターンを含み、
   前記複数の単位パターンには、色及び模様の少なくとも一方が異なる少なくとも３種類の単位パターンが含まれることを特徴とする画像投写システム。
2. 請求項１に記載の画像投写システムであって、
   前記少なくとも３種類の単位パターンは、互いに色が異なることを特徴とする画像投写システム。
3. 請求項１に記載の画像投写システムであって、
   前記少なくとも３種類の単位パターンは、互いに模様が異なることを特徴とする画像投写システム。
4. 請求項１〜３のいずれか一項に記載の画像投写システムであって、
   前記単位パターンは、頂点を有する形状のパターンであり、
   前記検出部は、前記単位パターンの前記頂点を前記基準点として検出することを特徴とする画像投写システム。
5. 請求項１又は２に記載の画像投写システムであって、
   前記単位パターンは、輝度分布を有するパターンであり、
   前記検出部は、前記単位パターンの輝度に基づいて前記基準点を検出することを特徴とする画像投写システム。
6. 請求項１〜５のいずれか一項に記載の画像投写システムであって、
   前記パターン画像は、前記少なくとも３種類の単位パターンが所定の配列で配置された基本パターン群を複数含むことを特徴とする画像投写システム。
7. 請求項１〜６のいずれか一項に記載の画像投写システムであって、
   前記パターン画像には、前記投写部と前記撮像部の配置関係に基づいて決定される第１のエピポーラ線に沿って前記基準点が位置するように、前記単位パターンが配置されており、
   前記検出部は、前記撮像部が撮像した画像から、前記第１のエピポーラ線に対応する第２のエピポーラ線に沿って前記基準点を検出することを特徴とする画像投写システム。
8. 請求項２に記載の画像投写システムであって、
   前記単位パターンは、前記投写部と前記撮像部の配置関係に基づいて決定される第１のエピポーラ線に交差する方向に延出する帯状のパターンであり、
   前記検出部は、前記撮像部が撮像した画像から、前記第１のエピポーラ線に対応する第２のエピポーラ線に沿って前記基準点を検出することを特徴とする画像投写システム。
9. 請求項８に記載の画像投写システムであって、
   前記検出部は、前記単位パターンの端部を前記基準点として検出することを特徴とする画像投写システム。
10. 請求項８に記載の画像投写システムであって、
    前記単位パターンは、輝度分布を有するパターンであり、
    前記検出部は、前記単位パターンの輝度に基づいて前記基準点を検出することを特徴とする画像投写システム。
11. 請求項１〜１０のいずれか一項に記載の画像投写システムであって、
    前記投写部と前記撮像部とが一体的に構成されていることを特徴とする画像投写システム。
12. 投写面に画像を投写する投写部からパターン画像を投写し、
    前記投写面に投写された前記パターン画像を撮像し、
    撮像された前記パターン画像に基づいて、基準点を検出し、
    検出された前記基準点の位置に基づいて、前記投写部が投写する前記画像を補正する、画像投写システムの制御方法であって、
    前記パターン画像は、前記基準点を特定するための複数の単位パターンを含み、
    前記複数の単位パターンには、色及び模様の少なくとも一方が異なる少なくとも３種類の単位パターンが含まれることを特徴とする画像投写システムの制御方法。