JP2019169915A - 投影制御装置、投影装置、投影方法及びプログラム - Google Patents

Abstract

【課題】投影対象に関わらず、違和感のない綺麗な投影画像を投影することができるロバスト性を向上させた投影制御装置を提供する。【解決手段】 投影制御装置である投影装置１０は、投影画像の補正に使用する測定用画像３０と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像４０とからなる補正用画像７０を記憶する記憶手段と、記憶手段に記憶される補正用画像７０を投影手段により投影対象に投影させる投影制御手段と、投影対象に投影された補正用画像７０の複数のマーカ画像４０から投影画像の補正に使用するマーカ画像４０を検出するマーカ決定手段と、マーカ決定手段により決定されたマーカ画像に基づいて投影手段により投影される画像の投影条件を決定する投影条件決定手段と、を有する。【選択図】 図４

Description

本発明は、投影制御装置、投影装置、投影方法及びプログラムに関する。

カラー画像を投射する投影装置において、壁等の投射面に色、柄、歪み等が有る場合に、投影装置が投影した画像を正しい色や形状で表示するための技術が提案されている（例えば特許文献１）。

特開２００７−２５９４７２号公報

上記特許文献に記載された技術を含め、投影装置の投影範囲における色の再現状態を正確に把握して投影画像を補正するためには、投影装置が投影面上に投影した画像の色情報を取得するための手段（上記特許文献１であればカラーセンサ）を備える必要がある。この場合、投影装置の位置と投影画像の鑑賞者の位置とが異なると、投影装置が投影画像を撮影しても鑑賞者の位置を反映して画像を補正することが困難な場合がある。

そこで、画像の色情報を正確に取得する手段として、当該投影装置のユーザが使用するデジタルカメラ等の別体の撮影装置が考えられる。一般的なデジタルカメラにより投影画像を撮影することで投影装置の色補正が実行できれば、簡易で正確に投影装置の初期設定が実現できる。

しかしながら、画像の補正をより正確に行うには色補正用に加えて投影される画像の形状補正用を含めた複数枚の補正用の画像パターンを投影装置により連続して投影させ、その複数の画像パターンをデジタルカメラにより撮影させる必要がある。これらの投影画像をデジタルカメラで手持ちの状態で撮影すると、デジタルカメラ自体の撮影位置が安定しておらず、手ぶれの発生も懸念される。

そのため、連続して得られる撮影画像中における投影装置が投影した範囲を正確に検出することが難しくなる。投影画像の正確な撮影を実施するために、デジタルカメラを三脚等で固定する方法もあるが初期設定に要する手間等がそれだけ煩雑なものとなる。

本発明は、投影対象に関わらず、違和感のない綺麗な投影画像を投影することができるロバスト性を向上させた投影制御装置、投影装置、投影方法及びプログラムを提供することを目的とする。

本発明の投影制御装置は、投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像とからなる補正用画像を記憶する記憶手段と、前記記憶手段に記憶される前記補正用画像を投影手段により投影対象に投影させる投影制御手段と、前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定手段と、前記マーカ決定手段により決定されたマーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定手段と、を有することを特徴とする。

本発明の投影装置は、上記の投影制御装置と、投影手段と、を備えることを特徴とする。

本発明の投影方法は、投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像と、からなり記憶手段に記憶される補正用画像を投影手段により投影対象に投影する投影工程と、前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定工程と、前記マーカ決定工程で決定された前記マーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定工程と、を備えることを特徴とする。

本発明のプログラムは、コンピュータが実行するプログラムであって、記憶手段に記憶された投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像と、からなり記憶手段に記憶される補正用画像を投影手段により投影対象に投影させる投影制御手段、前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定手段前記マーカ決定手段により決定されたマーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定手段、として機能させることを特徴とする。

本発明によれば、投影対象に関わらず、違和感のない綺麗な投影画像を投影することができるロバスト性を向上させた投影制御装置、投影装置、投影方法及びプログラムを提供することができる。

本発明の実施形態に係る投影システムの概要を示す図である。 本発明の実施形態に係る投影システムの構成を示す図である。 本発明の実施形態に係る測定用画像を示す図であり、（ａ）〜（ｃ）は投影画像の色補正用の測定用画像であり、（ｄ）〜（ｆ）は投影画像の形状補正用の測定用画像である。 本発明の実施形態に係るマーカの構成を示す図である。 本発明の実施形態に係るマーカ決定プログラムのフローチャート図である。 本発明の実施形態に係るマーカ決定プログラムにおけるマーカ解析のフローチャート図である。 本発明の実施形態に係る補正用画像の一例を示す図である。 本発明の実施形態に係る補正用画像の一例を示す図である。

以下、本発明を実施するための形態について述べる。図１は投影システム１の概要を示す図である。投影システム１は、カーテンや壁等の投影対象物２５の投影面２６に画像を投影する投影装置１０（投影制御装置）と、投影面２６に投影された画像を撮影するデジタルカメラやカメラ付き携帯電話、等の撮影装置２０とを有する。なお、撮影装置２０としては、携帯用の画像入力機能付きデジタル機器であれば良く、ビデオカメラ、スマートフォン（高機能携帯電話）、タブレット端末等でも良い。本実施形態では投影対象物２５としてカーテンを示している。投影対象物２５は図示しないレール等に吊支され、主として横方向に沿った表面に波状のうねりを有している。また投影面２６には色や模様が形成されている。

投影装置１０は、撮影装置２０と異なる位置に配置される。図１の投影装置１０は、投影面２６に対して左側に配置され、画像を斜めの方向から投影している。撮影装置２０は、投影面２６に対して略正面等、投影面２６に投影された画像を鑑賞するユーザの位置に配置される。従って、撮影装置２０が撮影した画像とユーザが視認する画像とは、画角が略一致するように構成することができる。撮影装置２０はユーザによって把持されてもよい。

投影システム１の動作の概要について説明する。投影装置１０により投影される投影画像は、投影されたままの状態では、投影面２６の形状・模様等の影響や、投影装置１０の投影方向とユーザの視線方向との差の影響により、ユーザの視点からは元の画像データとは異なる色や形状で観測される。そこで、本実施形態では、ユーザが、ユーザの視点から好適に投影画像を視認可能なように、投影制御部１００が画像データの補正を行う。画像データの補正は、投影装置１０が後述する補正用画像７０を投影面２６に投影して、撮影装置２０により投影された補正用画像７０を撮影して行う。撮影装置２０は、補正用画像７０を含む撮影画像を投影装置１０に有線又は無線の通信部４００を介して送信する。投影装置１０は、受け取った撮影画像の補正用画像７０に基づいて画像データを補正する。このようにして、投影装置１０は、画像データが観測者であるユーザにとって意図された態様で視認されるように、画像を投影することができる。

図２は投影システム１の構成を示す図である。投影装置１０は、投影制御手段である投影制御部１００と投影手段である投影部２００及び記憶手段としての記憶部３００を備える。投影制御部１００には、投影画像の画像データ５０を受け取る映像処理部１１０及び映像補正部１２０、有線又は無線の通信部４００を介して撮影装置２０からの撮影画像を受け取りマーカ検出を行う検出手段を備えて投影画像の補正に使用するマーカ画像を決定するマーカ決定手段としての測定部１３０、測定部１３０により決定されたマーカ画像に基づいて投影部２００により投影される画像の投影条件を決定する投影条件決定手段としてのパターン生成部１４０を備える。また、投影部２００は、光源２１０、投影素子２２０、投影レンズ２３０を備える。

投影制御部１００は、記憶部３００に記憶され、投影装置１０が備える図示しないコンピュータが実行するプログラムとして構成することができる。投影制御部１００の映像処理部１１０は、投影装置１０に接続された、図示しないパーソナルコンピュータやＵＳＢメモリから送られてきた観賞用の画像データ５０を所定のフォーマットに従ったフレームレートで処理して投影用の画像データを生成する。映像補正部１２０は、測定部１３０からの画像補正情報を受けて、映像処理部１１０からの投影用の画像データを補正して、投影部２００の投影素子２２０を表示駆動する。

投影制御部１００の測定部１３０は、撮影装置２０により撮影された補正用画像７０を含む撮影画像を解析し、画像補正情報等を生成する。パターン生成部１４０は、記憶部３００に記憶された、投影画像の補正に使用する後述の測定用画像３０と、画像位置識別用の後述の複数のマーカ画像４０と、からなる補正用画像７０を投影するよう投影部２００の投影素子２２０を表示駆動する。

投影部２００の光源２１０は、半導体発光素子であるＬＥＤやＬＤ（レーザダイオード）を有し、赤、緑、青色波長帯域光の光源光を投影素子２２０に照射する。投影素子２２０は、ＤＭＤ（デジタル・マイクロミラー・デバイス）が用いられ、投影する画像データに応じて赤、緑、青色波長帯域光を時分割表示することにより、投影レンズ２３０を介して投影対象物２５にカラー画像を投影することができる。なお、投影素子２２０は、液晶プロジェクタ等の他の方式としてもよい。

記憶部３００は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。記憶部３００は、補正用画像７０や、投影制御部１００等の制御プログラムが記憶される。

次に、図３に基づいて、投影装置１０の記憶部３００に記憶される測定用画像３０について説明する。測定用画像３０は、投影モードに応じたアスペクト比の矩形状の画像とすることができ、本図では全体を横長の矩形形状としている。

図３（ａ）〜（ｃ）は投影画像の色補正用の測定用画像３１，３２，３３である。各測定用画像３１，３２，３３は、略全面の測定領域３０ａを各々黒色、灰色及び白色とした黒色の測定用画像３１、灰色の測定用画像３２、白色の測定用画像３３である。投影装置１０は、後述する複数のマーカ画像４０と共に各測定用画像３１，３２，３３をそれぞれ投影面２６に投影して撮影装置２０に撮影させ、投影制御部１００（測定部１３０）に投影面２６に形成される模様や投影面２６の歪みに起因した色の変化を検出させる。

図３（ｄ）〜（ｆ）は投影対象物２５に投影された投影画像の歪み補正用（形状補正用）の測定用画像３４，３５，３６である。各測定用画像３４，３５，３６は、略全面の測定領域３０ａに略正方形の白の四角形及び黒の四角形を縦方向及び横方向に交互に配置した市松模様を施して、大型の市松模様の測定用画像３４、中型の市松模様の測定用画像３５、及び小型の市松模様の測定用画像３６とした。投影制御部１００（測定部１３０）は、測定用画像３４，３５，３６における市松模様の大きさによる異なる分解能で投影面２６の歪みを検出することができる。投影装置１０は、後述する複数のマーカ画像４０と共に各測定用画像３４，３５，３６を投影面２６に投影して、撮影装置２０により撮影させ、投影制御部１００（測定部１３０）に投影面２６全体の歪みを検出させる。この際、サイズの異なる市松模様の各測定用画像３４，３５，３６の四角形の角部は、投影時に互いに重ならない位置になっている。

次に、図４に基づいて、記憶部３００に記憶される、画像位置識別用の複数のマーカ画像４０について説明する。複数のマーカ画像４０は、前述の測定用画像３０と共に補正用画像７０として投影面２６に投影され、撮影装置２０により撮影される。撮影装置２０の補正用画像７０を含む複数の撮影画像は、測定部１３０により解析される。このとき、測定部１３０は、複数の撮影画像のうち検出したマーカ画像４０の位置を合わせて測定用画像３０を解析する。このような画像位置識別用の複数のマーカ画像４０は、それぞれ色、サイズ、形状、及び向きの少なくとも１つが異なるように形成される。

具体的には、マーカ画像４１−１，４１−２，４１−３，４１−４は、四角形状に形成され、マーカ画像４２−１，４２−２，４２−３，４２−４は四角形状と丸形状がそれぞれ中心で重ねられた形状とされ、マーカ画像４３−１，４３−２，４３−３は四角形状と三角形状がそれぞれ中心で重ねられた形状とされている。また、マーカ画像４１−３，４２−２，４３−１は背景が白色とされ、マーカ画像４１−１，４１−２，４３−３は背景が緑色とされ、マーカ画像４３−２，４１−４，４２−４は背景が赤色とされ、マーカ画像４２−１，４２−３は背景が青色とされている。また、全てのマーカ画像４０は、そのサイズが異なっている。さらに、複数のマーカ画像４０は、測定用画像３０の測定領域３０ａにおいて、その向きや位置が異なるように配置される。
勿論、マーカ画像４０の形状は上記の例に限られず、多様な形状を用いても良い。

次に、投影装置１０による投影画像の補正について説明する。本実施形態においては、投影画像の補正は、形状補正が先に行われて、色補正がその後に行われる。なお、他の形態としては、色補正を先に行っても良い。図５に示すように、先ず、ステップＳ１０１で、測定部１３０の指示により、パターン生成部１４０は、１枚目の補正用画像７１を生成して投影する。補正用画像７１は記憶部３００に記憶される。ステップＳ１０１では、図７に示すように、１枚目の補正用画像７１として、図４の全てのマーカ画像４０に大型の市松模様の測定用画像３４（図３（ｄ）参照）を重ねた画像が投影される。次に、ステップＳ１０５で、撮影装置２０により、投影面２６に投影された補正用画像７１を撮影して、この撮影画像を通信部４００を介して測定部１３０に送信する。次のステップＳ１１０では、ステップＳ１０５で送信された撮影画像を解析して、複数のマーカ画像４０の中から画像位置識別用として用いるマーカ画像４０を決定する。

マーカ画像４０の決定は、測定部１３０が備える検出手段によりマーカ画像４０の検出を行う等して、図６のフローチャートに従って行われる。先ず、ステップＳ２０１では、撮影画像をグレースケール化する。そして、ステップＳ２０５では、グレースケール化した撮影画像に対して２値化する。ステップＳ２０１又はステップＳ２０５では、所定のパラメータを優先して各処理を行うことができる。所定のパラメータは、本実施形態では、マーカ画像４０の色、サイズ、形状、向き、位置のうち、任意に選択することができる。例えば、所定のパラメータとして「色」について赤色を優先した場合には、赤色のマーカ画像４３−２，４１−４，４２−４のみを撮影画像から抜き出して、ステップＳ２０１又はステップＳ２０５の処理を行うことができる。なお、所定のパラメータを用いた処理は、ステップＳ２０１又はステップＳ２０５の何れかの処理で行えばよい。

次のステップＳ２１０では、２値化した撮影画像に対して輪郭抽出を行う。輪郭抽出の処理は、例えば、２値化画像の黒画像と白画像の閉領域とされる境界を輪郭として検出する。そして、ステップＳ２１５で、検出した輪郭から、画像中のマーカ画像４０を特定して、画像位置識別用として用いるマーカ画像４０の候補を列挙する。そして、ステップＳ２２０で、列挙したマーカ画像４０の候補を解析して、エラー値とされる画像位置識別用として用いることが難しいマーカ画像４０を取り除く。エラー値は、マーカ画像４０の形状の正確さを所定の閾値で設定することができる。

このようにして、例えば１つ以上のマーカ画像４０が残っていれば、マーカ画像４０を決定する処理が終了する（ステップＳ２２５）。画像位置識別用として使用可能なマーカ画像４０が得られない場合には、ステップＳ２０１に戻り、優先する所定のパラメータを変えてグレースケール化（ステップＳ２０１）又は２値化（ステップＳ２０５）の処理を行う。例えば、所定のパラメータとして色を優先して処理を行っても画像位置識別用として使用可能なマーカ画像４０を決定できなかった場合には、次は形状を優先してグレースケール化（ステップＳ２０１）又は２値化（ステップＳ２０５）の処理を行うことができる。

また、所定のパラメータとして赤色を優先して、マーカ画像４３−２，４１−４，４２−４に対して輪郭抽出（ステップＳ２１０）を行ってもエラーが発生（ステップＳ２２０）して画像位置識別用として使用可能なマーカ画像４０を決定できなかった場合には、所定のパラメータとして四角形状の形状を優先してマーカ画像４１−１，４１−２，４１−３，４１−４について輪郭抽出の処理を行うことができる。このようにして、優先する所定のパラメータを色、サイズ、形状、向き、位置について順次行うことで、画像位置識別用として使用可能なマーカ画像４０を決定することができる。なお、マーカ画像４０は、少なくとも１つのマーカ画像４０が検出できれば画像位置の識別が可能とされるが、複数のマーカ画像４０を画像位置の識別用として用いる方が、各撮影画像の位置合わせ精度が良くなるので、投影画像の補正精度が良くなる。

ここでは、図６のステップＳ２２５では、画像位置識別用のマーカ画像４０として、赤色のマーカ画像４３−２，４１−４，４２−４が決定されたものとする。図５に戻り、ステップＳ１１０で１枚目の補正用画像７１を解析して画像位置識別用として使用可能なマーカ画像４０（マーカ画像４３−２，４１−４，４２−４）が決定されたら、ステップＳ１１５として、投影装置１０は２枚目以降の補正用画像７２を投影する。パターン生成部１４０で生成される２枚目の補正用画像７２は、図８に示すように、測定部１３０により決定された画像位置識別用のマーカ画像４３−２，４１−４，４２−４と、中型の市松模様の測定用画像３５（図３（ｅ）参照）を重ねて形成される。この補正用画像７２は記憶部３００に記憶される。そして、ステップＳ１２０で、投影された補正用画像７２を撮影装置２０で撮影する。このようにして、３枚目以降の補正用画像７０は、順次、決定された画像位置識別用のマーカ画像４３−２，４１−４，４２−４と各測定用画像３６，３１，３２，３３とを重ねて形成され、記憶部３００に記憶される。つまり、パターン生成部１４０では、測定部１３０で決定されたマーカ画像４０に基づいて投影部２００により投影される画像の投影条件を決定する。従って、投影条件が決定されて形成された補正用画像７０は順次投影されて、順次撮影装置２０で撮影される。本実施形態では、撮影装置２０による撮影画像は、各測定用画像３１，３２，３３，３４，３５，３６とマーカ画像４３−２，４１−４，４２−４により形成された補正用画像７０を含む画像とされて、合計６枚の画像とされる。

２枚目以降の補正用画像７０の生成は、上記の他、以下のように行うことができる。すなわち、記憶部３００には、各測定用画像３１〜３６と図４の複数のマーカ画像４０を重ね合わせて形成される６枚の補正用画像７０を予め記憶しておく。そして、図６のステップＳ２０１〜Ｓ２２５の処理を行って１枚目に投影した補正用画像７０により投影画像の補正に使用するマーカ画像４０が決定したら、２枚目以降に投影する補正用画像７０は、測定部１３０が備える画像加工手段により、検出できなかったマーカ画像４０が配置された領域（図４の例ではマーカ画像４３−２，４１−４，４２−４以外のマーカ画像４０）を測定用画像３０（３５）の領域に変化させて２枚目以降の補正用画像７０（例えば図８の補正用画像７２）を生成することもできる。

ステップＳ１２５で、６枚の撮影画像における各補正用画像７０の各測定用画像３０に基づいて、測定部１３０により投影画像の形状と色を補正するための画像補正情報が生成される。画像補正情報は、撮影装置２０により撮影された複数の補正用画像７０のマーカ画像４０を合致させて、各測定用画像３０を解析する。従って、手ブレが生じた撮影画像であっても投影画像の補正に用いることができる。すなわち、投影画像の形状補正では、形状補正用の測定用画像３４，３５，３６を含む３枚の補正用画像７０を撮影した撮影画像について、各撮影画像におけるマーカ画像４０の位置を合致させ、各撮影画像の各測定用画像３４，３５，３６の市松模様の交点の座標を検出して、各測定用画像３４，３５，３６の歪み度合いを求めることができる。また、投影画像の色補正では、同様に各撮影画像におけるマーカ画像４０の位置を合致させ、市松模様の測定用画像３４，３５，３６により特定された投影素子２２０の座標における黒、グレー、白とされる測定用画像３１，３２，３３の光量を測定して、当該座標位置の目標値となる赤、緑、青色の光量を求める。このようにして、形状及び色に関する投影画像の画像補正情報を生成する。そして、ステップＳ１３０で、生成した画像補正情報を映像補正部１２０に送信する。すると、映像補正部１２０は、画像データに基づく投影画像を補正して、投影部２００により補正した投影画像を投影する。

以上、本発明の実施形態を説明したが、本発明は本実施形態により限定されることは無く、種々の形態で実施することができる。例えば、図４に示す複数のマーカ画像４０の配置は、累積された複数の過去の検出結果から検出率の高かったマーカ画像４０を測定用画像３０の測定領域３０ａの四隅に配置して、検出率が高くないその他のマーカ画像４０を測定領域３０ａの辺や中央に配置することができる。これにより、測定用画像３０の解析には不要なマーカ画像４０をできるだけ四隅に配置して、模様や形状が複雑ではない投影対象物２５については投影面２６の中心付近の画像補正の精度を向上させつつ、マーカ画像４０と紛らわしい模様が多かったり複雑形状であったりする投影対象物２５については種々のマーカ画像４０を利用して画像補正を行うことができる。

また、２枚目以降の補正用画像７０は、図６のステップＳ２２５で画像位置識別用として決定されたマーカ画像４０のみを用いるようにしたが、決定されなかったマーカ画像４０を表示しておき、解析には使用しないようにすることもできるが、本実施形態のように、使用しないマーカ画像４０は２枚目以降の補正用画像７０からは取り除くことで、ノイズの低減や色・形状補正画像の表示範囲拡大の効果が見込める。また、図６のステップＳ２２５で画像位置識別用として決定されたマーカ画像４０が多数存在する場合には、より精度の高いマーカ画像４０を残すこととしたが、この他、測定用画像３０の解析への影響を考慮して、例えば測定領域３０ａの四隅に近いマーカ画像４０のみを残したり、小さいマーカ画像４０のみを残したりすることができる。

また、本実施例では自装置である投影装置１０が測定部１３０を有するように例示したがこれに限られない。投影制御部１００は通信部４００を介して測定部１３０を具備する外部装置（例えば撮影装置２０）と通信することによって、マーカ画像４０を検出する検出手段を具備する外部装置で検出されたマーカ画像の検出結果の情報を取得するよう構成しても良い。
このように構成することで、投影装置１０の投影制御部１００で行われる制御処理の負担を減らすことが出来る。

以上説明したように、本発明の実施形態の投影制御装置としての投影装置１０は、投影画像の補正に使用する測定用画像３０と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像４０とからなる補正用画像７０を記憶する記憶手段（記憶部３００）と、記憶手段に記憶される補正用画像７０を投影手段（投影部２００）により投影対象（投影対象物２５）に投影させる投影制御手段（投影制御部１００）と、投影対象物２５に投影された補正用画像７０の複数のマーカ画像４０から投影画像の補正に使用するマーカ画像４０を決定するマーカ決定手段（測定部１３０）と、マーカ決定手段により決定されたマーカ画像４０に基づいて投影手段により投影される画像の投影条件を決定する投影条件決定手段（パターン生成部１４０）と、を有する。これにより、投影対象物２５に施される模様や色に関わらず、違和感のない綺麗な投影画像を投影することができるロバスト性を向上させた投影装置１０を提供することができる。

また、マーカ決定手段は、１枚目である前回投影した補正用画像７１から検出したマーカ画像４０を用いて２枚目以降とされる次に投影する補正用画像７２のマーカ画像４０を決定する。これにより、２枚目以降の補正用画像７０の処理時間を短縮することができる。

また、マーカ決定手段は、自装置（投影装置１０）又は外部装置（撮影装置２０）に具備される検出手段により検出されたマーカ画像から投影画像の補正に使用するマーカ画像を決定する。これにより、この検出手段を自装置又は外部装置の一方に備えさせれば、他方の装置は汎用装置を用いることもできる。

また、マーカ決定手段は、投影した補正用画像７０から検出できなかったマーカ画像４０が配置された領域を測定用画像３０の領域に変化させる画像加工手段を備える。これにより、検出できないマーカ画像４０を排除して、投影画像の補正に寄与する測定用画像３０の領域を広げることができる。

また、マーカ決定手段は、所定のパラメータを優先してマーカ画像４０を検出する。この所定のパラメータは、マーカ画像４０の色であったり、サイズであったり、その他形状、向き及び位置とすることができる。これにより、マーカ決定手段によるマーカ画像４０の検出処理時間を短縮することができる。そして、優先する所定のパラメータを色とすれば、投影対象物２５の模様がマーカ画像４０と近しいものであったりしてマーカ画像４０の検出（輪郭抽出）が難しい場合には、投影対象物２５の模様の影響を低減することができる。例えば、赤と白のスクリーンであれば、赤成分は白部分も赤部分も反射するので、赤を投影して赤プレーンを見れば、スクリーンの模様の影響を低減することができる。また、サイズを優先することで、例えばマーカ画像４０が大きいと、マーカ画像４０の内部にスクリーンの折れ目や模様などが入り込み、余分な線が検出されることがあり、この場合には小さいサイズのマーカ画像４０を優先すると好適である。反対に、マーカ画像４０が小さいと、マーカ画像４０の直線が短すぎて検出できなかったり、マーカ画像４０自体が潰れてしまったりすることがあるので、この場合には大きいマーカ画像４０を優先すると好適である。

また、投影装置１０は、投影手段としての投影部２００と、投影制御装置と、を備える構成とすることもできる。これにより、種々の態様で投影システム１を構成することができる。

また、投影装置１０による投影方法は、投影画像の補正に使用する測定用画像３０と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像４０と、からなり記憶手段に記憶される補正用画像７０を投影手段（投影部２００）により投影対象（投影対象物２５）に投影する投影工程と、投影対象に投影された補正用画像７０の複数のマーカ画像４０から投影画像の補正に使用するマーカ画像４０を検出するマーカ決定工程と、マーカ決定工程で決定されたマーカ画像４０に基づいて投影手段により投影される画像の投影条件を決定する投影条件決定工程と、を備える。これにより、投影対象物２５に施される模様や色に関わらず、違和感のない綺麗な投影画像を投影することができるロバスト性を向上させた投影方法を提供することができる。

また、コンピュータが実行するプログラムは、投影装置１０（コンピュータ）を、投影画像の補正に使用する測定用画像３０と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像４０と、からなり記憶手段（記憶部３００）に記憶される補正用画像７０を投影手段により投影対象（投影対象物２５）に投影させる投影制御手段、投影対象（投影対象物２５）に投影された補正用画像７０の複数のマーカ画像４０から投影画像の補正に使用するマーカ画像を決定するマーカ決定手段、マーカ決定手段により決定されたマーカ画像に基づいて投影手段により投影される画像の投影条件を決定する投影条件決定手段（映像補正部１２０）、として機能させる。これにより、投影対象物２５に施される模様や色に関わらず、違和感のない綺麗な投影画像を投影することができるロバスト性を向上させたコンピュータ用のプログラムを提供することができる。

なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願出願の最初の特許請求の範囲に記載された発明を付記する。
［１］投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像とからなる補正用画像を記憶する記憶手段と、
前記記憶手段に記憶される前記補正用画像を投影手段により投影対象に投影させる投影制御手段と、
前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定手段と、
前記マーカ決定手段により決定されたマーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定手段と、
を有することを特徴とする投影制御装置。
［２］前記マーカ決定手段は、前回投影した前記補正用画像から検出した前記マーカ画像を用いて次に投影する前記補正用画像のマーカ画像を決定することを特徴とする前記［１］に記載の投影制御装置。
［３］前記マーカ決定手段は、自装置又は外部装置に具備される検出手段により検出されたマーカ画像から前記投影画像の補正に使用するマーカ画像を決定する、
ことを特徴とする前記［１］又は［２］に記載の投影制御装置。
［４］前記マーカ決定手段は、投影した前記補正用画像から検出できなかった前記マーカ画像が配置された領域を前記測定用画像の領域に変化させる画像加工手段を備えることを特徴とする前記［１］から［３］の何れかに記載の投影制御装置。
［５］前記マーカ検出手段は、所定の基準を優先して前記マーカ画像を検出することを特徴とすることを特徴とする前記［１］から［４］の何れかに記載の投影制御装置。
［６］前記所定の基準は、前記マーカ画像の色であることを特徴とする前記［５］に記載の投影制御装置。
［７］前記所定の基準は、前記マーカ画像のサイズであることを特徴とする前記［５］に記載の投影装置。
［８］［１］乃至［７］の何れかに記載の投影制御装置と、
投影手段と、
を備えることを特徴とする投影装置。
［９］投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像と、からなり記憶手段に記憶される補正用画像を投影手段により投影対象に投影する投影工程と、
前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定工程と、
前記マーカ決定工程で決定された前記マーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定工程と、
を備えることを特徴とする投影方法。
［１０］コンピュータが実行するプログラムであって、前記コンピュータを、
記憶手段に記憶された投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像と、からなり記憶手段に記憶される補正用画像を投影手段により投影対象に投影させる投影制御手段、
前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定手段、
前記マーカ決定手段により決定されたマーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定手段、
として機能させることを特徴とするプログラム。

１ 投影システム １０ 投影装置
２０ 撮影装置 ２５ 投影対象物
２６ 投影面
３０〜３６ 測定用画像
３０ａ 測定領域
４０，４１−１〜４，４２−１〜４，４３−１〜３ マーカ画像
５０ 画像データ
７０，７１，７２ 補正用画像
１００ 投影制御部 １１０ 映像処理部
１２０ 映像補正部 １３０ 測定部
１４０ パターン生成部 ２００ 投影部
２１０ 光源 ２２０ 投影素子
２３０ 投影レンズ ３００ 記憶部
４００ 通信部

Claims (10)

1. 投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像とからなる補正用画像を記憶する記憶手段と、
   前記記憶手段に記憶される前記補正用画像を投影手段により投影対象に投影させる投影制御手段と、
   前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定手段と、
   前記マーカ決定手段により決定されたマーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定手段と、
   を有することを特徴とする投影制御装置。
2. 前記マーカ決定手段は、前回投影した前記補正用画像から検出した前記マーカ画像を用いて次に投影する前記補正用画像のマーカ画像を決定することを特徴とする請求項１に記載の投影制御装置。
3. 前記マーカ決定手段は、自装置又は外部装置に具備される検出手段により検出されたマーカ画像から前記投影画像の補正に使用するマーカ画像を決定する、
   ことを特徴とする請求項１又は２に記載の投影制御装置。
4. 前記マーカ決定手段は、投影した前記補正用画像から検出できなかった前記マーカ画像が配置された領域を前記測定用画像の領域に変化させる画像加工手段を備えることを特徴とする請求項１から３の何れか１項に記載の投影制御装置。
5. 前記マーカ検出手段は、所定の基準を優先して前記マーカ画像を検出することを特徴とすることを特徴とする請求項１から４の何れか１項に記載の投影制御装置。
6. 前記所定の基準は、前記マーカ画像の色であることを特徴とする請求項５に記載の投影制御装置。
7. 前記所定の基準は、前記マーカ画像のサイズであることを特徴とする請求項５に記載の投影制御装置。
8. 請求項１乃至請求項７の何れかに記載の投影制御装置と、
   投影手段と、
   を備えることを特徴とする投影装置。
9. 投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像と、からなり記憶手段に記憶される補正用画像を投影手段により投影対象に投影する投影工程と、
   前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定工程と、
   前記マーカ決定工程で決定された前記マーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定工程と、
   を備えることを特徴とする投影方法。
10. コンピュータが実行するプログラムであって、前記コンピュータを、
    記憶手段に記憶された投影画像の補正に使用する測定用画像と、色、サイズ、形状、及び向きの少なくとも１つが異なる画像位置識別用の複数のマーカ画像と、からなり記憶手段に記憶される補正用画像を投影手段により投影対象に投影させる投影制御手段、
    前記投影対象に投影された前記補正用画像の前記複数のマーカ画像から前記投影画像の補正に使用するマーカ画像を決定するマーカ決定手段、
    前記マーカ決定手段により決定されたマーカ画像に基づいて前記投影手段により投影される画像の投影条件を決定する投影条件決定手段、
    として機能させることを特徴とするプログラム。

Images