JP7287379B2 - 表示方法、検出装置、および、プログラム - Google Patents

Description

本発明は、表示方法、検出装置、および、プログラムに関する。

従来、プロジェクターの投写画像を補正する目的で、プロジェクターが投写する補正用画像をカメラで撮像する手法が知られている。特許文献１には、位置検出用のマーカー画像を含む補正用画像をプロジェクターによって投写し、補正用画像を検出装置によって撮像する構成が開示されている。

特開２０１９－１６８６４０号公報

特許文献１の構成は、検出装置の撮像画像に対して、２値化及び輪郭抽出処理を含む画像処理を行い、マーカーを検出する。この構成では、マーカーを精度よく検出するためには、撮像画像にマーカーが明瞭に写っていることが必要であった。しかしながら、撮像を行うユーザーが、マーカーの検出に適した撮像を行うことは容易ではなかった。

本開示の表示方法は、表示部と撮像部とを備える検出装置による表示方法であって、複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得することと、前記表示部に前記第１画像を表示することと、前記対象領域に配置されるマーカーの数、または、前記複数のマーカーの位置関係に対応するガイドを含む第２画像を、前記第１画像に重畳させて前記表示部に表示することと、を含む。

本開示の検出装置は、表示部と、撮像部と、複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得する画像取得部と、前記対象領域に配置されるマーカーの数、または、前記複数のマーカーの位置関係に対応するガイドを含む第２画像と、前記第１画像とを重畳させて、前記表示部に表示させる制御部と、を備える。

本開示のプログラムは、表示部と、撮像部と、を備える検出装置を制御するコンピューターにより実行されるプログラムであって、前記コンピューターを、複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得する画像取得部と、前記対象領域に配置されるマーカーの数、または、前記複数のマーカーの位置関係に対応するガイドを含む第２画像と、前記第１画像とを重畳させて、前記表示部に表示させる制御部と、して機能させる。

第１実施形態の画像表示システムの構成例を示す図。 ガイド画像の表示例を示す図。 ガイド画像の別の表示例を示す図。 第１実施形態における画像表示システムの動作を示すフローチャート。 第１実施形態における画像表示システムの動作を示すシーケンス図。 第２実施形態の画像表示システムの構成例を示す図。 第２実施形態における画像表示システムの動作を示すシーケンス図。 第３実施形態の画像表示システムの構成例を示す図。 第３実施形態における画像表示システムの動作を示すフローチャート。 第４実施形態の画像表示システムの構成例を示す図。 第４実施形態における画像表示システムの動作を示すフローチャート。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

［１．第１実施形態］
［１－１．投写システムの構成］
図１は、本開示の第１実施形態に係る画像表示システム５の構成例を示すブロック図である。

画像表示システム５は、検出装置１、プロジェクター２、及び画像供給装置４を含む。
プロジェクター２及び画像供給装置４は、ネットワーク３に接続される。ネットワーク３の具体例としては、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ等が挙げられる。Ｂｌｕｅｔｏｏｔｈは登録商標である。プロジェクター２と画像供給装置４とは、ネットワーク３により相互に通信可能に接続される。画像供給装置４はプロジェクター２に画像データを供給する。

プロジェクター２は、画像供給装置４又は検出装置１から供給される画像データに基づいて画像光Ｌを被投写物ＳＣに投写し、被投写物ＳＣに投写画像Ｐを結像させる。プロジェクター２は表示装置の一例であり、プロジェクター２が画像光Ｌを投写することは、表示に相当する。

被投写物ＳＣは、プロジェクター２に対向する位置に存在し、画像光Ｌが投写される物体である。被投写物ＳＣは、画像光Ｌが投写される位置にあって投写画像Ｐを結像させるものであれば特に制限されない。被投写物ＳＣは、平板または幕で構成されるスクリーンであってもよいし、建物の壁面であってもよい。被投写物ＳＣにおいて画像光Ｌが投写される表面は、平坦な面に限定されず、曲面であってもよいし、凹凸を有する面であってもよい。また、被投写物ＳＣにおいて画像光Ｌが投写される面は、連続しない複数の面を含んでもよい。被投写物ＳＣの表面は、本開示における対象領域の一例である。

検出装置１は、被投写物ＳＣを撮像し、撮像画像を表示する機能を有する。検出装置１の具体的な態様は制限されない。検出装置１は、例えば、スマートフォン、タブレット型コンピューター、ノート型コンピューターであってもよい。検出装置１は、デジタルカメラであってもよい。

［１－２．検出装置の構成］
検出装置１は、処理装置１０、第１記憶装置２０、タッチパネル３０、撮像装置４０、及び、第１通信装置５０を備える。

処理装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーを含んで構成される。処理装置１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。

処理装置１０は、プログラムＰＧを第１記憶装置２０から読み出して実行し、検出装置１の各部を制御する。処理装置１０は、プログラムＰＧを実行することによって、ソフトウェアとハードウェアとの協働により、入力受付部１１、画像取得部１２、表示制御部１３、抽出部１４、補正部１５及び計測部１６を構成する。

第１記憶装置２０は、プログラムやデータを処理装置１０によって読み取り可能に記憶する。第１記憶装置２０は、プログラムやデータを不揮発的に記憶する不揮発性メモリーを備える。第１記憶装置２０の不揮発性メモリーは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、或いは、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリーで構成される。第１記憶装置２０は、プログラムやデータを一時的に記憶する揮発性メモリーを備えてもよい。揮発性メモリーは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

第１記憶装置２０は、処理装置１０によって実行されるプログラムＰＧが記憶される。第１記憶装置２０の揮発性メモリーはプログラムＰＧを実行する際のワークエリアとして処理装置１０によって利用される。プログラムＰＧは、アプリケーションプログラム、アプリケーションソフトウェア、或いは、アプリと称される。

第１実施形態において、第１記憶装置２０は、ガイド画像データＧＤ、及び、パターン画像データＰＤを記憶する。これらについては後に詳述する。

検出装置１は、例えば、第１通信装置５０によって不図示のサーバー等からプログラムＰＧ、ガイド画像データＧＤ、パターン画像データＰＤを取得し、第１記憶装置２０に記憶してもよい。また、検出装置１は、プログラムＰＧ、ガイド画像データＧＤ、パターン画像データＰＤを、第１記憶装置２０に予め記憶していてもよい。

タッチパネル３０は、処理装置１０の制御に従って各種画像や文字を表示する不図示の表示パネルを備える。タッチパネル３０の表示パネルには、ユーザーの手指等によるタッチ操作を検出する不図示のタッチセンサーを有する。タッチセンサーは、静電容量式センサー、感圧式センサー等で構成される。タッチセンサーは、表示パネルに重畳して配置されている。タッチパネル３０は、タッチ操作により入力を検出する入力部、及び、表示パネルに表示を行う表示部として機能する。

撮像装置４０は、レンズ群等で構成される光学系と、撮像素子とを有するデジタルカメラである。撮像装置４０は、処理装置１０の制御に従って撮像を実行し、撮像素子から読み出した信号をもとに生成した撮像画像のデータを、処理装置１０に出力する。撮像装置４０は、撮像部の一例に対応する。

第１通信装置５０は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等による無線データ通信を行う無線通信モジュール、または、ケーブルを通じて有線データ通信を実行する有線通信モジュールである。無線通信モジュールは、例えば、アンテナ、ＲＦ回路、ベースバンド回路等を備える。有線通信モジュールは、ケーブルが接続されるコネクター、及び、コネクターを介して送受信する信号を処理するインターフェース回路を備える。
第１通信装置５０は、処理装置１０の制御に従って、プロジェクター２と通信を実行する。

処理装置１０が有する入力受付部１１は、タッチパネル３０に対する操作を検出することにより、ユーザーによる入力を受け付ける。
画像取得部１２は、撮像装置４０から撮像画像を取得する。画像取得部１２は、撮像装置４０がオンとなっている間に、撮像装置４０の撮像画像を所定時間毎に取得する。画像取得部１２は、ユーザーが撮像を指示する操作である、いわゆるシャッター操作を行っていない間も、所定時間毎に撮像装置４０から撮像画像を取得する。この撮像画像を、以下ではカメラ画像と呼ぶ。カメラ画像は第１画像の一例に対応する。

画像取得部１２は、入力受付部１１によりシャッター操作を受け付けた場合に、撮像装置４０から撮像画像を取得する。画像取得部１２がシャッター操作を契機として取得する撮像画像を、以下ではシャッター画像と呼ぶ。

表示制御部１３は、処理装置１０の制御に従って、タッチパネル３０の表示パネルに画像を表示させる。また、表示制御部１３は、第１通信装置５０によってプロジェクター２に画像データを送信する。表示制御部１３は、制御部の一例に対応する。

抽出部１４は、撮像装置４０によってマーカーＭが配置された被投写物ＳＣを撮像した撮像画像から、マーカーＭを抽出する処理を行う。
補正部１５、及び、計測部１６は、撮像装置４０によってマーカーＭが配置された被投写物ＳＣを撮像した撮像画像に基づき、補正処理および計測処理を実行する。
抽出部１４、補正部１５、及び、計測部１６の機能については後に詳述する。

［１－３．プロジェクターの構成］
プロジェクター２は、制御装置２１、第２記憶装置２２、第２通信装置２３、及び、投写部２４を備える。制御装置２１は、ＣＰＵ等のプロセッサーを備え、プログラムを実行する。制御装置２１は、第２記憶装置２２が記憶する不図示の基本制御プログラムを実行することにより、プロジェクター２の各部を制御する。

第２記憶装置２２は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー等で構成される不揮発性メモリーを有し、この不揮発性メモリーにプログラムやデータを記憶する。第２記憶装置２２は、ＲＡＭ等の揮発性メモリーを備え、プログラムやデータを一時的に記憶してもよい。

第２通信装置２３は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等による無線データ通信を行う無線通信モジュール、または、ケーブルを通じて有線データ通信を実行する有線通信モジュールである。無線通信モジュールは、例えば、アンテナ、ＲＦ回路、ベースバンド回路等を備える。有線通信モジュールは、ケーブルが接続されるコネクター、及び、コネクターを介して送受信する信号を処理するインターフェース回路を備える。第２通信装置２３は、検出装置１が備える第１通信装置５０との間で通信を実行する。

投写部２４は、光源と、光源が発する光を変調して画像光Ｌを生成する光変調装置と、画像光Ｌを投写する光学系とを有する。光源は、例えば、ランプや固体光源である。固体光源は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザー光源等である。光変調装置は、透過型液晶パネルを用いて光を変調する構成、反射型液晶パネルを用いて光を変調する構成、或いは、デジタルミラーデバイスを用いて光を変調する構成を有する。投写部２４は、制御装置２１の制御に従って、画像光Ｌを被投写物ＳＣに投写する。すなわち、制御装置２１は、投写部２４を制御することによって投写画像Ｐを表示する。

制御装置２１は、投写部２４により、第２記憶装置２２が記憶する画像データに基づく投写画像Ｐを表示する。また、制御装置２１は、第２通信装置２３によって検出装置１から受信した画像データを、第２記憶装置２２に記憶させ、この画像データに基づく投写画像Ｐを表示する。

［１－４．マーカーに関する処理］
図１に示すように、被投写物ＳＣには複数のマーカーＭが配置される。図１には、４つのマーカーＭ１、Ｍ２、Ｍ３、Ｍ４が被投写物ＳＣに配置される例を示す。マーカーＭ１、Ｍ２、Ｍ３、Ｍ４を区別しない場合、これらを総称してマーカーＭと記載する。

マーカーＭが配置されることは、マーカーＭが、検出装置１によって撮像可能な状態で被投写物ＳＣの表面に現れていることをいう。マーカーＭの具体的な構成は限定されない。マーカーＭは、投写画像Ｐに含まれてもよい。また、マーカーＭは、被投写物ＳＣの表面に貼り付ける等して設置された物体であってもよい。マーカーＭは、被投写物ＳＣの表面に描かれていてもよい。マーカーＭは、プロジェクター２とは異なる投写装置によって被投写物ＳＣに投写された投写画像であってもよい。マーカーＭが配置されるとは、上記の全てを含む。

第１実施形態、及び、後述する第２実施形態において、マーカーＭは、プロジェクター２の投写画像Ｐに含まれる。後述する第３実施形態および第４実施形態において、マーカーＭは、被投写物ＳＣに設置される物体である。

画像表示システム５は、複数のマーカーＭが配置された対象領域を検出装置１によって撮像し、撮像画像におけるマーカーＭを検出装置１によって検出し、撮像画像におけるマーカーＭの座標を検出装置１によって特定する。そして、検出装置１は、マーカーＭの座標に基づいて、被投写物ＳＣの立体形状を検出する。画像表示システム５は、検出装置１の検出結果に基づいて、被投写物ＳＣの形状に対応するようにプロジェクター２の投写画像を変形させる。これにより、被投写物ＳＣに貼り付くように投写画像Ｐを投写することが可能になる。

ユーザーは、検出装置１を操作して、撮像装置４０の撮影範囲、すなわち画角に複数のマーカーＭが含まれるように撮像する。撮像装置４０が撮影した撮像画像には、複数のマーカーＭの画像が含まれる。

本実施形態において、プロジェクター２は、複数の計測パターンを、順次投写する。検出装置１は、プロジェクター２が被投写物ＳＣに投写する計測パターンのそれぞれを撮像する。

計測パターンは、空間コード化法や位相シフト化法で生成された構造化パターンである。本実施形態では、計測パターンの一例としてバイナリーコードパターンを示す。バイナリーコードパターンとは、バイナリーコードを使って座標を表現するための画像のことをいう。バイナリーコードとは、任意の数値を２進数で表現した場合の各桁の値をスイッチのオン／オフによって表現する技法である。計測パターンとしてバイナリーコードパターンを用いる場合、プロジェクター２により投写される画像が上記のスイッチに相当し、座標値を表す２進数の桁数分の画像が必要となる。

座標は、例えば、撮像画像における水平方向に伸びるＸ軸に沿ったＸ座標、及び、Ｘ軸と直交するＹ軸に沿ったＹ座標である。計測パターンは、Ｘ座標とＹ座標とで夫々別個の画像を必要とする。例えば、プロジェクター２の解像度が１２０×９０ピクセルである場合、１２０及び９０は夫々７桁の２進数で表現されるため、Ｘ座標を表現するために７枚の画像が必要となり、Ｙ座標を表現するために７枚の画像が必要となる。

バイナリーコードパターンを利用する場合、外乱光の影響を抑え、計測のロバスト性を向上させるために相補パターンを併用することができる。相補パターンとは、白黒を反転した画像のことをいう。例えば、１を白で表し、０を黒で表すバイナリーコードパターンをポジティブパターンと呼び、これを反転させた相補パターンをネガティブパターンと呼ぶ。計測パターンの一例として、解像度情報の示す解像度が１２０×９０ピクセルである場合、１４枚のポジティブパターン、および、１４枚のネガティブパターンを含む２８枚の計測パターンがプロジェクター２によって投写される。
計測パターンに含まれるマーカーＭは、ドットパターン、矩形パターン、多角形パターン、チェッカーパターン、グレイコードパターン、位相シフトパターン、又はランダムドットパターン等であってもよい。

マーカーＭは、計測パターンにおける位置合わせのために配置される。例えば、図１に示すように、計測パターンの４隅に位置合わせ用の特徴点の抽出元となるマーカーＭが配置される。本実施形態では、検出装置１が、１つのマーカーＭから１つの特徴点を抽出する例を示す。検出装置１は、１つのマーカーから複数の特徴点を抽出してもよい。また、本実施形態では、１つの計測パターンに４つのマーカーＭが配置されるが、１つの計測パターンに配置されるマーカーＭは２以上であればよく、３個であってもよいし、５個以上であってもよい。少なくとも２つのマーカーＭが計測パターンに配置されていれば、画像の拡大、縮小、及び平行移動が可能となる。また、３つのマーカーＭが計測パターンに配置されていれば、アフィン変換が可能となり、４つ以上のマーカーＭが計測パターンに配置されていれば、射影変換ができ、計測パターン同士の位置合わせが可能になる。

また、本実施形態では、図１に示すように四角形のマーカーＭが用いられるが、マーカーＭの形状は円形又は三角形等の任意の形状であってもよい。また、本実施形態では、マーカーＭが計測パターンの４隅に配置されるが、計測パターンの外側でもよい。計測パターンにおいてマーカーＭが配置されている部分については、計測パターンの読み取りができず、投写位置の計測を行えない。従って、計測に影響が生じないように、マーカーＭは、計測パターンの外周付近または計測パターンの外側に配置されることが好ましい。より好ましい一例として、本実施形態では計測パターンの４隅にマーカーＭが配置された例を示す。被投写物ＳＣに４つのマーカーＭが配置されている場合、検出装置１のユーザーは、４つのマーカーＭの全てが撮像されるように、検出装置１の位置および方向を調整する。

検出装置１は、画像取得部１２によって撮像装置４０の撮像画像を取得する。画像取得部１２は、複数の計測パターンが被投写物ＳＣに配置される間に、それぞれの計測パターンを撮像装置４０が撮像した撮像画像を取得する。画像取得部１２が取得した複数の撮像画像を利用して、抽出部１４、補正部１５、及び計測部１６が処理を実行する。

抽出部１４は、抽出処理を実行する。抽出処理において、抽出部１４は、複数の撮像画像のうちの１つを基準画像とし、基準画像と他の撮像画像との位置合わせの際の基準となる基準特徴点を、基準画像におけるマーカーから抽出する。抽出部１４は、複数の撮像画像のうち基準画像以外の撮像画像の各々を処理対象画像とする。抽出部１４は、処理対象画像に含まれるマーカーＭの画像から、基準特徴点に対応する特徴点を抽出する。本実施形態では、１つの計測パターンに４つのマーカーが含まれる。抽出部１４は、１つのマーカーから１つの特徴点を抽出するので、１つの撮像画像から４つの特徴点を抽出する。

複数の撮像画像から基準画像を選択する方法については種々の態様が考えられる。例えば、撮影順序をもとに基準画像を選択する方法が挙げられる。具体的には、複数の撮像画像のうち、最初に撮像された画像又は最後に撮像された画像を基準画像とする。
また、抽出部１４は、撮像画像から４隅の特徴点を抽出し、特徴点の位置の平均値又は中央値等の統計量を算出し、算出した統計量に最も近い位置に特徴点がある画像を基準画像としてもよい。また、抽出部１４は、複数の撮像画像をユーザーに提示し、基準画像をユーザーに選択させてもよい。

補正部１５は、補正処理を実行する。補正処理において、補正部１５は、処理対象画像を、処理対象画像から抽出された４つの特徴点の各々の位置と基準画像から抽出された４つの基準特徴点の各々の位置とが一致するように変形する。補正部１５は、補正処理において、複数の処理対象画像のそれぞれに対し、変形させる処理を行う。ここで、特徴点の位置と基準特徴点の位置とが一致するとは、両者の座標が完全に一致すること、又は両者の座標の差異が予め定められた誤差の範囲に収まることをいう。処理対象画像の変形の具体的な方法としては、拡大、縮小、平行移動又はアフィン変換等が挙げられる。

例えば、被投写物ＳＣの撮像画像として３つの撮像画像が撮像装置４０により撮像される場合、抽出部１４は、基準画像から抽出される基準特徴点に対応する第１特徴点を、２つの処理対象画像のうちの一方である第１撮像画像から抽出する。また、抽出部１４は、２つの処理対象画像のうちの他方、即ち第１撮像画像とは異なる第２撮像画像から基準特徴点に対応する第２特徴点を抽出する。そして、補正部１５は、基準特徴点の位置と第１特徴点の位置とが一致するように第１撮像画像を変形し、基準特徴点の位置と第２特徴点の位置とが一致するように第２撮像画像を変形する。

計測部１６は、計測処理を行う。計測処理において、計測部１６は、補正部１５によって変形された複数の処理対象画像と基準画像のうちの少なくとも２つから投写位置を計測する。本実施形態のように計測パターンとしてバイナリーコードパターンを用いる場合、計測部１６は、補正部１５によって変形された全ての処理対象画像と基準画像とを用いて投写位置を計測してもよい。計測部１６は、基準画像がポジティブパターンの撮像画像である場合、ポジティブパターンの処理対象画像のみを用いて投写位置を計測してもよい。同様に、基準画像がネガティブパターンの撮像画像である場合、計測部１６は、ネガティブパターンの処理対象画像のみを用いて投写位置を計測してもよい。

本実施形態では、プロジェクター２によって計測パターンを表示するためにパターン画像データＰＤを、検出装置１が第１記憶装置２０に記憶している。検出装置１の表示制御部１３は、プロジェクター２にパターン画像データＰＤを送信する。プロジェクター２によって、パターン画像データＰＤに基づいて画像光Ｌを投写することにより、被投写物ＳＣには計測パターンの投写画像Ｐが現れる。複数のマーカーＭを含む計測パターンの投写画像Ｐは、第３画像の一例に対応する。

パターン画像データＰＤは、プロジェクター２の投写部２４が表示する画像の表示解像度に対応するデータであることが好ましい。このため、表示制御部１３は、第１通信装置５０によってプロジェクター２と通信を実行し、投写部２４の解像度を示す解像度情報を受信してもよい。この場合、表示制御部１３は、プロジェクター２から受信した解像度情報に対応するパターン画像データＰＤを、第１記憶装置２０が記憶する複数のパターン画像データＰＤから選択して、プロジェクター２に送信する。

検出装置１は、ユーザーが、被投写物ＳＣに配置されたマーカーＭを撮影する操作を支援するため、撮影の際に、タッチパネル３０にガイド画像を表示させる。この処理は、表示制御部１３が実行する。

図２は、ガイド画像の表示例を示す図である。
図２に示すように、検出装置１の本体にはタッチパネル３０が配置される。検出装置１は、検出装置１の撮像装置４０がオンになっている間、撮像装置４０からカメラ画像を取得して、タッチパネル３０に表示する。図２に示す例では、４つのマーカーＭ１、Ｍ２、Ｍ３、Ｍ４を含むカメラ画像がタッチパネル３０に表示されている。

表示制御部１３は、画像取得部１２が取得したカメラ画像の全体をタッチパネル３０に表示させる。補正部１５による補正処理、及び、計測部１６による計測処理を実行するためには、検出装置１が、計測パターンに含まれる複数のマーカーＭを撮像することが望ましい。

表示制御部１３は、撮像装置４０のカメラ画像に重ねて、ガイド画像Ｇをタッチパネル３０に表示する。ガイド画像Ｇは、カメラ画像においてマーカーＭが配置されるべき位置を示す画像である。ガイド画像Ｇは、被投写物ＳＣに配置されるマーカーＭの数、および、複数のマーカーＭの位置関係のうち、少なくともいずれかに対応する画像である。ガイド画像Ｇは、第２画像の一例に対応する。

本実施形態では被投写物ＳＣに４つのマーカーＭが配置される。４つのマーカーＭは、水平方向および垂直方向に２つずつ並んで配置される。詳細には、マーカーＭ１とマーカーＭ２が水平方向に並び、マーカーＭ３とマーカーＭ４が水平方向に並ぶ。また、マーカーＭ１とマーカーＭ３は垂直方向に並び、マーカーＭ２とマーカーＭ４が垂直方向に並ぶ。４つのマーカーＭ１、Ｍ２、Ｍ３、Ｍ４は、矩形の頂点を形成するように配置されている。ガイド画像Ｇは、これら４つのマーカーＭ１、Ｍ２、Ｍ３、Ｍ４の位置関係に対応する。

図２に示すガイド画像Ｇは、検出装置１のカメラ画像を４つの領域に区切る画像である。本実施形態では、ガイド画像Ｇが線分で構成される例を示す。ガイド画像Ｇにより区切られる領域のうちの１つは、第１画像領域の一例に対応し、ガイド画像Ｇにより区切られる領域のうちの他の１つは、第２画像領域の一例に対応する。第１画像領域は、被投写物ＳＣに配置される複数のマーカーＭのいずれかに対応付けられる。また、第２画像領域は、第１画像領域に対応付けられたマーカーＭとは異なるいずれかのマーカーＭに対応付けられる。カメラ画像を４つの領域に区切る線分で構成されるガイド画像Ｇは、複数の画像領域の境界を示す画像の一例に対応する。

表示制御部１３は、第１記憶装置２０が記憶するガイド画像データＧＤに基づいて、ガイド画像Ｇを表示する。ガイド画像データＧＤは、画像取得部１２が取得するカメラ画像の解像度および形状に対応するガイド画像Ｇを表示するためのデータである。ガイド画像データＧＤはガイド画像Ｇの画像データであってもよいし、演算処理等によりガイド画像Ｇを生成するためのパラメーター、演算式、プログラム等を含むデータであってもよい。

図３は、ガイド画像Ｇの別の表示例を示す図である。
図３に示すガイド画像Ｇは、複数の矩形を含む。ガイド画像Ｇは、被投写物ＳＣに配置されるマーカーＭと同数の矩形を含む。ガイド画像Ｇに含まれる複数の矩形の位置関係は、被投写物ＳＣに配置される複数のマーカーＭの位置関係に対応する。複数の矩形を含むガイド画像Ｇは、複数の画像領域の境界を示す画像の一例に対応する。

線分で構成されるガイド画像Ｇは、ガイド画像Ｇの第１様態ということができ、矩形で構成されるガイド画像Ｇは、ガイド画像Ｇの第２様態ということができる。検出装置１は、第１様態のガイド画像Ｇを表示する第１モード、及び、第２様態のガイド画像Ｇを表示する第２モードのいずれかを実行する。また、検出装置１は、第１モードと第２モードを切り替えて実行可能な構成であってもよい。この場合、検出装置１は、第１記憶装置２０に、第１様態のガイド画像Ｇを表示するためのガイド画像データＧＤ、及び、第２様態のガイド画像Ｇを表示するためのガイド画像データＧＤを記憶する。また、検出装置１は、第１様態および第２様態とは異なる様態のガイド画像Ｇを表示してもよい。例えば、マーカーＭが位置すべき領域を円で示す第３様態のガイド画像Ｇを表示してもよい。

ガイド画像Ｇは、ユーザーに対し、ガイド画像Ｇにより区切られる各領域に、１つのマーカーＭが含まれるように撮像を行うことを案内する。ユーザーがガイド画像Ｇに従って検出装置１の位置や方向を調整することにより、４つのマーカーＭが四隅に位置する画像を得ることができる。つまり、ユーザーは、ガイド画像Ｇで区切られる領域にマーカーＭが収まるように、撮像を行う。抽出部１４は、ガイド画像Ｇで区切られる各領域に１つのマーカーＭが含まれることを前提に、撮像装置４０の撮像画像からマーカーＭを検出する。具体的には、抽出部１４は、撮像画像からガイド画像Ｇで区切られる１つの領域を抽出し、抽出した領域に含まれる画素の値に基づいて、マーカーＭの位置を検出する。この処理を、ガイド画像Ｇで区切られる複数の領域に対して実行することで、抽出部１４は、第１画像領域から１つのマーカーＭを検出し、第２画像領域から１つのマーカーＭを検出する。この処理は、撮像画像の全体から複数のマーカーＭを検出する処理に比べて、対象とする画素数が少ないことから、負荷が軽い処理である。従って、抽出部１４は、高速に、かつ高精度で、マーカーＭを検出できる。

マーカーＭの位置関係とは、被投写物ＳＣに配置される複数のマーカーＭのうち、いずれか２つ、或いはそれ以上のマーカーＭの相対的な位置関係をいう。被投写物ＳＣの形状が未知である場合はマーカーＭの位置関係を正確に特定できないので、投写画像Ｐが被投写物ＳＣに投写された場合に推定されるマーカーＭの位置関係であってもよい。

或いは、マーカーＭの位置関係とは、パターン画像データＰＤに基づいて投写部２４が形成する画像における複数のマーカーＭの位置関係である。投写部２４の光変調装置は、パターン画像データＰＤに基づいて、複数のマーカーＭを含む画像を形成し、形成した画像を用いて画像光Ｌを生成する。この場合、マーカーＭの位置関係は、投写部２４がパターン画像データＰＤに基づき形成する画像に含まれる複数のマーカーＭのうち、いずれか２つ、或いはそれ以上のマーカーＭの相対的な位置関係をいう。パターン画像データＰＤが、計測パターンの画像データそのものである場合、マーカーＭの位置関係とは、パターン画像データＰＤにおけるマーカーＭの位置関係であってもよい。

［１－５．投写システムの動作］
図４は、画像表示システム５の動作を示すフローチャートである。図４、及び、以下に説明する図５に示す動作において、検出装置１は、プログラムＰＧに従って動作する。

画像表示システム５は、検出装置１およびプロジェクター２によって撮像処理を実行する（ステップＳ１）。撮像処理で、プロジェクター２は、マーカーＭを含む計測パターンの投写画像Ｐを表示し、検出装置１は被投写物ＳＣを撮像する。

検出装置１は、抽出処理を実行する（ステップＳ２）。抽出処理において、処理装置１０は抽出部１４として機能する。抽出部１４は、撮像装置４０により撮像された複数のシャッター画像から選択された基準画像から基準特徴点を抽出し、基準画像以外のシャッター画像である処理対象画像から基準特徴点に対応する特徴点を抽出する。

検出装置１は、補正処理を実行する（ステップＳ３）。補正処理では、処理装置１０は、補正部１５として機能する。補正部１５は、処理対象画像を、処理対象画像から抽出した特徴点の位置と基準特徴点の位置とが一致するように変形する。

検出装置１は、計測処理を実行する（ステップＳ４）。計測処理では、処理装置１０は、計測部１６として機能する。計測部１６は、補正処理において変形された処理対象画像及び基準画像のうちの少なくとも２つの画像から投写位置を計測する。

図５は、画像表示システム５の動作を示すシーケンス図である。詳細には、図５は、図４の撮像処理および抽出処理における検出装置１とプロジェクター２の動作を示す。

検出装置１は、第１記憶装置２０が記憶するパターン画像データＰＤのうち、プロジェクター２によって表示させるパターン画像データＰＤを選択する（ステップＳ１１）。ステップＳ１１において、処理装置１０は表示制御部１３として機能する。表示制御部１３は、パターン画像データＰＤの中から、プロジェクター２の解像度に対応するパターン画像データＰＤを選択する。ステップＳ１１で、表示制御部１３は、指定された条件に対応するパターン画像データＰＤを選択してもよい。例えば、表示制御部１３は、タッチパネル３０に対する入力操作によって指定された数のマーカーＭを含む計測パターンを表示するためのパターン画像データＰＤを選択してもよい。

表示制御部１３は、第１記憶装置２０が記憶するガイド画像データＧＤのうち、ステップＳ１１で選択したパターン画像データＰＤに対応するガイド画像データＧＤを選択する（ステップＳ１２）。詳細には、表示制御部１３は、ステップＳ１１で選択したパターン画像データＰＤに含まれるマーカーＭの数、および、パターン画像データＰＤに基づいて被投写物ＳＣに表示されるマーカーＭの位置関係に対応するガイド画像Ｇを、選択する。

表示制御部１３は、ステップＳ１１で選択したパターン画像データＰＤを、第１通信装置５０によってプロジェクター２に送信する（ステップＳ１３）。
プロジェクター２は、検出装置１が送信するパターン画像データＰＤを第２通信装置２３によって受信する（ステップＳ３１）。プロジェクター２の制御装置２１は、受信したパターン画像データＰＤに基づいて投写部２４を制御し、投写画像Ｐに相当する画像光Ｌを被投写物ＳＣに投写する（ステップＳ３２）。

処理装置１０は、画像取得部１２として機能し、撮像装置４０をオンにして、撮像装置４０からカメラ画像を取得する（ステップＳ１４）。画像取得部１２が取得するカメラ画像は、撮像装置４０がオンになっていて、ユーザーがシャッター操作を行っていない間に撮像装置４０が出力する撮像画像である。

表示制御部１３は、画像取得部１２が取得したカメラ画像をタッチパネル３０に表示する（ステップＳ１５）。表示制御部１３は、ステップＳ１２で選択したガイド画像データＧＤに基づくガイド画像Ｇを、カメラ画像に重畳させて、タッチパネル３０に表示する（ステップＳ１６）。

ここで、処理装置１０は、ユーザーによるシャッター操作が行われたか否かを判定する（ステップＳ１７）。シャッター操作は、ユーザーがタッチパネル３０にタッチする操作や、検出装置１が備える不図示のボタンの操作である。
シャッター操作が行われていない場合（ステップＳ１７；ＮＯ）、処理装置１０は、ステップＳ１４に戻る。

シャッター操作が行われた場合（ステップＳ１７；ＹＥＳ）、処理装置１０は、画像取得部１２の機能により、撮像装置４０からシャッター画像を取得する（ステップＳ１８）。シャッター画像は、シャッター操作が行われたタイミングで撮像装置４０が生成する撮像画像である。シャッター画像は、カメラ画像と同じ撮像条件で撮像され、同じ解像度の画像であってもよい。また、撮像装置４０は、シャッター操作が行われたときに、カメラ画像を出力するときとは異なる撮像条件で撮像を行ってもよい。また、シャッター画像は、カメラ画像と異なる解像度の画像であってもよい。ここで、撮像条件とは、露出、ホワイトバランス、手ぶれ補正機能の有無、カラー撮影か白黒撮影か等をいう。

抽出部１４は、ステップＳ１８で取得したシャッター画像におけるガイド画像Ｇの位置を取得する（ステップＳ１９）。ステップＳ１９で、抽出部１４は、例えば、ステップＳ１２で選択したガイド画像データＧＤに基づいて、シャッター画像におけるガイド画像Ｇの位置を特定することにより、ガイド画像Ｇの位置を取得する。ガイド画像Ｇの位置とは、例えば、シャッター画像におけるガイド画像Ｇの座標である。詳細には、ガイド画像Ｇを構成する線分や矩形等の図形、または、ガイド画像Ｇで区切られる領域の頂点の座標である。

抽出部１４は、ステップＳ１９で取得したガイド画像Ｇの位置を基準として、シャッター画像を切り出す処理を行う（ステップＳ２０）。ステップＳ２０で、抽出部１４は、１つのマーカーＭに対応する第１画像領域と、他の１つのマーカーＭに対応する第２画像領域と、を含む複数の領域を切り出す。

抽出部１４は、シャッター画像から切り出した各領域の画像において、マーカーＭの画像を検出する（ステップＳ２１）。抽出部１４は、第１画像領域に含まれる画素の画素値を取得する。抽出部１４は、第１画像領域の画素値の平均値と各画素の画素値を比較する処理や、隣接する画素の画素値を比較する処理等により、マーカーＭの画像を構成する画素を特定する。抽出部１４は、マーカーＭの画像から特徴点を抽出し、特徴点の座標を求める。

さらに、抽出部１４は、求めた特徴点の座標を、特徴点を抽出した領域に対応するガイド画像Ｇの座標に相当する分だけオフセットさせる（ステップＳ２２）。オフセットとは、特徴点の座標を、ガイド画像Ｇの座標分だけ平行移動させる処理をいう。抽出部１４は、ステップＳ２１－Ｓ２２の処理を、ガイド画像Ｇに従って切り出した全ての領域について、領域毎に実行する。

［１－６．第１実施形態の作用］
本開示の表示方法は、タッチパネル３０と撮像装置４０とを備える検出装置１による表示方法である。本開示の表示方法は、複数のマーカーＭが配置される被投写物ＳＣを撮像装置４０によって撮像したカメラ画像を取得することと、タッチパネル３０にカメラ画像を表示することと、被投写物ＳＣに配置されるマーカーＭの数、または、複数のマーカーＭの位置関係に対応するガイドを含むガイド画像Ｇを、カメラ画像に重畳させてタッチパネル３０に表示することと、を含む。

本開示の検出装置１は、タッチパネル３０と、撮像装置４０と、複数のマーカーＭが配置される被投写物ＳＣを撮像装置４０によって撮像したカメラ画像を取得する画像取得部１２と、被投写物ＳＣに配置されるマーカーＭの数、または、複数のマーカーＭの位置関係に対応するガイドを含むガイド画像Ｇと、カメラ画像とを重畳させて、タッチパネル３０に表示させる表示制御部１３と、を備える。

本開示のプログラムＰＧは、タッチパネル３０と、撮像装置４０と、を備える検出装置１を制御するコンピューターである処理装置１０によって実行されるプログラムである。プログラムＰＧは、処理装置１０を、複数のマーカーＭが配置される被投写物ＳＣを撮像装置４０によって撮像したカメラ画像を取得する画像取得部１２と、被投写物ＳＣに配置されるマーカーＭの数、または、複数のマーカーＭの位置関係に対応するガイドを含むガイド画像Ｇと、カメラ画像とを重畳させて、タッチパネル３０に表示させる表示制御部１３と、して機能させる。

これにより、検出装置１を操作するユーザーは、被投写物ＳＣに配置されるマーカーＭを撮像する際に、ガイド画像Ｇを目安として撮像することができる。このため、被投写物ＳＣの計測に好適な画像を、容易に撮像することができる。

本開示の表示方法は、プロジェクター２によって複数のマーカーＭを含む投写画像Ｐを対象領域に表示する。これにより、プロジェクター２の機能により被投写物ＳＣに複数のマーカーＭを速やかに配置できる。

第１実施形態で説明した表示方法は、検出装置１が予め記憶するパターン画像データＰＤを検出装置１からプロジェクター２に送信することを含む。プロジェクター２は、投写画像Ｐを、検出装置１から送信されるパターン画像データＰＤに基づいて表示する。検出装置１は、ガイド画像Ｇを、検出装置１が予め記憶するガイド画像データＧＤに基づいて表示する。
これにより、プロジェクター２は、検出装置１から受信したデータに基づき投写画像Ｐを投写する機能を実行するだけで、マーカーＭを含む計測パターンを表示できる。従って、計測パターンを表示するための特定の機能をプロジェクター２に実装することなく、本開示の表示方法を実現できる。

本開示の表示方法は、検出装置１によって、カメラ画像に重畳させて第１様態のガイド画像Ｇを表示する第１モード、及び、第１様態とは異なる第２様態のガイド画像Ｇを表示する第２モードのいずれかを実行する。
これにより、被投写物ＳＣの計測に適した様態のガイド画像Ｇを表示できる。このため、ユーザーが検出装置１を用いてマーカーＭを撮像する場合の利便性を、より一層、高めることができる。

本開示の表示方法において、被投写物ＳＣに配置される複数のマーカーＭは、第１マーカー及び第２マーカーを含む。カメラ画像は、複数の画像領域を含み、これら複数の画像領域は第１画像領域および第２画像領域を含む。ガイド画像Ｇは複数の画像領域の境界を示す画像である。例えば、ガイド画像Ｇは線分である。第１画像領域は、被投写物ＳＣに配置される第１マーカーに対応づけられ、第２画像領域は第２マーカーに対応付けられる。これにより、シャッター画像からマーカーＭを検出する処理に適した撮像画像を、ユーザーに撮像させることができる。

第１実施形態で説明した表示方法において、ガイド画像Ｇは、カメラ画像を複数の画像領域に分割する線分である。これにより、ユーザーが、マーカーＭがガイド画像Ｇに合う位置になるように検出装置１の位置や方向を調整する操作を、より簡単にすることができる。

本開示の表示方法は、検出装置１によって、カメラ画像を構成する画素のうち第１画像領域に含まれる画素の値に基づいて第１マーカーの位置を検出し、第２画像領域に含まれる画素の値に基づいて第２マーカーの位置を検出すること、を含む。これにより、シャッター画像からマーカーＭの画像を検出する処理の負荷を軽くし、より高速に、高精度でマーカーＭを検出できる。

第１実施形態において、検出装置１がパターン画像データＰＤを記憶する構成を例に挙げて説明したが、パターン画像データＰＤを記憶する装置は検出装置１に限定されない。例えば、プロジェクター２が、第２記憶装置２２に、パターン画像データＰＤを記憶してもよい。この場合、表示制御部１３が、ステップＳ１３で、パターン画像データＰＤを指定するデータをプロジェクター２に送信し、制御装置２１が指定されたパターン画像データＰＤを第２記憶装置２２から読み出してもよい。

［２．第２実施形態］
図６は、第２実施形態の画像表示システム５の構成例を示す図である。
第２実施形態では、検出装置１が、第１記憶装置２０にガイド生成用データＧＧＤ、及び、パターン生成用データＰＧＤを記憶する。その他の構成は第１実施形態と共通である。以下の説明において、第１実施形態と共通の構成部には同符号を付して説明を省略する。

第１実施形態において、表示制御部１３は、予め第１記憶装置２０に記憶しているパターン画像データＰＤを選択し、選択したパターン画像データＰＤをプロジェクター２に送信する。また、表示制御部１３は、予め第１記憶装置２０に記憶しているガイド画像データＧＤから、選択したパターン画像データＰＤに対応するガイド画像データＧＤを選択して、ガイド画像Ｇを表示する。

本第２実施形態では、表示制御部１３は、第１記憶装置２０に記憶しているパターン生成用データＰＧＤを利用して、パターン画像データＰＤを生成し、プロジェクター２に送信する。また、表示制御部１３は、第１記憶装置２０に記憶しているガイド生成用データＧＧＤを利用して、ガイド画像データＧＤを生成し、ガイド画像Ｇをタッチパネル３０に表示させる。

パターン生成用データＰＧＤは、パターン画像データＰＤを生成するためのデータである。例えば、パターン生成用データＰＧＤは、マーカーＭの画像データ、及び、投写画像Ｐに含まれるマーカーＭの数および位置を指定するデータを含む。パターン生成用データＰＧＤは、マーカーＭの画像を生成するためのパラメーターや演算式を含んでもよい。
ガイド生成用データＧＧＤは、ガイド画像Ｇを表示するためのデータであり、例えば、マーカーＭの数及びマーカーＭの位置関係の少なくともいずれかを示すデータ、及び、ガイド画像Ｇの形状を示すデータを含む。

第２実施形態の検出装置１は、第１記憶装置２０に、予めパターン画像データＰＤ及びガイド画像データＧＤを記憶していてもよいが、記憶していなくてもよい。

図７は、第２実施形態における画像表示システム５の動作を示すシーケンス図である。図７に示す動作において、第１実施形態で図５に基づき説明した動作と共通する動作については、同ステップ番号を付して説明を省略する。

検出装置１の処理装置１０は、マーカー情報の入力を受け付ける（ステップＳ４１）。マーカー情報とは、被投写物ＳＣに配置するマーカーＭの数、および、複数のマーカーＭの位置関係のうち、少なくともいずれかを指定する情報である。マーカー情報は、例えば、ユーザーがタッチパネル３０に対するタッチ操作によって入力される。

表示制御部１３は、ステップＳ４２で入力を受け付けたマーカー情報に適合するパターン画像データＰＤを、パターン生成用データＰＧＤを利用して生成する（ステップＳ４２）。表示制御部１３は、ステップＳ４２で入力を受け付けたマーカー情報に適合するガイド画像データＧＤを、ガイド生成用データＧＧＤを利用して生成する（ステップＳ４３）。ステップＳ４３で生成されたガイド画像データＧＤは、第１記憶装置２０に一時的に記憶され、第１実施形態のガイド画像データＧＤと同様に利用される。
ステップＳ４３より後の動作は、第１実施形態と同様である。

このように、第２実施形態の表示方法は、検出装置１によって、ガイド画像Ｇを表示するためのガイド画像データＧＤを生成することと、投写画像Ｐを表示するためのパターン画像データＰＤを生成することと、パターン画像データＰＤを検出装置１からプロジェクター２に送信することと、を含む。本開示の表示方法において、プロジェクター２は、検出装置１から送信されるパターン画像データＰＤに基づいて投写画像Ｐを表示する。検出装置１は、ガイド画像Ｇを、検出装置１が生成したガイド画像データＧＤに基づいて表示する。
これにより、予め多数のパターン画像データＰＤを第１記憶装置２０に記憶していなくても、多様な投写画像Ｐを被投写物ＳＣに表示できる。従って、画像表示システム５が利用できるマーカーＭの数およびマーカーＭの位置関係に関する制約が少なくなるので、より高精度で、被投写物ＳＣの計測を行うことができる。

また、検出装置１は、マーカー情報の入力を受け付けて、入力されたマーカー情報に対応するパターン画像データＰＤおよびガイド画像データＧＤを生成する。このため、計測対象である被投写物ＳＣに適したマーカーＭを、被投写物ＳＣに配置し、撮像することができる。従って、より高精度で、被投写物ＳＣの計測を行うことができる。

第２実施形態において、マーカー情報として入力される内容が予め定められている場合、ステップＳ４１を省略してもよい。例えば、マーカーＭの数、および、マーカーＭの位置関係のいずれか１以上が事前に決められている場合、ステップＳ４１は省略される。この場合、ステップＳ４２、及び、ステップＳ４３では、予め決められたマーカーＭの数、および、マーカーＭの位置関係の少なくともいずれかに対応して、パターン画像データＰＤ及びガイド画像データＧＤが生成される。

［３．第３実施形態］
図８は、第３実施形態の画像表示システム５の構成例を示す図である。
上述したように、第３実施形態において、被投写物ＳＣに配置されるマーカーＭは、被投写物ＳＣの表面に貼り付ける等して設置された物体、或いは、被投写物ＳＣの表面に描かれたものである。以下ではこれを物理マーカーと呼ぶ。図８には、物理マーカーである４つのマーカーＭ１１、Ｍ１２、Ｍ１３、Ｍ１４が被投写物ＳＣに配置された例を示す。マーカーＭが物理マーカーである場合も、第１実施形態および第２実施形態と同様に、被投写物ＳＣに配置されるマーカーＭの数は２以上であればよい。

物理マーカーは、撮像装置４０の撮像画像に写る、被投写物ＳＣ上にある模様や突起などの特徴的な物体であってもよい。物理マーカーの形状は、円形、四角形、又は三角形等の任意の形状でよく、また、マーカーの配置位置は被投写物ＳＣに対して任意の位置であってよい。物理マーカーの固定方法は、任意の方法を採用することができ、粘着テープ、面ファスナー、磁石等であってもよい。

第３実施形態において、検出装置１は、第１記憶装置２０にガイド生成用データＧＧＤを記憶する。その他の構成は第１実施形態及び第２実施形態と共通である。以下の説明において、第１実施形態と共通の構成部には同符号を付して説明を省略する。

第３実施形態において、表示制御部１３は、被投写物ＳＣに設置された物理マーカーであるマーカーＭに対応するガイド画像データＧＤを生成し、ガイド画像Ｇをタッチパネル３０に表示させる。ガイド画像データＧＤを生成する処理には、第１記憶装置２０に記憶しているガイド生成用データＧＧＤが利用される。ガイド生成用データＧＧＤは、第２実施形態と同様である。

図９は、第３実施形態における画像表示システム５の動作を示すフローチャートである。図９に示す動作において、図５及び図７に基づき説明した動作と共通の動作については、同ステップ番号を付して説明を省略する。

検出装置１の処理装置１０は、マーカー情報の入力を受け付ける（ステップＳ５１）。マーカー情報とは、被投写物ＳＣに設置された物理マーカー、すなわちマーカーＭに関する情報である。具体的には、マーカーＭの数、および、複数のマーカーＭの位置関係のうち、少なくともいずれかを指定する情報である。マーカー情報は、例えば、ユーザーがタッチパネル３０に対するタッチ操作によって入力される。

表示制御部１３は、ステップＳ４２で入力を受け付けたマーカー情報に適合するガイド画像データＧＤを、ガイド生成用データＧＧＤを利用して生成する（ステップＳ５２）。ステップＳ５２で生成されたガイド画像データＧＤは、第１記憶装置２０に一時的に記憶され、第１実施形態のガイド画像データＧＤと同様に利用される。

ここで、被投写物ＳＣに配置される物理マーカーについて、マーカー情報として入力される内容が予め定められている場合、ステップＳ５１を省略してもよい。例えば、マーカーＭの数、および、マーカーＭの位置関係が事前に決められており、決められた通りにマーカーＭが配置されることを前提として検出装置１が動作する場合、ステップＳ５１は省略される。

第３実施形態の表示方法において、マーカーＭは、被投写物ＳＣに存在する実物体に設置または形成された物理マーカーである。検出装置１は、被投写物ＳＣに配置されるマーカーＭの数、または、複数のマーカーＭの位置関係に対応するガイドを含むガイド画像Ｇを、第１画像に重畳させてタッチパネル３０に表示する。
これにより、物理マーカーを利用して被投写物ＳＣの計測を行う場合に、ユーザーが検出装置１によってマーカーＭを撮像する操作を、ガイド画像Ｇによって支援する。このため、物理マーカーを利用する場合に、ユーザーが、計測に好適なシャッター画像を、容易に撮像できる。

上記表示方法は、検出装置１によって、被投写物ＳＣに配置される物理マーカーの数、または、複数の物理マーカーの位置関係に関する情報の入力を受け付けることと、入力された情報に基づいて、ガイド画像Ｇを表示するためのガイド画像データＧＤを生成することと、を含む。検出装置１は、生成したガイド画像データＧＤに基づいてガイド画像Ｇを表示する。これにより、検出装置１は、被投写物ＳＣに設置される物理マーカーの数や位置関係に対応するガイド画像Ｇを表示できる。このため、物理マーカーの設置に関する制約を緩和でき、より容易に被投写物ＳＣの計測を行える。

［４．第４実施形態］
図１０は、第４実施形態の画像表示システム５の構成例を示す図である。
第４実施形態で、被投写物ＳＣに配置されるマーカーＭは物理マーカーである。
また、第４実施形態において、検出装置１は、第１記憶装置２０にガイド画像データＧＤ、及び、通知データＮＤを記憶する。その他の構成は第１、第２及び第３実施形態と共通である。以下の説明において、第１実施形態と共通の構成部には同符号を付して説明を省略する。

第４実施形態において、表示制御部１３は、第１記憶装置２０に記憶したガイド画像データＧＤに従ってガイド画像Ｇをタッチパネル３０に表示する。

検出装置１は、ユーザーに、ガイド画像Ｇに対応する数のマーカーＭを、ガイド画像Ｇに対応する位置関係で被投写物ＳＣに配置させる。このため、検出装置１は、通知データＮＤに従って、ユーザーに対する通知を行う。ユーザーに対する通知は、例えば、表示制御部１３がタッチパネル３０に画像や文字を表示することで実現される。ユーザーに、ガイド画像Ｇに対応する数のマーカーＭを、ガイド画像Ｇに対応する位置関係で被投写物ＳＣに配置させる処理は、物理マーカーの数、または、複数の物理マーカーの位置関係を、ガイド画像データに対応させる処理の一例に対応する。すなわち、この処理は、ユーザーに対して、被投写物ＳＣに配置すべき物理マーカーＭの数または複数の物理マーカーの位置関係を知らせるよう働きかける処理であれば限定されない。ユーザーにマーカーＭの数または位置関係を通知する処理であってもよく、通知した通りにマーカーＭを配置するよう促す処理を含んでもよく、通知した通りにマーカーＭが配置されたことを確認する処理を含んでもよい。

図１１は、第４実施形態における画像表示システム５の動作を示すフローチャートである。図１１に示す動作において、図５、図７及び図９に基づき説明した動作と共通の動作については、同ステップ番号を付して説明を省略する。

処理装置１０は、表示制御部１３の機能により、通知データＮＤに従って通知を実行する（ステップＳ６１）。通知の内容は、被投写物ＳＣに設置すべきマーカーＭの数、および、マーカーＭの位置関係をユーザーに知らせる内容である。
処理装置１０は、設置が終了したことの入力があるまで待機し（ステップＳ６２）、設置終了が入力された場合に（ステップＳ６２；ＹＥＳ）、ステップＳ６３に移行する。ステップＳ６３で、処理装置１０は、第１記憶装置２０に記憶されたガイド画像データＧＤを選択し、ステップＳ１４以後の動作を実行する。

ここで、被投写物ＳＣに配置される物理マーカーＭの数、および、マーカーＭの位置関係が事前に決められており、決められた通りにマーカーＭが配置されることを前提として検出装置１が動作する場合、ステップＳ６１、Ｓ６２は省略される。

第４実施形態の表示方法において、マーカーＭは、被投写物ＳＣに存在する実物体に設置または形成された物理マーカーである。検出装置１は、ガイド画像Ｇを、検出装置１が予め記憶するガイド画像データＧＤに基づいて表示する。検出装置１は、被投写物ＳＣに配置される物理マーカーの数、または、複数の物理マーカーの位置関係をガイド画像データＧＤに対応させる処理を実行する。
これにより、物理マーカーを利用して、被投写物ＳＣの計測を行うことができる。

また、検出装置１は、物理マーカーの数、または、複数の物理マーカーの位置関係が、ガイド画像データＧＤに対応する状態となるように通知を行う。このため、ユーザーに、物理マーカーを適切な状態で設置させることができる。ユーザーは、検出装置１の通知に従って、マーカーＭを適切な位置に設置することができる。従って、物理マーカーを使用する場合のユーザーの負担を軽減できる。

ステップＳ６１における通知は、タッチパネル３０における表示に限定されない。検出装置１が音声出力機能を有する場合、音声により通知を行ってもよい。また、検出装置１がプロジェクター２に通知データＮＤに基づく画像データや音声データを送信して、プロジェクター２が通知を行ってもよい。

［５．他の実施形態］
上記実施形態は本発明を適用した一具体例を示すものであり、本発明はこれに限定されるものではない。

画像表示システム５では、プロジェクター２の投写画像Ｐに含まれるマーカーＭと、物理マーカーであるマーカーＭとを併用してもよい。
また、上記各実施形態では、表示装置の一例として、プロジェクター２を例示した。表示装置はプロジェクター２に限定されず、液晶表示パネルに画像を表示する液晶ディスプレイであってもよい。また、プラズマディスプレイパネル、或いは、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルに画像を表示する表示装置であってもよい。この場合、液晶表示パネル、プラズマディスプレイパネル、或いは、有機ＥＬパネルは表示部の一例に対応する。

また、画像表示システム５のブロック図に示した各機能部は、機能的構成を示すものであって、具体的な実装形態を制限しない。例えば、検出装置１において、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記各実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、画像表示システム５の他の各部の具体的な細部構成についても、趣旨を逸脱しない範囲で任意に変更可能である。

１…検出装置、２…プロジェクター（表示装置）、３…ネットワーク、４…画像供給装置、５…画像表示システム、１０…処理装置、１１…入力受付部、１２…画像取得部、１３…表示制御部（制御部）、１４…抽出部、１５…補正部、１６…計測部、２０…第１記憶装置、２１…制御装置、２２…第２記憶装置、２３…第２通信装置、２４…投写部、３０…タッチパネル（表示部）、４０…撮像装置（撮像部）、５０…第１通信装置、Ｇ…ガイド画像（第２画像）、ＧＤ…ガイド画像データ、ＧＧＤ…ガイド生成用データ、Ｍ、Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４…マーカー、ＮＤ…通知データ、Ｐ…投写画像（第３画像）、ＰＤ…パターン画像データ、ＰＧ…プログラム、ＰＧＤ…パターン生成用データ、ＳＣ…被投写物（対象領域）。

Claims (10)

1. 表示部と撮像部とを備える検出装置による表示方法であって、
   複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得することと、
   前記表示部に前記第１画像を表示することと、
   前記対象領域に配置される前記マーカーであって前記対象領域に存在する実物体に設置または形成された物理マーカーの数、または、複数の前記物理マーカーの位置関係に対応するガイドを含む第２画像を、前記第１画像に重畳させて前記表示部に表示することと、
   を含み、
   さらに、
   前記検出装置によって、前記対象領域に配置される前記物理マーカーの数、または、複数の前記物理マーカーの位置関係に関する情報の入力を受け付けることと、
   入力された情報に基づいて、前記第２画像を表示するためのガイド画像データを生成することと、を含み、
   前記検出装置は、生成した前記ガイド画像データに基づいて前記第２画像を表示する、表示方法。
2. 表示部と撮像部とを備える検出装置による表示方法であって、
   複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得することと、
   前記表示部に前記第１画像を表示することと、
   前記対象領域に配置される前記マーカーであって前記対象領域に存在する実物体に設置または形成された物理マーカーの数、または、複数の前記物理マーカーの位置関係に対応するガイドを含む第２画像を、前記第１画像に重畳させて前記表示部に表示することと、
   を含み、
   前記検出装置は、前記第２画像を、前記検出装置が予め記憶するガイド画像データに基づいて表示し、
   前記対象領域に配置される前記物理マーカーの数、または、複数の前記物理マーカーの位置関係を、前記ガイド画像データに対応させる処理を実行する、表示方法。
3. 前記検出装置によって、前記第１画像に重畳させて第１様態の前記第２画像を表示する第１モード、及び、前記第１様態とは異なる第２様態の前記第２画像を表示する第２モードのいずれかを実行する、請求項１または２に記載の表示方法。
4. 前記対象領域に配置される前記複数の前記マーカーは、第１マーカー及び第２マーカーを含み、
   前記第１画像は、複数の画像領域を含み、
   複数の前記画像領域は、第１画像領域および第２画像領域を含み、
   前記第２画像は、複数の前記画像領域の境界を示す画像であり、
   前記第１画像領域は、前記対象領域に配置される前記第１マーカーに対応づけられ、前記第２画像領域は前記第２マーカーに対応付けられる、請求項１から３のいずれか１項に記載の表示方法。
5. 前記境界を示す画像は、前記第１画像を複数の前記画像領域に分割する線分である、請求項４記載の表示方法。
6. 前記検出装置によって、前記第１画像を構成する画素のうち前記第１画像領域に含まれる画素の値に基づいて前記第１マーカーの位置を検出し、前記第２画像領域に含まれる画素の値に基づいて前記第２マーカーの位置を検出すること、を含む、請求項４または５記載の表示方法。
7. 表示部と、
   撮像部と、
   複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得する画像取得部と、
   前記対象領域に配置される前記マーカーであって前記対象領域に存在する実物体に設置または形成された物理マーカーの数、または、複数の前記物理マーカーの位置関係に対応するガイドを含む第２画像と、前記第１画像とを重畳させて、前記表示部に表示させる制御部と、
   を備え、
   前記制御部は、前記対象領域に配置される前記物理マーカーの数、または、複数の前記物理マーカーの位置関係に関する情報の入力を受け付け、入力された情報に基づいて、前記第２画像を表示するためのガイド画像データを生成し、生成した前記ガイド画像データに基づいて前記第２画像を前記表示部に表示させる、検出装置。
8. 表示部と、
   撮像部と、
   複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得する画像取得部と、
   前記対象領域に配置される前記マーカーであって前記対象領域に存在する実物体に設置または形成された物理マーカーの数、または、複数の前記物理マーカーの位置関係に対応するガイドを含む第２画像と、前記第１画像とを重畳させて、前記表示部に表示させる制御部と、
   を備え、
   前記制御部は、前記第２画像を、予め記憶するガイド画像データに基づいて前記表示部に表示させ、前記対象領域に配置される前記物理マーカーの数、または、複数の前記物理マーカーの位置関係を、前記ガイド画像データに対応させる処理を実行する、検出装置。
9. 表示部と、撮像部と、を備える検出装置を制御するコンピューターにより実行されるプログラムであって、
   前記コンピューターを、
   複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得する画像取得部と、
   前記対象領域に配置される前記マーカーであって前記対象領域に存在する実物体に設置または形成された物理マーカーの数、または、複数の前記物理マーカーの位置関係に対応するガイドを含む第２画像と、前記第１画像とを重畳させて、前記表示部に表示させる制御部と、して機能させ、
   前記制御部は、前記対象領域に配置される前記物理マーカーの数、または、複数の前記物理マーカーの位置関係に関する情報の入力を受け付け、入力された情報に基づいて、前記第２画像を表示するためのガイド画像データを生成し、生成した前記ガイド画像データに基づいて前記第２画像を前記表示部に表示させる、プログラム。
10. 表示部と、撮像部と、を備える検出装置を制御するコンピューターにより実行されるプログラムであって、
    前記コンピューターを、
    複数のマーカーが配置される対象領域を、前記撮像部によって撮像した第１画像を取得する画像取得部と、
    前記対象領域に配置される前記マーカーであって前記対象領域に存在する実物体に設置または形成された物理マーカーの数、または、複数の前記物理マーカーの位置関係に対応するガイドを含む第２画像と、前記第１画像とを重畳させて、前記表示部に表示させる制御部と、して機能させ、
    前記制御部は、前記第２画像を、前記検出装置が予め記憶するガイド画像データに基づいて前記表示部に表示させ、前記対象領域に配置される前記物理マーカーの数、または、複数の前記物理マーカーの位置関係を、前記ガイド画像データに対応させる処理を実行する、プログラム。
    

Images