JP7163947B2 - 投写領域の設定支援方法、設定支援システム、及びプログラム - Google Patents

Description

本開示は、投写領域の設定支援方法、設定支援システム、及びプログラム、に関する。

プロジェクターから投写画像を投写される平面スクリーンがプロジェクターに正対していない場合、ユーザーには投写画像が歪んで見える。平面スクリーンに対してプロジェクターが正対していない場合の投写画像の歪みを補正する技術が種々提案されている。補正技術の一例としては特許文献１に開示の技術が挙げられる。特許文献１には、キャリブレーション画像を用いて歪みを補正する技術が開示されている。キャリブレーション画像は、長方形を示す１つのパターン画像と、上下左右斜めの位置に中央に向かって幅が小さくなる台形を示す８つのパターン画像と、を含む。特許文献１に開示の技術では、実際に平面スクリーンに投写されたキャリブレーション画像に含まれるパターン画像の中から、長方形に見える、すなわち歪みが補正されて見えるパターン画像をユーザーに選択させる。特許文献１に開示の技術では、ユーザーの選択したパターン画像に応じて投写画像を補正することで、投写画像の歪みの補正が実現される。

特開２００８-９２０１１号公報

プロジェクションマッピングのように、三次元形状を有する被投写物が投写画像の投写先である場合、特許文献１に開示の技術のように台形補正のみを考慮したパターン画像では、ユーザーが見る画像の歪みを補正できない場合がある。また、三次元形状を有する被投写物については、投写画像を投写する投写領域の形状として設定し得る形状が多数存在し得る。このため、被投写物の三次元形状を考慮して多種多様なパターン画像を予め用意したとしても、それらパターン画像のうちから適切なパターン画像をユーザーが探し出すことが困難な場合もある。

以上の課題を解決するために、本開示の投写領域の設定支援方法は、プロジェクターから投写画像を投写される被投写物を撮像装置により撮像して得られる第１画像を取得し、前記被投写物において前記投写画像の投写先となる投写領域の形状を前記第１画像に基づいて推定し、前記投写領域の形状の第１候補を示す第１テンプレート画像と、前記第１候補とは異なる第２候補の形状を示す第２テンプレート画像の各々について、前記第１画像に基づいて推定された形状との類似度を算出し、前記第１テンプレート画像及び前記第２テンプレート画像の各々を前記類似度に応じた表示順又は表示態様で表示することで、前記第１候補及び前記第２候補の何れかを前記投写領域の形状として設定することをユーザーに促す。

また、上記課題を解決するために、本開示の設定支援システムは、撮像装置と、表示装置と、処理装置と、を含む。前記処理装置は、プロジェクターから投写画像を投写される被投写物を前記撮像装置により撮像して得られる第１画像を取得すること、前記被投写物において前記投写画像の投写先となる投写領域の形状を前記第１画像に基づいて推定すること、前記投写領域の形状の第１候補を示す第１テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第１類似度を算出すること、前記第１候補とは異なる第２候補の形状を示す第２テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第２類似度を算出すること、及び、前記第１テンプレート画像及び前記第２テンプレート画像の各々を前記第１類似度及び前記第２類似度に応じた表示順又は表示態様で表示することで、前記第１候補及び前記第２候補の何れかを前記投写領域の形状として設定することをユーザーに促すこと、を実行する。

また、上記課題を解決するために、本開示のプログラムは、コンピューターに、プロジェクターから投写画像を投写される被投写物を撮像装置により撮像して得られる第１画像を取得すること、前記被投写物において前記投写画像の投写先となる投写領域の形状を前記第１画像に基づいて推定すること、前記投写領域の形状の第１候補を示す第１テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第１類似度を算出すること、前記第１候補とは異なる第２候補の形状を示す第２テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第２類似度を算出すること、及び、前記第１テンプレート画像及び前記第２テンプレート画像の各々を前記第１類似度及び前記第２類似度に応じた表示順又は表示態様で表示することで、前記第１候補及び前記第２候補の何れかを前記投写領域の形状として設定することをユーザーに促すこと、を実行させる。

本開示の一実施形態に係る設定支援方法を実行する設定支援装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。 本実施形態におけるテンプレート画像の表す形状の一例を示す図である。 本実施形態における計測パターンの一例を示す図である。 本実施形態におけるパターン画像の表示例を示す図である。 被投写物ＳＣの撮像画像の一例を示す図である。 設定支援方法の流れを示すフローチャートである。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．実施形態
図１は、本開示の実施形態に係る投写領域の設定支援方法を実行する設定支援装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。画像表示システム５Ａには、設定支援装置１Ａの他に、設定支援装置１Ａと通信するプロジェクター２が含まれる。プロジェクター２は、設定支援装置１Ａから供給される画像データに応じた投写画像Ｇ１を被投写物ＳＣの表面に投写する。図１では、詳細な図示を省略したが、プロジェクター２は、光源と、光変調装置としての３つの表示パネルと、投写レンズと、表示パネル駆動部とを備える。

プロジェクター２における３つの表示パネルの各々は、夫々赤、緑及び青の各色に対応する。本実施形態では、表示パネルは液晶ライトバルブである。表示パネル駆動部は、設定支援装置１Ａから供給される画像データに応じて３つの表示パネルの各々における光の透過率を制御する。プロジェクター２は、光源から射出された光を３つの表示パネルの各々で変調して画像光を形成し、この画像光を投写レンズから投写して被投写物ＳＣの表面に投写画像Ｇ１を表示する。本実施形態における被投写物ＳＣは、図１に示すように直方体であるが、三角錐或いは四角錐等、多角形の連結により構成される三次元形状、或いは曲面を有する三次元形状であってもよい。

設定支援装置１Ａは、例えばスマートフォンである。設定支援装置１Ａは、撮像機能、及びプロジェクター２と通信する通信機能、を有する。設定支援装置１Ａとプロジェクター２とがネットワーク接続されると、設定支援装置１Ａは、プロジェクター２と通信し、プロジェクター２からプロジェクター情報を取得する。プロジェクター情報には、プロジェクター２の内部パラメーター、解像度情報、及びプロジェクター２において復号化可能な圧縮形式を示す圧縮形式情報が含まれる。

プロジェクターの内部パラメーターとは、プロジェクターの個体毎の投写特性を示すパラメーターである。内部パラメーターの具体例としては、投写レンズの焦点距離、画像中心のずれの程度，及びレンズ歪みの程度を示すデータが挙げられる。解像度情報は、プロジェクター２における表示パネルの解像度を示す情報である。解像度情報は、プロジェクター２により被投写物ＳＣに投写される投写画像の位置を計測するための計測パターンを生成する際に利用される。詳細については後述するが、本実施形態では、計測パターンとしてバイナリコードパターンが用いられる。圧縮形式情報は、計測パターンを示す計測パターンデータを圧縮して設定支援装置１Ａからプロジェクター２へ送信する場合における計測パターンデータの圧縮形式の決定に利用される。設定支援装置１Ａからプロジェクター２へ計測パターンデータを圧縮して送信する場合の圧縮形式は、ランレングス、ＬＺＨ、ＰＮＧ、及びＧＩＦ等の可逆圧縮形式が望ましい。

設定支援装置１Ａは、プロジェクター２から取得した解像度情報を用いて複数の計測パターンの各々を表す計測パターンデータを生成し、生成した計測パターンデータをプロジェクター２に与える。プロジェクター２は、設定支援装置１Ａから与えられる計測パターンデータの示す複数の計測パターンの各画像を被投写物ＳＣに投写する。なお、設定支援装置１Ａからプロジェクター２へコマンドを送信し、このコマンドに基づいて計測パターンデータをプロジェクター２が生成してもよい。設定支援装置１Ａからプロジェクター２へコマンドが送信される場合、プロジェクター情報に圧縮形式情報を含めておく必要はない。プロジェクター２で計測パターンデータを生成する態様であれば、設定支援装置１Ａからプロジェクター２に計測パターンを伝達するための通信時間が短縮される。

設定支援装置１Ａは、計測パターン毎に、プロジェクター２により計測パターンの画像を投写されている状態の被投写物ＳＣを撮像することをユーザーに促す。設定支援装置１Ａは、ユーザーの操作に応じて、計測パターンの画像を投写されている状態の被投写物ＳＣを撮像機能により撮像する。設定支援装置１Ａは、撮像された複数の撮像画像と複数の計測パターンの画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。プロジェクター座標系とはプロジェクター２による投写画像上の位置を示す座標系である。プロジェクター座標系の一例としては、投写画像の左上隅を原点とする二次元座標系が挙げられる。カメラ座標系とは、撮像画像上の位置を示す座標系である。カメラ座標系の具体例としては撮像画像の左上隅を原点とする二次元座標系が挙げられる。プロジェクター座標系とカメラ座標系との対応関係を特定するとは、一方の座標系から他方の座標系への射影変換のための変換行列を生成することをいう。詳細については後述するが、この変換行列は、被投写物ＳＣの撮像画像から被投写物ＳＣにおいて投写画像の投写先となる投写領域の形状を推定する際に利用される。

図１に示すように、設定支援装置１Ａは、タッチパネル１０と、通信装置２０と、記憶装置３０と、処理装置４０と、撮像装置５０と、を含む。通信装置２０は、無線通信モジュール又は有線通信モジュールである。通信装置２０が有線通信モジュールである場合、通信装置２０は通信線を介してプロジェクター２に接続される。設定支援装置１Ａとプロジェクター２との接続は、ルーター等の中継装置を介さない直接接続であってもよいし、中継装置を介する間接接続であってもよい。通信装置２０が無線通信モジュールである場合、直接接続の具体例としてはアドホック接続が挙げられ、間接接続の具体例としては無線アクセスポイント装置を介するアクセスポイント接続が挙げられる。また、通信装置２０が有線通信モジュールである場合、直接接続の具体例としてはピアトゥーピア接続が挙げられ、間接接続の具体例としては有線ルーター又は有線ハブを介する接続が挙げられる。通信装置２０は、処理装置４０による制御の下、プロジェクター２と通信する。撮像装置５０はカメラである。撮像装置５０は、処理装置４０による制御の下で撮像を行い、撮像画像を表す画像データを処理装置４０に供給する。

タッチパネル１０は、画像を表示する表示装置と、ユーザーによる情報が入力される入力装置とが、一体化された装置である。入力装置は、例えば透明なシート状の接触センサーである。入力装置は、表示装置の表示面を覆うように設けられる。入力装置は、当該入力装置に接触する物体と当該入力装置とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータを処理装置４０へ出力する。これにより、タッチパネル１０に対するユーザーの操作内容が処理装置４０へ伝達される。

記憶装置３０は、処理装置４０が読み取り可能な記録媒体である。記憶装置３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

記憶装置３０の不揮発性メモリーには、処理装置４０によって実行されるプログラムＰＡが記憶される。記憶装置３０の揮発性メモリーはプログラムＰＡを実行する際のワークエリアとして処理装置４０によって利用される。プログラムＰＡは、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラムＰＡは、例えば、通信装置２０を介して不図示のサーバー等から取得され、その後、記憶装置３０に記憶される。プログラムＰＡは、記憶装置３０に予め記憶されてもよい。

また、記憶装置３０には、撮像装置５０の内部パラメーターと、複数のテンプレートデータＴＤとが予め記憶される。撮像装置の内部パラメーターとは、撮像装置の個体毎の撮像特性を示すパラメーターである。撮像装置の内部パラメーターの具体例としては、撮像レンズの焦点距離、画像中心のずれの程度，及びレンズ歪みの程度を示すデータが挙げられる。テンプレートデータＴＤは、被投写物ＳＣに設定する投写領域の形状の候補となる画像を表すデータである。以下では、投写領域の形状の候補となる画像のことをテンプレート画像と称する。記憶装置３０に記憶されている複数のテンプレートデータＴＤの各々が表すテンプレート画像は、互いに異なる形状を表す。

図２は、テンプレート画像の表す形状の一例を示す図である。図２には、複数のテンプレート画像の各々が表す形状の一例として、１４種類の形状が示されている。本実施形態では、テンプレート画像が表す形状は、形状を構成する面の種類によって、図２に示すようにＡ列の形状とＢ列の形状とに大別される。

Ａ列の形状は、平面のみで形成される形状である。Ａ列の形状は、形状を形成する主要な面を構成する平面の数に応じてＡ１列の形状とＡ２列の形状とに分類される。Ａ１列の形状は主要な面が２個の平面により形成される形状である。Ａ２列の形状は主要な面が３個の平面により形成される形状である。Ｂ列の形状は、曲面を含む形状である。Ｂ列の形状は、Ｂ１列の形状と、Ｂ２列との形状とに分類される。Ｂ１列の形状は、曲面と平面とにより形成される形状である。Ｂ２列の形状は、例えば球の様に曲面のみにより形成される形状である。

また、図２に示す１４種類の形状は、観測者から見る方向の広がり方に応じて、Ｃ行の形状とＤ行の形状とに大別される。Ｃ行の形状は、観測者に向かって突き出る様に広がる形状である。図２に示すように、Ｃ行の形状は、形状を形成する各面の繋がり方に応じて、更にＣ１行、Ｃ２行、Ｃ３行の各行の形状に分類される。Ｃ２行の形状は、形状を形成する２つの面の為す角部が面取りされた形状である。Ｃ１行の形状は、角部が面取りされていない形状である。Ｃ３行の形状は、面取りされた角部と面取りされていない角部とが混在する形状である。

Ｄ行の形状は観測者から見て窪むように広がる形状である。図２に示すように、Ｄ行の形状は、形状を形成する各面の繋がり方に応じて、更にＤ１行、Ｄ２行、Ｄ３行の各行の形状に分類される。Ｄ２行の形状は、角部が面取りされた形状である。Ｄ１行の形状は、角部が面取りされていない形状である。Ｄ３行の形状は、面取りされた角部と面取りされていない角部とが混在する形状である。以下では、図２に示す１４個の形状のうちの個々に言及するときは、図２における列数及び行数で各形状を指定する。例えば、図２における形状Ｆ１は、Ａ１列Ｃ１行の形状と称される。図２のＡ１列Ｃ３行、Ａ１列Ｄ３行、Ｂ１列Ｃ２行、Ｂ１列Ｃ３行、Ｂ１列Ｄ２行、Ｂ１列Ｄ３行、Ｂ２列Ｃ２行、Ｂ２列Ｃ３行、Ｂ２列Ｄ２行、及びＢ２列Ｄ３行の各々における記号“ーーー”は該当する形状が無いことを意味する。

記憶装置３０には、図２に示す１４種類の形状の各々に一対一に対応する１４個のテンプレートデータＴＤが記憶されていてもよいし、これら１４個のうちの任意の２乃至１３個が記憶されていてもよい。また、各々異なる形状に対応する１４個以上のテンプレートデータＴＤが記憶装置３０に記憶されてもよい。以下では、図２のＡ１列Ｃ１行、Ａ１列Ｄ１行、Ａ１列Ｃ２行、Ａ２列Ｃ１行、Ａ２列Ｃ３行、Ａ２列Ｄ１行、Ｂ１列Ｃ１行、及びＢ２列Ｃ１行の各形状に一対一に対応する８個のテンプレートデータＴＤが記憶装置３０に記憶されている場合について説明する。

処理装置４０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置４０は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置４０は、プログラムＰＡの実行開始を指示する操作がタッチパネル１０に対して為されたことを契機としてプログラムＰＡを不揮発性メモリーから揮発性メモリーに読み出し、プログラムＰＡの実行を開始する。プログラムＰＡに従って作動中の処理装置４０は、図１に示す特定部４００、取得部４１０、推定部４２０、算出部４３０、第１表示制御部４４０、第２表示制御部４５０、設定部４６０．及び変更部４７０として機能する。図１に示す特定部４００、取得部４１０、推定部４２０、算出部４３０、第１表示制御部４４０、第２表示制御部４５０、設定部４６０、及び変更部４７０は、処理装置４０をプログラムＰＡに従って動作させることで実現されるソフトウェアモジュールである。

特定部４００は、プロジェクター２から投写される計測パターンの画像と、計測パターンの画像を投写されている状態の被投写物ＳＣの撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。より詳細に説明すると、特定部４００は、設定支援装置１Ａとプロジェクター２とがネットワーク接続された状況下においてタッチパネル１０に対する操作により特定開始を指示されたことを契機として、プロジェクター情報を取得する。次いで、特定部４００は、プロジェクター情報に含まれる解像度情報から計測パターンデータを生成する。特定部４００は、計測パターンデータの表す複数の計測パターンの各々を順次投写するようにプロジェクター２を制御する。また、特定部４００は、被投写物ＳＣに順次投写される複数の計測パターンの各々を撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせる。そして、特定部４００は、複数の計測パターンの画像と、撮像装置５０により撮像される複数の撮像画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。

更に詳述すると、特定部４００は、撮像装置５０により撮像された撮像画像における計測パターンの座標をプロジェクター２の表示装置における計測パターンの座標に射影変換するための変換行列を複数の計測パターンの画像と複数の撮像画像とから生成する。この変換行列は、被投写物ＳＣに投写する投写画像の幾何学的な補正を実現する変形の際にも利用される。本実施形態では、プロジェクター２から投写画像を投写させる際には、上記変換行列を用いて幾何学的な補正を実施済の投写オブジェクトを含む投写画像の画像データが設定支援装置１Ａからプロジェクター２に与えられ、プロジェクター２は当該画像データに従って画像を投写する。

前述したように、本実施形態では計測パターンとしてバイナリコードパターンが用いられる。バイナリコードパターンとは、バイナリコードを使って表示装置の座標を表現するための画像のことをいう。バイナリコードとは、任意の数値を２進数で表現した場合の各桁の値をスイッチのオン／オフによって表現する技法である。計測パターンとしてバイナリコードパターンを用いる場合、プロジェクター２により投写される画像が上記のスイッチにあたり、座標値を表す２進数の桁数分の画像が必要となる。また、Ｘ座標とＹ座標とで夫々別個の画像が必要となる。例えば、プロジェクター２の表示パネルの解像度が１２０×９０である場合、１２０及び９０は夫々７桁の２進数で表現されるため、Ｘ座標を表現するために７枚の画像が必要となり、Ｙ座標を表現するために７枚の画像が必要となる。

また、バイナリコードパターンを計測パターンとして用いる場合、照明等の外乱光の影響により計測のロバスト性が低下することが一般的に知られている。このため、バイナリコードパターンを計測パターンとして用いる場合には、外乱光の影響を抑え、計測のロバスト性を向上させるために相補パターンを併用することが一般的である。相補パターンとは、白黒を反転した画像のことをいう。以下では、１を白で表し、０を黒で表すバイナリコードパターンを「ポジティブパターン」と呼び、それを反転させた相補パターンを「ネガティブパターン」と呼ぶ。本実施形態では、解像度情報の示す解像度が１２０×９０である場合、図３に示すように、ポジティブパターンが１４枚、ネガティブパターンが１４枚の合計２８枚の計測パターンを表す計測パターンデータが特定部４００によって生成される。本実施形態では、計測パターンとしてバイナリコードパターンが用いられるが、ドットパターン、矩形パターン、多角形パターン、チェッカーパターン、グレイコードパターン、位相シフトパターン、又はランダムドットパターン等の他の構造化光が用いられてもよい。

取得部４１０は、撮像装置５０による被投写物ＳＣの撮像画像を取得する。取得部４１０により取得される撮像画像は、本開示における第１画像の一例である。なお、複数の計測パターンの何れかを投写されている状態の被投写物ＳＣを撮像装置５０により撮像して得られる画像を上記第１画像として取得部４１０に取得させてもよい。また、対応関係の特定に用いた複数の撮像画像とは別個に被投写物ＳＣを撮像装置５０により撮像して得られる画像を取得部４１０に取得させてもよい。

推定部４２０は、被投写物ＳＣにおいて投写画像の投写先となる投写領域の形状を、撮像装置５０による被投写物ＳＣの撮像画像に基づいて推定する。より詳細に説明すると、推定部４２０は、特定部４００により特定した対応関係と、撮像装置５０の内部パラメーター及びプロジェクター２の内部パラメーターと、取得部４１０により取得した撮像画像と、に基づいて、被投写物ＳＣについての三次元計測を行う。三次元計測については周知技術を適宜利用すればよい。次いで、推定部４２０は、被投写物ＳＣについての三次元計測結果に対して三次元ハフ変換を行い、撮像画像に写っている被投写物ＳＣの面の数、面の種類、及び角部の種類を求めることで、投写領域の形状を推定する。

算出部４３０は、記憶装置３０に記憶されているテンプレートデータＴＤの表す複数のテンプレート画像の各々について、推定部４２０により推定された形状との類似度を算出する。より詳細に説明すると、算出部４３０は、複数のテンプレートデータＴＤの各々が表す形状について、面の数、面の種類、及び角部の種類を求める。そして、算出部４３０は、面の数、面の種類、及び角部の種類の各々について、推定部４２０により推定された形状と近似する形状ほど大きい重みを付ける。これらの重みの合計値は、推定部４２０により推定された形状との類似の程度を表す類似度の役割を果たす。例えば、記憶装置３０に、第１テンプレート画像を表す第１のテンプレートデータＴＤと第２テンプレート画像を表す第２のテンプレートデータＴＤとが記憶されていたとする。第１テンプレート画像とは、投写領域の形状の第１候補を表す画像である。第２テンプレート画像とは、第１候補とは異なる第２候補の形状を示す画像である。この場合、算出部４３０は、まず、第１候補の形状について推定部４２０により推定された形状との類似の程度を表す第１類似度を算出する。次いで、算出部４３０は、第２候補の形状について推定部４２０により推定された形状との類似の程度を表す第２類似度を算出する。第１類似度が第２類似度よりも大きければ、第１候補の形状の方が第２候補の形状よりも投写領域の形状に類似していることを意味する。

第１表示制御部４４０と第２表示制御部４５０は、何れも、複数のテンプレートデータＴＤの各々が表す形状をタッチパネル１０の表示装置に表示させることで、何れかの形状を投写領域の形状として設定することをユーザーに促す。より詳細に説明すると、第２表示制御部４５０は、複数のテンプレートデータＴＤの各々が表す形状を、予め定められた表示順で配列して表示装置に表示させる。本実施形態では、複数のテンプレートデータＴＤの各々が表す形状の初期の表示順として、図４に示す表示パターンＰＴ１が予め定められている。このため、第２表示制御部４５０は、複数のテンプレートデータＴＤの各々が表す形状を、図４における表示パターンＰＴ１で配列したリスト画像を表示装置に表示させる。なお、複数のテンプレートデータＴＤの各々が表す形状の初期の表示順は、図４における表示パターンＰＴ１には限定されない。複数のテンプレートデータＴＤの各々が表す形状の初期の表示順は、Ａ１列、Ａ２列、Ｂ１列、及びＢ２列の順であってもよいし、Ｃ１行、Ｃ２行、Ｃ３行、Ｄ１行、Ｄ２行、及びＤ３行の順であってもよい。

第１表示制御部４４０は、複数のテンプレートデータＴＤの各々が表す形状を、上から下へ一列に配列したリスト画像をタッチパネル１０の表示装置に表示させる点では第２表示制御部４５０と同一である。但し、第１表示制御部４４０は、複数のテンプレートデータＴＤの各々が表す形状を、各々の類似度に応じた表示順、又は各々の類似度に応じた表示態様で表示装置に表示させる点が第２表示制御部４５０と異なる。複数のテンプレートデータＴＤの各々が表す形状の第１表示制御部４４０による表示例としては図４における表示パターンＰＴ２、ＰＴ３、ＰＴ４及びＰＴ５が挙げられる。以下、図５に示す撮像画像Ｇ２が取得部４１０により取得された場合を例にとって、表示パターンＰＴ２、ＰＴ３、ＰＴ４及びＰＴ５の各々の具体的な内容を説明する。

表示パターンＰＴ２は、複数のテンプレートデータＴＤの各々が表す形状を、推定部４２０により推定された投写領域の形状との類似度に応じた表示順、具体的には類似度の降順、に配列して表示する態様である。本実施形態では、第１表示制御部４４０による表示態様として表示パターンＰＴ２が採用されている。例えば、前述の第１類似度の方が第２類似度よりも大きいとする。この場合、表示パターンＰＴ２によれば、第１テンプレート画像の表す形状及び第２テンプレート画像の表す形状の各々をこの順に上から下へ配列したリスト画像が表示装置に表示される。複数のテンプレートデータＴＤの各々が表す形状を、推定部４２０により推定された投写領域の形状との類似度の降順で配列するのは、類似度の最も高い形状を最もユーザーの目につきやすい位置に表示するためである。リスト画像が表示されると、ユーザーの視線はリスト画像の最上段に向かうことが普通だからである。

図５に示す撮像画像Ｇ２には、直方体である被投写物ＳＣの３つの面が写っており、これら３つの面は何れも平面である。被投写物ＳＣは直方体、即ち観測者から見て突き出すように広がる形状である。従って、Ｃ行の形状の方がＤ行の形状よりも前述の重みは大きい。また、被投写物ＳＣでは角部は面取りされていないので、Ｃ行の形状のうちではＣ１行の形状の重みが最も大きい。また、Ａ列の形状とＢ列の形状とでは、Ａ列の形状の方がＢ列の形状よりも重みが大きい。そして、撮像画像Ｇ２には被投写物ＳＣの３つの面が写っているので、Ａ列のうちではＡ２列の方がＡ１列よりも重みが大きい。これらの重みを合計すると、Ａ２列Ｃ１行の形状、Ａ１列Ｃ１行の形状、Ａ２列Ｃ３行の形状、Ａ１列Ｃ２行の形状、Ａ２列Ｄ１行の形状、Ａ１列Ｄ１行の形状、Ｂ１列Ｃ１行の形状、及びＢ２列Ｃ１行の形状の順に類似度が小さくなる。このため、表示パターンＰＴ２では、Ａ２列Ｃ１行の形状、Ａ１列Ｃ１行の形状、Ａ２列Ｃ３行の形状、Ａ１列Ｃ２行の形状、Ａ２列Ｄ１行の形状、Ａ１列Ｄ１行の形状、Ｂ１列Ｃ１行の形状、及びＢ２列Ｃ１行の形状の順に配列されている。

表示パターンＰＴ３、表示パターンＰＴ４、及び表示パターンＰＴ５は、複数のテンプレートデータＴＤの各々が表す形状を、推定部４２０により推定された投写領域の形状との類似度に応じた表示態様で表示する態様である。なお、表示パターンＰＴ３、表示パターンＰＴ４、及び表示パターンＰＴ５の各々における各形状の配列は、表示パターンＰＴ１における配列と同じである。

より詳細に説明すると、表示パターンＰＴ４は、複数のテンプレートデータＴＤの各々が表す形状のうち、推定部４２０により推定された投写領域の形状との類似度が予め定められた閾値未満のテンプレート画像の表示を省略する態様である。類似度が予め定められた閾値未満のテンプレート画像の示す形状をユーザーが選択する可能性は小さいからである。例えば、前述の第１のテンプレートデータＴＤと第２のテンプレートデータＴＤとが記憶装置３０に記憶されている場合、この表示パターンでは、第１テンプレート画像の示す第１候補の形状の類似度が閾値未満である場合には第１候補の形状の表示は省略される。同様に、第２テンプレート画像の示す第２候補の形状の類似度が閾値未満である場合には第２候補の形状の表示は省略される。図４には、Ａ２列Ｄ１行の形状、Ａ１列Ｄ１行の形状、Ｂ１列Ｃ１行の形状、及びＢ２列Ｃ１行の形状の類似度が閾値未満となった場合が示されている。

表示パターンＰＴ３、及び表示パターンＰＴ５は、複数のテンプレートデータＴＤの各々が表す形状に、各々の類似度に応じた装飾を付与して表示する態様である。表示パターンＰＴ３は、複数のテンプレートデータＴＤの各々が表す形状を、各々の類似度に応じた色の背景に重ねて表示する態様である。図４に示す表示パターンＰＴ３では、推定部４２０により推定された投写領域の形状との類似度が予め定められた閾値以上である形状は所定の色の背景の上に重ねられ、類似度が当該閾値未満の形状は単独で表示される。なお、図４では、所定の色が右下がりのハッチングで表現されている。類似度が予め定められた閾値以上である形状の背景については、類似度が高いほど色を濃くしてもよい。本態様によれば、推定部４２０により推定された投写領域の形状との類似度が高い形状を目立たせることができる。

表示パターンＰＴ５は、複数のテンプレートデータＴＤの各々が表す形状の上に、各々の類似度に応じた色を有し且つ透過処理を施した前景を重ねて表示する態様である。図４に示す表示パターンＰＴ５では、推定部４２０により推定された投写領域の形状との類似度が予め定められた閾値未満である形状は所定の色の前景の下に表示され、類似度が当該閾値以上の形状は単独で表示される。類似度が閾値未満の形状に重ねる前景の透過率を低く設定しておけば、類似度が閾値未満の形状は目立たなくなる。なお、図４では、前景の色が右上がりハッチングで表現されている。類似度が閾値未満である形状の前景については、類似度が低いほど前景の色を濃くしてもよい。本態様によれば、推定部４２０により推定された投写領域の形状との類似度が低い形状を目立たなくさせことができる。

設定部４６０は、第１表示制御部４４０又は第２表示制御部４５０が表示装置に表示させた複数の形状の何れかを選択するユーザーの操作を受け付ける。そして、設定部４６０は、ユーザーにより選択された形状を、投写領域の形状として設定する。変更部４７０は、設定部４６０により設定された投写領域の形状を表す画像をタッチパネル１０の表示装置に表示させることで、投写領域の形状を変更する操作の実行をユーザーに促す。タッチパネル１０に対して投写領域の形状を変更する操作が為されると、変更部４７０は、ユーザーの操作に応じて投写領域の形状を変更する。投写領域の形状を変更する操作の一例としては、投写領域の輪郭線又は頂点を選択して移動等させる操作が挙げられる。

また、プログラムＰＡに従って作動している処理装置４０は、本開示の設定支援方法を実行する。図６は、処理装置４０がプログラムＰＡに従って実行する設定支援方法の流れを示す図である。図６に示すように、本開示の設定支援方法には、特定処理ＳＡ１００、第１判定処理ＳＡ１０５、取得処理ＳＡ１１０、推定処理ＳＡ１２０、算出処理ＳＡ１３０、第１表示制御処理ＳＡ１４０、第２表示制御処理ＳＡ１５０、設定処理ＳＡ１６０、及び変更処理ＳＡ１７０が含まれる。

特定処理ＳＡ１００では、処理装置４０は、特定部４００として機能する。特定処理ＳＡ１００では、処理装置４０は、プロジェクター２から投写される計測パターンの画像と、当該計測パターンの画像を投写されている状態の被投写物ＳＣの撮像画像とに基づいて、プロジェクター座標系とカメラ座標系とを相互変換する変換行列を算出する。

第１判定処理ＳＡ１０５では、処理装置４０は、設定支援を要求する旨の操作がタッチパネル１０の入力装置に対して為されたか否かを判定する。第１判定処理ＳＡ１０５の判定結果が“Ｙｅｓ”、即ち肯定である場合、処理装置４０は、取得処理ＳＡ１１０を実行する。これに対して、第１判定処理ＳＡ１０５の判定結果が“Ｎｏ”、即ち否定である場合、処理装置４０は第２表示制御処理ＳＡ１５０を実行する。

取得処理ＳＡ１１０では、処理装置４０は、取得部４１０として機能する。取得処理ＳＡ１１０では、処理装置４０は、被投写物ＳＣの撮像画像を取得する。取得処理ＳＡ１１０に後続する推定処理ＳＡ１２０では、処理装置４０は、推定部４２０として機能する。推定処理ＳＡ１２０では、処理装置４０は、取得処理ＳＡ１１０にて取得した撮像画像、特定処理ＳＡ１００にて特定した対応関係、撮像装置５０の内部パラメーター及びプロジェクター２の内部パラメーターに基づいて、投写領域の形状を推定する。そして、推定処理ＳＡ１２０に後続する算出処理ＳＡ１３０では、処理装置４０は算出部４３０として機能する。算出処理ＳＡ１３０では、処理装置４０は、記憶装置３０に記憶されている複数のテンプレートデータＴＤの各々が表す形状について、推定部４２０により推定された形状との類似度を算出する。

算出処理ＳＡ１３０に後続する第１表示制御処理ＳＡ１４０では、処理装置４０は、第１表示制御部４４０として機能する。第１表示制御処理ＳＡ１４０では、処理装置４０は、複数のテンプレートデータＴＤの各々が表す形状を、各々の類似度に応じた表示順で配列してタッチパネル１０の表示装置に表示させることで、何れかの形状を投写領域の形状として設定することをユーザーに促す。これに対して、第１判定処理ＳＡ１０５の判定結果が否定である場合に実行される第２表示制御処理ＳＡ１５０では、処理装置４０は、第２表示制御部４５０として機能する。第２表示制御処理ＳＡ１５０では、処理装置４０は、複数のテンプレートデータＴＤの各々が表す形状を予め定められた順に配列してタッチパネル１０の表示装置に表示させることで、何れかの形状を投写領域の形状として設定することをユーザーに促す。

設定処理ＳＡ１６０では、処理装置４０は設定部４６０として機能する。設定処理ＳＡ１６０では、処理装置４０は、第１表示制御処理ＳＡ１４０又は第２表示制御処理ＳＡ１５０にて表示装置に表示させた複数の形状の何れかを選択するユーザーの操作を受け付ける。次いで、処理装置４０は、ユーザーにより選択された形状を、投写領域の形状として設定する。変更処理ＳＡ１７０では、処理装置４０は、変更部４７０として機能する。変更処理ＳＡ１７０では、処理装置４０は、設定処理ＳＡ１６０にて設定された投写領域の形状を表す画像をタッチパネル１０の表示装置に表示させる。タッチパネル１０に対して投写領域の形状を変更する操作が為されると、処理装置４０は、ユーザーの操作に応じて投写領域の形状を変更する。

本実施形態の設定支援装置１Ａによれば、複数のテンプレートデータＴＤの各々が表す形状は、推定部４２０により推定された投写領域の形状との類似度に応じた順に配列されて表示される。このため、ユーザーは複数の形状の表示順を参考に、複数のテンプレートデータＴＤの各々が表す形状のうちから適切な形状を選択して投写領域を設定することができる。

２．変形例
各実施形態は、以下のように変更されてもよい。
（１）上記実施形態では、プロジェクター座標系とカメラ座標系との対応関係と、撮像装置５０による被投写物ＳＣの撮像画像と、内部パラメーターとに基づいて、被投写物ＳＣにおける投写領域の形状が推定された。しかし、撮像装置５０による被投写物ＳＣの撮像画像に基づいて被投写物ＳＣにおける投写領域の形状を推定する態様であれば他の態様であってもよい。他の態様の具体例としては、エッジ検出を利用する態様、ディープラーニング等により生成した識別器を用いる態様、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ、又はＡＫＡＺＥ等の特徴量を利用する態様が考えられる。

エッジとは画像の水平走査方向又は垂直走査方向に画素の輝度をサンプリングしたときに輝度が急激に変化する画素のことをいう。被投写物ＳＣの撮像画像において被投写物ＳＣに対応する画素と被投写物ＳＣの背景に対応する画素とでは輝度が異なることが通常である。つまり、被投写物ＳＣの撮像画像において被投写物ＳＣの輪郭線はエッジとなっていることが通常である。このため、被投写物ＳＣの撮像画像からエッジを検出することで、撮像画像に写っている被投写物ＳＣの輪郭線を検出することができる。エッジ検出を利用する態様の処理内容は以下の通りである。まず、推定部４２０は、撮像装置５０による被投写物ＳＣの撮像画像に対してエッジ検出処理を行う。エッジ検出処理については周知技術を適宜用いるようにすればよい。次いで、推定部４２０は、エッジ検出結果に対して、ハフ変換を行い、エッジに対応する直線或いは曲線、及び各線の交点を求める。算出部４３０では、複数のパターン画像の各々についてエッジ検出処理を施し、エッジ検出結果に対してハフ変換を行ってエッジに対応する直線或いは曲線、及び各線の交点を求める。そして、算出部４３０は、推定部４２０により抽出された線の数、線の種類、及び交点の数に近似する線の数、線の種類、及び交点の数を検出されたテンプレート画像の表す形状ほど高い重みを付ける。なお、投写領域の形状の抽出にエッジ抽出を利用する態様では、被投写物ＳＣの三次元計測を行う必要はなく、特定部４００は不要である。つまり、上記実施形態における特定部４００は、本開示の設定支援装置の必須構成要素ではなく、省略可能である。

ディープラーニング等により生成した識別器を用いる態様の具体例としては、以下の２つの態様が考えられる。第１の態様は、物体の三次元形状と物体における投写領域の形状とを対応付けてディープラーニング等により学習済みの識別器を利用する態様である。この識別器は、三次元形状を示す情報の入力に応じて、対応する投写領域の形状を示す情報を出力する。三次元形状を示す情報の具体例としては、三次元形状を構成する面の数、面の種類、角部の種類等が挙げられる。第１の態様では、推定部４２０は、被投写物ＳＣの撮像画像から被投写物ＳＣの三次元形状を示す情報を抽出して識別器へ入力し、識別器からの出力情報に応じて投写領域の形状を推定すればよい。この場合、複数のテンプレートデータＴＤの表す各形状に関する情報を教師データとして学習を行っておけば、識別器から出力される信頼度を各形状についての類似度とすることができる。第２の態様は、物体の画像と物体における投写領域の形状とを対応付けてディープラーニング等により学習済みの識別器を利用する態様である。この識別器は、物体の画像の入力に応じて、対応する投写領域の形状を示す情報を出力する。第２の態様では、推定部４２０は、撮像装置５０による被投写物ＳＣの撮像画像を識別器へ入力し、識別器からの出力情報に応じて被投写物ＳＣにおける投写領域の形状を推定すればよい。

（２）推定部４２０により推定された投写領域の形状との類似度に応じた装飾を付与する態様は、複数のテンプレートデータＴＤの各々が表す形状の内側を、各々の類似度に応じた色で塗りつぶす態様であってもよい。また、複数のテンプレートデータＴＤの各々が表す形状を、推定部４２０により推定された投写領域の形状との類似度に応じた大きさで表示する態様であってもよい。例えば、第１類似度の方が第２類似度よりも高いとする。この場合、本態様によれば、第１候補の形状は第２候補の形状よりも大きく表示される。本態様によれば、推定部４２０により推定された投写領域の形状との類似度が第２候補よりも高い第１候補の形状が、第２候補の形状よりも大きく表示されるので、第１候補の形状を第２候補の形状よりも目立たせることができる。換言すれば、第２候補の形状は第１候補の形状よりも目立たなくなる。

（３）上述した実施形態における第２表示制御部４５０を省略してもよく、図６に示す設定支援方法から第１判定処理ＳＡ１０５及び第２表示制御処理ＳＡ１５０を省略してもよい。また、設定部４６０及び変更部４７０を省略し、図６に示す設定支援方法から設定処理ＳＡ１６０及び変更処理ＳＡ１７０を省略してもよい。少なくとも第１表示制御処理ＳＡ１４０が実行されれば、複数のテンプレートデータＴＤの各々が表す形状のうちから適切な形状を選択することをユーザーに促すことができるからである。また、上述の実施形態における取得部４１０、推定部４２０、算出部４３０、及び第１表示制御部４４０はソフトウェアモジュールであったが、取得部４１０、推定部４２０、算出部４３０、及び第１表示制御部４４０の一部又は全部は、ハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。取得部４１０、推定部４２０、算出部４３０、及び第１表示制御部４４０の一部又は全部がハードウェアであっても、上記実施形態と同一の効果が奏される。

（４）設定支援装置１Ａは、撮像装置５０を有するスマートフォンであったが、撮像装置を備えるタブレット端末或いは撮像装置を備えるノート型或いは据え置き型のパーソナルコンピューターであってもよい。ノート型或いは据え置き型のパーソナルコンピューターを本開示の設定支援装置として用いる場合には、マウス又はキーボードを入力装置として各種操作を受け付けてもよい。また、設定支援装置がＬＡＮ等のネットワーク経由のデータ通信により撮像画像を取得できる場合には、設定支援装置が撮像装置を備えている必要はない。また、スマートフォン或いはタブレット端末等の携帯端末とＬＡＮ又はインターネットを介して通信するサーバー装置とを有するコンピューターシステムにおいて、サーバー装置の処理装置を取得部４１０、推定部４２０、算出部４３０、及び第１表示制御部４４０として機能させ、当該携帯端末に入力装置の役割を担わせてもよい。このコンピューターシステムは本開示の設定支援システムの一例である。

（５）上述した実施形態では、プログラムＰＡが記憶装置３０に記憶済であった。しかし、プログラムＰＡを単体で製造又は配布してもよい。プログラムＰＡの具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラムＰＡを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。当該プログラムＰＡをパーソナルコンピューター等の一般的な情報処理装置にインストールし、当該情報処理装置のＣＰＵ等のコンピューターを当該プログラムに従って作動させることで当該情報処理装置を本開示の設定支援装置として機能させることが可能になる。

３．各実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した各実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

以上に説明した課題を解決するため、本開示の投写領域の設定支援方法の一態様は、取得処理ＳＡ１１０、推定処理ＳＡ１２０、算出処理ＳＡ１３０、及び第１表示制御処理ＳＡ１４０を含む。取得処理ＳＡ１１０では、プロジェクターから投写画像を投写される被投写物を撮像装置により撮像して得られる第１画像が取得される。推定処理ＳＡ１２０では、被投写物において投写画像の投写先となる投写領域の形状が第１画像に基づいて推定される。算出処理ＳＡ１３０では、投写領域の形状の第１候補を示す第１テンプレート画像と、第１候補とは異なる第２候補の形状を示す第２テンプレート画像の各々について、第１画像に基づいて推定された形状との類似度が算出される。第１表示制御処理ＳＡ１４０では、第１候補及び第２候補の何れかを投写領域の形状として設定することをユーザーに促すために、第１テンプレート画像及び第２テンプレート画像が各々の類似度に応じた表示順又は表示態様で表示される。本態様の設定支援方法によれば、ユーザーは第１候補及び第２候補の表示順又は表示態様を参考に、適切な方を投写領域の形状として設定することができる。

より好ましい態様の設定支援方法における推定処理ＳＡ１２０では、第１画像に対してエッジ抽出が施され、エッジ抽出結果に基づいて投写領域の形状が推定されてもよい。別の好ましい態様の設定支援方法における推定処理ＳＡ１２０では、投写画像内の位置を表す第１座標系と第１画像内の位置を表す第２座標系との対応関係及び第１画像に基づいて、被投写物の三次元形状が推定され、被投写物の三次元形状の推定結果に基づいて投写領域の形状が推定されてもよい。

更に別の好ましい態様の設定支援方法における推定処理ＳＡ１２０では、物体の三次元形状と物体における投写領域の形状とを対応付けて学習済みで、三次元形状を示す情報の入力に応じて、対応する投写領域の形状を示す情報を出力する識別器を用いて、投写領域の形状が推定されてもよい。より詳細に説明すると、推定処理ＳＡ１２０では、被投写物について推定された三次元形状を示す情報が前記識別器へ入力され、識別器からの出力情報に応じて被投写物における投写領域の形状が推定される。更に別の好ましい態様の設定支援方法における推定処理ＳＡ１２０では、物体の画像と物体における投写領域の形状とを対応付けて学習済みで、物体の画像の入力に応じて、対応する投写領域の形状を示す情報を出力する識別器を用いて、投写領域の形状が推定されてもよい。より詳細に説明すると、推定処理ＳＡ１２０では、第１画像が前記識別器へ入力され、識別器からの出力情報に応じて被投写物における投写領域の形状が推定される。

別の好ましい態様の設定支援方法は、以下の設定処理ＳＡ１６０を含んでもよい。設定処理ＳＡ１６０は、第１候補の形状と第２候補の形状の何れかを選択するユーザーの操作を受け付け、ユーザーにより選択された方の形状を投写領域の形状として設定する処理である。更に好ましい態様の設定支援方法は、以下の変更処理ＳＡ１７０を含んでもよい。変更処理ＳＡ１７０では、投写領域の形状を変更する操作をユーザーに促すために、ユーザーにより選択された方の形状が表示される。そして、変更処理ＳＡ１７０では、ユーザーにより設定された投写領域の形状が、ユーザーの操作に応じて変更される。

別の好ましい態様の設定支援方法における第１表示制御処理ＳＡ１４０では、第１候補の形状及び第２候補の形状が、各々の類似度に応じた順で配列されて表示されてもよい。本態様によれば、各候補の表示順を通じて各候補の類似の程度を把握することができる。

別の好ましい態様の設定支援方法における第１表示制御処理ＳＡ１４０では、第１候補の形状及び第２候補の形状のうち類似度が高い方は他方より大きく表示されてもよい。本態様によれば、各候補の形状の大きさを通じて各候補の類似の程度を把握することができる。また、本態様によれば、類似度が高い方の形状は他方の形状よりも大きく表示されるので、類似度が高い方の形状を他方の形状よりも目立たせることができる。換言すれば、類似度が低い方の形状は他方の形状よりも小さく表示されるので、類似度が低い方の形状は他方の形状よりも目立たなくなる。

別の好ましい態様の設定支援方法における第１表示制御処理ＳＡ１４０では、第１候補の形状及び第２候補の形状は、各々の類似度に応じた装飾を付与して表示されてもよい。類似度に応じた装飾の具体的な態様の一例としては、第１候補の形状及び第２候補の形状を各々の類似度に応じた色で塗りつぶす態様が挙げられる。本態様によれば、各候補の形状を塗りつぶした色を通じて各候補の類似の程度を把握することができる。類似度に応じた装飾の他の具体例としては、第１候補の形状及び第２候補の形状を、各々の類似度に応じた色の背景又は前景と重ねて表示する態様が挙げられる。本態様によれば、各候補の形状の背景又は前景の色を通じて各候補の類似の程度を把握することができる。

別の好ましい態様の設定支援方法における第１表示制御処理ＳＡ１４０は、第１候補の形状の類似度が閾値未満である場合には第１候補の形状を表示させず、第２候補の形状の類似度が閾値未満である場合には第２候補の形状を表示させなくてもよい。本態様の設定支援方法では類似度が閾値未満の形状は投写領域の候補として表示されないので、携帯端末のように表示領域の狭い端末装置に好適である。

以上に説明した課題を解決するため、本開示の投写領域の設定支援システムは、撮像装置５０と、表示装置と、処理装置４０と、を含む。処理装置４０は、前述の取得処理ＳＡ１１０、推定処理ＳＡ１２０、算出処理ＳＡ１３０、及び第１表示制御処理ＳＡ１４０を実行する。本態様の設定支援システムによっても、ユーザーは第１候補及び第２候補の表示順又は表示態様を参考に、適切な方を投写領域の形状として設定することができる。

以上に説明した課題を解決するため、本開示のプログラムは、コンピューターに、前述の取得処理ＳＡ１１０、推定処理ＳＡ１２０、算出処理ＳＡ１３０、及び第１表示制御処理ＳＡ１４０を実行させる。本態様のプログラムによっても、ユーザーは第１候補及び第２候補の表示順又は表示態様を参考に、適切な方を投写領域の形状として設定することができる。

１Ａ…設定支援装置、２…プロジェクター、１０…タッチパネル、２０…通信装置、３０…記憶装置、４０…処理装置、４００…特定部、４１０…取得部、４２０…推定部、４３０…算出部、４４０…第１表示制御部、４５０…第２表示制御部、４６０…設定部、４７０…変更部、５０…撮像装置、ＰＡ…プログラム、ＴＤ…テンプレートデータ、ＳＣ…被投写物、５Ａ…画像表示システム。

Claims (15)

1. プロジェクターから投写画像を投写される被投写物を撮像装置により撮像して得られる第１画像を取得し、
   前記被投写物において前記投写画像の投写先となる投写領域の形状を前記第１画像に基づいて推定し、
   前記投写領域の形状の第１候補を示す第１テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第１類似度を算出し、
   前記第１候補とは異なる第２候補の形状を示す第２テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第２類似度を算出し、
   前記第１テンプレート画像及び前記第２テンプレート画像の各々を前記第１類似度及び前記第２類似度に応じた表示順又は表示態様で表示することで、前記第１候補及び前記第２候補の何れかを前記投写領域の形状として設定する操作をユーザーから受け付ける、
   投写領域の設定支援方法。
2. 前記第１画像に対してエッジ抽出を施し、エッジ抽出結果に基づいて前記投写領域の形状を推定する、請求項１に記載の投写領域の設定支援方法。
3. 前記投写画像内の位置を表す第１座標系と前記第１画像内の位置を表す第２座標系との対応関係及び前記第１画像に基づいて、前記被投写物の三次元形状を推定し、前記被投写物の三次元形状の推定結果に基づいて前記投写領域の形状を推定する、請求項１に記載の投写領域の設定支援方法。
4. 物体の三次元形状と前記物体における投写領域の形状とを対応付けて学習済みの識別器であって、三次元形状を示す情報の入力に応じて、対応する投写領域の形状を示す情報を出力する識別器、へ前記被投写物について推定された三次元形状を示す情報を入力し、前記識別器からの出力情報に応じて前記被投写物における投写領域の形状を推定する、請求項３に記載の投写領域の設定支援方法。
5. 物体の画像と前記物体における投写領域の形状とを対応付けて学習済みの識別器であって、物体の画像の入力に応じて、対応する投写領域の形状を示す情報を出力する識別器、へ前記第１画像を入力し、前記識別器からの出力情報に応じて前記被投写物における投写領域の形状を推定する、請求項１に記載の投写領域の設定支援方法。
6. 前記第１候補の形状と前記第２候補の形状の何れかを選択する前記ユーザーの操作を受け付け、
   前記ユーザーにより選択された方の形状を前記投写領域の形状として設定する、請求項１乃至５のうちの何れか１項に記載の投写領域の設定支援方法。
7. 前記ユーザーにより選択された方の形状を表示することで、前記投写領域の形状を変更する操作をユーザーに促し、
   前記ユーザーにより設定された前記投写領域の形状を、前記ユーザーの操作に応じて変更する、請求項６に記載の投写領域の設定支援方法。
8. 前記第１候補の形状及び前記第２候補の形状を、各々の類似度に応じた順で配列して表示する、請求項１乃至７のうちの何れか１項に記載の投写領域の設定支援方法。
9. 前記第１候補の形状及び前記第２候補の形状のうち類似度が高い方を他方より大きく表示する、請求項１乃至８のうちの何れか１項に記載の投写領域の設定支援方法。
10. 前記第１候補の形状と前記第２候補の形状に各々の類似度に応じた装飾を付与して表示する、請求項１乃至９のうちの何れか１項に記載の投写領域の設定支援方法。
11. 前記第１候補の形状及び前記第２候補の形状を各々の類似度に応じた色で塗りつぶして表示する、請求項１０に記載の投写領域の設定支援方法。
12. 前記第１候補の形状及び前記第２候補の形状を、各々の類似度に応じた色の背景に重ねて、又は各々の類似度に応じた色の前景を上に重ねて表示する、請求項１０又は請求項１１に記載の投写領域の設定支援方法。
13. 前記第１候補の形状の類似度が閾値未満である場合には前記第１候補の形状を表示せず、前記第２候補の形状の類似度が閾値未満である場合には前記第２候補の形状を表示しない、請求項１乃至１２のうちの何れか１項に記載の投写領域の設定支援方法。
14. 撮像装置と、
    表示装置と、
    処理装置と、を含み、
    前記処理装置は、
    プロジェクターから投写画像を投写される被投写物を前記撮像装置により撮像して得られる第１画像を取得すること、
    前記被投写物において前記投写画像の投写先となる投写領域の形状を前記第１画像に基づいて推定すること、
    前記投写領域の形状の第１候補を示す第１テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第１類似度を算出すること、
    前記第１候補とは異なる第２候補の形状を示す第２テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第２類似度を算出すること、及び
    前記第１テンプレート画像及び前記第２テンプレート画像の各々を前記第１類似度及び前記第２類似度に応じた表示順又は表示態様で表示することで、前記第１候補及び前記第２候補の何れかを前記投写領域の形状として設定する操作をユーザーから受け付けること実行する、
    投写領域の設定支援システム。
15. コンピューターに、
    プロジェクターから投写画像を投写される被投写物を撮像装置により撮像して得られる第１画像を取得すること、
    前記被投写物において前記投写画像の投写先となる投写領域の形状を前記第１画像に基づいて推定すること、
    前記投写領域の形状の第１候補を示す第１テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第１類似度を算出すること、
    前記第１候補とは異なる第２候補の形状を示す第２テンプレート画像と、前記第１画像に基づいて推定された形状とが類似する程度を示す第２類似度を算出すること、及び、
    前記第１テンプレート画像及び前記第２テンプレート画像の各々を前記第１類似度及び前記第２類似度に応じた表示順又は表示態様で表示することで、前記第１候補及び前記第２候補の何れかを前記投写領域の形状として設定する操作をユーザーから受け付けること、
    を実行させるプログラム。

Images