JP2022046059A - 情報生成方法、情報生成システム、及びプログラム - Google Patents

Abstract

【課題】被投写物の設置場所に赴くことなく、簡便に表示領域を設定できるようにする。【解決手段】特定部４１０、設定支援部４２０Ａ及び生成部４４０を有する情報生成装置１Ａを提供する。特定部４１０は、プロジェクター２が被投写物ＳＣに投写する第１画像と、第１画像を投写されている被投写物ＳＣを撮像装置５０で撮像した第２画像とから、プロジェクター座標系とカメラ座標系との対応関係を特定する。設定支援部４２０Ａは、被投写物ＳＣの撮像画像をタッチパネル１０の表示装置に表示させ、表示領域を指定する第１操作の実行をユーザーに促す。生成部４４０は、第１操作により指定された表示領域に投写オブジェクトを配置した投写画像をプロジェクター２に投写させるための情報を、指定された表示領域を示す情報と特定部４１０により特定された対応関係とに基づいて生成する。【選択図】図１

Description

本開示は、情報生成方法、情報生成システム、及びプログラム、に関する。

プロジェクションマッピングでは、スクリーン等の被投写物にプロジェクターから投写される投写画像に投写オブジェクトが適切に配置されていないと、期待した効果が得られない。特許文献１には、投写オブジェクトの配置先となる表示領域を指定する操作がスクリーン上で為された場合、スクリーン上のセンシングによって当該操作を検出し、検出された操作に応じて表示領域を設定する技術が開示されている。

特開２００５－１９５９３９号公報

特許文献１に開示の技術には、被投写物がユーザーの手が届かない高所に設置される場合、表示領域の指定に支障が生じるという問題がある。また、特許文献１に開示の技術には、投写画像を変更する毎に、被投写物の設置場所に赴いて表示領域を設定する作業を行う必要がある。店舗内の装飾等にプロジェクションマッピングを使用する場合、クリスマス等のイベント或いは季節に応じて投写画像を変更することが通常である。投写画像を変更する度に被投写物の設置場所に赴いて表示領域を設定する作業を行うことは煩わしい、という問題もある。

以上の課題を解決するために、本開示の情報生成方法は、プロジェクターから被投写物に投写される第１画像と、前記第１画像を投写されている状態の前記被投写物をカメラにより撮像して得られる第２画像とから、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定し、前記カメラによる前記被投写物の撮像画像を表示装置に表示させることにより、前記プロジェクターから前記被投写物に投写する投写オブジェクトの前記カメラ座標系における配置先となる表示領域を指定する第１操作の実行をユーザーに促し、前記第１操作により指定された前記表示領域に前記投写オブジェクトを配置した投写画像を前記プロジェクターに投写させるための情報を、前記第１操作により指定された前記表示領域を示す情報と前記対応関係とに基づいて生成する。

また、上記課題を解決するために、本開示の情報生成システムは、入力装置と、表示装置と、処理装置と、を備え、前記処理装置は、プロジェクターから被投写物に投写される第１画像と、前記第１画像を投写されている状態の前記被投写物をカメラにより撮像して得られる第２画像とから、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、前記カメラによる前記被投写物の撮像画像を前記表示装置に表示させることにより、前記プロジェクターから前記被投写物に投写する投写オブジェクトの前記カメラ座標系における配置先となる表示領域を指定する第１操作の前記入力装置への入力をユーザーに促すこと、及び、前記第１操作により指定された前記表示領域に前記投写オブジェクトを配置した投写画像を前記プロジェクターに投写させるための情報を、前記第１操作により指定された前記表示領域を示す情報と前記対応関係とに基づいて生成すること、を実行する。

また、上記課題を解決するために、本開示のプログラムは、コンピューターに、プロジェクターから被投写物に投写される第１画像と、前記第１画像を投写されている状態の前記被投写物をカメラにより撮像して得られる第２画像とから、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、前記カメラによる前記被投写物の撮像画像を表示装置に表示させることにより、前記プロジェクターから前記被投写物に投写する投写オブジェクトの前記カメラ座標系における配置先となる表示領域を指定する第１操作の実行をユーザーに促すこと、及び、前記第１操作により指定された前記表示領域に前記投写オブジェクトを配置した投写画像を前記プロジェクターに投写させるための情報を、前記第１操作により指定された前記表示領域を示す情報と前記対応関係とに基づいて生成すること、を実行させる。

本開示の第１実施形態に係る情報生成方法を実行する情報生成装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。 本実施形態における計測パターンの一例を示す図である。 情報生成装置１Ａの処理装置４０が、表示領域の設定を促すために表示装置に表示させる画像の一例、第１操作により描かれる軌跡、及びこの軌跡に沿って取得される複数の点の一例を示す図である。 設定支援部４２０Ａによる補正後の第１領域情報の示す複数の点の一例を示す図である。 第２操作の一例を示す図である。 更新部４３０による更新後の輪郭線の一例を示す図である。 更新部４３０による更新後の輪郭線の他の例を示す図である。 情報生成装置１Ａの処理装置４０がプログラムＰＡに従って実行する情報生成方法の流れを示すフローチャートである。 本開示の第２実施形態に係る情報生成方法を実行する情報生成装置１Ｂを含む画像表示システム５Ｂの構成例を示すブロック図である。 情報生成装置１Ｂの処理装置４０が、表示領域の設定を促すために表示装置に表示させる画像の一例、第１操作により描かれる軌跡、及びこの軌跡に沿って取得される複数の点の一例を示す図である。 設定支援部４２０Ｂによる補正後の第１領域情報の示す複数の点の一例を示す図である。 情報生成装置１Ｂの処理装置４０がプログラムＰＢに従って実行する情報生成方法の流れを示すフローチャートである。 本開示の第３実施形態に係る情報生成方法を実行する情報生成装置１Ｃを含む画像表示システム５Ｃの構成例を示すブロック図である。 設定支援部４２０Ｃにより生成される第１領域情報の示す複数の点の一例を示す図である。 設定支援部４２０Ｂによる補正後の表示領域の輪郭線の一例を示す図である。 情報生成装置１Ｃの処理装置４０がプログラムＰＣに従って実行する情報生成方法の流れを示すフローチャートである。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．第１実施形態
図１は、本開示の第１実施形態に係る情報生成方法を実行する情報生成装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。画像表示システム５Ａには、情報生成装置１Ａの他に、情報生成装置１Ａと通信するプロジェクター２が含まれる。プロジェクター２は、情報生成装置１Ａから供給される画像データに応じた投写画像Ｇ１を被投写物ＳＣの表面に投写する。図１では、詳細な図示を省略したが、プロジェクター２は、光源と、光変調装置としての３つの表示パネルと、投写レンズと、表示パネル駆動部とを備える。３つの表示パネルの各々は、夫々赤、緑及び青の各色に対応する。本実施形態では、表示パネルは液晶ライトバルブである。表示パネル駆動部は、情報生成装置１Ａから供給される画像データに応じて上記３つの表示パネルの各々における光の透過率を制御する。プロジェクター２は、光源から射出された光を３つの表示パネルの各々で変調して画像光を形成し、この画像光を投写レンズから投写して被投写物ＳＣの表面に投写画像を表示する。本実施形態における被投写物ＳＣの形状は、図１に示すように直方体であるが、三角錐或いは四角錐等の多角形の連結により構成される三次元形状、又は曲面を有する三次元形状であってもよい。

情報生成装置１Ａは、例えばスマートフォンである。情報生成装置１Ａは、撮像機能、及びプロジェクター２と通信する通信機能、を有する。情報生成装置１Ａは、スマートフォンに限らず、例えば、通信機能と撮像機能とを有するタブレット端末でもよい。情報生成装置１Ａとプロジェクター２とがネットワーク接続されると、情報生成装置１Ａは、プロジェクター２と通信し、プロジェクター２からプロジェクター情報を取得する。プロジェクター情報には、解像度情報、及びプロジェクター２において復号化可能な圧縮形式を示す圧縮形式情報が含まれる。解像度情報は、プロジェクター２における表示パネルの解像度を示す情報である。解像度情報は、プロジェクター２により被投写物ＳＣに投写される投写画像の位置を計測するための計測パターンを生成する際に利用される。詳細については後述するが、本実施形態では、計測パターンとしてバイナリコードパターンが用いられる。圧縮形式情報は、計測パターンを示す計測パターンデータを圧縮して情報生成装置１Ａからプロジェクター２へ送信する場合における計測パターンデータの圧縮形式の決定に利用される。情報生成装置１Ａからプロジェクター２へ計測パターンデータを圧縮して送信する場合の圧縮形式は、ランレングス、ＬＺＨ、ＰＮＧ、及びＧＩＦ等の可逆圧縮形式が望ましい。

情報生成装置１Ａは、プロジェクター２から取得した解像度情報を用いて複数の計測パターンの各々を表す計測パターンデータを生成し、生成した計測パターンデータをプロジェクター２に与える。プロジェクター２は、情報生成装置１Ａから与えられる計測パターンデータの示す複数の計測パターンの各々の画像を被投写物ＳＣに投写する。なお、情報生成装置１Ａからプロジェクター２へコマンドを送信し、このコマンドに基づいて計測パターンデータをプロジェクター２が生成してもよく、この場合、プロジェクター情報に圧縮形式情報を含めておく必要はない。プロジェクター２で計測パターンデータを生成する態様であれば、情報生成装置１Ａからプロジェクター２に計測パターンを伝達するための通信時間が短縮される。情報生成装置１Ａは、計測パターン毎に、当該計測パターンの画像を投写されている状態の被投写物ＳＣを撮像することをユーザーに促す。情報生成装置１Ａは、計測パターンの画像を投写されている状態の被投写物ＳＣをユーザーの操作に応じて撮像機能により撮像する。

情報生成装置１Ａは、計測パターンの画像を投写されている状態の被投写物ＳＣの撮像画像と計測パターンの画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。プロジェクター座標系とはプロジェクター２による投写画像上の位置を示す座標系である。プロジェクター座標系の一例としては、投写画像の左上隅を原点とする二次元座標系が挙げられる。カメラ座標系とは、撮像画像上の位置を示す座標系である。カメラ座標系の具体例としては撮像画像の左上隅を原点とする二次元座標系が挙げられる。

プロジェクター座標系とカメラ座標系との対応関係を特定するとは、一方の座標系から他方の座標系への射影変換のための変換行列を生成することをいう。本実施形態では、情報生成装置１Ａは、カメラ座標系の座標をプロジェクター座標系の座標へ変換する変換行列を生成する。

図１に示すように、情報生成装置１Ａは、タッチパネル１０と、通信装置２０と、記憶装置３０と、処理装置４０と、撮像装置５０と、を含む。通信装置２０は、無線通信モジュール又は有線通信モジュールである。通信装置２０が有線通信モジュールである場合、通信装置２０は通信線を介してプロジェクター２に接続される。情報生成装置１Ａとプロジェクター２との接続は、無線アクセスポイント装置又はルーター等の中継装置を介さない直接接続であってもよいし、中継装置を介する間接接続であってもよい。通信装置２０が無線通信モジュールである場合、直接接続の具体例としてはアドホック接続が挙げられ、間接接続の具体例としては無線アクセスポイント装置を介するアクセスポイント接続が挙げられる。また、通信装置２０が有線通信モジュールである場合、直接接続の具体例としてはピアトゥーピア接続が挙げられ、間接接続の具体例としては有線ルーター又は有線ハブを介する接続が挙げられる。通信装置２０は、処理装置４０による制御の下、プロジェクター２と通信する。撮像装置５０はカメラである。撮像装置５０は、処理装置４０による制御の下で撮像を行い、撮像画像を表す画像データを処理装置４０に供給する。

タッチパネル１０は、画像を表示する表示装置と、ユーザーによる情報が入力される入力装置とが、一体化された装置である。入力装置は、例えば透明なシート状の接触センサーである。入力装置は、表示装置の表示面を覆うように設けられる。入力装置は、当該入力装置に接触する物体と当該入力装置とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータを処理装置４０へ出力する。これにより、タッチパネル１０に対するユーザーの操作内容が処理装置４０へ伝達される。

記憶装置３０は、処理装置４０が読み取り可能な記録媒体である。記憶装置３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

記憶装置３０の不揮発性メモリーには、処理装置４０によって実行されるプログラムＰＡが記憶される。記憶装置３０の揮発性メモリーはプログラムＰＡを実行する際のワークエリアとして処理装置４０によって利用される。プログラムＰＡは、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラムＰＡは、例えば、通信装置２０を介して不図示のサーバー等から取得され、その後、記憶装置３０に記憶される。プログラムＰＡは、記憶装置３０に予め記憶されてもよい。

処理装置４０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーを含んで構成される。処理装置４０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置４０は、プログラムＰＡの実行開始を指示する操作がタッチパネル１０に対して為されたことを契機としてプログラムＰＡを不揮発性メモリーから揮発性メモリーに読み出し、プログラムＰＡの実行を開始する。プログラムＰＡに従って作動中の処理装置４０は、図１に示す特定部４１０、設定支援部４２０Ａ、更新部４３０、及び生成部４４０として機能する。図１に示す特定部４１０、設定支援部４２０Ａ、更新部４３０、及び生成部４４０は、処理装置４０をプログラムＰＡに従って動作させることで実現されるソフトウェアモジュールである。

特定部４１０は、プロジェクター２から投写される計測パターンの画像と、当該計測パターンの画像を投写されている状態の被投写物ＳＣを撮像装置５０で撮影して得られる撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。プロジェクター２から投写される計測パターンの画像は本開示における第１画像の一例である。計測パターンの画像が投写されている状態の被投写物ＳＣを撮像装置５０で撮影して得られる撮像画像は本開示における第２画像の一例である。

より詳細に説明すると、特定部４１０は、情報生成装置１Ａとプロジェクター２とがネットワーク接続された状況下において、タッチパネル１０に対する操作により特定開始を指示されたことを契機としてプロジェクター情報を取得する。次いで、特定部４１０は、プロジェクター情報に含まれる解像度情報から計測パターンデータを生成する。特定部４１０は、計測パターンデータの表す複数の計測パターンの各々を順次投写するようにプロジェクター２を制御する。また、特定部４１０は、被投写物ＳＣに順次投写される複数の計測パターンの各々を撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせる。そして、特定部４１０は、複数の計測パターンの画像と、撮像装置５０により撮像される複数の撮像画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。

更に詳述すると、特定部４１０は、撮像装置５０により撮像された撮像画像における計測パターンの座標をプロジェクター２の表示装置における計測パターンの座標に射影変換するための変換行列を複数の計測パターンの画像と複数の撮像画像とから生成する。この変換行列は、被投写物ＳＣに投写する投写画像の幾何学的な補正を実現する変形の際にも利用される。本実施形態では、プロジェクター２から投写画像を投写させる際には、上記変換行列を用いて幾何学的な補正を実施済の投写オブジェクトを含む投写画像の画像データが情報生成装置１Ａからプロジェクター２に与えられ、プロジェクター２は当該画像データに従って画像を投写する。

前述したように、本実施形態では計測パターンとしてバイナリコードパターンが用いられる。バイナリコードパターンとは、バイナリコードを使って表示装置の座標を表現するための画像のことをいう。バイナリコードとは、任意の数値を２進数で表現した場合の各桁の値をスイッチのオン／オフによって表現する技法である。計測パターンとしてバイナリコードパターンを用いる場合、プロジェクター２により投写される画像が上記のスイッチにあたり、座標値を表す２進数の桁数分の画像が必要となる。また、Ｘ座標とＹ座標とで夫々別個の画像が必要となる。例えば、プロジェクター２の表示パネルの解像度が１２０×９０である場合、１２０及び９０は夫々７桁の２進数で表現されるため、Ｘ座標を表現するために７枚の画像が必要となり、Ｙ座標を表現するために７枚の画像が必要となる。

また、バイナリコードパターンを計測パターンとして用いる場合、照明等の外乱光の影響により計測のロバスト性が低下することが一般的に知られている。このため、バイナリコードパターンを計測パターンとして用いる場合には、外乱光の影響を抑え、計測のロバスト性を向上させるために相補パターンを併用することが一般的である。相補パターンとは、白黒を反転した画像のことをいう。以下では、１を白で表し、０を黒で表すバイナリコードパターンを「ポジティブパターン」と呼び、それを反転させた相補パターンを「ネガティブパターン」と呼ぶ。本実施形態では、解像度情報の示す解像度が１２０×９０である場合、図２に示すように、ポジティブパターンが１４枚、ネガティブパターンが１４枚の合計２８枚の計測パターンを表す計測パターンデータが特定部４１０によって生成される。本実施形態では、計測パターンとしてバイナリコードパターンが用いられるが、ドットパターン、矩形パターン、多角形パターン、チェッカーパターン、グレイコードパターン、位相シフトパターン、又はランダムドットパターン等の他の構造化光が用いられてもよい。

設定支援部４２０Ａは、カメラ座標系において投写オブジェクトの配置先となる表示領域を指定する第１操作の実行をユーザーに促すために、設定支援画面をタッチパネル１０の表示装置に表示させる。本実施形態における設定支援画面は、撮像装置５０による被投写物ＳＣの撮像画像に基づいて生成される。設定支援画面の元になる撮像画像については、複数の第２画像のうちの何れかを流用してもよい。第１操作の具体例としては、表示領域の輪郭線を描く操作が挙げられる。本実施形態における第１操作は、タッチパネル１０に対するスワイプにより表示領域の輪郭線に対応する軌跡を描く操作である。

設定支援部４２０Ａは、第１操作により描かれる軌跡上の点の座標を、例えば１ミリ秒等の一定期間毎に取得し、取得した各座標を示す情報と取得順を示す情報とを対応付けて配列して、表示領域の輪郭線上の複数の点を一対一に示す複数の座標を示す第１領域情報を生成する。取得順を示す情報の具体例としては、頂点順が遅い程、値が大きくなるＩＤが挙げられる。なお、第１操作により描かれる軌跡上の点の座標そのものではなく、当該座標に対して所定のオフセットを加算した座標を用いて第１領域情報を生成してもよい。本実施形態では、表示領域の輪郭線に対応する軌跡をタッチパネル１０に対するスワイプで描くことで表示領域を指定した。しかし、タッチパネル１０に対するタップ等により、表示領域の輪郭線を描くように第１表示領域の頂点を順に指定してもよい。頂点とは、輪郭線が折れ曲がる箇所のことをいう。例えば、矩形の表示領域を指定する場合には、左上隅の頂点、右上隅、右下隅、左下隅の順に矩形の４個の頂点をタップする操作が考えられる。

図３は、第１操作の実行を促すために設定支援部４２０Ａが表示装置に表示させる設定支援画面Ｇ２、及び設定支援画面Ｇ２に対して為された第１操作の一例を示す図である。図３にて横線のハッチングを付与した領域は、特定部４１０によりプロジェクター座標系との対応関係を特定済の領域である。図３には、第１操作により描かれた軌跡Ｔ１が点線で図示されている。なお、図３では、図面が煩雑になることを避けるため、軌跡Ｔ１の一部のみが図示されている。設定支援部４２０Ａにより生成される第１領域情報には、軌跡Ｔ１上の点Ｐ１、点Ｐ２、点Ｐ３、及び点Ｐ４の各々のカメラ座標系における座標を示す情報と、各点の取得順、即ち表示領域の輪郭線を作成する際に各点を線で結ぶ順を示す情報とが含まれる。

次いで、設定支援部４２０Ａは、第１領域情報の示す複数の点の各々について、特定部４１０により特定された対応関係により対応付けられるプロジェクター座標系の座標の有無を判定する。そして、設定支援部４２０Ａは、対応関係により対応付けられるプロジェクター座標系の座標が無い点の座標を第１領域情報から除外する。対応するプロジェクター座標系の座標が無い点の座標を第１領域情報から除外するのは、輪郭線上の複数の点の座標を示す第１領域情報により表される表示領域を、確実にプロジェクター座標系へ変換できるようにするためである。

図３に示す例では、点Ｐ１、点Ｐ２、点Ｐ３、及び点Ｐ４のうち、点Ｐ２は、特定部４１０にて対応関係が特定された領域外に位置している。つまり、点Ｐ２には、対応するプロジェクター座標系の座標は無い。このため、設定支援部４２０Ａは、第１領域情報から点Ｐ２に関する情報を除外することで第１領域情報を補正する。図４は、補正後の第１領域情報により示される輪郭線の一部である線Ｒ１、線Ｒ１上の点Ｐ１、点Ｐ３及び点Ｐ４を示す図である。

更新部４３０は、第２操作がユーザーにより為された場合、第１領域情報を第２操作に応じて更新する。第２操作は、第１操作により指定された表示領域の輪郭線上の点を指定し、指定した点を移動させる操作である。第２操作に応じて第１領域情報を更新することで、複雑な形状の表示領域を設定することが可能になる。

例えば、図５に示すように、設定支援画面Ｇ２に対して、第１操作により指定された輪郭線Ｒ２上の点Ｐ５を指定し、指定した点Ｐ５を図５における矢印方向に移動させる第２操作が為されたとする。この場合、更新部４３０は、第１領域情報に含まれる点Ｐ５の座標を示す情報を、第２操作に応じて更新する。その結果、更新後の第１領域情報は、図６に示す輪郭線Ｒ３を示す情報となる。なお、第２操作により指定された点の座標のみを更新するのではなく、第１操作により指定された輪郭線において、第２操作により指定された点の周囲に位置する各点の座標を、第２操作により指定された点から遠ざかるほど変更量を小さくしつつ、第２操作により移動された点と同じ方向に変更することで、第１領域情報を更新してもよい。この場合、更新後の第１領域情報は、図７に示す輪郭線Ｒ４を示す情報となる。

生成部４４０は、第１領域情報により輪郭線上の複数の点の座標が示される表示領域に投写オブジェクトを配置した投写画像をプロジェクター２に投写させるための情報を、第１領域情報と特定部４１０により特定された対応関係とに基づいて生成する。より詳細に説明すると、生成部４４０は、特定部４１０により生成した変換行列を用いて、第１領域情報を、プロジェクター座標系における表示領域の輪郭線上の複数の点の座標を示す第２領域情報に変換する。第２領域情報は、第１領域情報により輪郭線上の複数の座標が示される表示領域に投写オブジェクトを配置した投写画像をプロジェクター２に投写させるための情報の一例である。第２領域情報に従って表示領域を設定し、当該表示領域に投写オブジェクトを配置した投写画像の画像データを生成し、当該画像データをプロジェクター２に与えることで、第１操作により指定された表示領域に投写オブジェクトを配置した投写画像をプロジェクター２に投写させることができるからである。

また、プログラムＰＡに従って作動している処理装置４０は、本開示の情報生成方法を実行する。図８は、処理装置４０がプログラムＰＡに従って実行する情報生成方法の流れを示す図である。図８に示すように、本開示の情報生成方法には、特定処理ＳＡ１１０、設定支援処理ＳＡ１２０、第１判定処理ＳＡ１３０、更新処理ＳＡ１４０、及び生成処理ＳＡ１５０が含まれる。

特定処理ＳＡ１１０では、処理装置４０は、特定部４１０として機能する。特定処理ＳＡ１１０では、処理装置４０は、タッチパネル１０に対する操作により、ユーザーから特定開始を指示されたことを契機としてプロジェクター２に対してプロジェクター情報の送信を要求し、プロジェクター２から返信されるプロジェクター情報を取得する。次いで、処理装置４０は、プロジェクター２から取得したプロジェクター情報に含まれる解像度情報に基づいて複数の計測パターンを生成する。処理装置４０は、計測パターンデータの表す複数の計測パターンの各々を順次投写するようにプロジェクター２を制御する。また、処理装置４０は、被投写物ＳＣに順次投写される複数の計測パターンの各々を撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせ、第２画像を取得する。そして、処理装置４０は、第１画像と第２画像とから、カメラ座標系の座標をプロジェクター座標系の座標に変換する変換行列を生成する。

特定処理ＳＡ１１０に後続する設定支援処理ＳＡ１２０では、処理装置４０は、設定支援部４２０Ａとして機能する。設定支援処理ＳＡ１２０では、処理装置４０は、第１操作の実行を促すために、設定支援画面をタッチパネル１０の表示装置に表示させる。そして、処理装置４０は第１操作によって描かれた軌跡上の各点の座標を一定期間毎に取得して第１領域情報を生成する。ただし、処理装置４０は、第１領域情報の示す複数の点の座標のうち、対応するプロジェクター座標系の座標が無い点の座標を第１領域情報から除外して第１領域情報を補正する。

設定支援処理ＳＡ１２０に後続する第１判定処理ＳＡ１３０では、処理装置４０は、タッチパネル１０に対する操作により、第２操作が為されたか否かを判定する。第１判定処理ＳＡ１３０の判定結果が“Ｎｏ”である場合には、処理装置４０は、生成処理ＳＡ１５０を実行する。これに対して、第１判定処理ＳＡ１３０の判定結果が“Ｙｅｓ”である場合には、処理装置４０は、更新処理ＳＡ１４０を実行した後に生成処理ＳＡ１５０を実行する。更新処理ＳＡ１４０では、処理装置４０は、更新部４３０として機能する。第１領域情報を第２操作に応じて更新する。

生成処理ＳＡ１５０では、処理装置４０は生成部４４０として機能する。生成処理ＳＡ１５０では、処理装置４０は、第１領域情報を、特定処理ＳＡ１１０にて生成した変換行列を用いて第２領域情報に変換する。

本実施形態の情報生成装置１Ａによれば、被投写物ＳＣの撮像画像に対する操作で表示領域を設定することが可能になる。このため、被投写物ＳＣの撮像画像を一度撮像すれば、被投写物ＳＣの設置場所へ赴くことなく表示領域を設定することが可能になる。また、本実施形態の情報生成装置１Ａによれば、被投写物ＳＣがユーザーの手が届かない高所に設置される場合でも、何らの支障なく表示領域を指定することが可能になる。このように、本実施形態の情報生成装置１Ａによれば、投写画像の変更の度に被投写物ＳＣの設置場所へ赴くことなく、簡便に表示領域を設定することが可能になる。加えて、本実施形態の情報生成装置１Ａによれば、確実にプロジェクター座標系へ変換可能な表示領域を設定することが可能になる。

２．第２実施形態
図９は、本開示の第２実施形態に係る情報生成方法を実行する情報生成装置１Ｂを含む画像表示システム５Ｂの構成例を示すブロック図である。図９では、図１におけるものと同じ構成要素には、同一の符号が付されている。図９と図１とを対比すれば明らかなように、画像表示システム５Ｂと画像表示システム５Ａとの相違点は、情報生成装置１Ａに代えて情報生成装置１Ｂを設けた点である。情報生成装置１Ｂと情報生成装置１Ａとの相違点は、プログラムＰＡに代えてプログラムＰＢが記憶装置３０に記憶されている点である。プログラムＰＢは、処理装置４０を特定部４１０、更新部４３０及び生成部４４０として機能させる点ではプログラムＰＡと同一である。プログラムＰＢは、設定支援部４２０Ａではなく、設定支援部４２０Ｂとして処理装置４０を機能させる点においてプログラムＰＡと異なる。

設定支援部４２０Ｂは、第１操作の実行をユーザーに促すために、撮像装置５０による被投写物ＳＣの撮像画像を元に生成した設定支援画面をタッチパネル１０の表示装置に表示させる。この点は設定支援部４２０Ａと同一である。また、設定支援部４２０Ｂは、第１操作に応じて第１領域情報を生成する。この点も、設定支援部４２０Ａと同一である。

設定支援部４２０Ｂと設定支援部４２０Ａとの相違点は次の通りである。設定支援部４２０Ｂは、カメラ座標系における被投写物ＳＣの輪郭線を示す輪郭情報を取得する。輪郭情報の具体例としては、被投写物ＳＣの撮像画像にエッジ抽出を施して得られるエッジ情報が挙げられる。エッジ情報とは、画像におけるエッジの座標を示す情報であり、エッジとは画像の水平走査方向又は垂直走査方向に画素の輝度をサンプリングしたときに輝度が急激に変化する画素のことをいう。被投写物ＳＣの撮像画像において被投写物ＳＣに対応する画素と被投写物ＳＣの背景に対応する画素とでは輝度が異なることが通常である。つまり、被投写物ＳＣの撮像画像において被投写物ＳＣの輪郭線はエッジとなっていることが通常である。このため、被投写物ＳＣの撮像画像から求めたエッジ情報を輪郭情報として利用することができる。なお、輪郭情報の具体例は被投写物ＳＣの撮像画像から求めたエッジ情報には限定されず、被投写物ＳＣをＣＡＤ（Computer Aided Design）により描画した場合のＣＡＤ情報を輪郭情報としてもよい。

次いで、設定支援部４２０Ｂは、第１領域情報の示す複数の点の各々について、輪郭情報の示す輪郭線からの距離が第１閾値以上であるか否かを判定し、判定結果が肯定である点の座標を第１領域情報から除外することで第１領域情報を補正する。なお、第１閾値の具体的な値については、適宜実験等を行って好適な値を求めればよい。例えば、設定支援画面Ｇ３に対する第１操作により、図１０に示すように、軌跡Ｔ２が描かれ、軌跡Ｔ２上の点の座標として点Ｐ１、点Ｐ２、点Ｐ３、及び点Ｐ４の各々の座標が一定期間毎にこの順に取得されたとする。なお、図１０では、軌跡Ｔ２の一部のみが図示されている。そして、点Ｐ２及び点Ｐ３については、被投写物ＳＣの輪郭線からの距離が第１閾値以上であったとする。この場合、設定支援部４２０Ｂは、点Ｐ２及び点Ｐ３の各々に関する情報を第１領域情報から除外することで第１領域情報を補正する。図１１は、設定支援部４２０Ｂによる補正後の第１領域情報により示される輪郭線の一部である線Ｒ５、線Ｒ５上の点Ｐ１及び点Ｐ４を示す図である。

また、プログラムＰＢに従って作動している処理装置４０は、本開示の情報生成方法を実行する。図１２は、処理装置４０がプログラムＰＢに従って実行する情報生成方法の流れを示す図である。図１２では図８におけるものと同じ構成要素には同一の符号が付されている。本実施形態の情報生成方法は、設定支援処理ＳＡ１２０に代えて設定支援処理ＳＢ１２０を設けた点において第１実施形態の設定支援処理と異なる。設定支援処理ＳＢ１２０では、処理装置４０は、設定支援部４２０Ｂとして機能する。設定支援処理ＳＢ１２０Ｂでは、処理装置４０は、第１操作の実行をユーザーに促すために、撮像装置５０による被投写物ＳＣの撮像画像を元に生成した設定支援画面をタッチパネル１０の表示装置に表示させる。処理装置４０は第１操作によって描かれた軌跡上の各点の座標を一定期間毎に取得して第１領域情報を生成する。また、処理装置４０は、カメラ座標系における被投写物ＳＣの輪郭線を示す輪郭情報を取得する。そして、処理装置４０は、第１領域情報の示す複数の点の各々について、輪郭情報の示す輪郭線からの距離が第１閾値以上であるか否かを判定し、判定結果が肯定である点の座標を第１領域情報から除外することで第１領域情報を補正する。補正後の第１領域情報は、輪郭情報の示す輪郭線、即ち被投写物ＳＣの輪郭線に近似した輪郭線を表す。

本実施形態の情報生成装置１Ｂによっても、投写画像の変更の度に被投写物ＳＣの設置場所へ赴く必要はない。また、本実施形態の情報生成装置１Ｂによっても、被投写物ＳＣがユーザーの手が届かない高所に設置される場合でも、何らの支障なく表示領域を指定することが可能になる。このように、本実施形態の情報生成装置１Ｂによっても、投写画像の変更の度に被投写物ＳＣの設置場所へ赴くことなく、簡便に表示領域を設定することが可能になる。加えて、本実施形態の情報生成装置１Ｂによれば、被投写物ＳＣの輪郭線に近似した輪郭線を有する表示領域を設定することが可能になる。

本実施形態における設定支援部４２０Ｂは、第１領域情報の示す複数の点の各々について、輪郭情報の示す輪郭線からの距離が第１閾値以上であるか否かを判定し、判定結果が肯定である点の座標を第１領域情報から除外することで第１領域情報を補正した。しかし、輪郭情報に基づく補正と並列に、特定部４１０により特定された対応関係に基づく補正を設定支援部４２０Ｂに実行させてもよい。具体的には、第１領域情報の示す複数の点の各々について、特定部４１０により特定された対応関係により対応付けられるプロジェクター座標系の座標の有無を判定し、対応付けられるプロジェクター座標系の座標が無い点の座標を第１領域情報から除外する処理を、設定支援部４２０Ｂに更に実行させてもよい。

３．第３実施形態
図１３は、本開示の第３実施形態に係る情報生成方法を実行する情報生成装置１Ｃを含む画像表示システム５Ｃの構成例を示すブロック図である。図１３では、図１におけるものと同じ構成要素には、同一の符号が付されている。図１３と図１とを対比すれば明らかなように、画像表示システム５Ｃと画像表示システム５Ａとの相違点は、情報生成装置１Ａに代えて情報生成装置１Ｃを設けた点である。情報生成装置１Ｃと情報生成装置１Ａとの相違点は、プログラムＰＡに代えてプログラムＰＣが記憶装置３０に記憶されている点である。プログラムＰＣは、処理装置４０を特定部４１０、更新部４３０及び生成部４４０として機能させる点ではプログラムＰＡと同一である。プログラムＰＣは、設定支援部４２０Ａではなく、設定支援部４２０Ｃとして処理装置４０を機能させる点においてプログラムＰＡと異なる。

設定支援部４２０Ｃは、第１操作の実行をユーザーに促すために、撮像装置５０による被投写物ＳＣの撮像画像を元に生成した設定支援画面をタッチパネル１０の表示装置に表示させる。この点は設定支援部４２０Ａと同一である。設定支援部４２０Ｃと設定支援部４２０Ａとの相違点は次の通りである。

設定支援部４２０Ｃは、第１操作により描かれる軌跡に沿って一定期間毎に取得された複数の点の座標に基づいて第１の線を推定する。複数の点の座標に基づいて推定される第１の線は直線であってもよいし、曲線であってもよい。複数の点の座標に基づいて推定される直線の具体例としては、複数の点の座標から最小二乗法により求まる直線が挙げられる。また、複数の点の座標に基づいて推定される曲線の具体例としては、複数の点の座標からハフ変換により求まる曲線が挙げられる。本実施形態における第１の線は、複数の点の座標から最小二乗法により求まる直線である。また、設定支援部４２０Ｃは、第１操作により描かれる軌跡に沿って一定期間毎に取得された各座標のうち第１の線の推定に用いた各点を除いた複数の点の座標に基づいて第２の線を推定する。第２の線についても、直線であってもよいし、曲線であってもよい。本実施形態における第２の線も、複数の点の座標から最小二乗法により求まる直線である。そして、設定支援部４２０Ｃは、第１操作により描かれた輪郭線のうち、第１の線の推定に用いた各座標を通る部分を第１の線と重なるように補正し、第１操作により描かれた輪郭線のうち第２の線の推定に用いた各座標を通る部分を第２の線と重なるように補正する。

例えば、設定支援画面Ｇ４に対する第１操作により、図１４に示すように、軌跡Ｔ３が描かれ、軌跡Ｔ３上の点の座標として点Ｐ１～点Ｐ６の各々の座標が一定期間毎にこの順に取得されたとする。なお、図１４では、第１操作により描かれた軌跡Ｔ３の一部が点線で描画されている。点Ｐ１、点Ｐ２及び点Ｐ３は、本来一つの直線に沿って並ぶべきであるが、図１４に示す例では、軌跡Ｔ３を描く際の手振れ等により一つの直線に沿って並んでいない。同様に、点Ｐ４、点Ｐ５及び点Ｐ６も、本来一つの直線に沿って並ぶべきであるが、図１４に示す例では、軌跡Ｔ３を描く際の手振れ等により一つの直線に沿って並んでいない。

図１４における点Ｐ１～点Ｐ３に基づく最小二乗法により直線Ｌ１が推定され、点Ｐ４～点Ｐ６に基づく最小二乗法により直線Ｌ２が推定されたとする。直線Ｌ１は第１の線の一例であり、直線Ｌ２は第２の線の一例である。この場合、設定支援部４２０Ｃは、図１５に示すように、表示領域の輪郭線のうち点Ｐ１、点Ｐ２、及び点Ｐ３を通る部分を直線Ｌ１と重なるように補正する。これにより、表示領域の輪郭線のうち点Ｐ１、点Ｐ２、及び点Ｐ３を通る部分の手振れ等に起因する輪郭線のぶれが補正される。また、設定支援部４２０Ｃは、図１５に示すように、表示領域の輪郭線のうち点Ｐ４、点Ｐ５、及び点Ｐ６を通る部分を直線Ｌ２と重なるように補正する。これにより、表示領域の輪郭線のうち点Ｐ４、点Ｐ５、及び点Ｐ６を通る部分の手振れ等に起因する輪郭線のぶれが補正される。そして、設定支援部４２０Ｃは、補正後の輪郭線に即して第１領域情報を補正する。具体的には、設定支援部４２０Ｃは、点Ｐ１～点Ｐ６の各点を補正後の輪郭線上に射影し、射影後の各点の座標で第１領域情報における点Ｐ１～点Ｐ６の各点の座標を更新する。

また、設定支援部４２０Ｃは、第１の線と第２の線とが交差する場合、第１の線と第２の線との交点を表示領域の輪郭線の頂点とする。ただし、当該交点に対応するプロジェクター座標系の座標が無い場合、設定支援部４２０Ｃは、当該交点を、当該交点からの距離が第２閾値未満であり、かつ、対応するプロジェクター座標系の座標を有する点に差し替えて第１領域情報を補正する。図１５にて横線のハッチングを付与した領域は、特定部４１０によりプロジェクター座標系との対応関係を特定済の領域である。図１４に示す例では、第１の線Ｌ１と第２の線Ｌ２との交点Ｐｘは横線のハッチングが付されて領域の外に位置している。つまり、交点Ｐｘには、対応するプロジェクター座標系の座標が無い。このため、設定支援部４２０Ｃは、交点Ｐｘを、当該交点Ｐｘからの距離が第２閾値未満であり、かつ、対応するプロジェクター座標系の座標を有する点Ｐ７に差し替えて第１領域情報を補正する。この結果、第１領域情報の示す複数の座標を通る輪郭線のうち、点Ｐ１～点Ｐ３、点Ｐ７、点Ｐ４～点Ｐ６に対応する部分は図１５に示す線Ｒ６のようになる。

また、プログラムＰＣに従って作動している処理装置４０は、本開示の情報生成方法を実行する。図１６は、処理装置４０がプログラムＰＣに従って実行する情報生成方法の流れを示す図である。図１６では図８におけるものと同じ構成要素には同一の符号が付されている。本実施形態の情報生成方法は、設定支援処理ＳＡ１２０に代えて設定支援処理ＳＣ１２０を設けた点において第１実施形態の情報生成方法と異なる。設定支援処理ＳＣ１２０では、処理装置４０は、設定支援部４２０Ｃとして機能する。

設定支援処理ＳＣ１２０では、処理装置４０は、第１操作の実行をユーザーに促すために、撮像装置５０による被投写物ＳＣの撮像画像を元に生成した設定支援画面をタッチパネル１０の表示装置に表示させる。処理装置４０は第１操作によって描かれた軌跡上の各点の座標を一定期間毎に取得して第１領域情報を生成する。

次いで、処理装置４０は、第１操作により描かれる軌跡に沿って一定期間毎に取得された複数の点の座標に基づいて第１の線を推定する。また、処理装置４０は、第１操作により描かれる軌跡に沿って一定期間毎に取得された各座標のうち第１の線の推定に用いた各点を除いた複数の点の座標に基づいて第２の線を推定する。

次いで、処理装置４０は、第１操作により描かれた輪郭線のうち、第１の線の推定に用いた各座標を通る部分を第１の線と重なるように補正し、第１操作により描かれた輪郭線のうち第２の線の推定に用いた各座標を通る部分を第２の線と重なるように補正する。第１の線と第２の線とが交差する場合、処理装置４０は、第１の線と第２の線との交点を表示領域の輪郭線の頂点とする。ただし、当該交点に対応するプロジェクター座標系の座標が無い場合、処理装置４０は、当該交点を、当該交点からの距離が第２閾値未満であり、かつ、対応するプロジェクター座標系の座標を有する点に差し替えて第１領域情報を補正する。

本実施形態の情報生成装置１Ｃによっても、投写画像の変更の度に被投写物ＳＣの設置場所へ赴く必要はない。また、本実施形態の情報生成装置１Ｃによっても、被投写物ＳＣがユーザーの手が届かない高所に設置される場合でも、何らの支障なく表示領域を指定することが可能になる。このように、本実施形態の情報生成装置１Ｃによっても、投写画像の変更の度に被投写物ＳＣの設置場所へ赴くことなく、簡便に表示領域を設定することが可能になる。加えて、本実施形態の情報生成装置１Ｃによれば、表示領域の輪郭線を手動で描画する際の手振れ等に起因する輪郭線のぶれを低減しつつ、確実にプロジェクター座標系へ変換可能な表示領域を設定することが可能になる。

４．変形例
上述の各実施形態は、以下のように変更されてもよい。
（１）各実施形態では、輪郭線を描く操作で表示領域を指定した。しかし、各種の多角形或いは楕円等の予め定められた図形を用いて表示領域をユーザーに指定させてもよい。例えば、予め定められた複数種の図形のうちの何れかを選択させるためのプルダウンメニューを表示する場合には、当該プルダウンメニューに表示される図形を選択する操作と選択された図形の位置及び形状の少なくとも一方を変更する操作とにより表示領域を指定すればよい。また、被投写物ＳＣの全体の形状或いは被投写物ＳＣの各面の形状をエッジ検出等を利用して特定し、当該特定された形状に対応する図形を上記プルダウンメニューに含めてもよい。

（２）第１実施形態における情報生成装置１Ａは撮像装置５０を有するスマートフォンであったが、撮像装置を備えるタブレット端末或いは撮像装置を備えるノート型或いは据え置き型のパーソナルコンピューターであってもよい。なお、ノート型或いは据え置き型のパーソナルコンピューターを本開示の情報生成装置として用いる場合には、マウス又はキーボードを入力装置として、表示領域を指定する第１操作を受け付けてもよい。

また、情報生成装置がＬＡＮ等のネットワーク経由のデータ通信により撮像画像を取得できる場合には、情報生成装置が撮像装置を備えている必要はない。また、スマートフォン或いはタブレット端末等の携帯端末とＬＡＮ又はインターネットを介して通信するサーバー装置とを有するコンピューターシステムにおいて、サーバー装置の処理装置を特定部４１０、設定支援部４２０Ａ、更新部４３０及び生成部４４０として機能させ、当該携帯端末に表示装置及び入力装置の役割を担わせてもよい。このコンピューターシステムは本開示の情報生成システムの一例である。第２実施形態における情報生成装置１Ｂ及び第３実施形態における情報生成装置１Ｃについても同様である。

（３）第１実施形態における特定部４１０、設定支援部４２０Ａ、更新部４３０、及び生成部４４０はソフトウェアモジュールであった。しかし、特定部４１０、設定支援部４２０Ａ、更新部４３０、及び生成部４４０の一部又は全部は、ハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。特定部４１０、設定支援部４２０Ａ、更新部４３０、及び生成部４４０の一部又は全部がハードウェアであっても、第１実施形態と同一の効果が奏される。第２実施形態における特定部４１０、設定支援部４２０Ｂ、更新部４３０、及び生成部４４０についても、同様に、一部又は全部がハードウェアであってもよい。また、第３実施形態における特定部４１０、設定支援部４２０Ｃ、更新部４３０、及び生成部４４０についても同様に一部又は全部がハードウェアであってもよい。

（４）第１実施形態の情報生成装置１Ａは特定部４１０、設定支援部４２０Ａ、更新部４３０、及び生成部４４０を有していた。しかし、更新部４３０は省略可能であり、図８に示す情報生成方法の第１判定処理ＳＡ１３０及び更新処理ＳＡ１４０も省略可能である。更新部４３０、第１判定処理ＳＡ１３０及び更新処理ＳＡ１４０を省略しても、表示領域の設定の度に被投写物ＳＣの設置場所へ赴く必要はなく、被投写物ＳＣがユーザーの手が届かない高所に設置される場合でも何らの支障なく表示領域を指定できるからである。第２実施形態の情報生成装置１Ｂ及び第３実施形態の情報生成装置１Ｃについても同様に、更新部４３０は省略可能であり、第１判定処理ＳＡ１３０及び更新処理ＳＡ１４０も省略可能である。

（５）第１実施形態では、プログラムＰＡが記憶装置３０に記憶済であった。しかし、プログラムＰＡを単体で製造又は配布してもよい。プログラムＰＡの具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラムＰＡを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。当該プログラムＰＡをパーソナルコンピューター等の一般的な情報処理装置にインストールし、当該情報処理装置のＣＰＵ等のコンピューターを当該プログラムに従って作動させることで当該情報処理装置を本開示の情報生成装置として機能させることが可能になる。第２実施形態のプログラムＰＢ及び第３実施形態のプログラムＰＣについても同様である。

５．実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

以上に説明した課題を解決するため、本開示の情報生成方法の一態様は、特定処理ＳＡ１１０、設定支援処理ＳＡ１２０、及び生成処理ＳＡ１５０を含む。特定処理ＳＡ１１０では、プロジェクター２から被投写物ＳＣに投写される計測パターンの画像と、計測パターンの画像を投写されている状態の被投写物ＳＣを撮像装置５０により撮像して得られる撮像画像とから、プロジェクター座標系とカメラ座標系との対応関係が特定される。プロジェクター座標系は、プロジェクター２が投写する投写画像上の位置を表す座標系である。カメラ座標系は、撮像装置５０によって撮像される撮像画像上の位置を表す座標系である。計測パターンの画像は本開示における第１画像の一例である。撮像装置５０による撮像画像は本開示における第２画像の一例である。撮像装置５０は本開示におけるカメラの一例である。設定支援処理ＳＡ１２０では、撮像装置５０による被投写物ＳＣの撮像画像を、タッチパネル１０の表示装置に表示させる。これにより、プロジェクター２から被投写物ＳＣに投写する投写オブジェクトのカメラ座標系における配置先となる表示領域を指定する第１操作の実行をユーザーに促す。生成処理ＳＡ１５０では、第１操作により指定された表示領域に投写オブジェクトを配置した投写画像をプロジェクターに投写させるための情報が、第１操作により指定された表示領域を示す情報と対応関係とに基づいて生成される。本態様の情報生成方法によれば、被投写物ＳＣがユーザーの手が届かない高所に設置される場合でも、表示領域を何らの支障なく指定することが可能になる。また、本態様の情報生成方法によれば、投写画像の変更の度に被投写物ＳＣの設置場所へ赴くことなく表示領域を設定することが可能になる。

より好ましい態様の情報生成方法においては、表示領域を示す情報は、表示領域の輪郭線上の複数の点を示す情報である。第１操作は、表示装置に表示されている撮像画像上で表示領域の輪郭線を描く操作である。設定支援処理ＳＡ１２０では、第１操作により描かれる軌跡上の点の座標が一定期間毎に取得され、取得した各座標は表示領域の輪郭線上の点の座標とされる。本態様によれば、表示領域の輪郭線を描く操作により、表示領域を指定することが可能になる。

更に好ましい態様の情報生成方法においては、第１操作は、表示装置を含むタッチパネルに対するスワイプにより表示領域の輪郭線を描く操作である。本態様によれば、スワイプ操作で表示領域を指定することが可能になる。

別の好ましい態様の情報生成方法における設定支援処理ＳＡ１２０では、取得した各座標のうち、特定処理ＳＡ１１０にて特定された対応関係により対応付けられるプロジェクター座標系の座標が無い座標については、第１操作により描かれた輪郭線上の複数の点を一対一に示す複数の座標から除外される。本態様によれば、プロジェクター座標系へ確実に変換可能な表示領域を設定することが可能になる。

別の好ましい態様の情報生成方法は、設定支援処理ＳＡ１２０に代えて設定支援処理ＳＢ１２０を含んでもよい。設定支援処理ＳＢ１２０では、カメラ座標系における被投写物ＳＣの輪郭線を示す輪郭情報が取得される。設定支援処理ＳＢ１２０では、取得した各座標について、輪郭情報の示す輪郭線からの距離が第１閾値以上であるか否かが判定される。そして、判定結果が肯定である座標は、第１操作により描かれた輪郭線上の複数の点を一対一に示す複数の座標から除外される。本態様によれば、被投写物の輪郭に近似した表示領域を設定することが可能になる。

別の好ましい態様の情報生成方法においては、設定支援処理ＳＡ１２０に代えて設定支援処理ＳＣ１２０を含んでもよい。設定支援処理ＳＣ１２０では、第１操作により描かれた軌跡に沿って一定期間毎に取得された複数の座標に基づいて第１の線が推定される。また、設定支援処理ＳＣ１２０では、第１の線の推定に用いた各座標を除いて、第１操作により描かれた軌跡に沿って一定期間毎に取得された複数の座標に基づいて第２の線が推定される。設定支援処理ＳＣ１２０では、記第１操作により描かれた輪郭線のうち第１の線の推定に用いた各座標を通る部分は第１の線と重なるように補正され、第２の線の推定に用いた各座標を通る部分は第２の線と重なるように補正される。本態様によれば、手動で輪郭線を描画する際の手振れ等に起因する輪郭線のぶれを低減することが可能になる。

別の好ましい態様の情報生成方法においては、設定支援処理ＳＣ１２０では、第１の線と第２の線とが交差する場合、第１の線と第２の線との交点は、第１操作により指定された表示領域の頂点とされる。本態様によれば、手動で輪郭線を描画する際の手振れ等に起因する輪郭線のぶれを低減しつつ、表示領域の頂点を新たに設定することが可能になる。

更に好ましい態様の情報生成方法では、第１の線と第２の線との交点に対応するプロジェクター座標系の座標が無い場合、第１の線と第２の線との交点に応じて定めた頂点を、当該頂点からの距離が第２閾値未満であり、かつ、対応するプロジェクター座標系の座標を有する点に差し替えることで、表示領域を示す情報が補正される。本態様によれば、手振れ等に起因する輪郭線のぶれを低減しつつ、確実にプロジェクター座標系へ変換可能な表示領域を設定することが可能になる。

別の好ましい態様の情報生成方法においては、表示領域の輪郭線上の点を指定し、指定した点を移動させる第２操作が前記ユーザーにより為された場合、表示領域を示す情報は第２操作に応じて更新する更新処理ＳＡ１４０を更に含んでもよい。本態様によれば、複雑な形状の表示領域を設定することが可能になる。

以上に説明した課題を解決するため、本開示の情報生成システムは、入力装置、表示装置、及び処理装置４０を含む。処理装置４０は、前述の特定処理ＳＡ１１０、設定支援処理ＳＡ１２０、及び生成処理ＳＡ１５０を実行してもよい。また、処理装置４０は、前述の特定処理ＳＡ１１０、設定支援処理ＳＢ１２０、及び生成処理ＳＡ１５０を実行してもよい。また、処理装置４０は、前述の特定処理ＳＡ１１０、設定支援処理ＳＣ１２０、及び生成処理ＳＡ１５０を実行してもよい。これらの態様の情報生成システムによっても、被投写物ＳＣがユーザーの手が届かない高所に設置される場合でも、表示領域を何らの支障なく指定することが可能になる。また、投写画像の変更の度に被投写物ＳＣが設置される場所に赴くことなく表示領域を設定することも可能になる。

以上に説明した課題を解決するため、本開示のプログラムは、コンピューターに、前述の特定処理ＳＡ１１０、設定支援処理ＳＡ１２０、及び生成処理ＳＡ１５０を実行させてもよい。また、本開示のプログラムは、前述の特定処理ＳＡ１１０、設定支援処理ＳＢ１２０、及び生成処理ＳＡ１５０を実行させてもよい。また、前述の特定処理ＳＡ１１０、設定支援処理ＳＣ１２０、及び生成処理ＳＡ１５０を実行させてもよい。これらの態様のプログラムによっても、被投写物ＳＣがユーザーの手が届かない高所に設置される場合でも、表示領域を何らの支障なく指定することが可能になる。また、投写画像の変更の度に被投写物ＳＣの設置場所に赴くことなく表示領域を設定することも可能になる。

１Ａ，１Ｂ、１Ｃ…情報生成装置、２…プロジェクター、１０…タッチパネル、２０…通信装置、３０…記憶装置、４０…処理装置、４１０…特定部、４２０Ａ、４２０Ｂ，４２０Ｃ…設定支援部、４３０…更新部、４４０…生成部、５０…撮像装置、ＰＡ…プログラム、ＳＣ…被投写物、５Ａ，５Ｂ，５Ｃ…画像表示システム。

Claims (11)

1. プロジェクターから被投写物に投写される第１画像と、前記第１画像を投写されている状態の前記被投写物をカメラにより撮像して得られる第２画像とから、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定し、
   前記カメラによる前記被投写物の撮像画像を表示装置に表示させることにより、前記プロジェクターから前記被投写物に投写する投写オブジェクトの前記カメラ座標系における配置先となる表示領域を指定する第１操作の実行をユーザーに促し、
   前記第１操作により指定された前記表示領域に前記投写オブジェクトを配置した投写画像を前記プロジェクターに投写させるための情報を、前記第１操作により指定された前記表示領域を示す情報と前記対応関係とに基づいて生成する、
   情報生成方法。
2. 前記表示領域を示す情報は、前記表示領域の輪郭線上の複数の点を示す情報であり、
   前記第１操作は、前記表示装置に表示されている前記撮像画像上で前記輪郭線を描く操作であり、前記第１操作により描かれる軌跡上の点の座標を一定期間毎に取得し、取得した各座標を、前記輪郭線上の点の座標とする、請求項１に記載の情報生成方法。
3. 前記第１操作は、前記表示装置を含むタッチパネルに対するスワイプにより、前記輪郭線を描く操作である、請求項２に記載の情報生成方法。
4. 前記取得した各座標のうち、前記対応関係により対応付けられる前記プロジェクター座標系の座標が無い座標については、前記第１操作により描かれた輪郭線上の複数の点を一対一に示す複数の座標から除外する、請求項２又は請求項３に記載の情報生成方法。
5. 前記カメラ座標系における前記被投写物の輪郭線を示す輪郭情報を取得し、前記取得した各座標について、前記輪郭情報の示す輪郭線からの距離が第１閾値以上であるか否かを判定し、
   判定結果が肯定である座標については、前記第１操作により描かれた輪郭線上の複数の点を一対一に示す複数の座標から除外する、請求項２乃至４のうちの何れか１項に記載の情報生成方法。
6. 前記軌跡に沿って前記一定期間毎に取得された複数の座標に基づいて第１の線を推定し、
   前記第１の線の推定に用いた各座標を除いて前記軌跡に沿って前記一定期間毎に取得された複数の座標に基づいて第２の線を推定し、
   前記第１操作により描かれた輪郭線のうち、前記第１の線の推定に用いた各座標を通る部分を、前記第１の線と重なるように補正し、
   前記第１操作により描かれた輪郭線のうち、前記第２の線の推定に用いた各座標を通る部分を、前記第２の線と重なるように補正する、請求項２に記載の情報生成方法。
7. 前記第１の線と前記第２の線との交点を、前記表示領域の輪郭線の頂点とする、請求項６に記載の情報生成方法。
8. 前記頂点に対応する前記プロジェクター座標系の座標が無い場合、前記頂点を、前記頂点からの距離が第２閾値未満であり、かつ、対応する前記プロジェクター座標系の座標を有する点に差し替えて、前記表示領域を示す情報を補正する、請求項６に記載の情報生成方法。
9. 前記表示領域の輪郭線上の点を指定し、指定した点を移動させる第２操作が前記ユーザーにより為された場合、前記表示領域を示す情報を前記第２操作に応じて更新する、請求項１乃至７のうちの何れか１項に記載の情報生成方法。
10. 入力装置と、
    表示装置と、
    処理装置と、を備え、
    前記処理装置は、
    プロジェクターから被投写物に投写される第１画像と、前記第１画像を投写されている状態の前記被投写物をカメラにより撮像して得られる第２画像とから、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、
    前記カメラによる前記被投写物の撮像画像を前記表示装置に表示させることで、前記プロジェクターから前記被投写物に投写する投写オブジェクトの前記カメラ座標系における配置先となる表示領域を指定する第１操作の前記入力装置への入力をユーザーに促すこと、及び、
    前記第１操作により指定された前記表示領域に前記投写オブジェクトを配置した投写画像を前記プロジェクターに投写させるための情報を、前記第１操作により指定された前記表示領域を示す情報と前記対応関係とに基づいて生成すること、を実行する、
    情報生成システム。
11. コンピューターに、
    プロジェクターから被投写物に投写される第１画像と、前記第１画像を投写されている状態の前記被投写物をカメラにより撮像して得られる第２画像とから、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、
    前記カメラによる前記被投写物の撮像画像を表示装置に表示させることで、前記プロジェクターから前記被投写物に投写する投写オブジェクトの前記カメラ座標系における配置先となる表示領域を指定する第１操作の実行をユーザーに促すこと、及び、
    前記第１操作により指定された前記表示領域に前記投写オブジェクトを配置した投写画像を前記プロジェクターに投写させるための情報を、前記第１操作により指定された前記表示領域を示す情報と前記対応関係とに基づいて生成すること、
    を実行させるプログラム。

Images