JP7272336B2 - 情報生成方法、情報生成システム、及びプログラム - Google Patents

Description

本開示は、情報生成方法、情報生成システム、及びプログラム、に関する。

プロジェクションマッピングのように、三次元形状を有する被投写物に対してプロジェクターから投写画像を投写することが一般に行われている。また、投写画像を投写されている状態の被投写物をカメラにより撮像し、投写画像の作成或いは設定等に当該撮像画像を利用することも提案されている。例えば、特許文献１には、プロジェクターの投写画像の画素数よりも少ない画素数のカメラを利用して投写画像を設定する方法が記載されている。特許文献１に開示の方法では、プロジェクターから格子パターン画像を投写されている状態の被投写物を撮像して得られる撮像画像上の格子パターンの座標と、格子パターン画像上での格子パターンの座標との相対関係から、プロジェクター座標系上の画素の位置とカメラ座標系上の画素の位置との対応関係が取得される。なお、プロジェクター座標系とは、プロジェクターの投写画像上の位置を示す座標系である。カメラ座標系とは、カメラの撮像画像上の位置を示す座標系である。

特開２００６－３３３５７号公報

プロジェクションマッピングの投写画像には、三次元形状を有する被投写物に投写される各種投写オブジェクトが含まれるのが通常である。閲覧者の目には投写画像を投写されている状態の被投写物の撮像画像に近い画像が写るため、カメラ座標系での表示領域の形状及び位置を確認することは重要である。しかし、従来、投写画像において投写オブジェクトの配置先となる表示領域の設定等はプロジェクター座標系において行われることが一般的であり、カメラ座標系での表示領域の形状及び位置を確認しつつ表示領域を設定することはできなかった。

以上の課題を解決するために、本開示の情報生成方法は、プロジェクターから投写される第１画像と、前記第１画像が投写されている状態の被投写物をカメラで撮影して得られる第２画像とに基づいて、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定し、前記カメラ座標系と前記プロジェクター座標系とのうちの一方である第１座標系において、前記プロジェクターから前記被投写物に投写する投写オブジェクトの配置先となる第１表示領域を指定する第１操作を受け付け、前記第１表示領域を、前記対応関係に基づいて前記カメラ座標系と前記プロジェクター座標系とのうちの他方である第２座標系において前記投写オブジェクトの配置先となる第２表示領域に変換し、前記第２表示領域の形状、及び位置のうちの少なくとも一方を変更する第２操作を受け付け、前記投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を前記第２操作に応じて生成する。

また、上記課題を解決するために、本開示の情報生成システムは、入力装置と、処理装置と、を備える。前記処理装置は、プロジェクターから投写される第１画像と、前記第１画像が投写されている状態の被投写物をカメラで撮影して得られる第２画像とに基づいて、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像された撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、前記カメラ座標系と前記プロジェクター座標系とのうちの一方である第１座標系において、前記プロジェクターから前記被投写物に投写する投写オブジェクトの配置先となる第１表示領域を指定する第１操作を受け付けること、前記第１表示領域を、前記対応関係に基づいて前記カメラ座標系と前記プロジェクター座標系とのうちの他方である第２座標系において前記投写オブジェクトの配置先となる第２表示領域に変換すること、前記第２表示領域の形状、及び位置のうちの少なくとも一方を変更する第２操作を受け付けること、及び、前記投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を前記第２操作に応じて生成すること、を実行する。

また、上記課題を解決するために、本開示のプログラムは、コンピューターに、プロジェクターから投写される第１画像と、前記第１画像が投写されている状態の被投写物をカメラで撮影して得られる第２画像とに基づいて、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像された撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、前記カメラ座標系と前記プロジェクター座標系とのうちの一方である第１座標系において、前記プロジェクターから前記被投写物に投写する投写オブジェクトの配置先となる第１表示領域を指定する第１操作を受け付け、前記第１表示領域を、前記対応関係に基づいて前記カメラ座標系と前記プロジェクター座標系とのうちの他方である第２座標系において前記投写オブジェクトの配置先となる第２表示領域に変換すること、前記第２表示領域の形状、及び位置のうちの少なくとも一方を変更する第２操作を受け付けること、及び、前記投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を前記第２操作に応じて生成すること、を実行させる。

本開示の第１実施形態に係る情報生成方法を実行する情報生成装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。 本実施形態における計測パターンの一例を示す図である。 情報生成装置１Ａの処理装置４０が、第１操作の実行を促すために表示装置に表示させる画像の一例を示す図である。 処理装置４０が、第２操作の実行を促すために表示装置に表示させる画像の一例を示す図である。 処理装置４０がプログラムＰＡに従って実行する情報生成方法の流れを示すフローチャートである。 本開示の第２実施形態に係る情報生成方法を実行する情報生成装置１Ｂを含む画像表示システム５Ｂの構成例を示すブロック図である。 撮像装置５０による撮像画像の一例を示す図である。 第１操作に応じて設定される第１表示領域Ａ１の一例を示す図である。 第２表示領域Ａ２の表示例を示す図である。 情報生成装置１ＢがプログラムＰＢに従って実行する情報生成方法の流れを示すフローチャートである。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．第１実施形態
図１は、本開示の第１実施形態に係る情報生成方法を実行する情報生成装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。画像表示システム５Ａには、情報生成装置１Ａの他に、情報生成装置１Ａと通信するプロジェクター２が含まれる。プロジェクター２は、情報生成装置１Ａから供給される画像データに応じた投写画像Ｇ１を被投写物ＳＣの表面に投写する。図１では、詳細な図示を省略したが、プロジェクター２は、光源と、光変調装置としての３つの表示パネルと、投写レンズと、表示パネル駆動部とを備える。３つの表示パネルの各々は、夫々赤、緑及び青の各色に対応する。本実施形態では、表示パネルは液晶ライトバルブである。表示パネル駆動部は、情報生成装置１Ａから供給される画像データに応じて上記３つの表示パネルの各々における光の透過率を制御する。プロジェクター２は、光源から射出された光を３つの表示パネルの各々で変調して画像光を形成し、この画像光を投写レンズから投写して被投写物ＳＣの表面に投写画像Ｇ１を表示する。本実施形態における被投写物ＳＣは、図１に示すように直方体であるが、三角錐或いは四角錐等、多角形の連結により構成される三次元形状、或いは曲面を有する三次元形状であってもよい。

情報生成装置１Ａは、例えばスマートフォンである。情報生成装置１Ａは、撮像機能、及びプロジェクター２と通信する通信機能、を有する。情報生成装置１Ａとプロジェクター２とがネットワーク接続されると、情報生成装置１Ａは、プロジェクター２と通信し、プロジェクター２からプロジェクター情報を取得する。プロジェクター情報には、解像度情報、及びプロジェクター２において復号化可能な圧縮形式を示す圧縮形式情報が含まれる。解像度情報は、プロジェクター２における表示パネルの解像度を示す情報である。解像度情報は、プロジェクター２により被投写物ＳＣに投写される投写画像の位置を計測するための計測パターンを生成する際に利用される。詳細については後述するが、本実施形態では、計測パターンとしてバイナリコードパターンが用いられる。圧縮形式情報は、計測パターンを示す計測パターンデータを圧縮して情報生成装置１Ａからプロジェクター２へ送信する場合における計測パターンデータの圧縮形式の決定に利用される。情報生成装置１Ａからプロジェクター２へ計測パターンデータを圧縮して送信する場合の圧縮形式は、ランレングス、ＬＺＨ、ＰＮＧ、及びＧＩＦ等の可逆圧縮形式が望ましい。

情報生成装置１Ａは、プロジェクター２から取得した解像度情報を用いて複数の計測パターンの各々を表す計測パターンデータを生成し、生成した計測パターンデータをプロジェクター２に与える。プロジェクター２は、情報生成装置１Ａから与えられる計測パターンデータの示す複数の計測パターンの各々の画像を被投写物ＳＣに投写する。なお、情報生成装置１Ａからプロジェクター２へコマンドを送信し、このコマンドに基づいて計測パターンデータをプロジェクター２が生成してもよく、この場合、プロジェクター情報に圧縮形式情報を含めておく必要はない。プロジェクター２で計測パターンデータを生成する態様であれば、情報生成装置１Ａからプロジェクター２に計測パターンを伝達するための通信時間が短縮される。情報生成装置１Ａは、計測パターン毎に、プロジェクター２により計測パターンの画像を投写されている状態の被投写物ＳＣを撮像することをユーザーに促す。情報生成装置１Ａは、計測パターンの画像を投写されている状態の被投写物ＳＣをユーザーの操作に応じて、撮像機能により撮像する。

情報生成装置１Ａは、撮像された複数の撮像画像と複数の計測パターンの画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。プロジェクター座標系とはプロジェクター２による投写画像上の位置を示す座標系である。プロジェクター座標系の一例としては、投写画像の左上隅を原点とする二次元座標系が挙げられる。カメラ座標系とは、撮像画像上の位置を示す座標系である。カメラ座標系の具体例としては撮像画像の左上隅を原点とする二次元座標系が挙げられる。プロジェクター座標系とカメラ座標系との対応関係を特定するとは、一方の座標系から他方の座標系への射影変換のための変換行列を生成することをいう。

本実施形態では、投写画像において投写オブジェクトの配置先となる表示領域はカメラ座標系において指定される。そして、プロジェクター座標系とカメラ座標系との対応関係を利用することで、カメラ座標系において指定された投写オブジェクトの表示領域をプロジェクター座標系における表示領域に変換し、表示領域の位置及び形状の少なくとも一方をプロジェクター座標系において変更することができる。カメラ座標系とプロジェクター座標系との対応関係の精度が低い場合、カメラ座標系において表示領域が指定されると、プロジェクター座標系では表示領域がずれる可能性がある。カメラ座標系において指定された表示領域の位置及び形状の少なくとも一方をプロジェクター座標系において変更するのは、カメラ座標系とプロジェクター座標系との対応関係の精度の低さに起因する表示領域のずれを補正するためである。

図１に示すように、情報生成装置１Ａは、タッチパネル１０と、通信装置２０と、記憶装置３０と、処理装置４０と、撮像装置５０と、を含む。通信装置２０は、無線通信モジュール又は有線通信モジュールである。通信装置２０が有線通信モジュールである場合、通信装置２０は通信線を介してプロジェクター２に接続される。情報生成装置１Ａとプロジェクター２との接続は、無線アクセスポイント装置又はルーター等の中継装置を介さない直接接続であってもよいし、中継装置を介する間接接続であってもよい。通信装置２０が無線通信モジュールである場合、直接接続の具体例としてはアドホック接続が挙げられ、間接接続の具体例としては無線アクセスポイント装置を介するアクセスポイント接続が挙げられる。また、通信装置２０が有線通信モジュールである場合、直接接続の具体例としてはピアトゥーピア接続が挙げられ、間接接続の具体例としては有線ルーター又は有線ハブを介する接続が挙げられる。通信装置２０は、処理装置４０による制御の下、プロジェクター２と通信する。撮像装置５０はカメラである。撮像装置５０は、処理装置４０による制御の下で撮像を行い、撮像画像を表す画像データを処理装置４０に供給する。

タッチパネル１０は、画像を表示する表示装置と、ユーザーによる情報が入力される入力装置とが、一体化された装置である。入力装置は、例えば透明なシート状の接触センサーである。入力装置は、表示装置の表示面を覆うように設けられる。入力装置は、当該入力装置に接触する物体と当該入力装置とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータを処理装置４０へ出力する。これにより、タッチパネル１０に対するユーザーの操作内容が処理装置４０へ伝達される。

記憶装置３０は、処理装置４０が読み取り可能な記録媒体である。記憶装置３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

記憶装置３０の不揮発性メモリーには、処理装置４０によって実行されるプログラムＰＡが記憶される。記憶装置３０の揮発性メモリーはプログラムＰＡを実行する際のワークエリアとして処理装置４０によって利用される。プログラムＰＡは、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラムＰＡは、例えば、通信装置２０を介して不図示のサーバー等から取得され、その後、記憶装置３０に記憶される。プログラムＰＡは、記憶装置３０に予め記憶されてもよい。

処理装置４０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーを含んで構成される。処理装置４０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置４０は、プログラムＰＡの実行開始を指示する操作がタッチパネル１０に対して為されたことを契機としてプログラムＰＡを不揮発性メモリーから揮発性メモリーに読み出し、プログラムＰＡの実行を開始する。プログラムＰＡに従って作動中の処理装置４０は、図１に示す特定部４１０、第１受付部４２０Ａ、変換部４３０Ａ、第２受付部４４０Ａ、及び生成部４５０として機能する。図１に示す特定部４１０、第１受付部４２０Ａ、変換部４３０Ａ、第２受付部４４０Ａ、及び生成部４５０は、処理装置４０をプログラムＰＡに従って動作させることで実現されるソフトウェアモジュールである。

特定部４１０は、プロジェクター２から投写される計測パターンの画像と、当該計測パターンの画像を投写されている状態の被投写物ＳＣの撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。プロジェクター２から投写される計測パターンの画像は本開示における第１画像の一例である。計測パターンの画像が投写されている状態の被投写物ＳＣの撮像画像は本開示における第２画像の一例である。

より詳細に説明すると、特定部４１０は、情報生成装置１Ａとプロジェクター２とがネットワーク接続された状況下においてタッチパネル１０に対する操作により特定開始を指示されたことを契機として、プロジェクター情報を取得する。次いで、特定部４１０は、プロジェクター情報に含まれる解像度情報から計測パターンデータを生成する。特定部４１０は、計測パターンデータの表す複数の計測パターンの各々を順次投写するようにプロジェクター２を制御する。また、特定部４１０は、被投写物ＳＣに順次投写される複数の計測パターンの各々を撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせる。そして、特定部４１０は、複数の計測パターンの画像と、撮像装置５０により撮像される複数の撮像画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。

更に詳述すると、特定部４１０は、撮像装置５０により撮像された撮像画像における計測パターンの座標をプロジェクター２の表示装置における計測パターンの座標に射影変換するための変換行列を複数の計測パターンの画像と複数の撮像画像とから生成する。この変換行列は、被投写物ＳＣに投写する投写画像の幾何学的な補正を実現する変形の際にも利用される。本実施形態では、プロジェクター２から投写画像を投写させる際には、上記変換行列を用いて幾何学的な補正を実施済の投写オブジェクトを含む投写画像の画像データが情報生成装置１Ａからプロジェクター２に与えられ、プロジェクター２は当該画像データに従って画像を投写する。

前述したように、本実施形態では計測パターンとしてバイナリコードパターンが用いられる。バイナリコードパターンとは、バイナリコードを使って表示装置の座標を表現するための画像のことをいう。バイナリコードとは、任意の数値を２進数で表現した場合の各桁の値をスイッチのオン／オフによって表現する技法である。計測パターンとしてバイナリコードパターンを用いる場合、プロジェクター２により投写される画像が上記のスイッチにあたり、座標値を表す２進数の桁数分の画像が必要となる。また、Ｘ座標とＹ座標とで夫々別個の画像が必要となる。例えば、プロジェクター２の表示パネルの解像度が１２０×９０である場合、１２０及び９０は夫々７桁の２進数で表現されるため、Ｘ座標を表現するために７枚の画像が必要となり、Ｙ座標を表現するために７枚の画像が必要となる。

また、バイナリコードパターンを計測パターンとして用いる場合、照明等の外乱光の影響により計測のロバスト性が低下することが一般的に知られている。このため、バイナリコードパターンを計測パターンとして用いる場合には、外乱光の影響を抑え、計測のロバスト性を向上させるために相補パターンを併用することが一般的である。相補パターンとは、白黒を反転した画像のことをいう。以下では、１を白で表し、０を黒で表すバイナリコードパターンを「ポジティブパターン」と呼び、それを反転させた相補パターンを「ネガティブパターン」と呼ぶ。本実施形態では、解像度情報の示す解像度が１２０×９０である場合、図２に示すように、ポジティブパターンが１４枚、ネガティブパターンが１４枚の合計２８枚の計測パターンを表す計測パターンデータが特定部４１０によって生成される。本実施形態では、計測パターンとしてバイナリコードパターンが用いられるが、ドットパターン、矩形パターン、多角形パターン、チェッカーパターン、グレイコードパターン、位相シフトパターン、又はランダムドットパターン等の他の構造化光が用いられてもよい。

第１受付部４２０Ａは、第１操作を受け付ける。本開示における第１操作は、カメラ座標系とプロジェクター座標系とのうちの一方である第１座標系において、プロジェクター２から被投写物ＳＣに投写する投写オブジェクトの配置先となる第１表示領域を指定する操作である。本実施形態では、第１座標系はカメラ座標系である。第１受付部４２０Ａは、ユーザーに第１操作の実行を促すために、被投写物ＳＣの撮像画像をタッチパネル１０の表示装置に表示させる。この撮像画像については、カメラ座標系とプロジェクター座標系との対応関係の特定の際に撮像した複数の撮像画像のうちの何れかを流用してもよい。第１操作の具体例としては、撮像画像を表示している状態のタッチパネル１０に対するタップ等により、第１表示領域の輪郭線を描くように第１表示領域の頂点を順に指定する操作が挙げられる。矩形の第１表示領域を指定する第１操作の具体例としては、左上隅の頂点、右上隅、右下隅、左下隅の順に矩形の頂点をタップする操作が挙げられる。また、第１操作の他の具体例としては、第１表示領域の輪郭線を描くようタッチパネル１０をスワイプする操作が挙げられる。

図３は、第１操作の実行を促すために第１受付部４２０Ａが表示装置に表示させる撮像画像の一例を示す図である。図３にて斜め線のハッチングを付与した領域は、第１操作により設定された第１表示領域Ａ１の一例である。図３に示す例では、被投写物ＳＣの一つの面が第１表示領域Ａ１として設定されている。第１受付部４２０Ａは、第１操作に応じて、第１表示領域の各頂点の第１座標系における位置、及び各頂点を結ぶ順を示す第１頂点情報を生成する。第１頂点情報の具体例としては、第１座標系における各頂点の座標を示す情報と、頂点を結ぶ順を示す情報とを対応付けて配列した情報が挙げられる。頂点を結ぶ順を示す情報の具体例としては、頂点のタッチ順に値が大きくなるＩＤが挙げられる。

変換部４３０Ａは、第１操作により指定された第１表示領域を、特定部４１０により特定された対応関係に基づいて、カメラ座標系とプロジェクター座標系とのうちの他方である第２座標系において投写オブジェクトの配置先となる第２表示領域に変換する。本実施形態における第２座標系はプロジェクター座標系である。つまり、変換部４３０Ａは、カメラ座標系において指定された第１表示領域を、特定部４１０により特定された対応関係に基づいて、プロジェクター座標系における第２表示領域へ変換する。具体的には、変換部４３０Ａは、第１頂点情報に含まれる座標を示す情報を、特定部４１０により特定された変換行列を用いて第２座標系における座標を示す情報に変換することで、第２頂点情報を生成する。

第２受付部４４０Ａは、第２操作を受け付ける。第２操作は、第１座標系において指定された表示領域の位置及び形状の少なくとも一方を第２座標系において変更する操作である。前述したように、本実施形態における第１座標系はカメラ座標系であり、第２座標系はプロジェクター座標系である。つまり、本実施形態における第２操作は、カメラ座標系において指定された表示領域の位置及び形状の少なくとも一方をプロジェクター座標系において変更する操作である。本開示における表示領域の位置の変更には、表示領域の平行移動と表示領域の回転とが含まれる。また、本開示における表示領域の形状の変更には、大きさの異なる相似形に変形すること、及び相似形以外の任意の形状に変形することが含まれる。第２操作の具体例としては、クリック或いはタップ等により表示領域の頂点、辺或いは全体を選択し、平行移動或いは回転させる操作、又は表示領域を相似形に変形させる操作が挙げられる。

また、第２受付部４４０Ａは、ユーザーに第２操作の実行を促すために、輪郭線の内側を第１色で塗りつぶし、かつ輪郭線を第２色で描画した状態の第２表示領域を含む投写画像をタッチパネル１０の表示装置に表示させる。第１色の具体例としては赤色が挙げられ、第２色の具体例としては青色が挙げられる。本実施形態では第２表示領域の輪郭線を第２色で描画するが、第１色で描画してもよい。また、本実施形態では、第２表示領域の輪郭線の内側を第１色で塗りつぶすが、第１色による塗りつぶしは省略されてもよい。また、第２表示領域の輪郭線の描画も省略し、第２頂点情報の示す頂点の描画のみで第２表示領域を表現してもよい。そして、第２受付部４４０Ａは、第２操作を受け付ける毎に、受け付けた第２操作に応じて、第２頂点情報を更新するとともに表示装置の表示画像を更新する。

より詳細に説明すると、第２受付部４４０Ａは、プロジェクター２から取得した解像度情報の示す大きさと同じ大きさ、又は解像度情報の示すアスペクト比と同じアスペクト比の第３色で塗りつぶした画像を生成する。第３色の具体例としては黒色が挙げられる。解像度情報の示す大きさと同じ大きさの画像をタッチパネル１０の表示装置に表示可能である場合には前者の態様を採用すればよく、表示不能である場合には後者の態様を採用すればよい。本実施形態では、第３色で塗りつぶした画像の左上隅がプロジェクター座標系の原点となる。

次いで、第２受付部４４０Ａは、第２頂点情報により座標が示される各頂点を第３色の画像上に描画し、更に第２頂点情報の示す順に各頂点を線分で結んで得られる輪郭線を第２色で描画し、更に当該輪郭線の内側を第１色で塗りつぶして得られる画像を投写画像としてタッチパネル１０の表示装置に表示させる。図４は、第２表示領域Ａ２を含む投写画像の一例を示す図である。図４において縦線のハッチングは第３色を表し、横線のハッチングは第１色を表す。また、図４において点線は第２色で描画された線を表す。また、図４に示す投写画像において第３色で塗りつぶされた領域はプロジェクター２から画像光が発せられない領域に対応する。

生成部４５０は、投写画像における投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を第２操作に応じて生成する。処理装置４０は、第２表示領域に配置する投写オブジェクトが指定されると、当該投写オブジェクトの形状及び位置の少なくとも一方を当該情報に応じて変更した投写画像の画像データを生成し、この画像データをプロジェクター２に送信する。プロジェクター２が当該画像データの示す投写画像を被投写物ＳＣに投写することで、ユーザーは上記第２操作による変更結果を実際の投写画像で確認することができる。

また、プログラムＰＡに従って作動している処理装置４０は、本開示の第１の態様の情報生成方法を実行する。図５は、処理装置４０がプログラムＰＡに従って実行する情報生成方法の流れを示す図である。図５に示すように、本開示の第１の態様の情報生成方法には、特定処理ＳＡ１１０、第１受付処理ＳＡ１２０、第１判定処理ＳＡ１３０、変換処理ＳＡ１４０、第２受付処理ＳＡ１５０、第２判定処理ＳＡ１６０、及び生成処理ＳＡ１７０が含まれる。

特定処理ＳＡ１１０では、処理装置４０は、特定部４１０として機能する。特定処理ＳＡ１１０では、処理装置４０は、タッチパネル１０に対する操作により、ユーザーから特定開始を指示されたことを契機としてプロジェクター２に対してプロジェクター情報の送信を要求し、プロジェクター２から返信されるプロジェクター情報を取得する。処理装置４０は、プロジェクター２から取得したプロジェクター情報に含まれる解像度情報に基づいて複数の計測パターンを生成する。処理装置４０は、複数の計測パターンの各々が投写されている状態の被投写物ＳＣの撮像画像、即ち複数の撮像画像と複数の計測パターンの画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。

第１受付処理ＳＡ１２０は、タッチパネル１０に対する操作により、表示領域の設定開始をユーザーから指示されたことを契機として実行される処理である。なお、投写画像に複数の投写オブジェクトを配置する場合には、投写画像に配置する投写オブジェクトの数だけ第１受付処理ＳＡ１２０以降の処理を繰り返せばよい。第１受付処理ＳＡ１２０では、処理装置４０は、第１受付部４２０Ａとして機能する。第１受付処理ＳＡ１２０では、処理装置４０は、第１操作の実行をユーザーに促すために、撮像画像をタッチパネル１０の表示装置に表示させる。処理装置４０は、タッチパネル１０に対して第１操作が為されると、前述の第１頂点情報を生成する。第１表示領域の設定を完了すると、ユーザーはタッチパネル１０に対する操作により表示領域の設定完了を情報生成装置１Ａに指示する。

第１判定処理ＳＡ１３０では、処理装置４０は、タッチパネル１０に対する操作により、表示領域の設定完了を指示されたか否かを判定する。第１判定処理ＳＡ１３０の判定結果が“Ｎｏ”である場合には、処理装置４０は、第１受付処理ＳＡ１２０を再度実行する。第１判定処理ＳＡ１３０の判定結果が“Ｙｅｓ”である場合には、処理装置４０は、変換処理ＳＡ１４０を実行する。変換処理ＳＡ１４０では、処理装置４０は変換部４３０Ａとして機能する。変換処理ＳＡ１４０では、処理装置４０は、第１受付処理ＳＡ１２０にて生成した第１頂点情報を、特定処理ＳＡ１１０にて特定された変換行列を用いて第２頂点情報に変換する。

第２受付処理ＳＡ１５０では、処理装置４０は、第２受付部４４０Ａとして機能する。第２受付処理ＳＡ１５０では、処理装置４０は、第２操作の実行を促すために、輪郭線の内側を第１色で塗りつぶし、かつ第２色で輪郭線を描画した第２表示領域を含む投写画像をタッチパネル１０の表示装置に表示させる。第２受付処理ＳＡ１５０では、処理装置４０は、第２操作に応じて第２頂点情報を更新するとともに、タッチパネル１０の表示画像を当該第２操作に応じて更新する。

第２判定処理ＳＡ１６０では、処理装置４０は、タッチパネル１０に対する操作により、表示領域の変更完了を指示されたか否かを判定する。第２判定処理ＳＡ１６０の判定結果が“Ｎｏ”である場合には、処理装置４０は、第２受付処理ＳＡ１５０を再度実行する。第２判定処理ＳＡ１６０の判定結果が“Ｙｅｓ”である場合には、処理装置４０は、生成処理ＳＡ１７０を実行する。生成処理ＳＡ１７０では、処理装置４０は生成部４５０として機能する。生成処理ＳＡ１７０では、処理装置４０は、投写画像における投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を第２操作に応じて生成する。

本実施形態の情報生成装置１Ａによれば、カメラ座標系において設定された投写オブジェクトの表示領域をプロジェクター座標系において変更することが可能となる。前述したように、カメラ座標系とプロジェクター座標系との対応関係の精度が低い場合、カメラ座標系で表示領域を指定すると、プロジェクター座標系では表示領域がずれる可能性がある。本実施形態によれば、カメラ座標系で設定された表示領域の位置及び形状の少なくとも一方をプロジェクター座標系で変更することにより、上記ずれを補正し、より高精度に表示領域を設定することが可能になる。

２．第２実施形態
図６は、本開示の第２実施形態に係る情報生成方法を実行する情報生成装置１Ｂ、及びプロジェクター２含む画像表示システム５Ｂの構成例を示すブロック図である。情報生成装置１Ｂと情報生成装置１Ａとの相違点は、プログラムＰＡに代えてプログラムＰＢが記憶装置３０に記憶されている点である。情報生成装置１Ｂの処理装置４０は、プログラムＰＢを実行することにより、特定部４１０、第１受付部４２０Ｂ、変換部４３０Ｂ、第２受付部４４０Ｂ、及び生成部４５０として機能する。以下、第１実施形態との相違点である第１受付部４２０Ｂ、変換部４３０Ｂ、及び第２受付部４４０Ｂを中心に説明する。

第１受付部４２０Ｂは、第１操作を受け付ける点では、第１実施形態における第１受付部４２０Ａと同一である。本実施形態では、第１座標系がプロジェクター座標系である点が第１実施形態と異なる。第１受付部４２０Ｂは、ユーザーに第１操作の実行を促すために、第１実施形態における第２受付部４４０Ａと同様に、投写画像をタッチパネル１０の表示装置に表示させる。より詳細に説明すると、第１受付部４２０Ｂは、プロジェクター２から取得した解像度情報の示す大きさと同じ大きさ、又は解像度情報の示すアスペクト比と同じアスペクト比の黒画像を表示させる。本実施形態における第１操作の具体例としては、当該投写画像に対して、第１表示領域の各頂点及び頂点を結ぶ順を指定する操作が挙げられる。第１受付部４２０Ｂは、第１操作に応じて、第１表示領域の各頂点及び頂点を結ぶ順を示す第１頂点情報を生成する。

変換部４３０Ｂは、変換部４３０Ａと同様に、第１座標系における表示領域である第１表示領域を、第２座標系における表示領域である第２表示領域に変換する。具体的には、変換部４３０Ｂは、第１表示領域の各頂点及び頂点を結ぶ順を示す第１頂点情報を、第２表示領域の各頂点及び頂点を結ぶ順を示す第２頂点情報に変換する。だたし、本実施形態では第１座標系がプロジェクター座標系であり、第２座標系がカメラ座標系である点が第１実施形態と異なる。第２受付部４４０Ｂは、第２受付部４４０Ａと同様に、第１操作により指定された第１表示領域の位置及び形状の少なくとも一方を第２座標系において変更する第２操作を受け付ける。第２受付部４４０Ｂは、ユーザーに第２操作の実行を促すために、撮像装置５０による撮像画像をタッチパネル１０の表示装置に表示させる。より詳細に説明すると、第２受付部４４０Ｂは、撮像装置５０による撮像画像に、第２頂点情報により頂点が表される第２表示領域の画像を重ねて表示装置に表示させる。なお、第２受付部４４０Ｂは、第１実施形態における第２受付部４４０Ａと同様に、第２操作を受け付ける毎に、受け付けた第２操作に応じて、第２頂点情報を更新するとともに表示装置の表示画像を更新する。

本実施形態における被投写物ＳＣは三次元形状を有するため、被投写物ＳＣの一部が撮像画像に写っていないことがあり得る。また、図７に示す撮像画像Ｇ２のように、被投写物ＳＣの一部が撮像装置５０の撮像範囲から見切れている場合もある。被投写物ＳＣの一部が撮像画像に写っておらず、第１表示領域が、撮像画像に写っている被投写物ＳＣの部分に対応する第１領域と、第１領域以外の第２領域と、に区分けされる場合、変換部４３０Ｂは以下の要領で第２表示領域への変換を行う。第１領域については特定部４１０により生成された変換行列によりカメラ座標系と対応づけられる。このため、変換部４３０Ｂは、第１領域については上記変換行列を用いてカメラ座標系における第３領域に変換する。これに対して、第２領域は上記変換行列ではカメラ座標系に対応づけられていない。このため、変換部４３０Ｂは、第２領域については、第３領域に基づいてカメラ座標系における第４領域に変換する。そして、第２受付部４４０Ｂは、第３領域及び第４領域を第２表示領域として表示装置に表示させて第２操作を促す。

例えば、図８に示す投写画像Ｇ３において、頂点Ａ，Ｂ、Ｃ及びＤを有する四角形の領域が対応関係を特定済の領域であり、頂点ａ、ｂ、ｃ及びｄを有する四角形の第１表示領域が第１操作により設定されたとする。この場合、頂点ａ、ｂ、ｃ、ｆ及びｅを有する五角形の領域が第１領域であり、頂点ｄ、ｅ及びｆを有する三角形の領域が第２領域である。なお、頂点ｅは線分ＤＡと線分ｄａの交点であり、頂点ｆは線分ＤＡと線分ｃｄの交点である。

図８に示すように第１表示領域Ａ１が設定された場合、変換部４３０Ｂは、第１表示領域Ａ１の４つの頂点のうち頂点ａ、ｂ、及びｃのカメラ座標系における座標を変換行列を用いて算出する。次いで、変換部４３０Ｂは、プロジェクター座標系において線分ＤＡ、ｄａ、ｃｄを求め、頂点ｅ及び頂点ｆのプロジェクター座標系における座標を算出する。次いで、変換部４３０Ｂは、変換行列を用いて頂点ｅ及び頂点ｆのカメラ座標系における座標を求め、カメラ座標系において点ａ及び点ｅを通る第１の直線と、点ｃ及び点ｆを通る第２の直線とを求める。そして、変換部４３０Ｂは、第１の直線と第２の直線との交点を求め、当該交点の座標をカメラ座標系における頂点ｄの座標とする。第２受付部４４０Ｂは、図９に示すように、頂点ｄの座標に応じた余白の画像Ｇ４と、当該余白の分だけ狭めて撮像画像Ｇ２から切り出した画像Ｇ５とからなる画像Ｇ６に第２表示領域Ａ２の画像を重ねて表示装置に表示させる。

図１０は、プログラムＰＢに従って処理装置４０が実行する情報生成方法の流れを示すフローチャートである。図１０と図５とを対比すれば明らかなように、本実施形態における情報生成方法は、第１受付処理ＳＡ１２０に代えて第１受付処理ＳＢ１２０を設けた点、変換処理ＳＡ１４０に代えて変換処理ＳＢ１４０を設けた点、及び第２受付処理ＳＡ１５０に代えて第２受付処理ＳＢ１５０を設けた点が第１実施形態の情報生成方法と異なる。以下、第１実施形態との相違点である第１受付処理ＳＢ１２０、変換処理ＳＢ１４０、及び第２受付処理ＳＢ１５０を中心に説明する。

第１受付処理ＳＢ１２０は、第１実施形態における第１受付処理ＳＡ１２０と同様に、タッチパネル１０に対する操作により、表示領域の設定開始をユーザーから指示されたことを契機として実行される。なお、投写画像に複数の投写オブジェクトを配置する場合には、投写画像に配置する投写オブジェクトの数だけ第１受付処理ＳＢ１２０以降の処理を繰り返せばよい。第１受付処理ＳＢ１２０では、処理装置４０は第１受付部４２０Ｂとして機能する。第１受付処理ＳＢ１２０では、処理装置４０は、ユーザーに第１操作の実行を促すために、投写画像をタッチパネル１０の表示装置に表示させる。本実施形態では、処理装置４０は、プロジェクター２から取得した解像度情報の示す大きさと同じ大きさ、又は解像度情報の示すアスペクト比と同じアスペクト比の黒画像を上記投写画像として表示させる。処理装置４０は、タッチパネル１０に対して第１操作が為されると、前述の第１頂点情報を生成する。第１表示領域の設定を完了すると、ユーザーはタッチパネル１０に対する操作により表示領域の設定完了を情報生成装置１Ｂに指示する。第１実施形態にて説明したように、表示領域の設定完了を指示されると、第１判定処理ＳＡ１３０の判定結果は“Ｙｅｓ”になる。

図１０に示すように、変換処理ＳＢ１４０は、第１判定処理ＳＡ１３０の判定結果が“Ｙｅｓ”である場合に実行される。第１判定処理ＳＡ１３０の判定結果が“Ｎｏ”である場合には第１受付処理ＳＢ１２０が再度実行される。変換処理ＳＢ１４０では処理装置４０は変換部４３０Ｂとして機能する。変換処理ＳＢ１４０では、処理装置４０は、第１表示領域を第２表示領域に変換する。具体的には、処理装置４０は、第１受付処理ＳＢ１２０にて生成した第１頂点情報を、特定処理ＳＡ１１０にて特定された変換行列を用いて第２頂点情報に変換する。

第２受付処理ＳＢ１５０では処理装置４０は第２受付部４４０Ｂとして機能する。第２受付処理ＳＢ１５０では、処理装置４０は、第２操作の実行を促すために、撮像装置５０による撮像画像をタッチパネル１０の表示装置に表示させる。より詳細に説明すると、処理装置４０は、撮像装置５０による撮像画像に、第２頂点情報により頂点が表される第２表示領域の画像を重ねて表示装置に表示させる。また、第２受付処理ＳＢ１５０では、処理装置４０は、第２操作に応じて第２頂点情報を更新するとともに、タッチパネル１０の表示画像を当該第２操作に応じて更新する。

本実施形態の情報生成装置１Ｂによれば、プロジェクター座標系において指定された表示領域をカメラ座標系において変更することが可能となる。本実施形態によれば、撮像装置５０で撮影できなかった範囲を含めて表示領域を設定することができ、被投写物ＳＣの一部が撮像画像に写っていない場合でも、表示領域の形状及び位置のうちの少なくとも一方を変更することが可能になる。

３．変形例
各実施形態は、以下のように変更されてもよい。
（１）各実施形態における第１操作は、第１表示領域の輪郭線を描くように第１表示領域の頂点を順にタップ等により指定する操作であった。しかし、各種の多角形或いは楕円等の予め定められた図形を用いて第１表示領域をユーザーに指定させてもよい。例えば、予め定められた複数種の図形のうちの何れかを選択させるためのプルダウンメニューを表示する場合には、当該プルダウンメニューに表示される図形を選択する操作と選択された図形の位置及び形状の少なくとも一方を変更する操作とを第１操作とすればよい。また、被投写物ＳＣの全体の形状或いは被投写物ＳＣの各面の形状をエッジ検出等を利用して特定し、当該特定された形状に対応する図形を上記プルダウンメニューに含めてもよい。

（２）第２実施形態では、被投写物ＳＣの一部が撮像画像に写っておらず、第１表示領域が第１領域と第２領域とに区分けされる場合、第１領域については変換行列を用いて第３領域に変換し、第２領域については第３領域に基づいて第４領域に変換し、第３領域と第４領域とで第２表示領域を形成した。しかし、第２領域の第４領域への変換を省略し、第３領域のみで第２表示領域を形成してもよい。

（３）第１実施形態における情報生成方法と第２実施形態における情報生成方法とを切り換えて実行できるようにしてもよい。具体的には、プログラムＰＡの他にプログラムＰＢを情報生成装置１Ａの記憶装置３０に予め記憶させておき、ユーザーの指示に応じてプログラムＰＡとプログラムＰＢの一方を処理装置４０に実行させるようにすればよい。

（４）情報生成装置１Ａ及び情報生成装置１Ｂは、何れも撮像装置５０を有するスマートフォンであったが、撮像装置を備えるタブレット端末或いは撮像装置を備えるノート型或いは据え置き型のパーソナルコンピューターであってもよい。ノート型或いは据え置き型のパーソナルコンピューターを本開示の情報生成装置として用いる場合には、マウス又はキーボードを入力装置として第１操作及び第２操作を受け付けてもよい。また、情報生成装置がＬＡＮ等のネットワーク経由のデータ通信により撮像画像を取得できる場合には、情報生成装置が撮像装置を備えている必要はない。また、スマートフォン或いはタブレット端末等の携帯端末と、ＬＡＮ又はインターネットを介して携帯端末と通信するサーバー装置と、を有するコンピューターシステムにおいて、サーバー装置の処理装置を特定部４１０、変換部４３０Ａ或いは変換部４３０Ｂ、及び生成部４５０として機能させ、当該携帯端末に第１操作及び第２操作を入力するための入力装置の役割を担わせてもよい。このコンピューターシステムは本開示の情報生成システムの一例である。

（５）第１実施形態における特定部４１０、第１受付部４２０Ａ、変換部４３０Ａ、第２受付部４４０Ａ及び生成部４５０はソフトウェアモジュールであったが、特定部４１０、第１受付部４２０Ａ、変換部４３０Ａ、第２受付部４４０Ａ及び生成部４５０の一部又は全部は、ハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。特定部４１０、第１受付部４２０Ａ、変換部４３０Ａ、第２受付部４４０Ａ及び生成部４５０の一部又は全部がハードウェアであっても、上記第１実施形態と同一の効果が奏される。第２実施形態における第１受付部４２０Ｂ、変換部４３０Ｂ及び第２受付部４４０Ｂについても同様に一部又は全部がハードウェアであってもよい。

（６）第１実施形態では、プログラムＰＡが記憶装置３０に記憶済であった。しかし、プログラムＰＡを単体で製造又は配布してもよい。プログラムＰＡの具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラムＰＡを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。当該プログラムＰＡをパーソナルコンピューター等の一般的な情報処理装置にインストールし、当該情報処理装置のＣＰＵ等のコンピューターを当該プログラムに従って作動させることで当該情報処理装置を本開示の情報生成装置として機能させることが可能になる。第２実施形態におけるプログラムＰＢについても同様に単体で製造又は配布されてもよい。

４．各実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した各実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

以上に説明した課題を解決するため、本開示の情報生成方法の一態様は、特定処理ＳＡ１１０、第１受付処理ＳＡ１２０、変換処理ＳＡ１４０、第２受付処理ＳＡ１５０、及び生成処理ＳＡ１７０を含む。
特定処理ＳＡ１１０では、プロジェクターから投写される第１画像と、第１画像が投写されている状態の被投写物をカメラで撮影して得られる第２画像とに基づいて、プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系とカメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係が特定される。

第１受付処理ＳＡ１２０では、カメラ座標系とプロジェクター座標系とのうちの一方である第１座標系において、プロジェクター２から被投写物ＳＣへ投写する投写オブジェクトの配置先となる第１表示領域Ａ１を指定する第１操作が受け付けられる。より具体的には、第１座標系はカメラ座標系であり、第１受付処理ＳＡ１２０における第１操作の受け付けの際には、撮像装置５０による被投写物ＳＣの撮像画像をタッチパネル１０の表示装置に表示させることで第１操作の実行を促してもよい。

変換処理ＳＡ１４０では、第１表示領域Ａ１は、特定処理ＳＡ１１０にて特定された対応関係に基づいて、カメラ座標系とプロジェクター座標系とのうちの他方である第２座標系において投写オブジェクトの配置先となる第２表示領域Ａ２に変換される。第１座標系がカメラ座標系である場合、第２座標系はプロジェクター座標系である。

第２受付処理ＳＡ１５０では、第２表示領域Ａ２の形状、及び位置のうちの少なくとも一方を変更する第２操作が受け付けられる。第２受付処理ＳＡ１５０における第２操作の受け付けの際には、投写画像をタッチパネル１０の表示装置に表示させることで第２操作の実行を促してもよい。

生成処理ＳＡ１７０では、投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報が第２操作に応じて生成される。本態様の情報生成方法によれば、カメラ座標系において指定された表示領域の形状、及び位置のうちの少なくとも一方をプロジェクター座標系で変更することが可能になり、カメラ座標系とプロジェクター座標系との対応関係の精度が低い場合であっても、第２表示領域Ａ２を高い精度で設定することが可能になる。

本開示の情報生成方法の別の態様は、第１受付処理ＳＡ１２０に代えて第１受付処理ＳＢ１２０を、変換処理ＳＡ１４０に代えて変換処理ＳＢ１４０を、第２受付処理ＳＡ１５０に代えて第２受付処理ＳＢ１５０を含んでもよい。より具体的には、第１座標系はプロジェクター座標系であり、第１受付処理ＳＢ１２０における第１操作の受け付けの際には、投写画像をタッチパネル１０の表示装置に表示させることで第１操作の実行を促してもよい。また、第２受付処理ＳＢ１５０における第２操作の受け付けの際には、撮像装置５０による被投写物ＳＣの撮像画像をタッチパネル１０の表示装置に表示させることで第２操作の実行を促してもよい。本態様によれば、プロジェクター座標系で設定された表示領域の位置及び形状の少なくとも一方をカメラ座標系で変更することが可能になり、カメラで撮影できなかった範囲を含めて表示領域を設定することが可能になる。

第１座標系がプロジェクター座標系である場合の更に好ましい態様では、撮像装置５０による被投写物ＳＣの撮像画像に被投写物ＳＣの一部が写っておらず、第１表示領域Ａ１が、撮像画像に写っている被投写物ＳＣの部分に対応する第１領域と、第１領域以外の第２領域とに区分けされる場合、変換処理ＳＢ１４０及び第２受付処理ＳＢ１５０の処理内容は以下の通りであってもよい。変換処理ＳＢ１４０では、第１領域については対応関係に基づいてカメラ座標系における第３領域に変換され、第２領域については第３領域に基づいてカメラ座標系における第４領域に変換される。第２受付処理ＳＢ１５０では、第３領域及び第４領域が第２表示領域としてタッチパネル１０の表示装置に表示される。本態様によれば、被投写物ＳＣの一部が撮像画像に写っていない場合でも、表示領域の形状及び位置のうちの少なくとも一方を変更することが可能になる。

以上に説明した課題を解決するため、本開示の情報生成システムの一態様は、入力装置と、処理装置４０とを備える。そして、処理装置４０は、前述の特定処理ＳＡ１１０、第１受付処理ＳＡ１２０、変換処理ＳＡ１４０、第２受付処理ＳＡ１５０、及び生成処理ＳＡ１７０、或いは特定処理ＳＡ１１０、第１受付処理ＳＢ１２０、変換処理ＳＢ１４０、第２受付処理ＳＢ１５０、及び生成処理ＳＡ１７０を実行する。本態様の情報処理システムによっても、カメラ座標系とプロジェクター座標系のうちの一方において指定された表示領域の形状及び位置の少なくとも一方を、他方の座標系において変更することが可能になる。

より好ましい態様の情報生成システムでは、処理装置４０は、投写オブジェクトの形状、及び位置のうちの少なくとも一方を第２操作に応じて生成される情報に基づいて変更済の投写画像を、プロジェクター２に投写させてもよい。本態様によれば、第２操作による変更結果をプロジェクターの投写画像によりユーザーに把握させることが可能になる。

以上に説明した課題を解決するため、本開示のプログラムの一態様は、前述の特定処理ＳＡ１１０、第１受付処理ＳＡ１２０、変換処理ＳＡ１４０、第２受付処理ＳＡ１５０、及び生成処理ＳＡ１７０をコンピューターに実行させる。また、本開示のプログラムの別の態様は、前述の特定処理ＳＡ１１０、第１受付処理ＳＢ１２０、変換処理ＳＢ１４０、第２受付処理ＳＢ１５０、及び生成処理ＳＡ１７０をコンピューターに実行させる。本態様のプログラムによれば、カメラ座標系とプロジェクター座標系の一方において指定された表示領域の形状、及び位置のうちの少なくとも一方を他方の座標系で変更することが可能になる。

１Ａ、１Ｂ…情報生成装置、２…プロジェクター、１０…タッチパネル、２０…通信装置、３０…記憶装置、４０…処理装置、４１０…特定部、４２０Ａ，４２０Ｂ…第１受付部、４３０Ａ，４３０Ｂ…変換部、４４０Ａ、４４０Ｂ…第２受付部、４５０…生成部、５０…撮像装置、ＰＡ、ＰＢ…プログラム、ＳＣ…被投写物、５Ａ、５Ｂ…画像表示システム。

Claims (7)

1. プロジェクターから投写される第１画像と、前記第１画像が投写されている状態の被投写物をカメラで撮影して得られる第２画像とに基づいて、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定し、
   前記カメラ座標系と前記プロジェクター座標系とのうちの一方である第１座標系において、前記プロジェクターから前記被投写物に投写する投写オブジェクトの配置先となる第１表示領域を指定する第１操作を受け付け、
   前記第１表示領域を、前記対応関係に基づいて前記カメラ座標系と前記プロジェクター座標系とのうちの他方である第２座標系において前記投写オブジェクトの配置先となる第２表示領域に変換し、
   前記第２表示領域の形状、及び位置のうちの少なくとも一方を変更する第２操作を受け付け、
   前記投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を前記第２操作に応じて生成する、
   ことを特徴とする情報生成方法。
2. 前記第１座標系は前記カメラ座標系であり、前記第１操作の受け付けの際には前記カメラによる前記被投写物の撮像画像を表示装置に表示させることで前記第１操作を受け付け、前記第２操作の受け付けの際には前記投写画像を前記表示装置に表示させることで前記第２操作を受け付ける、請求項１に記載の情報生成方法。
3. 前記第１座標系は前記プロジェクター座標系であり、前記第１操作の受け付けの際には前記投写画像を表示装置に表示させることで前記第１操作を受け付け、前記第２操作の受け付けの際には前記カメラによる前記被投写物の撮像画像を前記表示装置に表示させることで前記第２操作を受け付ける、請求項１に記載の情報生成方法。
4. 前記カメラによる前記被投写物の撮像画像に前記被投写物の一部が写っておらず、前記第１表示領域が、前記撮像画像に写っている前記被投写物の部分に対応する第１領域と、前記第１領域以外の第２領域と、に区分けされる場合、
   前記第１領域については前記対応関係に基づいて前記カメラ座標系における第３領域に変換する一方、前記第２領域については前記第３領域に基づいて前記カメラ座標系における第４領域に変換し、
   前記第３領域及び前記第４領域を前記第２表示領域として前記表示装置に表示させて前記第２操作を受け付ける、請求項３に記載の情報生成方法。
5. 入力装置と、
   処理装置と、を備え、
   前記処理装置は、
   プロジェクターから投写される第１画像と、前記第１画像が投写されている状態の被投写物をカメラで撮影して得られる第２画像とに基づいて、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像された撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、
   前記カメラ座標系と前記プロジェクター座標系とのうちの一方である第１座標系において、前記プロジェクターから前記被投写物に投写する投写オブジェクトの配置先となる第１表示領域を指定する第１操作を受け付けること、
   前記第１表示領域を、前記対応関係に基づいて前記カメラ座標系と前記プロジェクター座標系とのうちの他方である第２座標系において前記投写オブジェクトの配置先となる第２表示領域に変換すること、
   前記第２表示領域の形状、及び位置のうちの少なくとも一方を変更する第２操作を受け付けること、及び、
   前記投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を前記第２操作に応じて生成すること、を実行する、
   情報生成システム。
6. 前記処理装置は、
   前記投写オブジェクトの形状、及び位置のうちの少なくとも一方を前記第２操作に応じて生成される情報に基づいて変更済の前記投写画像を、前記プロジェクターに投写させること、を更に実行する請求項５に記載の情報生成システム。
7. コンピューターに、
   プロジェクターから投写される第１画像と、前記第１画像が投写されている状態の被投写物をカメラで撮影して得られる第２画像とに基づいて、前記プロジェクターが投写する投写画像上の位置を表すプロジェクター座標系と前記カメラによって撮像された撮像画像上の位置を表すカメラ座標系との対応関係を特定すること、
   前記カメラ座標系と前記プロジェクター座標系とのうちの一方である第１座標系において、前記プロジェクターから前記被投写物に投写する投写オブジェクトの配置先となる第１表示領域を指定する第１操作を受け付け、
   前記第１表示領域を、前記対応関係に基づいて前記カメラ座標系と前記プロジェクター座標系とのうちの他方である第２座標系において前記投写オブジェクトの配置先となる第２表示領域に変換すること、
   前記第２表示領域の形状、及び位置のうちの少なくとも一方を変更する第２操作を受け付けること、及び、
   前記投写オブジェクトの形状、及び位置のうちの少なくとも一方を変更するための情報を前記第２操作に応じて生成すること、
   を実行させるプログラム。

Images