JP7380661B2 - 投射方法、及び投射システム - Google Patents

Description

本開示は、投射方法、及び投射システムに関する。

３次元形状を有する投射対象物にプロジェクターから投射画像を投射することで種々の演出を行うプロジェクションマッピングが普及しつつある。また、プロジェクションマッピング用の投射画像を生成するための技術が種々提案されており、一例としては特許文献１又は特許文献２に開示の技術が挙げられる。特許文献１には、カメラによる投射対象物の撮像画像を解析することで投射対象物が占める領域を特定し、この特定結果に基づいて投射画像を生成する技術が開示されている。特許文献２には、カメラによる投射対象物の撮像画像をスマートフォン等の端末における表示領域に背景として表示し、この表示領域に描画されたオブジェクトの画像をプロジェクターに投射させる技術が開示されている。

特開２０１８－９７１４８号公報 特開２０２１－８７０４３号公報

特許文献１に開示される技術では、カメラ座標系とプロジェクター座標系の変換テーブルを生成するものの、投影画像と撮像画像との各画像の対応づけであるため、キャリブレーション実行後に物***置が移動した場合は、投影画像と撮像画像との対応付けがキャリブレーション時と変化しているため、所望の３次元位置に描画を行うことができない。また、特許文献２に開示される技術では、カメラ画像内におけるプロジェクター画像の対応付けとして、カメラ画像内の投射領域に対する台形補正により対応関係を求めているが、台形補正では投射領域内に存在する奥行き情報を考慮していないため、投影対象物が３次元形状を有する場合、投射対象物の所望の３次元位置に描画を行うことができない。また、特許文献１と同様に、カメラとプロジェクターの対応付けを行ったときの状態から、物***置が移動した場合には所望の３次元位置に描画を行うことができない。つまり、特許文献１および特許文献２に開示の技術では、投射対象物の画像に対してユーザーが描画した描画オブジェクトを、描画された位置に描画された形状で正確に投射することができない場合がある、という問題がある。

本開示の投射方法の一態様は、投射対象物をカメラによって撮像することにより得られた第１画像を取得することと、前記第１画像においてユーザーが描画オブジェクトを描画する操作を受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、前記カメラと前記投射対象物との相対３次元位置を示す第１位置情報、及び前記カメラの光軸の向きを示す第１姿勢情報に基づいて、前記第１オブジェクト情報を、前記投射対象物の表面に前記描画オブジェクトが配置された場合の前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、プロジェクターと前記投射対象物との相対３次元位置を示す第２位置情報、及び前記プロジェクターの光軸の向きを示す第２姿勢情報に基づいて、前記第２オブジェクト情報を、前記プロジェクターから投射する画像上の前記描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を含む。

また、本開示の投射方法の別の態様は、投射対象物を模擬した仮想物体及び前記投射対象物に画像を投射するプロジェクターを模擬した仮想プロジェクターを含み、前記仮想物体と前記仮想プロジェクターとの相対３次元位置が前記投射対象物と前記プロジェクターとの相対３次元位置に応じて定まる仮想空間において、ユーザーによって設定された視点から前記仮想物体を見た第１画像を取得することと、前記第１画像において前記ユーザーが描画オブジェクトを描画する操作を受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、前記視点と前記仮想物体との相対３次元位置を示す第１位置情報に基づき、前記第１オブジェクト情報を、前記仮想物体の表面に前記描画オブジェクトが配置された場合に、前記投射対象物の表面に配置された前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、前記仮想プロジェクターと前記仮想物体との相対３次元位置を示す第２位置情報、及び前記仮想プロジェクターの光軸の向きを示す姿勢情報に基づいて、前記第２オブジェクト情報を、前記仮想プロジェクターから投射する画像上の前記描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を含む。

また、本開示の投射システムの一態様は、投射対象物に画像を投射するプロジェクターと、ユーザーの操作を受け付ける入力装置と、処理装置と、を含む。前記処理装置は、前記投射対象物をカメラによって撮像することにより得られた第１画像を取得することと、前記第１画像において描画オブジェクトを描画する操作を前記入力装置によって受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、前記カメラと前記投射対象物との相対３次元位置を示す第１位置情報、及び前記カメラの光軸の向きを示す第１姿勢情報に基づいて、前記第１オブジェクト情報を、前記投射対象物の表面に前記描画オブジェクトが配置された場合の前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、プロジェクターと前記投射対象物との相対３次元位置を示す第２位置情報、及び前記プロジェクターの光軸の向きを示す第２姿勢情報に基づいて、前記第２オブジェクト情報を、前記プロジェクターから投射する画像上の前記描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を実行する。

また、本開示の投射システムの別の態様は、投射対象物に画像を投射するプロジェクターと、ユーザーの操作を受け付ける入力装置と、処理装置と、を含む。前記処理装置は、前記投射対象物を模擬した仮想物体及び前記プロジェクターを模擬した仮想プロジェクターを含み、前記仮想物体と前記仮想プロジェクターとの相対３次元位置が前記投射対象物と前記プロジェクターとの相対３次元位置に応じて定まる仮想空間において、前記入力装置に対する操作によって設定された視点から前記仮想物体を見た第１画像を取得することと、前記第１画像において描画オブジェクトを描画する操作を前記入力装置によって受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、前記視点と前記仮想物体との相対３次元位置を示す第１位置情報に基づき、前記第１オブジェクト情報を、前記仮想物体の表面に前記描画オブジェクトが配置された場合に、前記投射対象物の表面に配置された前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、前記仮想プロジェクターと前記仮想物体との相対３次元位置を示す第２位置情報、及び前記仮想プロジェクターの光軸の向きを示す姿勢情報に基づいて、前記第２オブジェクト情報を、前記仮想プロジェクターから投射する画像上の前記描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を実行する。

本開示の第１実施形態による投射システム１Ａの構成例を示す図である。 投射システム１Ａに含まれる制御装置１０Ａの構成例を示す図である。 カメラ３０による投射対象物ＰＳの撮像画像Ｇ１の一例を示す図である。 第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１の算出の原理を説明するための図である。 本実施形態の動作例を説明するための図である。 本実施形態の動作例を説明するための図である。 制御装置１０Ａの処理装置１４０がプログラムＰＡに従って実行する投射方法の流れを示すフローチャートである。 本開示の第２実施形態による投射システム１Ｂの構成例を示す図である。 本実施形態における仮想空間ＶＳを説明するための図である。 投射システム１Ｂに含まれる制御装置１０Ｂの構成例を示す図である。 制御装置１０Ｂの処理装置１４０がプログラムＰＢに従って実行する投射方法の流れを示すフローチャートである。 本実施形態の効果を説明するための図である。 本実施形態の効果を説明するための図である。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．第１実施形態
図１は、本開示の第１実施形態による投射システム１Ａの構成例を示す図である。図１に示されるように、投射システム１Ａには、制御装置１０Ａと、投射対象物ＰＳに投射画像を投射するためのプロジェクター２０と、投射対象物ＰＳを撮像するためのカメラ３０と、が含まれる。投射対象物ＰＳは３次元形状を有する物体である。図１に示されるように、本実施形態における投射対象物ＰＳは直方体状の物体である。

図１に示されるように、プロジェクター２０は、ＵＳＢ（Universal Serial Bus）ケーブル等の通信線Ｌ１を介して制御装置１０Ａに接続される。同様に、カメラ３０は、ＵＳＢケーブル等の通信線Ｌ２を介して制御装置１０Ａに接続される。制御装置１０Ａは、通信線Ｌ２を介してカメラ３０と通信することにより、投射対象物ＰＳの撮像画像を表す撮像画像データをカメラ３０から取得する。カメラ３０による投射対象物ＰＳの撮像画像は本開示における第１画像の一例である。なお、制御装置１０Ａとカメラ３０との間の通信は無線通信であってもよい。同様に、制御装置１０Ａとプロジェクター２０との間の通信も無線通信であってもよい。

制御装置１０Ａは、投射対象物ＰＳの撮像画像において投射対象物ＰＳが示す領域に投射対象物ＰＳに投射する描画オブジェクトを描画するユーザーの操作を受け付ける。制御装置１０Ａは、プロジェクター２０から投射対象物ＰＳに投射する投射画像を表す投射画像データを当該操作に応じて生成する。制御装置１０Ａは、生成した投射画像データを通信線Ｌ１を介してプロジェクター２０へ送信する。投射システム１Ａでは、投射画像データの表す投射画像をプロジェクター２０から投射対象物ＰＳに投射することにより、プロジェクションマッピングが実現される。以下、本実施形態の特徴を顕著に示す制御装置１０Ａを中心に説明する。

図２は、制御装置１０Ａのハードウェア構成の一例を示すブロック図である。図２に示されるように、制御装置１０Ａは、通信装置１００、表示装置１１０、入力装置１２０、記憶装置１３０、及び処理装置１４０を含む。制御装置１０Ａの具体例としては、スマートフォン又はタブレット端末等の携帯端末が挙げられる。

通信装置１００には、通信線Ｌ１及び通信線Ｌ２が接続される。通信装置１００は、カメラ３０から送信される撮像画像データを、通信線Ｌ２を介して受信する。通信装置１００は、受信した撮像画像データを処理装置１４０へ出力する。また、通信装置１００は、処理装置１４０から与えられる投射画像データを、通信線Ｌ１を介してプロジェクター２０へ送信する。通信装置１００の具体例としてはインターフェイス回路が挙げられる。

表示装置１１０は、処理装置１４０による制御の下、画像を表示する装置である。表示装置１１０の具体例としては、液晶ディスプレイ及び当該液晶ディスプレイの駆動回路が挙げられる。表示装置１１０に表示される画像の一例としては、撮像画像データの表す画像、即ちカメラ３０による投射対象物ＰＳの撮像画像が挙げられる。

入力装置１２０は、投射システム１Ａのユーザーによる操作を受け付ける装置である。入力装置１２０の具体例としては、表示装置１１０の表示領域を覆うように配置された透明なシート状の感圧センサーが挙げられる。本実施形態では、入力装置１２０として当該感圧センサーが用いられ、表示装置１１０と入力装置１２０とによりタッチパネルが形成される。表示装置１１０に投射対象物ＰＳの撮像画像が表示されている状況下では、投射システム１Ａのユーザーは、この撮像画像において投射対象物ＰＳが占める領域に投射対象物ＰＳに投射する描画オブジェクトを描画する操作を入力装置１２０に対して行うことができる。入力装置１２０は、入力装置１２０に対して為されたユーザーの操作を表す操作内容データを処理装置１４０に与える。操作内容データが入力装置１２０から処理装置１４０に与えられることによって、ユーザーの操作の内容が処理装置１４０に伝達される。

記憶装置１３０は、揮発性記憶装置であるＲＡＭ（Random Access Memory）と不揮発性記憶装置であるＲＯＭ（Read Only Memory）とを含む。不揮発性記憶装置には、本開示の特徴を顕著に示す投射方法を処理装置１４０に実行させるプログラムＰＡが記憶されている。揮発性記憶装置は、プログラムＰＡを実行する際のワークエリアとして処理装置１４０によって利用される。また、記憶装置１３０の揮発性記憶装置には、第１位置情報ＤＡ１、第１姿勢情報ＤＢ１、第２位置情報ＤＡ２、第２姿勢情報ＤＢ２、第３位置情報ＤＡ３、第３姿勢情報ＤＢ３、及びマーカー情報ＤＭが記憶される。

本実施形態では、投射対象物ＰＳの表面には、図１に示されるように複数のマーカーＭが予め付与されている。これら複数のマーカーＭの各々は、互いに異なるＡＲ（Augmented Reality）マーカーである。これら複数のマーカーＭについては、投射対象物ＰＳ、プロジェクター２０及びカメラ３０が配置される３次元空間における３次元位置が予め計測されている。以下では、投射対象物ＰＳ、プロジェクター２０及びカメラ３０が配置される３次元空間は実空間と称される。実空間における各マーカーＭの３次元位置を計測する際には、任意の３次元座標系が設定される。この３次元座標系は実空間座標系と称される。本実施形態では、複数のマーカーＭの各々の実空間座標系における３次元座標値は既知である。マーカー情報ＤＭは、実空間座標系における複数のマーカーＭの各々の３次元位置を示す情報である。マーカー情報ＤＭは、記憶装置１３０に予め記憶されている。

第３位置情報ＤＡ３は、実空間座標系においてプロジェクター２０から見たカメラ３０の３次元位置、即ち実空間座標系におけるプロジェクター２０とカメラ３０との相対３次元位置を示す情報である。本実施形態では、実空間座標系におけるカメラ３０の３次元位置として、実空間座標系におけるカメラ３０の撮像レンズの主点の位置が用いられる。また、本実施形態では、実空間座標系におけるプロジェクター２０の３次元位置として、実空間座標系におけるプロジェクター２０の投射レンズの主点の位置が用いられる。本実施形態における第３位置情報ＤＡ３は、実空間座標系においてカメラ３０の撮像レンズの主点を平行移動によりプロジェクター２０の主点に移動させる際の平行移動行列に対応する。本実施形態では、プロジェクター２０とカメラ３０との相対３次元位置は固定であり、第３位置情報ＤＡ３は記憶装置１３０に予め記憶されている。

以下では、カメラ３０の主点を原点とし、カメラ３０による撮像画像の水平走査方向に沿った座標軸をｘ軸、当該撮像画像の垂直走査方向に沿った座標軸をｙ軸、及びカメラ３０の光軸に沿った座標軸をｚ軸とする座標系はカメラ座標系と称される。また、プロジェクター２０の主点を原点とし、プロジェクター２０による投射画像の水平走査方向に沿った座標軸をｘ軸、当該投射画像の垂直走査方向に沿った座標軸をｙ軸、及びプロジェクター２０の光軸に沿った座標軸をｚ軸とする座標系はプロジェクター座標系と称される。

第３姿勢情報ＤＢ３は、実空間座標系におけるカメラ３０のプロジェクター２０に対する相対姿勢を示す情報である。本実施形態における第３姿勢情報ＤＢ３は、実空間座標系においてプロジェクター２０の光軸に沿った単位ベクトルを、回転により実空間座標系においてカメラ３０の光軸に沿った単位ベクトルに変換する回転行列である。本実施形態では、実空間座標系におけるカメラ３０のプロジェクター２０に対する相対姿勢は固定であり、両者の相対姿勢を示す第３姿勢情報ＤＢ３が記憶装置１３０に予め記憶されている。第３位置情報ＤＡ３及び第３姿勢情報ＤＢ３はカメラ座標系とプロジェクター座標系とを相互変換するための情報である。

第１位置情報ＤＡ１は、実空間座標系においてカメラ３０から見た投射対象物ＰＳの３次元位置、即ち実空間座標系におけるカメラ３０と投射対象物ＰＳの相対３次元位置を示す情報である。第１姿勢情報ＤＢ１は、実空間座標系におけるカメラ３０の姿勢、即ちカメラ３０の光軸の向きを示す情報である。第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１は、PnP(Perspective n-Points)の原理に基づいて以下の要領で生成される。

図３は、カメラ３０による撮像画像Ｇ１の一例を示す図である。この撮像画像Ｇ１は、図４に示される前方クリッピング面Ｆ１に対応する。より詳細には、実空間座標系においてカメラ３０の主点ＭＰに先端が位置し、且つ投射対象物ＰＳを含む視錐台Ｓ１における前方クリッピング面Ｆ１が撮像レンズを介してカメラ３０の撮像面に写ることにより、撮像画像Ｇ１が撮像される。カメラ座標系におけるマーカーＭの３次元位置は、撮像画像Ｇ１上のマーカーＭの２次元位置（ｍｘ、ｍｙ）と、カメラ３０の主点ＭＰから前方クリッピング面Ｆ１までの距離ｆとを用いて、（ｍｘ、ｍｙ、ｆ）と表される。

前述したように、マーカーＭの実空間座標系における３次元位置（Ｘ、Ｙ、Ｚ）は既知であるため、マーカーＭの実空間座標系における３次元位置（Ｘ、Ｙ、Ｚ）とカメラ座標系におけるマーカーＭの３次元位置（ｍｘ、ｍｙ、ｆ）とは、以下の式（１）に示されるように、式（２）に示す内部パラメーター行列Ｆ、及び式（３）に示す行列ＲＴを用いて互いに関連付けられる。なお、内部パラメーター行列Ｆにおけるｆｘはカメラ３０の撮像レンズにおける焦点距離のうち水平走査方向の焦点距離を表し、ｆｙは撮像レンズにおける焦点距離のうち垂直走査方向の焦点距離を表す。また、ｃｘ及びｃｙは、カメラ３０の主点ＭＰを通りｚ軸に沿った直線と前方クリッピング面Ｆ１との交点Ｐ１の撮像画像Ｇ１上のｘ座標及びｙ座標である。なお、内部パラメーター行列Ｆは既知であり、内部パラメーター行列Ｆを表す情報は記憶装置１３０に予め記憶されている。また、本実施形態では、プロジェクター２０の投射レンズの内部パラメーター行列も記憶装置１３０に予め記憶されている。

行列ＲＴは、成分ｒ１１～ｒ３３により構成される３行３列の回転行列と成分ｔ１～ｔ３により構成される３行１列の平行移動行列とを含む。本実施形態では、この回転行列が第１姿勢情報ＤＢ１であり、この平行移動行列が第１位置情報ＤＡ１である。本実施形態では、行列ＲＴを構成する１２個の成分は未知であるため、少なくとも６個のマーカーＭについての実空間座標系における３次元位置（Ｘ、Ｙ、Ｚ）と撮像画像Ｇ１上の２次元位置（ｍｘ、ｍｙ）とを式１に代入して得られる１２個の式を連立させて解くことで第１姿勢情報ＤＢ１と第１位置情報ＤＡ１とが求まる。

第２位置情報ＤＡ２は、実空間座標系においてプロジェクター２０から見た投射対象物ＰＳの３次元位置、即ち実空間座標系におけるプロジェクター２０と投射対象物ＰＳの相対３次元位置を示す情報である。本実施形態における第２位置情報ＤＡ２は、第１位置情報ＤＡ１と同様に平行移動行列である。第２姿勢情報ＤＢ２は、実空間座標系におけるプロジェクター２０の姿勢、即ちプロジェクター２０の光軸の向きを示す情報である。第２姿勢情報ＤＢ２は、第１姿勢情報ＤＢ１と同様に回転行列である。本実施形態では、カメラ３０とプロジェクター２０の相対３次元位置及び相対姿勢は固定であるため、第２位置情報ＤＡ２は、第１位置情報ＤＡ１と第３位置情報ＤＡ３とに基づいて生成される。また、第２姿勢情報ＤＢ２は第１姿勢情報ＤＢ１と第３姿勢情報ＤＢ３とに基づいて生成される。

処理装置１４０は、ＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含む。処理装置１４０には、１つのプロセッサーが含まれてもよいし、複数のプロセッサーが含まれてもよい。処理装置１４０は、制御装置１０Ａの電源投入を契機として、プログラムＰＡを不揮発性記憶装置から揮発性記憶装置へ読み出し、プログラムＰＡの実行を開始する。

より具体的には、プログラムＰＡに従って作動している処理装置１４０は、図２に示されるように、取得部１４１Ａ、第１生成部１４２Ａ、第２生成部１４３Ａ、変換部１４４Ａ、及び投射制御部１４５として機能する。つまり、図２に示される取得部１４１Ａ、第１生成部１４２Ａ、第２生成部１４３Ａ、変換部１４４Ａ、及び投射制御部１４５は、プログラムＰＡに従ってコンピューターを作動させることにより実現されるソフトウェアモジュールである。取得部１４１Ａ、第１生成部１４２Ａ、第２生成部１４３Ａ、変換部１４４Ａ、及び投射制御部１４５の各々の機能は、次の通りである。

取得部１４１Ａは、投射対象物ＰＳをカメラ３０によって撮像することにより得られた撮像画像を取得する。より詳細に説明すると、取得部１４１Ａは、通信装置１００を用いてカメラ３０と通信することによって、カメラ３０から送信される画像データ、即ちカメラ３０による投射対象物ＰＳの撮像画像を表す撮像画像データを取得する。

第１生成部１４２Ａは、取得部１４１Ａにより取得された撮像画像データの表す撮像画像とマーカー情報ＤＭとに基づいてPnPの原理により、第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１を生成する。また、第１生成部１４２Ａは、第１位置情報ＤＡ１及び第３位置情報ＤＡ３に基づいて第２位置情報ＤＡ２を生成するとともに、第１姿勢情報ＤＢ１及び第３姿勢情報ＤＢ３に基づいて第２姿勢情報ＤＢ２を生成する。

第２生成部１４３Ａは、取得部１４１Ａにより取得された撮像画像データの表す画像、即ちカメラ３０による投射対象物ＰＳの撮像画像を表示装置１１０に表示させることによって、撮像画像において投射対象物ＰＳが占める領域に描画オブジェクトを描画する操作を受け付ける。第２生成部１４３Ａは、入力装置１２０から出力される操作内容データを受信する。操作内容データは、描画する操作に応じたデータである。第２生成部１４３Ａは、操作内容データを受信することによって、描画オブジェクトを描画する操作を受け付ける。第２生成部１４３Ａは、操作内容データに基づいて、撮像画像における描画オブジェクトの２次元位置、具体的には描画オブジェクト上の複数の点の各々の２次元位置を示す第１オブジェクト情報を生成する。例えば、図３に示される撮像画像Ｇ１が表示装置１１０に表示されている状況下で、図５にて点線で示される描画オブジェクトＯＢ１を描く操作が入力装置１２０に対して為されたとする。この場合、第２生成部１４３Ａは、図５にて点線で示される線上に位置する複数の点の各々の２次元位置を示す第１オブジェクト情報を生成する。

変換部１４４Ａは、第１オブジェクト情報を、投射対象物ＰＳの表面に描画オブジェクトが配置された場合に、投射対象物ＰＳの表面に配置された描画オブジェクトの３次元位置、即ち実空間座標系における３次元位置を示す第２オブジェクト情報に変換する。より詳細に説明すると、変換部１４４Ａは、第１位置情報ＤＡ１、第１姿勢情報ＤＢ１，および撮像レンズの内部パラメーター行列を用いて、図４のＦ１に示すような前方クリッピング面に第１オブジェクト情報の示す第１オブジェクトを配置する。変換部１４４Ａは、前方クリッピング面上の第１オブジェクトと撮像レンズの主点ＭＰの延長線上に存在するオブジェクトの交点となる３次元位置を算出することにより、第１オブジェクト情報を第２オブジェクト情報に変換する。撮像レンズが歪みを有する場合、変換部１４４Ａは前方クリッピング面に配置する第１オブジェクトを当該歪みを補正する所謂歪補正処理を行った座標に配置することで、第１オブジェクト情報をレンズ歪みの影響を有さない第２オブジェクト情報、即ち３次元空間における描画オブジェクトの正確な３次元位置を示す第２オブジェクト情報に変換する。

投射制御部１４５は、第２オブジェクト情報を、プロジェクター２０から投射する画像上の描画オブジェクトの２次元位置、即ちプロジェクター座標系における２次元位置を示す第３オブジェクト情報に変換する。より詳細に説明すると、投射制御部１４５は、第２位置情報ＤＡ２、第２姿勢情報ＤＢ２、及び投射レンズの内部パラメーター行列を式（１）に代入し、更に式（１）の右辺のＸ、Ｙ及びＺに第２オブジェクト情報の示す座標値を代入して式（１）に示す演算を行うことにより、第２オブジェクト情報を第３オブジェクト情報に変換する。そして、投射制御部１４５は、描画オブジェクトを含む投射画像を表す画像データを第３オブジェクト情報に基づいて生成し、生成した画像データをプロジェクター２０に送信する。式（１）にはレンズ歪みを表す内部パラメーターを含ませることができるため、この式（１）に従って第２オブジェクト情報を第３オブジェクト情報に変換することにより、投射レンズのレンズ歪みを加味した投射画像が生成される。この投射画像をプロジェクター２０から投射対象物ＰＳに投射することにより、図６に示されるように、撮像画像Ｇ１に対する操作により指定された位置に当該操作により指定された形状の描画オブジェトが投射対象物ＰＳの表面に映る。

また、プログラムＰＡに従って作動している処理装置１４０は、本実施形態の特徴を顕著に示す投射方法を実行する。図７は、この投射方法の流れを示すフローチャートである。図７に示すように、この投射方法は、取得処理ＳＡ１００、第１生成処理ＳＡ１１０、第２生成処理ＳＡ１２０、変換処理ＳＡ１３０、及び投射制御処理ＳＡ１４０を含む。取得処理ＳＡ１００、第１生成処理ＳＡ１１０、第２生成処理ＳＡ１２０、変換処理ＳＡ１３０、及び投射制御処理ＳＡ１４０の各々の内容は次の通りである。

取得処理ＳＡ１００では、処理装置１４０は、取得部１４１Ａとして機能する。取得処理ＳＡ１００では、処理装置１４０は、通信装置１００を用いてカメラ３０と通信することにより、投射対象物ＰＳをカメラ３０によって撮像することにより得られた撮像画像を表す撮像画像データを取得する。

第１生成処理ＳＡ１１０では、処理装置１４０は、第１生成部１４２Ａとして機能する。第１生成処理ＳＡ１１０では、処理装置１４０は、取得処理ＳＡ１００にて取得された撮像画像データの表す撮像画像とマーカー情報ＤＭとに基づいてPnPの原理により、第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１を生成する。また、処理装置１４０は、第１位置情報ＤＡ１及び第３位置情報ＤＡ３に基づいて第２位置情報ＤＡ２を生成するとともに、第１姿勢情報ＤＢ１及び第３姿勢情報ＤＢ３に基づいて第２姿勢情報ＤＢ２を生成する。

第２生成処理ＳＡ１２０では、処理装置１４０は、第２生成部１４３Ａとして機能する。第２生成処理ＳＡ１２０では、処理装置１４０は、取得処理ＳＡ１００にて取得された撮像画像データの表す画像を表示装置１１０に表示させることによって、撮像画像において投射対象物ＰＳが占める領域に描画オブジェクトを描画する操作を受け付ける。そして、処理装置１４０は、当該操作を入力装置１２０によって受け付け、撮像画像における描画オブジェクトの２次元位置を示す第１オブジェクト情報を入力装置１２０から与えられる操作内容データに応じて生成する。前述したように、表示装置１１０に表示された撮像画像Ｇ１に対して、図５にて点線で示されるように描画オブジェクトＯＢ１が描画されると、第２生成処理ＳＡ１２０では、当該点線上の複数の点の各々の撮像画像上の２次元位置を示す第１オブジェクト情報が生成される。

変換処理ＳＡ１３０では、処理装置１４０は、変換部１４４Ａとして機能する。変換処理ＳＡ１３０では、処理装置１４０は、第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１に基づいて第１オブジェクト情報を第２オブジェクト情報に変換する。

投射制御処理ＳＡ１４０では、処理装置１４０は、投射制御部１４５として機能する。投射制御処理ＳＡ１４０では、処理装置１４０は、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２に基づいて、第２オブジェクト情報を第３オブジェクト情報に変換する。次いで、処理装置１４０は、描画オブジェクトＯＢ１を含む投射画像を表す画像データを第３オブジェクト情報に基づいて生成し、生成した画像データをプロジェクター２０に送信する。この投射画像がプロジェクター２０から投射対象物ＰＳに投射されることにより、図６に示されるように、撮像画像Ｇ１に対する操作により指定された３次元位置に当該操作により指定された形状の描画オブジェトが投射対象物ＰＳの表面に映る。

以上説明したように、本実施形態によれば、投射対象物ＰＳに投射するためにユーザーが投射対象物ＰＳの撮像画像に描画した描画オブジェクトの画像を、正確な３次元位置に正確な形状で投射対象物ＰＳに投射することが可能になる。

２．第２実施形態
図８は、本開示の第２実施形態による投射システム１Ｂの構成例を示す図である。本実施形態では、図９に示されるように、投射対象物ＰＳを模擬した仮想物体ＶＰＳ及びプロジェクター２０を模擬した仮想プロジェクターＶＰＪを含む仮想空間ＶＳにおいてユーザーにより設定された視点ＶＰから当該仮想物体ＶＰＳを見た画像に基づいて投射画像が生成される点が第１実施形態と異なる。この仮想空間ＶＳには、任意の３次元座標系が設定される。また、仮想空間ＶＳに設定される３次元座標系は仮想空間座標系と称される。本実施形態では、仮想空間座標系における仮想物体ＶＰＳと仮想プロジェクターＶＰＪとの相対３次元位置は、実空間座標系における投射対象物ＰＳとプロジェクター２０との相対３次元位置に応じて定まる。具体的には、仮想空間座標系における仮想物体ＶＰＳと仮想プロジェクターＶＰＪとの相対３次元位置は、実空間座標系における投射対象物ＰＳとプロジェクター２０との相対３次元位置と同じである。本実施形態では、実空間座標系におけるプロジェクター２０と投射対象物ＰＳとの相対３次元位置、及びプロジェクター２０の光軸の向きは既知である。投射対象物ＰＳの形状がＣＡＤ（Computer-Aided Design）によりデザインされる場合、仮想空間ＶＳの具体例としては、このＣＡＤ空間が挙げられる。

図８と図１とでは同一の構成要素には同一の符号が付されている。図８と図１とを比較すれば明らかなように、投射システム１Ｂは、制御装置１０Ａに代えて制御装置１０Ｂを有する点と、カメラ３０を有さない点とにおいて投射システム１Ａと異なる。本実施形態では、仮想空間ＶＳにおいてユーザーにより設定された視点ＶＰから当該仮想物体ＶＰＳを見た画像に基づいて投射画像が生成されるため、カメラ３０は不要である。また、本実施形態では、ユーザーは、視点ＶＰを任意の３次元位置に設定することができる。

図１０は、制御装置１０Ｂの構成例を示すブロック図である。図１０では、図２におけるものと同一の構成要素には同一の符号が付されている。本実施形態では第３位置情報ＤＡ３、第３姿勢情報ＤＢ３、及びマーカー情報ＤＭは記憶装置１３０に記憶されておらず、この点において本実施形態は第１実施形態と異なる。第１位置情報ＤＡ１及び第２位置情報ＤＡ２の各々が平行移動行列である点は第１実施形態と同様である。また、第１姿勢情報ＤＢ１及び第２姿勢情報ＤＢ２の各々が回転行列である点も第１実施形態と同様である。

本実施形態では、第１位置情報ＤＡ１は仮想空間ＶＳにおける視点ＶＰと仮想物体ＶＰＳとの相対３次元位置を示し、第１姿勢情報ＤＢ１は仮想空間ＶＳにおいて視点ＶＰから仮想物体ＶＰＳを見る方向を示す点が第１実施形態と異なる。また、本実施形態では、第２位置情報ＤＡ２は仮想プロジェクターＶＰＪと仮想物体ＶＰＳとの相対３次元位置を示し、第２姿勢情報ＤＢ２は仮想プロジェクターＶＰＪの光軸の向きを示す点が第１実施形態と異なる。ただし、本実施形態では、仮想プロジェクターＶＰＪと仮想物体ＶＰＳとの相対３次元位置は、プロジェクター２０と投射対象物ＰＳとの相対３次元位置と同じであり、仮想プロジェクターＶＰＪの光軸の向きはプロジェクター２０の光軸の向きと同じある。本実施形態では、プロジェクター２０と投射対象物ＰＳとの相対３次元位置、及びプロジェクター２０の光軸の向きは既知であり、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２は、制御装置１０Ｂの記憶装置１３０に予め記憶されている。なお、図１０では詳細な図示は省略されているが、制御装置１０Ｂの記憶装置１３０には、仮想空間座標系、及び仮想空間ＶＳにおける仮想物体ＶＰＳの３次元位置及び形状を示す仮想空間情報が予め記憶されている。

図１０と図２とを対比すれば明らかなように、本実施形態では、プログラムＰＡに代えてプログラムＰＢが記憶装置１３０に記憶されている。第１実施形態における場合と同様に、処理装置１４０は、制御装置１０Ｂの電源投入を契機として、プログラムＰＢの実行を開始する。プログラムＰＢに従って作動している処理装置１４０は、図１０に示されるように、取得部１４１Ｂ、第１生成部１４２Ｂ、第２生成部１４３Ｂ、変換部１４４Ｂ、及び投射制御部１４５として機能する。取得部１４１Ｂ、第１生成部１４２Ｂ、第２生成部１４３Ｂ、変換部１４４Ｂ、及び投射制御部１４５は、コンピューターをプログラムＰＢに従って作動させることにより実現されるソフトウェアモジュールである。

取得部１４１Ｂは、仮想空間ＶＳの画像を表示装置１１０に表示することにより仮想空間ＶＳにおける視点ＶＰの３次元位置及び視点ＶＰから仮想物体ＶＰＳを見る方向を設定する操作を受け付ける。これらの操作が入力装置１２０に対して為されると、取得部１４１Ｂは、ユーザーによって設定された視点ＶＰから仮想物体ＶＰＳを見た仮想撮像画像を表す画像データを仮想空間情報と仮想空間ＶＳにおける視点ＶＰの３次元位置を示す情報とに基づいて算出することにより、当該仮想撮像画像を表す画像データを取得する。この仮想撮像画像は本開示における第１画像の一例である。仮想撮像画像は、撮像レンズを介して撮像された画像ではないため、レンズ歪みを含まない。

第１生成部１４２Ｂは、仮想空間ＶＳにおける視点ＶＰの３次元位置、視点ＶＰから仮想物体ＶＰＳを見る方向、及び仮想空間情報に基づいて第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１を生成する。

第２生成部１４３Ｂは、取得部１４１Ｂにより取得された撮像画像データの表す画像、即ち仮想撮像画像を表示装置１１０に表示させることによって、仮想撮像画像において仮想物体ＶＰＳが占める領域に描画オブジェクトを描画する操作を受け付ける。前述したように仮想撮像画像はレンズ歪みを含まないため、本実施形態によれば、レンズ歪みの無い画像を基準として描画オブジェクトを描画することが可能になる。第２生成部１４３Ｂは、描画オブジェクトを描画する操作を入力装置１２０によって受け付け、仮想撮像画像における描画オブジェクトの２次元位置を示す第１オブジェクト情報を入力装置１２０から与えられる操作内容データに応じて生成する。

変換部１４４Ｂは、第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１に基づき、第１オブジェクト情報を、仮想物体ＶＰＳの表面に配置された描画オブジェクトの３次元位置、即ち仮想空間座標系における位置を示す第２オブジェクト情報に変換する。

投射制御部１４５は、第１実施形態における場合と同様に第２オブジェクト情報を投射画像上の描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、当該描画オブジェクトを含む投射画像をプロジェクター２０から投射対象物へ投射する。

また、プログラムＰＢに従って作動している処理装置１４０は、本実施形態の特徴を顕著に示す投射方法を実行する。図１１は、この投射方法の流れを示すフローチャートである。図１１では、図７におけるものと同じ処理には同じ符号が付されている。図１１と図７とを比較すれば明らかなように、本実施形態における投射方法は、取得処理ＳＡ１００に代えて取得処理ＳＢ１００を含む点、第１生成処理ＳＡ１１０に代えて第１生成処理ＳＢ１１０を含む点、第２生成処理ＳＡ１２０に代えて第２生成処理ＳＢ１２０を含む点、及び変換処理ＳＡ１３０に代えて変換処理ＳＢ１３０を含む点において第１実施形態における投射方法と異なる。

取得処理ＳＢ１００では、処理装置１４０は、取得部１４１Ｂとして機能する。取得処理ＳＢ１００では、処理装置１４０は、仮想空間ＶＳの画像を表示装置１１０に表示することにより仮想空間ＶＳにおける視点ＶＰの３次元位置及び視点ＶＰから仮想物体ＶＰＳを見る方向を設定する操作を受け付ける。そして、処理装置１４０は、ユーザーによって設定された視点ＶＰから仮想物体ＶＰＳを見た仮想撮像画像を表す画像データを、仮想空間情報と当該視点ＶＰの仮想空間ＶＳにおける３次元位置及び視点ＶＰから仮想物体ＶＰＳを見る方向を示す情報とに基づいて算出することにより、当該仮想撮像画像を表す画像データを取得する。

第１生成処理ＳＢ１１０では、処理装置１４０は、第１生成部１４２Ｂとして機能する。第１生成処理ＳＢ１１０では、処理装置１４０は、ユーザーによって設定された視点ＶＰの３次元位置、当該視点ＶＰから仮想物体ＶＰＳを見る方向、及び仮想空間情報に基づいて第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１を生成する。

第２生成処理ＳＢ１２０では、処理装置１４０は、第２生成部１４３Ｂとして機能する。第２生成処理ＳＢ１２０では、処理装置１４０は、取得処理ＳＢ１００にて取得された画像データの表す仮想撮像画像を表示装置１１０に表示させることによって、この仮想撮像画像において仮想物体ＶＰＳが占める領域に描画オブジェクトを描画する操作を受け付ける。そして、処理装置１４０は、当該操作を入力装置１２０によって受け付け、仮想撮像画像における描画オブジェクトの２次元位置を示す第１オブジェクト情報を入力装置１２０から与えられる操作内容データに応じて生成する。

変換処理ＳＢ１３０では、処理装置１４０は、変換部１４４Ｂとして機能する。変換処理ＳＢ１３０では、処理装置１４０は、第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１に基づいて第１オブジェクト情報を第２オブジェクト情報に変換する。

投射制御処理ＳＡ１４０では、処理装置１４０は、投射制御部１４５として機能する。投射制御処理ＳＡ１４０では、処理装置１４０は、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２に基づいて、第２オブジェクト情報を第３オブジェクト情報に変換する。次いで、処理装置１４０は、描画オブジェクトを含む投射画像を表す画像データを第３オブジェクト情報に基づいて生成し、生成した画像データをプロジェクター２０に送信する。

本実施形態によっても、投射対象物ＰＳに投射するためにユーザーが仮想撮像画像に描画した画像を、正確な３次元位置に正確な形状でプロジェクター２０から投射対象物ＰＳに投射することが可能になる。なお、本実施形態では、プロジェクター２０と投射対象物ＰＳとの相対３次元位置、及びプロジェクター２０の光軸の向きは既知であり、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２が記憶装置１３０に予め設定されていた。しかし、取得処理ＳＢ１００にて仮想プロジェクターＶＰＪの３次元位置及び姿勢を設定する操作を受け付け、第１生成処理ＳＢ１１０では、この操作に応じて第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２が生成されてもよい。

加えて、本実施形態では、視点ＶＰの３次元位置及び視点ＶＰから仮想物体ＶＰＳを見る方向を任意に設定することができるため、投射対象物ＰＳの６個の面のうち、描画オブジェクトの配置を所望する面を正対視するように、仮想空間ＶＳにおける視点ＶＰの３次元位置及び視点ＶＰから仮想物体ＶＰＳを見る方向を設定することで、以下の効果が奏される。なお、描画オブジェクトの配置を所望する面を正対視するとは、視点ＶＰと当該面の中心とを通る直線が当該面に垂直に交わり、且つ視点ＶＰから仮想物体ＶＰＳを見る方向が当該直線に沿っていることをいう。

第１実施形態の投射システム１Ａでは、図１２に示されるように、投射対象物ＰＳにおいて描画オブジェクトＯＢ２が配置される面とカメラ３０の光軸とが直交していない状態で撮像された撮像画像、即ち投射対象物ＰＳを正対視していない撮像画像に対して描画オブジェクトが描画されると、図１３に示されるように、投射対象物ＰＳの表面に映る描画オブジェクトＯＢ２に射影歪みが発生する。本実施形態では、描画オブジェクトの配置を所望する面を正対視するように、視点ＶＰの３次元位置及び視点ＶＰから仮想物体ＶＰＳを見る方向を設定することで、射影歪みの発生が回避される。なお、視点ＶＰの３次元位置の設定は、仮想物体ＶＰＳを正対視する位置への設定に制限されてもよい。仮想物体ＶＰＳを正対視する位置とは、仮想物体ＶＰＳの外延を形成する複数の面の何れかを正対視する位置のことをいう。視点ＶＰの３次元位置の設定を、仮想物体ＶＰＳを正対視する位置への設定に制限する態様では、第１姿勢情報ＤＢ１は省略可能である。この態様では、仮想撮像画像に描画された描画オブジェクトを、視点ＶＰと仮想物体ＶＰＳとの間の距離と視点ＶＰに先端が位置する視錐台における前方クリッピング面から視点ＶＰまでの距離に応じた比率で縮小しつつ仮想物体ＶＰＳに投影することで第２オブジェクト情報を生成することができるからである。

３．変形
上記各実施形態は、以下のように変形され得る。
（１）上記第２実施形態において、第２オブジェクト情報により３次元空間における３次元位置が表される描画オブジェクトがテクスチャとして仮想物体ＶＰＳの表面に張り付けられてもよい。本態様によれば、投射対象物ＰＳの移動に伴って仮想物体ＶＰＳが移動する場合に仮想撮像画像上での描画オブジェクトの再描画を行うことなく、描画オブジェクトを表面に配置済の仮想物体ＶＰＳの仮想撮像画像を表示装置１１０に表示させることが可能になる。第１実施形態に関しても同様に撮像画像に代えて仮想撮像画像を用いるようにすれば、投射対象物ＰＳが移動する場合に描画オブジェクトの再描画を行うことなく、描画オブジェクトを表面に配置済の仮想物体ＶＰＳの仮想撮像画像を表示装置１１０に表示させることが可能になる。

（２）上記第１実施形態では、投射対象物ＰＳの表面に配置された複数のマーカーＭを利用して第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１が取得された。しかし、投射対象物ＰＳの撮像画像に写っている投射対象物ＰＳの表面に各々位置し、且つ各々の３次元位置が既知の複数の特徴点を選択する操作を入力装置１２０により受け付け、これら複数の特徴点の各々の撮像画像上の２次元位置に基づいて第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１が取得されてもよい。また、第２実施形態の投射システム１Ｂにカメラ３０が追加され、第１生成処理ＳＢ１１０に代えて第１生成処理ＳＡ１１０が制御装置１０Ｂにおいて実行されてもよい。この場合、複数のマーカーＭに代えて、投射対象物ＰＳの撮像画像に写っている当該投射対象物ＰＳの表面に各々位置し、且つ各々の３次元位置が既知の複数の特徴点が用いられてもよい。

（３）通信装置１００は、無線ＬＡＮ（Local Area Network）又は有線ＬＡＮ等の通信網を介してプロジェクター２０又はカメラ３０と通信してもよい。プロジェクター２０又はカメラ３０と有線ＬＡＮを介して通信する態様における通信装置１００の具体例としては、ＬＡＮケーブルを介して有線ＬＡＮに接続されるＮＩＣ（Network Interface Card）が挙げられる。また、プロジェクター２０又はカメラ３０と無線ＬＡＮを介して通信する態様における通信装置１００の具体例としては、当該無線ＬＡＮにおける通信電波を受信するアンテナ及び当該通信電波の変調及び復調を行う回路が挙げられる。また、通信装置１００は、通信網を介して管理者端末と通信し、この管理者端末が表示装置１１０及び入力装置１２０の機能を担ってもよい。この態様によれば、投射画像の視聴者の注意を喚起するアノテーション情報を描画オブジェクトとして用いることにより、投射対象物ＰＳを介した視聴者と遠隔地の管理者とのリアルタイムな遠隔コミュニケーションが可能となる。

この遠隔コミュニケーションの具体例としては、投射対象物ＰＳが工場の製造ラインにて作業者の手作業により製造される物である場合、投射対象物ＰＳの撮像画像又は仮想撮像画像に管理者が作業箇所を示す描画オブジェクトを順次描画することにより作業手順を指導することが挙げられる。また、上記遠隔コミュニケーションの他の具体例としては、公共施設における地形ジオラマ等を投射対象物ＰＳとし、投射対象物ＰＳの撮像画像又は仮想撮像画像に学芸員等の管理者が注目箇所を示す描画オブジェクトを順次描画することにより、公共施設の来場者に対して投射対象物ＰＳに関する解説を行うことが挙げられる。また、上記遠隔コミュニケーションの更に別の具体例としては、医療教育における人体模型を投射対象物ＰＳとし、投射対象物ＰＳの撮像画像又は仮想撮像画像に指導教官等の管理者が注目箇所を示す描画オブジェクトを順次描画することで学習者の指導を行うことが挙げられる。このように、本開示によれば、特定の知識又は技能を有する者が現場まで赴くことなく、当該知識等を有さない者の指導等を行うことが可能となる。

（４）上記第１実施形態における投射システム１Ａに含まれるプロジェクター２０の数は１であったが２以上であってもよい。例えば、プロジェクター２０により画像を投射可能な範囲に比較して投射対象物ＰＳが大きい場合には、複数のプロジェクター２０を用い、各プロジェクター２０に互いに異なる投射領域が割り当てられてもよい。同様に、投射システム１Ｂに複数のプロジェクター２０が含まれてもよい。また、投射システム１Ａに複数のカメラ３０が含まれてもよい。

（５）上記第１実施形態における制御装置１０Ａが単体で製造又は販売されてもよい。１又は複数のプロジェクター２０と１又は複数のカメラ３０とを含み、プロジェクションマッピングを実現する従来の投射システムに制御装置１０Ａを追加することで、当該従来の投射システムにおいて本開示の投射方法を実行することが可能になる。同様に、第２実施形態における制御装置１０Ｂが単体で製造又は販売されてもよい。

（６）上記第１実施形態では、投射対象物ＰＳに投射画像を投射するプロジェクター２０と、投射画像を表す画像データを生成する制御装置１０Ａとが別個の装置であったが、制御装置１０Ａはプロジェクター２０に含まれてもよく、また、カメラ３０に含まれてもよい。第２実施形態における制御装置１０Ｂについても同様に、当該制御装置１０Ｂがプロジェクター２０に含まれてもよい。なお、上記第１実施形態における取得部１４１Ａ、第１生成部１４２Ａ、第２生成部１４３Ａ、変換部１４４Ａ、及び投射制御部１４５はソフトウェアモジュールであったが、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアモジュールであってもよい。上記第２実施形態における取得部１４１Ｂ、第１生成部１４２Ｂ、第２生成部１４３Ｂ、変換部１４４Ｂ、及び投射制御部１４５もＡＳＩＣ等のハードウェアモジュールであってもよい。

（７）上記第１実施形態におけるプログラムＰＡが単体で製造されてもよく、有償又は無償で配布されてもよい。プログラムＰＡの具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体にプログラムＰＡを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。これらの態様により配布されるプログラムＰＡに従って一般的なコンピューターを作動させることで、当該コンピューターを制御装置１０Ａとして機能させることができる。制御装置１０Ａとしてコンピューターを用いる場合には、入力装置１２０としてマウスとキーボードの少なくとも一方が用いられてもよい。同様に、上記第２実施形態におけるプログラムＰＢが単体で製造されてもよく、有償又は無償で配布されてもよい。

（８）上記第１実施形態において投射対象物ＰＳ、プロジェクター２０の３次元位置及び光軸の向き、及び、カメラ３０の３次元位置及び光軸の向き、が固定されている場合には、第１位置情報ＤＡ１、第１姿勢情報ＤＢ１、第２位置情報ＤＡ２、及び第２姿勢情報ＤＢ２を予め生成して記憶装置１３０に記憶させておくごとができる。この場合、第１生成部１４２Ａは不要であり、第１生成処理ＳＡ１１０も省略可能である。第２実施形態についても同様に、投射対象物ＰＳ、プロジェクター２０の３次元位置及び光軸の向き、及び、視点ＶＰの３次元位置及び視点ＶＰから仮想物体ＶＰＳを見る方向が固定されている場合には、第１生成部１４２Ｂは不要であり、第１生成処理ＳＢ１１０も省略可能である。

４．実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

本開示の投射方法の一態様は、以下の取得処理ＳＡ１００、第２生成処理ＳＡ１２０、変換処理ＳＡ１３０、及び投射制御処理ＳＡ１４０を含む。取得処理ＳＡ１００は、投射対象物ＰＳをカメラ３０によって撮像することにより得られた撮像画像を取得する処理である。投射対象物ＰＳをカメラ３０によって撮像することにより得られた撮像画像は本開示における第１画像の一例である。第２生成処理ＳＡ１２０は、取得処理ＳＡ１００にて取得された撮像画像において投射対象物ＰＳが占める領域にユーザーが描画オブジェクトを描画する操作を受け付けることによって、撮像画像における描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成する処理である。変換処理ＳＡ１３０は、第１オブジェクト情報を、投射対象物ＰＳの表面に描画オブジェクトが配置された場合に投射対象物ＰＳの表面に配置される描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換する処理である。変換処理ＳＡ１３０では、第１オブジェクト情報は、カメラ３０と投射対象物ＰＳとの相対３次元位置を示す第１位置情報ＤＡ１、及びカメラ３０の光軸の向きを示す第１姿勢情報ＤＢ１に基づいて、第２オブジェクト情報に変換される。投射制御処理ＳＡ１４０は、第２オブジェクト情報を、プロジェクター２０から投射する画像上の描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、描画オブジェクトを含む投射画像をプロジェクター２０から投射対象物ＰＳへ投射する処理である。投射制御処理ＳＡ１４０では、第２オブジェクト情報は、プロジェクター２０と投射対象物ＰＳとの相対３次元位置を示す第２位置情報ＤＡ２、及びプロジェクター２０の光軸の向きを示す第２姿勢情報ＤＢ２に基づいて、第３オブジェクト情報に変換される。本態様の投射方法によれば、投射対象物ＰＳの撮像画像に対してユーザーが描画した画像を、正確な３次元位置に正確な形状でプロジェクター２０から投射対象物ＰＳに投射することが可能になる。

より好ましい態様の投射方法は、第１位置情報ＤＡ１、第１姿勢情報ＤＢ１、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２を生成する第１生成処理ＳＡ１１０を更に含んでもよい。本態様によれば、投射対象物ＰＳに対するカメラ３０の相対３次元位置及び姿勢と投射対象物ＰＳに対するプロジェクター２０の相対３次元位置及び姿勢を任意に設定することが可能になる。

第１生成処理ＳＡ１１０を含む態様の投射方法では、投射対象物ＰＳの表面に、各々の３次元位置が既知の複数のマーカーＭが配置されてもよい。この態様では、第１生成処理ＳＡ１１０は、以下の第１処理、第２処理、及び第３処理を含んでもよい。第１処理は、撮像画像における複数のマーカーＭの各々の２次元位置に基づいて第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１を生成する処理である。第２処理は、カメラ３０とプロジェクター２０との相対３次元位置を示す第３位置情報ＤＡ３と第１位置情報ＤＡ１とに基づき第２位置情報ＤＡ２を生成する処理である。第３処理は、カメラ３０とプロジェクター２０との相対姿勢を示す第３姿勢情報ＤＢ３と第１姿勢情報ＤＢ１とに基づき第２姿勢情報ＤＢ２を生成する処理である。本態様によれば、投射対象物ＰＳの表面に配置される複数のマーカーＭに基づいて第１位置情報ＤＡ１、第１姿勢情報ＤＢ１、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２を生成することが可能になる。

第１生成処理ＳＡ１１０を含む態様の別の態様の投射方法では、第１生成処理ＳＡ１１０は、以下、第４処理、第５処理、第６処理、及び第７処理を含んでもよい。第４処理は、撮像画像に写っている投射対象物ＰＳの表面に各々位置し、且つ各々の３次元位置が既知の複数の特徴点を選択する操作を受け付ける処理である。第５処理は、撮像画像における複数の特徴点の各々の２次元位置に基づいて第１位置情報ＤＡ１及び第１姿勢情報ＤＢ１を生成する処理である。第６処理は、カメラ３０とプロジェクター２０との相対３次元位置を示す第３位置情報ＤＡ３と第１位置情報ＤＡ１とに基づき第２位置情報ＤＡ２を生成する処理である。第７処理は、カメラ３０とプロジェクター２０との相対姿勢を示す第３姿勢情報ＤＢ３と第１姿勢情報ＤＢ１とに基づき第２姿勢情報ＤＢ２を生成する処理である。本態様によれば、投射対象物ＰＳの表面に位置する複数の特徴点に基づいて第１位置情報ＤＡ１、第１姿勢情報ＤＢ１、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２を生成することが可能になる。

また、本開示の別の態様の投射方法は、取得処理ＳＢ１００、第２生成処理ＳＢ１２０、変換処理ＳＢ１３０、及び投射制御処理ＳＡ１４０を含む。取得処理ＳＢ１００は、投射対象物ＰＳを模擬した仮想物体及び投射対象物ＰＳに画像を投射するプロジェクター２０を模擬した仮想プロジェクターを含み、仮想物体と仮想プロジェクターとの相対３次元位置が投射対象物ＰＳとプロジェクター２０との相対３次元位置に応じて定まる仮想空間において、ユーザーによって設定された視点から仮想物体を見た仮想撮像画像を取得する処理である。仮想撮像画像は本開示における第１画像の一例である。第２生成処理ＳＢ１２０では、仮想撮像画像において仮想物体が占める領域にユーザーが描画オブジェクトを描画する操作が受け付けられる。第２生成処理ＳＢ１２０では、仮想撮像画像における描画オブジェクトの２次元位置を示す第１オブジェクト情報が生成される。変換処理ＳＢ１３０では、ユーザーによって設定された視点と仮想物体との相対３次元位置を示す第１位置情報ＤＡ１に基づき、第１オブジェクト情報が第２オブジェクト情報に変換される。本態様における第２オブジェクト情報は、仮想物体の表面に描画オブジェクトが配置された場合に、投射対象物の表面に配置された描画オブジェクトの３次元位置を示す。投射制御処理ＳＡ１４０では、第２オブジェクト情報は、第２位置情報ＤＡ２及び第２姿勢情報ＤＢ２に基づいて第３オブジェクト情報に変換される。本態様における第２位置情報ＤＡ２は仮想プロジェクターと仮想物体との相対３次元位置を示す。また、本態様における第２姿勢情報ＤＢ２は仮想プロジェクターの光軸の向きを示す。本態様の投射方法によっても、仮想撮像画像に対してユーザーが描画した画像を、正確な３次元位置に正確な形状でプロジェクター２０から投射対象物ＰＳに投射することが可能になる。

より好ましい態様の投射方法における取得処理ＳＢ１００は、視点の３次元位置を設定する操作を受け付けることを、更に含んでもよい。本態様によれば、視点の３次元位置を任意に設定して仮想撮像画像を取得することが可能になる。

別の好ましい態様の投射方法では、仮想空間に設定される視点は、仮想物体を正対視する３次元位置にある。本態様によれば、仮想物体を正対視した仮想撮像画像に基づいてユーザーに、投射対象物ＰＳに投射する描画オブジェクトを描画させることが可能になる。

仮想空間に設定される視点が仮想物体を正対視する３次元位置にある態様の投射方法は、第１位置情報ＤＡ１、及び第２位置情報ＤＡ２を生成する第１生成処理ＳＢ１１０を更に含んでもよい。本態様によれば、仮想物体に対する視点の相対３次元位置、及び投射対象物ＰＳに対するプロジェクター２０の相対３次元位置を任意に設定することが可能になる。

第１生成処理ＳＢ１１０を含む態様の投射方法は、投射対象物の表面には、各々の３次元位置が既知の複数のマーカーＭが配置されてもよい。この態様の投射方法における第１生成処理ＳＢ１１０は、第８処理、第９処理、及び第１０処理を含んでもよい。第８処理は、複数のマーカーＭが表面に配置された投射対象物ＰＳを、仮想空間に設定された視点に対応する３次元位置に設置されたカメラ３０によって撮像することにより得られる撮像画像を取得する処理である。第９処理は、この撮像画像における複数のマーカーＭの各々の２次元位置に基づいて第１位置情報ＤＡ１を生成する処理である。第１０処理は、カメラ３０とプロジェクター２０との相対３次元位置を示す第３位置情報ＤＡ３と第１位置情報ＤＡ１とに基づき第２位置情報ＤＡ２を生成する処理である。なお、上記撮像画像は本開示における第２画像の一例である。

また、第１生成処理ＳＢ１１０を含む別の態様の投射方法では、第１生成処理ＳＢ１１０は、以下の第１１処理、第１２処理、第１３処理、及び第１４処理を含んでもよい。第１１処理は、仮想空間に設定される視点に対応する３次元位置に設置されたカメラ３０によって投射対象物ＰＳを撮像することにより得られる撮像画像を取得する処理である。第１２処理は、この撮像画像に写っている投射対象物ＰＳの表面に各々位置し、且つ各々の３次元位置が既知の複数の特徴点を選択する操作を受け付ける処理である。第１３処理は、上記撮像画像における複数の特徴点の各々の２次元位置に基づいて第１位置情報ＤＡ１を生成する処理である。第１４処理は、カメラ３０とプロジェクター２０との相対３次元位置を示す第３位置情報ＤＡ３と第１位置情報ＤＡ１とに基づき、第２位置情報ＤＡ２を生成する処理である。本態様における撮像画像も、本開示における第２画像の一例である。

また、本開示の一態様の投射システムは、投射対象物ＰＳに画像を投射するプロジェクター２０と、ユーザーの操作を受け付ける入力装置１２０と、処理装置１４０と、を含む。処理装置１４０は、前述した取得処理ＳＡ１００、第２生成処理ＳＡ１２０、変換処理ＳＡ１３０、及び投射制御処理ＳＡ１４０を実行する。本態様の投射システムによっても、投射対象物ＰＳのカメラ３０による撮像画像に対してユーザーが描画した画像を、正確な３次元位置に正確な形状でプロジェクター２０から投射対象物ＰＳに投射することが可能になる。

また、プロジェクター２０と、入力装置１２０と、処理装置１４０と、を含む別の態様の投射システムにおいて、処理装置１４０は、前述した取得処理ＳＢ１００、第２生成処理ＳＢ１２０、変換処理ＳＢ１３０、及び投射制御処理ＳＡ１４０を実行してもよい。本態様の投射方法によっても、仮想撮像画像に対してユーザーが描画した画像を、正確な３次元位置に正確な形状でプロジェクター２０から投射対象物ＰＳに投射することが可能になる。

１Ａ、１Ｂ…投射システム、１０Ａ，１０Ｂ…制御装置、１００…通信装置、１１０…表示装置、１２０…入力装置、１３０…記憶装置、１４０…処理装置、１４１Ａ、１４１Ｂ…取得部、１４２Ａ、１４２Ｂ…第１生成部、１４３Ａ，１４３Ｂ…第２生成部、１４４Ａ、１４４Ｂ…変換部、１４５…投射制御部、２０…プロジェクター、３０…カメラ、ＰＡ，ＰＢ…プログラム。

Claims (12)

1. 投射対象物をカメラによって撮像することにより得られた第１画像を取得することと、
   前記第１画像においてユーザーが描画オブジェクトを描画する操作を受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、
   前記カメラと前記投射対象物との相対３次元位置を示す第１位置情報、及び前記カメラの光軸の向きを示す第１姿勢情報に基づいて、前記第１オブジェクト情報を、前記投射対象物の表面に前記描画オブジェクトが配置された場合の前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、
   プロジェクターと前記投射対象物との相対３次元位置を示す第２位置情報、及び前記プロジェクターの光軸の向きを示す第２姿勢情報に基づいて、前記第２オブジェクト情報を、前記プロジェクターから投射する画像上の前記描画オブジェクトの位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、
   を含む投射方法。
2. 前記第１位置情報、前記第１姿勢情報、前記第２位置情報、及び前記第２姿勢情報を生成すること、を更に含む、
   請求項１に記載の投射方法。
3. 前記投射対象物の表面には、各々の３次元位置が既知の複数のマーカーが配置され、
   前記第１位置情報、前記第１姿勢情報、前記第２位置情報、及び前記第２姿勢情報を生成することは、
   前記第１画像における前記複数のマーカーの各々の２次元位置に基づいて前記第１位置情報及び前記第１姿勢情報を生成すること、
   前記カメラと前記プロジェクターとの相対３次元位置を示す第３位置情報と前記第１位置情報とに基づき前記第２位置情報を生成すること、及び、
   前記カメラと前記プロジェクターとの相対姿勢を示す第３姿勢情報と前記第１姿勢情報とに基づき前記第２姿勢情報を生成すること、を含む、
   請求項２に記載の投射方法。
4. 前記第１位置情報、前記第１姿勢情報、前記第２位置情報、及び前記第２姿勢情報を生成することは、
   前記第１画像に写っている前記投射対象物の表面に各々位置し、且つ各々の３次元位置が既知の複数の特徴点を選択する操作を受け付けること、
   前記第１画像における前記複数の特徴点の各々の２次元位置に基づいて前記第１位置情報及び前記第１姿勢情報を生成すること、
   前記カメラと前記プロジェクターとの相対３次元位置を示す第３位置情報と前記第１位置情報とに基づき前記第２位置情報を生成すること、及び、
   前記カメラと前記プロジェクターとの相対姿勢を示す第３姿勢情報と前記第１姿勢情報とに基づき前記第２姿勢情報を生成すること、を含む、
   請求項２に記載の投射方法。
5. 投射対象物を模擬した仮想物体及び前記投射対象物に画像を投射するプロジェクターを模擬した仮想プロジェクターを含み、前記仮想物体と前記仮想プロジェクターとの相対３次元位置が前記投射対象物と前記プロジェクターとの相対３次元位置に応じて定まる仮想空間において、ユーザーによって設定された視点から前記仮想物体を見た第１画像を取得することと、
   前記第１画像において前記ユーザーが描画オブジェクトを描画する操作を受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、
   前記視点と前記仮想物体との相対３次元位置を示す第１位置情報に基づき、前記第１オブジェクト情報を、前記仮想物体の表面に前記描画オブジェクトが配置された場合に、前記投射対象物の表面に配置された前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、
   前記仮想プロジェクターと前記仮想物体との相対３次元位置を示す第２位置情報、及び前記仮想プロジェクターの光軸の向きを示す姿勢情報に基づいて、前記第２オブジェクト情報を、前記仮想プロジェクターから投射する画像上の前記描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、
   を含む投射方法。
6. 前記視点の３次元位置を設定する操作を受け付けることを、更に含む、
   請求項５に記載の投射方法。
7. 前記視点は、前記仮想物体を正対視する３次元位置にある請求項５に記載の投射方法。
8. 前記第１位置情報及び前記第２位置情報を生成すること、を更に含む、
   請求項５乃至７のうちの何れか１項に記載の投射方法。
9. 前記投射対象物の表面には、各々の３次元位置が既知の複数のマーカーが配置され、
   前記第１位置情報及び前記第２位置情報を生成することは、
   前記複数のマーカーが表面に配置された前記投射対象物を前記視点に対応する３次元位置に設置されたカメラによって撮像することにより得られる第２画像を取得すること、
   前記第２画像における前記複数のマーカーの各々の２次元位置に基づいて前記第１位置情報を生成すること、及び、
   前記カメラと前記プロジェクターとの相対３次元位置を示す第３位置情報と前記第１位置情報とに基づき前記第２位置情報を生成すること、を含む、
   請求項８に記載の投射方法。
10. 前記第１位置情報及び前記第２位置情報を生成することは、
    前記投射対象物を前記視点に対応する３次元位置に設置されたカメラによって撮像することにより得られる第２画像を取得すること、
    前記第２画像に写っている前記投射対象物の表面に各々位置し、且つ各々の３次元位置が既知の複数の特徴点を選択する操作を受け付けること、
    前記第２画像における前記複数の特徴点の各々の２次元位置に基づいて前記第１位置情報を生成すること、及び、
    前記カメラと前記プロジェクターとの相対３次元位置を示す第３位置情報と前記第１位置情報とに基づき、前記第２位置情報を生成すること、を含む、
    請求項８に記載の投射方法。
11. 投射対象物に画像を投射するプロジェクターと、
    ユーザーの操作を受け付ける入力装置と、
    処理装置と、を含み、
    前記処理装置は、
    前記投射対象物をカメラによって撮像することにより得られた第１画像を取得することと、
    前記第１画像において描画オブジェクトを描画する操作を前記入力装置によって受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、
    前記カメラと前記投射対象物との相対３次元位置を示す第１位置情報、及び前記カメラの光軸の向きを示す第１姿勢情報に基づいて、前記第１オブジェクト情報を、前記投射対象物の表面に前記描画オブジェクトが配置された場合の前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、
    前記プロジェクターと前記投射対象物との相対３次元位置を示す第２位置情報、及び前記プロジェクターの光軸の向きを示す第２姿勢情報に基づいて、前記第２オブジェクト情報を、前記プロジェクターから投射する画像上の前記描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を実行する、
    投射システム。
12. 投射対象物に画像を投射するプロジェクターと、
    ユーザーの操作を受け付ける入力装置と、
    処理装置と、を含み、
    前記処理装置は、
    前記投射対象物を模擬した仮想物体及び前記プロジェクターを模擬した仮想プロジェクターを含み、前記仮想物体と前記仮想プロジェクターとの相対３次元位置が前記投射対象物と前記プロジェクターとの相対３次元位置に応じて定まる仮想空間において、前記入力装置に対する操作によって設定された視点から前記仮想物体を見た第１画像を取得することと、
    前記第１画像において前記ユーザーが描画オブジェクトを描画する操作を前記入力装置によって受け付けることによって、前記第１画像における前記描画オブジェクトの２次元位置を示す第１オブジェクト情報を生成することと、
    前記視点と前記仮想物体との相対３次元位置を示す第１位置情報に基づき、前記第１オブジェクト情報を、前記仮想物体の表面に前記描画オブジェクトが配置された場合に、前記投射対象物の表面に配置された前記描画オブジェクトの３次元位置を示す第２オブジェクト情報に変換することと、
    前記仮想プロジェクターと前記仮想物体との相対３次元位置を示す第２位置情報、及び前記仮想プロジェクターの光軸の向きを示す姿勢情報に基づいて、前記第２オブジェクト情報を、前記仮想プロジェクターから投射する画像上の前記描画オブジェクトの２次元位置を示す第３オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を実行する、
    投射システム。

Images