JP2011254411A - 映像投影システムおよび映像投影プログラム - Google Patents

Abstract

【課題】 動体に設けられた立体スクリーンに対して、被投影体の映像を整合させ自動的に追従することができる映像投影システムおよび映像投影プログラムを提供する。
【解決手段】 動体２に設けられた立体スクリーン３に映像投影装置１３から所定の映像を投影する映像投影システム１であって、立体スクリーン３の位置情報および方向情報を取得する立体スクリーン情報取得部３５と、立体スクリーン３に投影しようとする被投影体４の２次元映像をテクスチャとして、被投影体４の３次元モデルを作成する３次元モデル作成部３２と、立体スクリーン情報取得部３５が取得した立体スクリーン３の位置情報および方向情報に基づいて、被投影体４の位置、大きさおよび方向を立体スクリーン３に整合させた投影映像を３次元モデルから作成する投影映像作成部３６と、投影映像作成部３６が作成した投影映像を映像投影装置１３に出力する投影映像出力部３７とを有する。
【選択図】 図２

Description

本発明は、動体に設けられた立体スクリーンに追従させて、所定の映像を投影する映像投影システムおよび映像投影プログラムに関するものである。

従来、任意の三次元形状を有するスクリーンの表面に画像を投影して表示する投影システムが知られている。例えば、特開２００１−３２０６５２号公報には、投影面の三次元形状を測定し、該測定結果に応じて投影画像を補正して投影するプロジェクタ装置が開示されている（特許文献１）。このプロジェクタ装置によれば、歪みのない出力画像を得ることができるとされている。

特開２００１−３２０６５２号公報

しかしながら、特許文献１に記載された発明を含め、従来の映像投影技術では、単に、固定されたスクリーンに映像を投影しているに過ぎない。このため、人間等の動体に設けられたスクリーンに対しては、そのスクリーンの動きに合わせて被投影体の映像を追従させることができないという問題がある。

本発明は、このような問題点を解決するためになされたものであって、動体に設けられた立体スクリーンに対して、被投影体の映像を整合させ自動的に追従することができる映像投影システムおよび映像投影プログラムを提供することを目的としている。

本発明に係る映像投影システムは、動体に設けられた立体スクリーンに映像投影装置から所定の映像を投影する映像投影システムであって、前記立体スクリーンの位置情報および方向情報を取得する立体スクリーン情報取得部と、前記立体スクリーンに投影しようとする被投影体の２次元映像をテクスチャとして、前記被投影体の３次元モデルを作成する３次元モデル作成部と、前記立体スクリーン情報取得部が取得した前記立体スクリーンの位置情報および方向情報に基づいて、前記被投影体の位置、大きさおよび方向を前記立体スクリーンに整合させた投影映像を前記３次元モデルから作成する投影映像作成部と、前記投影映像作成部が作成した投影映像を前記映像投影装置に出力する投影映像出力部とを有している。また、本発明に係る映像投影プログラムは、上記各構成部としてコンピュータを機能させるものである。

また、本発明において、不可視光を撮影可能なマーカー撮影装置から前記立体スクリーンを含む映像を取得し、当該映像の中から前記立体スクリーンに設けられた複数の不可視光マーカーの位置座標を検出する不可視光マーカー検出部を有しており、前記立体スクリーン情報取得部は、前記不可視光マーカー検出部が検出した各不可視光マーカーの位置座標に基づいて、前記立体スクリーンの位置情報および方向情報を算出してもよい。

さらに、本発明において、前記被投影体および前記立体スクリーンが複数ある場合、各被投影体ごとに、互いに識別可能なマーカーが設けられているとともに、各立体スクリーンごとに、互いに識別可能な不可視光マーカーが設けられており、各被投影体に設けられた前記マーカーの識別情報を記憶するとともに、各被投影体に対応付けて、各被投影体を投影すべき各立体スクリーンに設けられた前記不可視光マーカーの識別情報を記憶するマーカー対応記憶部と、各被投影体に設けられたマーカーの発光パターンを検出するマーカー検出部と、各立体スクリーンに設けられた不可視光マーカーの発光パターンを検出する不可視光マーカー検出部と、前記マーカー検出部が検出した発光パターンおよび前記不可視光マーカーが検出した発光パターンを前記マーカー対応記憶部に記憶された識別情報と照合し、各被投影体を投影すべき立体スクリーンを判別する対応関係判別部とを有していてもよい。

また、本発明において、前記不可視光マーカーが発光マーカーである場合、各立体スクリーンごとに、異なる発光パターンを有する発光マーカーが設けられており、前記マーカー識別情報記憶部には、各立体スクリーンに対応付けて、前記発光パターンが前記識別情報として記憶されていてもよい。

本発明によれば、動体に設けられた立体スクリーンに対して、被投影体の映像を整合させ自動的に追従することができる。

本発明に係る映像投影システムおよび映像投影プログラムの一実施形態を示す全体構成図である。 本実施形態の映像投影システムおよび映像投影プログラムを示すブロック図である。 本実施形態において、マーカー対応記憶部内のデータを示す図である。 本実施形態において、２次元映像をテクスチャとして顔面モデルに投影してなる３次元モデルを示す図である。 本実施形態において、立体スクリーンの位置情報および方向情報を算出する際に使用する３つの座標系を示す図である。 本実施形態の映像投影システムおよび映像投影プログラムが実行する処理を示すフローチャート図である。

以下、本発明に係る映像投影システムおよび映像投影プログラムの実施形態について図面を用いて説明する。

図１および図２に示すように、本実施形態の映像投影システム１は、動体２に設けられた立体スクリーン３に対して、被投影体４の映像を追従させるためのものであり、主として、被投影体４を撮影する被投影体撮影装置１１と、不可視光を撮影可能なマーカー撮影装置１２と、立体スクリーン３に映像を投影する映像投影装置１３と、被投影体４の映像を立体スクリーン３に整合させる映像処理装置１４とを有している。以下、各構成について詳細に説明する。

なお、本実施形態では、図１に示すように、動体２としてはステージ上を動き回る人間を想定しており、この人間の顔面部分に立体スクリーン３を設けている。そして、被投影体４としては、ステージ上にいない他の人間を想定し、この人間の顔面部分を投影対象部分としているが、この構成に限定されるものではない。例えば、人間の胴体に立体スクリーン３を設けて、他の人間の胴体を投影してもよいし、人間以外の動物の顔を投影してもよい。

本発明において、動体２とは、自らの意思によって動き回るものに限られるものではなく、機械等のように、何らかの動力を得て動作する全てのものも含む概念である。また、立体スクリーン３とは、３次元形状を有しており、所定の映像を投影可能な全てのものを含む概念である。さらに被投影体４は、現実のものに限られるものではなく、アニメーション等を使用してもよいし、リアルタイムで投影するだけではなく、過去に撮影した映像を使用してもよい。

被投影体撮影装置１１は、立体スクリーン３に投影しようとする被投影体４の２次元映像を撮影するためのものである。本実施形態において、被投影体撮影装置１１は、ビデオカメラ等から構成されており、図１に示すように、複数台設けられている。そして、被投影体４の２次元映像を複数の角度から撮影し、映像処理装置１４へ入力するようになっている。なお、本実施形態では、被投影体４をリアルタイムで投影するために被投影体撮影装置１１を用いているが、予め撮影した映像を使用する場合には、被投影体撮影装置１１は不要である。

また、本実施形態において、複数の被投影体４を被投影体撮影装置１１で撮影する場合、各被投影体４を区別するため、各被投影体４ごとに互いに識別可能なマーカーを取り付ける。具体的には、各被投影体４ごとに点滅間隔や配置間隔が異なる発光マーカーや、各被投影体４ごとに発光形状が「○」「□」「＋」等のように異なる発光マーカーを使用する。なお、被投影体４に設けるマーカーは、発光マーカー（アクティブ式）に限られず、反射マーカー（パッシブ式）でもよい。

マーカー撮影装置１２は、立体スクリーン３に設けられた不可視光マーカーｍを撮影するためのものである。ここで、不可視光マーカーｍは、立体スクリーン３の位置情報および方向情報を推定するためのものであり、図１に示すように、１つの立体スクリーン３に対し複数個設けられている。また、不可視光マーカーｍを使用することにより、立体スクリーン３を観賞する際、マーカーの光が邪魔にならないという利点がある。

また、立体スクリーン３が複数ある場合、例えば複数人の顔面に立体スクリーン３を設ける場合等には、各立体スクリーン３を識別するため、各立体スクリーン３ごとに、異なる発光パターンを有する不可視光マーカーｍを別途、取り付ける。具体的には、上述した位置情報および方向情報を推定するための不可視光マーカーｍが常時発光する場合、各立体スクリーン３ごとに点滅間隔や配置間隔が異なるもの、あるいは各立体スクリーン３ごとに発光形状が異なるものを使用する。また、各立体スクリーン３ごとに、波長の異なる不可視光マーカーｍを使用することもできるが、この場合、マーカー撮影装置１２が２台必要になる。

なお、本実施形態において、不可視光マーカーｍは、赤外光を発するアクティブ式（発光式）の発光マーカーから構成されているがこの構成に限定されるものではない。不可視光マーカーｍは、赤外光を発するものに限られるものではなく、紫外光でもよい。また、不可視光マーカーｍは、アクティブ式（発光式）に限られず、パッシブ式（反射式）でもよい。

本実施形態において、マーカー撮影装置１２は、赤外領域まで撮影可能な高感度カメラに赤外線フィルタを装着して構成されている。この赤外線フィルタは、可視光線をカットし、赤外線のみを透過させるバンドパスフィルタである。この構成により、マーカー撮影装置１２は、立体スクリーン３に設けられた不可視光マーカーｍのみを撮影することとなる。なお、マーカー撮影装置１２は、不可視光マーカーｍのみを撮影可能に構成されていれば、上記の構成に限定されるものではない。

映像投影装置１３は、所定の映像を立体スクリーン３へ投影するためのものである。本実施形態において、映像投影装置１３は、高輝度のプロジェクタから構成されており、映像処理装置１４から入力された映像を投影するようになっている。また、本実施形態では、映像投影装置１３の投影範囲が、動体２の移動範囲をカバーするように設定されている。これにより、動体２が映像投影装置１３の投影範囲内で動き回る限り、当該動体２に設けられた立体スクリーン３に対して、映像を投影できるようになっている。

映像処理装置１４は、被投影体４の映像を立体スクリーン３に整合させる変換処理を行うものである。本実施形態において、映像処理装置１４は、図２に示すように、主として、本実施形態の映像投影プログラム１ａや各種のデータ等を記憶する記憶手段２０と、この記憶手段２０を制御するとともに各種のデータを取得して演算処理する演算処理手段３０とから構成されている。以下、各構成手段についてより詳細に説明する。

記憶手段２０は、ＲＯＭ（Read Only memory）、ＲＡＭ（Random Access Memory）およびフラッシュメモリ等から構成されており、各種のデータを記憶するとともに、演算処理手段３０が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段２０は、図２に示すように、主として、プログラム記憶部２１と、マーカー対応記憶部２２と、２次元映像記憶部２３と、投影対象モデル記憶部２４とを有している。

プログラム記憶部２１には、本実施形態の映像投影プログラム１ａがインストールされている。そして、演算処理手段３０が、映像投影プログラム１ａを実行することにより、後述する各構成部としてコンピュータ（映像処理装置１４）を機能させるようになっている。なお、映像投影プログラム１ａの利用形態は、この構成に限られるものではなく、ＣＤ−ＲＯＭ等の記録媒体に記憶させておき、この記録媒体から直接起動して実行し得るようにしてもよい。

マーカー対応記憶部２２は、被投影体４および立体スクリーン３が複数存在する場合、各被投影体４と、各被投影体４を投影する各立体スクリーン３との対応関係を記憶するものである。本実施形態において、マーカー対応記憶部２２は、図３に示すように、各被投影体４（Ｏ１〜Ｏ３）に設けられたマーカーの識別情報を記憶している。そして、各被投影体４に対応付けて、各被投影体４を投影しようとする立体スクリーン３（Ｓ１〜Ｓ３）に設けられた不可視光マーカーｍの識別情報を記憶している。識別情報としては、上述したように、点滅間隔、配置間隔あるいは発光形状等の発光パターンを識別情報として記憶するようになっている。

なお、本実施形態では、対応付けられた被投影体４および立体スクリーン３について、同じ識別情報を使用しているが、対応付けされている限り、異なる識別情報でもよい。また、全ての被投影体４および立体スクリーン３について、点滅間隔を識別情報として使用しているが、各被投影体３および各立体スクリーン３ごとに異なる識別情報を使用してもよい。

２次元映像記憶部２３は、立体スクリーン３に投影しようとする被投影体４の２次元映像を予め記憶するものである。本実施形態では、被投影体撮影装置１１から被投影体４の２次元映像をリアルタイムで取得しているが、予め撮影しておいた過去の映像等を使用する場合、２次元映像記憶部２３に記憶させるようになっている。

投影対象モデル記憶部２４は、被投影体４の投影対象部分に類似する形状の投影対象モデルを記憶するものである。本実施形態では、被投影体４として人物を想定し、投影対象部分として顔面部分を想定している。このため、投影対象モデル記憶部２４には、図４に示すように、人間の顔面部分をポリゴンで近似させた顔面モデルが、投影対象モデルとして記憶されている。

演算処理手段３０は、ＣＰＵ（Central Processing Unit）等から構成されており、記憶手段２０にインストールされた映像投影プログラム１ａを実行させることにより、図２に示すように、２次元映像正規化部３１と、３次元モデル作成部３２と、不可視光マーカー検出部３３と、マーカー検出部３４と、対応関係判別部３５と、立体スクリーン情報取得部３６と、投影映像作成部３７と、投影映像出力部３８としてコンピュータ（映像処理装置１４）を機能させるようになっている。以下、各構成部についてより詳細に説明する。

２次元映像正規化部３１は、被投影体４の２次元映像を正規化するためのものである。ここで、正規化とは、被投影体４の向きを画面中央において正面とし、かつ、被投影体４の大きさ（画面上のサイズ）を調整することをいう。本実施形態において、２次元映像正規化部３１は、図１に示すように、被投影体撮影装置１１から被投影体４（人物）の２次元映像を取得し、当該２次元映像から投影対象部分（顔面）を切り出す。また、当該投影対象部分を拡大または縮小するとともに、顔面方向を推定し、顔面モデルへテクスチャ投影する。そして、当該顔面モデルの目、鼻、口を検出して画面中央に配置するとともに、正面視点から画像化することにより正規化映像を作成するようになっている。

なお、上述した正規化に際しては、被投影体４にマーカー等を付している場合、後述する処理と同様、マーカーのローカル座標系における位置座標に基づいて、テクスチャとして投影するのに必要な顔面位置および顔面方向が自動推定される。一方、２次元映像記憶部２３からマーカー等を付していない過去の映像等を使用する場合には、人間の目視による推定で手動編集し、別途、顔面位置および顔面方向に関する情報を作成する必要がある。

また、本実施形態では、正規化されていない２次元映像を使用しているが、この構成に限定されるものではなく、最初から正規化された２次元映像を使用する場合には、２次元映像正規化部３１を機能させる必要はない。例えば、被投影体撮影装置１１によって、直立し正面を向いている状態の被投影体４を撮影すれば、最初から正規化された２次元映像が得られることとなる。

３次元モデル作成部３２は、被投影体４の３次元モデルを作成するためのものである。本実施形態において、３次元モデル作成部３２は、２次元映像正規化部３１が正規化した２次元映像を取得するとともに、投影対象モデル記憶部２４から投影対象モデルを読み出す。そして、正規化された２次元映像をテクスチャとして投影対象モデルへ投影することで、被投影体４の３次元モデルを作成するようになっている。

不可視光マーカー検出部３３は、マーカー撮影装置１２が撮影した映像の中から不可視光マーカーｍを検出するものである。本実施形態において、不可視光マーカー検出部３３は、マーカー撮影装置１２から立体スクリーン３を含む映像フレームを連続して取得する。そして、当該映像フレームの中から不可視光マーカーｍが発する不可視光を波長分離し、各不可視光マーカーｍの位置座標を検出するようになっている。なお、本実施形態では、不可視光として赤外光を使用しているため、ノイズとなる赤外光の強度が低い屋内での使用が好ましく、屋内で行われる舞台演出や会議演出等に特に有効である。

また、本実施形態において、立体スクリーン３が複数ある場合、不可視光マーカー検出部３３は、マーカー撮影装置１２から取得した映像フレーム間でオプティカルフローを解析し、点滅する不可視光マーカーｍの発光パターンを検出する。そして、点滅する不可視光マーカーｍのそれぞれについて、その周辺で常時発光する不可視光マーカーｍ群を検出し、上述した位置座標を算出するようになっている。

マーカー検出部３４は、被投影体４が複数ある場合、被投影体撮影装置１１が撮影した２次元画像の中からマーカーの発光パターンを検出するものである。本実施形態において、マーカー検出部３４は、被投影体撮影装置１１から被投影体４を含む映像フレームを連続して取得する。そして、当該映像フレーム間でオプティカルフローを解析し、マーカーの発光パターンを検出するようになっている。

対応関係判別部３５は、被投影体４および立体スクリーン３が複数ある場合に、各被投影体４と各立体スクリーン３との対応関係を判別するものである。本実施形態において、対応関係判別部３５は、マーカー検出部３４が検出した各マーカーの発光パターンと、不可視光マーカー検出部３３が検出した各不可視光マーカーｍの発光パターンとを取得する。そして、各発光パターンをマーカー対応記憶部２２に記憶された識別情報と照合することで、各被投影体４を投影すべき立体スクリーン３を判別するようになっている。

立体スクリーン情報取得部３６は、動体２に設けられた立体スクリーン３の位置情報および方向情報を取得するものである。本実施形態において、立体スクリーン情報取得部３６は、不可視光マーカー検出部３３が検出した各不可視光マーカーｍの位置座標（下記モデル座標系での座標）に基づいて、立体スクリーン３の位置情報および方向情報を逆算するようになっている。以下、具体的に説明する。

まず、以下の説明では、図５に示すように、３つの座標系を使用する。
（１）カメラ座標系
マーカー撮影装置１２のレンズ焦点を原点（０，０，０）とし、マーカー撮影装置１２のレンズ光軸をｚ座標の正方向とする３次元座標系（ｘ，ｙ，ｚ）。本実施形態では、映像投影装置１３の座標系と同一とする。
（２）スクリーン座標系
マーカー撮影装置１２で撮影された映像の２次元座標系（ｕ，ｖ）。マーカー撮影装置１２のレンズ光軸である（０，０，１）が投影される座標値を原点（０，０）とする。
（３）モデル座標系
投影対象（立体スクリーン３）が記述されている３次元座標系（ｘ’，ｙ’，ｚ’）。立体スクリーン３の中心（重心など）を原点（０，０，０）とし、その座標上で投影対象モデルが記述される。

以上において、カメラ座標系（ｘ，ｙ，ｚ）とモデル座標系（ｘ’，ｙ’，ｚ’）との関係は、回転変換行列Ｍと移動ベクトルＴとを用いて以下の式（１）により表される。

すなわち、モデル座標系（ｘ’，ｙ’，ｚ’）からカメラ座標系（ｘ，ｙ，ｚ）への変換は、以下の式（２）〜（４）により表される。
ｘ＝ｘ’ｍ１１＋ｙ’ｍ１２＋ｚ’ｍ１３＋ｘ０ …式（２）
ｙ＝ｘ’ｍ２１＋ｙ’ｍ２２＋ｚ’ｍ２３＋ｙ０ …式（３）
ｚ＝ｘ’ｍ３１＋ｙ’ｍ３２＋ｚ’ｍ３３＋ｚ０ …式（４）

また、カメラ座標系（ｘ，ｙ，ｚ）からスクリーン座標系（ｕ，ｖ）への透視変換は、以下の式（５）により行われる。
ただし、Ｓ（スケール係数）は、撮影装置の画角と画素数から算出される定数である。

したがって、モデル座標系（ｘ’，ｙ’，ｚ’）からスクリーン座標系（ｕ，ｖ）への変換は、式（２）〜（４）を式（５）に代入し、以下の式（６），（７）により表される。
ｕ＝Ｓ（ｘ’ｍ１１＋ｙ’ｍ１２＋ｚ’ｍ１３＋ｘ０）／（ｘ’ｍ３１＋ｙ’ｍ３２＋ｚ’ｍ３３＋ｚ０） …式（６）
ｖ＝Ｓ（ｘ’ｍ２１＋ｙ’ｍ２２＋ｚ’ｍ２３＋ｙ０）／（ｘ’ｍ３１＋ｙ’ｍ３２＋ｚ’ｍ３３＋ｚ０） …式（７）

以上のように、回転変換行列Ｍと移動ベクトルＴとを合わせて、未知数が１２個あるため、完全な位置情報および方向情報を得るには、１２本の関係式を必要とする。この点、本実施形態では、不可視光マーカー検出部３３が、各不可視光マーカーｍｉのモデル座標系における位置座標（ｘ’ｉ，ｙ’ｉ，ｚ’ｉ）を検出する。このため、１つの不可視光マーカーｍにつき、２本の関係式（６），（７）が定義される。したがって、６個以上の不可視光マーカーｍがあれば、１２次連立非線形方程式が得られるため、回転変換行列Ｍおよび移動ベクトルＴが算出可能となる。

ただし、１２次連立非線形方程式を短時間かつ安定的に解こうとすると、システムに負担がかかる。そこで、本実施形態では、立体スクリーン３の移動ベクトルＴのｚ値（ｚ０）が既知であり、かつ、立体スクリーン３の範囲が、ｚ０に比べて十分に小さい（ｚｉ≒ｚ０）と仮定した。本実施形態のように、ステージ上の人間に投影することを想定した場合、舞台設計に基づいてｚ０の概略値が得られるとともに、立体スクリーン３がｚ軸方向（ステージの前後方向）に移動することはほとんどないからである。

上記の仮定により、本実施形態では、未知数が８個に減少し、かつ、方程式が線形化する。したがって、図５に示すように、不可視光マーカーｍｉが４個あれば、下記式（８）〜（１５）が成立するため、立体スクリーン情報取得部３６は、短時間かつ安定的に、方向情報としての回転変換行列Ｍ、および位置情報としての移動ベクトルＴを算出するようになっている。
ｕ１＝Ｓ（ｘ’１ｍ１１＋ｙ’１ｍ１２＋ｚ’１ｍ１３＋ｘ０）／ｚ０ …式（８）
ｖ１＝Ｓ（ｘ’１ｍ２１＋ｙ’１ｍ２２＋ｚ’１ｍ２３＋ｙ０）／ｚ０ …式（９）
ｕ２＝Ｓ（ｘ’２ｍ１１＋ｙ’２ｍ１２＋ｚ’２ｍ１３＋ｘ０）／ｚ０ …式（１０）
ｖ２＝Ｓ（ｘ’２ｍ２１＋ｙ’２ｍ２２＋ｚ’２ｍ２３＋ｙ０）／ｚ０ …式（１１）
ｕ３＝Ｓ（ｘ’３ｍ１１＋ｙ’３ｍ１２＋ｚ’３ｍ１３＋ｘ０）／ｚ０ …式（１２）
ｖ３＝Ｓ（ｘ’３ｍ２１＋ｙ’３ｍ２２＋ｚ’３ｍ２３＋ｙ０）／ｚ０ …式（１３）
ｕ４＝Ｓ（ｘ’４ｍ１１＋ｙ’４ｍ１２＋ｚ’４ｍ１３＋ｘ０）／ｚ０ …式（１４）
ｖ４＝Ｓ（ｘ’４ｍ２１＋ｙ’４ｍ２２＋ｚ’４ｍ２３＋ｙ０）／ｚ０ …式（１５）

なお、本実施形態において、回転変換行列Ｍは、回転角（ρ，θ，φ）形式で算出することもできるが、計算式が複雑になるのを避けるため、３×３行列形式で算出している。また、本実施形態では、不可視光マーカーｍを用いて立体スクリーン３の位置情報および方向情報を算出しているが、この構成に限定されるものではない。例えば、立体スクリーン３に６自由度を検出可能な３次元位置センサを設け、立体スクリーン情報取得部３６が、当該センサから直接位置情報および方向情報を取得するようにしてもよい。

また、本実施形態において、立体スクリーン３が複数ある場合、立体スクリーン情報取得部３６は、対応関係判別部３５が判別した各立体スクリーン３のそれぞれについて、上述した処理を実行し、位置情報および方向情報を取得するようになっている。

投影映像作成部３７は、立体スクリーン３へ投影するための投影映像を作成するためのものである。本実施形態において、投影映像作成部３７は、立体スクリーン情報取得部３６が取得した立体スクリーン３の位置情報および方向情報を取得する。そして、これらの情報に基づいて、被投影体４の位置、大きさおよび方向が立体スクリーン３に整合した状態の投影映像を３次元モデルから作成するようになっている。

具体的には、まず、映像投影装置１３の座標系と上記のカメラ座標系とが同一であると仮定する。この仮定は、映像投影装置１３の位置と、マーカー撮影装置１２の焦点位置および方向画角を一致させることと同意である。なお、厳密には、映像投影装置１３とマーカー撮影装置１２との焦点位置を一致させることはできないが、立体スクリーン３までの距離と比べると、両焦点位置は十分に近距離であるため問題はない。

以上において、投影映像作成部３７は、３次元モデル作成部３２が作成した３次元モデルを取得し、その中心をカメラ座標系の原点に設置する。そして、投影映像作成部３７は、立体スクリーン情報取得部３６が取得した回転変換行列Ｍおよび移動ベクトルＴを用いて、３次元モデルに対して投影変換を実行する。さらに、投影映像作成部３７は、投影変換後の３次元モデルに対し、上記式（５）にｚ０およびＳ（スケール係数）を用いて透視変換を実行し、投影映像を作成するようになっている。

なお、被投影体４が複数ある場合、投影映像作成部３７は、各被投影体４について、上述した処理を実行し、各被投影体４が対応する各立体スクリーン３上に投影されるように投影映像内に配置する。

投影映像出力部３８は、投影映像を映像投影装置１３へ出力するものである。本実施形態において、投影映像出力部３８は、投影映像作成部３７が作成した投影映像を取得し、当該投影映像を映像投影装置１３へ出力するようになっている。

つぎに、本実施形態の映像投影プログラム１ａによって実行される映像処理装置１４と、この映像処理装置１４を含む映像投影システム１の作用につき、図６を参照しつつ説明する。

本実施形態の映像投影システム１を用いて、ステージ上を動き回る人間の顔面に装着された立体スクリーン３に、他の人物の顔面映像をリアルタイムで追従させて投影する場合、映像処理装置１４は、被投影体撮影装置１１からリアルタイムで被投影体４の２次元映像を入力するとともに（ステップＳ１）、マーカー撮影装置１２から立体スクリーン３を含む映像を入力する（ステップＳ２）。なお、ステップＳ１およびステップＳ２は、同時並行的に実行される。

つぎに、２次元映像正規化部３１が、ステップＳ１で入力された２次元映像から顔面部分を切り出し、当該顔面部分を正規化する（ステップＳ３）。これにより、被投影体４となる人物の顔面部分が、画面の中央において、常に正面を向いており、かつ、正規化された大きさ（画面上のサイズ）に調整される。

つづいて、３次元モデル作成部３２が、ステップＳ３で正規化された顔面の２次元映像をテクスチャとして投影対象モデル（顔面モデル）へ投影し、被投影体４の３次元モデルを作成する（ステップＳ４）。これにより、映像処理装置１４内において、被投影体４となる人物の仮想的な顔面データが３次元的に構築される。

一方、不可視光マーカー検出部３３は、ステップＳ２で入力された映像の中から不可視光マーカーｍの位置座標を検出する（ステップＳ５）。このとき、本実施形態では、不可視光のみを撮影可能なマーカー撮影装置１２を使用しているため、不可視光マーカーｍを検出する画像処理が高速化され、リアルタイムでの追従投影が可能となる。

本実施形態において、被投影体４およびこれを投影するための立体スクリーン３が複数ある場合、不可視光マーカー検出部３３が、各不可視光マーカーｍの発光パターンを検出するとともに、マーカー検出部３４が、各マーカーの発光パターンを検出する（ステップＳ６）。そして、対応関係判別部３５が、各発光パターンをマーカー対応記憶部２２に記憶された識別情報と照合し、各被投影体４を投影すべき立体スクリーン３を判別する（ステップＳ７）。

これにより、複数の被投影体４を同時に複数の立体スクリーン３へ投影する場合であっても、各被投影体４を投影すべき立体スクリーン３が識別される。また、各不可視光マーカーｍごとに異なる発光パターンを有しているため、動体２が交差する場合や、構造物の裏から出現する場合等でも、各立体スクリーン３を瞬時に識別する。なお、被投影体４および立体スクリーン３がそれぞれ１つの場合、上記ステップＳ６，Ｓ７は実行されない。

つぎに、立体スクリーン情報取得部３６が、ステップＳ５で検出された各不可視光マーカーｍの位置座標に基づいて、立体スクリーン３の位置情報および方向情報を取得する（ステップＳ８）。また、立体スクリーン３が複数ある場合、立体スクリーン情報取得部３６は、各立体スクリーン３について位置情報および方向情報を取得する。

つづいて、投影映像作成部３７が、ステップＳ８で取得した位置情報および方向情報に基づいて、ステップＳ４で作成された３次元モデルを投影変換するとともに、透視変換を実行し、投影映像を作成する（ステップＳ９）。これにより、立体スクリーン３の動きに合わせて、被投影体４の位置、大きさおよび方向が整合するように、リアルタイムで投影映像がレンダリングされる。

ステップＳ９で作成された投影映像は、投影映像出力部３８が、逐次、映像投影装置１３へと出力する（ステップＳ１０）。これにより、映像投影装置１３の投影範囲内に存在する限り、動体２に設けられた立体スクリーン３に対して、投影映像が投影される。その後、投影処理が終了するまで、上記のステップＳ１〜Ｓ１０を繰り返した後（ステップＳ１１）、本処理は終了する。

以上のような本実施形態によれば、以下のような効果を奏する。
１．動体２に設けられた立体スクリーン３に対して、被投影体４の映像をリアルタイムで整合させ自動的に追従させることができる。
２．複数の被投影体４が存在する場合でも、各被投影体４を同時にリアルタイムで複数の立体スクリーン３に追従投影することができる。
３．例えばステージ上の人物や衣装に、その場にいない人物や故人等の表情や演技を合成し、実際にその人物がその場にいるような臨場感のある演出を行うことができる。
４．例えば会議室内の人物や人物模型に、遠隔地から参加者の顔面映像を投影し、あたかも参加者が会議室に参列しているかのような臨場感を与えることができる。

なお、本発明に係る映像投影システム１および映像投影プログラム１ａは、前述した実施形態に限定されるものではなく、適宜変更することができる。

例えば、上述した本実施形態では、映像投影装置１３を１台だけ使用しているが、この構成に限定されるものではなく、動体２が広範囲に移動する場合には、映像投影装置１３を複数台設置し、投影範囲を広げればよい。そして、立体スクリーン情報取得部３６が取得した立体スクリーン３の位置情報に基づいて、投影映像出力部３８が、映像投影装置１３を切り換えながら投影映像を出力するように制御してもよい。

１ 映像投影システム
１ａ 映像投影プログラム
２ 動体
３ 立体スクリーン
４ 被投影体
１１ 被投影体撮影装置
１２ マーカー撮影装置
１３ 映像投影装置
１４ 映像処理装置
２０ 記憶手段
２１ プログラム記憶部
２２ マーカー対応記憶部
２３ ２次元映像記憶部
２４ 投影対象モデル記憶部
３０ 演算処理手段
３１ ２次元映像正規化部
３２ ３次元モデル作成部
３３ マーカー検出部
３４ 不可視光マーカー検出部
３５ 対応関係判別部
３６ 立体スクリーン情報取得部
３７ 投影映像作成部
３８ 投影映像出力部
ｍ 不可視光マーカー

Claims (8)

1. 動体に設けられた立体スクリーンに映像投影装置から所定の映像を投影する映像投影システムであって、
   前記立体スクリーンの位置情報および方向情報を取得する立体スクリーン情報取得部と、
   前記立体スクリーンに投影しようとする被投影体の２次元映像をテクスチャとして、前記被投影体の３次元モデルを作成する３次元モデル作成部と、
   前記立体スクリーン情報取得部が取得した前記立体スクリーンの位置情報および方向情報に基づいて、前記被投影体の位置、大きさおよび方向を前記立体スクリーンに整合させた投影映像を前記３次元モデルから作成する投影映像作成部と、
   前記投影映像作成部が作成した投影映像を前記映像投影装置に出力する投影映像出力部と
   を有する映像投影システム。
2. 不可視光を撮影可能なマーカー撮影装置から前記立体スクリーンを含む映像を取得し、当該映像の中から前記立体スクリーンに設けられた複数の不可視光マーカーの位置座標を検出する不可視光マーカー検出部を有しており、
   前記立体スクリーン情報取得部は、前記不可視光マーカー検出部が検出した各不可視光マーカーの位置座標に基づいて、前記立体スクリーンの位置情報および方向情報を算出する請求項１に記載の映像投影システム。
3. 前記被投影体および前記立体スクリーンが複数ある場合、各被投影体ごとに、互いに識別可能なマーカーが設けられているとともに、各立体スクリーンごとに、互いに識別可能な不可視光マーカーが設けられており、
   各被投影体に設けられた前記マーカーの識別情報を記憶するとともに、各被投影体に対応付けて、各被投影体を投影すべき各立体スクリーンに設けられた前記不可視光マーカーの識別情報を記憶するマーカー対応記憶部と、
   各被投影体に設けられたマーカーの発光パターンを検出するマーカー検出部と、
   各立体スクリーンに設けられた不可視光マーカーの発光パターンを検出する不可視光マーカー検出部と、
   前記マーカー検出部が検出した発光パターンおよび前記不可視光マーカーが検出した発光パターンを前記マーカー対応記憶部に記憶された識別情報と照合し、各被投影体を投影すべき立体スクリーンを判別する対応関係判別部と
   を有している請求項２に記載の映像投影システム。
4. 前記不可視光マーカーが発光マーカーである場合、各立体スクリーンごとに、異なる発光パターンを有する発光マーカーが設けられており、前記マーカー識別情報記憶部には、各立体スクリーンに対応付けて、前記発光パターンが前記識別情報として記憶されている請求項３に記載の映像投影システム。
5. 動体に設けられた立体スクリーンに映像投影装置から所定の映像を投影するようにコンピュータを機能させる映像投影プログラムであって、
   前記立体スクリーンの位置情報および方向情報を取得する立体スクリーン情報取得部と、
   前記立体スクリーンに投影しようとする被投影体の２次元映像をテクスチャとして、前記被投影体の３次元モデルを作成する３次元モデル作成部と、
   前記立体スクリーン情報取得部が取得した前記立体スクリーンの位置情報および方向情報に基づいて、前記被投影体の位置、大きさおよび方向を前記立体スクリーンに整合させた投影映像を前記３次元モデルから作成する投影映像作成部と、
   前記投影映像作成部が作成した投影映像を前記映像投影装置に出力する投影映像出力部と
   してコンピュータを機能させる映像投影プログラム。
6. 不可視光を撮影可能なマーカー撮影装置から前記立体スクリーンを含む映像を取得し、当該映像の中から前記立体スクリーンに設けられた複数の不可視光マーカーの位置座標を検出する不可視光マーカー検出部としてコンピュータを機能させ、
   前記立体スクリーン情報取得部は、前記不可視光マーカー検出部が検出した各不可視光マーカーの位置座標に基づいて、前記立体スクリーンの位置情報および方向情報を算出する請求項５に記載の映像投影プログラム。
7. 前記被投影体および前記立体スクリーンが複数ある場合、各被投影体ごとに、互いに識別可能なマーカーが設けられているとともに、各立体スクリーンごとに、互いに識別可能な不可視光マーカーが設けられており、
   各被投影体に設けられた前記マーカーの識別情報を記憶するとともに、各被投影体に対応付けて、各被投影体を投影すべき各立体スクリーンに設けられた前記不可視光マーカーの識別情報を記憶するマーカー対応記憶部と、
   各被投影体に設けられたマーカーの発光パターンを検出するマーカー検出部と、
   各立体スクリーンに設けられた不可視光マーカーの発光パターンを検出する不可視光マーカー検出部と、
   前記マーカー検出部が検出した発光パターンおよび前記不可視光マーカーが検出した発光パターンを前記マーカー対応記憶部に記憶された識別情報と照合し、各被投影体を投影すべき立体スクリーンを判別する対応関係判別部と
   してコンピュータを機能させる請求項６に記載の映像投影プログラム。
8. 前記不可視光マーカーが発光マーカーである場合、各立体スクリーンごとに、異なる発光パターンを有する発光マーカーが設けられており、前記マーカー識別情報記憶部には、各立体スクリーンに対応付けて、前記発光パターンが前記識別情報として記憶されている請求項７に記載の映像投影プログラム。