JP4231216B2

JP4231216B2 - 仮想シーン撮影方法及びその装置

Info

Publication number: JP4231216B2
Application number: JP2001232024A
Authority: JP
Inventors: 崇史深谷; 大一郎加藤; 誠喜井上; 結子山内; 秀樹三ッ峰; 祐里畠山; 貴生津田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-07-31
Filing date: 2001-07-31
Publication date: 2009-02-25
Anticipated expiration: 2021-07-31
Also published as: JP2003046842A

Description

【０００１】
【発明の属する技術分野】
本発明は仮想シーン撮影方法及びその装置に関し、特に、仮想空間でのカメラワークと実空間でのカメラワークを連動させ、同じ動きの両映像を合成して仮想シーンを生成する仮想シーン撮影方法及びその装置に関する。
【０００２】
【従来の技術】
従来、カメラは、カメラマンが操作することによりレンズの前に広がる実世界および被写体をファインダで捉え、実写として撮影するものである。また、人物や動物などの動く被写体を撮影する場合、カメラマンはファインダによる被写体の追尾に加え、時にはファインダから目を離し、直接、被写体を目で確認しながら被写体の動きを観察して予測し、カメラを被写体に対して適切な画角に合わせている。
【０００３】
また、実空間と仮想空間の空間条件を一致させ、実写映像とコンピュータグラフィックス（以降、「ＣＧ」と記す）映像とを映像合成して同一画面に表示し鑑賞を可能にしたバーチャルスタジオと呼ばれているシステムは、実空間のカメラの向きや位置及びレンズ値などの変化を仮想空間のカメラ（以降、「仮想カメラ」と呼ぶ）に対応させ、実空間と仮想空間との空間的な位置関係の整合性を取っている。つまり、カメラ動作の主体は、カメラマンが動かす実空間の側にあった。
【０００４】
【発明が解決しようとする課題】
近年、バーチャルスタジオを利用した実写映像とＣＧ映像との映像合成による番組制作や映像制作などが増えるにつれ、実空間では見ることができない仮想空間内の被写体（以降、「仮想被写体」と呼ぶ）の動きを、カメラマンが追いかけなければならない場合が増えてきた。
【０００５】
ところがカメラマンは、仮想被写体であるＣＧ映像をカメラファインダもしくはフロアモニタで実写映像と合成された映像でしか見ることができず、これまでのようにカメラファインダから目を離し、実世界を見ながら仮想被写体の動きを予測し、撮影することができない。
【０００６】
カメラファインダなどで見ることのできるＣＧ映像と実写映像の合成映像は、映像合成処理を行うために、１フレーム（ＮＴＳＣ方式の場合約３３ｍｓ）以上の遅延が発生し、更に、合成された映像を見ながら行うカメラ操作では、カメラワークが遅れる結果となる。このため、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことは非常に困難であるという問題があった。
【０００７】
本発明は、上記の点に鑑みなされたもので、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる仮想シーン撮影方法及びその装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定し、
前記仮想カメラの動きデータを、前記仮想カメラの動きに対応する実空間を撮影する実空間のカメラの制御データに変換し、
前記制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることにより、
仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【０００９】
請求項２に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを有することにより、
仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【００１０】
請求項３に記載の発明は、請求項２記載の仮想シーン撮影装置において、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を有することにより、
実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の映像との動きのタイミングを合わせることができる。
【００１１】
【発明の実施の形態】
図１は、本発明の仮想シーン撮影装置の第１実施例のブロック構成図を示す。この実施例は、仮想被写体の動きが予め決まっている場合に、それをもとにした仮想カメラの動きを設定し、その仮想カメラの動きデータを実空間内の自動撮影カメラ装置へ適応させ、仮想空間内を動く仮想被写体を自動撮影カメラ装置で撮影するものである。
【００１２】
図１において、初期設定として、自動撮影カメラ装置１０における実空間と、ＣＧ映像生成装置２０における仮想空間とのスケールを合致させる。ここでは、図２（Ａ）に示す実空間と、図２（Ｂ）に示す仮想空間とのスケールを合致させるため、実空間に想定した原点Ｏ_ｒ＝（０，０，０）と、仮想空間の原点Ｏ_ｖ＝（０，０，０）とを合わせ、実空間の横幅ｘ_ｒ、高さｙ_ｒ、奥行きｚ_ｒを、仮想空間のｘ_ｖ軸、ｙ_ｖ軸、ｚ_ｖ軸にそれぞれ対応させる。
【００１３】
そして、実空間における例えば長さ１ｍが仮想空間の単位長となるように仮想空間の縮尺を設定し、実空間の点Ａ_ｒの座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）が（ｘ_１，ｙ_１，ｚ_ｌ）であった場合、仮想空間内で対応する点Ａ_ｖの座標（ｘ_ｖ，ｙ_ｖ，ｚ_ｖ）が（ｘ_１，ｙ_１，ｚ_１）となるようにする。
【００１４】
次に、図３（Ａ）に示す実空間のカメラＣ_ｒと、図３（Ｂ）に示す仮想カメラＣ_ｖの位置や向きなどを一致させる。実空間のカメラ位置（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）＝（ｘ_２，ｙ_２，ｚ_２）は、先に設定した実空間の原点からの横幅ｘ_ｒ、高さｙ_ｒ、奥行きｚ_ｒ方向をもとにした測量で求める。そして、この実空間のカメラ位置に相当する仮想空間の位置（ｘ_ｖ，ｙ_ｖ，ｚ_ｖ）＝（ｘ_２，ｙ_２，ｚ_２）に、実空間と同じレンズスケール、アパーチャースケールを持った仮想カメラＣ_ｖを設定する。そして、実空間のカメラＣ_ｒと仮想カメラＣ_ｖの向きを合わせる。
【００１５】
例えば、実空間のカメラＣ_ｒの位置（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）＝（ｘ_２，ｙ_２，ｚ_２）から原点Ｏ_ｒを見たときのカメラ方向は（−ｘ_２，−ｙ_２，−ｚ_２）となり、これは仮想カメラＣ_ｖも同じである。そして、この仮想カメラＣ_ｖの方向（−ｘ_２，−ｙ_２，−ｚ_２）を基準にし、図４に示すように２つの空間のカメラの回転量（θｘ_３，θｙ_３，θｚ_３）を一致させる。結果として、２つのカメラＣ_ｒ，Ｃ_ｖは、あたかも同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する。
【００１６】
一方、図１に示すＣＧ映像生成装置２０内の仮想被写体動作設定部２１で、仮想被写体Ｈは、図５に示すように、仮想空間の点（ｘ_ｖ，ｙ_ｖ，ｚ_ｖ）＝（ｘ_４，ｙ_４，ｚ_４）を中心として、ｘ，ｚ平面と平行な平面上で半径＝ｒの円周上をｔ秒で１周する動作を行うように設定する。この仮想被写体Ｈの動きは実空間に置き換えると、点（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）＝（ｘ_４，ｙ_４，ｚ_４）を中心に、床面と平行に半径ｒｍの円周上をｔ秒で１周することに相当する。
【００１７】
仮想カメラ動作設定部２２では、この仮想被写体Ｈを仮想カメラＣ_ｖで適切な画角で撮影できる位置（ｘ_ｖ，ｙ_ｖ，ｚ_ｖ）＝（ｘ_５，ｙ_５，ｚ_５）を決定する。そして、仮想被写体Ｈの動きを追ってｔ秒で一順するような仮想カメラＣ_ｖのカメラワークを、仮想カメラＣ_ｖのファインダに相当する画面を見ながら設定し、その動きデータを保存する。
【００１８】
続いて、仮想カメラ動作設定部２２は、実空間内の自動撮影カメラ装置の位置を仮想空間内の仮想カメラＣ_ｖの位置に相当する地点（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）＝（ｘ_５，ｙ_５，ｚ_５）に移動させる。そして、仮想カメラＣ_ｖの動きデータを、撮影部１２の制御データに変換して自動撮影カメラ装置１０の駆動制御部１１に供給する。
【００１９】
駆動制御部１１は、供給された制御データに基づいて撮影部１２を駆動してカメラワークを実行し実空間の様子を撮影する。撮影部１２で得た実空間の映像は例えばＮＴＳＣ方式の映像信号として出力され、映像遅延装置１５を通して画像合成装置３０に供給される。
【００２０】
ＣＧ映像生成装置２０内のレンダリング部２３では、設定されたカメラワークを行う仮想カメラＣ_ｖで撮影された仮想被写体Ｈの画像を、ＮＴＳＣ方式の映像信号に変換（レンダリング）して出力する。この映像信号は映像遅延装置２５を通して画像合成装置３０に供給される。
【００２１】
画像合成装置３０は、ＣＧ映像生成装置２０からの仮想被写体Ｈの映像信号と、自動撮影カメラ装置１０によって撮影された実空間の映像との画像合成を行うことにより、実空間には存在しない仮想被写体Ｈが実空間の中を動いている映像として表示することができる。
【００２２】
例えば仮想被写体の動きデータを自動撮影カメラ装置の制御データに変換する際に遅延が発生するなどによって実空間の映像の遅延が大きくなり、画像合成の段階で両映像の動きのタイミングがずれる場合、映像遅延装置２５で、それと同等の遅延を仮想被写体の映像に加えることによって、両者のタイミングを合わせる。逆に、仮想被写体の映像の遅延が大きい場合には映像遅延装置１５で、それと同等の遅延を実空間の映像に加えることによって、両者のタイミングを合わせる。
【００２３】
本発明では、ＣＧの仮想被写体の位置および動きデータをもとに、仮想カメラの向きや動きやレンズ情報などを設定し、これに合わせて自動撮影カメラ装置を駆動して実空間の撮影を行うことにより、より高速、かつ正確に仮想被写体を追尾することが可能になり、従来、人間では完全には追従することができなかった仮想被写体の動きに対して、実空間のカメラが正確に追尾することができるようになり、信頼性の高い自動撮影、効率的な制作が実現できる。
【００２４】
図６は、本発明の仮想シーン撮影装置の第２実施例のブロック構成図を示す。この実施例は、人的操作などにより、仮想被写体を任意に動かす場合、または乱数などによって仮想被写体の動きが自動的に算出される場合など、動きが予め決まっていない仮想被写体を自動撮影カメラ装置で撮影するものである。
【００２５】
図６において、初期設定として、自動撮影カメラ装置１０における実空間と、ＣＧ映像生成装置４０における仮想空間とのスケールを合致させる。ここでは、図２（Ａ）に示す実空間と、図２（Ｂ）に示す仮想空間とのスケールを合致させるため、実空間に想定した原点Ｏ_ｒ＝（０，０，０）と、仮想空間の原点Ｏ_ｖ＝（０，０，０）とを合わせ、実空間の横幅ｘ_ｒ、高さｙ_ｒ、奥行きｚ_ｒを、仮想空間のｘ_ｖ軸、ｙ_ｖ軸、ｚ_ｖ軸にそれぞれ対応させる。
【００２６】
そして、実空間における例えば長さ１ｍが仮想空間の単位長となるように仮想空間の縮尺を設定し、実空間の点Ａ_ｒの座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）が（ｘ_１，ｙ_１，ｚ_ｌ）であった場合、仮想空間内で対応する点Ａ_ｖの座標（ｘ_ｖ，ｙ_ｖ，ｚ_ｖ）が（ｘ_１，ｙ_１，ｚ_１）となるようにする。
【００２７】
次に、図３（Ａ）に示す実空間のカメラＣ_ｒと、図３（Ｂ）に示す仮想カメラＣ_ｖの位置や向きなどを一致させる。実空間のカメラ位置（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）＝（ｘ_２，ｙ_２，ｚ_２）は、先に設定した実空間の原点からの横幅ｘ_ｒ、高さｙ_ｒ、奥行きｚ_ｒ方向をもとにした測量で求める。そして、この実空間のカメラ位置に相当する仮想空間の位置（ｘ_ｖ，ｙ_ｖ，ｚ_ｖ）＝（ｘ_２，ｙ_２，ｚ_２）に、実空間と同じレンズスケール、アパーチャースケールを持った仮想カメラＣ_ｖを設定する。そして、実空間のカメラＣ_ｒと仮想カメラＣ_ｖの向きを合わせる。
【００２８】
例えば、実空間のカメラＣ_ｒの位置（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）＝（ｘ_２，ｙ_２，ｚ_２）から原点Ｏ_ｒを見たときのカメラ方向は（−ｘ_２，−ｙ_２，−ｚ_２）となり、これは仮想カメラＣ_ｖも同じである。そして、この仮想カメラＣ_ｖの方向（−ｘ_２，−ｙ_２，−ｚ_２）を基準にし、図４に示すように２つの空間のカメラの回転量（θｘ_３，θｙ_３，θｚ_３）を一致させる。結果として、２つのカメラＣ_ｒ，Ｃ_ｖは、あたかも同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する。ここまでは、第１実施例と同じである。
【００２９】
図７に示すように、実空間のスタジオには、クロマキーバックのセット１００の中に３本の木の柱１０１，１０２，１０３が立っており、その中を仮想被写体が飛び回るシーンを生成する。仮想被写体を動かすオペレータ１０５は、実空間の柱に相当する３本の仮想の柱１０６，１０７，１０８が存在する仮想空間全体を表示するモニタ画面１０９を見ながら、ジョイスティック等の制御入力デバイス１１０を用いて、柱１０６，１０７，１０８を避けるように仮想被写体１１２を移動させる。
【００３０】
この制御入力デバイス１１０の出力する制御入力情報が図６に示す端子４１からＣＧ映像生成装置４０の仮想被写体動作設定部４２及び仮想カメラ動作設定部４３に供給される。仮想被写体動作設定部４２は、制御入力情報に基づいて仮想被写体１１２が仮想空間内を飛び回る映像を生成してレンダリング部４５に供給する。
【００３１】
仮想カメラ動作設定部４３は、制御入力情報に基づいて仮想被写体１１２を撮影するための仮想カメラの最適画角を決めると共に、仮想カメラのカメラワークに対応する動きデータを生成してデータ変換部４４及びレンダリング部４５に供給する。データ変換部４４は、仮想カメラの動きデータを自動撮影カメラ装置の制御データに変換して自動撮影カメラ装置１０の駆動制御部１１に供給する。
【００３２】
駆動制御部１１は、供給された制御データに基づいて撮影部１２を駆動してカメラワークを実行し、クロマキーバックのセット１００の中に３本の木の柱１０１，１０２，１０３が立った実空間の様子を撮影する。図８（Ｂ）に示すように木の柱１０１を撮影した実空間の映像は、例えばＮＴＳＣ方式の映像信号として出力され、映像遅延装置１５を通して画像合成装置３０に供給される。
【００３３】
ＣＧ映像生成装置４０内のレンダリング部４５では、設定されたカメラワークを行う仮想カメラで撮影された図８（Ａ）に示すように仮想空間を飛び回る仮想被写体１１２の画像をＮＴＳＣ方式の映像信号に変換して出力する。この映像信号は映像遅延装置２５を通して画像合成装置３０に供給される。
【００３４】
画像合成装置３０は、図８（Ａ）に示すＣＧ映像生成装置４０からの仮想被写体１１２の映像信号と、図８（Ｂ）に示す自動撮影カメラ装置１０によって撮影された柱１０１の映像との画像合成を行うことにより、仮想被写体１１２が実空間の中を飛び回る図８（Ｃ）に示す映像として表示することができる。
【００３５】
なお、画像合成の段階で両映像の動きのタイミングがずれる場合に映像遅延装置１５，２５を用いて両者のタイミングを合わせることは第１実施例と同様である。
【００３６】
この他にも、レンダリングされた仮想被写体の映像から、本出願人の提案になる特願平８−１５３１３３号に記載の自動撮影カメラシステムを用いて自動的かつ高速に仮想カメラの最適画角を決定し、その最適画角をもとに自動撮影カメラ装置１０を制御し、仮想カメラと連動して実空間を撮影するという方法もある。なお、上記の特願平８−１５３１３３号に記載の自動撮影カメラシステムは、カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識し、該被写体の３次元空間内の現在位置を逐次計測すると共に、当該計測情報の信頼度を示す信頼度情報を作成して前記計測情報と共に送出する３次元位置計測部と、前記３次元位置計測部からの計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記３次元位置計測部からの信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部と、前記撮影用カメラのカメラワークの形態毎に制御モードを複数持ち、前記信頼度算出部で算出した信頼度に応じて当該制御モードを自動的に切替え、切替え後の制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するカメラワーク制御部とを備え、
【００３７】
さらに、前記形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えていない場合には、前記動き解析部で解析した被写体の動きに応じて自動追尾を制御する前記自動追尾の制御形態の第１の制御モードで制御し、
前記信頼度が閾値を越えている場合には、現時点までの複数の計測情報から求めた前記被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値以下となるまで前記第２の制御モードによって制御し、
前記形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えている期間が許容期間を越えた場合、現在の制御モードを前記被写体の動きのモデル式に基づいて自動追尾を制御する前記自動追尾の制御形態の第３の制御モードに切替え、前記信頼度が閾値以下となるまで前記第３の制御モードによって制御し、
前記形態が撮影用カメラの視野の制御形態を含み、前記信頼度が閾値を越えている場合には、前記撮影用カメラの視野を許容値まで拡大する前記視野の制御形態の第１の制御モードに切替え、前記信頼度が閾値以下となるまで前記視野の制御形態の第１の制御モードによって制御し、
前記３次元位置計測部からの信頼度情報が、前記センサカメラの障害を示す第１の情報及び前記認識した被写体の大きさを示す第２の情報のうち少なくとも１つの情報を含み、
前記撮影対象の３次元空間内の現在位置を２つのセンサカメラを用いて計測する構成の場合、前記３次元位置計測部は、いずれか一方のセンサカメラの障害を検出した時点から前記障害の回復を検出する時点までは前記現在位置の他方のセンサカメラからの広角画像に基づいて計測し、
前記信頼度が閾値を越えている場合或いは前記計測情報の入力が無い場合で且つ前記撮影用カメラの視野内の前記被写体が含まれるときには前記撮影用カメラの撮影画像内の静止体又は移動体の中から前記撮影対象の被写体を認識し、該被写体の画面内の現在位置を計測した計測情報を前記３次元位置計測部からの計測情報とする計測情報作成部を備えることによって、撮影対象を自動追尾して無人での撮影を可能としたものである。
【００３８】
次に、本発明の仮想シーン撮影方法の第３実施例について説明する。この実施例は、撮影すべき動きの主体が、実空間の被写体から仮想被写体に、途中で替わるシーンを、自動撮影カメラ装置で撮影するものである。
【００３９】
この実施例においても、初期設定で実空間のカメラと仮想カメラが同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する処理は第１，第２実施例と同様である。
【００４０】
図９は、本発明の仮想シーン撮影装置の第３実施例のブロック構成図を示す。図９において、初期設定として、自動撮影カメラ装置５０における実空間と、ＣＧ映像生成装置６０における仮想空間とのスケールを合致させる。
【００４１】
次に、実空間の出演者の動きを、特願平８−１５３１３３号に記載の自動撮影カメラシステムの自動撮影カメラ装置５０を用いて撮影する。図１０（Ａ）に示す出演者１１７は弓１１８を持っている。図１０（Ｂ）に示すように、弓の上端位置、弓の中心位置、弓の下端位置、弦の中心位置それぞれには例えば磁気センサなどの弓に搭載可能な小型位置センサ１１９，１２０，１２１，１２２が取り付けられており、この小型位置センサ１１９〜１２２により、図１０（Ｂ），（Ｃ）に示すような弓１１８の形状の変化や、図１１（Ａ）に示すような実空間における弓１１８の位置をリアルタイムで計測することができる。なお、磁気センサの他にも光学式センサや超音波センサなどを使用しても良い。
【００４２】
上記小型位置センサ１１９〜１２２それぞれの検出信号が図９に示す端子６６からＣＧ映像生成装置６０の位置検出部６１に供給され、位置情報と形状情報が得られる。この位置情報と形状情報は仮想被写体動作設定部６２及び仮想カメラ動作設定部６３に供給される。仮想被写体動作設定部６２は、位置情報と形状情報に基づいてＣＧの矢の映像を生成してレンダリング部６５に供給する。図１１（Ｂ）に示す仮想空間には仮想被写体としてＣＧの矢１２４があり、図１１（Ａ）に示す実空間における弓１１８の位置情報と形状情報をもとに、仮想空間内での矢１２４の位置や向き、動きなどを生成する。
【００４３】
仮想カメラ動作設定部６３は、位置情報と形状情報に基づいてＣＧの矢１２４を撮影するための仮想カメラの最適画角を決めると共に、仮想カメラのカメラワークに対応する動きデータを生成してデータ変換部６４及びレンダリング部６５に供給する。データ変換部６４は、仮想カメラの動きデータを自動撮影カメラ装置の制御データに変換して自動撮影カメラ装置５０の駆動制御部５１に供給する。
【００４４】
この場合、仮想空間の矢柄の位置Ｄ_ｖ＝（ｘ_６，ｙ_６，ｚ_６）は、実空間の弓１１８の弦の中心位置Ｄ_ｒ＝（ｘ_６，ｙ_６，ｚ_６）に相当し、矢１２４は弓の弦の中心位置Ｄ_ｒ＝（ｘ_６，ｙ_６，ｚ_６）と弓１１８の中心位置Ｅ_ｒ＝（ｘ_７，ｙ_７，ｚ_７）を結んだ延長線方向（ｘ_６−ｘ_７，ｙ_６−ｙ_７，ｚ_６−ｚ_７）を向いている。
【００４５】
出演者１１７はこの弓１１８を引き、引き切ったところＤ_ｒ＝（ｘ_６，ｙ_６，ｚ_６）で引き手を放す。弦を引いている出演者１１７の指先には、例えば接触していると弱電流が流れる小型の電極スイッチ１２６が仕込んであり、指を放した瞬間に電極スイッチ１２６に電流が流れなくなる。この電極スイッチ１２６の信号は図９に示す端子６７からＣＧ映像生成装置６０の仮想被写体動作設定部６２と仮想カメラ動作設定部６３、及び自動撮影カメラ装置５０の駆動制御部５１に供給される。
【００４６】
ＣＧの矢１２４は、弓１１８の中心位置Ｅ_ｒ＝（ｘ_７，ｙ_７，ｚ_７）と弦の中心位置Ｄ_ｒ＝（ｘ_６，ｙ_６，ｚ_６）を結んだ延長線方向（ｘ_６−ｘ_７，ｙ_６−ｙ_７，ｚ_６−ｚ_７）に向かって飛び出す。このＣＧの矢１２４が飛び出す速度は予め設定しておき、矢１２４の向きから、矢１２４が飛んでゆく動きを算出する。また、データ変換部６４は矢１２４の向きと速度から仮想カメラの動きを表す動きデータも算出すると共に、その動きデータを自動撮影カメラ装置６４の制御データに変換して自動撮影カメラ装置５０の駆動制御部５１に供給し撮影部５２を駆動する。そして、これらは全て指を放した瞬間から動作を開始する。
【００４７】
つまり、撮影すべき動きの主体が、実空間の出演者１１７から仮想被写体の矢１２４に移ることになる。そして、仮想カメラで撮影された仮想被写体の矢１２４のレンダリング映像と、自動撮影カメラ装置５０によって撮影された実空間の映像を画像合成することにより、結果として、実空間では存在しない高速で動く仮想被写体の矢１２４を、あたかも実空間の中で高速に動いている映像として表示することができる。
【００４８】
この合成段階で、動きのタイミングがずれている場合、例えば仮想カメラによって撮影された仮想被写体をレンダリングする際に遅延が発生した場合、それと同等の遅延を自動撮影カメラ装置で撮影した映像に発生させるなどして、両者のタイミングを合わせることは第１，第２実施例と同様である。
【００４９】
このようにして、仮想被写体ならではのダイナミックな動きや不可思議な動きに対応して実空間のカメラで正確に実空間を撮影することができる。また、何度も同じ撮影を繰り返すことが可能なため、多重合成などの特殊撮影や、出演者と仮想被写体との共演時におけるシミュレーションやリハーサルを行うこともでき、実写と仮想被写体の合成映像制作、いわゆる仮想シーン生成の作業の効率化に貢献できる。
【００５０】
なお、仮想カメラ動作設定部２２，４３，６３が請求項記載の仮想カメラ動作設定手段に対応し、仮想カメラ動作設定部２２，データ変換部４４，６４が実空間カメラ動作設定手段に対応し、映像合成装置３０が映像合成手段に対応し、映像遅延装置１５，２５が遅延手段に対応する。
【００５１】
【発明の効果】
上述の如く、請求項１に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で仮想被写体を撮影する仮想カメラの動きデータを設定し、仮想カメラの動きデータを、仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換し、制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることにより、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【００５２】
請求項２に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、仮想カメラの動きデータを、仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、実空間カメラ動作設定手段で設定された制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを有することにより、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【００５３】
請求項３に記載の発明では、実空間カメラ動作設定手段で設定された制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を有することにより、実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の映像との動きのタイミングを合わせることができる。
【図面の簡単な説明】
【図１】本発明の仮想シーン撮影装置の第１実施例のブロック構成図である。
【図２】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図３】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図４】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図５】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図６】本発明の仮想シーン撮影装置の第２実施例のブロック構成図である。
【図７】本発明の第２実施例を説明するための図である。
【図８】本発明の第２実施例を説明するための図である。
【図９】本発明の仮想シーン撮影装置の第３実施例のブロック構成図である。
【図１０】本発明の第３実施例を説明するための図である。
【図１１】本発明の第３実施例を説明するための図である。
【符号の説明】
１０，５０自動撮影カメラ装置
１１，５１駆動制御部
１２，５２撮影部
１５，２５映像遅延装置
２０ＣＧ映像生成装置
２１，４２，６２仮想被写体動作設定部
２２，４３，６３仮想カメラ動作設定部
２３，４５，６５レンダリング部
３０映像合成装置
４４，６４データ変換部
６１位置検出部

Claims

コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定し、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換し、
前記制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることを特徴とする仮想シーン撮影方法。
コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを
有することを特徴とする仮想シーン撮影装置。
請求項２記載の仮想シーン撮影装置において、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を
有することを特徴とする仮想シーン撮影装置。