JP4231216B2 - 仮想シーン撮影方法及びその装置 - Google Patents
仮想シーン撮影方法及びその装置 Download PDFInfo
- Publication number
- JP4231216B2 JP4231216B2 JP2001232024A JP2001232024A JP4231216B2 JP 4231216 B2 JP4231216 B2 JP 4231216B2 JP 2001232024 A JP2001232024 A JP 2001232024A JP 2001232024 A JP2001232024 A JP 2001232024A JP 4231216 B2 JP4231216 B2 JP 4231216B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- camera
- real space
- video
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は仮想シーン撮影方法及びその装置に関し、特に、仮想空間でのカメラワークと実空間でのカメラワークを連動させ、同じ動きの両映像を合成して仮想シーンを生成する仮想シーン撮影方法及びその装置に関する。
【0002】
【従来の技術】
従来、カメラは、カメラマンが操作することによりレンズの前に広がる実世界および被写体をファインダで捉え、実写として撮影するものである。また、人物や動物などの動く被写体を撮影する場合、カメラマンはファインダによる被写体の追尾に加え、時にはファインダから目を離し、直接、被写体を目で確認しながら被写体の動きを観察して予測し、カメラを被写体に対して適切な画角に合わせている。
【0003】
また、実空間と仮想空間の空間条件を一致させ、実写映像とコンピュータグラフィックス(以降、「CG」と記す)映像とを映像合成して同一画面に表示し鑑賞を可能にしたバーチャルスタジオと呼ばれているシステムは、実空間のカメラの向きや位置及びレンズ値などの変化を仮想空間のカメラ(以降、「仮想カメラ」と呼ぶ)に対応させ、実空間と仮想空間との空間的な位置関係の整合性を取っている。つまり、カメラ動作の主体は、カメラマンが動かす実空間の側にあった。
【0004】
【発明が解決しようとする課題】
近年、バーチャルスタジオを利用した実写映像とCG映像との映像合成による番組制作や映像制作などが増えるにつれ、実空間では見ることができない仮想空間内の被写体(以降、「仮想被写体」と呼ぶ)の動きを、カメラマンが追いかけなければならない場合が増えてきた。
【0005】
ところがカメラマンは、仮想被写体であるCG映像をカメラファインダもしくはフロアモニタで実写映像と合成された映像でしか見ることができず、これまでのようにカメラファインダから目を離し、実世界を見ながら仮想被写体の動きを予測し、撮影することができない。
【0006】
カメラファインダなどで見ることのできるCG映像と実写映像の合成映像は、映像合成処理を行うために、1フレーム(NTSC方式の場合約33ms)以上の遅延が発生し、更に、合成された映像を見ながら行うカメラ操作では、カメラワークが遅れる結果となる。このため、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことは非常に困難であるという問題があった。
【0007】
本発明は、上記の点に鑑みなされたもので、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる仮想シーン撮影方法及びその装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
請求項1に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定し、
前記仮想カメラの動きデータを、前記仮想カメラの動きに対応する実空間を撮影する実空間のカメラの制御データに変換し、
前記制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることにより、
仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【0009】
請求項2に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを有することにより、
仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【0010】
請求項3に記載の発明は、請求項2記載の仮想シーン撮影装置において、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を有することにより、
実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の映像との動きのタイミングを合わせることができる。
【0011】
【発明の実施の形態】
図1は、本発明の仮想シーン撮影装置の第1実施例のブロック構成図を示す。この実施例は、仮想被写体の動きが予め決まっている場合に、それをもとにした仮想カメラの動きを設定し、その仮想カメラの動きデータを実空間内の自動撮影カメラ装置へ適応させ、仮想空間内を動く仮想被写体を自動撮影カメラ装置で撮影するものである。
【0012】
図1において、初期設定として、自動撮影カメラ装置10における実空間と、CG映像生成装置20における仮想空間とのスケールを合致させる。ここでは、図2(A)に示す実空間と、図2(B)に示す仮想空間とのスケールを合致させるため、実空間に想定した原点Or=(0,0,0)と、仮想空間の原点Ov=(0,0,0)とを合わせ、実空間の横幅xr、高さyr、奥行きzrを、仮想空間のxv軸、yv軸、zv軸にそれぞれ対応させる。
【0013】
そして、実空間における例えば長さ1mが仮想空間の単位長となるように仮想空間の縮尺を設定し、実空間の点Arの座標(xr,yr,zr)が(x1,y1,zl)であった場合、仮想空間内で対応する点Avの座標(xv,yv,zv)が(x1,y1,z1)となるようにする。
【0014】
次に、図3(A)に示す実空間のカメラCrと、図3(B)に示す仮想カメラCvの位置や向きなどを一致させる。実空間のカメラ位置(xr,yr,zr)=(x2,y2,z2)は、先に設定した実空間の原点からの横幅xr、高さyr、奥行きzr方向をもとにした測量で求める。そして、この実空間のカメラ位置に相当する仮想空間の位置(xv,yv,zv)=(x2,y2,z2)に、実空間と同じレンズスケール、アパーチャースケールを持った仮想カメラCvを設定する。そして、実空間のカメラCrと仮想カメラCvの向きを合わせる。
【0015】
例えば、実空間のカメラCrの位置(xr,yr,zr)=(x2,y2,z2)から原点Orを見たときのカメラ方向は(−x2,−y2,−z2)となり、これは仮想カメラCvも同じである。そして、この仮想カメラCvの方向(−x2,−y2,−z2)を基準にし、図4に示すように2つの空間のカメラの回転量(θx3,θy3,θz3)を一致させる。結果として、2つのカメラCr,Cvは、あたかも同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する。
【0016】
一方、図1に示すCG映像生成装置20内の仮想被写体動作設定部21で、仮想被写体Hは、図5に示すように、仮想空間の点(xv,yv,zv)=(x4,y4,z4)を中心として、x,z平面と平行な平面上で半径=rの円周上をt秒で1周する動作を行うように設定する。この仮想被写体Hの動きは実空間に置き換えると、点(xr,yr,zr)=(x4,y4,z4)を中心に、床面と平行に半径rmの円周上をt秒で1周することに相当する。
【0017】
仮想カメラ動作設定部22では、この仮想被写体Hを仮想カメラCvで適切な画角で撮影できる位置(xv,yv,zv)=(x5,y5,z5)を決定する。そして、仮想被写体Hの動きを追ってt秒で一順するような仮想カメラCvのカメラワークを、仮想カメラCvのファインダに相当する画面を見ながら設定し、その動きデータを保存する。
【0018】
続いて、仮想カメラ動作設定部22は、実空間内の自動撮影カメラ装置の位置を仮想空間内の仮想カメラCvの位置に相当する地点(xr,yr,zr)=(x5,y5,z5)に移動させる。そして、仮想カメラCvの動きデータを、撮影部12の制御データに変換して自動撮影カメラ装置10の駆動制御部11に供給する。
【0019】
駆動制御部11は、供給された制御データに基づいて撮影部12を駆動してカメラワークを実行し実空間の様子を撮影する。撮影部12で得た実空間の映像は例えばNTSC方式の映像信号として出力され、映像遅延装置15を通して画像合成装置30に供給される。
【0020】
CG映像生成装置20内のレンダリング部23では、設定されたカメラワークを行う仮想カメラCvで撮影された仮想被写体Hの画像を、NTSC方式の映像信号に変換(レンダリング)して出力する。この映像信号は映像遅延装置25を通して画像合成装置30に供給される。
【0021】
画像合成装置30は、CG映像生成装置20からの仮想被写体Hの映像信号と、自動撮影カメラ装置10によって撮影された実空間の映像との画像合成を行うことにより、実空間には存在しない仮想被写体Hが実空間の中を動いている映像として表示することができる。
【0022】
例えば仮想被写体の動きデータを自動撮影カメラ装置の制御データに変換する際に遅延が発生するなどによって実空間の映像の遅延が大きくなり、画像合成の段階で両映像の動きのタイミングがずれる場合、映像遅延装置25で、それと同等の遅延を仮想被写体の映像に加えることによって、両者のタイミングを合わせる。逆に、仮想被写体の映像の遅延が大きい場合には映像遅延装置15で、それと同等の遅延を実空間の映像に加えることによって、両者のタイミングを合わせる。
【0023】
本発明では、CGの仮想被写体の位置および動きデータをもとに、仮想カメラの向きや動きやレンズ情報などを設定し、これに合わせて自動撮影カメラ装置を駆動して実空間の撮影を行うことにより、より高速、かつ正確に仮想被写体を追尾することが可能になり、従来、人間では完全には追従することができなかった仮想被写体の動きに対して、実空間のカメラが正確に追尾することができるようになり、信頼性の高い自動撮影、効率的な制作が実現できる。
【0024】
図6は、本発明の仮想シーン撮影装置の第2実施例のブロック構成図を示す。この実施例は、人的操作などにより、仮想被写体を任意に動かす場合、または乱数などによって仮想被写体の動きが自動的に算出される場合など、動きが予め決まっていない仮想被写体を自動撮影カメラ装置で撮影するものである。
【0025】
図6において、初期設定として、自動撮影カメラ装置10における実空間と、CG映像生成装置40における仮想空間とのスケールを合致させる。ここでは、図2(A)に示す実空間と、図2(B)に示す仮想空間とのスケールを合致させるため、実空間に想定した原点Or=(0,0,0)と、仮想空間の原点Ov=(0,0,0)とを合わせ、実空間の横幅xr、高さyr、奥行きzrを、仮想空間のxv軸、yv軸、zv軸にそれぞれ対応させる。
【0026】
そして、実空間における例えば長さ1mが仮想空間の単位長となるように仮想空間の縮尺を設定し、実空間の点Arの座標(xr,yr,zr)が(x1,y1,zl)であった場合、仮想空間内で対応する点Avの座標(xv,yv,zv)が(x1,y1,z1)となるようにする。
【0027】
次に、図3(A)に示す実空間のカメラCrと、図3(B)に示す仮想カメラCvの位置や向きなどを一致させる。実空間のカメラ位置(xr,yr,zr)=(x2,y2,z2)は、先に設定した実空間の原点からの横幅xr、高さyr、奥行きzr方向をもとにした測量で求める。そして、この実空間のカメラ位置に相当する仮想空間の位置(xv,yv,zv)=(x2,y2,z2)に、実空間と同じレンズスケール、アパーチャースケールを持った仮想カメラCvを設定する。そして、実空間のカメラCrと仮想カメラCvの向きを合わせる。
【0028】
例えば、実空間のカメラCrの位置(xr,yr,zr)=(x2,y2,z2)から原点Orを見たときのカメラ方向は(−x2,−y2,−z2)となり、これは仮想カメラCvも同じである。そして、この仮想カメラCvの方向(−x2,−y2,−z2)を基準にし、図4に示すように2つの空間のカメラの回転量(θx3,θy3,θz3)を一致させる。結果として、2つのカメラCr,Cvは、あたかも同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する。ここまでは、第1実施例と同じである。
【0029】
図7に示すように、実空間のスタジオには、クロマキーバックのセット100の中に3本の木の柱101,102,103が立っており、その中を仮想被写体が飛び回るシーンを生成する。仮想被写体を動かすオペレータ105は、実空間の柱に相当する3本の仮想の柱106,107,108が存在する仮想空間全体を表示するモニタ画面109を見ながら、ジョイスティック等の制御入力デバイス110を用いて、柱106,107,108を避けるように仮想被写体112を移動させる。
【0030】
この制御入力デバイス110の出力する制御入力情報が図6に示す端子41からCG映像生成装置40の仮想被写体動作設定部42及び仮想カメラ動作設定部43に供給される。仮想被写体動作設定部42は、制御入力情報に基づいて仮想被写体112が仮想空間内を飛び回る映像を生成してレンダリング部45に供給する。
【0031】
仮想カメラ動作設定部43は、制御入力情報に基づいて仮想被写体112を撮影するための仮想カメラの最適画角を決めると共に、仮想カメラのカメラワークに対応する動きデータを生成してデータ変換部44及びレンダリング部45に供給する。データ変換部44は、仮想カメラの動きデータを自動撮影カメラ装置の制御データに変換して自動撮影カメラ装置10の駆動制御部11に供給する。
【0032】
駆動制御部11は、供給された制御データに基づいて撮影部12を駆動してカメラワークを実行し、クロマキーバックのセット100の中に3本の木の柱101,102,103が立った実空間の様子を撮影する。図8(B)に示すように木の柱101を撮影した実空間の映像は、例えばNTSC方式の映像信号として出力され、映像遅延装置15を通して画像合成装置30に供給される。
【0033】
CG映像生成装置40内のレンダリング部45では、設定されたカメラワークを行う仮想カメラで撮影された図8(A)に示すように仮想空間を飛び回る仮想被写体112の画像をNTSC方式の映像信号に変換して出力する。この映像信号は映像遅延装置25を通して画像合成装置30に供給される。
【0034】
画像合成装置30は、図8(A)に示すCG映像生成装置40からの仮想被写体112の映像信号と、図8(B)に示す自動撮影カメラ装置10によって撮影された柱101の映像との画像合成を行うことにより、仮想被写体112が実空間の中を飛び回る図8(C)に示す映像として表示することができる。
【0035】
なお、画像合成の段階で両映像の動きのタイミングがずれる場合に映像遅延装置15,25を用いて両者のタイミングを合わせることは第1実施例と同様である。
【0036】
この他にも、レンダリングされた仮想被写体の映像から、本出願人の提案になる特願平8−153133号に記載の自動撮影カメラシステムを用いて自動的かつ高速に仮想カメラの最適画角を決定し、その最適画角をもとに自動撮影カメラ装置10を制御し、仮想カメラと連動して実空間を撮影するという方法もある。なお、上記の特願平8−153133号に記載の自動撮影カメラシステムは、カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識し、該被写体の3次元空間内の現在位置を逐次計測すると共に、当該計測情報の信頼度を示す信頼度情報を作成して前記計測情報と共に送出する3次元位置計測部と、前記3次元位置計測部からの計測情報に基づいて前記被写体の3次元空間内の動きを解析する動き解析部と、前記3次元位置計測部からの信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部と、前記撮影用カメラのカメラワークの形態毎に制御モードを複数持ち、前記信頼度算出部で算出した信頼度に応じて当該制御モードを自動的に切替え、切替え後の制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するカメラワーク制御部とを備え、
【0037】
さらに、前記形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えていない場合には、前記動き解析部で解析した被写体の動きに応じて自動追尾を制御する前記自動追尾の制御形態の第1の制御モードで制御し、
前記信頼度が閾値を越えている場合には、現時点までの複数の計測情報から求めた前記被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第2の制御モードに切替え、前記信頼度が閾値以下となるまで前記第2の制御モードによって制御し、
前記形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えている期間が許容期間を越えた場合、現在の制御モードを前記被写体の動きのモデル式に基づいて自動追尾を制御する前記自動追尾の制御形態の第3の制御モードに切替え、前記信頼度が閾値以下となるまで前記第3の制御モードによって制御し、
前記形態が撮影用カメラの視野の制御形態を含み、前記信頼度が閾値を越えている場合には、前記撮影用カメラの視野を許容値まで拡大する前記視野の制御形態の第1の制御モードに切替え、前記信頼度が閾値以下となるまで前記視野の制御形態の第1の制御モードによって制御し、
前記3次元位置計測部からの信頼度情報が、前記センサカメラの障害を示す第1の情報及び前記認識した被写体の大きさを示す第2の情報のうち少なくとも1つの情報を含み、
前記撮影対象の3次元空間内の現在位置を2つのセンサカメラを用いて計測する構成の場合、前記3次元位置計測部は、いずれか一方のセンサカメラの障害を検出した時点から前記障害の回復を検出する時点までは前記現在位置の他方のセンサカメラからの広角画像に基づいて計測し、
前記信頼度が閾値を越えている場合或いは前記計測情報の入力が無い場合で且つ前記撮影用カメラの視野内の前記被写体が含まれるときには前記撮影用カメラの撮影画像内の静止体又は移動体の中から前記撮影対象の被写体を認識し、該被写体の画面内の現在位置を計測した計測情報を前記3次元位置計測部からの計測情報とする計測情報作成部を備えることによって、撮影対象を自動追尾して無人での撮影を可能としたものである。
【0038】
次に、本発明の仮想シーン撮影方法の第3実施例について説明する。この実施例は、撮影すべき動きの主体が、実空間の被写体から仮想被写体に、途中で替わるシーンを、自動撮影カメラ装置で撮影するものである。
【0039】
この実施例においても、初期設定で実空間のカメラと仮想カメラが同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する処理は第1,第2実施例と同様である。
【0040】
図9は、本発明の仮想シーン撮影装置の第3実施例のブロック構成図を示す。図9において、初期設定として、自動撮影カメラ装置50における実空間と、CG映像生成装置60における仮想空間とのスケールを合致させる。
【0041】
次に、実空間の出演者の動きを、特願平8−153133号に記載の自動撮影カメラシステムの自動撮影カメラ装置50を用いて撮影する。図10(A)に示す出演者117は弓118を持っている。図10(B)に示すように、弓の上端位置、弓の中心位置、弓の下端位置、弦の中心位置それぞれには例えば磁気センサなどの弓に搭載可能な小型位置センサ119,120,121,122が取り付けられており、この小型位置センサ119〜122により、図10(B),(C)に示すような弓118の形状の変化や、図11(A)に示すような実空間における弓118の位置をリアルタイムで計測することができる。なお、磁気センサの他にも光学式センサや超音波センサなどを使用しても良い。
【0042】
上記小型位置センサ119〜122それぞれの検出信号が図9に示す端子66からCG映像生成装置60の位置検出部61に供給され、位置情報と形状情報が得られる。この位置情報と形状情報は仮想被写体動作設定部62及び仮想カメラ動作設定部63に供給される。仮想被写体動作設定部62は、位置情報と形状情報に基づいてCGの矢の映像を生成してレンダリング部65に供給する。図11(B)に示す仮想空間には仮想被写体としてCGの矢124があり、図11(A)に示す実空間における弓118の位置情報と形状情報をもとに、仮想空間内での矢124の位置や向き、動きなどを生成する。
【0043】
仮想カメラ動作設定部63は、位置情報と形状情報に基づいてCGの矢124を撮影するための仮想カメラの最適画角を決めると共に、仮想カメラのカメラワークに対応する動きデータを生成してデータ変換部64及びレンダリング部65に供給する。データ変換部64は、仮想カメラの動きデータを自動撮影カメラ装置の制御データに変換して自動撮影カメラ装置50の駆動制御部51に供給する。
【0044】
この場合、仮想空間の矢柄の位置Dv=(x6,y6,z6)は、実空間の弓118の弦の中心位置Dr=(x6,y6,z6)に相当し、矢124は弓の弦の中心位置Dr=(x6,y6,z6)と弓118の中心位置Er=(x7,y7,z7)を結んだ延長線方向(x6−x7,y6−y7,z6−z7)を向いている。
【0045】
出演者117はこの弓118を引き、引き切ったところDr=(x6,y6,z6)で引き手を放す。弦を引いている出演者117の指先には、例えば接触していると弱電流が流れる小型の電極スイッチ126が仕込んであり、指を放した瞬間に電極スイッチ126に電流が流れなくなる。この電極スイッチ126の信号は図9に示す端子67からCG映像生成装置60の仮想被写体動作設定部62と仮想カメラ動作設定部63、及び自動撮影カメラ装置50の駆動制御部51に供給される。
【0046】
CGの矢124は、弓118の中心位置Er=(x7,y7,z7)と弦の中心位置Dr=(x6,y6,z6)を結んだ延長線方向(x6−x7,y6−y7,z6−z7)に向かって飛び出す。このCGの矢124が飛び出す速度は予め設定しておき、矢124の向きから、矢124が飛んでゆく動きを算出する。また、データ変換部64は矢124の向きと速度から仮想カメラの動きを表す動きデータも算出すると共に、その動きデータを自動撮影カメラ装置64の制御データに変換して自動撮影カメラ装置50の駆動制御部51に供給し撮影部52を駆動する。そして、これらは全て指を放した瞬間から動作を開始する。
【0047】
つまり、撮影すべき動きの主体が、実空間の出演者117から仮想被写体の矢124に移ることになる。そして、仮想カメラで撮影された仮想被写体の矢124のレンダリング映像と、自動撮影カメラ装置50によって撮影された実空間の映像を画像合成することにより、結果として、実空間では存在しない高速で動く仮想被写体の矢124を、あたかも実空間の中で高速に動いている映像として表示することができる。
【0048】
この合成段階で、動きのタイミングがずれている場合、例えば仮想カメラによって撮影された仮想被写体をレンダリングする際に遅延が発生した場合、それと同等の遅延を自動撮影カメラ装置で撮影した映像に発生させるなどして、両者のタイミングを合わせることは第1,第2実施例と同様である。
【0049】
このようにして、仮想被写体ならではのダイナミックな動きや不可思議な動きに対応して実空間のカメラで正確に実空間を撮影することができる。また、何度も同じ撮影を繰り返すことが可能なため、多重合成などの特殊撮影や、出演者と仮想被写体との共演時におけるシミュレーションやリハーサルを行うこともでき、実写と仮想被写体の合成映像制作、いわゆる仮想シーン生成の作業の効率化に貢献できる。
【0050】
なお、仮想カメラ動作設定部22,43,63が請求項記載の仮想カメラ動作設定手段に対応し、仮想カメラ動作設定部22,データ変換部44,64が実空間カメラ動作設定手段に対応し、映像合成装置30が映像合成手段に対応し、映像遅延装置15,25が遅延手段に対応する。
【0051】
【発明の効果】
上述の如く、請求項1に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で仮想被写体を撮影する仮想カメラの動きデータを設定し、仮想カメラの動きデータを、仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換し、制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることにより、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【0052】
請求項2に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、仮想カメラの動きデータを、仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、実空間カメラ動作設定手段で設定された制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを有することにより、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【0053】
請求項3に記載の発明では、実空間カメラ動作設定手段で設定された制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を有することにより、実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の映像との動きのタイミングを合わせることができる。
【図面の簡単な説明】
【図1】本発明の仮想シーン撮影装置の第1実施例のブロック構成図である。
【図2】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図3】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図4】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図5】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図6】本発明の仮想シーン撮影装置の第2実施例のブロック構成図である。
【図7】本発明の第2実施例を説明するための図である。
【図8】本発明の第2実施例を説明するための図である。
【図9】本発明の仮想シーン撮影装置の第3実施例のブロック構成図である。
【図10】本発明の第3実施例を説明するための図である。
【図11】本発明の第3実施例を説明するための図である。
【符号の説明】
10,50 自動撮影カメラ装置
11,51 駆動制御部
12,52 撮影部
15,25 映像遅延装置
20 CG映像生成装置
21,42,62 仮想被写体動作設定部
22,43,63 仮想カメラ動作設定部
23,45,65 レンダリング部
30 映像合成装置
44,64 データ変換部
61 位置検出部
Claims (3)
- コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定し、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換し、
前記制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることを特徴とする仮想シーン撮影方法。 - コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを
有することを特徴とする仮想シーン撮影装置。 - 請求項2記載の仮想シーン撮影装置において、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を
有することを特徴とする仮想シーン撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001232024A JP4231216B2 (ja) | 2001-07-31 | 2001-07-31 | 仮想シーン撮影方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001232024A JP4231216B2 (ja) | 2001-07-31 | 2001-07-31 | 仮想シーン撮影方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003046842A JP2003046842A (ja) | 2003-02-14 |
JP4231216B2 true JP4231216B2 (ja) | 2009-02-25 |
Family
ID=19064001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001232024A Expired - Fee Related JP4231216B2 (ja) | 2001-07-31 | 2001-07-31 | 仮想シーン撮影方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4231216B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5732988B2 (ja) * | 2011-04-08 | 2015-06-10 | ソニー株式会社 | 画像処理装置、表示制御方法及びプログラム |
CN109240499B (zh) * | 2018-08-31 | 2022-02-08 | 云南师范大学 | 虚拟摄像机模拟交互控制***及方法、信息数据处理终端 |
CN112929750B (zh) * | 2020-08-21 | 2022-10-28 | 海信视像科技股份有限公司 | 一种摄像头调节方法及显示设备 |
CN115802165B (zh) * | 2023-02-10 | 2023-05-12 | 成都索贝数码科技股份有限公司 | 一种应用于异地同场景直播连线的镜头移动拍摄方法 |
CN116260956B (zh) * | 2023-05-15 | 2023-07-18 | 四川中绳矩阵技术发展有限公司 | 一种虚拟现实拍摄方法及*** |
CN116320363B (zh) * | 2023-05-25 | 2023-07-28 | 四川中绳矩阵技术发展有限公司 | 一种多角度虚拟现实拍摄方法及*** |
-
2001
- 2001-07-31 JP JP2001232024A patent/JP4231216B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003046842A (ja) | 2003-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20030202120A1 (en) | Virtual lighting system | |
US9736356B2 (en) | Photographing apparatus, and method for photographing moving object with the same | |
JP5999336B2 (ja) | 撮像装置及び撮像処理方法並びにプログラム | |
US8711230B2 (en) | Image capture apparatus and program | |
JP2006101186A (ja) | カメラ | |
JP2009231967A (ja) | 画像記録方法、画像記録装置、およびプログラム | |
JP2001358984A (ja) | 動画像処理カメラ | |
US20200099854A1 (en) | Image capturing apparatus and image recording method | |
JP2007251429A (ja) | 動画撮影装置及びズーム調整方法 | |
CN114638918A (zh) | 一种实时表演捕捉虚拟直播与录制*** | |
JP4231216B2 (ja) | 仮想シーン撮影方法及びその装置 | |
TW201319724A (zh) | 影像處理裝置、影像處理方法及記錄媒體 | |
JP5044582B2 (ja) | 撮影カメラ学習装置及びそのプログラム | |
JP2018061729A (ja) | 画像処理システムおよびその制御方法 | |
US20140015966A1 (en) | Imaging apparatus and imaging method | |
JP5690080B2 (ja) | 動画像データ生成機器および動画像データ生成方法 | |
WO2019205083A1 (zh) | 一种3d影像拍摄方法、3d拍摄设备及存储介质 | |
JP3615868B2 (ja) | 自動撮影カメラシステム | |
CN107667522A (zh) | 调整活动图像的长度 | |
JP3615867B2 (ja) | 自動撮影カメラシステム | |
JP2013074466A (ja) | 動画撮影システム、動画解析装置、動画解析方法およびコンピュータプログラム | |
JPH1023465A (ja) | 撮像方法及び装置 | |
JPH07212653A (ja) | 画像処理装置 | |
JP2010141911A (ja) | 画像記録方法、画像記録装置、およびプログラム | |
JP2021105850A (ja) | 画像処理装置及び方法、及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081205 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |